Schopnost ChatGPT poskytovat chatové odpovědi na jakoukoli otázku kdykoli dělá z chatbota užitečný zdroj pro vaše informační potřeby. Navzdory pohodlí nová studie zjistila, že možná nebudete chtít používat ChatGPT pro tvrzení softwarového inženýrství.
Před příchodem chatbotů AI byl Stack Overflow primárním zdrojem pro programátory, kteří potřebovali poradit se svými projekty, s modelem otázek a odpovědí podobným ChatGPT.
taky: Jak zabránit novému webovému prohledávači OpenAI pro školení AI ve zpracování vašich dat
U Stack Overflow však musíte čekat, až někdo odpoví na vaši otázku, zatímco u ChatGPT nemusíte.
V důsledku toho se mnoho softwarových inženýrů a programátorů obrátilo se svými dotazy na ChatGPT. Protože neexistují žádná data, která by ukazovala, jak efektivní je ChatGPT při reakci na tyto typy výzev, Studium na Purdue University Prozkoumejte dilema.
Aby vědci viděli, jak efektivní je ChatGPT v reakci na tvrzení softwarového inženýrství, zaslali otázky ChatGPT 517 Stack Overflow a zkoumali přesnost a kvalitu těchto odpovědí.
taky: Jak používat ChatGPT k psaní kódu
Výsledky ukázaly, že z 512 otázek bylo 259 (52 %) odpovědí ChatGPT nesprávných a pouze 248 (48 %) správných. Navíc 77 % odpovědí bylo podrobných.
Přestože byly odpovědi výrazně nepřesné, výsledky ukázaly, že odpovědi byly v 65 % případů vyčerpávající a týkaly se všech aspektů otázky.
Aby výzkumníci dále analyzovali kvalitu odpovědí ChatGPT, požádali 12 účastníků s různou úrovní zkušeností s programováním, aby poskytli své postřehy o odpovědích.
taky: Červený tým Microsoftu monitoruje AI od roku 2018. Zde je pět velkých postřehů
Ačkoli účastníci upřednostňovali odpovědi Stack Overflow před ChatGPT napříč různými kategoriemi, jak dokládá graf, účastníci nedokázali správně identifikovat nesprávné odpovědi generované ChatGPT 39,34 % případů.
Podle studie dobře formulované odpovědi ve skóre ChatGPT způsobily, že uživatelé přehlédli nesprávné informace v odpovědích.
„Uživatelé ignorují nesprávné informace v odpovědích ChatGPT (39,34 % času) kvůli komplexním, dobře detailním lidským pohledům v odpovědích ChatGPT,“ napsali autoři.
taky: Jak ChatGPT může přepsat a vylepšit stávající kód
Generování zdánlivě věrohodných a nesprávných odpovědí je důležitý problém napříč všemi chatboty, protože umožňuje šíření dezinformací. Kromě tohoto rizika by nižší skóre přesnosti mělo stačit k tomu, abyste přehodnotili používání ChatGPT pro tyto typy nároků.
„Obhájce Twitteru. Zombie fanatik. Hudební fanoušek. Milovník cestování. Webový expert. Pivní guru. Kávový fanatik.“
