Microsoft Azure AI Content Safety zavádí pokročilé metody pro detekci škodlivého obsahu

Dnes společnost Microsoft učinila významná oznámení týkající se generativních bezpečnostních funkcí AI. Mezi nimi byl představen nový nástroj v rámci Azure AI Content Safety , který je zaměřen na detekci a nápravu halucinovaného obsahu generovaného umělou inteligencí. Společnost Microsoft navíc odhalila, že její služba Azure OpenAI začne implementovat neviditelné vodoznaky do obrázků generovaných prostřednictvím modelu DALL-E 3.

Společnost Microsoft navíc pokračuje ve svém zaměření na bezpečnost AI s veřejným náhledem svého inovativního Multimodal API v rámci služby Azure AI Content Safety. Toto API je navrženo tak, aby identifikovalo škodlivý nebo nevhodný obsah, ať už pochází od lidských tvůrců nebo nástrojů AI.

Podle příspěvku na blogu společnosti Microsoft:

Multimodální API pojme textové i obrazové vstupy. Je navržen pro detekci více tříd a různých závažností, což mu umožňuje klasifikovat obsah do různých kategorií a přiřadit každé z nich skóre závažnosti. Pro každou kategorii systém poskytuje úroveň závažnosti v rozsahu od 0, 2, 4 do 6. Vyšší číslo znamená větší závažnost obsahu.

Toto nově spuštěné Multimodal API dokáže identifikovat škodlivý obsah v textu i na obrázcích, včetně emotikonů, který může obsahovat nebezpečný nebo nevhodný předmět. To zahrnuje explicitní obsah, projevy nenávisti, násilí, sebepoškozování a sexuální obsah. Microsoft zdůrazňuje, že API dokáže detekovat takový obsah, i když se objeví v kombinaci textu a obrázků, které by jinak mohly být při individuální analýze neškodné.

Microsoft ve svém prohlášení zdůraznil:

Dosažením těchto cílů podporuje funkce multimodální detekce bezpečnější a ohleduplnější uživatelskou zkušenost, což umožňuje kreativní a zároveň odpovědné generování obsahu.

Microsoft navíc poznamenal, že nové multimodální API je schopno rychle detekovat škodlivý obsah a zajistit, aby nebyl šířen uživatelům různých aplikací nebo služeb.

Zdroj