Intel Gaudi 2 AI akcelerátory schopné generovat text s modely Llama 2 s parametry až 70B

Akcelerátory Intel Gaudi 2 AI jsou nejschůdnější alternativou k čipům NVIDIA a Hugging Face prokázal svou schopnost generování textu pomocí Llama 2.

Akcelerátory Intel Gaudi 2 předvedeny v textové generaci pomocí LLM Llama 2 s otevřeným zdrojovým kódem s až 70 miliardami parametrů

Jak Intel rozšiřuje svůj softwarový ekosystém AI, společnost se zaměřuje na nejoblíbenější pracovní zátěže AI, které zahrnují LLM (Large Language Models). Práce je umožněna použitím Habana Optimum , který slouží jako knihovny transformátorů a difuzorů rozhraní a procesorů Intel Habana Gaudi, jako je Gaudi 2. Společnost již prokázala schopnosti AI a výkon svých procesorů Gaudi 2 proti GPU NVIDIA A100, které jsou jedním z nich. z populárních možností na trhu, ale Gaudi 2 odvádí chvályhodnou práci tím, že nabízí rychlejší výkon za konkurenceschopné TCO.

Pro nejnovější ukázku Hugging Face ukazuje snadnost generování textu pomocí Llama 2 (7b, 13b, 70b) pomocí stejného potrubí Optimum Habana a akcelerátoru Intel Gaudi 2 AI. Konečný výsledek ukazuje, že čip Gaudi 2 nejenže byl schopen přijímat jednoduché/vícenásobné výzvy, ale byl velmi snadno použitelný a mohl také zpracovávat vlastní pluginy v rámci skriptů.

S revolucí generativní umělé inteligence (GenAI) v plném proudu se generování textu pomocí modelů transformátorů s otevřeným zdrojovým kódem, jako je Llama 2, stalo tématem města. Nadšenci AI i vývojáři se snaží využít generativní schopnosti takových modelů pro své vlastní případy použití a aplikace. Tento článek ukazuje, jak snadné je generovat text pomocí modelů z rodiny Llama 2 (7b, 13b a 70b) pomocí Optimum Habana a vlastní třídy potrubí – modely budete moci spouštět pouze s několika řádky kódu!

Tato vlastní třída potrubí byla navržena tak, aby nabízela velkou flexibilitu a snadné použití. Navíc poskytuje vysokou úroveň abstrakce a provádí kompletní generování textu, které zahrnuje předzpracování a následné zpracování. Existuje několik způsobů, jak použít kanál – můžete spustit run_pipeline.pyskript z úložiště Optimum Habana, přidat třídu potrubí do svých vlastních skriptů python nebo s ním inicializovat třídy LangChain.

Představili jsme vlastní kanál pro generování textu na akcelerátoru Intel Gaudi 2 AI, který přijímá jednu nebo více výzev jako vstup. Tento kanál nabízí velkou flexibilitu, pokud jde o velikost modelu a také parametry ovlivňující kvalitu generování textu. Kromě toho se také velmi snadno používá a zapojuje do vašich skriptů a je kompatibilní s LangChain.

přes objímání tváře

Intel se zavázal v nadcházejících letech zrychlit svůj segment AI . V letošním roce má společnost v plánu představit třetí iteraci Gaudi známou jako Gaudi 3, která by měla využívat 5nm procesní uzel a je údajně rychlejší než NVIDIA H100 za výrazně nižší cenu. Podobně společnost také plánuje přejít na plně vlastní design s GPU Falcon Shores nové generace, který se očekává v roce 2025. Společnost také otevírá možnosti umělé inteligence, jako je rozhraní Llama 2 s PyTorch pro svou spotřebitelskou úroveň. GPU řady Arc A.