{"id":4722,"date":"2024-04-18T22:49:14","date_gmt":"2024-04-18T22:49:14","guid":{"rendered":"https:\/\/game.intel.com\/?p=4722"},"modified":"2024-05-29T21:16:37","modified_gmt":"2024-05-29T21:16:37","slug":"wield-the-power-of-llms-on-intel-arc-gpus","status":"publish","type":"post","link":"https:\/\/game.intel.com\/de\/stories\/wield-the-power-of-llms-on-intel-arc-gpus\/","title":{"rendered":"Nutzen Sie die Leistung von LLMs auf Intel\u00ae Arc\u2122 GPUs"},"content":{"rendered":"
\n

Einfache lokale Ausf\u00fchrung einer Vielzahl von LLMs mit Intel\u00ae Arc\u2122 GPUs<\/h3>\n<\/blockquote>\n\n\n\n

Generative KI hat die Landschaft der M\u00f6glichkeiten f\u00fcr die Erstellung von Inhalten ver\u00e4ndert. Diese Technologie hat das Potenzial, bisher ungeahnte Bilder, Videos und Texte zu liefern. Gro\u00dfe Sprachmodelle (LLMs) haben im Zeitalter der KI f\u00fcr Schlagzeilen gesorgt. Sie erm\u00f6glichen es jedem, mit Hilfe von Souffleuren Songtexte zu erstellen, Antworten auf komplexe physikalische Fragen zu erhalten oder eine Gliederung f\u00fcr eine Folienpr\u00e4sentation zu entwerfen. Und diese KI-Funktionen m\u00fcssen nicht mehr mit einer Cloud oder einem Abonnementdienst verbunden sein. Sie k\u00f6nnen lokal auf Ihrem eigenen PC ausgef\u00fchrt werden, wo Sie die volle Kontrolle \u00fcber das Modell haben, um seine Ausgabe anzupassen.<\/p>\n\n\n\n

In diesem Artikel zeigen wir Ihnen, wie Sie beliebte gro\u00dfe Sprachmodelle (LLMs) auf einem PC mit der Intel\u00ae Arc\u2122 A770 16GB Grafikkarte einrichten und damit experimentieren k\u00f6nnen. In diesem Tutorial wird zwar das Mistral-7B-Instruct LLM verwendet, aber dieselben Schritte k\u00f6nnen auch mit einem PyTorch LLM Ihrer Wahl wie Phi2, Llama2, etc. durchgef\u00fchrt werden. Und ja, auch mit dem neuesten Llama3-Modell!<\/p>\n\n\n\n

IPEX-LLM<\/h2>\n\n\n\n

Der Grund daf\u00fcr, dass wir eine Vielzahl von Modellen mit der gleichen Basisinstallation betreiben k\u00f6nnen, ist IPEX-LLM<\/a>eine LLM-Bibliothek f\u00fcr PyTorch. Sie ist auf der Grundlage von Intel\u00ae-Erweiterung f\u00fcr PyTorch<\/a> und enth\u00e4lt modernste LLM-Optimierungen und Low-Bit (INT4\/FP4\/INT8\/FP8)-Gewichtskompression - mit allen aktuellen Leistungsoptimierungen f\u00fcr Intel-Hardware. IPEX-LLM nutzt die Vorteile des Xe<\/sup>-cores XMX AI-Beschleunigung auf diskreten Intel-GPUs wie Grafikkarten der Arc A-Serie f\u00fcr eine verbesserte Leistung. Es unterst\u00fctzt Intel Arc A-Serien-Grafikkarten auf Windows Subsystem f\u00fcr Linux Version 2, native Windows-Umgebungen und natives Linux.<\/p>\n\n\n\n

Und da es sich dabei um natives PyTorch handelt, k\u00f6nnen Sie die PyTorch-Modelle und Eingabedaten problemlos austauschen, um sie auf einem Intel Arc-Grafikprozessor mit hoher Leistungsbeschleunigung auszuf\u00fchren. Dieses Experiment w\u00e4re ohne einen Leistungsvergleich nicht vollst\u00e4ndig gewesen. Anhand der nachstehenden Anleitungen f\u00fcr Intel Arc und der allgemein verf\u00fcgbaren Anleitungen f\u00fcr die Konkurrenz haben wir zwei diskrete GPUs in einem \u00e4hnlichen Preissegment untersucht.<\/p>\n\n\n\n

\"\"\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button><\/figure>\n\n\n\n

Wenn beispielsweise das Modell Mistral 7B mit der IPEX-LLM-Bibliothek ausgef\u00fchrt wird, kann die Arc A770-Grafikkarte mit 16 GB 70 Token pro Sekunde (TPS) verarbeiten, d. h. 70% mehr TPS als die GeForce RTX 4060 mit 8 GB und CUDA. Was bedeutet das? Eine allgemeine Faustregel besagt, dass 1 Token 0,75 eines Wortes entspricht, und ein guter Vergleich ist die durchschnittliche menschliche Lesegeschwindigkeit von 4 W\u00f6rtern pro Sekunde<\/a> oder 5,3 TPS. Die Arc A770 16GB Grafikkarte kann W\u00f6rter viel schneller erzeugen, als der Durchschnittsmensch sie lesen kann!<\/p>\n\n\n\n

Unsere internen Tests zeigen, dass die Arc A770-Grafikkarte mit 16 GB diese F\u00e4higkeit und eine im Vergleich zur RTX 4060 konkurrenzf\u00e4hige oder f\u00fchrende Leistung \u00fcber eine breite Palette von Modellen bieten kann, was die Intel Arc-Grafikkarte zu einer hervorragenden Wahl f\u00fcr die lokale LLM-Ausf\u00fchrung macht.<\/p>\n\n\n\n

Kommen wir nun zu den Einrichtungsanweisungen, die Ihnen den Einstieg in die LLMs auf Ihrer Arc A-Series GPU erleichtern.<\/p>\n\n\n\n

Einbauanleitung<\/h2>\n\n\n\n

Wir k\u00f6nnen auch auf diese Seite verweisen, um die Umgebung einzurichten: IPEX-LLM unter Windows mit Intel GPU installieren - IPEX-LLM aktuelle Dokumentation<\/a><\/p>\n\n\n\n

1. Deaktivieren Sie den integrierten Grafikprozessor im Ger\u00e4temanager.<\/p>\n\n\n\n

2. Herunterladen und installieren Anakonda<\/a>.<\/p>\n\n\n\n

3. Nach Abschluss der Installation \u00f6ffnen Sie das Startmen\u00fc, suchen Sie nach Anaconda Prompt, f\u00fchren Sie es als Administrator aus und erstellen Sie eine virtuelle Umgebung mit den folgenden Befehlen. Geben Sie jeden Befehl einzeln ein:<\/p>\n\n\n\n

conda create -n llm python=3.10.6\n\nconda llm aktivieren\n\nconda install libuv\n\npip install dpcpp-cpp-rt==2024.0.2 mkl-dpcpp==2024.0.0 onednn==2024.0.0 gradio\n\npip install --pre --upgrade ipex-llm[xpu] --extra-index-url https:\/\/pytorch-extension.intel.com\/release-whl\/stable\/xpu\/us\/\n\npip install transformers==4.38.0<\/code><\/pre>\n\n\n\n
4. Erstellen Sie ein Textdokument mit dem Namen demo.py und speichern Sie es unter C:\\Benutzer\\Ihr_Benutzername\\Dokumente oder in einem Verzeichnis Ihrer Wahl.<\/p>\n\n\n\n
5. \u00d6ffnen Sie demo.py mit Ihrem Lieblingseditor und kopieren Sie das folgende Codebeispiel hinein:<\/p>\n\n\n\n
from transformers import AutoTokenizer\nvon ipex_llm.transformers importieren AutoModelForCausalLM\nimportieren torch\nimportieren intel_erweiterung_f\u00fcr_pytorch\n\ndevice = \"xpu\" # das Ger\u00e4t, in das das Modell geladen wird\n\nmodel_id = \"mistralai\/Mistral-7B-Instruct-v0.2\" # Umarmungsgesicht-Modell-ID\n\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True, torch_dtype=torch.float16)\nmodel = model.to(device)\n\nmessages = [\n    {\"role\": \"user\", \"content\": \"Was ist Ihr Lieblingsgew\u00fcrz?\"},\n    {\"Rolle\": \"assistant\", \"content\": \"Nun, ich habe eine Vorliebe f\u00fcr einen guten Spritzer frischen Zitronensaft. Er verleiht allem, was ich in der K\u00fcche zubereite, genau die richtige Menge an pikantem Geschmack!\"},\n    {\"role\": \"user\", \"content\": \"Habt ihr Mayonnaise-Rezepte?\"}\n]\n\nencodeds = tokenizer.apply_chat_template(messages, return_tensors=\"pt\")\n\nmodel_inputs = encodeds.to(device)\nmodel.to(ger\u00e4t)\n\ngenerated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)\ndecoded = tokenizer.batch_decode(generated_ids)\nprint(decoded[0])<\/code><\/pre>\n\n\n\n
Aus dem Beispielcode erstellter Code in diesem Repository<\/a>.<\/em><\/p>\n\n\n\n
6. Speichern Sie demo.py. Wechseln Sie in Anaconda mit dem cd-Befehl in das Verzeichnis, in dem sich demo.py befindet, und f\u00fchren Sie in der Anaconda-Eingabeaufforderung den folgenden Befehl aus:<\/p>\n\n\n\n
python demo.py<\/code><\/pre>\n\n\n\n
Jetzt k\u00f6nnen Sie ein sch\u00f6nes Rezept f\u00fcr Mayonnaise bekommen!<\/p>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Wechselnde Modelle<\/h2>\n\n\n\n
Mit der gleichen Umgebung, die wir oben eingerichtet haben, k\u00f6nnen Sie mit anderen beliebten Modellen von Hugging Face experimentieren, wie z.B. llama2-7B-chat-hf, llama3-8B-it, phi-2, gemma-7B-i und stablelm2, indem Sie das Hugging Face-Modell id oben in demo.py ersetzen.<\/p>\n\n\n\n
model_id = \"mistralai\/Mistral-7B-Instruct-v0.2\" # huggingface model id\n\nan\n\nmodel_id = \"stabilityai\/stablelm-2-zephyr-1_6b\" # Umarmungsgesicht model id<\/code><\/pre>\n\n\n\n
Wenn Sie beim Starten von demo.py auf Fehler sto\u00dfen, befolgen Sie die folgenden Schritte, um ein Upgrade\/Downgrade von transformers durchzuf\u00fchren:<\/p>\n\n\n\n
    \n
  1. Anaconda-Eingabeaufforderung \u00f6ffnen<\/li>\n\n\n\n
  2. conda aktiviert llm<\/li>\n\n\n\n
  3. pip install transformers==4.37.0<\/li>\n<\/ol>\n\n\n\n
    Gepr\u00fcfte Versionen von Transformatoren:<\/strong><\/p>\n\n\n\n
    Modell-ID<\/th>Transformatoren-Paketversionen<\/th><\/tr><\/thead>
    meta-llama\/Llama-2-7b-chat-hf<\/td>4.37.0<\/td><\/tr>
    meta-llama\/Meta-Llama-3-8B-Instruct<\/td>4.37.0<\/td><\/tr>
    stabilit\u00e4tai\/stabillm-2-zephyr-1_6b<\/td>4.38.0<\/td><\/tr>
    mistralai\/Mistral-7B-Anleitung-v0.2<\/td>4.38.0<\/td><\/tr>
    microsoft\/phi-2<\/td>4.38.0<\/td><\/tr>
    google\/gemma-7b-it<\/td>4.38.1<\/td><\/tr>
    THUDM\/chatglm3-6b<\/td>4.38.0<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
    Die Speicheranforderungen k\u00f6nnen je nach Modell und Framework variieren. F\u00fcr den Intel Arc A750 8GB, der mit IPEX-LLM l\u00e4uft, empfehlen wir die Verwendung von Llama-2-7B-chat-hf, Mistral-7B-Instruct-v0.2, phi-2 oder chatglm3-6B.<\/p>\n\n\n\n
    Implementierung einer ChatBot-WebUI<\/h2>\n\n\n\n
    Lassen Sie uns nun zur Implementierung eines Gradio Chatbot-Webui \u00fcbergehen, um eine bessere Erfahrung mit Ihrem Webbrowser zu machen. Weitere Informationen zur Implementierung eines interaktiven Chatbots mit LLMs finden Sie unter https:\/\/www.gradio.app\/guides\/creating-a-chatbot-fast<\/a><\/p>\n\n\n\n
    1. Erstellen Sie ein Dokument namens chatbot_gradio.py in einem Texteditor Ihrer Wahl.<\/p>\n\n\n\n
    2. Kopiere den folgenden Codeschnipsel und f\u00fcge ihn in chatbot_gradio.py ein:<\/p>\n\n\n\n
    importiere gradio als gr\nimportieren torch\nimportiere intel_erweiterung_f\u00fcr_pytorch\nvon ipex_llm.transformers importieren AutoModelForCausalLM\nfrom transformers import AutoTokenizer, StoppingCriteria, StoppingCriteriaList, TextIteratorStreamer\nfrom threading import Thread\n\nmodel_id = \"mistralai\/Mistral-7B-Instruct-v0.2\"\n\ntokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)\nmodel = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True, optimize_model=True, load_in_4bit=True, torch_dtype=torch.float16)\nmodel = model.half()\nmodel = model.to(\"xpu\")\nclass StopOnTokens(StoppingCriteria):\n    def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor, **kwargs) -> bool:\n        stop_ids = [29, 0]\n        for stop_id in stop_ids:\n            if input_ids[0][-1] == stop_id:\n                return True\n        return False\n\ndef predict(message, history):\n    stop = StopOnTokens()\n    history_format = []\n    for human, assistant in history:\n        history_format.append({\"role\": \"user\", \"content\": human })\n        history_format.append({\"Rolle\": \"Assistent\", \"Inhalt\":Assistent})\n    history_format.append({\"Rolle\": \"Benutzer\", \"Inhalt\": Nachricht})\n\n    prompt = tokenizer.apply_chat_template(history_format, tokenize=False, add_generation_prompt=True)\n    model_inputs = tokenizer(prompt, return_tensors=\"pt\").to(\"xpu\")\n    streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)\n    generate_kwargs = dict(\n        model_inputs,\n        streamer=streamer,\n        max_new_tokens=300,\n        do_sample=True,\n        top_p=0,95,\n        top_k=20,\n        Temperatur=0,8,\n        num_beams=1,\n        pad_token_id=tokenizer.eos_token_id,\n        stoppen_kriterien=StoppkriterienListe([stoppen])\n        )\n    t = Thread(target=model.generate, kwargs=generate_kwargs)\n    t.start()\n\n    partial_message = \"\"\n    for new_token in streamer:\n        if new_token != '<':\n            partial_message += new_token\n            yield partial_message\n\ngr.ChatInterface(predict).launch()<\/code><\/pre>\n\n\n\n
    3. \u00d6ffnen Sie eine neue Anaconda-Eingabeaufforderung und geben Sie die folgenden Befehle ein:<\/p>\n\n\n\n