{"id":4722,"date":"2024-04-18T22:49:14","date_gmt":"2024-04-18T22:49:14","guid":{"rendered":"https:\/\/game.intel.com\/?p=4722"},"modified":"2024-05-29T21:16:37","modified_gmt":"2024-05-29T21:16:37","slug":"wield-the-power-of-llms-on-intel-arc-gpus","status":"publish","type":"post","link":"https:\/\/game.intel.com\/fr\/stories\/wield-the-power-of-llms-on-intel-arc-gpus\/","title":{"rendered":"La puissance des LLM sur les GPU Intel\u00ae Arc\u2122"},"content":{"rendered":"
\n

Ex\u00e9cuter facilement une vari\u00e9t\u00e9 de LLM localement avec les GPU Intel\u00ae Arc\u2122<\/h3>\n<\/blockquote>\n\n\n\n

L'IA g\u00e9n\u00e9rative a chang\u00e9 le paysage de ce qui est possible en mati\u00e8re de cr\u00e9ation de contenu. Cette technologie a le potentiel de produire des images, des vid\u00e9os et des \u00e9crits inimaginables jusqu'\u00e0 pr\u00e9sent. Les grands mod\u00e8les de langage (LLM) ont fait les gros titres \u00e0 l'\u00e8re de l'IA, permettant \u00e0 quiconque de g\u00e9n\u00e9rer des paroles de chansons, d'obtenir des r\u00e9ponses \u00e0 des questions de physique complexes ou de r\u00e9diger le plan d'une pr\u00e9sentation de diapositives. Ces fonctions d'IA n'ont plus besoin d'\u00eatre connect\u00e9es au nuage ou \u00e0 des services d'abonnement. Elles peuvent \u00eatre ex\u00e9cut\u00e9es localement sur votre propre PC, o\u00f9 vous avez un contr\u00f4le total sur le mod\u00e8le afin de personnaliser ses r\u00e9sultats.<\/p>\n\n\n\n

Dans cet article, nous allons vous montrer comment configurer et exp\u00e9rimenter les grands mod\u00e8les de langage (LLM) populaires sur un PC \u00e9quip\u00e9 de la carte graphique Intel\u00ae Arc\u2122 A770 16 Go. Bien que ce tutoriel utilise le LLM Mistral-7B-Instruct, ces m\u00eames \u00e9tapes peuvent \u00eatre utilis\u00e9es avec un LLM PyTorch de votre choix tel que Phi2, Llama2, etc. Et oui, avec le dernier mod\u00e8le Llama3 aussi !<\/p>\n\n\n\n

IPEX-LLM<\/h2>\n\n\n\n

La raison pour laquelle nous pouvons faire fonctionner une vari\u00e9t\u00e9 de mod\u00e8les en utilisant la m\u00eame installation de base est due \u00e0 IPEX-LLM<\/a>une biblioth\u00e8que LLM pour PyTorch. Elle est construite au dessus de Extension Intel\u00ae pour PyTorch<\/a> et contient des optimisations LLM de pointe et une compression des poids \u00e0 faible bit (INT4\/FP4\/INT8\/FP8) - avec toutes les derni\u00e8res optimisations de performance pour le mat\u00e9riel Intel. IPEX-LLM tire parti de la technologie Xe<\/sup>-XMX AI acc\u00e9l\u00e8re les GPU discrets d'Intel, tels que les cartes graphiques de la s\u00e9rie Arc A, pour am\u00e9liorer les performances. Il prend en charge les cartes graphiques Intel Arc s\u00e9rie A sur le sous-syst\u00e8me Windows pour Linux version 2, les environnements Windows natifs et Linux natif.<\/p>\n\n\n\n

Et comme tout ceci est du PyTorch natif, vous pouvez facilement \u00e9changer les mod\u00e8les PyTorch et les donn\u00e9es d'entr\u00e9e pour les ex\u00e9cuter sur un GPU Intel Arc avec une acc\u00e9l\u00e9ration de haute performance. Cette exp\u00e9rience n'aurait pas \u00e9t\u00e9 compl\u00e8te sans une comparaison des performances. En utilisant les instructions ci-dessous pour Intel Arc et les instructions couramment disponibles pour la concurrence, nous avons examin\u00e9 deux GPU discrets positionn\u00e9s dans un segment de prix similaire.<\/p>\n\n\n\n

\"\"\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button><\/figure>\n\n\n\n

Par exemple, en ex\u00e9cutant le mod\u00e8le Mistral 7B avec la biblioth\u00e8que IPEX-LLM, la carte graphique Arc A770 16 Go peut traiter 70 jetons par seconde (TPS), soit 70% TPS de plus que la GeForce RTX 4060 8 Go utilisant CUDA. Qu'est-ce que cela signifie ? En r\u00e8gle g\u00e9n\u00e9rale, un jeton \u00e9quivaut \u00e0 0,75 mot. la vitesse de lecture humaine moyenne est de 4 mots par seconde<\/a> ou 5,3 TPS. La carte graphique Arc A770 16GB peut g\u00e9n\u00e9rer des mots beaucoup plus rapidement que le commun des mortels ne peut les lire !<\/p>\n\n\n\n

Nos tests internes montrent que la carte graphique Arc A770 16GB peut fournir cette capacit\u00e9 et des performances comp\u00e9titives ou de pointe sur une large gamme de mod\u00e8les par rapport \u00e0 la RTX 4060, ce qui fait des cartes graphiques Intel Arc un excellent choix pour l'ex\u00e9cution locale de LLM.<\/p>\n\n\n\n

Passons maintenant aux instructions de configuration pour vous permettre de commencer \u00e0 utiliser les LLM sur votre GPU Arc A-series.<\/p>\n\n\n\n

Instructions d'installation<\/h2>\n\n\n\n

Nous pouvons \u00e9galement nous r\u00e9f\u00e9rer \u00e0 cette page pour la mise en place de l'environnement : Installer IPEX-LLM sur Windows avec un GPU Intel - Derni\u00e8re documentation sur IPEX-LLM<\/a><\/p>\n\n\n\n

1. D\u00e9sactiver le GPU int\u00e9gr\u00e9 dans le gestionnaire de p\u00e9riph\u00e9riques.<\/p>\n\n\n\n

2. T\u00e9l\u00e9charger et installer Anaconda<\/a>.<\/p>\n\n\n\n

3. Une fois l'installation termin\u00e9e, ouvrez le menu D\u00e9marrer, recherchez Anaconda Prompt, ex\u00e9cutez-le en tant qu'administrateur et cr\u00e9ez un environnement virtuel \u00e0 l'aide des commandes suivantes. Saisissez chaque commande s\u00e9par\u00e9ment :<\/p>\n\n\n\n

conda create -n llm python=3.10.6\n\nconda activate llm\n\nconda install libuv\n\npip install dpcpp-cpp-rt==2024.0.2 mkl-dpcpp==2024.0.0 onednn==2024.0.0 gradio\n\npip install --pre --upgrade ipex-llm[xpu] --extra-index-url https:\/\/pytorch-extension.intel.com\/release-whl\/stable\/xpu\/us\/\n\npip install transformers==4.38.0<\/code><\/pre>\n\n\n\n
4. Cr\u00e9ez un document texte nomm\u00e9 demo.py et enregistrez-le dans C:\\NUsers\\NVotre_nom_d'utilisateur\\NDocuments ou dans le r\u00e9pertoire de votre choix.<\/p>\n\n\n\n
5. Ouvrez demo.py avec votre \u00e9diteur pr\u00e9f\u00e9r\u00e9 et copiez-y l'exemple de code suivant :<\/p>\n\n\n\n
from transformers import AutoTokenizer\nfrom ipex_llm.transformers import AutoModelForCausalLM\nimport torch\nimport intel_extension_for_pytorch\n\ndevice = \"xpu\" # le dispositif sur lequel charger le mod\u00e8le\n\nmodel_id = \"mistralai\/Mistral-7B-Instruct-v0.2\" # identifiant du mod\u00e8le de visage \u00e9treint\n\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True, torch_dtype=torch.float16)\nmodel = model.to(device)\n\nmessages = [\n    {\"role\" : \"user\", \"content\" : \"Quel est votre condiment pr\u00e9f\u00e9r\u00e9 ?\"},\n    {\"r\u00f4le\" : \"assistant\", \"content\" : \"Eh bien, j'aime bien presser du jus de citron frais. Il ajoute juste ce qu'il faut de saveur piquante \u00e0 tout ce que je pr\u00e9pare dans la cuisine !\"},\n    {\"role\" : \"user\", \"content\" : \"Do you have mayonnaise recipes ?\"}\n]\n\nencodeds = tokenizer.apply_chat_template(messages, return_tensors=\"pt\")\n\nmodel_inputs = encodeds.to(device)\nmodel.to(device)\n\ngenerated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)\ndecoded = tokenizer.batch_decode(generated_ids)\nprint(decoded[0])<\/code><\/pre>\n\n\n\n
Code construit \u00e0 partir de l'exemple de code dans ce d\u00e9p\u00f4t<\/a>.<\/em><\/p>\n\n\n\n
6. Sauvegardez demo.py. Dans Anaconda, naviguez jusqu'au r\u00e9pertoire o\u00f9 se trouve demo.py en utilisant la commande cd, et ex\u00e9cutez la commande suivante dans l'invite d'Anaconda :<\/p>\n\n\n\n
python demo.py<\/code><\/pre>\n\n\n\n
Vous pouvez maintenant obtenir une bonne recette pour pr\u00e9parer la mayonnaise !<\/p>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Changer de mod\u00e8le<\/h2>\n\n\n\n
En utilisant le m\u00eame environnement que nous avons mis en place ci-dessus, vous pouvez exp\u00e9rimenter d'autres mod\u00e8les populaires sur Hugging Face tels que llama2-7B-chat-hf, llama3-8B-it, phi-2, gemma-7B-i, et stablelm2 en rempla\u00e7ant le mod\u00e8le Hugging Face id ci-dessus dans demo.py.<\/p>\n\n\n\n
model_id = \"mistralai\/Mistral-7B-Instruct-v0.2\" # huggingface model id\n\n\u00e0\n\nmodel_id = \"stabilityai\/stablelm-2-zephyr-1_6b\" # huggingface model id<\/code><\/pre>\n\n\n\n
Si vous rencontrez des erreurs lors du lancement de demo.py, suivez les \u00e9tapes ci-dessous pour mettre \u00e0 niveau ou r\u00e9trograder les transformateurs :<\/p>\n\n\n\n
    \n
  1. Ouvrir l'invite Anaconda<\/li>\n\n\n\n
  2. conda activer llm<\/li>\n\n\n\n
  3. pip install transformers==4.37.0<\/li>\n<\/ol>\n\n\n\n
    Versions v\u00e9rifi\u00e9es des transformateurs :<\/strong><\/p>\n\n\n\n
    Mod\u00e8le ID<\/th>Versions de l'emballage des transformateurs<\/th><\/tr><\/thead>
    meta-llama\/Llama-2-7b-chat-hf<\/td>4.37.0<\/td><\/tr>
    meta-llama\/Meta-Llama-3-8B-Instruct<\/td>4.37.0<\/td><\/tr>
    stabilit\u00e9ai\/stablelm-2-zephyr-1_6b<\/td>4.38.0<\/td><\/tr>
    mistralai\/Mistral-7B-Instruct-v0.2<\/td>4.38.0<\/td><\/tr>
    microsoft\/phi-2<\/td>4.38.0<\/td><\/tr>
    google\/gemma-7b-it<\/td>4.38.1<\/td><\/tr>
    THUDM\/chatglm3-6b<\/td>4.38.0<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
    Les besoins en m\u00e9moire peuvent varier selon le mod\u00e8le et le cadre. Pour l'Intel Arc A750 8GB fonctionnant avec IPEX-LLM, nous recommandons d'utiliser Llama-2-7B-chat-hf, Mistral-7B-Instruct-v0.2, phi-2 ou chatglm3-6B.<\/p>\n\n\n\n
    Mise en \u0153uvre d'une interface Web ChatBot<\/h2>\n\n\n\n
    Passons maintenant \u00e0 l'impl\u00e9mentation d'un chatbot Gradio webui pour une meilleure exp\u00e9rience en utilisant votre navigateur web. Pour plus d'informations sur la mise en \u0153uvre d'un chatbot interactif avec les LLM, visitez le site suivant https:\/\/www.gradio.app\/guides\/creating-a-chatbot-fast<\/a><\/p>\n\n\n\n
    1. Cr\u00e9ez un document nomm\u00e9 chatbot_gradio.py dans l'\u00e9diteur de texte de votre choix.<\/p>\n\n\n\n
    2. Copiez et collez l'extrait de code suivant dans chatbot_gradio.py :<\/p>\n\n\n\n
    Importation de gradio en tant que gr\nimport torch\nimport intel_extension_for_pytorch\nfrom ipex_llm.transformers import AutoModelForCausalLM\nfrom transformers import AutoTokenizer, StoppingCriteria, StoppingCriteriaList, TextIteratorStreamer\nfrom threading import Thread\n\nmodel_id = \"mistralai\/Mistral-7B-Instruct-v0.2\"\n\ntokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)\nmodel = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True, optimize_model=True, load_in_4bit=True, torch_dtype=torch.float16)\nmod\u00e8le = mod\u00e8le.half()\nmodel = model.to(\"xpu\")\nclasse StopOnTokens(StoppingCriteria) :\n    def __call__(self, input_ids : torch.LongTensor, scores : torch.FloatTensor, **kwargs) -> bool :\n        stop_ids = [29, 0]\n        pour stop_id dans stop_ids :\n            si input_ids[0][-1] == stop_id :\n                return True\n        retour Faux\n\ndef predict(message, history) :\n    stop = StopOnTokens()\n    history_format = []\n    pour human, assistant dans history :\n        history_format.append({\"role\" : \"user\", \"content\" : human })\n        history_format.append({\"role\" : \"assistant\", \"content\":assistant})\n    history_format.append({\"role\" : \"user\", \"content\" : message})\n\n    prompt = tokenizer.apply_chat_template(history_format, tokenize=False, add_generation_prompt=True)\n    model_inputs = tokenizer(prompt, return_tensors=\"pt\").to(\"xpu\")\n    streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)\n    generate_kwargs = dict(\n        model_inputs,\n        streamer=streamer,\n        max_new_tokens=300,\n        do_sample=True,\n        top_p=0.95,\n        top_k=20,\n        temp\u00e9rature=0,8,\n        num_beams=1,\n        pad_token_id=tokenizer.eos_token_id,\n        stopping_criteria=StoppingCriteriaList([stop])\n        )\n    t = Thread(target=model.generate, kwargs=generate_kwargs)\n    t.start()\n\n    partial_message = \"\"\n    pour new_token dans streamer :\n        if new_token != '<' :\n            partial_message += new_token\n            yield partial_message\n\ngr.ChatInterface(predict).launch()<\/code><\/pre>\n\n\n\n
    3. Ouvrez une nouvelle invite anaconda et entrez les commandes suivantes :<\/p>\n\n\n\n