{"id":4722,"date":"2024-04-18T22:49:14","date_gmt":"2024-04-18T22:49:14","guid":{"rendered":"https:\/\/game.intel.com\/?p=4722"},"modified":"2024-05-29T21:16:37","modified_gmt":"2024-05-29T21:16:37","slug":"wield-the-power-of-llms-on-intel-arc-gpus","status":"publish","type":"post","link":"https:\/\/game.intel.com\/br\/stories\/wield-the-power-of-llms-on-intel-arc-gpus\/","title":{"rendered":"Utilize o poder dos LLMs nas GPUs Intel\u00ae Arc"},"content":{"rendered":"
\n

Execute facilmente uma variedade de LLMs localmente com as GPUs Intel\u00ae Arc<\/h3>\n<\/blockquote>\n\n\n\n

A IA generativa mudou o cen\u00e1rio do que \u00e9 poss\u00edvel na cria\u00e7\u00e3o de conte\u00fado. Essa tecnologia tem o potencial de fornecer imagens, v\u00eddeos e textos nunca antes imaginados. Os modelos de linguagem ampla (LLMs) t\u00eam sido manchetes na era da IA, permitindo que qualquer pessoa possa gerar letras de m\u00fasicas, obter respostas para perguntas complexas sobre f\u00edsica ou elaborar um esbo\u00e7o para uma apresenta\u00e7\u00e3o de slides. E esses recursos de IA n\u00e3o precisam mais estar conectados \u00e0 nuvem ou a servi\u00e7os de assinatura. Eles podem ser executados localmente no seu pr\u00f3prio PC, onde voc\u00ea tem controle total sobre o modelo para personalizar o resultado.<\/p>\n\n\n\n

Neste artigo, mostraremos como configurar e experimentar modelos de linguagem grandes (LLMs) populares em um PC com a placa de v\u00eddeo Intel\u00ae Arc\u2122 A770 de 16 GB. Embora este tutorial fa\u00e7a uso do LLM Mistral-7B-Instruct, essas mesmas etapas podem ser usadas com um LLM PyTorch de sua escolha, como Phi2, Llama2 etc. E sim, com o modelo mais recente do Llama3 tamb\u00e9m!<\/p>\n\n\n\n

IPEX-LLM<\/h2>\n\n\n\n

A raz\u00e3o pela qual podemos executar uma variedade de modelos usando a mesma instala\u00e7\u00e3o b\u00e1sica \u00e9 gra\u00e7as a IPEX-LLM<\/a>uma biblioteca LLM para PyTorch. Ela \u00e9 constru\u00edda sobre o Extens\u00e3o Intel\u00ae para PyTorch<\/a> e cont\u00e9m otimiza\u00e7\u00f5es LLM de \u00faltima gera\u00e7\u00e3o e compacta\u00e7\u00e3o de pesos de bits baixos (INT4\/FP4\/INT8\/FP8) - com todas as otimiza\u00e7\u00f5es de desempenho mais recentes para o hardware Intel. O IPEX-LLM aproveita as vantagens do Xe<\/sup>-Armazena a acelera\u00e7\u00e3o XMX AI em GPUs discretas da Intel, como as placas de v\u00eddeo Arc s\u00e9rie A, para melhorar o desempenho. Ele oferece suporte aos gr\u00e1ficos Intel Arc s\u00e9rie A no Subsistema Windows para Linux vers\u00e3o 2, ambientes Windows nativos e Linux nativo.<\/p>\n\n\n\n

E como tudo isso \u00e9 nativo do PyTorch, voc\u00ea pode trocar facilmente os modelos e os dados de entrada do PyTorch para execut\u00e1-los em uma GPU Intel Arc com acelera\u00e7\u00e3o de alto desempenho. Este experimento n\u00e3o teria sido completo sem uma compara\u00e7\u00e3o de desempenho. Usando as instru\u00e7\u00f5es abaixo para a Intel Arc e as instru\u00e7\u00f5es comumente dispon\u00edveis para a concorr\u00eancia, analisamos duas GPUs discretas posicionadas em um segmento de pre\u00e7o semelhante.<\/p>\n\n\n\n

\"\"\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button><\/figure>\n\n\n\n

Por exemplo, ao executar o modelo Mistral 7B com a biblioteca IPEX-LLM, a placa de v\u00eddeo Arc A770 16GB pode processar 70 tokens por segundo (TPS), ou 70% mais TPS do que a GeForce RTX 4060 8GB usando CUDA. O que isso significa? Uma regra geral \u00e9 que 1 token \u00e9 equivalente a 0,75 de uma palavra e uma boa compara\u00e7\u00e3o \u00e9 o velocidade m\u00e9dia de leitura humana de 4 palavras por segundo<\/a> ou 5,3 TPS. A placa de v\u00eddeo Arc A770 16GB pode gerar palavras muito mais rapidamente do que uma pessoa comum pode l\u00ea-las!<\/p>\n\n\n\n

Nossos testes internos mostram que a placa de v\u00eddeo Arc A770 de 16 GB pode oferecer esse recurso e um desempenho competitivo ou l\u00edder em uma ampla gama de modelos em compara\u00e7\u00e3o com a RTX 4060, o que torna a placa de v\u00eddeo Intel Arc uma \u00f3tima op\u00e7\u00e3o para a execu\u00e7\u00e3o LLM local.<\/p>\n\n\n\n

Agora vamos \u00e0s instru\u00e7\u00f5es de configura\u00e7\u00e3o para que voc\u00ea comece a usar LLMs na GPU Arc s\u00e9rie A.<\/p>\n\n\n\n

Instru\u00e7\u00f5es de instala\u00e7\u00e3o<\/h2>\n\n\n\n

Tamb\u00e9m podemos consultar esta p\u00e1gina para configurar o ambiente: Instala\u00e7\u00e3o do IPEX-LLM no Windows com GPU Intel - Documenta\u00e7\u00e3o mais recente do IPEX-LLM<\/a><\/p>\n\n\n\n

1. Desative a GPU integrada no gerenciador de dispositivos.<\/p>\n\n\n\n

2. Fa\u00e7a o download e instale Anaconda<\/a>.<\/p>\n\n\n\n

3. Ap\u00f3s a conclus\u00e3o da instala\u00e7\u00e3o, abra o menu Iniciar, procure o Anaconda Prompt, execute-o como administrador e crie um ambiente virtual usando os seguintes comandos. Digite cada comando separadamente:<\/p>\n\n\n\n

conda create -n llm python=3.10.6\n\nconda activate llm\n\nconda install libuv\n\npip install dpcpp-cpp-rt==2024.0.2 mkl-dpcpp==2024.0.0 onednn==2024.0.0 gradio\n\npip install --pre --upgrade ipex-llm[xpu] --extra-index-url https:\/\/pytorch-extension.intel.com\/release-whl\/stable\/xpu\/us\/\n\npip install transformers==4.38.0<\/code><\/pre>\n\n\n\n
4. Crie um documento de texto chamado demo.py e salve-o em C:\\Users\\Your_Username\\Documents ou no diret\u00f3rio de sua escolha.<\/p>\n\n\n\n
5. Abra o arquivo demo.py com seu editor favorito e copie o seguinte exemplo de c\u00f3digo para ele:<\/p>\n\n\n\n
from transformers import AutoTokenizer\nfrom ipex_llm.transformers import AutoModelForCausalLM\nimportar torch\nimportar intel_extension_for_pytorch\n\ndevice = \"xpu\" # o dispositivo para carregar o modelo\n\nmodel_id = \"mistralai\/Mistral-7B-Instruct-v0.2\" # id do modelo huggingface\n\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True, torch_dtype=torch.float16)\nmodel = model.to(device)\n\nmensagens = [\n    {\"role\": \"user\", \"content\": \"Qual \u00e9 o seu condimento favorito?\"},\n    {\"role\": \"assistant\" (assistente), \"content\" (conte\u00fado): \"Bem, eu gosto bastante de um bom suco de lim\u00e3o fresco. Ele acrescenta a quantidade certa de sabor picante ao que quer que eu esteja preparando na cozinha!\"},\n    {\"role\": \"user\" (usu\u00e1rio), \"content\" (conte\u00fado): \"Do you have mayonnaise recipes?\"}\n]\n\nencodeds = tokenizer.apply_chat_template(messages, return_tensors=\"pt\")\n\nmodel_inputs = encodeds.to(device)\nmodel.to(dispositivo)\n\ngenerated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)\ndecodificado = tokenizer.batch_decode(generated_ids)\nprint(decoded[0])<\/code><\/pre>\n\n\n\n
C\u00f3digo criado a partir do c\u00f3digo de amostra neste reposit\u00f3rio<\/a>.<\/em><\/p>\n\n\n\n
6. Salve o arquivo demo.py. No Anaconda, navegue at\u00e9 o diret\u00f3rio em que o demo.py est\u00e1 localizado usando o comando cd e execute o seguinte comando no prompt do Anaconda:<\/p>\n\n\n\n
python demo.py<\/code><\/pre>\n\n\n\n
Agora voc\u00ea pode obter uma boa receita para fazer maionese!<\/p>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Mudan\u00e7a de modelos<\/h2>\n\n\n\n
Usando o mesmo ambiente que configuramos acima, voc\u00ea pode experimentar outros modelos populares no Hugging Face, como llama2-7B-chat-hf, llama3-8B-it, phi-2, gemma-7B-i e stablelm2, substituindo o ID do modelo Hugging Face acima no demo.py.<\/p>\n\n\n\n
model_id = \"mistralai\/Mistral-7B-Instruct-v0.2\" ID do modelo huggingface #\n\npara\n\nmodel_id = \"stabilityai\/stablelm-2-zephyr-1_6b\" # id do modelo huggingface<\/code><\/pre>\n\n\n\n
Modelos diferentes podem exigir uma vers\u00e3o diferente do pacote de transformadores. Se voc\u00ea encontrar erros ao iniciar o demo.py, siga as etapas abaixo para fazer upgrade\/downgrade dos transformadores:<\/p>\n\n\n\n
    \n
  1. Abrir o prompt do Anaconda<\/li>\n\n\n\n
  2. conda activate llm<\/li>\n\n\n\n
  3. pip install transformers==4.37.0<\/li>\n<\/ol>\n\n\n\n
    Vers\u00f5es verificadas dos transformadores:<\/strong><\/p>\n\n\n\n
    ID do modelo<\/th>Vers\u00f5es do pacote de transformadores<\/th><\/tr><\/thead>
    meta-llama\/Llama-2-7b-chat-hf<\/td>4.37.0<\/td><\/tr>
    meta-llama\/Meta-Llama-3-8B-Instruct<\/td>4.37.0<\/td><\/tr>
    stabilityai\/stablelm-2-zephyr-1_6b<\/td>4.38.0<\/td><\/tr>
    mistralai\/Mistral-7B-Instruct-v0.2<\/td>4.38.0<\/td><\/tr>
    microsoft\/phi-2<\/td>4.38.0<\/td><\/tr>
    google\/gemma-7b-it<\/td>4.38.1<\/td><\/tr>
    THUDM\/chatglm3-6b<\/td>4.38.0<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
    Os requisitos de mem\u00f3ria podem variar de acordo com o modelo e a estrutura. Para o Intel Arc A750 8GB em execu\u00e7\u00e3o com o IPEX-LLM, recomendamos o uso do Llama-2-7B-chat-hf, Mistral-7B-Instruct-v0.2, phi-2 ou chatglm3-6B.<\/p>\n\n\n\n
    Implementa\u00e7\u00e3o de uma WebUI do ChatBot<\/h2>\n\n\n\n
    Agora, vamos implementar um webui do chatbot do Gradio para obter uma experi\u00eancia melhor usando seu navegador da Web. Para obter mais informa\u00e7\u00f5es sobre a implementa\u00e7\u00e3o de um chatbot interativo com LLMs, visite https:\/\/www.gradio.app\/guides\/creating-a-chatbot-fast<\/a><\/p>\n\n\n\n
    1. Crie um documento chamado chatbot_gradio.py no editor de texto de sua prefer\u00eancia.<\/p>\n\n\n\n
    2. Copie e cole o seguinte trecho de c\u00f3digo no chatbot_gradio.py:<\/p>\n\n\n\n
    importar gradio como gr\nimportar torch\nimport intel_extension_for_pytorch\nfrom ipex_llm.transformers import AutoModelForCausalLM\nfrom transformers import AutoTokenizer, StoppingCriteria, StoppingCriteriaList, TextIteratorStreamer\nfrom threading import Thread\n\nmodel_id = \"mistralai\/Mistral-7B-Instruct-v0.2\"\n\ntokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)\nmodel = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True, optimize_model=True, load_in_4bit=True, torch_dtype=torch.float16)\nmodel = model.half()\nmodel = model.to(\"xpu\")\nclass StopOnTokens(StoppingCriteria):\n    def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor, **kwargs) -> bool:\n        stop_ids = [29, 0]\n        para stop_id em stop_ids:\n            if input_ids[0][-1] == stop_id:\n                return True\n        return False\n\ndef predict(message, history):\n    stop = StopOnTokens()\n    history_format = []\n    for human, assistant in history:\n        history_format.append({\"role\": \"user\", \"content\": human })\n        history_format.append({\"role\": \"assistant\", \"content\":assistant})\n    history_format.append({\"role\": \"user\", \"content\": message})\n\n    prompt = tokenizer.apply_chat_template(history_format, tokenize=False, add_generation_prompt=True)\n    model_inputs = tokenizer(prompt, return_tensors=\"pt\").to(\"xpu\")\n    streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)\n    generate_kwargs = dict(\n        model_inputs,\n        streamer=streamer,\n        max_new_tokens=300,\n        do_sample=True,\n        top_p=0,95,\n        top_k=20,\n        temperature=0.8,\n        num_beams=1,\n        pad_token_id=tokenizer.eos_token_id,\n        stopping_criteria=StoppingCriteriaList([stop])\n        )\n    t = Thread(target=model.generate, kwargs=generate_kwargs)\n    t.start()\n\n    partial_message = \"\"\n    for new_token in streamer:\n        if new_token != '<':\n            partial_message += new_token\n            yield partial_message\n\ngr.ChatInterface(predict).launch()<\/code><\/pre>\n\n\n\n
    3. Abra um novo prompt do anaconda e digite os seguintes comandos:<\/p>\n\n\n\n