{"id":4722,"date":"2024-04-18T22:49:14","date_gmt":"2024-04-18T22:49:14","guid":{"rendered":"https:\/\/game.intel.com\/?p=4722"},"modified":"2024-05-29T21:16:37","modified_gmt":"2024-05-29T21:16:37","slug":"wield-the-power-of-llms-on-intel-arc-gpus","status":"publish","type":"post","link":"https:\/\/game.intel.com\/mx\/stories\/wield-the-power-of-llms-on-intel-arc-gpus\/","title":{"rendered":"Aproveche la potencia de los LLM en las GPU Intel\u00ae Arc\u2122."},"content":{"rendered":"
\n

Ejecute f\u00e1cilmente una variedad de LLM localmente con las GPU Intel\u00ae Arc\u2122.<\/h3>\n<\/blockquote>\n\n\n\n

La IA generativa ha cambiado el panorama de lo que es posible en la creaci\u00f3n de contenidos. Esta tecnolog\u00eda tiene el potencial de ofrecer im\u00e1genes, v\u00eddeos y escritos nunca antes imaginados. Los grandes modelos ling\u00fc\u00edsticos (LLM) han sido noticia en la era de la IA, ya que permiten a cualquiera generar letras de canciones, obtener respuestas a preguntas complejas de f\u00edsica o redactar un esquema para una presentaci\u00f3n de diapositivas. Y estas funciones de IA ya no necesitan estar conectadas a la nube o a servicios de suscripci\u00f3n. Pueden ejecutarse localmente en tu propio PC, donde tienes pleno control sobre el modelo para personalizar sus resultados.<\/p>\n\n\n\n

En este art\u00edculo, le mostraremos c\u00f3mo configurar y experimentar con modelos de lenguaje grandes populares (LLMs) en un PC con la tarjeta gr\u00e1fica Intel\u00ae Arc\u2122 A770 16GB. Aunque este tutorial har\u00e1 uso del LLM Mistral-7B-Instruct, estos mismos pasos se pueden utilizar con un LLM PyTorch de tu elecci\u00f3n como Phi2, Llama2, etc. Y s\u00ed, \u00a1tambi\u00e9n con el \u00faltimo modelo Llama3!<\/p>\n\n\n\n

IPEX-LLM<\/h2>\n\n\n\n

La raz\u00f3n por la que podemos ejecutar una variedad de modelos utilizando la misma instalaci\u00f3n base es gracias a IPEX-LLM<\/a>una biblioteca LLM para PyTorch. Est\u00e1 construida sobre Extensi\u00f3n Intel\u00ae para PyTorch<\/a> y contiene optimizaciones LLM de \u00faltima generaci\u00f3n y compresi\u00f3n de pesos de bits bajos (INT4\/FP4\/INT8\/FP8) - con todas las \u00faltimas optimizaciones de rendimiento para hardware Intel. IPEX-LLM aprovecha la tecnolog\u00eda Xe<\/sup>-cores XMX AI acceleration on Intel discrete GPUs like Arc A-series graphics cards for improved performance. Admite gr\u00e1ficos Intel Arc serie A en Windows Subsystem para Linux versi\u00f3n 2, entornos Windows nativos y Linux nativo.<\/p>\n\n\n\n

Y como todo esto es PyTorch nativo, puedes cambiar f\u00e1cilmente los modelos PyTorch y los datos de entrada para ejecutarlos en una GPU Intel Arc con aceleraci\u00f3n de alto rendimiento. Este experimento no habr\u00eda estado completo sin una comparaci\u00f3n de rendimiento. Utilizando las instrucciones que aparecen a continuaci\u00f3n para Intel Arc y las que suelen estar disponibles para la competencia, hemos analizado dos GPU discretas situadas en un segmento de precio similar.<\/p>\n\n\n\n

\"\"\n\t\t\t\n\t\t\t\t\n\t\t\t<\/svg>\n\t\t<\/button><\/figure>\n\n\n\n

Por ejemplo, al ejecutar el modelo Mistral 7B con la biblioteca IPEX-LLM, la tarjeta gr\u00e1fica Arc A770 de 16 GB puede procesar 70 tokens por segundo (TPS), es decir, 70% m\u00e1s TPS que la GeForce RTX 4060 de 8 GB utilizando CUDA. \u00bfQu\u00e9 significa esto? Una regla general es que 1 token equivale a 0,75 de una palabra y una buena comparaci\u00f3n es el velocidad media de lectura humana de 4 palabras por segundo<\/a> o 5,3 TPS. La tarjeta gr\u00e1fica Arc A770 de 16 GB puede generar palabras mucho m\u00e1s r\u00e1pido de lo que una persona normal puede leerlas.<\/p>\n\n\n\n

Nuestras pruebas internas demuestran que la tarjeta gr\u00e1fica Arc A770 de 16 GB puede ofrecer esta capacidad y un rendimiento competitivo o l\u00edder en una amplia gama de modelos en comparaci\u00f3n con la RTX 4060, lo que convierte a los gr\u00e1ficos Intel Arc en una excelente opci\u00f3n para la ejecuci\u00f3n local de LLM.<\/p>\n\n\n\n

Pasemos ahora a las instrucciones de configuraci\u00f3n para empezar a utilizar LLM en tu GPU Arc serie A.<\/p>\n\n\n\n

Instrucciones de instalaci\u00f3n<\/h2>\n\n\n\n

Tambi\u00e9n podemos consultar esta p\u00e1gina para configurar el entorno: Instalar IPEX-LLM en Windows con GPU Intel - Documentaci\u00f3n m\u00e1s reciente sobre IPEX-LLM<\/a><\/p>\n\n\n\n

1. Desactiva la GPU integrada en el administrador de dispositivos.<\/p>\n\n\n\n

2. Descargue e instale Anaconda<\/a>.<\/p>\n\n\n\n

3. Una vez finalizada la instalaci\u00f3n, abra el men\u00fa Inicio, busque Anaconda Prompt, ejec\u00fatelo como administrador y cree un entorno virtual utilizando los siguientes comandos. Introduzca cada comando por separado:<\/p>\n\n\n\n

conda create -n llm python=3.10.6\n\nconda activar llm\n\nconda install libuv\n\npip install dpcpp-cpp-rt==2024.0.2 mkl-dpcpp==2024.0.0 onednn==2024.0.0 gradio\n\npip install --pre --upgrade ipex-llm[xpu] --extra-index-url https:\/\/pytorch-extension.intel.com\/release-whl\/stable\/xpu\/us\/\n\npip install transformadores==4.38.0<\/code><\/pre>\n\n\n\n
4. Cree un documento de texto llamado demo.py y gu\u00e1rdelo en C:\\su_nombre_de_usuario\\sus_documentos o en el directorio de su elecci\u00f3n.<\/p>\n\n\n\n
5. Abra demo.py con su editor favorito y copie en \u00e9l el siguiente ejemplo de c\u00f3digo:<\/p>\n\n\n\n
from transformadores import AutoTokenizer\nfrom ipex_llm.transformers import AutoModelForCausalLM\nimport antorcha\nimport intel_extension_for_pytorch\n\ndevice = \"xpu\" # el dispositivo en el que cargar el modelo\n\nmodel_id = \"mistralai\/Mistral-7B-Instruct-v0.2\" # id del modelo huggingface\n\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True, torch_dtype=torch.float16)\nmodel = model.to(dispositivo)\n\nmensajes = [\n    {\"rol\": \"user\", \"content\": \"\u00bfCu\u00e1l es tu condimento favorito?\"},\n    {\"rol\": \"asistente\", \"contenido\": \"Bueno, me gusta un buen chorro de zumo de lim\u00f3n fresco. Le da el toque justo de sabor a todo lo que preparo en la cocina\"},\n    {\"role\": \"user\", \"content\": \"\u00bfTienes recetas con mayonesa?\"}\n]\n\nencodeds = tokenizer.apply_chat_template(messages, return_tensors=\"pt\")\n\nmodel_inputs = encodeds.to(dispositivo)\nmodel.to(dispositivo)\n\ngenerated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)\ndecoded = tokenizer.batch_decode(generated_ids)\nprint(decodificado[0])<\/code><\/pre>\n\n\n\n
C\u00f3digo creado a partir del c\u00f3digo de ejemplo en este repositorio<\/a>.<\/em><\/p>\n\n\n\n
6. Guarde demo.py. En Anaconda, navega hasta el directorio donde se encuentra demo.py utilizando el comando cd, y ejecuta el siguiente comando en el prompt de Anaconda:<\/p>\n\n\n\n
python demo.py<\/code><\/pre>\n\n\n\n
\u00a1Ahora puedes conseguir una buena receta para hacer mayonesa!<\/p>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Cambio de modelos<\/h2>\n\n\n\n
Utilizando el mismo entorno que hemos configurado anteriormente, puedes experimentar con otros modelos populares en Hugging Face como llama2-7B-chat-hf, llama3-8B-it, phi-2, gemma-7B-i, y stablelm2 sustituyendo el id del modelo Hugging Face anterior en demo.py.<\/p>\n\n\n\n
model_id = \"mistralai\/Mistral-7B-Instruct-v0.2\" # huggingface model id\n\na\n\nmodel_id = \"stabilityai\/stablelm-2-zephyr-1_6b\" # id de modelo huggingface<\/code><\/pre>\n\n\n\n
Diferentes modelos pueden requerir una versi\u00f3n diferente del paquete transformers, si se encuentra con errores al iniciar demo.py, siga los siguientes pasos para actualizar\/desactualizar transformers:<\/p>\n\n\n\n
    \n
  1. Abrir Anaconda Prompt<\/li>\n\n\n\n
  2. conda activa llm<\/li>\n\n\n\n
  3. pip install transformadores==4.37.0<\/li>\n<\/ol>\n\n\n\n
    Versiones de transformadores verificadas:<\/strong><\/p>\n\n\n\n
    Modelo ID<\/th>Versiones de paquetes de transformadores<\/th><\/tr><\/thead>
    meta-llama\/Llama-2-7b-chat-hf<\/td>4.37.0<\/td><\/tr>
    meta-llama\/Meta-Llama-3-8B-Instruct<\/td>4.37.0<\/td><\/tr>
    estabilidadai\/stablelm-2-zephyr-1_6b<\/td>4.38.0<\/td><\/tr>
    mistralai\/Mistral-7B-Instrucci\u00f3n-v0.2<\/td>4.38.0<\/td><\/tr>
    microsoft\/phi-2<\/td>4.38.0<\/td><\/tr>
    google\/gemma-7b-it<\/td>4.38.1<\/td><\/tr>
    THUDM\/chatglm3-6b<\/td>4.38.0<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
    Los requisitos de memoria pueden variar seg\u00fan el modelo y el marco. Para el Intel Arc A750 8GB que funciona con IPEX-LLM, recomendamos utilizar Llama-2-7B-chat-hf, Mistral-7B-Instruct-v0.2, phi-2 o chatglm3-6B.<\/p>\n\n\n\n
    Implementaci\u00f3n de un ChatBot WebUI<\/h2>\n\n\n\n
    Ahora pasemos a implementar un chatbot webui de Gradio para una mejor experiencia usando tu navegador web. Para obtener m\u00e1s informaci\u00f3n sobre la implementaci\u00f3n de un chatbot interactivo con LLM, visita https:\/\/www.gradio.app\/guides\/creating-a-chatbot-fast<\/a><\/p>\n\n\n\n
    1. Crea un documento llamado chatbot_gradio.py en el editor de texto que prefieras.<\/p>\n\n\n\n
    2. Copia y pega el siguiente fragmento de c\u00f3digo en chatbot_gradio.py:<\/p>\n\n\n\n
    importar gradio como gr\nimportar antorcha\nimport intel_extension_for_pytorch\nfrom ipex_llm.transformers import AutoModelForCausalLM\nfrom transformers import AutoTokenizer, StoppingCriteria, StoppingCriteriaList, TextIteratorStreamer\nfrom threading import Thread\n\nmodel_id = \"mistralai\/Mistral-7B-Instruct-v0.2\"\n\ntokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)\nmodel = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True, optimize_model=True, load_in_4bit=True, torch_dtype=torch.float16)\nmodel = model.half()\nmodel = model.to(\"xpu\")\nclase StopOnTokens(StoppingCriteria):\n    def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor, **kwargs) -> bool:\n        stop_ids = [29, 0]\n        para stop_id en stop_ids:\n            if input_ids[0][-1] == stop_id:\n                return True\n        devuelve False\n\ndef predecir(mensaje, historial):\n    stop = StopOnTokens()\n    formato_historia = []\n    para humano, asistente en historial:\n        history_format.append({\"rol\": \"usuario\", \"contenido\": humano })\n        history_format.append({\"rol\": \"asistente\", \"contenido\":asistente})\n    history_format.append({\"rol\": \"usuario\", \"contenido\": mensaje})\n\n    prompt = tokenizer.apply_chat_template(history_format, tokenize=False, add_generation_prompt=True)\n    model_inputs = tokenizer(prompt, return_tensors=\"pt\").to(\"xpu\")\n    streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)\n    generar_kwargs = dict(\n        entradas_modelo,\n        streamer=streamer,\n        max_new_tokens=300,\n        do_sample=True,\n        top_p=0,95,\n        top_k=20,\n        temperature=0,8,\n        num_beams=1,\n        pad_token_id=tokenizer.eos_token_id,\n        stopping_criteria=StoppingCriteriaList([stop])\n        )\n    t = Thread(target=model.generate, kwargs=generate_kwargs)\n    t.start()\n\n    mensaje_parcial = \"\"\n    para new_token en streamer:\n        if nuevo_token != '<':\n            mensaje_parcial += ficha_nueva\n            yield mensaje_parcial\n\ngr.ChatInterface(predict).launch()<\/code><\/pre>\n\n\n\n
    3. Abra un nuevo prompt de anaconda e introduzca los siguientes comandos:<\/p>\n\n\n\n