Tether AI, una eficiente entidad de IA en el dispositivo IA ha lanzado recientemente la versión exclusiva de su popular kit de desarrollo de software (SDK) QVAC. El nuevo despliegue introduce varias mejoras centradas en potenciar el rendimiento de la IA en el dispositivo, así como los flujos de trabajo de los desarrolladores. Según el anuncio oficial de QVAC en X, el último SDK 0.15.0 admite procesamiento por lotes de prompts, procesamiento mejorado en versión móvil, la inclusión de un agente de codificación local adicional y un backend local para GPU AMD. Por lo tanto, la actualización subraya la atención constante de Tether AI hacia la provisión de aplicaciones de IA de alto rendimiento que se ejecutan sin depender de infraestructura en la nube.
El CEO de Tether, Paolo Ardoino, retuiteó este anuncio de QVAC, destacando la importancia de esta actualización.
QVAC SDK 0.15.0 se lanza con procesamiento por lotes de prompts y soporte local para GPU AMD
El lanzamiento del QVAC SDK 0.15.0 incluye una característica clave de procesamiento por lotes de prompts para admitir un complemento de modelo de lenguaje grande (LLM). La característica respectiva permite a los desarrolladores fusionar diversos prompts en una sola tarea de procesamiento mientras se ejecutan de forma concurrente. En lugar de esperar a que todos los prompts se completen juntos, cada respuesta generada se devuelve, según se informa, al completarse.
Además, el lanzamiento ofrece un backend nativo HIP/ROCm para facilitar las GPU AMD a través de la pila @qvac/vla-ggml. Al usar dispositivos Linux x64, el backend se selecciona automáticamente en lugar de Vulkan cuando ROCm está disponible. La implementación proporciona un rendimiento casi un 23% mayor en comparación con Vulkan, así como un rendimiento casi un 14% mejor frente a PyTorch-ROCm.
Mejorando la flexibilidad y transparencia para los desarrolladores
Al mismo tiempo, otra mejora crucial es la integración de OpenClaw junto con OpenCode. Como resultado, ahora se permite a los desarrolladores elegir entre los flujos de trabajo de codificación sin nube, ampliando la flexibilidad para el desarrollo de IA. En general, el lanzamiento del QVAC SDK 0.15.0 de Tether AI adopta un estilo de código inclusivo, proporcionando más facilidad, consistencia y transparencia del código base a los desarrolladores.
Lectura relacionada: Coinbase dice que el 95-100% del código ahora es asistido por IA, frente al 40% en febrero.
