Asistente de FydeOS AI
Última actualización: 2024-05-30
¿Qué es FydeOS AI?
FydeOS AI es un asistente de IA a nivel de sistema diseñado específicamente para FydeOS. Soporta integración con servicios principales de contenido generado por inteligencia artificial (AIGC) y tiene capacidad para ejecutar modelos locales.
Primeros pasos con FydeOS AI
Requisitos del sistema
Actualmente, FydeOS AI está en fase experimental y solo está disponible en openFyde. Los dispositivos compatibles son:
- openFyde - amd64
- rpi5-openfyde
- fydetab_duo-openfyde
- rock5b-openfyde
- orangepi5-openfyde
- edge2-openfyde
Pasos de configuración
API de terceros de FydeOS AI
- Haz clic en el lanzador de la esquina inferior izquierda, busca FydeOS AI en las aplicaciones y haz clic para abrirlo.
- En la configuración básica de la página de configuración de FydeOS AI, selecciona el proveedor de servicio y completa la información correspondiente. Cuando termines, podrás usar el modelo de lenguaje grande en la nube para conversar.
Modelo local de FydeOS AI
- Ve a Hugging Face, elige el modelo que quieres usar y descarga el archivo XXX.rkllm.
- Abre FydeOS AI, ve a Ajustes - Ajustes básicos y selecciona el modelo local.
- Introduce la ruta del modelo. Si el archivo está en la carpeta Descargas, la ruta será Downloads/xxx.rkllm. Si el archivo está guardado en otro lugar, la ruta será la ruta relativa en “Mis archivos”.
- Haz clic para iniciar el modelo local, espera un momento y el modelo estará listo para conversar.
Cómo usarlo
FydeOS AI es muy fácil de usar para usuarios normales:
- Puedes pedir ayuda a FydeOS AI en el cuadro de chat y consultar conversaciones anteriores en el historial a la izquierda.
- Puedes usar entrada de voz para solicitar ayuda rápidamente.
- Cuando selecciones texto, pulsa el acceso directo Ctrl+C+C (mantén Ctrl y presiona C dos veces en dos segundos) para copiar el contenido actual y preguntar a FydeOS AI en una ventana emergente.
Opciones de desarrollador
Archivo de configuración
| Ruta de archivo | Descripción |
|---|---|
config/config.yaml | Define los parámetros predeterminados para cargar el modelo |
config/fix_freq_rk3588.sh | Aumenta la frecuencia de CPU y NPU al ejecutar el modelo |
Descripciones de parámetros
| Nombre del parámetro | Tipo | Descripción | Predeterminado |
|---|---|---|---|
modelPath | const char* | Ruta del archivo de modelo | - |
target_platform | const char* | Plataforma de hardware para ejecutar el modelo, con opciones “rk3576” o “rk3588” | - |
num_npu_core | int32_t | Número de núcleos NPU para inferencia. Para “rk3576”, el rango es [1, 2]; para “rk3588”, [1, 3] | - |
max_context_len | int32_t | Define el tamaño del contexto para el prompt | - |
max_new_tokens | int32_t | Límite máximo de tokens generados durante la inferencia del modelo | - |
top_k | int32_t | La muestra top-k elige el siguiente token entre los k tokens más probables del modelo. Esto reduce el riesgo de generar tokens de baja probabilidad o sin sentido. Valores altos (por ejemplo, 100) consideran más opciones y producen texto más diverso; valores bajos (por ejemplo, 10) se centran en los tokens más probables y generan texto más conservador. | 40 |
top_p | float | La muestra top-p, también llamada muestra de núcleo, elige el siguiente token desde un conjunto de tokens con probabilidad acumulada al menos p. Equilibra diversidad y calidad al considerar probabilidad y cantidad de tokens muestreados. Valores altos (por ejemplo, 0.95) generan texto más diverso; valores bajos (por ejemplo, 0.5) generan texto más enfocado y conservador. | 0.9 |
temperature | float | Controla la aleatoriedad de la generación ajustando la distribución de probabilidad de los tokens de salida. Temperaturas altas (por ejemplo, 1.5) hacen el texto más impredecible y creativo; temperaturas bajas (por ejemplo, 0.5) lo hacen más centrado y conservador. Con temperatura 0, el modelo elige siempre el token más probable, generando el mismo resultado cada vez. | 0.8 |
repeat_penalty | float | Controla la repetición de secuencias de tokens en el texto generado, ayudando a evitar repeticiones excesivas o monótonas. Valores altos (por ejemplo, 1.5) penalizan más la repetición, mientras valores bajos (por ejemplo, 0.9) son más permisivos. | 1.1 |
frequency_penalty | float | Penaliza el uso repetido de palabras o frases frecuentes e incrementa la probabilidad de tokens menos comunes. Puede hacer el texto más diverso, pero también menos coherente o más inesperado. El rango es [-2.0, 2.0]. | 0 |
mirostat | int32_t | Algoritmo que mantiene la calidad del texto generado dentro de un rango objetivo. Equilibra coherencia y diversidad para evitar salidas de baja calidad por repetición excesiva (boredom trap) o incoherencia (confusion trap). Valores: {0, 1, 2}, donde 0 desactiva el algoritmo, 1 lo activa y 2 activa mirostat 2.0. | - |
mirostat_tau | float | Define la entropía objetivo para mirostat, equivalente a la perplexidad deseada del texto. Valores bajos producen texto más centrado y coherente; valores altos generan texto más diverso y potencialmente menos coherente. | 5.0 |
mirostat_eta | float | Ajusta la tasa de aprendizaje de mirostat. Tasas más bajas hacen cambios más lentos; tasas más altas hacen el algoritmo más reactivo. | 0.1 |
Citado de Rockchip_RKLLM_SDK_CN.pdf