← Proyectos

Un asistente de voz que entiende tu vocabulario, sin fine-tuning

Construimos un asistente de voz con arquitectura RAG. Cuando el transcriptor se equivoca con un término del negocio, un diccionario propio convertido en espacio semántico lo corrige antes de buscar la respuesta. Sin reentrenar ningún modelo.

Esta semana te contamos un proyecto en el que estuvimos trabajando: un asistente de voz que responde con la información de la empresa. La persona habla, el asistente entiende la pregunta, busca la respuesta en los documentos de la empresa y contesta.

El problema más difícil no fue la respuesta. Fue entender bien lo que la persona dijo.

El problema: el transcriptor no conoce tu negocio

Todo asistente de voz empieza igual: un transcriptor convierte el audio en texto. Los transcriptores modernos son muy buenos con el lenguaje general, pero tropiezan justo con lo que más importa en una empresa:

  • nombres de productos y servicios,
  • siglas internas,
  • términos técnicos del rubro,
  • nombres propios.

Un ejemplo ilustrativo: si alguien pregunta por el plan «AIvital Pro», el transcriptor puede escribir «ay vital pro». Para una persona el error es evidente. Para el sistema que busca la respuesta, «ay vital pro» no existe, así que no encuentra nada o encuentra algo equivocado. Si la pregunta llega mal escrita, la mejor búsqueda del mundo no sirve.

La solución habitual: fine-tuning (y por qué no la usamos)

La respuesta de manual es hacer fine-tuning: reentrenar el modelo de transcripción con audios del negocio para que aprenda su vocabulario. Funciona, pero tiene tres costos:

  1. Necesita muchos audios etiquetados, que casi ninguna empresa tiene a mano.
  2. Hay que reentrenar cada vez que cambia el vocabulario: un producto nuevo, una sigla nueva, otro reentrenamiento.
  3. Te ata a un modelo. Si mañana sale un transcriptor mejor, el trabajo de reentrenamiento se pierde.

Elegimos otro camino: no tocar el modelo y corregir el texto después.

Lo que hicimos: un diccionario convertido en espacio semántico

1. Un diccionario de palabras del negocio. Armamos una lista con los términos que el asistente tiene que reconocer sí o sí: productos, siglas, nombres y jerga del rubro. Es una lista, no un modelo. Agregar una palabra nueva es agregar una línea.

2. Un espacio semántico con ese diccionario. Cada término se convierte en un vector, una posición en un «mapa» donde las expresiones parecidas quedan cerca unas de otras. Eso es el espacio semántico.

3. La corrección. Cuando llega una transcripción, comparamos sus palabras con ese mapa. Si un fragmento cae muy cerca de un término del diccionario pero está escrito distinto, es casi seguro un error del transcriptor, y lo reemplazamos por el término correcto. Volviendo al ejemplo: «ay vital pro» cae al lado de «AIvital Pro» en el mapa, y se corrige solo.

4. Recién entonces, RAG. Con la pregunta ya corregida, el asistente busca en la base de conocimiento de la empresa (eso es RAG: retrieval-augmented generation, generar la respuesta a partir de documentos recuperados) y responde con esa información.

Por qué nos gusta esta arquitectura

  • Se mantiene sin ingenieros de machine learning. Un término nuevo se agrega al diccionario y entra en el mapa. No hay que reentrenar nada.
  • No depende del transcriptor. Si aparece uno mejor, se cambia y el diccionario sigue sirviendo igual.
  • Es auditable. Cada corrección deja rastro: qué escuchó el transcriptor y por qué término lo reemplazamos. Si algo sale mal, se ve dónde.
  • Cada pieza hace una sola cosa. El transcriptor transcribe, el diccionario corrige y el RAG responde. Se puede mejorar cada una por separado.

¿Te sirve algo así?

Si tu equipo atiende consultas por teléfono, por audio de WhatsApp o en terreno, y el vocabulario de tu negocio es muy específico, este enfoque suele ser más rápido y barato de poner en marcha que entrenar un modelo propio.

Si quieres ver si aplica a tu caso, conversemos.