Pensilvania demandó a Character.AI por presuntos chatbots que simulaban ser psiquiatras; el caso podría influir en futuras reglas para plataformas de inteligencia artificial

EEUU. — El estado de Pensilvania presentó una demanda contra la empresa Character Technologies Inc., desarrolladora de Character.AI, tras detectar chatbots, perfiles automatizados y sistemas de inteligencia artificial que presuntamente se hacían pasar por psiquiatras con licencia y ofrecían orientación relacionada con salud mental, terapia emocional y atención psicológica.

La acción legal fue presentada ante un tribunal estatal y busca impedir que la plataforma continúe permitiendo que personajes automatizados aparenten ejercer actividades médicas sin autorización. El caso ocurre en medio de un aumento global de preocupaciones sobre los límites de la inteligencia artificial conversacional, los riesgos de los chatbots médicos y el uso de IA generativa en contextos delicados como apoyo emocional y atención psiquiátrica.

De acuerdo con información retomada por AP y Decrypt, investigadores estatales encontraron dentro de Character.AI perfiles que se describían como “doctor en psiquiatría” y afirmaban poder evaluar usuarios “como un médico” con licencia en Pensilvania. Las autoridades consideran que este tipo de perfiles pueden generar confusión entre usuarios vulnerables que buscan ayuda relacionada con salud mental.

Lo Curioso

Un estudio del MIT advierte que la tendencia de los chatbots a darte siempre la razón puede alterar la percepción de la realidad e inducir delirios y psicosis incluso a personas con pensamiento racional

Te puede interesar: Así son las mascotas robóticas con IA que ofrecen apoyo emocional

La demanda acusa que los usuarios podían creer que recibían atención profesional real

Uno de los principales argumentos de las autoridades es que algunos usuarios podrían interpretar las conversaciones con estos chatbots de IA, asistentes automatizados y sistemas de inteligencia artificial como asesoría médica auténtica.

El gobernador de Pensilvania, Josh Shapiro, afirmó que los ciudadanos “merecen saber con quién —o con qué— están interactuando en línea, especialmente cuando se trata de su salud”.

Según la acusación, el problema no se limita únicamente a respuestas incorrectas o información dudosa. Las autoridades consideran que el mayor riesgo aparece cuando una plataforma permite que un sistema automatizado adopte la identidad de un especialista humano o aparente contar con credenciales relacionadas con psiquiatría, terapia clínica y atención psicológica.

Entre las preocupaciones señaladas en el litigio destacan:

• Posible engaño sobre credenciales profesionales
• Riesgo para usuarios vulnerables o en crisis emocional
• Retraso en la búsqueda de ayuda médica real
• Falsa sensación de seguridad clínica
• Confusión sobre la naturaleza de los chatbots

El caso vuelve a poner bajo presión a las empresas que desarrollan productos basados en IA generativa, plataformas de inteligencia artificial y herramientas de conversación automatizada utilizadas por millones de personas.

Character.AI aseguró que sus personajes deben tratarse como ficción

Tras conocerse la demanda, Character.AI respondió mediante un comunicado en el que afirmó que prioriza el desarrollo responsable de sus productos y el bienestar de sus usuarios.

La empresa sostuvo que dentro de su plataforma existen avisos legales donde se aclara que los personajes no son personas reales y que las conversaciones deben interpretarse “como ficción”. Además, indicó que los usuarios no deben depender de estos chatbots, personajes virtuales o sistemas de IA conversacional para recibir asesoramiento profesional.

Aun así, las autoridades estatales consideran que las advertencias podrían no ser suficientes cuando un personaje adopta explícitamente el perfil de un médico, terapeuta o psiquiatra con licencia.

Lo Curioso

Un estudio del MIT advierte que la tendencia de los chatbots a darte siempre la razón puede alterar la percepción de la realidad e inducir delirios y psicosis incluso a personas con pensamiento racional

El debate alrededor de Character.AI, la regulación tecnológica y la supervisión de herramientas de inteligencia artificial continúa creciendo conforme aumentan los cuestionamientos legales hacia este tipo de plataformas.

El caso podría influir en futuras regulaciones sobre inteligencia artificial

La demanda de Pensilvania contra Character.AI podría convertirse en uno de los casos más relevantes hasta ahora sobre responsabilidad legal de plataformas de inteligencia artificial, sistemas automatizados y modelos de lenguaje.

Especialistas consultados en el reporte señalan que el litigio abre preguntas complejas sobre los límites legales de los chatbots, la responsabilidad empresarial y el control sobre contenidos generados mediante IA generativa.

Derek Leben, profesor asociado de ética enfocado en IA en la Universidad Carnegie Mellon, explicó que los tribunales comienzan a analizar si los desarrolladores deben responder legalmente por las afirmaciones realizadas por sus sistemas automatizados.

“Es exactamente la cuestión con la que estos casos están lidiando en este momento”, declaró.

La salud mental se convirtió en uno de los puntos más sensibles para la IA

El crecimiento de aplicaciones de apoyo emocional impulsadas por inteligencia artificial, asistentes virtuales y chatbots emocionales ha generado preocupación entre especialistas y autoridades debido a la facilidad con la que algunos usuarios desarrollan confianza hacia estos sistemas.

Los chatbots emocionales ofrecen respuestas inmediatas, conversaciones permanentes y una interacción menos intimidante para ciertas personas. Sin embargo, expertos advierten que existe un riesgo importante cuando esas herramientas aparentan preparación clínica o sustituyen la orientación de profesionales reales de salud mental y atención psicológica.

Entre los puntos más delicados señalados por expertos y reguladores aparecen:

• La falta de supervisión médica real
• La ambigüedad sobre quién responde por errores
• La manipulación emocional de usuarios vulnerables
• El posible impacto en menores de edad
• La ausencia de controles claros en IA médica

El caso toma aún más relevancia porque Character Technologies ya había enfrentado cuestionamientos relacionados con seguridad infantil y uso de chatbots por menores de edad.

Los estados de EEUU endurecen vigilancia sobre plataformas de IA

La demanda presentada por Pensilvania forma parte de una presión creciente de distintos estados de EEUU contra empresas tecnológicas vinculadas con inteligencia artificial, plataformas automatizadas y herramientas de IA generativa.

De acuerdo con el documento citado, fiscales generales de 39 estados y Washington D.C. enviaron previamente advertencias a compañías como OpenAI, Google, Meta, Microsoft, Anthropic y xAI sobre mensajes manipuladores o engañosos generados por chatbots y asistentes virtuales.

Las autoridades sostienen que permitir asesoría de salud mental sin licencia podría afectar la confianza pública en profesionales reales y desincentivar que las personas busquen ayuda médica auténtica.

Además de Pensilvania, otros estados como California y Nueva York ya discuten leyes enfocadas en impedir que sistemas de inteligencia artificial se presenten como médicos, terapeutas o especialistas certificados.

Te puede interesar: Meta usará IA para detectar la verdadera edad de los usuarios en Facebook e Instagram analizando comportamientos y perfiles en toda la Unión Europea y EEUU