
Actualmente la Inteligencia Artificial (IA) se está convirtiendo en un factor estratégico para las empresas que redefinen su forma de operar y relacionarse con sus clientes, a través de la innovación. El crecimiento de modelos de IA para procesar grandes volúmenes de datos, automatizar las decisiones y generar valor en tiempo real plantea retos importantes con respecto a la implementación y medición. Ahora es indispensable comprender cómo la IA impacta en la productividad, la ética, la competitividad y la sostenibilidad del negocio.
La medición de la IA no trata de cuantificar el retorno de la inversión o la reducción de costos, sino que analiza las métricas más amplias como mejoras en la experiencia del cliente, la adaptabilidad organizacional y la confiabilidad de los sistemas automatizados. Dichos indicadores, requieren una visión más holística que trascienda los diferentes parámetros financieros tradicionales. En este sentido, la medición de la IA, se vuelve un aspecto más crítico. La falta de un marco claro de medición puede llevar a expectativas poco realistas o a la subutilización de las capacidades de la IA.
Con este panorama, surge la necesidad de una nueva mentalidad empresarial. Es por ello, que las compañías, deben de abandonarla visión que tienen actualmente sobre la IA como una herramienta tecnológica y empezar a pensar en ella como un motor de la transformación cultural y estratégica. Esto implica fomentar la agilidad, promover la transparencia en los procesos algorítmicos y adoptar esquemas de gobernanza que equilibren la innovación con la responsabilidad.
Es por ello que el éxito de la IA dependerá de la capacidad de los líderes para cuestionarse cómo medir el impacto y alinear los indicadores con los objetivos a largo plazo. Contar con este tipo de mentalidad no solo permitirá generar valor económico, sino consolidar la confianza de los empleos.
En este podcast hablamos con Jaume Clotet, Director General de Infini, que nos habla sobre la importancia de medir la Inteligencia Artificial y como esto implica una nueva mentalidad en las empresas.
Clotet cuenta con más de 25 años de experiencia en el ámbito digital, ha fundado y liderado múltiples empresas tecnológicas, y ha ocupado cargos directivos en KPMG y PwC, donde desarrolló prácticas de transformación digital.
Es licenciado en ADE por la UOC y máster en gestión de proyectos tecnológicos por el Institut Català de Tecnologia. Es profesor de las escuelas de negocio IESE e ISDI, donde impulsó el primer máster en analítica de datos en España.
¿Qué podrás escuchar en este podcast?
- La importancia de medir la Inteligencia Artificial.
- Los mayores desafíos al intentar medir el rendimiento de la Inteligencia Artificial.
- El significado de los costes ocultos en la medición de la IA.
- El cambio de la forma de medir un sistema cuando pasamos de un software normal a uno de Inteligencia Artificial.
- El cambio de mentalidad en la práctica de IA para las empresas.
- La conexión para que los datos sean comprensibles y útiles para la toma de decisiones empresariales.
¡Te esperamos en Digital Talks by t2ó ONE! Ya tienes el episodio disponible en nuestros canales de Spotify, Apple Podcast, YouTube e iVoox. 🎧
Si te ha gustado y te parece interesante para tu negocio, no dejes de escuchar los demás episodios, ¡aprenderás de/con l@s mejores! 🤓
[Transcripción del Podcast]
EC: Soy Esther Checa y hoy hablaremos con Jaume Clotet sobre cómo medir el impacto de la Inteligencia Artificial en proyectos digitales.
EC: Actualmente, Jaume es director general de Infini, una consultora especializada en automatización de procesos e inteligencia Artificial, con más de 25 años de experiencia en el ámbito digital, ha fundado y liderado múltiples empresas tecnológicas y ha ocupado cargos directivos en consultoras como KPMG y PwC, donde ha desarrollado prácticas de transformación digital. Es licenciado en ADE por la UOC y Máster en Gestión de Proyectos Tecnológicos por el Instituto Catalán de Tecnología. Es profesor de las Escuelas de Negocio IESE e ISDI y en esta última impulsó el primer Máster de Analítica de Datos en España. Muchas gracias por estar hoy con nosotros.
JC: Gracias a ti.
EC: Pues hoy vamos a empezar con una pregunta que resulta muy evidente, pero que bueno, que no tiene por qué serlo y es entender muy bien por qué es importante medir la inteligencia hoy en día.
JC: Bueno, pues Esther, gracias por invitarme. Yo lo que observo es que estamos viviendo un tiempo en el que existe un paralelismo importante con lo que hemos visto en anteriores olas. Cuando llegó el mail, cuando llegó la web, cuando llegó el móvil, cuando llegaron las redes sociales, cuando llegaron estas olas tecnológicas, pues había cosas que aún no sabíamos y que se fueron alojando. Por ejemplo, me acuerdo cuando llegó la web y la publicidad online que primero planificabamos por coste por mil, luego por coste por clic, luego coste por venta, las webs, pues los logos no estaban claros dónde iban, si a la izquierda, a la derecha en medio y poco a poco eso se fue asentando con la medición.
Ha pasado lo mismo cuando llegó la web, cuando llegó a las redes sociales. Pues ese aprendizaje, necesitaba datos, necesitaba entender,cuánta gente usaba la web, cuántas visitas teníamos, cuánta gente hacía clics en los banners.
Con la Inteligencia Artificial pasa un poco lo mismo. Todo es muy nuevo.
Estamos en un periodo muy incipiente aún de aprendizaje y nos estamos alojando un poquito en la comprensión de cómo actúa y cómo nos ayuda la inteligencia artificial, no? ¿Y ahí es donde entra la importancia o la relevancia de medir, no? ¿Porque ahora estamos aprendiendo, no? ¿Y sin datos, pues es difícil, no? Poder aprender cómo está evolucionando todo esto.
EC: ¿Toma, en Infini tenéis o habéis preparado una guía con las métricas fundamentales para la inteligencia artificial? Tremendamente interesante. Y decís que medir la inteligencia artificial no es para corazones débiles. Me encanta esa frase y que es algo complejo aquí. ¿Cuáles son los mayores desafíos al intentar medir el rendimiento de una inteligencia artificial?
JC: Claro, Pues mira, fíjate que sí, lo de los corazones débiles. Bueno, en verdad yo creo que todo el mundo se puede atrever, pero efectivamente no sucede de nuevo lo mismo que sucedió en el pasado. En esa fase de aprendizaje tenemos dos perfiles el perfil técnico y el perfil de negocio. Si es verdad que la medición se produce tanto en el campo, en el campo de la tecnología, la monitorización de los sistemas y demás. ¿Pero como hemos visto en las olas anteriores, al final lo que nos interesa es medir orientado resultado orientado a negocio, no? Del mismo modo que ha sucedido en el pasado, sucede ahora. No, No es fácil encontrar perfiles y por eso lo de los corazones débiles que entiendan de tecnología y entiendan de negocio. No es fácil encontrar gente. ¿Perfiles profesionales que entienden a que entiendan la parte más técnica, la parte más hard de la inteligencia artificial y simultáneamente entiendan la parte operativa, procesos, todo aquello que tiene que ver con el negocio, no? Al final la medición puede estar orientada tanto tecnología como negocio, pero nosotros donde estamos poniendo el foco, donde estamos poniendo la orientación de todo esto es en entender, medir cómo la inteligencia artificial mejora nuestros procesos, ya sea negocio o cualquier otro tipo de de organización o de propósito. Esto es por fases. Ahora estamos explorando todos nuevo. No hay conocimiento consolidado. Entonces. ¿Bueno, es para aquellos no early adopters, para aquellos fast movers, no? Y al final, pues los corazones valientes están en esa fase. ¿No? Pero digamos que los corazones débiles, como lo llamamos nosotros, están más en los en la masa en los que siguen después. No. Entonces ahora es el momento para los valientes. No. Un momento. Para. Para los aventureros. Para los que deciden de explorar la parte técnica. Explorar la parte del dato y explorar cómo esa inteligencia artificial generativa impacta en los procesos e impacta en el negocio y cruzan esa información para poder tomar decisiones de valor.
EC: Aquí llamo en base a la experiencia que tienes de tantos años dentro de este ámbito de la medición y me gustaría que me dijeses cuál es un ejemplo de error más común que ves que las empresas incurren al medir ahora mismo este contexto con esta tecnología, con la inteligencia artificial.
JC: Bueno, el principal error es no medirla realmente. Si tú vas hoy a una sala, a un congreso o a una conferencia y preguntas cuántos de vosotros utiliza Chatgpt o cuántos de vosotros ha desplegado CoPilot en vuestra organización, Pues probablemente veas muchas manos levantadas. ¿Me atrevo a decir que prácticamente toda la sala no, pero a ese mismo foro se preguntas y cuántos de vosotros sabe si la respuesta que le han dado es correcta o si la inteligencia artificial que tiene en un proceso, en un agente, cómo está actuando ahora mismo mientras tú estás en la sala y se ha ejecutado bien? ¿Cuántas veces se ha ejecutado mejor que lo que el mes pasado? Ahí las manos empiezan a bajar. O sea, realmente estamos implementando tecnología, la tecnología de la inteligencia generativa en nuestro día a día, en la mejora de nuestro trabajo, en los procesos de las compañías. Poco a poco. Pero principal error es no es no medirla, porque en el fondo estamos incurriendo en un coste, estamos incurriendo en un coste y entiendo que deberíamos de tener visibilidad también de cuál es el retorno. ¿Si es verdad que hacer ese ejercicio de actual no? De ponerla ahí en manos de la de los equipos para mejorar nuestro trabajo y ponerla en los procesos de la compañía, pues es digamos que tiene un propósito de aprendizaje sobre todo. O sea, hay muy pocas. Son muy pocos los casos que realmente se haya seguido un proceso en el que todo esté muy consensuado y haya unas métricas claras al final del camino.
JC: Lo normal es que, bueno, las empresas exploran esa integración de la IA y de las y de los agentes y poco a poco se van midiendo. Pero el principal error es no medirla. ¿Y el segundo error? Si tú quieres, es el no acertar en las métricas. ¿Porque si estamos midiendo el impacto de un agente en un proceso y las métricas que utilizamos son de accuracy, de latencia, de tiempo, de respuesta, pues todas estas métricas son métricas de la performance del modelo, pero no son métricas que estén orientadas al resultado del proceso en el que está implicado el modelo, no? Entonces yo te diría que estos son los los los grandes errores y que además, Yendo un poco de nuevo al mensaje que daba al principio es Hay un paralelismo enorme en lo que sucedía en el 2000 cuando teníamos la web. ¿Qué métricas utilizábamos entonces? Pues el análisis de logs. Utilizábamos el análisis de logs para intentar medir cuánta gente había visitado nuestra página hoy las visitas. Y todos sabemos que las visitas son relevantes, pero poco a poco fueron apareciendo otras métricas que se fueron yendo instalando en el análisis más más cercano a lo que es el resultado de negocio ventas, procesos terminados, leads generados, etc, etc.
EC: No llamo a qué significa el concepto de costes ocultos, que también es algo que comentáis en el contexto de la medición de la inteligencia artificial. ¿Y esto cómo puede afectar a una empresa?
JC: Si por costes ocultos el coste es una de las métricas más evidentes en el momento en que alguien decide incorporar inteligencia artificial. Herramientas de inteligencia basadas en inteligencia artificial o el uso de modelos. El primer. ¿La primera métrica que se pone encima de la mesa es esto Cuánto? ¿Cuánto cuesta? Lo que pasa es que el coste en el caso del. ¿De la inteligencia artificial en muchos casos es variable, no depende exclusivamente del número de licencias que tengas, sino también del consumo que hagas de ellas, no? Este sería el primer. Uno de los primeros factores de coste oculto. ¿Cada vez más son las empresas que sí que facilitan el acceso a CoPilot o a otros tipos de entornos de uso de modelos dentro de las compañías, pero que tienen que controlar ese coste variable de uso, no? Además, es que ese coste sí está asociado al aprendizaje. ¿No pasa nada, no? Pero sí está asociado a una acción concreta. Es difícil de discernir entre cuál es el coste total y cuál es el coste útil. No vamos a poner un ejemplo. ¿No? ¿Imagina que estoy utilizando un modelo de inteligencia artificial o un servicio de IA generativa y para crear imágenes y de repente pues me paso pues relativamente tiempo usándolo para otros propósitos, no? Cuando estoy utilizando un recurso mal, estoy utilizando un recurso donde hay mucho coste que no es útil.
JC: ¿No, no está asociado a una autoría, a la autoridad por la cual ha sido contratado, no? El segundo es el espejismo, que le llamamos nosotros. ¿Esto lo vemos muchas veces las empresas en ese propósito, no? ¿Del aprendizaje, de empezar a trabajar con la inteligencia artificial crean proyectos en el que la inteligencia artificial forma parte de un proceso, no? Y una vez el proceso está subido a producción, pues nos encontramos y vemos que no se usa como estaba previsto. Los equipos. Es verdad que son conocedores de ese nuevo proceso que está vivo, pero crean o mantienen procesos manuales por fuera y siguen coexistiendo cuando en verdad uno tendría que haber sustituido otro o o deberían de ser complementarios de una manera distinta en lo que lo acaban siendo. Entonces hay un coste basado en un espejismo, que es que el que decide hacer la inversión piensa que ha implementado un sistema que automatiza procesos y que utiliza la inteligencia artificial para sustituir o complementar el trabajo de un ser humano. ¿Y resulta que ese ser humano, pues, no la ha incorporado en su en su día a día, no? Y el tercero tiene que ver precisamente con la falta de de transparencia o de mantenimiento de estos sistemas una vez están implementados, porque como ya sabemos, pues los modelos de inteligencia artificial, pues tienen que mantenerse.
JC: Bueno, si una vez tienes implementado un sistema no vamos a poner, por ejemplo, un sistema que te permite predecir y diseñar rutas desde el punto de vista del reparto logístico, por poner un ejemplo. Bueno, pues si tienes una tasa de éxito y esa tasa de éxito, pues resulta que tiene una oportunidad de mejora enorme que la vas perdiendo en el tiempo por una cuestión de mantenimiento. Claro, tienes un coste, porque de repente si hay el modelo en cuestión de meses empieza a alucinar y tú no eres consciente de esa alucinación. Pues a lo mejor estás desarrollando toda una serie de rutas que tú crees que son óptimas, pero en verdad el modelo lo que está haciendo es generarte unos costes que tú no eres conocedor de él. Entonces, la monitorización y el seguimiento constante, esa medición de la efectividad del modelo en el tiempo, pues también es generador de un coste oculto. Y estas tres serían las principales causas, no el consumo de tokens. Efecto espejismo que tú crees que ese proceso está instalado y funcionando y el ser humano se resiste por el motivo que sea, a usarlo como estaba previsto y la falta de mantenimiento o monitorización del sistema una vez implementado.
EC: De hecho, muy relacionado con esto que estás comentando, en el caso de un gran modelo de lenguaje, los costes pueden ser muy muy variables. Y aquí me gustaría. Bueno, estamos relacionado con esto último que estás comentando aquí. ¿Cómo se gestiona esta explosión de costes variables en un proyecto de inteligencia artificial?
JC: Pues mira, más allá de la gestión pura, una vez has tomado la decisión de basarte en un modelo de consumo por tokens, o sea un modelo licenciado, la alternativa que estamos viendo nosotros en la que estamos trabajando en empresas es para migrar a modelos propietarios, o sea, el. De hecho, ya desde el año pasado hay una apuesta clara por parte de Nvidia y digamos que ahí se ha abierto no una una guerra entre Nvidia y Google versus Anthropic Meta y otros players para ir empujando poco a poco el desarrollo de modelos propietarios. Al final, un modelo propietario sería pues el servicio es el mismo que puedes obtener con un modelo licenciado. Vamos a decir, por ejemplo, en un licenciado sería Estaríamos hablando pues de GPT y los modelos que puedes contratar por suscripción y que tienen esos consumos versus el utilizar un modelo opensource, entrenarlo y tenerlo alojado en una infraestructura propia. El nivel de calidad es prácticamente el mismo. ¿Ahora las diferencias son pocas si estamos hablando de un uso generalista, no? Y una vez entrenado el modelo, si es para propósito específico, estaríamos hablando incluso de mejoras de rendimiento y eficiencia si está bien entrenado en esta línea. Google y Nvidia también van a lanzar la posibilidad de usar Gemini, que es un modelo licenciado en un entorno privado. Se espera que sea a finales de 2025. Esto, claro, el tener un modelo entrenado en entornos privados elimina la variabilidad de consumo por tokens. Lo que sí que tienes es gastos fijos de arquitectura, de mantenimiento, eso sí, pero ahí hay una decisión a tomar que normalmente tiene que ver con la volumetría, o sea, con la intensidad que se haga de consumo y el número de personas que participen en ese en ese consumo.
EC: Mhm. Muy interesante. También haces mención a las diferencias que existen entre este software software tradicional y la inteligencia artificial. Y aquí me gustaría que nos contases un poco cómo cambia la forma de medir un sistema que pasamos de un software normal a una inteligencia artificial donde están las grandes diferencias.
JC: La principal diferencia está en entender que los sistemas basados en inteligencia artificial son sistemas inestables, son. La inteligencia artificial no es perfecta. Nada es perfecto. De hecho, en la Tierra. Pero la inteligencia artificial no es perfecta. Es verdad que el la experiencia que tenemos cuando usamos GPT o cuando usamos Gemini o Cloud es muy buena y dices ostras, es muy buena, pero si esa lectura se la das a un especialista a esa lectura, o esa imagen, o ese vídeo o lo que tú quieras, si ese cálculo, si eso, sea cual sea el output, se lo das a un especialista con criterio técnico suficiente, de repente empieza a encontrar cosas, ya sea un periodista, un artículo, ya sea un fotógrafo a una imagen, ya sea un economista, a un informe de auditoría, ya sea lo que sea. La inteligencia artificial no es perfecta y encima se degrada. O sea, todos tenemos la experiencia de que a medida que vamos utilizando el GPT o cualquiera que sea el modelo que utilicemos, a medida que vamos interactuando con él en la misma conversación, la experiencia se va degradando, hay una degradación, hay una pérdida de contexto, incluso llega un punto que te dice hasta aquí he llegado o este es el máximo de largo que te puedo dar como respuesta.
JC: O sea, es un sistema, un sistema inestable y un sistema imperfecto. Entonces esto hay que tenerlo en cuenta. Hay que tener en cuenta que en la medición tradicional vamos a decir una página web o una aplicación móvil, pues funciona o no funciona. Me da un error 404 o me da un error 500. Todo es más estable, por decirlo de una manera. Obviamente tampoco es perfecto, pero con la inteligencia artificial nos encontramos en un entorno en el que no es Abro la luz, cierro la luz, no es funciona, no funciona. Es un entorno inestable que varía en función del contexto del tiempo que lleves actuando con él, con los datos que estás utilizando para entrenarlos hoy, si es que tienes un sistema de entrenamiento dinámico, etc, etc, etc, entonces toda esa casuística hace que la forma de medir sea distinta. Así que de repente tú tengas que contemplar pues aspectos que en la medición tradicional no se contemplaban. Uno muy claro el compliance ético, los sesgos, los biases de género, la huella carbónica. O sea, hay todo, hay toda una serie de aspectos que en este caso que he mencionado, algunos están más relacionados con el negocio, otros más desde el punto de vista social, pero que son absolutamente nuevos. ¿No? Entonces. Bueno, se trata de ir explorando cuáles son esas métricas que nos pueden ayudar a ir entendiendo esta diferencia.
JC: Nosotros en Infinit hemos identificado 60 métricas básicas, unas diez, digamos más o menos transversales, y luego unas 7U8 relacionadas en función del tipo de uso de la inteligencia artificial, ya sea una el uso de generación de contenido, ya sea para el uso de generación de agentes, chatbots, modelos predictivos. Bueno, poco a poco yo creo que los iremos poniendo en práctica, pero una vez más, poco a poco y con el esfuerzo de todos. Porque a mí el punto en el que estamos ahora, y en concreto analizando las métricas que que hemos identificado para la medición de la IA versus la medición tradicional. Me recuerda un poco el año 2000 2005 2006, donde apareció el Libro Blanco de la medición. ¿No era como que de repente no seis Siete años después de la aparición de la web, el mercado se puso de acuerdo en cual eran las métricas que íbamos a utilizar para medir, no? Bueno, yo no sé si vamos a tardar 7U8 años, espero que no, porque ahora todo es todo mucho más rápido, Pero efectivamente el contexto y la tecnología son distintas, por lo tanto la forma de medir también va a ser distinta.
EC: Mhm. Totalmente de acuerdo. De hecho, va a tener que haber un cambio de mindset no solamente profesional, sino de industria, para realmente adaptar una nueva forma de entender cómo puedes medir algo que hasta ahora ni te lo estabas planteando, pero que la propia tecnología pues sí que nos ofrece esa posibilidad. Totalmente de acuerdo. ¿También te te he escuchado decir que se necesita tener una mentalidad de inteligencia artificial para medir aquí qué significa este cambio de mentalidad? ¿La forma práctica de operar para una compañía?
JC: Sí. Bueno, me encanta que me hagas esta pregunta. La verdad es que ese cambio de mentalidad se ha producido en todas, en todas las olas. No pensamos en la mentalidad web, por decirlo de alguna manera. De repente tuvimos que empezar a pensar en la arquitectura de la información, la navegación intuitiva, el UX de repente, el SEO, la visibilidad en buscadores, el comercio electrónico, las conversiones online. Pues todo esto era conocimiento que de alguna manera empezó a esculpir o a definir su forma de pensar. Y eso podríamos llamarlo pues mentalidad web. Y del mismo modo pasó con el móvil, el diseño responsive, mobile first, experiencias táctiles, geolocalización, apps nativas versus web apps y las redes sociales, marketing de contenidos, gestión de comunidades. Los influencers. ¿Bueno, pues un poco esto pasa igual ahora que conocimientos digamos que nos estarían relacionados con esta mentalidad, ya no? Bueno, yo lo clasificaría en dos grupos porque en verdad Inteligencia Artificial es un campo mucho más amplio y siempre que hablamos de inteligencia artificial hoy hablamos. ¿Nos referimos en general a la inteligencia artificial generativa o a los agentes inteligentes, verdad? En el caso de la inteligencia artificial generativa, pues aspectos de conocimiento que definen esa mentalidad de inteligencia entre IA sería el el tema del entrenamiento de los modelos, la automatización de los procesos más o menos creativos y la ética y la transparencia en inteligencia artificial.
JC: ¿Estos serían como tres conocimientos que de alguna manera definen esa mentalidad, no? Y en el caso de los agentes inteligentes, pues el cómo se orquestran y cómo es el. En el workflow entre los agentes autónomos. ¿Cuales son los interfaces? ¿Las interfaces conversacionales multimodales, la supervisión y el control de los agentes? Pues todos estos son conocimientos que de alguna manera van definiendo esa mentalidad de IA. ¿Y yo ahí pues invito a que pues todo el mundo que nos escucha pues vaya intentando explorar en cada uno de estos conocimientos, porque eso es lo que le va a dar esa mentalidad IA y le va a permitir no ir moviéndose, no? ¿Del grupo masa que de de corazón débil que decíamos al principio no? A esos aventureros no. Que irán descubriendo el cómo medir la inteligencia artificial y añadir valor a partir del dato.
EC: Mhm. Vamos a rescatar otra vez la parte de las métricas, porque desde Infinity hacéis referencia o destacáis tres tipos de métricas fundamentales el coste real, la calidad específica y el impacto en negocio. Y aquí me gustaría que nos explicases brevemente cada uno de estos puntos y por qué para vosotros son cruciales.
JC: Claro, mira, el coste real yo creo que lo hemos estado comentando, pero simplemente para matizarlo. El coste real o coste unitario lo podríamos llamar de las dos. De cualquiera de las dos maneras. Lo que pretende es tener claro el coste, a qué acción está previsto que impacte. ¿Esto para qué lo estamos? ¿O sea, ese recurso exactamente para qué lo estamos utilizando? Es para aprender. Fantástico. No pasa nada. Esto es para aprender. Es un coste de aprendizaje fantástico, Pero si es un coste que está asociado a a generar un lead, a generar una venta, a conseguir el cobro de una, de una deuda, bueno, pues hay que tener, hay que ser capaz de trazar esa métrica, Es decir, bueno, estos costes están asociados a esa acción concreta. Hoy, en general, los costes de inversión en inteligencia artificial no están por departamentos, no están por unidad. Bueno, habrá quien sí que lo haga, pero en general es un coste general de la compañía y se distribuye de manera generalista. ¿Otra cosa es que esté asociado a un proceso concreto, pero ese es el primero, no? El coste real sería el coste o coste unitario Es asociar el coste al resultado esperado por el que se ha hecho esa inversión, el del impacto de negocio.
JC: Creo que es muy claro. O sea, básicamente es no medir la inversión o no medir el gasto que hacemos en inteligencia artificial, sino intentar orientar la medición hacia el resultado. ¿O sea, cuánto tiempo me he ahorrado? ¿Cuál es la reducción de riesgo efectivo? ¿Cuál es el ingreso que me genera? O sea, sería orientar la métrica hacia el impacto de negocio, no hacia el coste y sobre el de la calidad específica. Tiene que ver con lo que un poco con lo que comentaba antes de la diferencia entre la medición tradicional y la medición de inteligencia artificial. ¿No es que participan varias variables que hasta ahora no participaban y que de alguna manera contribuyen a la calidad del sistema o del o de la inteligencia artificial? No, no es tanto el funciona o no funciona, sino que también funciona. ¿Para qué propósito concreto? ¿Para qué grupo concreto? O sea, es entender esa calidad aislada al propósito concreto y para un grupo concreto. ¿Y que además esa, esa esa medición, sabemos que hay que ir vigilándola porque el sistema es inestable, no? Entonces este sería un poco la explicación de las tres, no solo el coste real, el impacto de negocio y la calidad específica.
EC: Mhm. También en relación con esto que estamos comentando, a mí me gustaría también que nos contases la importancia de conectar esas métricas técnicas con el impacto real en el negocio. Es algo que también mencionáis aquí. ¿Cómo se logra esta conexión para que los datos técnicos sean comprensibles y también sean útiles para la forma de tomar decisiones empresariales?
JC: Sí, pues aquí son necesarias tres cosas. La primera es el dato. Si no tienes el dato, difícilmente vas a poder conectarlo, claro, y el dato difícilmente se va a obtener si no es con un protocolo o una tecnología adecuada. Yéndonos de nuevo al paralelismo que hemos comentado en el pasado, pues en el momento en el que nosotros teníamos la web y teníamos, solo teníamos los logs, El único dato que teníamos éramos el log e intentar medir las visitas con el log tiene precisión. Las visitas es el único, la única métrica que se puede medir con cierta precisión con los logs de servidor. Sin embargo, a la hora de querer medir usuarios únicos, pues los logs no sirven, simplemente no sirven. Tienen una tasa de error tan grande que los hace inútiles. Y no fue hasta que aparecieron los sistemas basados en JS en JavaScript que fue posible medir la métrica usuarios únicos y no fue hasta el momento en que aparecieron las cookies y se pudo trazar la sesión dentro de la web, que pudimos responder preguntas de cuál es el valor de la visita o cuál es el valor del usuario único. O Asociar el impacto de una campaña de publicidad en un sitio de terceros versus las ventas en nuestro sitio. Entonces, es necesaria una tecnología también que nos permita hacer esa trazabilidad del dato. Y en tercer lugar, es necesaria una un consenso en metodologías y métricas.
JC: Poco lo que decíamos sobre el Libro Blanco de la medición. En 2007 2008 y de nuevo aquí habrá que tener consenso en la medida en la que tú llegues a una reunión y se te se te se te pidan las métricas de actuación y resultado del sistema basado en inteligencia artificial, pues tendrás que poder explicar no qué significa una métrica. Habrá un una definición del mismo modo que visita, pues puede estar condicionado en función del tiempo de vida, de las cookies y del del tiempo de permanencia activo en la pantalla. Pues habrá métricas de inteligencia artificial que tendrán que estar consensuadas entre estas tres cosas. La primera es el dato, la segunda es la tecnología y la tercera es el consenso en cómo se obtienen las métricas. Aquí, Oh! Como decía, nosotros hemos identificado 60 métricas distintas, las que de hecho las estamos publicando en un libro del cual hemos lanzado ya la primera, el primer capítulo, y que en los próximos semanas lanzaremos el segundo capítulo ya con más detalle de todas estas métricas. A ver si de alguna manera, si contribuimos a ese consenso para que las compañías puedan ir avanzando en esa conexión entre las métricas técnicas de actuación, de performance y esas métricas, o esos cuadros de mando o esos no más de negocio y poder tener una visión end to end, trazabilidad y poder tomar decisiones de valor.
EC: Mhm. Interesante. Para cerrar, me gustaría que para aquellas personas que escuchen el podcast y que están empezando a incorporar esta tecnología dentro de las organizaciones o simplemente que quieren mejorar, ya tienen esa fase consolidada o el esquema de medición actual lo tienen consolidado y quieren mejorar con la incorporación de esta tecnología. ¿Cuál sería el consejo más importante que les darías para para tener una medición consistente dentro de sus sistemas de inteligencia artificial?
JC: Bueno, es una responsabilidad esta pregunta, pero me gustaría acertar con el Consejo y creo que sería orientar la medición a resultado. No orientar la medición a la actuación, a la performance técnica. Obviamente la performance técnica tiene que ser buena. Un modelo de inteligencia artificial tiene que tener unas métricas técnicas de actuación acordadas, de precisión de lo que sea que tiene que ser suficientes, por supuesto. Del mismo modo que una página web tiene que tener un uptime acordado. Pero una vez resuelto esto, funciona. Estaríamos en esa fase, yo creo. Ahora, si funciona o no funciona, no hay que. Mi consejo sería orientarse cuanto antes a la medición del resultado, no de la actuación. En lugar de preguntar cuánto es de preciso mi chatbot, preguntarnos cuánto ha reducido el tiempo de resolución de tickets o cuánto ha mejorado la satisfacción del cliente. Yo creo que ese sería el consejo. Y a partir de la pregunta, pues irá para atrás. Y esto cómo lo. ¿Cómo lo mido? ¿Qué métricas utilizo? ¿De dónde saco el dato? Y bueno, y a partir de ahí intentar hacer, no de aventurero y intentar resolverlo con la tecnología disponible. Hoy hay muchas y hay muchas plataformas que permiten hacer esa medición. Así que también puedes explorar. Explorar puede ser una buena manera de empezar. ¿Cuáles son las plataformas? Bueno, en Infinit Nosotros tenemos una plataforma de medición. Encantado de que nos pregunten y que. Y que la aprueben. Pero el mercado cada vez tiene más soluciones de observabilidad y de trazabilidad y comportamiento de la inteligencia artificial.
EC: Me has dejado pensando claro que estamos en un momento de ser exploradores. Estamos en un momento en el que necesitamos pues, tomar la iniciativa por para marcar de alguna forma el camino de algo que se está construyendo. Pues nuevo, por decirlo de una forma. Así que llamo a Muchísimas gracias por por tu tiempo. Muchísimas gracias por por el conocimiento como siempre que es, es es exquisito, es excelente escucharte y bueno, creo que ha sido una oportunidad pues poner encima de la mesa un tema que además me ha gustado mucho, porque efectivamente muchas veces analizamos o pensamos que en el análisis de rendimiento de una tecnología nos quedamos en la parte técnica y siempre la parte de negocio llega mucho más tarde. Y creo que la reflexión de pongamos cuanto antes encima de la mesa resultados de negocio con esta tecnología o cómo funciona esta tecnología es súper valioso porque ahí nos va a dar las pistas realmente de si esto funciona. ¿Y sobre todo, cuáles son los elementos que me van a ayudar para para medir en este nuevo contexto o que tengo que incorporar para medir este en este nuevo contexto? Así que nada, un lujazo escucharte, Gemma.
JC: Gracias a ti, Esther. Un abrazo muy grande.