Módulos y tareas
Para llevar a cabo los objetivos propuestos en esta prueba de concepto, el proyecto se dividirá en los siguientes módulos y cada uno de ellos tendrá un conjunto de tareas a realizar en el mismo.
Módulo 1. Generación de recursos de entrenamiento
Este módulo será el encargado de llevar a cabo las tareas que permitan generar los recursos necesarios para poder crear un modelo del lenguaje más amplio para ser aplicado por el sistema
- Tarea 1.1. Identificación y descripción de posibles sectores. La creación de recursos puede orientarse a los sectores identificados como posibles potenciales clientes por lo que identificar y descubrir estos sectores puede mejorar el tratamiento final que se haga cuando la herramienta se aplique a los mismos. Se preparará un caso de uso para cada potencial sector y se utilizará para contemplar las cuestiones a resolver, la casuística particular y las posibles excepciones.
- Tarea 1.2. Creación del recurso de entrenamiento. Una vez se han identificado los posibles sectores se generará el recurso de entrenamiento, lo más amplio posible, de forma que el modelo del lenguaje sea lo suficientemente potente como para generar un amplio beneficio en la cadena del valor del sector al que se le aplica. El tamaño del recurso de entrenamiento puede ser reconsiderado tras la evaluación del modelo generado con el mismo, y puede necesitar ser ampliado tras este proceso.
Módulo 2. Generación del modelo del lenguaje
Este módulo será el encargado de entrenar el sistema con el nuevo recurso generado y obtener un nuevo modelo del lenguaje para el tratamiento de la detección de desinformación en base al grado de confiabilidad y toxicidad de la noticia.
- Tarea 2.1. Entrenamiento del sistema con el nuevo dataset. El sistema será entrenado con un conjunto de noticias lo más amplio posible, que incluyan características de confiablidad y toxicidad y que le permitirá crear un modulo del lenguaje para la tarea más potente y preciso.
- Tarea 2.2. Evaluación del nuevo sistema generado. Debido a que el nuevo dataset crea un nuevo modelo de lenguaje para el tratamiento de la confiabilidad y toxicidad, será necesario realizar una evaluación de la precisión y cobertura para el nuevo modelo para poder realizar los ajustes que sean necesarios en cuanto a tamaño del dataset de entrenamiento.
Módulo 3. Diseño y desarollo de la interfaz del sistema
Este módulo será el encargado de crear las interfaces del usuario necesarias para la ejecución de la herramienta.
- Tarea 3.1. Selección de la pila tecnológica. En esta tarea se estudian y evalúan las tecnologías necesarias para la construcción del servicio. Concentra esfuerzos de ingeniería en la determinación de plataformas, sistemas, bibliotecas y herramientas que posibilitan la construcción de soluciones funcionales en las que se integren los modelos y algoritmos resultado de investigaciones previas.
- Tarea 3.2. Diseño y desarrollo de la interfaz (API). Para que el usuario pueda hacer uso del sistema es necesario diseñar e implementar una interfaz que permita indicar la noticia a evaluar y tras ejecutar el sistema le proporcione al usuario la información extraída sobre la confiabilidad y toxicidad de ese documento. Se diseñará y desarrollarán los endpoints de la API, apropiados para dar respuesta a las interacciones de los usuarios.
Módulo 4. Definición del marco de evaluación del proyecto
Este módulo será el encargado de establecer todos los elementos necesarios para abordar la evaluación del servicio desarrollado. Involucra la participación activa de los grupos de interés.
- Tarea 4.1. Identificación de grupos de interés y análisis de requisitos. De manera general se contactará con organismos, instituciones y/o sectores de la industria que puedan estar interesados en el acceso a herramientas como las que propone el proyecto. Se definirá de manera participativa las necesidades que requieren estos grupos, lo que ayudará a definir los aspectos a evaluar.
- Tarea 4.2. Definición de métricas de la calidad de la herramienta implementada. Según la información generada por la tarea anterior, se definirá el conjunto de métricas que permita medir la calidad de la herramienta en términos de eficacia, eficiencia o posibles defectos. Gracias a esto se dispondrá de un detallado conjunto de valores acerca de su rendimiento, fiabilidad, accesibilidad, integrabilidad, etc. que permitan una valoración final de sus capacidades y su viabilidad.
- Tarea 4.3. Construcción de conjuntos de datos para la realización de pruebas. Se seleccionarán de manera amplia, variada y no sesgada conjuntos de datos para probar el sistema.
- Tarea 4.4. Definición de métricas de valorización. Estas métricas deberán medir los beneficios en la cadena de valor del sector donde se aplique, atendiendo a las necesidades de cada grupo de interés.
Módulo 5. Fase de pruebas y validación del proyecto
Este módulo será el encargado de realizar las pruebas de la herramienta para que, aplicando las métricas previamente definidas, se determine la viabilidad del proyecto. En este módulo se ejecuta la validación del servicio aplicando el marco de evaluación definido en el módulo anterior.
- Tarea 5.1. Pruebas de rendimiento. Las pruebas implicarán una ejecución de la herramienta bajo condiciones específicas para observar o almacenar los resultados y se evaluará mediante las métricas previamente establecidas. El rendimiento medirá tanto cuestiones de eficiencia (recursos) como la calidad de las respuestas generadas según las métricas establecidas (precisión, cobertura, exactitud, utilidad…).
- Tarea 5.2. Pruebas de valorización. En las pruebas, los usuarios elegidos probarán la herramienta y se medirá el beneficio aportado por la misma a través de las métricas previamente definidas. Para ello se realizará un conjunto de tests que permitan extraer las mediciones. Se recopilarán, además, estimaciones cualitativas acerca de sus beneficios o defectos según determinen los grupos de interés.
Módulo 6. Gestión y coordinación del proyecto
La gestión del proyecto requiere una importante coordinación, sincronización y transparencia en cada una de las diferentes tareas para conseguir los objetivos marcados. La gestión del proyecto va más allá de la coordinación de los aspectos científicos y técnicos; debe supervisar el cumplimiento de los objetivos del proyecto y asegurar la comunicación continua entre ambos equipos.
- Tarea 6.1. Reuniones. El proyecto requiere de las siguientes reuniones. Al inicio del proyecto se realizará una reunión de arranque para definir las primeras acciones a realizar y planificar su desarrollo. Además, en la mitad del proyecto (cuando se haya cumplido un año) se realizará una reunión para revisar las acciones realizadas y planificar el año siguiente. En esta reunión se discutirán cuestiones científicas y técnicas relacionadas con los retos a los que se enfrentan los equipos y se establecerán mecanismos de coordinación para la realización de las tareas definidas en el proyecto. Además de estas reuniones preestablecidas, podrán celebrarse tantas como sean necesarias, por cualquier mecanismo y en cualquier momento.
- Tarea 6.2. Comunicación continua. Para conseguir los objetivos marcados en este proyecto, es imprescindible una comunicación constante entre ambos equipos. Las reuniones se complementarán con diferentes medios de comunicación como el correo electrónico, aplicaciones de videoconferencia, plataformas de trabajo colaborativo y el desarrollo de una página web donde se publicarán los avances del proyecto.
- Tarea 6.3. Control del estado del proyecto. Se utilizarán revisiones y controles de calidad como mecanismos de evaluación para cada tarea definida en el proyecto. El investigador principal de los proyectos coordinados, junto con el resto de los investigadores principales de los subproyectos, asegurará la realización de todas las tareas administrativas necesarias.