Proyecto de investigación
Reconocimiento de Gestos de la Mano Usando Señales Electromiográficas (EMG) e Inteligencia Artificial,
En la literatura científica se ha propuesto varios modelos para el reconocimiento de gestos de la mano usando señales electromiográficas (EMG). Estos modelos presentan varios problemas incluyendo el uso de bases de datos privadas y con pocas muestras para el cálculo de resultados, reconocimiento de un número reducido de gestos y protocolos de evaluación que, en algunos casos, confunden la exactitud de clasificación con la exactitud de reconocimiento, o en otros casos, los protocolos no se describen con claridad o incluso no se mencionan. Estos problemas ponen en duda la validez científica y la utilidad práctica de los modelos propuestos. Por esta razón, en este proyecto de investigación se propone desarrollar modelos generales y modelos específicos por usuario para el reconocimiento de gestos de la mano usando señales EMG medidas en los músculos del antebrazo y técnicas de inteligencia artificial. Finalmente, también se propone desarrollar un protocolo de evaluación de modelos de reconocimiento gestos incluyendo el procedimiento para la adquisición de datos.
OBJETIVO DEL PROYECTO
- Desarrollar nuevos modelos para el reconocimiento de 5 o más gestos de la mano utilizando señales electromiográficas (EMG) y técnicas de inteligencia artificial con alto grado de exactitud de clasificación y reconocimiento y bajo costo computacional en términos del tiempo de procesamiento.
METAS DEL PROYECTO.
- Analizar las propiedades estadísticas de las señales electromiográficas (EMG) generadas por los músculos del antebrazo, así como los modelos matemáticos que describen a este tipo de señales, mediante series de tiempo, para definir las condiciones y restricciones para su clasificación.
- Analizar las propiedades probabilísticas y de aproximación de funciones matemáticas de técnicas de inteligencia artificial aplicables a la clasificación de series de tiempo para definir una lista de algoritmos aplicables a la clasificación de señales EMG.
- Definir un protocolo para la evaluación de la exactitud de clasificación, exactitud de reconocimiento y el costo computacional en tiempo de modelos de reconocimiento de gestos.
- Desarrollar un modelo específico o individual, que sea entrenable por cada usuario, para el reconocimiento de 5 o más gestos de la mano utilizando señales electromiográficas (EMG) y técnicas de inteligencia artificial.
- Desarrollar un modelo general, usable por cualquier usuario, para el reconocimiento de 5 o más gestos de la mano utilizando señales electromiográficas (EMG) y técnicas de inteligencia artificial.
- Implementar en Matlab® los modelos desarrollados para el reconocimiento de los siguientes gestos: mano a la izquierda, mano a la derecha, puño, mano abierta, y doble golpe de los dedos usando señales electromiográficas (EMG) adquiridas mediante un sensor comercial.
- Evaluar la exactitud de clasificación, la exactitud de reconocimiento y el costo computacional en tiempo de los modelos propuestos y hacer comparaciones entre sí y con modelos de similar propósito propuestos en la literatura científica.
Porcentaje de ejecución del proyecto
Resultados del proyecto.
Informe que reporta las Características, restricciones, y modelo matemático, en el dominio del tiempo, de señales EMG superficiales medidas en los músculos del antebrazo. Características, restricciones, y modelo matemático, en el dominio del tiempo, de señales EMG superficiales medidas en los músculos del antebrazo. Informe que reporta la descripción y análisis de los modelos de aprendizaje para el reconocimiento gestos usando señales EMG. Se considera la clasificación de series de tiempo no estacionarias y su costo computacional.
Se obtiene un protocolo para estandarizar el proceso de evaluación de modelos de reconocimiento de gestos. De esta forma, los resultados obtenidos en diferentes investigaciones pueden ser comparados, el protocolo presentado fue implementado en Matlab por ser el lenguaje de desarrollo utilizado en el proyecto. Modelo para el reconocimiento de gestos de la mano. Un algoritmo para corregir, mediante software, la orientación del brazalete EMG que se utiliza para medir las señales EMG en el antebrazo. Se reconoce en tiempo real 5 gestos de la mano: fist, waveIn, waveOut , fingerSpread y doubleTap. El modelo es entrenable por usuario, lo que significa que está entrenado y probado con señales EMG del mismo usuario, pero su arquitectura es la misma para todos los usuarios. Para la arquitectura del modelo de reconocimiento se utiliza una red neuronal artificial de retroalimentación, que toma como entrada un vector de características compuesto por las covarianzas entre los canales EMG y 5 funciones aplicadas a cada canal. El algoritmo para la corrección de la orientación se basa en encontrar el índice del canal de energía máxima para un conjunto de EMGs de sincronización, que para este trabajo corresponden al gesto waveOut. Se ha logrado establecer la exactitud promedio de clasificación y determinar que el reconocimiento del modelo propuesto es relativamente alto, presenta desviaciones estándar bajas cuando el brazalete se coloca exactamente en la misma orientación para el entrenamiento y las pruebas. Sin embargo, al simular rotaciones del brazalete para la prueba (que es muy probable que ocurra en la realidad), se ha demostrado que la precisión del modelo propuesto se deteriora, comportándose como un algoritmo aleatorio. La inclusión del algoritmo para corregir la orientación del brazalete, como parte del modelo de reconocimiento, mejora significativamente la precisión de clasificación y reconocimiento. Esta mejora de la exactitud aumenta al incluir más señales EMG de sincronización. En el presente trabajo, se usó 4 señales de sincronización, que permitió obtener exactitudes promedio tan buenas como cuando el brazalete se coloca exactamente en la misma orientación para el entrenamiento y las pruebas. Sin embargo, el principal inconveniente del modelo propuesto para el reconocimiento de gestos es su alta desviación estándar cuando se incluye el algoritmo para corregir la orientación del brazalete EMG. Para trabajos futuros se incluirá el algoritmo propuesto para corregir la orientación del brazalete EMG para modelos de reconocimiento de gestos generales. Se prevee obtener publicaciones en: MDPI Academic Open Access Publishing: An Energy-Based Method for Orientation Correction of EMG Bracelet Sensors in Hand Gesture Recognition Systems (en revision) Scientific data- Nature: Building a benchmark dataset for electromiography hand gesture recognition (en elaboración)
Spanish
English