Modelo JDL y calidad de la información para identificación biométrica a partir de señales multimodales: estudio exploratorio

Abstract

Abstract: Biometric identification is carried out by processing physiological traits and signals. The main objective of this study is to analyze the effects of the quality of information on biometric identification and consider it in access control systems. Keywords: Biometry; information quality; data fusion; signal processing 1.Introducción Uno de los objetivos de la biometría es la identificación inequívoca de personas basado en rasgos, señales o comportamientos (Di Martino, et al., 2014). Base de datos Se utilizó la base de datos DEAP (del inglés Database for Emotion Analysis using Physiological Signals) para demostrar la funcionalidad del modelo propuesto descrito más adelante.

Headnote

Resumen: La identificación biométrica es llevada a cabo procesando rasgos y señales fisiológicas. Los sistemas de biometría son un campo abierto de investigación, ya que permanentemente son susceptibles de ataques demandando un constante desarrollo para mantener su confianza. El objetivo de este trabajo es analizar los efectos de la calidad de la información sobre la identificación biométrica y considerarla en los sistemas de control de acceso. Se propone un modelo de fusión de datos para el desarrollo de sistemas de biometría considerando la valoración de la calidad de la información. Esta propuesta está basada en el modelo de fusión de datos JDL (Joint Directors of Laboratories), el cual incluye procesamiento de los datos en bruto, detección de patrones, valoración de la situación y del riesgo o impacto. Los resultados demostraron la funcionalidad del modelo propuesto y su potencialidad respecto a otros modelos de identificación tradicionales considerando la valoración del riesgo.

Palabras-clave: Biometría; calidad de la información; fusión de datos; procesamiento de señales.

Abstract: Biometric identification is carried out by processing physiological traits and signals. Biometrics systems are an open field of research and development, since they are permanently susceptible to attacks demanding permanent development to maintain their confidence. The main objective of this study is to analyze the effects of the quality of information on biometric identification and consider it in access control systems. This paper proposes a data fusion model for the development of biometrics systems considering the assessment of information quality. This proposal is based on the JDL (Joint Directors of Laboratories) data fusion model, which includes raw data processing, pattern detection, situation assessment and risk or impact. The results demonstrated the functionality of the proposed model and its potential compared to other traditional identification models.

Keywords: Biometry; information quality; data fusion; signal processing

1.Introducción

Uno de los objetivos de la biometría es la identificación inequívoca de personas basado en rasgos, señales o comportamientos (Di Martino, et al., 2014). Actualmente, la biometría es utilizada en múltiples aplicaciones para controlar accesos, automatizar procesos de registros, realizar búsquedas de individuos por organismos policiales, entre otros. Este campo se encuentra ampliamente desarrollado, sin embargo, en paralelo han avanzado los sistemas de fraude que permiten burlar estos sistemas de seguridad. Por lo anterior esta área de estudio sigue siendo considerada un campo abierto de investigación con múltiples desafíos.

Algunas técnicas de identificación biométrica basada en rasgos como la huella dactilar (Kumar and P. T. Rao , 2018), el iris y el rostro tienen un alto grado de discriminación de manera individual o en conjunto (Essa et al., 2018; Bouzouina, 2017), sin embargo son altamente vulnerables al fraude (Wu et al. 2017) y pueden ser afectados por cambios físicos a través del tiempo, como los ocasionados por el envejecimiento o lesiones (Vahid, 2017; Kaur and Singh, 2017). Por otro lado, las señales fisiológicas (electrocardiográficas - ECG, electromiográficas - EMG, electro-oculográficas - EOG y electroencefalográficas - EEG) han sido estudiadas mas recientemente en aplicaciones biométricas (Zapata et al., 2017) presentando como ventaja la capacidad para determinar que el sujeto está vivo, la oportunidad de fusionarlas y la complejidad para ser falsificadas. Sin embargo, los estudios han sido de tipo transversal principalmente, por lo que es difícil generalizar su permanencia (Maiorana et al., 2016).

Las señales fisiológicas no invasivas han sido más utilizadas en biometría respecto a las invasivas debido a su confort, como son las señales EEG, EMG, y bioimpedancia, las cuales son adquiridas usando electrodos superficiales. Las señales EEG permiten obtener información de la dinámica neuronal en el cerebro (Zapata et al., 2017) y su estudio se ha enfocado en diferentes estados: sueño, ojos abiertos y cerrados, potenciales evocados de diferentes tipos, actividades multi-tarea, ejecución de passwords con el pensamiento entre otros (Kaewwit et al., 2017; Kaur and Singh, 2017; Falzon et al., 2017; Min et al., 2017; Maiorana et al., 2016; Mao, 2017; Chen et al. 2016). Otros estudios se han enfocado a la multi-modalidad de las señales fisiológicas tomando múltiples señales al mismo tiempo para obtener sistemas biométricos mas robustos (Saini et al, 2018; Barra et al., 2017; Cai et al., 2017; Moreno-Revelo et al., 2017).

Las señales fisiológicas han sido poco estudiadas en biometría considerando variables del contexto y por consiguiente los efectos generados por las emociones (Vahid, et al., 2017; Torres-Valencia et al., 2017), enfermedades (Duque-Mejía et al., 2019; Al-qazzaz et al., 2018; Smith et al., 2017), ambientes no controlados, drogadicción, uso de medicamentos, entre otros. Adicionalmente, ha sido poco estudiado el efecto de la calidad de los datos y de la información durante el procesamiento, los cuales podrían afectar su desempeño para la identificación de los individuos. Otra limitación de los sistemas biométricos son los marcos de trabajo o modelos de propósito general para direccionar su construcción con alto grado de robustez y confiabilidad como el presentado en (Chan, 2018).

En este trabajo se presenta un estudio exploratorio de los efectos de la calidad de la información sobre la identificación biométrica a partir de señales fisiológicas multimodales y se propone un modelo de fusión de datos basado en el modelo JDL (Joint Directors of Laboratories), (Steinberg et al., 1991) en conjunto con la evaluación de la calidad de la información como estrategia para mejorar la robustez en el diseño de los sistemas de identificación biométrica. La funcionalidad del modelo es descrita y validada sobre diferentes escenarios con múltiples niveles de ruido con el objetivo de demostrar su robustez respecto a otros sistemas convencionales de biometría. El resto del artículo está estructurado como sigue: en la sección 2 se presentan los materiales y métodos en donde se describe detalladamente el modelo propuesto y el marco experimental. En la sección 3 se presentan los resultados y la discusión de los mismos. Finalmente, en la sección 4 son presentadas las conclusiones y trabajo futuro.

2.Materiales y métodos

2.1. Base de datos

Se utilizó la base de datos DEAP (del inglés Database for Emotion Analysis using Physiological Signals) para demostrar la funcionalidad del modelo propuesto descrito más adelante. Esta base de datos es discutida ampliamente en (Koelstra, et al., 2012) y consta de 1280 registros obtenidos de 32 sujetos (40 registros por sujeto). Cada registro consta de 40 señales fisiológicas correspondientes a 32 señales EEG (EEG1-EEG32) siguiendo el protocolo 10-20 y 8 señales denominadas periféricas correspondientes a la resistencia de la piel (GSR), frecuencia respiratoria (Rb), temperatura de la piel (Temp), plestimografía (Pt), 2 señales de EMG (EMG-Z y EMG-T) y 2 señales de EOG (EOGH y EOGV).

2.2. Modelo JDL

El modelo JDL es el más utilizado en el campo de fusión de datos y fusión de la información y consta de 6 niveles de procesamiento como se ilustra en la Figura 1 los cuales son ampliamente descritos en (Steinberg et al., 1991). i) Nivel 0 - preprocesamiento en este se realiza una preselección y limpieza de los datos. ii) Nivel 1 - valoración del objeto: esta consiste en identificar y rastrear objetos y extraer atributos de los mismos. iii) Nivel 2 - valoración de la situación: realiza procesos que permiten una contextualización de una situación a partir del relacionamiento de los resultados obtenidos en los niveles anteriores. iv) Nivel 3- valoración del riesgo: en este nivel se realizan predicciones a futuro determinando riesgos, impactos y oportunidades que permiten generar respuestas. v) Nivel 4 - refinamiento del proceso: este ejecuta acciones para sintonizar los procesos en todos los niveles del modelo de fusión de datos. vi) Nivel 5- refinamiento del usuario: se realiza una intervención humana como apoyo al sistema y permite la representación del conocimiento. Adicionalmente se cuenta con un sistema de administración de datos el cual interviene a lo largo de toda la cadena de procesamiento. HCI corresponde a la interfaz hombre computadora, la cual permite la interacción entre el sistema y el usuario.

2.3.Modelo de fusión de datos propuesto

En la Figura 1 se muestra la arquitectura del modelo de fusión de datos propuesto para identificación biométrica el cual esta basado en el modelo JDL e incluye la valoración de la calidad de la información a través de toda la cadena de procesamiento (todos los niveles del modelo JDL). A la izquierda se presentan las fuentes, la cuales corresponde a cualquier tipo de señal, rasgo o conjunto de las mismas y datos del contexto. En el gráfico se ejemplifican las fuentes con señales EEG y señales periféricas de la base de datos DEAP. Luego en el nivel 0 se tiene una etapa de selección de datos la cual se puede realizar considerando diferentes criterios de calidad de la información y direccionada por el nivel 4 del modelo correspondiente al refinamiento del proceso. Seguido se realiza el pre-procesamiento de los datos en el cual se realizan procesos de filtrado y normalización de los datos en bruto con el fin de estandarizarlos y mejorar su calidad. El nivel 1 corresponde a la etapa de asociación, extracción y selección de características, la cual puede ser ejecutada aplicando diferentes tipos de algoritmos. Dentro de este nivel también se encuentra la etapa de identificación de patrones la cual permite la identificación del individuo utilizando máquinas de aprendizaje pero también se pueden identificar atributos del contexto que apoyan a las etapas superiores del modelo. Así, en el nivel 2 se realiza la valoración de la situación la cual es llevada a cabo a partir de relaciones detectadas entre las identificaciones del sujeto y del contexto a partir de herramientas de relacionamiento y valoradas a partir de algoritmos basados en reglas o razonadores basados en casos principalmente. En la presente propuesta se incluye como salida la evaluación de la calidad de la información en todos los niveles, lo que permite al usuario o control de acceso no solo determinar la identificación del sujeto sino también informar bajo que condiciones de calidad de los datos y la información fue realizada, con el fin de requerir nuevas mediciones o conceder un acceso seguro. En el nivel 3 se valora el riesgo para conceder el acceso o entregar el resultado de la identificación del sujeto no solo diciendo el nombre o ID sino dando información de la situación y el riesgo de equivocación en la identificación. Por otro lado el modelo cuenta con una etapa de refinamiento del usuario y otra de refinamiento del proceso, ambas permiten sintonizar parámetros y reglas del modelo para darle adaptabilidad. La primera la realiza el usuario, mientras que la segunda es realizada de manera automática. Finalmente, el modulo de evaluación de la calidad de la información es explicado en la siguiente sección donde se presenta la aplicación del modelo mediante el estudio exploratorio usando múltiples señales fisiológicas para la identificación.

2.4.Implementación del modelo propuesto

En la Figura 2 se presenta el procedimiento experimental realizado en este estudio para establecer la funcionalidad del modelo propuesto. A partir de la base de datos DEAP pre-procesada y normalizada en el rango [-1 1] se generaron tres bases de datos DBi, DB2 y DB3 contaminadas con ruido Gaussiano de 5, 10 y 2odB respectivamente. Las señales contaminadas se filtraron implementando un filtro pasabanda butterworth de orden 2 y se normalizaron usando z-score. Posteriormente, múltiples características fueron extraídas de las señales como se muestra en la Tabla 1. Se calcularon 10 medidas estadísticas sobre la señal, 10 sobre cada nivel de la descomposición usando la transformada wavelet discreta con wavelet madre daubechies (db) 4 y dbio. Además se calcularon las medidas estadísticas sobre la amplitud instantánea, ángulo instantáneo de los resultados entregados por la transformada de Hibert Huang (HHT) aplicada sobre la señal.

El número de características fue reducido a 100 usando el algoritmo de selección ReliefF con 10 vecinos cercanos. Posteriormente 5 clasificadores (PARZEN, K-NN, Naive Bayes, Máquinas de vector soporte - SVM, y Redes neuronales back-propagation -ANN) fueron testeados usando validación cruzada. Adicionalmente, se tomaron diferentes medidas de calidad a lo largo del proceso, lo cual es explicado mas abajo y es utilizado para la identificación y decisión final usando un sistema de inferencia difuso (FIS) tipo Mamdani. Este procedimiento permite determinar la robustez de las características y de los clasificadores ante el ruido con el fin de ajustar las reglas del FIS.

Evaluación de la calidad de la información

En la tabla 2 se muestran los criterios de calidad y su respectiva métrica aplicados en cada nivel dentro del modelo de fusión de datos. Cada uno de los critérios de calidad fueron adaptados de diferentes fuentes y son definidos como: i) Exactitud corresponde a la distancia respecto a una referencia o verdad fundamental. ii) Consistencia establece el nivel de relaciones lógicas y consistentes de múltiples atributos, valores y elementos para formar conceptos y significados coherentes sin contradicción con respecto a un objeto de información. iii) Robustez es la tolerancia a eventos no considerados. iv) Confiabilidad evalua la fiabilidad del objeto de información que está vinculado a su veracidad y credibilidad. v) Reputación es una evaluación dada por los usuarios de la información y su fuente basada en diferentes propiedades adecuadas para la tarea.

A partir de las anteriores definiciones y después de un análisis del tipo de dato e información tratada en el modelo por nivel, se definieron diferentes métricas presentadas en la Tabla 2. Múltiples métricas fueron establecidas para el criterio de exactitud ya que consideramos que este es fundamental para garantizar el adecuado procesamiento en los demás niveles superiores del modelo. Las métricas de calidad (amplitud general, frecuencia dominante, desviación de medias y media total) aplicada sobre las señales están basadas en (Mohamed et al., 2017). La calidad local resulta de la suma ponderada de los criterios de cada nivel. La calidad global resulta de la suma ponderada de las calidades locales. Los pesos fueron ajustados heurísticamente.

3.Resultados

El análisis de relevancia permitió establecer las características con mayor inmunidad al ruido y por consiguiente dar una valoración en términos de la robustez de las características aplicadas para cada modelo como se muestra en la Figura 3. En esta figura se muestra el histograma para los resultados de la selección de características usando los 4 niveles de ruido y las 100 características más relevantes para cada nivel de ruido, evidenciado un número reducido de características se seleccionaron para los 4 diferentes niveles de ruido. En la Tabla 3 se muestran las 10 características más relevantes y tolerantes al ruido en orden de relevancia; todas corresponden a la señal de plestimografía. En su mayoría corresponden a medidas del logaritmo de la energía de los componentes 2, 3, 4 y 5 de la descomposición Wavelet db4 y dbi0.

El desempeño de los clasificadores para los diferentes niveles de ruido blanco gaussiano introducidos en la señal es presentado en la Tabla 4, donde se evidencia que para tres casos de ruido el SVM presentó un desempeño superior o igual al de los demás clasificadores para el nivel de ruido de 0, 10 y 20dB. El clasificador de Parzen presentó el mejor desempeño para el ruido de 5dB, y para íodB el mismo desempeño que el SVM. Los demás clasificadores presentaron un desempeño inferior.

En la Tabla 5 se muestra los resultados de la correlación de Pearson entre las medidas de calidad calculadas directamente de las señales contaminadas con 5dB, íodB y 20dB de ruido Gaussiano y el desempeño de los clasificadores. Se encontró que la mayor correlación se encuentra con el K-NN mayor a 0.5 y la menor correlación es obtenida para ANN con correlaciones menores a 0.2 en todos los casos.

A partir de estos resultados se establecieron las reglas (ver Tabla 6) del FIS cuya arquitectura es presentada en la Figura 4 donde la estructura de la formulación de las reglas se basa en 3 conjuntos difusos rectangulares simétricos con rangos [0 1]. Para establecer las reglas y valorar el riesgo se consideraron dos variables de acceso adicionales: horario y nivel, los cuales fueron considerados para la valoración del riesgo pero no para la confianza de los clasificadores utilizados en la identificación. Todas las variables a excepción del horario tienen como atributos: A:Alto, M:Medio y B:Bajo. para el horario se tiene MI: Muy Irregular, I:Irregular, N:Normal. El nivel de confianza de los clasificadores se utilizó para seleccionar exteriormente la respuesta del clasificador que presenta mayor nivel de confianza. El FIS permitió mejorar el desempeño en la predicción como se ilustra en la Tabla 7, además de entregar una valoración de la calidad de la información de manera local y global valorando el riesgo a partir de la valoración de la situación.

4.Conclusiones

En este trabajo se presentó un estudio exploratorio del modelo de fusión de datos propuesto el cual está basado en el JDL y aplicado a la identificación de sujetos orientado a la biometría, en conjunto con la evaluación de la calidad de la información y su influencia. La aplicación del modelo se llevó a cabo usando como benchmark la base de datos pública DEAP de múltiples señales fisiológicas. Se seleccionaron diferentes técnicas de procesamiento en cada nivel de datos y se propuso un set de criterios de calidad con su respectiva métrica para cada nivel. Finalmente se construyó un FIS que fue utilizado para valorar la situación y riesgo en la identificación del sujeto considerando algunas variables del contexto. La aplicación del modelo con las técnicas propuestas mejoró el desempeño de los sistemas de biometría respecto a los modelos que aplican una máquina de aprendizaje. También se demostró su funcionalidad en términos de entregar una identificación informada basada en la calidad de la información, lo cual permite decidir otorgar o negar accesos o decidir si debe realizarse de nuevo la adquisición de los datos del sujeto a identificar. Como trabajo futuro, se propone complementar el modelo evaluando otros criterios de calidad de la información y utilizar la evaluación de su calidad como función objetivo para optimizar los parámetros de las funciones o modelos utilizados en cada uno de los niveles de fusión y generar una adaptación en línea que permita al modelo capturar las variaciones de las medidas fisiológicas del sujeto longitudinalmente. Además se deben considerar otros rangos y tipos ruido tanto en la construcción como en la validación del modelo.

References

Referencias

Al-qazzaz N., Hamid S., Mohd B., Ahmad S., and Escudero J., "Optimal EEG Channel Selection for Vascular Dementia Identification Using Improved Binary Gravitation Search Algorithm," pp. 125-130, 2018.

Barra S., Casanova A., Fraschini M., and Nappi M., "Fusion of physiological measures for multimodal biometric systems," Multimed. Tools Appl., vol. 76, no. 4, pp. 48354847, 2017.

Bouzouina Y., "Multimodal Biometric : Iris and face Recognition based on feature selection of Iris with GA and scores level fusion with SVM," 2017.

Cai H. and Venkatasubramanian K., "Patient Identity Verification Based on Physiological Signal Fusion," 2017 IEEE/ACM Int. Conf. Connect. Heal. Appl. Syst. Eng. Technol., pp. 90-95, 2017.

Chan H-L, Kuo P-C, Cheng C-Y and Chen Y-S (2018) Challenges and Future Perspectives on Electroencephalogram-Based Biometrics in Person Recognition. Front. Neuroinform. 12:66. doi: 10.3389/fninf.2018.00066

Chen Y. et al., "A High-Security EEG-Based Login System with RSVP Stimuli and Dry Electrodes," IEEE Trans. Inf. Forensics Secur., vol. 11, no. 12, pp. 2635-2647, 2016.

Das R., Maiorana E., and Campisi P., "EEG Biometrics Using Visual Stimuli: A Longitudinal Study," IEEE Signal Process. Lett., vol. 23, no. 3, pp. 341-345, 2016.

Di Martino L., Fernández T. A., Carbajal G., and Ruguay M. O. U., "Fusión biométrica D ICIEMBRE 2014 Resumen," 2014.

Duque-Mejía C., Becerra M. A., Zapata-Hernández C., Mejia-Arboleda C. , CastroOspina A. E., Delgado-Trejos E., Peluffo-Ordóñez D., Rosero-Montalvo P., ReveloFuelagán J. Cardiac Murmur Effects on Automatic Segmentation of ECG Signals for Biometric Identification: Preliminary Study. In: Nguyen N., Gaol F., Hong TP., Trawiński B. (eds) Intelligent Information and Database Systems. ACIIDS 2019. Lecture Notes in Computer Science, vol 11431. Springer, Cham

Essa M. E. B, E., Elkhateb A., Hassanien A. E., and Hamad A., "cascade multimodal biometric system using fingerprint and iris patterns," vol. 639, 2018.

Falzon O., Zerafa R., Camilleri T., and Camilleri K. P., "EEG-based biometry using steady state visual evoked potentials," Proc. Annu. Int. Conf. IEEE Eng. Med. Biol. Soc. EMBS, pp. 4159-4162, 2017.

Kaewwit C., Lursinsap C. & Sophatsathit P.," "- 373 high accuracy eeg biometrics identification using ica and ar model vol. 2, no. 2, pp. 354-373, 2017.

Kaur B. and Singh D., "Neuro signals: A future biomertic approach towards user identification," Proc. 7th Int. Conf. Conflu. 2017 Cloud Comput. Data Sci. Eng., pp. 112-117, 2017.

Kaur B. and Singh D., "Impact of Ageing on Biometric Systems : A Survey Impact of Ageing on Biometric Systems : A Survey," no. March, 2017.

Kumar K. K. and Rao P. T., "Information and Communication Technology for Intelligent Systems (ICTIS 2017), vol. 83, 2018.

Maiorana E., La Rocca D., and Campisi P., "On the Permanence of EEG Signals for Biometric Recognition," IEEE Trans. Inf. Forensics Secur., vol. 11, no. 1, pp. 163175, Jan. 2016.

Mao Z., Yao W., and Huang Y., "EEG-based biometric identification with deep learning," Int. IEEE/EMBS Conf. Neural Eng. NER, pp. 609-612, 2017.

Moreno-Revelo M., Ortega-Adarme M., Peluffo-Ordoñez D. H., Alvarez-Uribe K. C., and Becerra M. A., Comparison among physiological signals for biometric identification, LNCS. vol. 10585 2017.

Min B.-K., Suk H.-I., Ahn M.-H., Lee M.-H., and Lee S.-W., "Individual Identification Using Cognitive Electroencephalographic Neurodynamics," IEEE Trans. Inf. Forensics Secur., vol. 12, no. 9, pp. 2159-2167, 2017.

Mohamed, S., Haggag, S., Nahavandi, S., & Haggag, O. (2017). Towards automated quality assessment measure for EEG signals. Neurocomputing, 237, 281-290. https://doi.org/10.1016/J.NEUCOM.2017.01.002

Saini R. et al., "Don't just sign use brain too: A novel multimodal approach for user identification and verification," Inf. Sci. (Ny)., vol. 430-431, pp. 163-178, 2018.

Smith R. J., Sugijoto A., Rismanchi N., Hussain S. A., Shrey D. W., and Lopour B. A., "Long-Range Temporal Correlations Reflect Treatment Response in the Electroencephalogram of Patients with Infantile Spasms," Brain Topogr., vol. 30, no. 6, pp. 810-821, 2017.

Steinberg A., Bowman C., and White F. Revisions to the JDL Data Fusion. Data Fusion Lexicon by JDL (1991).

Torres-Valencia C., Álvarez-López M., and Orozco-Gutiérrez Á., "SVM-based feature selection methods for emotion recognition from multimodal data," J. Multimodal User Interfaces, vol. 11, no. 1, pp. 9-23, Mar. 2017.

Vahid A. and Arbabi E., "Human identification with EEG signals in different emotional states," 2016 23rd Iran. Conf. Biomed. Eng. 2016 1st Int. Iran. Conf. Biomed. Eng. ICBME 2016, no. November, pp. 242-246, 2017.

Wu Q., Zeng Y., Lin Z., Wang X., and Yan B., "Real-time EEG-based Person Authentication System Using Face Rapid Serial Visual Presentation," pp. 564-567, 2017.

Zapata J. C., Duque C. M., Rojas-Idarraga Y., Gonzalez M. E., Guzmán J. A., and Becerra Botero M. A., "Data fusion applied to biometric identification - A review," Communications in Computer and Information Science, vol. 735. pp. 721-733, 2017.