Geintra

Departamento de electronica Universidad de Alcala

Líneas de investigación

Accede a información sobre la estructura de la actividad investigadora de Geintra.

Trabaja con nosotros

Accede a nuestra oferta actual de becas, tesis doctorales, contratos y trabajos fin de carrera.

Contacta con el grupo

Si desea contactar con nosotros, puede usar varios medios.

    Motion Segmentation and 3D Positioning of Mobile Robots in an Intelligent Space Using and Array of Static Cameras

    TítuloMotion Segmentation and 3D Positioning of Mobile Robots in an Intelligent Space Using and Array of Static Cameras
    Tipo de publicaciónPhD Thesis
    Año de publicación2010
    Thesis Advisor(s)Mazo, M, Palazuelos, SE
    AutoresLosada-Gutiérrez, C
    Idioma de publicaciónSpanish
    Departamento académicoDepartamento de Electrónica
    UniversidadUniversidad de Alcalá
    Numero de volúmenes1
    Fecha de publicación06/2010
    Resumen

    The main objective of this PhD thesis is to make contributions to motion segmentation and 3D localization of multiple mobile robots in an intelligent space using a multi-camera sensor system. In order to achieve this goal, a set of calibrated and synchronized cameras placed in fixed positions within the environment (intelligent space) are used. Moreover, the proposal in this thesis does not rely on previous knowledge about the robot structure or invasive landmarks on board the robots.
    The proposed solution for motion segmentation and 3D localization is based on the minimization of an objective function that combines information from all the cameras. This objective function depends on three groups of variables: the segmentation boundaries, the motion parameters (linear and angular velocities related to the world coordinate system) and the depth of each point in the scene. Since the objective function depends on three groups of variables, its minimization is carried out using a greedy iterative algorithm that consists on three steps that, after initialization of segmentation boundaries and depth, are repeated until convergence. In each of these steps, two of the three groups of variables are fixed, and the equation is solved for the remaining one.
    Before the minimization, it is necessary to initialize the curves that define the contours of the segmentation and the depth of each point that belongs to the mobile robots in the images acquired by each camera. Moreover, an estimation of the number of mobile robots included in the scene is required. Since cameras are located in fixed positions within the intelligent space, curve initialization is carried out by comparing each input image to a background model computed previously. Both, the background modelling and the comparison of each input image to the background model are carried out using GPCA. Regarding depth, Visual Hull 3D (VH3D) is used to relate the information from all the available cameras, obtaining a 3D reconstruction of the mobile robots in the world reference system. This 3D reconstruction provides an effective approximation for the initial depth of each point in each camera. Finally, an extended version of the k-means algorithm is used to estimate the number of mobile robots in the scene.
    After the motion segmentation and 3D position estimation of all mobile objects in the scene, the identification of the robots is obtained. It is possible because the mobile robots are controlled by the intelligent space, and the information of the odometry sensors onboard each robot is available. After that, in order to track the mobile robots, an eXtended Particle Filter with Classification Process (XPFCP) is used. The choice of XPFCP against the basic particle filter (PF) or the extended particle filter (XPF) is due to its multimodal nature. The XPFCP allows tracking a variable number of robots with a single estimator, without increasing the state vector. The results obtained from the XPFCP provide a good estimation for the position of each robot in the next image that is incorporated into the initialization step, reducing the processing time it requires.
    In order to validate the solutions proposed in this thesis, several experimental tests have been carried out. In these experimental tests, several image sequences acquired in the intelligent space of the University of Alcala (ISPACE-UAH) are used. These sequences have different features (different numbers of robots, people walking, objects inserted, illumination changes, etc.) in order to validate the solution under different conditions.

    Resumen

    La presente tesis doctoral surge con el objetivo de realizar contribuciones para la segmentación, identificación y posicionamiento 3D de múltiples robots móviles. Para ello se utiliza un conjunto de cámaras calibradas y sincronizadas entre sí, que se encuentran ubicadas en posiciones fijas del espacio en que se mueven los robots (espacio inteligente). No se contará con ningún conocimiento a priori de la estructura de los robots móviles ni marcas artificiales a bordo de los mismos.
    Tanto para la segmentación de movimiento como para la estimación de la posición 3D de los robots móviles se propone una solución basada en la minimización de una función objetivo, que incorpora información de todas las cámaras disponibles en el espacio inteligente. Esta función objetivo depende de tres grupos de variables: los contornos que definen la segmentación sobre el plano imagen, los parámetros de movimiento 3D (componentes de la velocidad lineal y angular en el sistema de referencia global) y profundidad de cada punto de la escena al plano imagen. Debido a que la función objetivo depende de tres grupos de variables, para su minimización se emplea un algoritmo greedy, iterativo, en tres etapas. En cada una de estas etapas dos de los grupos de variables se suponen conocidos, y se resuelve la ecuación para obtener el restante.
    De forma previa a la minimización se realiza la inicialización tanto las curvas que definen los contornos de la segmentación como de la profundidad de cada punto perteneciente a los robots. Además se requiere la estimación del número de robots presentes en la escena. Partiendo de que las cámaras se encuentran en posiciones fijas del espacio inteligente, la inicialización de las curvas se lleva a cabo comparando cada imagen de entrada con un modelo de fondo obtenido previamente. Tanto para el modelado de fondo, como para la comparación de las imágenes de entrada con el mismo se emplea el Análisis de Componentes Principales Generalizado (GPCA). Respecto a la profundidad, se emplea Visual Hull 3D (VH3D) para relacionar la información de todas las cámaras disponibles, obteniendo un contorno aproximado de los robots móviles en 3D. Esta reconstrucción de los robots proporciona una buena aproximación de la profundidad inicial de todos los puntos pertenecientes a los robots. Por otro lado, el uso de una versión extendida de la técnica de clasificación k-medias permite obtener una estimación del número de robots presentes en la escena.
    Tras la segmentación de movimiento y la estimación de la posición 3D de todos los objetos móviles presentes en la escena, se procede a la identificación de los robots móviles. Esta identificación es posible debido a que los robots móviles son agentes controlados por el espacio inteligente, de forma que se cuenta con información acerca de las medidas de los sensores odométricos a bordo de los mismos. Para el seguimiento se propone el uso de un filtro de partículas extendido con proceso de clasificación (XPFCP). La elección de este estimador se debe a que, dado su carácter multimodal, permite el seguimiento de un número variable de elementos (robots móviles) empleando para ello un único estimador, sin necesidad de incrementar el vector de estado. Los resultados obtenidos a la salida del XPFCP son una buena estimación de la posición de los robots móviles en un instante posterior, por lo que esta información se realimenta a la etapa de inicialización de variables, permitiendo reducir el tiempo de procesamiento consumido por la misma.
    Las diferentes soluciones propuestas a lo largo de la tesis han sido validadas de forma experimental utilizando para ello diferentes secuencias de imágenes (con presencia de diferentes robots, personas, diversos objetos, cambios de iluminación, etc.) adquiridas en el espacio inteligente del Departamento de Electrónica de la Universidad de Alcalá (ISPACE-UAH).

    School

    Escuela Politécnica Superior

    Institución

    University of Alcalá

    AdjuntoTamaño
    extended_abstract_cristina_losada.pdf2.12 MB
    phd_tesis_cristina_losada.pdf11.93 MB