Video-based positioning control in a treatment room
Vidéosurveillance d’une salle de traitement en radiothérapie
Résumé
The various professionals (oncologists, medical physicists, radiation therapist, etc.) involved in the treatment of cancer by radiation therapy express more and more acutely a real need to have a global view of the treatment system in order to monitor the patient and all the equipment in the room — be it mobile (or even robotized) or not — to improve patient safety. This global view would help reduce the number of human interventions, errors in physical interaction (involuntary movements, collisions, etc.), and errors in the global configuration for the patient. To answer this need, this PhD manuscript presents a videosurveillance module using a numerical model of the elements in the scene (patient, couch, irradiation arm, etc.) to monitor the movement of these elements in order to avoid any event that could put the patient, staff or equipment in danger. Monitoring the treatment room means checking, at any moment, that its current configuration is consistent with what was planned upstream (in the Treatment Planning System [TPS]) and with the standards of radiotherapy, and if need be to, to inform the medical staff, so that correcting actions may be undertaken. We have developed a generic model which allows the creation of numerical models from the data contained in the patient record (in the TPS), enriched with other visual, geometric and “semantic” information. All the numerical models used to create a virtual environment correspond to the scene as seen by video cameras. Location and orientation of the elements are calculated by 3D registration, a choice justified by the characteristics of radiation treatment rooms (controlled environment, low dynamics, highly constrained construction specifications, very similar treatment rooms, etc.). The (geometric, physical and mechanical) information items in the model allow to reduce the overall complexity of the algorithms. The method for motion tracking we have implemented exploits the characteristics and constraints of the elements included in the numerical model, specifically the “descriptors” which correspond to the 3D modeling of primitives used to track the element in the video stream. We also present a dissimilarity function that we have defined, resulting from the merging of two well-known dissimilarity functions, respectively based on the chamfer distance and the notion of non-overlap. A fuzzy formalism improves the robustness of the method against the noise generated by acquisition and processing. When the treatment session takes place, the module evaluates the current configuration (positions acquired for elements, using the tracking module and global parameters of the scene), to interact with medical staff in relation to what has been defined in pretreatment. We present results of tests performed in a radiotherapy room but in the absence of irradiation and patient (the patient was either replaced by a phantom positioned on the couch or by one researcher playing his/her role). These results demonstrate the feasibility and efficiency of the surveillance module
Los profesionales involucrados en el tratamiento contra el cáncer con radioterapia (oncólogos, radiofísicos hospitalarios, tecnólogos médicos, etc.) expresaron la necesidad de tener una vista global del sistema de tratamiento con el fin de supervisar el paciente y todos los equipos presentes en la habitación - móvil (o robot) o no – para mejorar la seguridad del paciente. Esta vista global reduciría la cantidad de intervenciones humanas, los errores físicos (movimientos involuntarios, colisiones, etc.) y los errores en la configuración global con respecto al paciente tratado. Para satisfacer esta necesidad, en esta tesis presentamos un módulo de vídeovigilancia que explota un modelo digital de les elementos de la escena (el paciente, la camilla, la maquina de radiación, etc.) para vigilar el movimiento de estos elementos con el fin de evitar cualquier evento adverso que podría poner en peligro al paciente, el personal o los equipos. La supervisión de la sala de tratamiento implica la verificación, en cualquier momento, la consistencia entre la configuración actual de la sala con respecto a lo que estaba previsto antes (en el Sistema de Planificación del Tratamiento [SPT]) y con respecto a las normas relacionadas con la radioterapia, y en el caso contrario, informar al personal médico para que el tome las medidas necesarias. Hemos desarrollado un modelo genérico, que permite la creación de modelos digitales de los datos contenidos en el registro del paciente (obtenidas con el SPT), enriquecidas con otro tipo de información visual, geométrica y « semántica ». Los modelos digitales de todos los elementos son utilizados para crear un entorno virtual equivalente a la escena como es visto por las cámaras de vídeo. La ubicación y orientación de los elementos se calcula con la técnica de registro 3D, elección justificada por las características de las salas de tratamiento con radioterapia (entorno controlado, dinámica baja, especificación de la construcción con muchas restricciones : salas muy similares, etc.). Las informaciones (principalmente geométricas, físicas y mecánicas) contenidas en el modelo permiten la reducción de la complejidad general de los algoritmos utilizados. El método de seguimiento del movimiento implementado explota las características y las limitaciones de los elementos incluidas en sus modelos digitales, y plus exactamente los « descriptores », que corresponden au modelado 3D de las primitivas que permiten controlar el elemento de la secuencia de vídeo. También se presenta una función de disimilitud, que nosotros hemos definido, resultante de la fusión de dos funciones de disimilitud muy bien conocidas : distancia de chaflán y la noción de no-recubrimiento. Un formalismo difuso, basado en la teoría de conjuntos difusos, mejora la robustez del método contra el ruido generado por la adquisición y el procesamiento de datos. Cuando la sesión de tratamiento se lleva a cabo, el módulo evalúa la configuración actual (las posiciones adquiridas de los elementos mediante el módulo de seguimiento y los parámetros globales de la escena), para interactuar con el personal médico en relación con lo que se ha definido antes del tratamiento. Presentamos los resultados de las pruebas realizadas en una sala de radioterapia, pero en ausencia de la radiación y del paciente (un objeto reemplazado al verdadero paciente ha sido colocado sobre la camilla, o una persona de nuestro equipo ha jugado el papel del paciente). Estos resultados demuestran la viabilidad y la eficacia del módulo de seguridad
Les différents acteurs impliqués dans le traitement du cancer par radiothérapie (oncologues, radiophysiciens, manipulateurs, etc.) ont exprimé un réel besoin d'avoir une vue globale du système de traitement pour pouvoir suivre le patient ainsi que la totalité des équipements de la salle - mobiles (voire robotisés) ou non – afin d'améliorer la sécurité des patients. Cette vue globale permettrait de réduire le nombre d'interventions humaines, les erreurs d'ordre physique (mouvements involontaires, collisions, etc.) et les erreurs dans la configuration globale par rapport au patient traité. Pour répondre à ce besoin, nous présentons dans cette thèse un module de vidéosurveillance exploitant un modèle numérique des éléments de la scène (patient, couche, bras d'irradiation, etc.) afin de suivre le mouvement de ces éléments dans le but d'éviter tout événement indésirable susceptible de mettre en danger le patient, le personnel voire les équipements. Surveiller la salle de traitement consiste à vérifier, à tout instant, que sa configuration courante est conforme à ce qui a été planifié en amont (dans le Système de Planification de Traitement [SPT]), ainsi qu'aux normes liées à la radiothérapie, et le cas échéant, à informer le personnel médical pour qu'il prenne les mesures nécessaires. Nous avons développé un modèle générique, qui permet la création de modèles numériques à partir des données contenues dans le dossier du patient (issues du SPT), enrichies d'autres informations visuelles, géométriques et « sémantiques ». L'ensemble des modèles numériques permet de créer un environnement virtuel équivalent à la scène vue par les caméras vidéo. La localisation et l'orientation des éléments est calculée par recalage 3D, choix justifié par les caractéristiques propres aux salles de traitement par radiothérapie (milieu contrôlé, dynamique faible, spécification de construction très contrainte : salles très semblables, etc.). Les informations (notamment géométriques, physiques et mécaniques) contenues dans le modèle permettent de réduire la complexité globale des algorithmes de contrôle. La méthode de suivi de mouvement implémentée exploite les caractéristiques et les contraintes des éléments incluses dans leur modèle numérique, et plus précisément les « descripteurs », qui correspondent à la modélisation 3D des primitives permettant de suivre l'élément dans le flux vidéo. Nous présentons également une fonction de dissimilarité, que nous avons définie, résultant de la fusion de deux fonctions de dissimilarité bien connues : distance de chanfrein et notion de non recouvrement. Un formalisme flou permet d'améliorer la robustesse de la méthode face au bruit généré par le système d'acquisition et le traitement des données. Lorsque la séance de traitement se déroule, le module évalue la configuration courante (positions acquises des éléments à l'aide du module de suivi et des paramètres globaux de la scène), pour interagir avec le personnel médical par rapport à ce qui a été défini en prétraitement. Nous présentons des résultats issus de tests réalisés dans une salle de radiothérapie mais en l'absence d'irradiation et de patient (un fantôme positionné sur la couche s'est substitué au patient, ou bien l'un de nos collaborateurs a joué le rôle du patient). Ces résultats démontrent la faisabilité et l'efficacité du module de surveillance
Mots clés
Augmented and virtual reality
Modeling
Computer vision
Motion tracking
Fuzzy logic
Video analysis
Scenario recognition
Quality assurance
Origine : Version validée par le jury (STAR)