A robot visuoauditory system that makes it possible to process data in
real time to track vision and audition for an object, that can integrate
visual and auditory information on an object to permit the object to be
kept tracked without fail and that makes it possible to process the
information in real time to keep tracking the object both visually and
auditorily and visualize the real-time processing is disclosed. In the
system, the audition module (20) in response to sound signals from
microphones extracts pitches therefrom, separate their sound sources from
each other and locate sound sources such as to identify a sound source as
at least one speaker, thereby extracting an auditory event (28) for each
object speaker. The vision module (30) on the basis of an image taken by
a camera identifies by face, and locate, each such speaker, thereby
extracting a visual event (39) therefor. The motor control module (40)
for turning the robot horizontally extracts a motor event (49) from a
rotary position of the motor. The association module (60) for controlling
these modules forms from the auditory, visual and motor control events an
auditory stream (65) and a visual stream (66) and then associates these
streams with each other to form an association stream (67). The attention
control module (6) effects attention control designed to make a plan of
the course in which to control the drive motor, e.g., upon locating the
sound source for the auditory event and locating the face for the visual
event, thereby determining the direction in which each speaker lies. The
system also includes a display (27, 37, 48, 68) for displaying at least a
portion of auditory, visual and motor information. The attention control
module (64) servo-controls the robot on the basis of the association
stream or streams.
Un système visuoauditory de robot qui permet pour traiter des données en temps réel pour dépister la vision et l'audition pour un objet, qui peut intégrer l'information visuelle et auditive sur un objet pour permettre à l'objet d'être maintenu dépisté sans faute et qui permet pour traiter l'information en temps réel pour continuer à dépister l'objet visuellement et auditorily et pour visualiser le traitement en temps réel est révélé. Dans le système, le module d'audition (20) en réponse aux signaux sains des lancements d'extraits de microphones de là, séparent leurs sources sonores de l'un l'autre et identifient des sources sonores comme pour identifier une source sonore en tant qu'au moins un haut-parleur, extrayant de ce fait un événement auditif (28) pour chaque haut-parleur d'objet. Le module de vision (30) sur la base d'une image prise par un appareil-photo identifie par le visage, et place, chaque un tel haut-parleur, extrayant de ce fait un événement visuel (39) pour cette fin. La module de commande de moteur (40) pour tourner le robot extrait horizontalement un événement de moteur (49) à partir d'une position rotatoire du moteur. Le module d'association (60) pour commander ces modules forme des événements auditifs, de visuel et de moteur de commande un jet auditif (65) et un jet visuel (66) et puis associe ces jets à l'un l'autre pour former un jet d'association (67). La module de commande d'attention (6) effectue la commande d'attention conçue pour faire un plan du cours dans lequel pour commander le moteur d'entraînement, par exemple, lors d'identifier la source sonore pour l'événement auditif et de plac le visage pour l'événement visuel, déterminant de ce fait la direction dans laquelle chaque haut-parleur se situe. Le système inclut également un affichage (27, 37, 48, 68) pour montrer au moins une partie d'auditif, de visuel et d'information de moteur. Les servocommandes de la module de commande d'attention (64) le robot sur la base du jet ou des jets d'association.
