A system and method for real-time controlling of signal processors, synthesizers, musical instruments, MIDI processors, lighting, video, and special effects in performance, recording, and composition environments using images derived from tactile sensors, pressure sensor arrays, optical transducer arrays, chemical sensor arrays, body sensor arrays, and numerical computation. The invention provides for pressure sensor arrays and body sensor arrays as tactile control interfaces, for video cameras and light sensor arrays as optical transducers, for chemical sensor arrays, and for other numerical image generation from computer processing or numeric simulation. Tactile transducers may be put on instrument keys of conventional instruments, be attached to existing instruments, or be used to create entirely new instrument or controller configurations. Chemical sensor arrays and for other numerical image generation from computer processing or numeric simulation can be used to monitor or simulate natural physical phenomenon such as self-organizing process behavior or environmental conditions. Arrays of scalar or vector values are processed to extract pattern boundaries, geometric properties of pixels within the pattern boundaries (geometric center, weighted moments, etc.), and higher-level derived information (senses of rotation, segmented regions, pattern classification, syntax, grammars, sequences, etc.) which are used to create control signals for external audio, visual, and control equipment or algorithms. The invention also provides for MIDI and non-MIDI control signals.

Ένα σύστημα και μια μέθοδος για το σε πραγματικό χρόνο έλεγχο των επεξεργαστών σημάτων, των συνθετών, των μουσικών οργάνων, των επεξεργαστών του MIDI, του φωτισμού, του βίντεο, και των ειδικών αποτελεσμάτων στην απόδοση, την καταγραφή, και τα περιβάλλοντα σύνθεσης που χρησιμοποιούν τις εικόνες προήλθαν από τους αφής αισθητήρες, τις σειρές αισθητήρων πίεσης, τις οπτικές σειρές μετατροπέων, τις χημικές σειρές αισθητήρων, τις σειρές αισθητήρων σωμάτων, και τον αριθμητικό υπολογισμό. Η εφεύρεση προβλέπει τις σειρές αισθητήρων πίεσης και τις σειρές αισθητήρων σωμάτων όπως ο αφής έλεγχος διασυνδέει, για τις τηλεοπτικές φωτογραφικές μηχανές και τις ελαφριές σειρές αισθητήρων ως οπτικοί μετατροπείς, για τις χημικές σειρές αισθητήρων, και για άλλη αριθμητική γενεά εικόνας από την επεξεργασία υπολογιστών ή την αριθμητική προσομοίωση. Οι αφής μετατροπείς μπορούν να τεθούν στα κλειδιά οργάνων των συμβατικών οργάνων, να συνδεθούν με τα υπάρχοντα όργανα, ή να χρησιμοποιηθούν για να δημιουργήσουν εξ ολοκλήρου τις νέες διαμορφώσεις οργάνων ή ελεγκτών. Οι χημικές σειρές αισθητήρων και για άλλη αριθμητική γενεά εικόνας από την επεξεργασία υπολογιστών ή την αριθμητική προσομοίωση μπορούν να χρησιμοποιηθούν για να ελέγξουν ή να μιμηθούν το φυσικό φυσικό φαινόμενο όπως η self-organizing συμπεριφορά διαδικασίας ή οι περιβαλλοντικές συνθήκες. Οι σειρές κλιμακωτών ή διανυσματικών τιμών υποβάλλονται σε επεξεργασία για να εξαγάγουν τα όρια σχεδίων, τις γεωμετρικές ιδιότητες των εικονοκυττάρων μέσα στα όρια σχεδίων (γεωμετρικό κέντρο, που σταθμίζονται στιγμές, κ.λπ.), και τις υψηλότερου επιπέδου παραγόμενες πληροφορίες (αισθήσεις της περιστροφής, των τετμημένων περιοχών, της ταξινόμησης σχεδίων, της σύνταξης, των γραμματικών, των ακολουθιών, κ.λπ....) όποιοι χρησιμοποιούνται για να δημιουργήσουν τα σήματα ελέγχου για τον εξωτερικό ακουστικό, οπτικό, και εξοπλισμό ή τους αλγορίθμους ελέγχου. Η εφεύρεση προβλέπει επίσης τα σήματα ελέγχου MIDI και μη-Midi.