RU2617927C2 - Устройство отображения и его способ управления - Google Patents

Устройство отображения и его способ управления Download PDF

Info

Publication number
RU2617927C2
RU2617927C2 RU2015114537A RU2015114537A RU2617927C2 RU 2617927 C2 RU2617927 C2 RU 2617927C2 RU 2015114537 A RU2015114537 A RU 2015114537A RU 2015114537 A RU2015114537 A RU 2015114537A RU 2617927 C2 RU2617927 C2 RU 2617927C2
Authority
RU
Russia
Prior art keywords
user
recognition
recognized
gaze
unit
Prior art date
Application number
RU2015114537A
Other languages
English (en)
Other versions
RU2015114537A (ru
Inventor
Дзае Хонг АХН
Гиунг Чан СЕОЛ
Original Assignee
Самсунг Электроникс Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Самсунг Электроникс Ко., Лтд. filed Critical Самсунг Электроникс Ко., Лтд.
Publication of RU2015114537A publication Critical patent/RU2015114537A/ru
Application granted granted Critical
Publication of RU2617927C2 publication Critical patent/RU2617927C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Telephone Function (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Изобретение относится к устройству отображения и способу управления этим устройством. Технический результат – повышение точности распознавания информации, введенной пользователем. Устройство отображения включает блок распознавания для распознавания взгляда пользователя, средство управления для определения, находится ли распознанный взгляд в пределах заданной области распознавания, и для управления входом в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания, и блок отображения для отображения изображения, соответствующего интерактивному режиму. Дополнительно выполняется многомодальный интерактивный режим, включающий в себя комбинацию распознавания лиц, распознавания голоса и распознавания взгляда, тем самым выполняя более расширенный интерактивный режим и точно определяя команду пользователя. В результате функции выполняются должным образом, тем самым улучшая удобство для пользователя. 2 н. и 12 з.п. ф-лы, 20 ил.

Description

Область техники, к которой относится изобретение
Варианты осуществления настоящего раскрытия относятся к устройству отображения, которое улучшает точность распознавания информации, введенной пользователем, и его способу управления.
УРОВЕНЬ ТЕХНИКИ
Устройство отображения отображает стереоскопические изображения.
В последние годы были разработаны плоские устройства отображения, которые имеют более низкий вес и объем, чем электронно-лучевая трубка, и могут быть установлены в широком множестве различных мест, тем самым легко достигая осуществления изображений большого размера, плоской структуры и высокого качества.
Репрезентативные примеры таких плоских устройств отображения включают в себя жидкокристаллическое устройство отображения (LCD), электролюминесцентное устройство отображения (ELD), устройство отображения с автоэлектронной эмиссией (FED), плазменную панель отображения (PDP), жидкокристаллическое устройство отображения на тонкопленочных транзисторах (TFT-LCD) и гибкое устройство отображения.
Такие устройства отображения включают в себя технологии распознавания для улучшенного удобства для пользователя.
Примеры технологий распознавания включают в себя технологию распознавания движения и технологию распознавания голоса. Технология распознавания движения является технологией для распознавания движения пользователя с использованием датчика движения и определения команды пользователя из распознанного движения. Технология распознавания голоса является технологией для распознавания голоса пользователя с использованием голосового датчика и определения команды пользователя из распознанного голоса.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
ТЕХНИЧЕСКАЯ ПРОБЛЕМА
В этих технологиях распознавания функция, которая не желаема пользователем, может исполняться или ввод пользователя не может быть выполнен, если движение или голос не введены верно. По этой причине операции могут иметь необходимость быть выполнены многократно, что влечет неудобство для пользователя.
Дополнительно, конкретные функции могут быть ненамеренно исполнены ввиду движения или голоса, неумышленно совершенных пользователем.
Кроме того, в случае, в котором технология распознавания движения применяется к устройству отображения, движение, которое не часто выполняется пользователем, или движение, имеющее высокую чувствительность, может быть выбрано и установлено с использованием команды, несмотря на то, что движения, которые могут быть выполнены пользователем, ограничены. В результате, выбор движения для установления команды может быть сложным.
РЕШЕНИЕ ПРОБЛЕМЫ
Аспектом настоящего раскрытия является обеспечение устройства отображения, которое распознает взгляд пользователя для входа в интерактивный режим и отображает позицию взгляда в виде курсора, и его способа управления.
Другим аспектом настоящего раскрытия является обеспечение устройства отображения, которое распознает взгляд и движение пользователя или одновременно распознает взгляд и голос пользователя для управления операциями и функциями, и его способа управления.
Дополнительные аспекты раскрытия будут частично изложены в описании, которое следует далее, и частично будут очевидны из описания или могут быть изучены путем применения раскрытия на практике.
В соответствии с одним аспектом настоящего раскрытия, устройство отображения включает в себя блок распознавания для распознавания взгляда пользователя, средство управления для определения, находится ли распознанный взгляд в пределах заданной области распознавания, и для управления входом в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания, и блок отображения для отображения изображения, соответствующего интерактивному режиму.
Блок отображения может отображать заданную область распознавания.
Когда взгляд распознается, средство управления может отображать информацию отображения заданной области отличным образом от информации отображения до того, как взгляд распознается.
Блок отображения может отображать позицию распознанного взгляда в виде курсора.
Блок распознавания может распознать движение пользователя, и средство управления может определять команду операции, соответствующую распознанному движению, и управлять приведением в действие блока отображения на основе определенной команды операции.
Блок распознавания может распознавать голос пользователя, и средство управления может определять команду операции, соответствующую распознанному голосу, и управлять приведением в действие блока отображения на основе определенной команды операции.
При входе в интерактивный режим средство управления может управлять отображением множества режимов распознавания для взаимодействия с пользователем и выбирать один из режимов распознавания на основе позиции распознанного взгляда.
Устройство отображения может дополнительно включать в себя блок захвата изображения для захвата изображения пользователя и блок захвата звука для захвата голоса пользователя, причем средство управления может управлять активацией блока захвата изображения и блока захвата звука на основе выбранного режима распознавания.
Блок распознавания может распознавать лицо пользователя, и средство управления может определять, является ли распознанный пользователь предварительно зарегистрированным пользователем, и при определении, что распознанный пользователь является предварительно зарегистрированным пользователем, управлять распознаванием взгляда пользователя.
В случае, в котором множество пользователей распознается, средство управления может управлять распознаванием взгляда пользователя, имеющего наивысший приоритет, на основе предварительно сохраненных приоритетов.
Средство управления может определять, находится ли распознанный взгляд в пределах заданной области завершения, и при определении, что распознанный взгляд находится в пределах заданной области завершения, управлять завершением интерактивного режима.
В соответствии с другим аспектом настоящего раскрытия, устройство отображения включает в себя первый блок распознавания для распознавания взгляда пользователя, второй блок распознавания для распознавания команды от пользователя, средство управления для определения, находится ли распознанный взгляд в пределах заданной области распознавания, для управления входом в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания, и для выборочного управления множеством функций на основе распознанного взгляда и команды, и блок отображения для отображения изображения, соответствующего интерактивному режиму, и изображения, соответствующего выборочно управляемой функции.
Второй блок распознавания может распознавать по меньшей мере один сигнал, выбранный между движением и голосом пользователя, и распознавать команду операции, соответствующую по меньшей мере одному распознанному сигналу.
Когда движение распознается в состоянии, в котором взгляд находится в пределах заданной области, средство управления может подтверждать команду, соответствующую распознанному движению, и управлять исполнением функции, соответствующей подтвержденной команде.
Когда голос распознается в состоянии, в котором взгляд находится в пределах заданной области, средство управления может подтверждать команду, соответствующую распознанному голосу, и управлять исполнением функции, соответствующей подтвержденной команде.
Функции могут включать в себя по меньшей мере одну, выбранную из воспроизведения внешнего широковещательного сигнала, воспроизведения внешнего содержимого, режима воспроизведения и режима регулирования экрана.
Устройство отображения может дополнительно включать в себя блок связи для приема звукового сигнала, переданного от внешнего пульта дистанционного управления, причем второй блок распознавания может распознавать голос из принятого звукового сигнала.
В соответствии с другим аспектом настоящего раскрытия, устройство отображения включает в себя средство настройки для приема внешнего широковещательного сигнала, процессор сигналов для разделения широковещательного сигнала на сигнал изображения, имеющий информацию изображения, и звуковой сигнал, имеющий звуковую информацию, и для сигнальной обработки разделенных сигнала изображения и звукового сигнала, блок распознавания для распознавания взгляда пользователя, средство управления для определения, находится ли распознанный взгляд в пределах заданной области распознавания, и для управления входом в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания, блок отображения для отображения сигнально обработанного сигнала изображения и изображения, соответствующего интерактивному режиму, и блок вывода звука для вывода сигнально обработанного звукового сигнала.
Блок отображения может отображать заданную область распознавания, кнопку канала и кнопку громкости и отображать позицию распознанного взгляда в виде курсора.
Когда взгляд пользователя находится вне области блока отображения, средство управления может управлять завершением интерактивного режима.
Устройство отображения может дополнительно включать в себя модуль захвата для захвата по меньшей мере одного типа информации, выбранного между голосом и изображением пользователя, причем блок распознавания может распознать команду операции, соответствующую по меньшей мере одному типу информации, и при входе в интерактивный режим средство управления может управлять по меньшей мере одной функцией на основе распознанной команды.
В соответствии с дополнительным аспектом настоящего раскрытия, способ управления устройством отображения включает в себя распознавание взгляда пользователя, определение, находится ли распознанный взгляд в пределах заданной области распознавания, вход в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания, отображение множества режимов распознавания для взаимодействия с пользователем, определение режима распознавания, соответствующего позиции распознанного взгляда, из отображаемых режимов распознавания, исполнение определенного режима распознавания для распознавания команды от пользователя и исполнение функции, соответствующей распознанной команде.
Способ управления может дополнительно включать в себя отображение заданной области распознавания в виде другой информации отображения при входе в интерактивный режим.
Вход в интерактивный режим может включать в себя определение, направлен ли взгляд на заданную область в течение предварительно определенного периода времени.
Исполнение определенного режима распознавания для распознавания команды от пользователя может включать в себя распознавание движения пользователя, когда определенный режим распознавания является режимом движения, и определение команды, соответствующей распознанному движению.
Исполнение определенного режима распознавания для распознавания команды от пользователя может включать в себя распознавание голоса пользователя, когда определенный режим распознавания является режимом голоса, и определение команды, соответствующей распознанному голосу.
Способ управления может дополнительно включать в себя распознавание лица пользователя, определение, является ли распознанный пользователь предварительно зарегистрированным пользователем, распознавание взгляда пользователя при определении, что распознанный пользователь является предварительно зарегистрированным пользователем.
Способ управления может дополнительно включать в себя определение, находится ли распознанный взгляд в пределах заданной области завершения, и завершение интерактивного режима при определении, что распознанный взгляд находится в пределах заданной области завершения.
Способ управления может дополнительно включать в себя, когда движение распознается в состоянии, в котором взгляд находится в пределах заданной области, подтверждение команды, соответствующей распознанному движению, и управление исполнением функции, соответствующей подтвержденной команде.
Способ управления может дополнительно включать в себя, когда голос распознается в состоянии, в котором взгляд находится в пределах заданной области, подтверждение команды, соответствующей распознанному голосу, и управление исполнением функции, соответствующей подтвержденной команде.
Способ управления может дополнительно включать в себя прием голосового сигнала, переданного от внешнего пульта дистанционного управления, и распознавание команды из принятого голосового сигнала.
Способ управления может дополнительно включать в себя завершение интерактивного режима, когда взгляд пользователя находится вне области блока отображения в течение предварительно определенного периода времени или более.
Способ управления может дополнительно включать в себя отображение позиции распознанного взгляда в виде курсора.
Способ управления может дополнительно включать в себя завершение интерактивного режима, когда позиция распознанного взгляда попеременно перемещается внутрь и наружу из заданной области распознавания.
ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ
В соответствии с одним аспектом настоящего раскрытия, как описано выше, взгляд пользователя отслеживается для выполнения входа в интерактивный режим, тем самым легко достигая входа в интерактивный режим и выполняя более интуитивное взаимодействие.
Кроме того, многомодальный интерактивный режим, включающий в себя комбинацию распознавания лиц, распознавания голоса и распознавания взгляда, выполняется, тем самым выполняя более расширенный интерактивный режим и точно определяя команды пользователя. В результате, функции верным образом выполняются, тем самым улучшая удобство для пользователя.
Дополнительно, позиция взгляда пользователя отображается на устройстве отображения в виде курсора, тем самым верно подтверждая позицию взгляда пользователя.
Дополнительно, пользователь распознается на основе лица или зрачка пользователя, и взгляд, голос и движение распознаются с учетом признаков распознанного пользователя, тем самым улучшая эффективность распознавания.
Несмотря на то, что лишь несколько вариантов осуществления настоящего раскрытия было показано и описано, специалистам в данной области техники будет понятно, что изменения в этих вариантах осуществления могут быть сделаны без выхода за пределы принципов и сущности изобретения, объем которого определен формулой изобретения и ее эквивалентами.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Эти и/или другие аспекты раскрытия станут очевидны и более доступны для понимания из последующего описания вариантов осуществления, рассматриваемых в сочетании с сопроводительными чертежами, где:
фиг. 1 изображает вид, иллюстрирующий устройство отображения согласно одному варианту осуществления;
фиг. 2A-2C, 3A, 3B и 4 изображают виды, иллюстрирующие отображение устройства отображения согласно варианту осуществления;
фиг. 5 изображает структурную схему управления устройства отображения согласно варианту осуществления;
фиг. 6 изображает подробный вид, показывающий строение блока распознавания устройства отображения согласно варианту осуществления;
фиг. 7 изображает вид, иллюстрирующий всплывающее меню, отображаемое на устройстве отображения, согласно варианту осуществления;
фиг. 8A и 8B изображают блок-схемы управления устройства отображения согласно варианту осуществления;
фиг. 9 изображает структурную схему управления устройства отображения согласно другому варианту осуществления;
фиг. 10 изображает блок-схему управления устройства отображения согласно варианту осуществления;
фиг. 11 изображает вид, иллюстрирующий отображение устройства отображения согласно варианту осуществления;
фиг. 12 изображает вид, иллюстрирующий устройство отображения согласно дополнительному варианту осуществления;
фиг. 13 изображает структурную схему управления устройства отображения согласно варианту осуществления;
фиг. 14 изображает блок-схему управления устройства отображения согласно варианту осуществления; и
фиг. 15 и 16 изображают виды, иллюстрирующие отображение устройства отображения согласно варианту осуществления.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Теперь обратимся подробно к вариантам осуществления настоящего раскрытия, примеры которых иллюстрируются на сопроводительных чертежах, причем подобные ссылочные позиции ссылаются на подобные элементы на протяжении описания.
Фиг. 1 изображает вид, иллюстрирующий устройство отображения согласно одному варианту осуществления. Далее строение устройства отображения будет описано на основании фиг. 2A-4.
Устройство отображения является устройством отображения изображений, таким как телевизор, монитор или устройство отображения терминала мобильной связи. Как показано на фиг. 1, устройство отображения 1 включает в себя основной корпус 100 для отображения изображения и модуль 200 захвата для захвата информации изображения и голосовой информации пользователя, что будет описано более подробно.
Основной корпус 100 включает в себя блок 110 отображения для отображения изображения и раму 120 для покрытия не отображающей изображение области.
Блок 110 отображения включает в себя область 110a отображения для отображения основного изображения, запрошенного пользователем, область 110b распознавания, чтобы обеспечить возможность входа в интерактивный режим, и область 110c завершения, чтобы обеспечить возможность завершения интерактивного режима.
То есть область 110b распознавания является областью, на которую пользователь смотрит для входа в интерактивный режим, и область 110c завершения является областью, на которую пользователь смотрит для завершения интерактивного режима.
Блок 110 отображения отображает область 110b распознавания и область 110c завершения как информацию отображения, отличающуюся от области 110a отображения так, чтобы пользователь мог их различать.
Например, как показано на фиг. 2A и 2B, область 110b распознавания и область 110c завершения могут отображаться в области 110a отображения в виде фигур, залитых полупрозрачными цветами или с контурными линиями полупрозрачных цветов. В качестве альтернативы, как показано на фиг. 2C, область 110b распознавания и область 110c завершения могут отображаться в виде полупрозрачных пиктограмм.
В это время блок 110 отображения отображает область 110b распознавания и область 110c завершения в области 110a отображения наложенным образом.
Кроме того, область 110b распознавания и область 110c завершения могут отображаться в виде непрозрачных символов (фигур, контурных линий, пиктограмм и т. д.) таких размеров, которые не препятствуют пользователю при просмотре основного изображения, отображаемого в области 110a отображения.
Блок 110 отображения может периодически отображать область 110b распознавания и область 110c завершения на предварительно определенных интервалах времени. В качестве альтернативы, блок 110 отображения может отображать сообщение, касающееся позиций области 110b распознавания и области 110c завершения и использования интерактивного режима, во время исходной операции.
Дополнительно, блок 110 отображения оперирует различным образом до и после входа в интерактивный режим. То есть блок 110 отображения отображает область 110b распознавания в виде различной информации отображения до и после входа в интерактивный режим.
Например, как показано на фиг. 3A, область 110b распознавания может отображаться в виде пустой фигуры до входа в интерактивный режим, и пиктограмма может отображаться в пустой фигуре области 110b распознавания после входа в интерактивный режим. В качестве альтернативы, как показано на фиг. 3B, область 110b распознавания может отображаться в виде фигуры первого цвета до входа в интерактивный режим, и область 110b распознавания может отображаться в виде фигуры второго цвета после входа в интерактивный режим.
Кроме того, блок 110 отображения может отображать только область 110b распознавания без отображения области 110c завершения и, после входа в интерактивный режим, может отображать область 110c завершения.
После входа в интерактивный режим блок 110 отображения сохраняет информацию отображения согласно входу в интерактивный режим для информирования пользователя, что интерактивный режим исполняется.
Например, отображение пиктограммы на фигуре области 110b распознавания или второй цвет фигуры области 110b распознавания может сохраняться.
После входа в интерактивный режим блок 110 отображения отображает множество режимов распознавания, используемых для управления операциями и функциями устройства отображения.
Как показано на фиг. 4, режим распознавания для взаимодействия между пользователем и устройством отображения отображается. В качестве примера, блок 110 отображения отображает кнопку a1 распознавания движения, кнопку a2 распознавания голоса и кнопку a3 распознавания взгляда в области 110a отображения. В это время блок 110 отображения отображает взгляд пользователя в виде курсора a4.
Кроме того, блок 110 отображения отображает изображение содержимого, запрошенного пользователем. В случае, в котором информация регулирования экрана изменяется пользователем, блок 110 отображения отображает изображение на основе измененной информации регулирования экрана.
Блок 110 отображения включает в себя панель 111 отображения, диффузионную пластинку 112, светопроводящую панель 113, блок задней подсветки 114 и шасси 115.
Панель 111 отображения отображает изображение, такое как текст, числа или произвольные пиктограммы.
Блок 110 отображения дополнительно включает в себя стекло (не показано) и фильтр (не показан) для защиты панели 111 отображения от внешнего воздействия. Стекло препятствует поломке фильтра ввиду внешнего воздействия.
Фильтр включает в себя пленку оптических свойств, пленку экранирования от электромагнитных помех (EMI) и пленку инфракрасного экранирования.
Пленка оптических свойств уменьшает яркость красного (R) и зеленого (G) света, падающего на панель отображения, и увеличивает яркость синего (B) света, тем самым улучшая оптические свойства. Пленка экранирования от EMI экранирует электромагнитные помехи для предотвращения того, чтобы электромагнитные волны, падающие на панель отображения, разряжались снаружи.
Кроме того, пленка инфракрасного экранирования экранирует инфракрасный свет, излучаемый с панели отображения, для предотвращения большего количества, чем предварительно определенное количество, инфракрасного света от разряжения снаружи так, чтобы сигналы на основе инфракрасного спектра, такие как сигналы, генерируемые пультом дистанционного управления, нормальным образом передавались панели отображения.
Диффузионная пластинка 112 является полупрозрачной панелью для рассеивания света, излучаемого от блока 114 задней подсветки, вдоль ее поверхности так, чтобы цвета и яркость были равномерны по всему экрану. Диффузионная пластинка 112 улучшает яркость света, излучаемого от блока 114 задней подсветки, и обеспечивает свет, имеющий такую улучшенную яркость, к панели отображения. То есть диффузионная пластинка 112 увеличивает количество света, излучаемого от светоизлучающих диодов (LED) блока 114 задней подсветки, и равномерно поддерживает яркость на всем экране.
Светопроводящая панель 113 обеспечивает возможность свету от блока 114 задней подсветки равномерно падать на всю панель отображения, и блок 114 задней подсветки излучает свет сзади или сбоку панели 111 отображения.
Поскольку панель 111 отображения не излучает свет, панель 111 отображения регулирует количество передачи и цвета света, излучаемого от блока задней подсветки, так, чтобы изображение отображалось на панели 111 отображения.
Шасси 115 является панелью, к которой подключен модуль 130 приведения в действие, необходимый для отображения изображения и вывода звука.
Примеры модуля 130 приведения в действие могут включать в себя различные платы с печатной цепью для управления отображением изображения и выводом звука, интерфейсное устройство для соединения с внешним оборудованием и источник питания для обеспечения мощности соответственным устройствам.
Шасси 115 изготовлено из метала, демонстрирующего высокое рассеивание тепла и прочность.
Рама 120 покрывает не отображающую изображение область блока 110 отображения для формирования внешнего вида блока 110 отображения.
Блок ввода (не показан), имеющий множество кнопок, может дополнительно быть расположен на раме 120. То есть команда операции может быть введена в устройство 1 отображения через блок ввода.
Основной корпус 100 дополнительно включает в себя покрытие 121 для защиты не отображающей изображение области блока 110 отображения и опорную деталь (не показана) для опоры панели отображения, диффузионной пластинки, светопроводящей панели, блока задней подсветки и шасси блока 110 отображения в разделенном состоянии. Опорная деталь и покрытие 121 могут разъемным образом объединяться с рамой 120.
Покрытие 121 объединяется с рамой 120 для формирования принимающего пространства. Панель отображения, диффузионная пластинка, светопроводящая панель, блок задней подсветки и шасси расположены в принимающем пространстве.
Модуль 200 захвата обеспечен с верхнего края рамы 120 основного корпуса 100 для захвата изображения и звука пользователя и окружения пользователя и для передачи захваченных изображения и звука модулю 130 приведения в действие.
Модуль 200 захвата может быть установлен в позиции, где информация пользователя легко захватывается, дополнительно к верхнему краю рамы 120 основного корпуса 100.
Кроме того, модуль 200 захвата может быть обеспечен отдельно от устройства отображения. То есть модуль 200 захвата может быть обеспечен отдельно от устройства отображения так, чтобы модуль 200 захвата был соединен с интерфейсным устройством (не показано), обеспеченным на основном корпусе 100.
Далее модуль 200 захвата будет описан более подробно.
Модуль 200 захвата (мультимедиа через Интернет-протокол; MOIP) включает в себя корпус 210, блок 220 захвата изображения, такой как камера, установленная в корпусе 210, блок 230 захвата звука, такой как первый микрофон, установленный в корпусе 210, и первый микропроцессор (не показан) для управления приведением в действие камеры и первого микрофона и для передачи сигналов изображения и звуковых сигналов, захваченных камерой и первым микрофоном, модулю 130 приведения в действие.
Первый микрофон может включать в себя множество микрофонов 230a и 230b.
Блок 220 захвата изображения, т. е. камера, захватывает изображение пользователя и окружения пользователя и передает захваченные данные изображения первому микропроцессору.
Блоки 230a и 230b захвата звука, т. е. первые микрофоны, захватывают звук окружения пользователя, включающий в себя голос пользователя, и передают захваченные звуковые данные первому микропроцессору.
Первый микропроцессор передает принятые данные изображения и звуковые данные модулю 130 приведения в действие. Дополнительно, первый микропроцессор может управлять тем, чтобы принятые данные изображения и звуковые данные сохранялись в памяти (не показано).
Модуль 200 захвата может дополнительно включать в себя блок связи (не показан), такой как Ethernet. В этом случае первый микропроцессор модуля захвата (MOIP) сжимает сигнал изображения и звуковой сигнал и передает сжатые данные модулю 130 приведения в действие через Ethernet.
Дополнительно, камера 220 и первый микрофон 230 модуля захвата могут быть непосредственно соединены с модулем 130 приведения в действие для непосредственной передачи сигнала изображения и звукового сигнала к модулю приведения в действие.
Фиг. 5 изображает структурную схему управления устройства отображения согласно варианту осуществления. Далее строение устройства отображения будет описано на основании фиг. 6 и 7.
В этом варианте осуществления операция устройства отображения 1 осуществляется на основе сигнала взаимодействия, генерируемого согласно намерению пользователя, и/или сигнала от блока ввода (не показан).
Устройство 1 отображения включает в себя блок 220 захвата изображения и блок 230 захвата звука в качестве модуля захвата для захвата команды пользователя, модуль 130 приведения в действие для управления операцией устройства 1 отображения на основе команды операции, и блок 110 отображения и блок 140 вывода звука в качестве выходного модуля для исполнения операции вывода.
Блок 220 захвата изображения электрически соединяется с модулем 130 приведения в действие для захвата изображения пользователя и передачи сигнала, соответствующего захваченному изображению, к модулю 130 приведения в действие согласно команде от модуля 130 приведения в действие. Блок 230 захвата звука электрически соединяется с модулем 130 приведения в действие для захвата голоса пользователя и передачи сигнала, соответствующего захваченному голосу, к модулю 130 приведения в действие согласно команде от модуля 130 приведения в действие.
Модуль 130 приведения в действие управляет операцией блока 110 отображения и/или блока 140 вывода звука согласно сигналу от блока ввода (не показан).
Кроме того, модуль 130 приведения в действие управляет входом в и окончанием интерактивного режима на основе информации, захваченной блоком 220 захвата изображения и/или блоком 230 захвата звука. После входа в интерактивный режим модуль 130 приведения в действие исполняет интерактивный режим для управления операцией блока 110 отображения и/или блока 140 вывода звука.
Модуль 130 приведения в действие включает в себя блок 131 распознавания, базу 132 данных, сетевой интерфейс 133, средство 134 управления, блок 135 хранения, блок 136 приведения в действие отображения и блок 137 приведения в действие звука.
Блок 131 распознавания принимает сигнал, соответствующий информации, захваченной блоком 220 захвата изображения и/или блоком 230 захвата звука, распознает распознавание пользователя и команду операции, желаемую пользователем, на основе принятого сигнала и передает распознанную команду операции средству 134 управления, которое будет описано на основании фиг. 6.
Фиг. 6 изображает подробный вид, показывающий строение блока распознавания устройства отображения согласно варианту осуществления. Блок 131 распознавания включает в себя первый блок 131-1 распознавания для распознавания команды входа в интерактивный режим и второй блок 131-2 распознавания для распознавания команды исполнения функции и операции.
Первый блок 131-1 распознавания включает в себя блок распознавания лиц 131a и блок 131b распознавания взгляда.
Блок 131a распознавания лиц удаляет область заднего плана с изображения, переданного от блока 220 захвата изображения, для получения изображения лица пользователя, извлекает область лица из полученного изображения лица пользователя с использованием информации границ и цвета, извлекает характерные точки, такие как глаза, нос и рот, из области лица для распознавания лица, и сравнивает распознанное лицо с предварительно зарегистрированным изображением лица для определения, является ли распознанное лицо лицом предварительно зарегистрированного пользователя.
Дополнительно, блок 131 распознавания фильтрует изображение лица в течение распознавания лица для удаления шума и выполняет предварительную обработку, необходимую для анализа признаков изображения лица.
Блок 131b распознавания взгляда обнаруживает изображение глаза с изображения лица пользователя и получает позицию зрачка с обнаруженного изображения глаза для распознавания позиции взгляда пользователя.
Второй блок 131-2 распознавания включает в себя блок 131c распознавания движения и блок 131d распознавания голоса.
Блок 131c распознавания движения удаляет область заднего плана с изображения, переданного от блока 220 захвата изображения, для получения изображения тела пользователя, извлекает области лица, руки, кисти, торса, ноги и стопы из полученного изображения тела пользователя с использованием информации границ и цвета, извлекает характерные точки из извлеченных областей лица, руки, кисти, торса, ноги и стопы для распознавания движения пользователя, выполняет поиск движения, соответствующего распознанному движению, из движений, сохраненных в базе 132 данных, и распознает команду операции, соответствующую соответствующему движению.
Блок 131d распознавания голоса удаляет шум из звука, переданного от блока 230 захвата звука, для получения голоса пользователя, извлекает вектор признаков из полученного голоса пользователя, сравнивает извлеченный вектор признаков с языковой моделью или звуковой моделью на основе фонем каждого слова, сохраненного в базе 132 данных, для извлечения слов-кандидатов или фонем-кандидатов, распознает предложение на основе слов-кандидатов или фонем-кандидатов, выполняет поиск предложений, соответствующих распознанному предложению, из предложений, сохраненных в базе 132 данных, и распознает команду операции, соответствующую искомому предложению.
Дополнительно, блок 131d распознавания голоса может распознать команду операции из слов-кандидатов или фонем-кандидатов.
Кроме того, блок 131d распознавания голоса может распознавать пользователя с использованием конкретной голосовой информации.
База 132 данных сохраняет изображение лица предварительно зарегистрированного пользователя, информацию характерных точек и информацию зрачка изображения лица. Кроме того, база 132 данных хранит команду операции для каждого движения и команду операции для каждого голоса. Информация зрачка включает в себя информацию, касающуюся размера и позиции зрачка, и расстояние между зрачками. Пользователь может быть распознан на основе информации зрачка.
Дополнительно, в случае, в котором присутствует множество пользователей, база 132 данных может хранить команду операции, соответствующую движению для каждого пользователя, и команду операции, соответствующую голосу для каждого пользователя.
IP-адрес назначается сетевому интерфейсу 133 так, чтобы сетевой интерфейс 133 выполнял сетевую связь и принимал и обрабатывал пакет данных, переданный снаружи через сеть. В случае, в котором пакет данных включает в себя данные мультимедиа, т. е. данные изображения и звука, сетевой интерфейс 133 сохраняет пакет данных или передает пакет данных средству управления так, чтобы пакет данных воспроизводился.
Например, сетевой интерфейс 133 принимает содержимое, такое как трансляции, игры, VOD и сигналы широкого вещания, и относящуюся к нему информацию. Кроме того, сетевой интерфейс 133 может принимать информацию обновления программно-аппаратных средств и файлы обновления.
В качестве дополнения, устройство отображения может дополнительно включать в себя входной интерфейс. Входной интерфейс может быть соединен с внешним устройством хранения, таким как USB-память, или оптическим дисковым устройством, таким как DVD или CD, для приема данных мультимедиа и для передачи принятых данных мультимедиа средству управления.
Когда устройство 1 отображения включается или интерактивный режим запрашивается посредством кнопочного ввода блока ввода (не показан), средство 134 управления передает команду операции блоку 220 захвата изображения и блоку 230 захвата звука.
Средство 134 управления принимает решение, должен ли вход в интерактивный режим быть выполнен, на основе определения, был ли пользователь, распознанный блоком 131 распознавания, зарегистрирован. В случае, в котором множество пользователей распознается блоком 131 распознавания, средство 134 управления подтверждает пользователя, имеющего наивысший приоритет, из распознанных пользователей и управляет входом в интерактивный режим на основе позиции взгляда подтвержденного пользователя.
Кроме того, в случае, в котором присутствует множество пользователей, средство 134 управления может определять, находится ли взгляд пользователя в пределах области распознавания, и при определении, что взгляд пользователя находится в пределах области распознавания, управлять входом в интерактивный режим на основе взгляда пользователя, направленного на область распознавания.
Средство 134 управления определяет позицию, на которую пользователь смотрит, на основе позиции взгляда пользователя, переданной от блока 131 распознавания. В это время средство 134 управления определяет, находится ли взгляд пользователя в пределах области распознавания в течение предварительно определенного периода времени или более, и при определении, что взгляд пользователя находится в пределах области распознавания в течение предварительно определенного периода времени или более, управляет входом в интерактивный режим.
После входа в интерактивный режим средство 134 управления управляет информацией отображения области распознавания блока 110 отображения отличным образом от информации отображения до входа в интерактивный режим.
После входа в интерактивный режим средство 134 управления управляет множеством режимов распознавания для приема команды операции через взаимодействие для отображения. В это время средство 134 управления сравнивает позицию взгляда пользователя, переданную от блока 131 распознавания, с позиций предварительно сохраненных кнопок режима распознавания для определения режима распознавания, который пользователь желает выбрать, и управляет тем, чтобы блок 220 захвата изображения и блок 230 захвата звука были включены/выключены, на основе определенного режима распознавания.
Например, в случае, в котором режим распознавания голоса выбирается из режимов распознавания, средство 134 управления управляет тем, чтобы блок 230 захвата звука был включен и блок 220 захвата изображения был выключен. В случае, в котором режим распознавания взгляда или режим распознавания движения выбирается из режимов распознавания, средство 134 управления управляет тем, чтобы блок 230 захвата звука был выключен и блок 220 захвата изображения был включен.
Команда операции включает в себя изменение выходной информации, такой как отображение или звук, и изменение функций.
Средство 134 управления управляет приведением в действие соответственных блоков 136 и 137 приведения в действие на основе команды операции, переданной от блока 131 распознавания.
Когда взгляд пользователя находится в пределах области завершения в течение предварительно определенного периода времени или более, средство 134 управления управляет завершением интерактивного режима.
Когда взгляд пользователя находится в пределах области завершения в течение предварительно определенного периода времени или более, средство 134 управления может управлять тем, что всплывающее меню отображается. Как показано на фиг. 7, всплывающее меню P1 включает в себя кнопку изменения приоритета, кнопку управления громкостью, кнопку регулирования экрана и кнопку завершения.
Дополнительно, если пользователь смотрит на область распознавания в течение исполнения режима распознавания, средство 134 управления может определять, что пользователь желает изменить режим распознавания, и управлять тем, чтобы кнопки режима распознавания были повторно отображены.
Средство 134 управления управляет тем, что сигнал основного изображения, запрошенный пользователем, отображается и звуковой сигнал, запрошенный пользователем, выводится, и управляет тем, что изображение, соответствующее интерактивному режиму, отображается на основном изображении наложенным образом в течение вывода изображения и звука.
Блок 135 хранения хранит приоритеты множества предварительно зарегистрированных пользователей, позиции области распознавания и области завершения, до входа в интерактивный режим, вход в интерактивный режим, информацию отображения области распознавания, соответствующей исполнению интерактивного режима, и информацию позиции кнопок режима распознавания.
Блок 136 приведения в действие изображения приводит в действие блок 110 отображения на основе команды от средства 134 управления, и блок 137 приведения в действие звука приводит в действие блок 140 вывода звука на основе команды от средства 134 управления.
Блок 110 отображения, который является выходным модулем, отображает изображение в области отображения на основе команды от средства 134 управления в модуле 130 приведения в действие и отображает изображение, соответствующее исполнению интерактивного режима.
Блок 140 вывода звука, который является другим выходным модулем, выводит звук на основе команды от средства управления в модуле приведения в действие. Блок 140 вывода звука может быть отдельным от устройства 1 отображения.
Таким образом, блок 140 вывода звука, такой как динамик, может быть обеспечен отдельно от устройства 1 отображения и может быть соединен с устройством 1 отображения при необходимости.
Фиг. 8A и 8B изображают блок-схемы управления устройством отображения согласно варианту осуществления. Управление устройством отображения будет описано на основании фиг. 1-7.
Когда устройство отображения включается пользователем, осуществляется операция блока 220 захвата изображения для захвата изображения (301).
Устройство отображения удаляет область заднего плана с захваченного изображения для получения изображения пользователя, извлекает область лица с использованием информации границ и цвета полученного изображения и извлекает характерные точки, такие как глаза, нос и рот, из области лица для распознавания лица (302).
После этого устройство отображения подтверждает количество распознанных пользователей на основе количества распознанных лиц (303) и определяет, является ли количество подтвержденных пользователей множественным (304).
Когда только один пользователь был подтвержден, распознанное лицо сравнивается с изображениями лица предварительно зарегистрированных пользователей для определения, является ли пользователь, имеющий распознанное лицо, одним из предварительно зарегистрированных пользователей (305). При определении, что пользователь, имеющий распознанное лицо, не является одним из предварительно зарегистрированных пользователей, сообщение, утверждающее, что интерактивный режим может не исполняться, отображается посредством блока 110 отображения (306). При определении, что пользователь, имеющий распознанное лицо, является одним из предварительно зарегистрированных пользователей, зрачок распознанного лица распознается для отслеживания взгляда пользователя (310).
Когда количество распознанных пользователей является множественным, устройство отображения сравнивает распознанные лица с изображениями лица предварительно зарегистрированных пользователей для определения, являются ли пользователи, имеющие распознанные лица, предварительно зарегистрированными пользователями, для подтверждения количества пользователей, определенных как предварительно зарегистрированные пользователи (307), и для определения, является ли количество подтвержденных пользователей множественным (308).
При определении, что множество предварительно зарегистрированных пользователей было распознано, устройство отображения определяет пользователя, имеющего наивысший приоритет, из распознанных пользователей (309) и распознает зрачок определенного пользователя для отслеживания взгляда пользователя (310).
После этого устройство отображения определяет, находится ли распознанный взгляд в пределах области распознавания (311). При определении, что распознанный взгляд находится в пределах области распознавания, устройство отображения определяет, направлен ли распознанный взгляд на область распознавания в течение предварительно определенного периода времени или более.
При определении, что распознанный взгляд направлен на область распознавания в течение предварительно определенного периода времени или более, устройство отображения входит в интерактивный режим (312). Дополнительно, устройство отображения изменяет информацию отображения области распознавания в блоке 110 отображения и отображает измененную информацию отображения так, чтобы вход в интерактивный режим был распознан пользователем (313).
Например, как показано на фиг. 3, пиктограмма может отображаться в области 110b распознавания или цвет области 110b распознавания может быть изменен.
После этого блок 110 отображения отображает множество режимов распознавания для приема команды операции, подтверждает позицию взгляда пользователя (314) и определяет режим распознавания, выбранный пользователем, на основе подтвержденной позиции взгляда пользователя (315).
Таким образом, устройство отображения определяет позицию одной из кнопок режима распознавания, соответствующую подтвержденной позиции взгляда пользователя, для определения режима распознавания, выбранного пользователем.
В это время устройство отображения отображает позицию взгляда пользователя на блоке отображения в виде курсора в реальном времени так, чтобы пользователь подтверждал позицию взгляда пользователя.
После этого устройство отображения исполняет определенный режим распознавания (316). Кроме того, устройство отображения распознает команду операции на основе результата распознавания согласно исполнению режима распознавания и оперирует соответственными блоками приведения в действие на основе распознанной команды операции (317).
Распознавание команды операции на основе выбора каждого режима распознавания далее будет описано более подробно.
(1) Когда распознавание движения выбирается пользователем, устройство отображения оперирует блоком захвата изображения, удаляет область заднего плана с изображения, захваченного блоком захвата изображения, для получения изображения тела пользователя, извлекает области лица, руки, кисти, торса, ноги и стопы из полученного изображения тела пользователя с использованием информации границ и цвета, извлекает характерные точки из извлеченных областей лица, руки, кисти, торса, ноги и стопы для распознавания движения пользователя, выполняет поиск движения, соответствующего распознанному движению, из движений, сохраненных в базе 132 данных, и распознает команду операции, соответствующую соответствующему движению.
После этого устройство отображения приводит в действие соответственные блоки 136 и 137 приведения в действие на основе распознанной команды операции для отображения изображения содержимого, запрошенного пользователем, посредством блока 110 отображения и для вывода звука содержимого, запрошенного пользователем, посредством блока 140 вывода звука.
(2) Когда распознавание голоса выбирается пользователем, устройство отображения оперирует блоком захвата звука, удаляет шум из звука, захваченного блоком 230 захвата звука, для получения голоса пользователя, извлекает вектор признаков из полученного голоса пользователя, сравнивает извлеченный вектор признаков с языковой моделью или звуковой моделью на основе фонем каждого слова, сохраненного в базе 132 данных, для извлечения слов-кандидатов или фонем-кандидатов, распознает предложение на основе слов-кандидатов или фонем-кандидатов, выполняет поиск для предложения, соответствующего распознанному предложению, из предложений, сохраненных в базе 132 данных, и распознает команду операции, соответствующую искомому предложению.
После этого устройство отображения приводит в действие соответственные блоки 136 и 137 приведения в действие на основе распознанной команды операции для отображения изображения содержимого, запрошенного пользователем, посредством блока 110 отображения и для вывода звука содержимого, запрошенного пользователем, посредством блока 140 вывода звука.
(3) Когда распознавание взгляда выбирается пользователем, устройство отображения оперирует блоком захвата изображения, отображает всплывающее меню посредством блока 110 отображения, распознает лицо и зрачок пользователя с использованием изображения, захваченного блоком 220 захвата изображения, отслеживает взгляд пользователя на основе распознанного зрачка, подтверждает позицию отслеженного взгляда и выполняет операцию, соответствующую пункту меню, выбранному из всплывающего меню пользователем.
Всплывающее меню включает в себя множество пунктов меню, и каждый пункт меню имеет кнопку команды операции.
Таким образом, устройство отображения подтверждает кнопку, имеющую позицию, соответствующую позиции взгляда пользователя, из кнопок команды операции во всплывающем меню и выполняет операцию, соответствующую подтвержденной кнопке.
Например, предполагается, что всплывающее меню P1, включающее в себя кнопку изменения приоритета, кнопку управления громкости, кнопку регулирования экрана и кнопку завершения, отображается, как показано на фиг. 7. Если позиция взгляда пользователя находится на кнопке управления громкости, кнопка повышения/понижения для управления громкостью отображается на блоке 110 отображения. Когда взгляд пользователя находится на кнопке увеличения громкости, громкость увеличивается. Когда взгляд пользователя находится на кнопке уменьшения громкости, громкость уменьшается.
Дополнительно, выбор меню посредством распознавания взгляда может быть определен на основе моргания глаз, времени, в течение которого взгляд находится на кнопке, или другого действия глаза или глаз пользователя.
Устройство отображения отображает содержимое, переданное через сетевой интерфейс 133 или входной интерфейс на блоке отображения. В это время устройство отображения управляет тем, чтобы сигнал основного изображения, запрошенный пользователем, был отображен и звуковой сигнал, запрошенный пользователем, был выведен, и управляет тем, чтобы изображение, соответствующее интерактивному режиму, было отображено на основном изображении наложенным образом в течение вывода изображения и звука.
Когда взгляд пользователя находится в пределах области завершения блока 110 отображения в течение предварительно определенного периода времени или более, устройство отображения завершает интерактивный режим. После этого, когда взгляд пользователя находится в пределах области распознавания, устройство отображения определяет, что пользователь желает изменить режим распознавания, и повторно отображает кнопки режима распознавания.
Дополнительно, когда взгляд пользователя находится вне блока 110 отображения в течение предварительно определенного периода времени или более, устройство отображения может завершить интерактивный режим.
Фиг. 9 изображает структурную схему управления устройством отображения согласно другому варианту осуществления. В этом варианте осуществления устройство 1 отображения включает в себя блок 220 захвата изображения и блок 230 захвата звука в качестве модуля захвата для приема команды пользователя, модуль 150 приведения в действие для выполнения управления операцией на основе команды операции и блок 110 отображения и блок 140 вывода звука в качестве выходного модуля для исполнения операции вывода.
Блок 220 захвата изображения, блок 230 захвата звука, блок 110 отображения и блок 140 вывода звука идентичны своим аналогам в предыдущем варианте осуществления, и, таким образом, их описание будет опущено.
Модуль 150 приведения в действие включает в себя блок 151 распознавания, базу 152 данных, сетевой интерфейс 153, средство 154 управления, блок 155 хранения, блок 156 приведения в действие отображения и блок 157 приведения в действие звука.
Блок 151 распознавания принимает сигнал, соответствующий информации, захваченной блоком 220 захвата изображения и/или блоком 230 захвата звука, распознает распознавание пользователя и команду операции, желаемую пользователем, на основе принятого сигнала и передает распознанную команду операции средству 154 управления.
Блок 151 распознавания определяет, идентичен ли пользователь, выполнивший движение, пользователю, смотрящему на область распознавания, и при определении, что пользователь, выполнивший движение, идентичен пользователю, смотрящему на область распознавания, распознает команду операции, соответствующую распознанному движению, в состоянии, в котором взгляд пользователя находится в пределах области распознавания.
Кроме того, блок 151 распознавания определяет, идентичен ли пользователь, который говорил, пользователю, смотрящему на область распознавания, и при определении, что пользователь, выполнивший движение, идентичен пользователю, смотрящему на область распознавания, распознает команду операции, соответствующую распознанному голосу, в состоянии, в котором взгляд пользователя находится в пределах области распознавания.
Блок 151 распознавания включает в себя первый блок распознавания для распознавания лица и взгляда пользователя и второй блок распознавания для распознавания команды исполнения функции и операции. Первый блок распознавания и второй блок распознавания идентичны первому блоку 131-1 распознавания и второму блоку 131-2 распознавания предыдущего варианта осуществления, и, таким образом, их описание будет опущено.
База 152 данных хранит изображение лица и информацию зрачка каждого пользователя в состоянии найденного соответствия. Кроме того, база 152 данных хранит голосовую информацию и информацию зрачка каждого пользователя в состоянии найденного соответствия.
Остальное строение базы 152 данных и строение сетевого интерфейса 153 идентичны строению базы 132 данных и строению сетевого интерфейса 133, и, таким образом, их описание будет опущено.
Когда устройство 1 отображения включается или интерактивный режим запрашивается посредством кнопочного ввода блока ввода (не показан), средство 154 управления передает команду операции блоку 220 захвата изображения и блоку 230 захвата звука.
Средство 154 управления принимает решение, должен ли вход в интерактивный режим быть выполнен, на основе определения, был ли пользователь, распознанный блоком 151 распознавания, зарегистрирован. В случае, в котором множество пользователей распознается блоком 151 распознавания, средство 154 управления подтверждает пользователя, имеющего наивысший приоритет, из распознанных пользователей и управляет входом в интерактивный режим на основе позиции взгляда подтвержденного пользователя.
Средство 154 управления определяет, находится ли взгляд пользователя в пределах области распознавания в течение предварительно определенного периода времени или более, и при определении, что взгляд пользователя находится в пределах области распознавания в течение предварительно определенного периода времени или более, управляет входом в интерактивный режим.
После входа в интерактивный режим средство 154 управления управляет множеством режимов распознавания для приема команды пользователя посредством взаимодействия для отображения. В это время средство 154 управления сравнивает позицию взгляда пользователя, переданную от блока 151 распознавания, с позициями предварительно сохраненных кнопок режима распознавания для определения режима распознавания, который пользователь желает выбрать, и управляет тем, чтобы блок 220 захвата изображения и блок 230 захвата звука были включены/выключены на основе определенного режима распознавания.
Режимы распознавания включают в себя распознавание движения и распознавание голоса.
Когда распознавание движения выбирается, средство 154 управления принимает команду операции, соответствующую первому многомодальному режиму, включающему в себя комбинацию распознавания взгляда и распознавания движения. Когда распознавание голоса выбирается, средство 154 управления принимает команду операции, соответствующую второму многомодальному режиму, включающему в себя комбинацию распознавания взгляда и распознавание голоса.
Средство 154 управления управляет приведением в действие соответственных блоков 156 и 157 приведения в действие на основе команды операции.
Когда взгляд пользователя находится в пределах области завершения в течение предварительно определенного периода времени или более, средство 154 управления управляет завершением интерактивного режима.
Средство 154 управления управляет тем, чтобы сигнал основного изображения, запрошенный пользователем, был отображен и звуковой сигнал, запрошенный пользователем, был выведен.
Блок 155 хранения хранит приоритеты множества предварительно зарегистрированных пользователей, позиции области распознавания и области завершения, до входа в интерактивный режим, вход в интерактивный режим, информацию отображения области распознавания, соответствующей исполнению интерактивного режима, и информацию позиции кнопок режима распознавания.
Блок 156 приведения в действие изображения и блок 157 приведения в действие звука идентичны своим аналогам из предыдущего варианта осуществления, и, таким образом, их описание будет опущено.
Фиг. 10 изображает блок-схему управления устройства отображения согласно варианту осуществления. Управление устройства отображения будет описано на основании фиг. 9 и 11.
Когда устройство отображения включается пользователем, операция блока 220 захвата изображения осуществляется для захвата изображения. Устройство отображения распознает лица на основе захваченного изображения и подтверждает количество распознанных пользователей на основе распознанных лиц.
После этого устройство отображения определяет, было ли множество пользователей подтверждено, определяет предварительно зарегистрированных пользователей из распознанных пользователей, и определяет, является ли количество предварительно зарегистрированных пользователей, соответствующих предварительно зарегистрированным пользователям, множественным.
При определении, что количество предварительно зарегистрированных пользователей, соответствующих предварительно зарегистрированным пользователям, является множественным, устройство отображения определяет пользователя, имеющего наивысший приоритет, из пользователей и распознает зрачок определенного пользователя для отслеживания взгляда пользователя.
После этого устройство отображения определяет, находится ли распознанный взгляд в пределах области распознавания. При определении, что распознанный взгляд находится в пределах области распознавания, устройство отображения определяет, направлен ли распознанный взгляд на область распознавания в течение предварительно определенного периода времени или более. При определении, что распознанный взгляд направлен на область распознавания в течение предварительно определенного периода времени или более, устройство отображения входит в интерактивный режим (401). Дополнительно, устройство отображения изменяет информацию отображения области распознавания в блоке 110 отображения и отображает измененную информацию отображения так, чтобы вход в интерактивный режим распознавался пользователем (402).
Вышеупомянутая процедура идентична процедуре из предыдущего варианта осуществления.
После этого блок 110 отображения отображает множество режимов распознавания для приема команды операции, подтверждает позицию взгляда пользователя (403) и определяет режим распознавания, выбранный пользователем, на основе подтвержденной позиции взгляда пользователя (404).
Таким образом, устройство отображения определяет позицию одной из кнопок режима распознавания, соответствующей подтвержденной позиции взгляда пользователя, для определения режима распознавания, выбранного пользователем.
В это время устройство отображения отображает позицию взгляда пользователя в блоке 110 отображения в виде курсора в реальном времени так, чтобы пользователь подтверждал позицию взгляда пользователя.
После этого устройство отображения исполняет многомодальный режим, включающий в себя комбинацию определенного режима распознавания и режима распознавания взгляда (405). Кроме того, устройство отображения распознает команду операции на основе результата распознавания согласно исполнению многомодального режима и оперирует соответственными блоками приведения в действие на основе распознанной команды операции (406).
Перед исполнением первого многомодального режима, включающего в себя комбинацию режима распознавания движения и режима распознавания взгляда, устройство отображения определяет, идентичен ли пользователь, выполнивший движение, пользователю, смотрящему на область распознавания, и при определении, что пользователь, выполнивший движение, идентичен пользователю, смотрящему на область распознавания, исполняет интерактивный режим на основе первого многомодального режима. При определении, что пользователь, выполнивший движение, не идентичен пользователю, смотрящему на область распознавания, сообщение, утверждающее, что невозможно исполнить интерактивный режим, может быть отображено.
Кроме того, перед исполнением второго многомодального режима, включающего в себя комбинацию режима распознавания голоса и режима распознавания взгляда, устройство отображения определяет, идентичен ли пользователь, который говорил, пользователю, смотрящему на область распознавания, и при определении, что пользователь, который говорил, идентичен пользователю, смотрящему на область распознавания, исполняет интерактивный режим на основе второго многомодального режима. При определении, что пользователь, который говорил, не идентичен пользователю, смотрящему на область распознавания, сообщение, утверждающее, что невозможно исполнить интерактивный режим, может быть отображено.
Распознавание команды операции на основе многомодального режима далее будет описано более подробно.
(1) Когда распознавание движения выбирается пользователем, устройство отображения исполняет первый многомодальный режим, включающий в себя комбинацию режима распознавания движения и режима распознавания взгляда. В это время устройство отображения оперирует блоком 220 захвата изображения, определяет, находится ли взгляд пользователя в пределах области распознавания, и при определении, что взгляд пользователя находится в пределах области распознавания, распознает движение пользователя в состоянии, в котором взгляд пользователя находится в пределах области распознавания, и распознает команду операции, соответствующую распознанному движению.
Таким образом, устройство отображения удаляет область заднего плана с изображения, захваченного блоком 220 захвата изображения, для получения изображения тела пользователя, извлекает области лица, руки, кисти, торса, ноги и стопы из полученного изображения тела пользователя с использованием информации границ и цвета, извлекает характерные точки из извлеченных областей лица, руки, кисти, торса, ноги и стопы для распознавания движения пользователя, выполняет поиск движения, соответствующего распознанному движению, из движений, сохраненных в базе 152 данных, и распознает команду операции, соответствующую соответствующему движению.
После этого устройство отображения приводит в действие соответственные блоки 156 и 157 приведения в действие на основе распознанной команды операции для отображения изображения содержимого, запрошенного пользователем, посредством блока 110 отображения, и для вывода звука содержимого, запрошенного пользователем, посредством блока 140 вывода звука.
Этот пример будет описан на основании фиг. 11.
Когда первый многомодальный режим исполняется в состоянии, в котором множество функций отображается в области 110a отображения блока отображения, как показано на фиг. 11, устройство отображения распознает взгляд пользователя и движение с использованием блока захвата изображения.
Предполагая, что пользователь смотрит на область 110b распознавания и, в то же время, выполнил движение выпрямления одного пальца, устройство отображения распознает взгляд пользователя в пределах области распознавания и, в то же время, движение выпрямления одного пальца и распознает команду операции, соответствующую движению выпрямления одного пальца.
Когда командой операции, соответствующей движению выпрямления одного пальца, является "поиск", устройство отображения соединяется с Интернетом через сетевой интерфейс для выполнения поиска.
(2) Когда распознавание голоса выбирается пользователем, устройство отображения исполняет второй многомодальный режим, включающий в себя комбинацию режима распознавания голоса и режима распознавания взгляда. В это время устройство отображения оперирует блоком 230 захвата звука, определяет, находится ли взгляд пользователя в пределах области распознавания, и при определении, что взгляд пользователя находится в пределах области распознавания, распознает голос пользователя в состоянии, в котором взгляд пользователя находится в пределах области распознавания, и распознает команду операции, соответствующую распознанному голосу.
Таким образом, устройство отображения оперирует блоком 230 захвата звука, удаляет шум из звука, захваченного блоком 230 захвата звука, для получения голоса пользователя, извлекает вектор признаков из полученного голоса пользователя, сравнивает извлеченный вектор признаков с языковой моделью или звуковой моделью на основе фонем каждого слова, сохраненного в базе 152 данных, для извлечения слов-кандидатов или фонем-кандидатов, распознает предложение на основе слов-кандидатов или фонем-кандидатов, выполняет поиск предложения, соответствующего распознанному предложению, из предложений, сохраненных в базе 152 данных, и распознает команду операции, соответствующую искомому предложению.
После этого устройство отображения приводит в действие соответственные блоки 156 и 157 приведения в действие на основе распознанной команды операции для отображения изображения содержимого, запрошенного пользователем, посредством блока 110 отображения и для вывода звука содержимого, запрошенного пользователем, посредством блока 140 вывода звука.
Этот пример будет описан на основании фиг. 11.
Когда второй многомодальный режим исполняется в состоянии, в котором множество функций отображается в области 110a отображения блока отображения, как показано на фиг. 11, устройство отображения распознает взгляд и голос пользователя с использованием блока захвата изображения и блока захвата звука.
Предполагая, что пользователь смотрит на область 110b распознавания и, в то же время, упомянул слово "три", устройство отображения распознает взгляд пользователя в пределах области распознавания и, в то же время, слово "три", и распознает команду операции, соответствующую слову "три".
Когда командой операции, соответствующей слову "три", является "фильм", устройство отображения воспроизводит фильм, загруженный посредством сетевого интерфейса, или фильм, сохраненный в дополнительном устройстве хранения, или отображает подменю фильма.
Когда интерактивный режим исполняется в течение отображения основного изображения в блоке отображения, изображение, соответствующее интерактивному режиму, отображается на основном изображении наложенным образом.
Когда взгляд пользователя находится в пределах области завершения блока 110 отображения в течение предварительно определенного периода времени или более, устройство отображения завершает интерактивный режим. После этого, когда взгляд пользователя находится в пределах области завершения, устройство отображения повторно выполняет вход в интерактивный режим и повторно отображает его.
Фиг. 12 изображает вид, иллюстрирующий устройство отображения согласно дополнительному варианту осуществления. Далее телевизор будет описан в качестве примера устройства отображения.
В этом варианте осуществления телевизор включает в себя основной корпус 100 для отображения изображения, стойку 160, установленную снизу от основного корпуса 100 для поддержки основного корпуса 100, и пульт 170 дистанционного управления для приема команды пользователя.
Стойка 160 разъемным образом объединена с основным корпусом 100. Телевизор может дополнительно включать в себя кронштейн. Основной корпус 100 может быть установлен на стену с использованием кронштейна. В этом случае стойка может быть удалена.
Основной корпус 100 включает в себя блок 110 отображения для отображения изображения и раму 120 для покрытия не отображающей изображение области. Строение основного корпуса 100 идентично строению из предыдущего варианта осуществления, и, таким образом, его описание будет опущено.
Основной корпус 100 может дополнительно включать в себя блок ввода (не показан), имеющий множество кнопок для приема команды операции телевизора.
Модуль 200 захвата обеспечен на верхнем краю рамы 120 основного корпуса 100 для захвата изображения и звука пользователя и окружения пользователя и для передачи захваченного изображения и звука модулю приведения в действие.
Модуль 200 захвата может быть установлен в позиции, где информация пользователя может быть легко захвачена, дополнительно к верхнему краю рамы 120 основного корпуса 100.
Кроме того, модуль 200 захвата может быть обеспечен отдельно от телевизора. То есть модуль 200 захвата может быть обеспечен отдельно от основного корпуса 100 так, чтобы модуль 200 захвата был соединен с интерфейсным устройством (не показано), обеспеченным на основном корпусе 100.
Модуль 200 захвата идентичен модулю захвата из предыдущего варианта осуществления, и, таким образом, его описание будет опущено.
Пульт 170 дистанционного управления является устройством для того, чтобы удаленным образом управлять телевизором для удобства для пользователя.
Пульт 170 дистанционного управления включает в себя множество кнопок 171, таких как кнопки выбора функций, кнопки номеров, кнопки включения/выключения, кнопки изменения канала и кнопки управления громкостью, второй блок захвата звука, т. е. второй микрофон 172, для захвата голосового сигнала пользователя, второй микропроцессор (не показан) для генерирования сигнала операции при приеме сигнала от кнопок 171 и голосового сигнала, блок 173 связи для передачи сигнала операции, генерируемого вторым микропроцессором, и аккумулятор для обеспечения управляющей мощности второму микрофону, кнопкам, второму микропроцессору и блоку связи.
Второй блок 172 захвата звука может постоянно оперировать.
Пульт 170 дистанционного управления передает сигнал операции, такой как сигнал изменения канала или сигнал управления громкостью, телевизору в ответ на манипуляцию пользователя. В результате пользователь может удобно регулировать различные функции телевизора.
Дополнительно, пульт дистанционного управления может дополнительно включать в себя множество кнопок для выбора и управлять функцией Интернета дополнительно к кнопкам управления просмотра широкого вещания для того, чтобы управлять устройством отображения, поддерживающим Интернет дополнительно к просмотру широкого вещания.
Фиг. 13 изображает структурную схему управления устройства отображения, т. е. телевизор, согласно варианту осуществления.
Операция телевизора осуществляется на основе информации взаимодействия, генерируемой посредством захвата команды пользователя, сигнала от блока ввода (не показан), обеспеченного на основном корпусе 100, или сигнала от пульта 170 дистанционного управления.
Телевизор включает в себя блок 220 захвата изображения и блок 230 захвата звука в качестве модуля захвата для захвата команды пользователя, модуль 180 приведения в действие для управления операцией телевизора на основе команды пользователя, и блок 110 отображения и блок 140 вывода звука в качестве выходного модуля для исполнения операции вывода.
Модуль 180 приведения в действие управляет операцией блока 110 отображения и/или блока 140 вывода звука на основе сигнала от блока ввода (не показан) или сигнала от пульта 170 дистанционного управления.
Таким образом, модуль 180 приведения в действие управляет входом в и завершением интерактивного режима на основе информации, захваченной блоком 220 захвата изображения и/или блоком 230 захвата звука, и, после входа в интерактивный режим, исполняет интерактивный режим для управления операцией блока 110 отображения и/или блока 140 вывода звука.
Модуль 180 приведения в действие телевизора включает в себя блок 181 широкого вещания, интерфейс 182, блок 183 распознавания, базу 184 данных, блок 185 приема, средство 186 управления, блок 187 хранения и блок 188 приведения в действие.
Блок 181 широкого вещания включает в себя средство 181a настройки и процессор 181b сигналов.
Средство 181a настройки принимает широковещательный сигнал, имеющий соответствующую полосу частот, согласно управляющему сигналу настройки от средства 186 управления проводным или беспроводным образом для настройки телевизора.
Процессор 181b сигналов разделяет широковещательный сигнал на сигнал изображения, имеющий данные изображения, звуковой сигнал, имеющий звуковые данные, и дополнительный сигнал, имеющий дополнительные данные, сигнально обрабатывает разделенные сигнал изображения, имеющий данные изображения, и звуковой сигнал, имеющий звуковые данные, и передает дополнительные данные блоку генерирования GUI (не показан). Дополнительные данные включают в себя электронный путеводитель по программам (EPG).
Процессор 181b сигналов может разделять сигнал, переданный от сетевого интерфейса 182b, на сигнал изображения, имеющий данные изображения, и звуковой сигнал, имеющий звуковые данные, и сигнально обрабатывать сигнал изображения и звуковой сигнал.
Интерфейсный блок 182 включает в себя входной интерфейс 182a и сетевой интерфейс 182b.
Входной интерфейс 182a соединяется с модулем 200 захвата для приема сигнала изображения и звукового сигнала, захваченных модулем 200 захвата, и для передачи принятого сигнала изображения и звукового сигнала блоку 183 распознавания.
IP-адрес назначается сетевому интерфейсу 182b так, чтобы сетевой интерфейс 182b выполнял сетевую связь и принимал и обрабатывал пакет данных, переданный извне через сеть. В случае, в котором пакет данных включает в себя данные мультимедиа, т. е. изображение и звуковые данные, сетевой интерфейс 182b сохраняет пакет данных или передает пакет данных средству 186 управления так, чтобы пакет данных воспроизводился.
Блок 183 распознавания распознает лицо и зрачок пользователя, распознает взгляд пользователя на основе информации распознанного зрачка и распознает команду пользователя.
Блок 183 распознавания распознает голос пользователя из звукового сигнала, переданного от блока 185 приема, и распознает команду операции, соответствующую распознанному голосу.
Остальное строение блока 183 распознавания идентично строению из предыдущего варианта осуществления, и, таким образом, его описание будет опущено.
База 184 данных идентична базе данных из предыдущего варианта осуществления, и, таким образом, ее описание будет опущено.
Блок 185 приема принимает сигнал от одной из кнопок 171, обеспеченных на пульте 170 дистанционного управления, и звуковой сигнал от второго блока 172 захвата звука, обеспеченного на пульте 170 дистанционного управления.
Блок 185 приема передает принятый сигнал кнопки и звуковой сигнал блоку 183 распознавания и средству 186 управления.
Средство 186 управления управляет данными изображения, сигнально обработанными процессором 181b сигналов, для отображения на блоке 110 отображения и сигнально обработанным звуком для вывода посредством блока 140 вывода звука.
Средство 186 управления определяет команду пользователя на основе сигнала кнопки от пульта 170 дистанционного управления и управляет приведением в действие блока 110 отображения согласно определенной команде пользователя. При приеме сигнала запроса исполнения функции Интернета от пульта 170 дистанционного управления средство 186 управления управляет сетевым интерфейсом для Интернет-соединения. Когда взгляд пользователя находится в пределах области распознавания, средство 186 управления управляет приведением в действие модуля захвата для исполнения интерактивного режима.
Строение средства 186 управления для управления входом в интерактивный режим и исполнения интерактивного режима идентично строению из предыдущего варианта осуществления, и, таким образом, его описание будет опущено.
Блок 187 хранения идентичен блоку хранения из предыдущего варианта осуществления, и, таким образом, его описание будет опущено.
Блок 188 приведения в действие включает в себя блок 188a приведения в действие отображения и блок 188b приведения в действие звука. Блок 188a приведения в действие изображения и блок 188b приведения в действие звука идентичны своим аналогам из предыдущего варианта осуществления, и, таким образом, их описание будет опущено.
Фиг. 14 изображает блок-схему управления устройства отображения, т. е. телевизор, согласно варианту осуществления.
Когда телевизор включается, операция блока 220 захвата изображения осуществляется для захвата изображения. Телевизор распознает лицо пользователя на основе захваченного изображения, распознает зрачок пользователя на основе распознанного лица и распознает взгляд, соответствующий позиции зрачка (501).
После этого телевизор определяет, находится ли распознанный взгляд в пределах области распознавания (502). При определении, что распознанный взгляд находится в пределах области распознавания, телевизор определяет, направлен ли распознанный взгляд на область распознавания в течение предварительно определенного периода времени или более (503). При определении, что распознанный взгляд направлен на область распознавания в течение предварительно определенного периода времени или более, телевизор входит в интерактивный режим (504). Дополнительно, телевизор изменяет информацию отображения области распознавания в блоке 110 отображения и отображает измененную информацию отображения так, чтобы вход в интерактивный режим распознавался пользователем, как, например, показано на операции 402 с фиг. 10.
Вышеупомянутая процедура идентична процедуре из предыдущего варианта осуществления.
После этого телевизор отображает множество режимов распознавания для приема команды операции (505), подтверждает позицию взгляда пользователя и определяет режим распознавания, выбранный пользователем, на основе подтвержденной позиции взгляда пользователя (506).
Таким образом, телевизор определяет позицию одной из кнопок режима распознавания, соответствующей подтвержденной позиции взгляда пользователя, для определения режима распознавания, выбранного пользователем.
В это время телевизор отображает позицию взгляда пользователя в блоке 110 отображения в виде курсора в реальном времени так, чтобы пользователь мог подтвердить позицию взгляда пользователя.
После этого телевизор исполняет определенный режим распознавания (507). Кроме того, телевизор распознает команду операции на основе результата распознавания согласно исполнению режима распознавания и оперирует соответственными блоками приведения в действие на основе распознанной команды операции (508).
Распознавание команды операции на основе выбора каждого режима распознавания далее будет описано более подробно.
(1) Когда распознавание движения выбирается пользователем, телевизор распознает движение пользователя, выполняет поиск движения, соответствующего распознанному движению, из движений, сохраненных в базе 184 данных, и распознает команду операции, соответствующую соответствующему движению.
После этого телевизор приводит в действие блок 188 приведения в действие на основе распознанной команды операции для отображения изображения широкого вещания или содержимого, запрошенного пользователем, посредством блока 110 отображения и для вывода звука широкого вещания или содержимого, запрошенного пользователем, посредством блока 140 вывода звука.
(2) Когда распознавание голоса выбирается пользователем, телевизор оперирует первым блоком 230 захвата звука, распознает предложение, соответствующее голосу, в звуке, захваченном первым блоком 230 захвата звука или вторым блоком 172 захвата звука, выполняет поиск предложения, соответствующего распознанному предложению, из предложений, сохраненных в базе 184 данных, и распознает команду операции, соответствующую искомому предложению.
После этого телевизор приводит в действие блок 188 приведения в действие на основе распознанной команды операции для отображения изображения широкого вещания или содержимого, запрошенного пользователем посредством блока 110 отображения, и для вывода звука широкого вещания или содержимого, запрошенного пользователем посредством блока 140 вывода звука.
(3) Когда распознавание взгляда выбирается пользователем, телевизор оперирует блоком захвата изображения, отображает всплывающее меню посредством блока 110 отображения, распознает лицо и зрачок пользователя с использованием изображения, захваченного блоком 220 захвата изображения, отслеживает взгляд пользователя на основе распознанного зрачка, подтверждает позицию отслеженного взгляда и выполняет операцию, соответствующую пункту меню, выбранному пользователем из всплывающего меню.
Всплывающее меню включает в себя множество пунктов меню, и каждый пункт меню имеет кнопку команды операции.
Таким образом, телевизор подтверждает кнопку, имеющую позицию, соответствующую позиции взгляда пользователя, из кнопок команды операции во всплывающем меню и выполняет операцию, соответствующую подтвержденной кнопке, которая будет описана на основании фиг. 15 и 16.
В случае, в котором всплывающее меню P2, включающее в себя кнопку изменения функции, кнопку управления канала/громкости, кнопку изменения режима распознавания, кнопку регулирования экрана и кнопку завершения, отображается в блоке 110 отображения, как показано на фиг. 15, кнопка, имеющая позицию, соответствующую позиции взгляда пользователя, определяется. Функция включает в себя функцию широкого вещания, функцию Интернета и функцию связи с внешним устройством.
Если позиция взгляда пользователя находится на кнопке управления каналом/громкостью, кнопка a5 повышения/понижения громкости для управления громкостью, кнопка a6 повышения/понижения канала для регулирования канала и курсор a4, указывающий позицию взгляда пользователя, отображаются в блоке 110 отображения, как показано на фиг. 16.
После этого телевизор сравнивает позицию взгляда пользователя с позицией кнопки a5 повышения/понижения громкости и кнопки a6 повышения/понижения канала для повышения/понижения канала/громкости.
Дополнительно, выбор меню посредством распознавания взгляда может быть определен на основе моргания глаз или времени, в течение которого взгляд находится на кнопке.
В это время телевизор отображает кнопку для распознавания взгляда на основном изображении, отображаемом в блоке отображения, наложенным образом.
Когда взгляд пользователя находится в пределах области завершения блока 110 отображения в течение предварительно определенного периода времени или более, телевизор завершает интерактивный режим. После этого, когда взгляд пользователя находится в пределах области распознавания, телевизор определяет, что пользователь желает изменить режим распознавания, и повторно отображает кнопки режима распознавания.
Дополнительно, когда взгляд пользователя находится вне блока 110 отображения в течение предварительно определенного периода времени или более, телевизор может завершать интерактивный режим.
В соответствии с одним аспектом настоящего раскрытия как описано выше, взгляд пользователя отслеживается для выполнения входа в интерактивный режим, тем самым легко достигая входа в интерактивный режим и выполняя более интуитивное взаимодействие.
Кроме того, многомодальный интерактивный режим, включающий в себя комбинацию распознавания лиц, распознавания голоса и распознавания взгляда, выполняется, тем самым выполняя более расширенный интерактивный режим и точно определяя команды пользователя. В результате, функции верно выполняются, тем самым улучшая удобство для пользователя.
Дополнительно, позиция взгляда пользователя отображается на устройстве отображения в виде курсора, тем самым верно подтверждая позицию взгляда пользователя.
Дополнительно, пользователь распознается посредством лица или зрачка пользователя, и взгляд, голос и движение распознаются с учетом признаков распознанного пользователя, тем самым улучшая эффективность распознавания.
Несмотря на то, что лишь несколько вариантов осуществления настоящего раскрытия было показано и описано, специалистам в данной области техники будет понятно, что изменения могут быть сделаны в этих вариантах осуществления без выхода за пределы принципов и сущности изобретения, объем которого определен в пунктах формулы и их эквивалентах.

Claims (45)

1. Устройство отображения, содержащее:
блок захвата изображения для захвата изображения пользователя;
блок захвата звука для захвата голоса пользователя;
блок распознавания взгляда для распознавания взгляда пользователя с использованием захваченного изображения;
блок распознавания движения для распознавания движения пользователя с использованием захваченного изображения;
блок распознавания голоса для распознавания голоса пользователя с использованием захваченного голоса;
средство управления для определения, находится ли распознанный взгляд в пределах заданной области распознавания, и для управления входом в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания; и
блок отображения для отображения изображения, соответствующего интерактивному режиму,
причем после входа в интерактивный режим средство управления сконфигурировано с возможностью управления отображением множества режимов распознавания для взаимодействия с пользователем, причем множество режимов распознавания включает в себя режим распознавания взгляда, режим распознавания движения и режим распознавания голоса, и возможностью выбора одного из множества режимов распознавания на основе позиции распознанного взгляда, и
причем, если выбран режим распознавания взгляда, средство управления сконфигурировано с возможностью управления для выключения режима распознавания движения и режима распознавания голоса,
причем, если выбран режим распознавания движения, средство управления сконфигурировано с возможностью управления для выключения режима распознавания взгляда и режима распознавания голоса, и
причем, если выбран режим распознавания голоса, средство управления сконфигурировано с возможностью управления для выключения режима распознавания взгляда и режима распознавания движения.
2. Устройство отображения по п. 1, в котором блок отображения отображает заданную область распознавания.
3. Устройство отображения по п. 2, в котором, когда взгляд распознается, средство управления отображает информацию отображения заданной области отличным образом от информации отображения до того, как взгляд распознается.
4. Устройство отображения по п. 1, в котором блок отображения отображает позицию распознанного взгляда в виде курсора.
5. Устройство отображения по п. 1, в котором средство управления определяет команду операции, соответствующую распознанному движению, и управляет приведением в действие блока отображения на основе определенной команды операции.
6. Устройство отображения по п. 1, в котором средство управления определяет команду операции, соответствующую распознанному голосу, и управляет приведением в действие блока отображения на основе определенной команды операции.
7. Устройство отображения по п. 1, в котором средство управления управляет активацией блока захвата изображения и блока захвата звука на основе выбранного режима распознавания.
8. Устройство отображения по п. 1, в котором
блок распознавания распознает лицо пользователя, и
средство управления определяет, является ли распознанный пользователь предварительно зарегистрированным пользователем, при определении, что распознанный пользователь является предварительно зарегистрированным пользователем, управляет распознаванием взгляда пользователя, и в случае, в котором распознается множество пользователей, управляет распознаванием взгляда пользователя, имеющего наивысший приоритет, на основе предварительно сохраненных приоритетов.
9. Устройство отображения по п. 1, в котором средство управления определяет, находится ли распознанный взгляд в пределах заданной области завершения, и при определении, что распознанный взгляд находится в пределах заданной области завершения, управляет завершением интерактивного режима.
10. Устройство отображения по п. 1, в котором
когда движение распознается в состоянии, в котором взгляд находится в пределах заданной области, средство управления подтверждает команду, соответствующую распознанному движению, и управляет исполнением функции, соответствующей подтвержденной команде, и/или
когда голос распознается в состоянии, в котором взгляд находится в пределах заданной области, средство управления подтверждает команду, соответствующую распознанному голосу, и управляет исполнением функции, соответствующей подтвержденной команде.
11. Устройство отображения по п. 10, дополнительно содержащее:
блок связи для приема звукового сигнала, переданного от внешнего пульта дистанционного управления, причем
второй блок распознавания распознает голос из принятого звукового сигнала.
12. Устройство отображения по п. 1, дополнительно содержащее:
средство настройки для приема внешнего широковещательного сигнала;
процессор сигналов для разделения широковещательного сигнала на сигнал изображения, имеющий информацию изображения, и звуковой сигнал, имеющий звуковую информацию, и для сигнальной обработки разделенных сигнала изображения и звукового сигнала, причем
блок отображения отображает заданную область распознавания, кнопку канала и кнопку громкости и отображает позицию распознанного взгляда в виде курсора, и
когда взгляд пользователя находится вне области блока отображения, средство управления управляет завершением интерактивного режима.
13. Способ управления устройством отображения, содержащий этапы, на которых:
распознают взгляд пользователя;
определяют, находится ли распознанный взгляд в пределах заданной области распознавания;
входят в интерактивный режим при определении, что распознанный взгляд находится в пределах заданной области распознавания в течение предварительно определенного периода времени;
отображают множество режимов распознавания для взаимодействия с пользователем, причем множество режимов распознавания включает в себя режим распознавания взгляда, режим распознавания движения и режим распознавания голоса;
определяют режим распознавания, соответствующий позиции распознанного взгляда, из отображаемых режимов распознавания;
если выбран режим распознавания взгляда, управляют для выключения режима распознавания движения и режима распознавания голоса и захватывают изображение пользователя;
если выбран режим распознавания движения, управляют для выключения режима распознавания взгляда и режима распознавания голоса и захватывают изображение пользователя;
если выбран режим распознавания голоса, управляют для выключения режима распознавания взгляда и режима распознавания движения и захватывают голос пользователя;
исполняют определенный режим распознавания для распознавания команды от пользователя; и
исполняют функцию, соответствующую распознанной команде.
14. Способ управления по п. 13, дополнительно содержащий этап, на котором отображают заданную область распознавания в виде другой информации отображения при входе в интерактивный режим.
RU2015114537A 2012-10-19 2013-09-06 Устройство отображения и его способ управления RU2617927C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020120116956A KR102095765B1 (ko) 2012-10-19 2012-10-19 디스플레이 장치 및 그 제어 방법
KR10-2012-0116956 2012-10-19
PCT/KR2013/008073 WO2014061916A1 (en) 2012-10-19 2013-09-06 Display apparatus and control method thereof

Publications (2)

Publication Number Publication Date
RU2015114537A RU2015114537A (ru) 2016-11-10
RU2617927C2 true RU2617927C2 (ru) 2017-04-28

Family

ID=49518656

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015114537A RU2617927C2 (ru) 2012-10-19 2013-09-06 Устройство отображения и его способ управления

Country Status (9)

Country Link
US (2) US9524023B2 (ru)
EP (2) EP3425485B1 (ru)
JP (1) JP6271935B2 (ru)
KR (1) KR102095765B1 (ru)
CN (1) CN103826145B (ru)
IN (1) IN2015DN03276A (ru)
MX (1) MX346605B (ru)
RU (1) RU2617927C2 (ru)
WO (1) WO2014061916A1 (ru)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015056141A (ja) 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置、および情報処理方法
CN104598009A (zh) * 2013-10-30 2015-05-06 鸿富锦精密工业(武汉)有限公司 屏幕按键控制方法及系统
JP5884811B2 (ja) * 2013-11-18 2016-03-15 コニカミノルタ株式会社 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
KR102193029B1 (ko) * 2014-05-09 2020-12-18 삼성전자주식회사 디스플레이 장치 및 그의 화상 통화 수행 방법
KR102337682B1 (ko) 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR102289904B1 (ko) * 2015-01-23 2021-08-18 삼성디스플레이 주식회사 표시 장치
US10540009B2 (en) 2015-02-25 2020-01-21 Kyocera Corporation Wearable device, control method, and control program
KR20160116162A (ko) * 2015-03-26 2016-10-07 삼성디스플레이 주식회사 표시 장치
CN105630148A (zh) * 2015-08-07 2016-06-01 宇龙计算机通信科技(深圳)有限公司 终端的显示方法、终端的显示装置和终端
KR20180071092A (ko) 2016-12-19 2018-06-27 삼성전자주식회사 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치
JP2019003228A (ja) * 2017-06-09 2019-01-10 富士通株式会社 機器連携システム、機器連携装置、機器連携方法及び機器連携プログラム
KR102203720B1 (ko) * 2017-06-26 2021-01-15 에스케이텔레콤 주식회사 음성 인식 방법 및 장치
US10732708B1 (en) * 2017-11-21 2020-08-04 Amazon Technologies, Inc. Disambiguation of virtual reality information using multi-modal data including speech
US11232645B1 (en) 2017-11-21 2022-01-25 Amazon Technologies, Inc. Virtual spaces as a platform
US10521946B1 (en) 2017-11-21 2019-12-31 Amazon Technologies, Inc. Processing speech to drive animations on avatars
CN109992237B (zh) * 2018-01-03 2022-04-22 腾讯科技（深圳）有限公司 智能语音设备控制方法、装置、计算机设备和存储介质
CN116328317A (zh) 2018-02-06 2023-06-27 日本聚逸株式会社 应用处理系统、应用处理方法以及应用处理程序
JP6855416B2 (ja) * 2018-07-06 2021-04-07 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US10981067B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
JP6908573B2 (ja) 2018-02-06 2021-07-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
JP6850769B2 (ja) * 2018-07-05 2021-03-31 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
EP3520868A1 (en) 2018-02-06 2019-08-07 Gree, Inc. Game processing system, method of processing game, and program for processing game
CN108509856A (zh) * 2018-03-06 2018-09-07 深圳市沃特沃德股份有限公司 音频调整方法、装置和音响设备
US11169668B2 (en) * 2018-05-16 2021-11-09 Google Llc Selecting an input mode for a virtual assistant
CN108897589B (zh) * 2018-05-31 2020-10-27 刘国华 显示设备中人机交互方法、装置、计算机设备和存储介质
US11949943B2 (en) * 2018-07-16 2024-04-02 Arris Enterprises Llc Gaze-responsive advertisement
JP6524320B2 (ja) * 2018-09-12 2019-06-05 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
CN109683705A (zh) * 2018-11-30 2019-04-26 北京七鑫易维信息技术有限公司 眼球注视控制交互控件的方法、装置和系统
EP3896983A4 (en) * 2018-12-11 2022-07-06 LG Electronics Inc. DISPLAY DEVICE
US20220050580A1 (en) * 2019-01-28 2022-02-17 Sony Group Corporation Information processing apparatus, information processing method, and program
CN109788256A (zh) * 2019-01-30 2019-05-21 温州大学 一种多模态图像的显示系统
CN110211251A (zh) * 2019-04-26 2019-09-06 珠海格力电器股份有限公司 一种人脸识别方法、装置、存储介质及人脸识别终端
JP7277306B2 (ja) * 2019-07-31 2023-05-18 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN112423190A (zh) * 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈
CN113050852A (zh) * 2019-12-27 2021-06-29 通用电气精准医疗有限责任公司 医疗系统中显示单元的控制方法以及控制装置
US11112875B1 (en) * 2020-03-20 2021-09-07 Huawei Technologies Co., Ltd. Methods and systems for controlling a device using hand gestures in multi-user environment
US11698677B1 (en) * 2020-06-29 2023-07-11 Apple Inc. Presenting a notification based on an engagement score and an interruption priority value
CN112102828A (zh) * 2020-09-04 2020-12-18 杭州中软安人网络通信股份有限公司 大屏幕自动播报内容的语音控制方法及系统
US11762458B2 (en) * 2021-02-15 2023-09-19 Sony Group Corporation Media display device control based on eye gaze
JP7089128B1 (ja) 2021-07-01 2022-06-21 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7039753B1 (ja) 2021-07-01 2022-03-22 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7248853B2 (ja) * 2022-03-09 2023-03-29 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7141556B1 (ja) 2022-03-09 2022-09-22 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法
JP7387932B2 (ja) * 2022-03-09 2023-11-28 株式会社あかつき ゲームサーバ、ゲームプログラム、情報処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7216351B1 (en) * 1999-04-07 2007-05-08 International Business Machines Corporation Systems and methods for synchronizing multi-modal interactions
RU2353066C2 (ru) * 2004-06-04 2009-04-20 Квэлкомм Инкорпорейтед Устройство и способ реализации интерфейса высокоскоростной передачи данных
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures
US20090306991A1 (en) * 2008-06-09 2009-12-10 Samsung Electronics Co., Ltd. Method for selecting program and apparatus thereof
WO2011014467A2 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-generating a visual representation
US20110154014A1 (en) * 2009-12-18 2011-06-23 Sony Ericsson Mobile Communications Ab Data exchange for mobile devices
WO2012083415A1 (en) * 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
DE19736995B4 (de) * 1997-08-26 2009-05-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zum Bestimmen eines Fixationspunktes
JP2001070293A (ja) * 1999-09-06 2001-03-21 Toshiba Corp Ｘ線診断装置
JP2001350578A (ja) * 2000-06-06 2001-12-21 Sensor:Kk 視線による入力制御装置及び方法並びに視線により入力させる制御プログラムを記録した記録媒体
US20030038754A1 (en) * 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
US7760248B2 (en) * 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
JP2005117185A (ja) * 2003-10-03 2005-04-28 Canon Inc デジタルテレビジョン装置
US7057888B2 (en) * 2004-09-22 2006-06-06 Intel Corporation Retractable and extendable camera and microphone array computer system
TWI287787B (en) * 2004-12-14 2007-10-01 Delta Electronics Inc A remote control device and method with speech control
JP4872241B2 (ja) * 2005-05-31 2012-02-08 船井電機株式会社 テレビ受像機
JP2007160473A (ja) * 2005-12-15 2007-06-28 Fujitsu Ltd ロボットにおける対話相手識別方法およびロボット
DE102006011288A1 (de) * 2006-03-10 2007-09-13 Siemens Ag Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle und Benutzerschnittstelle
JP2007324866A (ja) * 2006-05-31 2007-12-13 Funai Electric Co Ltd 電子機器及びテレビ受像機
US20080013262A1 (en) * 2006-06-30 2008-01-17 Logitech Europe S.A. Computer monitor with detachable module
JP4260215B1 (ja) * 2007-08-29 2009-04-30 任天堂株式会社 撮像装置
EP2201761B1 (en) * 2007-09-24 2013-11-20 Qualcomm Incorporated Enhanced interface for voice and video communications
TW200921483A (en) * 2007-11-09 2009-05-16 Tpk Touch Solutions Inc Touch-control display panel with an electric-field shielding layer
DE102008025124A1 (de) * 2008-05-26 2009-12-03 Volkswagen Ag Anzeigesystem für ein Fahrzeug und Bedienverfahren für ein Anzeigesystem eines Fahrzeugs
US8700332B2 (en) * 2008-11-10 2014-04-15 Volkswagen Ag Operating device for a motor vehicle
KR20100064177A (ko) * 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
WO2010101697A2 (en) * 2009-02-06 2010-09-10 Oculis Labs, Inc. Video-based privacy supporting system
US20110084897A1 (en) * 2009-10-13 2011-04-14 Sony Ericsson Mobile Communications Ab Electronic device
KR101626159B1 (ko) * 2009-11-25 2016-05-31 엘지전자 주식회사 사용자 적응형 디스플레이 장치 및 디스플레이 방법
US8977972B2 (en) * 2009-12-31 2015-03-10 Intel Corporation Using multi-modal input to control multiple objects on a display
US8922480B1 (en) * 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
KR101815020B1 (ko) * 2010-08-26 2018-01-31 삼성전자주식회사 인터페이스 제어 장치 및 방법
JP2012053545A (ja) * 2010-08-31 2012-03-15 Canon Inc 画像処理システムおよびその制御方法
JP5583531B2 (ja) * 2010-09-10 2014-09-03 日立コンシューマエレクトロニクス株式会社 映像表示装置
JP4977249B1 (ja) * 2010-12-24 2012-07-18 株式会社東芝 電子機器
EP2666070A4 (en) * 2011-01-19 2016-10-12 Hewlett Packard Development Co METHOD AND SYSTEM FOR MULTIMODAL CONTROL AND GESTURE CONTROL
JP5070367B2 (ja) * 2011-01-31 2012-11-14 三洋電機株式会社 電動自転車
KR20120090621A (ko) * 2011-02-08 2012-08-17 삼성전자주식회사 백라이트 유닛 및 이를 갖는 표시장치
KR101191640B1 (ko) * 2011-02-23 2012-10-17 동국대학교 산학협력단 사용자에게 정보를 전달하는 정보전달장치 및 그 방법
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
KR101235594B1 (ko) * 2011-06-27 2013-02-21 엘지전자 주식회사 이동 단말기
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
JP5785015B2 (ja) * 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
US8988350B2 (en) * 2011-08-20 2015-03-24 Buckyball Mobile, Inc Method and system of user authentication with bioresponse data
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9594500B2 (en) * 2012-06-27 2017-03-14 sigmund lindsay clements Touch Free hygienic display control panel for a smart toilet
KR102081930B1 (ko) * 2013-03-21 2020-02-26 엘지전자 주식회사 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7216351B1 (en) * 1999-04-07 2007-05-08 International Business Machines Corporation Systems and methods for synchronizing multi-modal interactions
RU2353066C2 (ru) * 2004-06-04 2009-04-20 Квэлкомм Инкорпорейтед Устройство и способ реализации интерфейса высокоскоростной передачи данных
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures
US20090306991A1 (en) * 2008-06-09 2009-12-10 Samsung Electronics Co., Ltd. Method for selecting program and apparatus thereof
WO2011014467A2 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-generating a visual representation
US20110154014A1 (en) * 2009-12-18 2011-06-23 Sony Ericsson Mobile Communications Ab Data exchange for mobile devices
WO2012083415A1 (en) * 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking

Also Published As

Publication number Publication date
RU2015114537A (ru) 2016-11-10
US20140111420A1 (en) 2014-04-24
EP2735938A2 (en) 2014-05-28
EP3425485A2 (en) 2019-01-09
IN2015DN03276A (ru) 2015-10-09
US9524023B2 (en) 2016-12-20
EP3425485B1 (en) 2020-12-02
EP2735938B1 (en) 2018-08-29
KR102095765B1 (ko) 2020-04-01
JP2014086085A (ja) 2014-05-12
CN103826145A (zh) 2014-05-28
JP6271935B2 (ja) 2018-01-31
US20170060370A1 (en) 2017-03-02
EP2735938A3 (en) 2015-01-07
WO2014061916A1 (en) 2014-04-24
KR20140050484A (ko) 2014-04-29
EP3425485A3 (en) 2019-02-13
CN103826145B (zh) 2019-02-15
MX346605B (es) 2017-03-24
MX2015004841A (es) 2015-07-21

Similar Documents

Publication Publication Date Title
RU2617927C2 (ru) Устройство отображения и его способ управления
JP6143975B1 (ja) 画像の取り込みを支援するためにハプティックフィードバックを提供するためのシステムおよび方法
CN103686269B (zh) 图像显示装置及其操作方法
US10303244B2 (en) Information processing apparatus, information processing method, and computer program
US11183151B2 (en) Display apparatus and controlling method thereof
TW201344597A (zh) 顯示裝置控制方法、控制器及多媒體系統
CN106658038A (zh) 基于视频流的直播交互方法及其相应的装置
WO2010035477A1 (ja) ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
US20120115543A1 (en) Head mounted display apparatus with phone function
CN109814822A (zh) 一种多媒体的播放控制方法、装置及终端设备
KR102254894B1 (ko) 음성 인식 검색 결과를 이용하여 카테고리를 배열하는 디스플레이 디바이스 및 그 제어 방법
US10795178B2 (en) Device for mixed reality
CN109816718A (zh) 一种播放提示的方法、装置及存储介质
CN110620955A (zh) 直播系统及其直播方法
CN109388471A (zh) 一种导航方法及装置
CN108513156A (zh) 一种基于智能激光电视的控制方法与装置
TWI700630B (zh) 聲控顯示裝置及擷取語音訊號的方法
US20230319339A1 (en) Electronic device and control method thereof
TWM495601U (zh) 光源顯示裝置控制系統