JP4697279B2 - 画像表示装置および検出方法 - Google Patents

画像表示装置および検出方法 Download PDF

Info

Publication number
JP4697279B2
JP4697279B2 JP2008234508A JP2008234508A JP4697279B2 JP 4697279 B2 JP4697279 B2 JP 4697279B2 JP 2008234508 A JP2008234508 A JP 2008234508A JP 2008234508 A JP2008234508 A JP 2008234508A JP 4697279 B2 JP4697279 B2 JP 4697279B2
Authority
JP
Japan
Prior art keywords
unit
image
light emitting
image display
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008234508A
Other languages
English (en)
Other versions
JP2010068385A (ja
Inventor
和良 鈴木
士郎 大森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008234508A priority Critical patent/JP4697279B2/ja
Priority to US12/584,851 priority patent/US8675136B2/en
Priority to CN2009101731874A priority patent/CN101674435B/zh
Publication of JP2010068385A publication Critical patent/JP2010068385A/ja
Application granted granted Critical
Publication of JP4697279B2 publication Critical patent/JP4697279B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0231Cordless keyboards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0238Programmable keyboards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226Reprogrammable remote control devices
    • H04N21/42227Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436Power management, e.g. shutting down unused components of the receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4751End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user accounts, e.g. accounts for children

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Ecology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Child & Adolescent Psychology (AREA)
  • Details Of Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、画像表示装置および検出方法に関する。
従来、テレビ受像機においては、アンテナで受信した放送波から映像信号を生成して、画面に映像を表示するのみであったが、近年においては、インターネットその他のネットワークに接続可能なテレビ受像機が開発され、普及し始めている。このようなテレビ受像機では、インターネットに接続してウェブブラウザで情報を表示させることができるが、その際には、パーソナルコンピュータで用いられるマウスのように、画面上の任意の点を指示できるポインティングデバイスを用いると便利である。
そのようなポインティングデバイスとして、リモートコントローラを動かすことで画面上の任意の点を指示できる、いわゆる「フリーカーソル機能」を搭載したリモートコントローラが提唱されている。フリーカーソル機能を搭載したリモートコントローラは、手にとって、上下左右に動かしたり振ったりすることで、画面上の任意の点を指示したり、ページを切り替えたりすることができる。
また、テレビ受像機や録画再生機器の高機能化、高性能化に伴って、テレビ受像機や録画再生機器を遠隔操作するためのリモートコントローラで操作できる機能も増加しつつある。そして、最近では液晶ディスプレイ等の表示部を備えたリモートコントローラも開発されている。かかるリモートコントローラでは、チャンネルの選局や音量の調節といった基本的な機能だけではなく、番組の録画予約や視聴予約といった機能も実行可能なボタンが表示部に表示され、ユーザは表示部を指で触ることでテレビ受像機に対する操作ができる。
そのような表示部を備えたリモートコントローラでは、操作に慣れているユーザと操作に不慣れなユーザとで同じボタンを表示部に表示させると、操作に不慣れなユーザは、上手くリモートコントローラを使いこなせない。従って、かかるコントローラにおいては、ユーザ毎に表示部に表示する内容をカスタマイズし、表示内容を切り替えられる機能があることが望ましい。
しかし、従来においては、フリーカーソル機能をリモートコントローラに搭載しようとすると、加速度センサやジャイロセンサを組み込む必要があり、リモートコントローラの製造コストやリモートコントローラの消費電力が増加してしまう問題があった。
また、液晶ディスプレイ等の表示部を備えたリモートコントローラで表示内容を切り替えられるためには、番号の振られたボタンをリモートコントローラに用意し、それをユーザが押す方法、IDやパスワードをリモートコントローラに入力する方法、リモートコントローラで指紋等の生体情報を読み取る方法などがあるが、どれもユーザ自身が切替操作を行う必要があり、操作が煩わしくなるという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、リモートコントローラや、リモートコントローラを操作する人間の顔を撮影し、撮影した画像からリモートコントローラの位置やリモートコントローラを操作する人間の顔を検出・識別することで、リモートコントローラに容易に機能を追加することが可能な、新規かつ改良された画像表示装置および検出方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、静止画像または動画像を表示する画像表示部と、画像表示部が静止画像または動画像を表示している方向の撮影を行う撮像部と、撮像部で撮影した画像に含まれ、ユーザが操作する遠隔操作装置の発光部を検出するとともに、撮影した画像内での発光部の移動量を検出する検出部と、検出部により検出された発光部の移動量に応じて、画像表示部に表示される指示部の移動量を制御する制御部と、を備える、画像表示装置が提供される。
かかる構成によれば、画像表示部は静止画像または動画像を表示し、撮像部は像表示部が静止画像または動画像を表示している方向の撮影を行い、検出部は撮像部で撮影した画像に含まれ、ユーザが操作する遠隔操作装置の発光部を検出するとともに、撮影した画像内での発光部の移動量を検出する。そして、制御部は検出部により検出された発光部の移動量に応じて、画像表示部に表示される指示部の移動量を制御する。その結果、撮像部が撮像した画像に含まれている遠隔操作装置の発光部の位置を検出し、検出結果に応じて画像表示部の任意の点を指示する指示部の移動量を制御することで、遠隔操作装置に容易に機能を追加することができる。
検出部は、撮像部で撮影した画像に含まれる鑑賞者の顔を検出し、検出した顔の位置から所定の距離の範囲内でのみ発光部を検出するようにしてもよい。
検出部は、撮像部で撮影した画像に含まれる鑑賞者の顔を検出し、制御部は、検出部が検出した顔の位置から所定の距離の位置に発光部が位置していることを検出部が検出した場合に、画像表示部の中央に指示部を位置させるようにしてもよい。
制御部は、発光部の発光周期を撮像部の撮像周期の整数倍に制御するようにしてもよい。
制御部は、検出部で発光部を検出する場合には発光部の発光強度を変化させるようにしてもよい。
検出部は、撮像部で撮影した画像に含まれる鑑賞者の顔を検出し、制御部は、検出部の検出結果を用いて遠隔操作装置を制御するようにしてもよい。この際、制御部は、検出部の検出結果を用いて遠隔操作装置のボタン表示を制御するようにしてもよい。
制御部は、検出部が複数の鑑賞者の顔を検出した場合に、検出部が検出した発光部の検出結果を用いて遠隔操作装置を操作する人物を推定するようにしてもよい。
制御部は、検出部が鑑賞者の顔を検出した場合に、発光部に対して発光を指示するようにしてもよい。また、制御部は、ユーザと撮像部との間の距離に応じて指示部の移動量を制御するようにしてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、静止画像または動画像を表示する画像表示部が静止画像または動画像を表示している方向の撮影を行う撮像ステップと、撮像ステップで撮影した画像に含まれ、ユーザが操作する遠隔操作装置の発光部を検出するするとともに、撮影した画像内での発光部の移動量を検出する検出ステップと、検出ステップにより検出された発光部の移動量に応じて画像表示部に表示される指示部の移動量を制御する制御ステップと、を備える、検出方法が提供される。
以上説明したように本発明によれば、リモートコントローラや、リモートコントローラを操作する人間の顔を撮影し、撮影した画像からリモートコントローラの位置やリモートコントローラを操作する人間の顔を識別することで、リモートコントローラに容易に機能を追加することが可能な、新規かつ改良された画像表示装置および検出方法を提供することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序に従って本発明の好適な実施の形態について詳細に説明する。
〔1〕本発明の一実施形態にかかる画像表示装置の概要
〔2〕本発明の一実施形態にかかる画像表示装置の動作
〔2−1〕フリーカーソル機能の実現
〔2−2〕リモートコントローラのボタン表示制御の実現
〔3〕まとめ
〔1〕本発明の一実施形態にかかる画像表示装置の概要
まず、本発明の一実施形態にかかる画像表示装置の概要について説明する。図1は、本発明の一実施形態にかかる画像表示装置100の外観について説明する説明図である。以下、図1を用いて本発明の一実施形態にかかる画像表示装置の外観について説明する。
図1に示したように、本発明の一実施形態にかかる画像表示装置100は、画像の表示パネル102の上方中央部に、動画像を撮像する画像入力部104が備えられている。画像入力部104は、画像表示装置100が表示パネル102で動画像を表示する方向に対して、動画像の撮像を行うものである。本実施形態にかかる画像表示装置100は、画像入力部104で撮像された画像を解析し、画像に映っている人間の顔を検出する。そして、画像入力部104が撮像した動画像に人間の顔が含まれているかどうかで、画像表示装置100は内部の動作状態を変化させることを特徴としている。
なお、図1では、画像表示装置100は、画像の表示パネル102の上方中央部に、動画像を撮像する画像入力部104を備えていたが、本発明においては動画像を撮影する画像入力の場所はかかる例に限定されないことは言うまでもなく、例えば、画像表示装置100とは別の装置を設け、画像表示装置100に当該装置を接続して、当該装置において動画像を撮影してもよい。また、画像入力部の数も1つに限られないことは言うまでもなく、2つ以上の画像入力部を設けて撮像してもよい。
以上、本発明の一実施形態にかかる画像表示装置100の概要について説明した。次に、本発明の一実施形態にかかる画像表示装置100の構成について説明する。
図2は、本発明の一実施形態にかかる画像表示装置100の構成について示す説明図である。以下、図2を用いて本発明の一実施形態にかかる画像表示装置100の構成について説明する。
図2に示したように、本発明の一実施形態にかかる画像表示装置100は、表示パネル102と、画像入力部104と、検出部106と、電力制御部108と、SDRAM(Synchronous Dynamic Random Access Memory)110と、フラッシュROM112と、CPU114と、リモートコントローラ受光部116と、ネットワークI/F118と、ネットワーク端子120と、地上波チューナー122と、デジタルチューナー124と、音声A/D変換回路126と、ビデオデコーダ128と、MPEGデコーダ130と、音声信号処理回路132と、映像信号処理回路134と、HDMI(High−Definition Multimedia Interface)レシーバ136と、HDMI端子138と、音声増幅回路140と、スピーカ142と、グラフィック生成回路144と、パネル駆動回路146と、を含んで構成される。
地上波チューナー122は、アナログ地上波を受信する地上波アンテナ(図示せず)から送られてくる放送波信号を受け取り、放送波信号に含まれる映像信号および音声信号を、ベースバンドの信号に復調するものである。地上波チューナー122で復調されたベースバンドの信号のうち、音声信号は音声A/D変換回路126に送られ、映像信号はビデオデコーダ128に送られる。
デジタルチューナー124は、デジタル放送を受信するデジタルアンテナ(図示せず)から送られてくる放送波信号を受け取り、受け取った放送波信号をMPEG2−TS(MPEG2 Transport Stream)に変換するものである。放送波信号をデジタルチューナー124でMPEG2−TSに変換すると、変換したMPEG2−TSをMPEGデコーダ130に送る。
音声A/D変換回路126は、地上波チューナー122で復調された音声信号を受け取り、アナログの音声信号からデジタルの音声信号に変換するものである。音声A/D変換回路126でアナログの音声信号からデジタルの音声信号に変換すると、変換したデジタルの音声信号を音声信号処理回路132に送る。
ビデオデコーダ128は、地上波チューナー122で復調された映像信号を受け取り、アナログの映像信号からデジタルコンポーネント信号に変換するものである。ビデオデコーダ128でアナログの映像信号からデジタルコンポーネント信号に変換すると、変換したデジタルコンポーネント信号を映像信号処理回路134に送る。
MPEGデコーダ130は、デジタルチューナー124から送られてくるMPEG2−TSを受け取り、音声についてはMPEG2−TSからデジタルの音声信号に変換し、映像についてはMPEG2−TSからデジタルコンポーネント信号に変換するものである。MPEGデコーダ130でMPEG2−TSからデジタルの音声信号やデジタルコンポーネント信号に変換すると、変換したデジタルの音声信号は音声信号処理回路132に送り、変換したデジタルコンポーネント信号は映像信号処理回路134に送る。
音声信号処理回路132は、音声A/D変換回路126やMPEGデコーダ130から送られてくるデジタルの音声信号を受け取り、デジタルの音声信号に対する信号処理を行うものである。音声信号処理回路132でデジタルの音声信号に対する信号処理が施されると、音声信号は音声増幅回路140に送られる。
映像信号処理回路134は、ビデオデコーダ128やMPEGデコーダ130から送られてくるデジタルコンポーネント信号を受け取り、デジタルコンポーネント信号に対する信号処理を行うものである。映像信号処理回路134でデジタルコンポーネント信号に対する信号処理が行われると、デジタルコンポーネント信号はグラフィック生成回路144に送られる。
HDMIレシーバ136は、外部入力端子の一つであるHDMI端子138から入力されるデジタルベースバンド信号を受信するものである。HDMIレシーバ136で受信したデジタルベースバンド信号は、音声信号処理回路132および映像信号処理回路134に送られ、それぞれ音声信号やデジタルコンポーネント信号に対する信号処理が行われる。
音声増幅回路140は、音声信号処理回路132から出力される音声信号を受け取り、所定量増幅して出力するものである。音声増幅回路140における増幅量は、画像表示装置100のユーザによって指示される音量に応じたものとなる。音声増幅回路140で増幅された音声信号は、スピーカ142に送られる。スピーカ142は、音声増幅回路140から送られてくる音声信号に基づいて音声を出力する。
グラフィック生成回路144は、画像表示装置100の操作に必要となるグラフィック画面を生成するものである。画像表示装置100の操作に必要となるグラフィック画面は、ユーザの操作によって異なるものが生成される。グラフィック生成回路144で生成されるグラフィック画面は、映像信号処理回路134から送られてくる映像信号に重畳したり、映像信号と差し替えたりして、パネル駆動回路146へ送られる。なお、グラフィック画面が生成されない場合には、映像信号処理回路134から送られてくる映像信号をそのままパネル駆動回路146へ通過させてもよい。
パネル駆動回路146は、グラフィック生成回路144から表示パネル102に映像を表示するために必要となるパネル駆動信号を、グラフィック生成回路144から送られてくる映像信号から生成するものである。パネル駆動回路146で生成されたパネル駆動信号は表示パネル102に送られ、表示パネル102がパネル駆動信号に応じて動作することで、映像が表示パネル102に表示される。
表示パネル102は、パネル駆動回路146から送られてくるパネル駆動信号に基づいて動画像を表示するものである。本実施形態においては、表示パネル102は液晶によって動画像を表示する
画像入力部104は、上述したように、画像の表示パネル102の上方中央部に備えられるものであり、表示パネル102にパネル駆動信号が供給され、表示パネル102において動画像を表示している際に、画像表示装置100が表示パネル102で動画像を表示する方向に対して動画像の撮像を行うものである。画像入力部104は、CCD(Charge Coupled Device)イメージセンサによって動画像の撮像を行うものであってもよく、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサによって動画像の撮像を行うものであってもよい。画像入力部104で撮像された動画像は検出部106に送られる。なお、画像入力部104の数は、1つ以上であってもよく、2つ以上であってもよい。
検出部106は、画像入力部104から送られてくる動画像を入力し、動画像に含まれている人間の顔やリモートコントローラ200の発光部の位置を検出するものである。検出部106における人間の顔やリモートコントローラ200の発光部の位置の検出結果は、電力制御部108やCPU114等に送られて、画像表示装置100の動作の制御に用いられる。なお、検出部106の構成については後に詳述する。
電力制御部108は、検出部106における検出結果に応じて、画像表示装置100の各部の動作を制御することで、画像表示装置100の消費電力を制御するものである。電力制御部108の動作については後に詳述するが、一例を挙げて説明すると、例えば検出部106における検出の結果、画像入力部104から送られてくる動画像に人間の顔が全く含まれていなかった場合には、画像表示装置100の表示パネル102で表示されている動画像を誰も見ていないと判断し、電力制御部108は表示パネル102のバックライトの輝度を減少させる制御を行う。
このように、検出部106における検出結果に応じて電力制御部108において画像表示装置100の各部の動作を制御することで、画像表示装置100に表示されている動画像の視聴の状況に応じ、画像表示装置100の消費電力を制御することができる。
SDRAM110は、CPU114において画像表示装置100の各部を制御するためのコンピュータプログラムの実行時における一時作業領域である。フラッシュROM112は、CPU114において画像表示装置100の各部を制御するためのコンピュータプログラムが格納されているROMである。そして、CPU114は、フラッシュROM112に格納されている、画像表示装置100の各部を制御するためのコンピュータプログラムを読み出して、順次実行するものである。
リモートコントローラ受光部116は、リモートコントローラ200から送信されてきた信号を受信するものである。リモートコントローラ受光部116で受信した信号はCPU114に入力され、CPU114において当該信号に含まれる制御コードの解読が行われる。CPU114で制御コードが解読されると、CPU114は、当該制御コードに応じた動作(音量の調整、チャンネルの設定、メニュー画面の表示等)をするように画像表示装置100の各部を制御する。
ネットワークI/F118は、ネットワーク経由でネットワーク端子120から入力される信号を受信したり、ネットワーク端子120を介してネットワークへ信号を送信したりするものである。ネットワーク経由でネットワーク端子120から入力される信号をネットワークI/F118で受信すると、受信した信号をCPU114に送る。CPU114では、ネットワークI/F118が受信した信号を解析し、信号に応じた動作をするように画像表示装置100の各部を制御する。
なお、画像表示装置100の各部は内部バス121で相互に接続されており、CPU114によって画像表示装置100の各部の制御が可能となるように構成されている。また、画像表示装置100とリモートコントローラ200との間は無線によって相互に通信してもよい。従って、図2には図示しないが、画像表示装置100およびリモートコントローラ200には無線通信を行うための無線通信部を備えていてもよい。
以上、本発明の一実施形態にかかる画像表示装置100の構成について説明した。次に、本発明の一実施形態にかかる画像表示装置100に含まれる、検出部106の構成について説明する。
図3は、本発明の一実施形態にかかる画像表示装置100に含まれる、検出部106の構成について説明する説明図である。以下、図3を用いて本発明の一実施形態にかかる画像表示装置100に含まれる、検出部106の構成について説明する。
図3に示したように、本発明の一実施形態にかかる画像表示装置100に含まれる検出部106は、顔検出部152と、顔認識部154と、リモートコントローラ検出部156と、を含んで構成される。
顔検出部152は、画像入力部104で撮像され、画像入力部104から送られてくる画像から、人間の顔の部分を検出する処理(顔検出処理)を実行するものである。顔検出部152で人間の顔の部分を検出することで、人間の顔に関連した制御を実行させることができる。
顔認識部154は、画像入力部104で撮像され、画像入力部104から送られてくる画像から、顔検出部152で検出した人間の顔の部分に対して、さらに人物を特定するための処理(顔認識処理)を実行するものである。顔認識部154で人物を特定するための顔認識処理を実行することで、特定した人物に関連した制御を実行させることができる。
リモートコントローラ検出部156は、画像入力部104で撮像され、画像入力部104から送られてくる画像から、リモートコントローラ200の位置を検出するリモートコントローラ検出処理を実行するものである。リモートコントローラ検出部156でリモートコントローラ検出処理を実行することで、リモートコントローラ200の位置に関連した制御を実行させることができる。
このように検出部106を構成することで、画像入力部104で撮像され、画像入力部104から送られてくる画像から、人間の顔の検出および顔の認識、並びにリモートコントローラ200の位置を検出することができる。そして、検出部106における検出結果を用いて、人間の顔、特定した人物、リモートコントローラ200の位置に関連した制御を、画像表示装置100の内部で実行させることができる。
以上、図3を用いて本発明の一実施形態にかかる画像表示装置100に含まれる、検出部106の構成について説明した。次に、本発明の一実施形態にかかる画像表示装置100の動作について説明する。
〔2〕本発明の一実施形態にかかる画像表示装置の動作
〔2−1〕フリーカーソル機能の実現
図4は、本発明の一実施形態にかかる画像表示装置100の動作について説明する流れ図である。以下、図4を用いて本発明の一実施形態にかかる画像表示装置100の動作について説明する。
図4に示した流れ図は、画像入力部104で撮像され、画像入力部104から送られてくる画像からリモートコントローラ200の発光部の有無を検出し、リモートコントローラ200の発光部の有無によって、フリーカーソルモードに移行するか否かを判断する場合の動作について示したものである。
画像入力部104によって動画像が撮像されると、画像入力部104が撮像した動画像を顔検出部106で解析し、画像入力部104が撮像した動画像に占める、鑑賞者の顔の面積から、画像表示装置100と鑑賞者との距離を測定する。そして、測定の結果、予め定めた所定の距離より近いかどうかを顔検出部152で判断する(ステップS101)。なお、画像表示装置100と鑑賞者との距離は厳密に測定しなくてもよく、大雑把な範囲(例えば、顔の位置が画像入力部104から2m50cm〜3mの距離に存在する等)で測定してもよい。
ステップS101における顔検出部152の判断の結果、予め定めた所定の距離より近ければ、制御の対象外として、ステップS101に戻り顔検出部152による判断処理を繰り返す。一方、ステップS101における顔検出部152の判断の結果、予め定めた所定の距離より遠ければ、続いて、画像表示装置100が設置されている部屋の明るさが所定の明るさに達しているかどうかを検出する(ステップS102)。所定の明るさに達しているかどうかの判断は、例えば、画像入力部104がCCDイメージセンサで構成されている場合に、CCDイメージセンサによって画像の平均値を取得する。そして、取得した画像の平均値が所定の値以上であるかどうかをCPU114によって判断してもよい。
本実施形態においては、上記ステップS102における部屋の明るさの結果、画像表示装置100が設置されている部屋の明るさが所定の明るさに達していないと判断した場合には、フリーカーソルモードへの移行は行わない。もちろん本発明においては、かかる例に限定されないことは言うまでもなく、画像表示装置100が設置されている部屋の明るさが所定の明るさに達していない場合であってもフリーカーソルモードへの移行処理を行ってもよい。また本発明においては、上記ステップS101の距離検出処理や、上記ステップS102の部屋の明るさを検出する処理そのものを省略してもよい。
ステップS102において部屋の明るさが所定の明るさに達しているかどうかを検出する処理を行うと、続いて画像入力部104から検出部106に画像を入力し(ステップS103)、検出部106に含まれるリモートコントローラ検出部156においてリモートコントローラ検出処理を実行する。本実施形態におけるリモートコントローラ検出処理は、画像入力部104から供給された画像の中から、画像表示装置100のユーザが操作しているリモートコントローラ200の赤外線発光部の位置を検出するものである。本実施形態における画像入力部104は、人間の目には見えないリモートコントローラ200の赤外線発光部を輝点として撮像することができる。そして、画像入力部104で撮像したリモートコントローラ200の赤外線発光部の位置をリモートコントローラ検出部156で検出するとともに、リモートコントローラ200の赤外線発光部の移動の軌跡を追跡することで、画像表示装置100をフリーカーソルモードに移行させることができる。
リモートコントローラ検出部156におけるリモートコントローラ検出処理の結果、リモートコントローラ200の赤外線発光部の位置をリモートコントローラ検出部156で検出できたかどうかを判定する(ステップS104)。ステップS104における判定の結果、リモートコントローラ200の赤外線発光部の位置をリモートコントローラ検出部156で検出できなかった場合には、ステップS101に戻り顔検出部152による判断処理を繰り返す。一方、ステップS104における判定の結果、リモートコントローラ200の赤外線発光部の位置をリモートコントローラ検出部156で検出できた場合には、画像表示装置100をフリーカーソルモードで動作させるよう制御する(ステップS105)。例えば、画像表示装置100をフリーカーソルモードで動作させるよう、CPU114で制御してもよい。
画像表示装置100がフリーカーソルモードとなると、画像入力部104が撮像した画像により、ある読み込みタイミングでのリモートコントローラ200の赤外線発光部の位置を検出する。その後、別の読み込みタイミングでのリモートコントローラ200の赤外線発光部の位置を検出し、リモートコントローラ200の赤外線発光部の位置の違いによって、リモートコントローラ検出部156はリモートコントローラ200の赤外線発光部の位置の移動を把握することができる。この赤外線発光部の位置の移動量に基づいて、表示パネル102に表示されるカーソルを移動させることで、パーソナルコンピュータ(PC)で用いられるマウスのように2次元でのポインティングが可能となる。
図5は、画像表示装置100がフリーカーソルモードとなり、リモートコントローラ200を手に持って移動させることで、表示パネル102に表示されたカーソルを移動させる場合について示す説明図である。図5では、ユーザが手に持ったリモートコントローラ200の赤外線発光部210を画像入力部104で撮像し、画像入力部104で撮像した画像に含まれる赤外線発光部210の位置をリモートコントローラ検出部156で検出することで、フリーカーソル機能を実現させている。そして、ユーザが手に持ったリモートコントローラ200を様々な方向に移動させることで、表示パネル102に表示されたカーソル(図示せず)も、リモートコントローラ200の動きに応じて移動させることができる。
リモートコントローラ200をユーザが手に持って動かした際の、表示パネル102に表示されたカーソル(図示せず)の移動量は、例えばユーザと画像入力部104と間の距離に応じて変化させてもよい。例えば、ユーザと画像入力部104との間の距離が遠くなればなるほど、リモートコントローラ200をユーザが手に持って動かした際のカーソルの移動量を小さくしてもよい。また、表示パネル102に表示されたカーソルの移動量は、ユーザの設定によって任意に変化できるようにしてもよい。
なお、画像表示装置100をフリーカーソルモードで動作させる際には、顔検出部152における顔検出処理における顔検出の結果を利用してもよい。例えば、顔検出部152によって顔検出処理を行って顔の範囲を特定すると、特定した顔の左右および下方向の所定の範囲内でのみ、リモートコントローラ200の赤外線発光部210を検出するようにフィルタリングしてもよい。例えば、顔検出部152によって顔検出処理を行って顔の範囲を特定すると、特定した顔の左右および下方向に対して50cmの範囲でのみ、リモートコントローラ200の赤外線発光部210を検出するようにフィルタリングしてもよい。このようにフィルタリングすることで、画像入力部104で撮像される画像の全ての範囲に対してリモートコントローラ検出処理を実行する必要がないので、より軽い処理で確実にフリーカーソル機能を実現することができる。
顔検出部152における顔検出処理における顔検出の結果を用いて、フリーカーソルモードで動作させる際のカーソルの初期位置(ホームポジション)や中央位置を設定してもよい。例えば、ユーザの顔の下30cm、右側20cmにリモートコントローラ200の赤外線発光部210が位置していた場合を、表示パネル102の中央をカーソルが指示しているものとして設定することができる。このように設定することにより、ユーザの自然な感覚に近い状態で、リモートコントローラ200を用いたフリーカーソル機能が実現できる。
また、リモートコントローラ200の赤外線発光部210をより確実に検出するために、リモートコントローラ200の赤外線発光部210における赤外線の発光パターンは、通常のリモートコントローラのコマンド伝送と異なる発光パターンで発光させるようにしてもよい。その際には、画像入力部104における読み込みのタイミングに合わせた発光パターン(例えば、画像入力部104における読み込みのフレームレートの整数倍のタイミングの速度)で点滅させるようにしてもよい。このように発光パターンを制御することにより、例えば画像入力部104の画像の取り込みが毎秒30回の場合、リモートコントローラ200の赤外線発光部210を15Hzで点滅させることにより、直前の画像との差分を取ることで、画像入力部104が取得した画像のノイズ成分が大きくても、リモートコントローラ200の赤外線発光部210を確実に抽出できる。また、この際の発光強度は、リモートコントローラのコマンド伝送のときより大きく設定するか、点滅の認識の程度にあわせて適応的に設定することが望ましい。このように発光強度を設定することで、確実な光源位置の特定と、小消費電力を両立することができる。
なお、フリーカーソルモードへ移行させるタイミングとしては、画像表示装置100のユーザが明示的に指示したタイミングであってもよく、画像表示装置100がインターネットその他の外部ネットワークと通信を開始し、表示パネル102に例えばインターネット上のウェブサイトが表示されたタイミングであってもよい。
〔2−2〕リモートコントローラのボタン表示制御の実現
図6は、本発明の一実施形態にかかる画像表示装置100の動作について説明する流れ図である。以下、図6を用いて本発明の一実施形態にかかる画像表示装置100の動作について説明する。
図6に示した流れ図は、画像入力部104で撮像され、画像入力部104から送られてくる画像からリモートコントローラ200を操作するユーザの顔を検出および認識し、認識されたユーザに応じたユーザインタフェースをリモートコントローラ200に表示させる場合について示したものである。
画像入力部104によって動画像が撮像されると、画像入力部104が撮像した動画像を顔検出部106で解析し、画像入力部104が撮像した動画像に占める人間の顔の面積から、画像表示装置100と人間との距離を測定する。そして、測定の結果、予め定めた所定の距離より近いかどうかを顔検出部152で判断する(ステップS111)。なお、画像表示装置100と鑑賞者との距離は厳密に測定しなくてもよく、大雑把な範囲(例えば、顔の位置が画像入力部104から2m50cm〜3mの距離に存在する等)で測定してもよい。
ステップS111における顔検出部152の判断の結果、予め定めた所定の距離より近ければ、制御の対象外として、ステップS111に戻り、顔検出部152による判断処理を繰り返す。一方、ステップS111における顔検出部152の判断の結果、予め定めた所定の距離より遠ければ、続いて、画像表示装置100が設置されている部屋の明るさが所定の明るさに達しているかどうかを検出する(ステップS112)。所定の明るさに達しているかどうかの判断は、例えば、画像入力部104がCCDイメージセンサで構成されている場合に、CCDイメージセンサによって画像の平均値を取得する。そして、取得した画像の平均値が所定の値以上であるかどうかをCPU114によって判断してもよい。
本実施形態においては、上記ステップS102における部屋の明るさの結果、画像表示装置100が設置されている部屋の明るさが所定の明るさに達していないと判断した場合には、リモートコントローラ200に対するユーザインタフェースの制御は行わない。もちろん本発明においては、かかる例に限定されないことは言うまでもなく、画像表示装置100が設置されている部屋の明るさが所定の明るさに達していない場合であってもリモートコントローラ200に対するユーザインタフェースの制御を行ってもよい。また本発明においては、上記ステップS101の距離検出処理や、上記ステップS102の部屋の明るさを検出する処理そのものを省略してもよい。
ステップS112において部屋の明るさが所定の明るさに達しているかどうかを検出する処理を行うと、続いて画像入力部104から検出部106に画像を入力し(ステップS113)、検出部106に含まれる顔検出部152において顔検出処理を実行し、顔検出処理の結果得られた顔の画像を用いて、顔認識部154でユーザの顔を認識する処理を実行する。
顔検出部152における顔検出処理や、顔認識部154における顔認識処理については、例えば特開2007−65766号公報や、特開2005−44330号公報に掲載されている技術を用いることができる。以下、顔検出処理について簡単に説明する。
画像から人間の顔を検出するには、まず供給された画像における顔の位置、顔の大きさ、顔の方向を、それぞれ検出する。顔の位置と大きさが検出されることにより、顔画像の部分を画像から切り出すことができる。そして切り出した顔画像と、顔の方向の情報とから、顔の特徴的な部分(顔特徴位置)、例えば、眉毛、目、鼻、口といった特徴的な部分を検出する。顔特徴位置の検出には、例えば、AAM(Active Appearance Models)と呼ばれる方法を適用して、特徴位置を検出するようにすることが可能である。AAMについては、以下の文献に記載がある。
T.F. Cootes, G.J.Edwards, and C.J.Taylor, "Active Appearance
Models",Proc.Fift
h European Conf. Computer Vision, H. Burkhardt and B. Neumann,eds, vol.2,
pp.484
-498, 1998
顔特徴位置を検出すると、検出した顔特徴位置のそれぞれに対して局所特徴量を算出する。局所特徴量を算出し、算出した局所特徴量を顔画像と併せて記憶しておくことで、画像入力部104から入力される画像から顔の識別が可能となる。顔の識別方法については、例えば特開2007−65766号公報、特開2005−44330号公報に掲載されている技術を用いることが出来るので、ここでは詳細な説明は省略する。また、顔画像や顔特徴位置によって、供給された画像に写っている顔が男性なのか女性なのか、また大人なのか子供なのかを判別することも可能である。また、顔特徴位置や局所特徴量の情報を保存しておき、画像入力部104から入力された画像に対する顔検出処理・顔認識処理の結果と照合することで、画像入力部104から入力された画像から人物の特定が可能となる。
上記ステップS113において画像入力部104から検出部106に画像を入力し、顔検出部152、顔認識部154でそれぞれ顔検出処理・顔認識処理を行った結果、人間の顔が検出および認識できたかどうかを判定する(ステップS114)。ステップS114における判定の結果、人間の顔が検出できなかったか、またはユーザを認識できなかった場合には、ステップS111に戻り、顔検出部152による判断処理を繰り返す。一方、ステップS114における判定の結果、人間の顔が検出でき、ユーザを認識できた場合には、認識できたユーザについてのリモートコントローラ200のボタン情報が画像表示装置100に登録されているかどうかを判断する(ステップS115)。
上記ステップS115における判断の結果、認識できたユーザについてのリモートコントローラ200のボタン情報が画像表示装置100に登録されていた場合には、登録されているボタン情報に基づいて、リモートコントローラ200に対してボタンを表示させる(ステップS116)。リモートコントローラ200に対してボタンを表示させるためには、例えば画像表示装置100から、ボタン情報が含まれた無線信号をリモートコントローラ200に送信し、リモートコントローラ200で無線信号を解析させることで行ってもよい。
ここで、リモートコントローラ200のボタン情報の画像表示装置100への登録方法の一例について説明する。リモートコントローラ200のボタン情報を画像表示装置100へ登録するには、例えばリモートコントローラ200のボタンを操作して画像入力部104に対して画像の撮像を開始させる。リモートコントローラ200のボタン情報を登録したいユーザは、画像入力部104が撮像可能な範囲に顔を移動して、画像入力部104の画像の撮像と合わせて、登録したいボタン情報をリモートコントローラ200から送信する。画像表示装置100では、画像入力部104で撮像した画像から顔認識部154で顔認識処理を行い、顔認識処理の結果と、リモートコントローラ200から送信されたボタン情報とを紐付けて、画像表示装置100の内部(例えば、フラッシュROM112)に格納する。このようにリモートコントローラ200のボタン情報を画像表示装置100へ登録することで、画像入力部104の撮像結果から、ユーザ毎のボタン情報を取得することができる。なお、本発明においてはボタン情報の画像表示装置100への登録はかかる例に限定されないことは言うまでもなく、例えばリモートコントローラ200や表示パネルに、例えば「むずかしい」「かんたん」といった情報を表示させ、「むずかしい」または「かんたん」のどちらかを選択することで、ボタン情報を画像表示装置100の内部に格納してもよい。
一方、上記ステップS115における判断の結果、認識できたユーザについてのリモートコントローラ200のボタン情報が画像表示装置100に登録されていなかった場合には、リモートコントローラ200に対して、リモートコントローラ200に予め登録されているデフォルトのボタンを表示させる(ステップS117)。リモートコントローラ200に対して、リモートコントローラ200に予め登録されているデフォルトのボタンを表示させるためには、例えば画像表示装置100から、ボタン情報が含まれた無線信号をリモートコントローラ200に送信し、リモートコントローラ200で無線信号を解析させることで行ってもよい。
図7および図8は、リモートコントローラ200が表示するボタンを、認識したユーザによって変化させた場合について示す説明図である。図7は、リモートコントローラ200に、チャンネルの選局ボタンや音量調整ボタン等の基本的な機能を実行するためのボタン以外に様々な機能を実行するためのボタンを表示した場合について示したものである。チャンネルの選局ボタン以外のボタンとしては、例えば番組の録画予約ボタン、番組の視聴予約ボタン、録画した番組の再生ボタン・早送りボタン・早戻しボタン・停止ボタン・一時停止ボタン、放送波の切り替えボタン等を表示してもよい。一方、図8は、リモートコントローラ200に、チャンネルの選局ボタンや音量調整ボタン等の基本的な機能を実行するためのボタンのみを表示した場合について示したものである。図8に示した、チャンネルの選局ボタンや音量調整ボタン等の基本的な機能を実行するためのボタンのみの表示を、上記ステップS115における判断の結果、認識できたユーザについてのリモートコントローラ200のボタン情報が画像表示装置100に登録されていなかった場合に表示するデフォルトのボタンとしてもよい。
このように、画像入力部104で画像を撮像し、撮像された画像に含まれる人間の顔を検出部106において検出および認識し、認識結果を用いることで、リモートコントローラ200に表示するボタンを変化させることができる。また、ユーザは画像表示装置100の前に座るだけで、ユーザIDその他の識別番号や、指紋認証その他の生体認証を行うことなく、ユーザに応じたボタンがリモートコントローラ200に表示されるので、面倒な入力動作や不要になるだけでなく、生体認証のためのデバイスをリモートコントローラ200に備える必要も無い。
なお、顔認識部154において複数の人物の顔を認識した場合には、さらに、リモートコントローラ200の赤外線発光部210から赤外線信号を発光させ、リモートコントローラ検出部156でリモートコントローラ200の赤外線発光部210の位置を検出し、検出した赤外線発光部210の位置を用いてリモートコントローラ200のボタン表示を制御してもよい。例えば、顔認識部154において複数の人物の顔を認識した場合には、リモートコントローラ200の赤外線発光部210から赤外線信号を発光させ、リモートコントローラ検出部156でリモートコントローラ200の赤外線発光部210の位置を検出するようにしてもよい。そして、赤外線発光部210の位置に最も近い顔の人物をリモートコントローラ200のユーザと推定して、リモートコントローラ200のボタン表示を制御してもよい。なお、消費電力の低減化の観点から、リモートコントローラ200の赤外線発光部210から赤外線信号を発光させ、リモートコントローラ検出部156でリモートコントローラ200の赤外線発光部210の位置を検出する動作は、顔認識部154において複数の人物の顔を認識した場合に限ることが望ましい。
以上、図6を用いて本発明の一実施形態にかかる画像表示装置100の動作について説明した。なお、上述した本発明の一実施形態にかかる画像表示装置100の動作については、画像表示装置100の内部(例えば、図示しないROMその他の記録手段)に格納されたコンピュータプログラムを、CPU114が読み出して順次実行し、画像表示装置100の各部を制御することによって行われるようにしてもよい。
〔3〕まとめ
以上説明したように、本発明の一実施形態によれば、画像表示装置100に備えられた画像入力部104において画像を撮像し、撮像した画像から、リモートコントローラ200の赤外線発光部210の位置や、リモートコントローラ200を操作するユーザの顔を検出することで、リモートコントローラ200にフリーカーソル機能その他の機能を実現させることができる。また、撮像した画像から、リモートコントローラ200を操作するユーザの顔を検出・認識することで、リモートコントローラ200に表示されるユーザインタフェース画面の切り替えを、画像表示装置100から制御することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、リモートコントローラ検出部156は赤外線発光部210で発光される赤外線信号を検出することでリモートコントローラ200の位置を検出したが、本発明はかかる例に限定されない。例えば、リモートコントローラ200に可視光を発光させて、リモートコントローラ200が発光した可視光を検出することでリモートコントローラ200の位置を検出してもよい。
また例えば、リモートコントローラ200の形状を画像入力部104で撮像することで予め画像表示装置100に認識させ、認識したリモートコントローラ200の形状の情報を用いて、リモートコントローラ200の位置を検出してもよい。また例えば、リモートコントローラ200を設置する台のようなものがあれば、その台の位置や形状を予め画像表示装置100に認識させ、認識した台の位置や形状の情報を用いてリモートコントローラ200の位置を検出してもよい。また、リモートコントローラ200を持っている鑑賞者の腕の位置を、画像入力部104で撮像された画像から検出部106で検出することにより、リモートコントローラ200の位置を特定するようにしてもよい。
また例えば、上記実施形態では、顔認識部154でユーザの顔を認識し、顔認識結果を用いてリモートコントローラ200に表示されるボタンを変化させる場合について説明したが、顔認識結果を用いて、リモートコントローラ200に表示されるボタンだけでなく、表示パネル102に表示されるユーザインタフェースも合わせて変化させてもよい。
また例えば、上記実施形態では、顔認識部154でユーザの顔を認識し、顔認識結果を用いてリモートコントローラ200に表示されるボタンを変化させる場合について説明したが、ボタン以外にも、認識したユーザにカスタマイズされた画面をリモートコントローラ200に表示させてもよい。例えば、認識したユーザのコンテンツの視聴状況をCPU114で解析し、認識したユーザに対して視聴を推薦するコンテンツに関する情報(例えば、コンテンツのタイトル、放送時間、再生時間、出演者その他の情報)をリモートコントローラ200や表示パネル102に表示させてもよい。また、リモートコントローラ200がインターネットその他の外部ネットワークに接続可能であれば、認識したユーザに応じたインターネット上のページ(例えば、認識したユーザがホームページとして設定したページや、オンラインショッピングのページ等)をリモートコントローラ200や表示パネル102表示させてもよい。
また例えば、顔検出部152や顔認識部154では、画像入力部104から送られてくる画像に含まれる人間の顔が、所定の時間以上同じ位置にあって移動しない場合には、その顔は人間の顔とはみなさないようにしてもよい。このように顔検出部152や顔認識部154で処理することにより、ポスターや写真等に写っている人間を誤って検出・認識することが無い。
本発明は、画像表示装置および検出方法に適用可能である。
本発明の一実施形態にかかる画像表示装置100の外観について説明する説明図である。 本発明の一実施形態にかかる画像表示装置100の構成について示す説明図である。 本発明の一実施形態にかかる画像表示装置100に含まれる、検出部106の構成について説明する説明図である。 本発明の一実施形態にかかる画像表示装置100の動作について説明する流れ図である。 フリーカーソルモードについて説明する説明図である。 本発明の一実施形態にかかる画像表示装置100の動作について説明する流れ図である。 リモートコントローラ200が表示するボタンを、認識したユーザによって変化させた場合について示す説明図である。 リモートコントローラ200が表示するボタンを、認識したユーザによって変化させた場合について示す説明図である。
符号の説明
100 画像表示装置
102 表示パネル
104 画像入力部
106 検出部
108 電力制御部
110 SDRAM
112 フラッシュROM
114 CPU
116 リモートコントローラ受光部
118 ネットワークI/F
120 ネットワーク端子
122 地上波チューナー
124 デジタルチューナー
126 音声A/D変換回路
128 ビデオデコーダ
130 MPEGデコーダ
132 音声信号処理回路
134 映像信号処理回路
136 HDMIレシーバ
138 HDMI端子
140 音声増幅回路
142 スピーカ
144 グラフィック生成回路
146 パネル駆動回路
152 顔検出部
154 顔認識部
156 リモートコントローラ検出部
200 リモートコントローラ
210 赤外線発光部

Claims (12)

  1. 静止画像または動画像を表示する画像表示部と、
    前記画像表示部が静止画像または動画像を表示している方向の撮影を行う撮像部と、
    前記撮像部で撮影した画像に含まれ、ユーザが操作する遠隔操作装置の発光部を検出するとともに、前記撮影した画像内での前記発光部の移動量を検出する検出部と、
    前記検出部により検出された前記発光部の移動量に応じて、前記画像表示部に表示される指示部の移動量を制御する制御部と、
    を備え、
    前記検出部は、前記撮像部で撮影した画像に含まれる鑑賞者の顔を検出し、検出した顔の位置から所定の距離の範囲内でのみ前記発光部を検出する、画像表示装置。
  2. 前記制御部は、前記発光部の発光周期を前記撮像部の撮像周期の整数倍に制御する、請求項1に記載の画像表示装置。
  3. 前記制御部は、前記検出部で前記発光部を検出する場合には前記発光部の発光強度を変化させる、請求項1に記載の画像表示装置。
  4. 前記制御部は、前記ユーザと前記撮像部との間の距離に応じて前記指示部の移動量を制御する、請求項1に記載の画像表示装置。
  5. 静止画像または動画像を表示する画像表示部と、
    前記画像表示部が静止画像または動画像を表示している方向の撮影を行う撮像部と、
    前記撮像部で撮影した画像に含まれ、ユーザが操作する遠隔操作装置の発光部を検出するとともに、前記撮影した画像内での前記発光部の移動量を検出する検出部と、
    前記検出部により検出された前記発光部の移動量に応じて、前記画像表示部に表示される指示部の移動量を制御する制御部と、
    を備え、
    前記検出部は、前記撮像部で撮影した画像に含まれる鑑賞者の顔を検出し、検出した顔の位置から所定の距離の範囲内でのみ前記発光部を検出し、
    前記制御部は、前記検出部が検出した顔の位置から所定の距離の位置に前記発光部が位置していることを前記検出部が検出した場合に、前記画像表示部の中央に前記指示部を位置させる、画像表示装置。
  6. 静止画像または動画像を表示する画像表示部と、
    前記画像表示部が静止画像または動画像を表示している方向の撮影を行う撮像部と、
    前記撮像部で撮影した画像に含まれ、ユーザが操作する遠隔操作装置の発光部を検出するとともに、前記撮影した画像内での前記発光部の移動量を検出する検出部と、
    前記検出部により検出された前記発光部の移動量に応じて、前記画像表示部に表示される指示部の移動量を制御する制御部と、
    を備え、
    前記検出部は、前記撮像部で撮影した画像に含まれる鑑賞者の顔を検出し、検出した顔の位置から所定の距離の範囲内でのみ前記発光部を検出し、
    前記制御部は、前記検出部の検出結果を用いて前記遠隔操作装置の動作を制御する、画像表示装置。
  7. 前記制御部は、前記検出部の検出結果を用いて、前記遠隔操作装置のボタン表示を制御する、請求項6に記載の画像表示装置。
  8. 前記制御部は、前記検出部が複数の鑑賞者の顔を検出した場合に、前記検出部が検出した前記発光部の検出結果を用いて前記遠隔操作装置を操作する人物を推定する、請求項6に記載の画像表示装置。
  9. 前記制御部は、前記検出部が鑑賞者の顔を検出した場合に、前記発光部に対して発光を指示する、請求項6に記載の画像表示装置。
  10. 静止画像または動画像を表示する画像表示部が静止画像または動画像を表示している方向の撮影を行う撮像ステップと、
    前記撮像ステップで撮影した画像に含まれ、ユーザが操作する遠隔操作装置の発光部を検出するするとともに、前記撮影した画像内での前記発光部の移動量を検出する検出ステップと、
    前記検出ステップにより検出された前記発光部の移動量に応じて前記画像表示部に表示される指示部の移動量を制御する制御ステップと、
    を備え、
    前記検出ステップは、前記撮像ステップで撮影した画像に含まれる鑑賞者の顔を検出し、検出した顔の位置から所定の距離の範囲内でのみ前記発光部を検出する、検出方法。
  11. 静止画像または動画像を表示する画像表示部が静止画像または動画像を表示している方向の撮影を行う撮像ステップと、
    前記撮像ステップで撮影した画像に含まれ、ユーザが操作する遠隔操作装置の発光部を検出するするとともに、前記撮影した画像内での前記発光部の移動量を検出する検出ステップと、
    前記検出ステップにより検出された前記発光部の移動量に応じて前記画像表示部に表示される指示部の移動量を制御する制御ステップと、
    を備え、
    前記検出ステップは、前記撮像ステップで撮影した画像に含まれる鑑賞者の顔を検出し、検出した顔の位置から所定の距離の範囲内でのみ前記発光部を検出し、
    前記制御ステップは、前記検出ステップが検出した顔の位置から所定の距離の位置に前記発光部が位置していることを前記検出ステップが検出した場合に、前記画像表示部の中央に前記指示部を位置させる、検出方法。
  12. 静止画像または動画像を表示する画像表示部が静止画像または動画像を表示している方向の撮影を行う撮像ステップと、
    前記撮像ステップで撮影した画像に含まれ、ユーザが操作する遠隔操作装置の発光部を検出するするとともに、前記撮影した画像内での前記発光部の移動量を検出する検出ステップと、
    前記検出ステップにより検出された前記発光部の移動量に応じて前記画像表示部に表示される指示部の移動量を制御する制御ステップと、
    を備え、
    前記検出ステップは、前記撮像ステップで撮影した画像に含まれる鑑賞者の顔を検出し、検出した顔の位置から所定の距離の範囲内でのみ前記発光部を検出し、
    前記制御ステップは、前記検出ステップの検出結果を用いて前記遠隔操作装置の動作を制御する、検出方法。
JP2008234508A 2008-09-12 2008-09-12 画像表示装置および検出方法 Active JP4697279B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008234508A JP4697279B2 (ja) 2008-09-12 2008-09-12 画像表示装置および検出方法
US12/584,851 US8675136B2 (en) 2008-09-12 2009-09-11 Image display apparatus and detection method
CN2009101731874A CN101674435B (zh) 2008-09-12 2009-09-14 图像显示设备和检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008234508A JP4697279B2 (ja) 2008-09-12 2008-09-12 画像表示装置および検出方法

Publications (2)

Publication Number Publication Date
JP2010068385A JP2010068385A (ja) 2010-03-25
JP4697279B2 true JP4697279B2 (ja) 2011-06-08

Family

ID=42006865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008234508A Active JP4697279B2 (ja) 2008-09-12 2008-09-12 画像表示装置および検出方法

Country Status (3)

Country Link
US (1) US8675136B2 (ja)
JP (1) JP4697279B2 (ja)
CN (1) CN101674435B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
KR101409951B1 (ko) 2010-08-17 2014-07-02 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 원격 디스플레이 제어
JP5703120B2 (ja) * 2011-05-11 2015-04-15 日本放送協会 テレビジョン視聴支援装置
JP2012242948A (ja) * 2011-05-17 2012-12-10 Sony Corp 表示制御装置および方法、並びにプログラム
JP5143262B1 (ja) * 2011-08-30 2013-02-13 株式会社東芝 立体映像処理装置、立体映像処理方法
JP5087163B1 (ja) * 2011-08-31 2012-11-28 株式会社東芝 立体画像表示装置
JP5127972B1 (ja) * 2011-09-30 2013-01-23 株式会社東芝 電子機器、電子機器の制御方法
JP2013081177A (ja) * 2012-10-18 2013-05-02 Toshiba Corp 電子機器、電子機器の制御方法
CN103019374A (zh) * 2012-11-20 2013-04-03 四川虹微技术有限公司 一种基于对象跟踪的远程控制系统
KR20150137452A (ko) * 2014-05-29 2015-12-09 삼성전자주식회사 디스플레이 장치 제어 방법 및 이를 위한 원격 제어 장치
US20160154481A1 (en) * 2014-12-02 2016-06-02 Comcast Cable Communications, Llc Intelligent illumination of controllers
KR102674490B1 (ko) * 2016-11-04 2024-06-13 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10057934B2 (en) * 2016-12-16 2018-08-21 Logitech Europe S.A. Automatic selection of a wireless connectivity protocol for an input device
CN109803450A (zh) * 2018-12-12 2019-05-24 平安科技(深圳)有限公司 无线设备与电脑连接方法、电子装置及存储介质
JP2021022182A (ja) * 2019-07-29 2021-02-18 株式会社電通グループ 表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096890A (ja) * 2005-09-29 2007-04-12 Funai Electric Co Ltd テレビジョン受信装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03181295A (ja) * 1989-12-08 1991-08-07 Fujitsu Ten Ltd 双方向通信リモートコントローラ
US5448261A (en) * 1992-06-12 1995-09-05 Sanyo Electric Co., Ltd. Cursor control device
JP4284788B2 (ja) * 1999-10-29 2009-06-24 ソニー株式会社 遠隔操作制御装置及び被制御機器並びに遠隔操作制御方法
JP2001245233A (ja) * 2000-02-28 2001-09-07 Pioneer Electronic Corp 番組ガイド表示装置及び表示方法
US6724368B2 (en) * 2001-12-14 2004-04-20 Koninklijke Philips Electronics N.V. Remote control system and method for a television receiver
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
US7325771B2 (en) 2004-09-23 2008-02-05 The Boeing Company Splice joints for composite aircraft fuselages and other structures
WO2007013652A1 (ja) * 2005-07-29 2007-02-01 Pioneer Corporation 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム
JP4595750B2 (ja) * 2005-08-29 2010-12-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2007088835A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 機器制御装置
US20070080940A1 (en) * 2005-10-07 2007-04-12 Sharp Kabushiki Kaisha Remote control system, and display device and electronic device using the remote control system
JP2007104567A (ja) 2005-10-07 2007-04-19 Sharp Corp 電子機器
US7379078B1 (en) * 2005-10-26 2008-05-27 Hewlett-Packard Development Company, L.P. Controlling text symbol display size on a display using a remote control device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096890A (ja) * 2005-09-29 2007-04-12 Funai Electric Co Ltd テレビジョン受信装置

Also Published As

Publication number Publication date
US8675136B2 (en) 2014-03-18
US20100066855A1 (en) 2010-03-18
CN101674435A (zh) 2010-03-17
JP2010068385A (ja) 2010-03-25
CN101674435B (zh) 2012-03-14

Similar Documents

Publication Publication Date Title
JP4697279B2 (ja) 画像表示装置および検出方法
JP5976035B2 (ja) 画像表示装置および制御方法
JP5263092B2 (ja) 表示装置および制御方法
JP5418093B2 (ja) 表示装置および制御方法
JP2010134629A (ja) 情報処理装置および情報処理方法
KR20120051209A (ko) 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
KR20120051212A (ko) 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
TW201344597A (zh) 顯示裝置控制方法、控制器及多媒體系統
JP2010079332A (ja) 遠隔操作装置及び遠隔操作方法
EP3537721A1 (en) Time-shift control method and system for television, and computer readable storage medium
US20120062768A1 (en) Image capturing apparatus and image capturing method
WO2011118836A1 (ja) 表示装置、テレビジョン受像機、表示装置の制御方法、遠隔操作装置、遠隔操作装置の制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
KR20130076977A (ko) 방송 수신 장치 및 그 제어 방법
JP2008277983A (ja) テレビジョン受像機
JP2011239029A (ja) 映像表示装置、省電力制御装置、及び省電力方法
JP2010238145A (ja) 情報出力装置、遠隔制御方法、及びプログラム
KR20150008769A (ko) 영상표시장치 및 그 동작방법
KR100843586B1 (ko) 무접점 기능을 수행하는 장치 및 방법
KR101227875B1 (ko) 사용자 동작 기반 디스플레이 장치
KR101314685B1 (ko) 촬영부를 구비한 디스플레이 장치 및 이를 제어하는 리모콘, 그 디스플레이 제어 방법
JP5430381B2 (ja) 携帯端末を用いた表示機器操作システム
JP5720758B2 (ja) 表示装置および制御方法
JP2007251307A (ja) 音声出力装置及びテレビジョン受像機
KR20010090801A (ko) 원격리모콘마우스를 통한 원격제어 방법 및 그 장치
JP3864420B2 (ja) テレビジョン受像機

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110214

R151 Written notification of patent or utility model registration

Ref document number: 4697279

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250