WO2012070161A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2012070161A1
WO2012070161A1 PCT/JP2011/000886 JP2011000886W WO2012070161A1 WO 2012070161 A1 WO2012070161 A1 WO 2012070161A1 JP 2011000886 W JP2011000886 W JP 2011000886W WO 2012070161 A1 WO2012070161 A1 WO 2012070161A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
movement
control unit
information
information processing
Prior art date
Application number
PCT/JP2011/000886
Other languages
English (en)
French (fr)
Inventor
祥史 秋田
拓眞 増田
和也 岡部
慎一 張替
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/988,635 priority Critical patent/US8891025B2/en
Publication of WO2012070161A1 publication Critical patent/WO2012070161A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Definitions

  • the present invention relates to an information processing apparatus that recognizes the movement of a hand as a gesture using a non-contact sensor and can be operated based on the gesture that is the recognition result.
  • an information processing apparatus that can be operated by a gesture operates a hand toward a video camera, recognizes the movement and shape of the hand from an image input to the video camera, and controls a control target apparatus based on the recognition result. Things are known.
  • Patent Document 1 discloses an interface device that recognizes the movement and shape of a hand input from a video camera and performs an operation while checking a gesture display list displayed together with a menu screen.
  • the conventional information processing apparatus has a problem that there is no feedback on the gesture operation by the user and the operation feeling is lacking.
  • an object of the present invention is to provide an information processing apparatus with a feeling of operation by displaying a feedback screen for an operation by a gesture in order to solve the above-described conventional problems.
  • An information processing apparatus is an information processing apparatus that performs a corresponding operation by receiving an operation instruction based on a hand movement, and includes a detection unit that detects a hand movement, and a hand movement detected by the detection unit.
  • a control unit that displays information corresponding to the display, and when the control unit detects a hand for the first time by the detection unit, whether the movement of the hand is detected by the detection unit within a predetermined time thereafter Depending on how, different processing is performed.
  • FIG. 1 It is a block diagram which shows one Embodiment of the information processing apparatus of this invention. It is a top view of the display part of the information processing apparatus shown in FIG. It is a figure which shows an example of a "fixed” gesture. It is a figure which shows an example of a "movement” gesture.
  • A) And (b) is a figure which shows an example of the feedback screen at the time of infrared sensor reaction.
  • A) And (b) is a figure which shows an example of the feedback screen of a "movement” gesture.
  • A) And (b) is a figure which shows the case where the feedback screen of "movement" differs from the time of infrared sensor reaction. It is a figure which shows an example of the feedback screen of a "fixed” gesture.
  • A) And (b) is a figure which shows a volume change process.
  • A) And (b) is a figure which shows a channel tuning process.
  • FIG. 1 shows a block diagram of an embodiment of an information processing apparatus according to the present invention.
  • the information processing apparatus 11 includes a gesture detection unit (detection unit) 101, a device control unit (control unit) 102, a display (display unit) 103, a tuner 104, and a speaker 105.
  • FIG. 2 shows a plan view of the display 103.
  • the display 103 includes a display area 103b and a frame 103a located around the display area 103b.
  • the gesture detection unit 101 detects a hand and a hand movement.
  • the gesture detection unit 101 includes, for example, two infrared LEDs 106L and 106R and one infrared sensor 107 as shown in FIG.
  • the two infrared LEDs 106L and 106R and the infrared sensor 107 are arranged, for example, in an upper part of the display area 103b of the frame 103a. More specifically, the two infrared LEDs 106L and 106R are provided at the first position 103L and the second position 103R that are slightly inside the corner 103c of the frame 103a.
  • the infrared sensor 107 is provided approximately in the middle between the first position 103L and the second position 103R.
  • the first position 103L and the second position 103R are slightly inside the corner 103c of the frame 103a, but the first and second positions may be the corner 103c of the frame 103a.
  • the infrared LED 106L at the first position 103L may be referred to as the left infrared LED 106L
  • the infrared LED 106R at the second position 103R may be referred to as the right infrared LED 106R.
  • the infrared rays emitted from the two infrared LEDs 106L and 106R are shielded and reflected by the hand, and are incident on the infrared sensor 107 disposed between the two infrared LEDs 106L and 106R. Based on the information of the infrared rays incident on the infrared sensor 107, hand detection, hand position and movement are detected. For example, the left infrared LED 106L and the right infrared LED 106R are caused to emit light with signals having different phases, periods, and pulse timings.
  • the infrared sensor 107 can distinguish and detect the infrared rays emitted from the left infrared LED 106L and reflected by the hand, and the infrared rays emitted from the right infrared LED 106R and reflected by the hand. Therefore, it can be detected whether the hand is fixed (stationary) at the first position 103L or fixed at the second position 103R. Further, when the hand is moved between the first position 103L and the second position 103R, infrared rays from one of the left infrared LED 106L and the right infrared LED 106R are detected, and then infrared rays from both are detected.
  • the infrared rays from the other are detected.
  • the hand is not held between the first position 103L and the second position 103R and the hand is detected. Not done.
  • the gesture detection unit 101 outputs a signal indicating these detections to the device control unit 102.
  • the gesture detection unit 101 can detect the presence, position, and movement of a hand within a range of about 5 cm to 15 cm from the surface of the frame 103a, for example.
  • the detection is performed, for example, at regular time intervals, for example, at intervals of 10 milliseconds to 100 milliseconds. It is preferable that the gesture detection unit 101 performs the above-described hand detection in a state where the hand is not in contact with the frame 103a.
  • the device control unit 102 determines which of the two types of gestures “fixed” (stationary) and “moving” is based on the position and movement of the hand detected by the gesture detection unit 101. To do. Further, while the gesture detection unit 101 detects the hand, information indicating hand detection is displayed on the display area 103b of the display 103, and in response to the movement of the hand within a predetermined time from the start of the hand detection. Information is displayed on the display area 103b, and the tuner 104, which is the target device, is controlled according to the movement of the hand.
  • the display 103 displays a video signal received by a tuner 104 to be described later, and information related to a gesture determined by the device control unit 102.
  • the information processing apparatus 11 includes the display 103 as a component, but the display 103 may be an external device connected to the information processing apparatus.
  • the tuner 104 receives a video signal and an audio signal and processes them by the apparatus control unit 102, thereby outputting the video signal to the display 103 and outputting the audio signal to the speaker 105.
  • the tuner 104 is included as a target device to be controlled by the device control unit 102.
  • a player that plays back content stored in a disc such as a DVD or a BD or an SD card is the target device. There may be.
  • the information processing apparatus 11 may further include other input devices such as a remote controller, a keyboard, a touch panel, and a mouse in order to operate the information processing apparatus 11 in detail by a method other than a manual operation.
  • input devices such as a remote controller, a keyboard, a touch panel, and a mouse
  • the information processing apparatus 11 handles the following two gestures.
  • FIG. 3 shows hand movements in a “fixed” gesture.
  • the movement of the hand is regarded as a “fixed” gesture.
  • the volume up operation is performed so as to increase the volume output from the speaker 105.
  • the time for determining the “fixed” gesture is 1 second, but the present invention is not limited to this.
  • FIG. 4 shows the movement of the hand in the “Move” gesture.
  • the movement of the hand is regarded as a “move” gesture.
  • FIG. 10A when the user moves his / her hand from the left infrared LED 106L to the right infrared LED 106R while viewing a television broadcast, for example, the next currently being viewed in the direction in which the channel number increases. Select a channel.
  • FIG. 10B when the hand is moved from the right infrared LED 106R to the left infrared LED 106L, for example, in the direction opposite to the direction in which the channel number increases, that is, in the direction in which the channel number decreases. Select the previous (next) channel you are currently watching.
  • the gesture detection unit 101 performs “right detection”, “left detection”, “movement from left to right”, and “movement from right to left” according to the movement of the hand. , One of the five sensor events “not detected” is issued.
  • the device control unit 102 can recognize the movement of the hand performed by the user by receiving these sensor events.
  • the gesture determination method is described as an event processing method. However, the processing method is not limited to the event method, and a state saving method may be used.
  • the gesture detection unit 101 issues a “right detection” sensor event to the device control unit 102 when detecting that the user's hand is held over the right infrared LED 106R.
  • the apparatus control unit 102 determines that the user's hand is fixed by the right infrared LED 106R when no other sensor event is received for a predetermined time, for example, 1 second or more after receiving the “right detection” sensor event. To do. In the present embodiment, as an operation corresponding to the fixation, processing for increasing the volume of the speaker 105 is performed. Furthermore, the apparatus control unit 102 repeats the operation corresponding to the fixing with the right-side infrared LED 106R every predetermined time, for example, every second, until the “undetected” sensor event is received from the gesture detection unit. That is, the volume of the speaker 105 is continuously increased.
  • the gesture detection unit 101 issues a “move from left to right” sensor event to the device control unit 102.
  • the device control unit 102 determines that the hand has been moved to the right-side infrared LED 106R, the channel tuning not intended by the user is performed even though the user is performing processing related to the volume with the gesture. It will be broken.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

　本発明の情報処理装置は、手の動きによる操作指示を受け付けることによって、対応する動作を行う情報処理装置であって、手の動きを検出する検出部と、前記検出部で検出した手の動きに応じた情報をディスプレイに表示する制御部とを備え、前記制御部は、前記検出部で最初に手を検出した場合、その後一定時間内に、前記検出部で手の動きを検出されたかどうかで、異なる処理を行う。

Description

情報処理装置
　本発明は、非接触センサーを使って手の動作をジェスチャーとして認識し、その認識結果であるジェスチャーに基づき操作可能な情報処理装置に関するものである。
　従来、ジェスチャーで操作可能な情報処理装置は、ビデオカメラに向かって手を操作して、ビデオカメラに入力された映像から手の移動と形状を認識し、その認識結果によって制御対象装置を制御するものが知られている。
　特許文献１は、ビデオカメラから入力された手の移動と形状を認識し、メニュー画面とともに表示されるジェスチャー表示一覧を確認しながら操作を行うインターフェース装置を開示している。
特開２００８－０５２５９０号公報
　しかしながら、従来の情報処理装置は、ユーザーによるジェスチャー操作に対するフィードバックがなく、操作感に欠けるという問題があった。
　そこで、本発明は、上記従来の問題点を解決すべく、ジェスチャーによる操作に対してフィードバック画面を表示することで、操作感のある情報処理装置を提供することを目的とする。
　本発明の情報処理装置は、手の動きによる操作指示を受け付けることによって、対応する動作を行う情報処理装置であって、手の動きを検出する検出部と、前記検出部で検出した手の動きに応じた情報をディスプレイに表示する制御部とを備え、前記制御部は、前記検出部で最初に手を検出したときに、その後一定時間内に、前記検出部で手の動きを検出されたかどうかで、異なる処理を行う。
　このような構成をとることにより、ジェスチャー操作に対するフィードバックをユーザーに与えることで、より操作感のあるジェスチャー操作を可能にするという作用を有する。
　上記の構成によれば、フィードバック画面を表示することによって、操作感のあるジェスチャー操作を可能にする情報処理装置を提供できる。
本発明の情報処理装置の一実施形態を示すブロック図である。 図１に示す情報処理装置のディスプレイ部分の平面図である。 「固定」ジェスチャーの一例を示す図である。 「移動」ジェスチャーの一例を示す図である。 （ａ）および（ｂ）は、赤外線センサー反応時のフィードバック画面の一例を示す図である。 （ａ）および（ｂ）は、「移動」ジェスチャーのフィードバック画面の一例を示す図である。 （ａ）および（ｂ）は、赤外線センサー反応時と「移動」のフィードバック画面が異なる場合を示す図である。 「固定」ジェスチャーのフィードバック画面の一例を示す図である。 （ａ）および（ｂ）は、音量変更処理を示す図である。 （ａ）および（ｂ）は、チャンネル選局処理を示す図である。
　以下、図面を参照しながら、本発明による情報処理装置の実施形態を説明する。
　図１は、本発明による情報処理装置の一実施形態のブロック図を示す。情報処理装置１１は、ジェスチャー検知部（検出部）１０１と、装置制御部（制御部）１０２と、ディスプレイ（表示部）１０３と、チューナー１０４と、スピーカー１０５とを備える。
　図２は、ディスプレイ１０３の平面図を示している。ディスプレイ１０３は、表示領域１０３ｂと表示領域１０３ｂの周囲に位置する額縁１０３ａとを含む。
　ジェスチャー検知部１０１は、手の検出および手の動きの検出を行う。このために、ジェスチャー検知部１０１は、図２に示すように、例えば２つの赤外線ＬＥＤ１０６Ｌ、１０６Ｒと１つの赤外線センサー１０７を含む。２つの赤外線ＬＥＤ１０６Ｌ、１０６Ｒおよび赤外線センサー１０７は、例えば、額縁１０３ａの表示領域１０３ｂの上方部分に配置される。より具体的には、２つの赤外線ＬＥＤ１０６Ｌ、１０６Ｒは、額縁１０３ａの角１０３ｃより少し内側である第１の位置１０３Ｌおよび第２の位置１０３Ｒに設けられている。赤外線センサー１０７は第１の位置１０３Ｌおよび第２の位置１０３Ｒのほぼ中間に設けられている。本実施形態では、第１の位置１０３Ｌおよび第２の位置１０３Ｒは、額縁１０３ａの角１０３ｃより少し内側であるが、第１および第２の位置は額縁１０３ａの角１０３ｃであってもよい。以下、第１の位置１０３Ｌにある赤外線ＬＥＤ１０６Ｌを左側の赤外線ＬＥＤ１０６Ｌ、第２の位置１０３Ｒにある赤外線ＬＥＤ１０６Ｒを右側の赤外線ＬＥＤ１０６Ｒと呼ぶ場合がある。
　２つの赤外線ＬＥＤ１０６Ｌ、１０６Ｒから射出された赤外線は、手で遮られて反射し、２つの赤外線ＬＥＤ１０６Ｌ、１０６Ｒの中間に配置された赤外線センサー１０７に入射する。赤外線センサー１０７に入射した赤外線の情報をもとに、手の検出、手の位置および動きを検出する。例えば、左側の赤外線ＬＥＤ１０６Ｌおよび右側の赤外線ＬＥＤ１０６Ｒを互いに異なる位相や周期、パルスタイミングの信号で発光させる。これにより、赤外線センサー１０７は、左側の赤外線ＬＥＤ１０６Ｌから出射し、手で反射した赤外線と、右側の赤外線ＬＥＤ１０６Ｒから出射し、手で反射した赤外線とを区別して検出することができる。このため、手が、第１の位置１０３Ｌにおいて固定（静止）しているか、第２の位置１０３Ｒにおいて固定しているかを検出できる。また、手を第１の位置１０３Ｌと第２の位置１０３Ｒとの間で移動させた場合、左側の赤外線ＬＥＤ１０６Ｌおよび右側の赤外線ＬＥＤ１０６Ｒの一方からの赤外線が検出され、次に両方からの赤外線が検出された後、他方からの赤外線が検出される。一方、左側の赤外線ＬＥＤ１０６Ｌからの赤外線および右側の赤外線ＬＥＤ１０６Ｒからの赤外線のいずれも検出しない場合、手が第１の位置１０３Ｌおよび第２の位置１０３Ｒならびその間にはかざされておらず、手を検出していない。ジェスチャー検知部１０１は、これらの検出を示す信号を装置制御部１０２へ出力する。
　ジェスチャー検知部１０１は、例えば、額縁１０３ａの表面から５ｃｍ～１５ｃｍ程度の範囲にある手の存在、位置および動きを検出することができる。検出は、例えば、一定の時間間隔、例えば、１０ミリ秒～１００ミリ秒間隔で行われる。ジェスチャー検知部１０１は、手が額縁１０３ａと非接触の状態で上述した手の検知を行うことが好ましい。
　装置制御部１０２は、以下において詳細に説明するように、ジェスチャー検知部１０１で検出した手の位置と動きから「固定」（静止）と「移動」の２種類のジェスチャーのいずれであるのかを判定する。また、ジェスチャー検知部１０１が手を検出している間、ディスプレイ１０３の表示領域１０３ｂに手の検出を示す情報を表示し、かつ、手の検出開始から所定の時間内における手の動きに応じた情報を表示領域１０３ｂに表示するとともに手の動きに応じて対象機器であるチューナー１０４の制御を行う。
　ディスプレイ１０３は、後述するチューナー１０４で受信した映像信号を表示するとともに、装置制御部１０２で判定されたジェスチャーに関する情報を表示する。本実施形態では、情報処理装置１１は、ディスプレイ１０３を構成要素として備えているが、ディスプレイ１０３は、情報処理装置に接続される外部機器であってもかまわない。
　チューナー１０４は、映像信号や音声信号を受信して、装置制御部１０２で処理することで、映像信号をディスプレイ１０３に出力し、音声信号をスピーカー１０５に出力する。なお、本実施の形態では、装置制御部１０２が制御を行う対象機器として、チューナー１０４を含むが、ＤＶＤやＢＤのようなディスクやＳＤカード内に格納されたコンテンツを再生するプレーヤーが対象機器であってもよい。
　情報処理装置１１は、手の操作以外の方法によって、情報処理装置１１を詳細に操作するために、リモコンやキーボード、タッチパネル、マウスなど他の入力デバイスをさらに備えていてもよい。
　本実施の形態の情報処理装置１１は、次の２つのジェスチャーを扱う。
 （１）「固定」ジェスチャー
　図３は、「固定」ジェスチャーにおける手の動きを示す。
　本実施の形態では、手を２つの赤外線ＬＥＤ１０６Ｌ、１０６Ｒのどちらか一方に対して、例えば１秒以上かざし続けることで、その手の動作を「固定」ジェスチャーとみなす。
　例えば、図９（ａ）に示すように、テレビ放送を視聴している時に、左側の赤外線ＬＥＤ１０６Ｌに固定し続けた場合、スピーカー１０５から出力される音量を小さくするように、ボリュームダウンの動作を行う。
　また、図９（ｂ）に示すように、手を右側の赤外線ＬＥＤ１０６Ｒに固定し続けた場合、スピーカー１０５から出力される音量を大きくするように、ボリュームアップの動作を行う。なお、本実施の形態では、「固定」ジェスチャーを判断する時間を１秒としたが、これに限らない。
　（２）「移動」ジェスチャー
　図４に、「移動」ジェスチャーにおける手の動きを示す。
　本実施の形態では、２つの赤外線ＬＥＤ１０６Ｌ、１０６Ｒの一方から他方に対して手を移動させることで、その手の動きを「移動」ジェスチャーとみなす。
　例えば、図１０（ａ）に示すように、テレビ放送を視聴している時に、手を左側の赤外線ＬＥＤ１０６Ｌから右側の赤外線ＬＥＤ１０６Ｒへ移動した場合、例えばチャンネル番号が大きくなる方向で現在視聴中の次のチャンネルを選局する。また、図１０（ｂ）に示すように、右側の赤外線ＬＥＤ１０６Ｒから左側の赤外線ＬＥＤ１０６Ｌへ手を移動した場合、例えばチャンネル番号が大きくなる方向とは逆の方向、つまり、チャンネル番号が小さくなる方向で現在視聴中の前（次）のチャンネルを選局する。
　次に、装置制御部１０２における「固定」及び「移動」ジェスチャーの判定方法を説明する。
　まず、ジェスチャー検知部１０１は、装置制御部１０２に対して、手の動きに応じて、「右検知」、「左検知」、「左から右への移動」、「右から左への移動」、「未検知」の５つのセンサーイベントのいずれかを発行する。装置制御部１０２は、これらのセンサーイベントを受け付けることで、ユーザーが行った手の動きを把握することができる。なお、本実施の形態では、イベントによる処理方法で、ジェスチャーの判定方法を説明しているが、処理方法はイベント方式には限らず、状態を保存する方法でも構わない。
　（１）「右検知」センサーイベント
　ジェスチャー検知部１０１は、ユーザーの手が右側の赤外線ＬＥＤ１０６Ｒにかざされたことを検知すると、装置制御部１０２に対し、「右検知」センサーイベントを発行する。
　装置制御部１０２は、「右検知」センサーイベントを受信してから所定の時間、例えば、１秒以上他のセンサーイベントを受信しないときには、ユーザーの手が右側の赤外線ＬＥＤ１０６Ｒで固定されていると判断する。本実施の形態では、固定に対応する動作として、スピーカー１０５の音量を大きくする処理を行う。さらに、装置制御部１０２は、ジェスチャー検知部から「未検知」センサーイベントを受信するまで、所定の時間、例えば、１秒ごとに右側の赤外線ＬＥＤ１０６Ｒで固定に対応する動作を繰り返す。すなわち、スピーカー１０５の音量を大きくし続けることになる。
　（２）「左検知」センサーイベント
　ジェスチャー検知部１０１は、ユーザーの手が左側の赤外線ＬＥＤ１０６Ｌにかざされたことを検知すると、装置制御部１０２に対し、「左検知」センサーイベントを発行する。このとき、装置制御部１０２は、「左検知」センサーイベントを受信してから所定の時間、例えば、１秒以上他のセンサーイベントを受信しないときには、ユーザーの手が左側の赤外線ＬＥＤ１０６Ｌで固定されていると判断する。本実施の形態では、固定の動作として、スピーカー１０５の音量を小さくする処理を行う。さらに、装置制御部１０２は、ジェスチャー検知部から「未検知」センサーイベントを受信するまで、所定の時間、例えば、１秒ごとに左側の赤外線ＬＥＤ１０６Ｌで固定の動作を繰り返す。すなわち、スピーカー１０５の音量を小さくし続けることになる。
　（３）「未検知」センサーイベント
　ジェスチャー検知部１０１は、右側あるいは左側の赤外線ＬＥＤ１０６Ｌから手を遠ざけて赤外線センサー１０７で赤外線を検知できなくなると、装置制御部１０２に対し「未検知」センサーイベントを発行する。装置制御部１０２は、「右検知」センサーイベントまたは「左検知」センサーイベントを受け取った後、「未検知」センサーイベントを受け取るまでの間、手を検出していると判断する。
　（４）「左から右への移動」センサーイベント
　ジェスチャー検知部１０１は、ユーザーが手を左側の赤外線ＬＥＤ１０６Ｌから、右側の赤外線ＬＥＤ１０６Ｒに移動させると、装置制御部１０２に対し「左検知」センサーイベントを発行した後、さらに「左から右への移動」センサーイベントを発行する。
　装置制御部１０２は、ジェスチャー検知部１０１から「左検知」センサーイベント受信後１秒未満で「左から右への移動」センサーイベントを受信すると、手が左側から右側へ移動されたと判断する。本実施の形態では、左から右への移動に対応する動作として、次のチャンネルを選局する処理を行う。
　ユーザーが手を左側の赤外線ＬＥＤ１０６Ｌで固定しスピーカー１０５の音量を小さくしている際に、音量を小さくし過ぎたと感じ、手を右側へ移動させて右側の赤外線ＬＥＤ１０６Ｒにおいて「固定」ジェスチャーを行った場合、ジェスチャー検知部１０１は、装置制御部１０２に対し「左から右へ移動」センサーイベントを発行する。このとき、装置制御部１０２が、手が右側の赤外線ＬＥＤ１０６Ｒへ移動されたと判断してしまうと、ユーザーはジェスチャーで音量に関する処理を行っているにもかかわらず、ユーザーの意図しないチャンネル選局が行われてしまうことになる。そこで、本実施の形態では、ユーザーによる意図しないジェスチャー操作を防ぐために、装置制御部１０２は、「固定」ジェスチャーと認識しているときに、ジェスチャー検知部１０１から「左から右へ移動」センサーイベントを受信したとしても、移動に対応する処理、すわなち、チャンネル選局の処理を行わないようにした。これにより、ユーザーの意図しないチャンネル変更が発生することはなくなる。
　また、ユーザーが、左側の赤外線ＬＥＤ１０６Ｌから右側の赤外線ＬＥＤ１０６Ｒへ手を何度も移動させることで、連続的に「移動」ジェスチャーを行い、次のチャンネルへ次々と選局する場合には、右側の赤外線ＬＥＤ１０６Ｒに行った手を左側の赤外線ＬＥＤ１０６Ｌに戻す必要がある。ジェスチャー検知部１０１は、左側の赤外線ＬＥＤ１０６Ｌに手を戻す動作を検知し、装置制御部１０２に対し「右から左へ移動」センサーイベントを発行する。このとき、装置制御部１０２が、手が左側の赤外線ＬＥＤ１０６Ｌに移動したと判断してしまうと、ユーザーの意図しない、前のチャンネルへの選局動作が行われてしまい、次のチャンネルに次々と選局されずに、２つのチャンネルの間で選局が繰り返されることになる。従って、ユーザーによる意図しない前のチャンネルへの選局を防ぐために、装置制御部１０２は、「左から右へ移動」センサーイベントを受けて「移動」ジェスチャーと認識しているときに、ジェスチャー検知部１０１から反対方向の「右から左へ移動」センサーイベントを受信したとしても、前のチャンネルへの選局を行わないようにした。これにより、ユーザーの意図しないチャンネル選局が発生することはなくなる。
　（５）「右から左への移動」センサーイベント
　ジェスチャー検知部１０１は、ユーザーが手を右側の赤外線ＬＥＤ１０６Ｒから、左側の赤外線ＬＥＤ１０６Ｌに移動させると、装置制御部１０２に対し「右検知」センサーイベントを発行した後、さらに「右から左への移動」センサーイベントを発行する。
　装置制御部１０２は、ジェスチャー検知部１０１から「右検知」センサーイベント受信後１秒未満で「右から左への移動」センサーイベントを受信すると、手が右側から左側へ移動されたと判断する。本実施の形態では、右から左への移動に対応する動作として、前のチャンネルを選局する処理を行う。
　ユーザーが手を右側の赤外線ＬＥＤ１０６Ｒで固定しスピーカー１０５の音量を大きくしている際に、音量を大きくし過ぎたと感じ、手を左側へ移動させて左側の赤外線ＬＥＤ１０６Ｌにおいて「固定」ジェスチャーを行った場合、ジェスチャー検知部１０１は、装置制御部１０２に対し「右から左へ移動」センサーイベントを発行する。このとき、装置制御部１０２が、手が左側の赤外線ＬＥＤ１０６Ｌへ移動されたと判断してしまうと、ユーザーはジェスチャーで音量に関する処理を行っているにもかかわらず、ユーザーの意図しないチャンネル選局が行われてしまうことになる。そこで、本実施の形態では、ユーザーによる意図しないジェスチャー操作を防ぐために、装置制御部１０２は、「固定」ジェスチャーと認識しているときに、ジェスチャー検知部１０１から「右から左へ移動」センサーイベントを受信したとしても、移動に対応する処理、すわなち、チャンネル選局の処理を行わないようにした。これにより、ユーザーの意図しないチャンネル変更が発生することはなくなる。
　また、ユーザーが、右側の赤外線ＬＥＤ１０６Ｒから左側の赤外線ＬＥＤ１０６Ｌへ手を何度も移動させることで、連続的に「移動」ジェスチャーを行い、前のチャンネルへ次々と選局する場合には、左側の赤外線ＬＥＤ１０６Ｌに行った手を右側の赤外線ＬＥＤ１０６Ｒに戻す必要がある。ジェスチャー検知部１０１は、右側の赤外線ＬＥＤ１０６Ｒに手を戻す動作を検知し、装置制御部１０２に対し「左から右へ移動」センサーイベントを発行する。このとき、装置制御部１０２が、手が右側の赤外線ＬＥＤ１０６Ｒに移動したと判断してしまうと、ユーザーの意図しない、次のチャンネルへの選局動作が行われてしまい、前のチャンネルに次々と選局されずに、２つのチャンネルの間で選局が繰り返されることになる。従って、ユーザーによる意図しない次のチャンネルへの選局を防ぐために、装置制御部１０２は、「右から左へ移動」センサーイベントを受けて「移動」ジェスチャーと認識しているときに、ジェスチャー検知部１０１から反対方向の「左から右へ移動」センサーイベントを受信したとしても、次のチャンネルへの選局を行わないようにした。これにより、ユーザーの意図しないチャンネル選局が発生することはなくなる。
　次に、「固定」及び「移動」ジェスチャーを行ったときの操作感を示すフィードバック画面を説明する。フィードバック画面として、手の位置や手の動きに応じて、以下の３つを用意している。
　（１）赤外線センサー反応時のフィードバック画面
　装置制御部１０２は、２つの赤外線ＬＥＤ１０６Ｌ、１０６Ｒのどちらか一方に対して、手をかざす動作をしたときに、ジェスチャー検知部１０１から２つの赤外線ＬＥＤ１０６Ｌ、１０６Ｒのいずれかを検出したことを示す信号を受け取る。装置制御部１０２は、これにより手が検出されていると判定し、図５（ａ）に示すようなフィードバック画面を表示する。これにより、「固定」ジェスチャーを行う場合、最初に手を２つの赤外線ＬＥＤ１０６Ｌ、１０６Ｒのどちらか一方に対してかざした後、１秒以上さらに手をかざし続ける必要があり、この間、手をかざすという動作の操作感が得られないため、ユーザーが赤外線センサー１０７が反応していないという不安感を持たないようにすることができる。このフィードバック画面はジェスチャー検知部１０１が手を検出している間表示される。
　図５（ａ）に示すように、赤外線センサー反応時のフィードバック画面は、手の検出を明示的に示す情報１０８と、今後の発生しうる手の動きに対応する処理を表示するためのスペース１０９を含む。この赤外線センサー反応時のフィードバック画面が表示されている間は、ユーザーの操作が確定していないので、赤外線センサー反応時のフィードバック画面は、今後の発生しうる手の動きに対応する処理を表示するためのスペース１０９を確保しておくことで、画面のちらつきを防止する。
　また、図５（ｂ）および図９、１０に示すように、装置制御部１０２は、２つの赤外線ＬＥＤ１０６Ｌ、１０６Ｒの位置、つまり、第１の位置１０３Ｌおよび第２の位置１０３Ｒ（図２）を示す情報１１２をディスプレイ１０３の表示領域１０３ｂに表示させてもよい。これにより、図２に示すように、特に、２つの赤外線ＬＥＤ１０６Ｌ、１０６Ｒが額縁１０３ａの角から少し離れた場所に設けられている場合でも、固定や移動のジェスチャーをするために手をどこにかざせばよいか、あるいは、どこまで移動させればよいかがユーザ－に分かり易くなる。このため、情報処理装置１１の手の動きによる操作を向上させることができる。
　（２）「移動」ジェスチャーのフィードバック画面
　装置制御部１０２は、「移動」ジェスチャーであることを判断すると、ディスプレイ１０３に既に表示している赤外線センサー反応時のフィードバック画面のスペース１０９に、「移動」を意味する表示を追加することで、図６（ａ）、（ｂ）に示すような「移動」ジェスチャーのフィードバック画面を表示する。より具体的には、装置制御部１０２は、図６（ａ）に示すように、手の検出を示す情報１０８およびスペース１０９に重ねて、所定の方向で次の放送を選択することを示す情報１１０ｕを表示領域１０３ｂに表示する。また、図６（ｂ）に示すように、手の検出を示す情報１０８およびスペース１０９に重ねて、所定の方向で次の放送を選択することを示す情報１１０ｄを表示領域１０３ｂに表示する。
　ユーザーは、図５の赤外線センサー反応時のフィードバック画面を確認しなくても、「移動」ジェスチャーを行うことができる。このとき、例えば、図７（ａ）、（ｂ）に示すように、手の検出を示す情報１０８を含む赤外線センサー反応時のフィードバック画面（図７（ａ））と、「移動」ジェスチャーの所定の方向で次の放送を選択することを示す情報１１０ｄを含むフィードバック画面（図７（ｂ））が全く異なるものであると、赤外線センサー反応時のフィードバック画面（図７（ａ））が一瞬だけ表示されたあと、「移動」ジェスチャーのフィードバック画面（図７（ｂ））がすぐに表示されることになり、画面のちらつきが発生してしまうことになる。そこで、上述したように、図５の赤外線センサー反応時のフィードバック画面に確定ジェスチャーの情報が追加されるスペース１０９を予め確保している。これにより、スペース１０９以外は同じ画面であるので、図６の「移動」ジェスチャーのフィードバック画面が表示されても、画面のちらつきを防止することができる。
　より具体的には、図１０（ａ）に示すように、ある選択された放送がディスプレイの表示領域１０３ｂに表示されている状態で、ユーザーが左の赤外線ＬＥＤ１０６Ｌに手をかざすと、ジェスチャー検知部１０１が、手を検出する。ジェスチャー検知部１０１の出力に基づき、装置制御部１０２は、手が検出されている間、表示領域１０３ｂに手の検出を示す情報１０８およびスペース１０９を表示する。上述したように、赤外線ＬＥＤ１０６Ｌ、１０６Ｒの位置を示す情報１１２も表示する。
　所定時間内に、ユーザーが手を左の赤外線ＬＥＤ１０６Ｌから右側の赤外線ＬＥＤ１０６Ｒへ移動させると、ジェスチャー検知部１０１が、手の第１の位置から第２の位置への移動を検出する。装置制御部１０２は、検出結果に基づき、チューナー１０４を制御し、所定の方向（例えば、チャンネル番号が増大する方向）に次の放送局（チャンネル）を選択し、選択された次の放送局の放送の映像を表示領域１０３ｂに表示する。また、選択された次の放送局の放送の音声をスピーカー１０５から出力する。さらに、手の検出を示す情報１０８と、スペース１０９に重ねられた所定の方向で次の放送局を選択することを示す情報１１０ｕとを表示領域１０３ｂに表示する。手の検出を示す情報１０８と、スペース１０９に重ねられた所定の方向で次の放送局を選択することを示す情報１１０ｕを、次の放送局への切換（表示および音声）が完了した後も、しばらく表示し続けてもよい。例えば、３秒程度これらの情報を表示してもよい。これにより、ジェスチャーによる操作が行われたことがユーザーの視覚によって認識され、優れた操作感が得られる。
　また、さらに、装置制御部１０２は、選択された放送（チャンネル）の切換を示す操作音を放送の切換の際、スピーカーから出力させてもよい。この場合、例えば、音階が上がる操作音であれば、聴覚によってチャンネル番号が大きくなる方向に切り替えられたことがユーザーに認識されやすく、さらに優れた操作感が得られる。
　上述の所定の方向と逆の方向、例えば、チャンネル番号が小さくなる方向に放送を切り替える場合も同様である。図１０（ｂ）に示すように、ある選択された放送がディスプレイの表示領域１０３ｂに表示されている状態で、ユーザーが右側の赤外線ＬＥＤ１０６Ｒに手をかざすと、ジェスチャー検知部１０１が、手を検出する。ジェスチャー検知部１０１の出力に基づき装置制御部１０２は、手が検出されている間、表示領域１０３ｂに手の検出を示す情報１０８およびスペース１０９を表示する。上述したように、赤外線ＬＥＤ１０６Ｌ、１０６Ｒの位置を示す情報１１２も表示する。
　所定時間内に、ユーザーが手を右側の赤外線ＬＥＤ１０６Ｒから左側の赤外線ＬＥＤ１０６Ｌへ移動させると、ジェスチャー検知部１０１が、手の第２の位置から第１の位置への移動を検出する。装置制御部１０２は、検出結果に基づき、チューナー１０４を制御し、所定の方向と逆の方向（チャンネル番号が減少する方向）に次の放送局を選択し、選択された次の放送局の放送の映像を表示領域１０３ｂに表示する。また、選択された次の放送局の放送の音声をスピーカー１０５から出力する。さらに、手の検出を示す情報１０８と、スペース１０９に重ねられた所定の方向と逆の方向で次の放送局を選択することを示す情報１１０ｄとを表示領域１０３ｂに表示する。手の検出を示す情報１０８と、スペース１０９に重ねられた所定の方向で次の放送局を選択することを示す情報１１０ｄは、次の放送局への切換（表示および音声）が完了した後も、しばらく表示し続けてもよい。例えば、３秒程度これらの情報を表示してもよい。これにより、ジェスチャーによる操作が行われたことがユーザーの視覚によって認識され、優れた操作感が得られる。
　また、さらに、装置制御部１０２は、選択された放送（チャンネル）の切換を示す操作音を放送の切換の際、スピーカーから出力させてもよい。この場合、所定の方向に放送を切り替える場合の操作音とは異なる操作音、例えば、音階が下がる操作音であれば、聴覚によってチャンネル番号が小さくなる方向に切り替えられたことがユーザーに認識されやすく、さらに優れた操作感が得られる。
　（３）「固定」ジェスチャーのフィードバック画面
　装置制御部１０２は、「固定」ジェスチャーであることを判断すると、ディスプレイ１０３に既に表示している赤外線センサー反応時のフィードバック画面のスペース１０９に、図８に示すような音量が大きくなることを示す情報または音量が小さくなることを示す情報１１１を重ねたフィードバック画面を表示領域１０３ｂに表示する。
　より具体的には、図９（ａ）に示すように、ある選択された放送がディスプレイの表示領域１０３ｂに表示されている状態で、ユーザーが左側の赤外線ＬＥＤ１０６Ｌに手をかざすと、ジェスチャー検知部１０１が、手を検出する。ジェスチャー検知部１０１の出力に基づき装置制御部１０２は、手が検出されている間、表示領域１０３ｂに手の検出を示す情報１０８およびスペース１０９を表示する。上述したように、赤外線ＬＥＤ１０６Ｌ、１０６Ｒの位置を示す情報１１２も表示する。
　所定時間、ユーザーが手を固定（静止）させると、ジェスチャー検知部１０１が、手の「固定」を検出する。装置制御部１０２は、検出結果に基づき、手の固定を検出している間、選択された放送の音声の音量を増大させる。また、手の検出を示す情報１０８と、スペース１０９に重ねられた、そのときの音量を示す情報１１１とを表示領域１０３ｂに表示する。上述したように、例えば、１秒ごとに「固定」を検出し、所定の割合で音声を減少させる。手の検出を示す情報１０８と、スペース１０９に重ねられた、そのときの音量を示す情報１１１は、手が左側の赤外線ＬＥＤ１０６Ｌから離れ、ジェスチャー検知部１０１が手を検出しなくなった後も、しばらく表示し続けてもよい。例えば、３秒程度これらの情報を表示してもよい。これにより、ジェスチャーによる操作が行われたことがユーザーの視覚によって認識され、優れた操作感が得られる。
　また、さらに、装置制御部１０２は、音量を減少させる前に操作音をスピーカーから出力させてもよい。これにより、音量が変化する前にユーザーは音量が変化することを認識することができ、さらに優れた操作感が得られる。
　音声を増大させる場合にも同様の制御が行われる。図９（ｂ）に示すように、ある選択された放送がディスプレイの表示領域１０３ｂに表示されている状態で、ユーザーが右側の赤外線ＬＥＤ１０６Ｒに手をかざすと、ジェスチャー検知部１０１が、手を検出する。ジェスチャー検知部１０１の出力に基づき装置制御部１０２は、手が検出されている間、表示領域１０３ｂに手の検出を示す情報１０８およびスペース１０９を表示する。上述したように、赤外線ＬＥＤ１０６Ｌ、１０６Ｒの位置を示す情報１１２も表示する。
　所定時間、ユーザーが手を固定（静止）させると、ジェスチャー検知部１０１が、手の「固定」を検出する。装置制御部１０２は、検出結果に基づき、手の固定を検出している間、選択された放送の音声の音量を増大させる。また、手の検出を示す情報１０８と、スペース１０９に重ねられた、そのときの音量を示す情報１１１とを表示領域１０３ｂに表示する。上述したように、例えば、１秒ごとに「固定」を検出し、所定の割合で音声を増大させる。手の検出を示す情報１０８と、スペース１０９に重ねられた、そのときの音量を示す情報１１１は、手が右側の赤外線ＬＥＤ１０６Ｒから離れ、ジェスチャー検知部１０１が手を検出しなくなった後も、しばらく表示し続けてもよい。例えば、３秒程度これらの情報を表示してもよい。これにより、ジェスチャーによる操作が行われたことがユーザーの視覚によって認識され、優れた操作感が得られる。
　また、さらに、装置制御部１０２は、音量を増大させる前に操作音をスピーカーから出力させてもよい。これにより、音量が変化する前にユーザーは音量が変化することを認識することができ、さらに優れた操作感が得られる。
　以上、図を参照して本実施形態の情報処理装置を説明したが、本発明の情報処理装置は上記実施形態に限定されるものではない。例えば、上記実施形態では、ジェスチャー検知部１０１は、赤外線を用いて手の検出、ならびに手の位置および動きの検出を行っていたが、超音波や静電容量など、他の方法によって、手の検出ならびに手の位置および動きの検出を行ってもよい。また、検出のために用いる信号の送信部および受信部は、表示領域の上側に位置する額縁に設けられていたが、額縁の他の位置や、額縁以外の部分に、検出のために用いる信号の送信部および受信部を配置してもよい。検出のために用いる信号の送信部および受信部の数も上記実施形態と異なっていてもよい。
　本発明は、特に、非接触の状態で情報処理装置の操作を行うことができるため、例えば、ユーザーの手が水など液体で濡れていたり、手が汚れていたりする使用環境や、ユーザーが手袋等をはめており、細かい手の動きが困難であったり、手の接触では検出が困難である使用環境において、好適に用いることのできる情報処理装置を提供することができる。
　また、情報処理装置やジェスチャー検知部の大きさに特に制限はなく、手の固定および移動のジャスチャーが区別できる限り、種々の大きさの情報処理装置として本発明を実現することができる。具体的には、フォトフレームやタブレット型程度の大きさ以上の情報処理装置に本発明は好適に用いることができる。
　本発明は、非接触センサーを使って手の動作をジェスチャーとして認識し、その認識結果であるジェスチャーに基づき操作可能な情報処理装置を提供できる。そのため、本発明は、非接触センサーを搭載したテレビ、フォトフレーム等の電子機器に適用可能である。
　１０１　ジェスチャー検知部
 １０２　装置制御部
 １０３　ディスプレイ
 １０３ａ　額縁
 １０３ｂ　表示領域
 １０４　チューナー
 １０５　スピーカー
 １０６Ｌ、１０６Ｒ　赤外線ＬＥＤ
 １０７　赤外線センサー
 １０８　手の検出を示す情報
 １０９　スペース

Claims (22)

  1. 　手の動きによる操作指示を受けることによって、対応する動作を行う情報処理装置であって、
    　手の動きを検出する検出部と、
    　前記検出部で検出した手の動きに応じた情報をディスプレイに表示する制御部とを備え、
    　前記制御部は、前記検出部が最初に手を検出した場合、その後一定時間内に、前記検出部で手の動きが検出されたかどうかで、異なる処理を行う情報処理装置。
  2. 　前記制御部は、前記検出部で最初に手を検出したときに、その対応するジェスチャー情報を前記ディスプレイに表示する請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記検出部で最初に手を検出した場合、前記一定時間内に、前記検出部で手の動きを検出したときには前記ディスプレイに第１の情報を前記ジェスチャー情報に追加し、手の動きが止まっていると判断したときには前記ディスプレイに第２の情報を前記ジェスチャー情報に追加する請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記検出部で最初に手を検出した場合、前記一定時間内に、手の動きが止まっていると判断したとき、前記検出部で手の動きを検出できなくなるまで、手の動きが止まっていることに対応した処理をし続けることを特徴とする請求項３に記載の情報処理装置。
  5. 　前記制御部は、手の動きが止まっていることに対応した処理をし続けたあと、前記検出部で手の動きを検出し、その後異なる地点で手の動きが止まっていると判断したときには、前記検出部で検出した手の動きを考慮しないことを特徴とする請求項４に記載の情報処理装置。
  6. 　前記制御部は、手の動きを検出したあと、前記検出部で反対の方向の手の動きを検出し、その後さらに前記手の動きと同じ方向の動きを検出したときには、前記検出部で検出した前記反対方向の手の動きを考慮しないことを特徴とする請求項３に記載の情報処理装置。
  7. 　前記制御部は、前記検出部が最初に手を検出したときに、前記検出部の位置情報をさらにディスプレイに表示する請求項１から６のいずれかに記載の情報処理装置。
  8. 　前記制御部は、前記第１の情報を前記ジェスチャー情報に追加する際、スピーカーから手の動きに応じた異なる操作音を出力させる請求項２に記載の情報処理装置。
  9. 　前記制御部は、前記第２の情報を前記ジェスチャー情報に追加する際、スピーカーから操作音を出力させる請求項２に記載の情報処理装置。
  10. 　手の動きによって操作を行う情報処理装置であって、
    　表示領域および前記表示領域の周囲に位置する額縁を有する表示部と、
    　前記額縁に設けられ、手の検出および前記手の動きを検出する検出部と、
    　前記検出部の出力結果に基づいて前記手を検出していると判断している間、前記表示部の前記表示領域に手の検出を示す情報を表示し、かつ、前記手の検出開始から所定の時間内における前記手の動きに応じた情報を前記表示部の前記表示領域に表示するとともに前記手の動きに応じて対象機器の制御を行う制御部と
    を備えた情報処理装置。
  11. 　音声を出力するスピーカーをさらに備え、
    　前記対象機器はテレビ放送を受信するチューナーであり、
    　前記制御部は、前記チューナーを制御することにより、所定のテレビ放送を選択し、選択された放送の映像を前記表示部の前記表示領域に表示し、前記選択された放送の音声を前記スピーカーから出力する請求項１０に記載の情報処理装置。
  12. 　前記検出部は、前記所定の時間内において、前記額縁における第１の位置および前記第１の位置から離れた第２の位置のいずれか一方において前記手が静止していること、または、前記所定の時間内において、前記手が前記第１の位置および前記第２の位置の一方から他方へ移動していることを検出する請求項１１に記載の情報処理装置。
  13. 　前記制御部は、前記所定の時間内において、前記検出部が前記手を検出しなくなった場合に前記表示部の前記表示領域に表示していた手の検出を示す情報の表示を停止する請求項１２に記載の情報処理装置。
  14. 　前記検出部が、前記所定の時間内において、前記額縁における第１の位置において前記手が静止していることを検出した場合、前記制御部は、前記手の静止を検出している間、前記選択された放送の音声の音量を増大させ、かつ、そのときの音量を示す情報を前記表示領域に表示し、
    　前記検出部が、前記所定の時間内において、前記額縁における第２の位置において前記手が静止していることを検出した場合、前記制御部は、前記手の静止を検出している間、前記選択された放送の音声の音量を減少させ、かつ、そのときの音量を示す情報を前記表示領域に表示する請求項１３に記載の情報処理装置。
  15. 　前記検出部が、前記第１の位置または前記第２の位置における前記手の静止の検出終了後、所定の時間内に前記手が前記第１の位置および前記第２の位置の一方から他方へ移動していることを検出した場合、前記制御部は、前記移動に対応する前記チューナーの制御を行わない請求項１４に記載の情報処理装置。
  16. 　前記検出部が、前記所定の時間内において、前記手が前記第１の位置から前記第２の位置へ移動していることを検出した場合、前記制御部は、前記チューナーを制御することにより、所定の方向で次の放送局を選択し、選択された次の放送局による放送の映像を前記表示部の前記表示領域に表示し、前記選択された次の放送局による放送の音声を前記スピーカーから出力し、かつ、所定の方向で次の放送局を選択することを示す情報を前記表示領域に表示し、
    　前記検出部が、前記所定の時間内において、前記手が前記第２の位置から前記第１の位置へ移動していることを検出した場合、前記制御部は、前記チューナーを制御することにより、所定の方向とは逆の方向で次の放送局を選択し、選択された次の放送局による放送の映像を前記表示部の前記表示領域に表示し、前記選択された次の放送局による放送の音声を前記スピーカーから出力し、かつ、所定の方向とは逆の方向で次の放送局を選択することを示す情報を前記表示領域に表示する請求項１２に記載の情報処理装置。
  17. 　前記検出部が、前記手の移動の検出終了後、所定の時間内に前記手が最初の移動と逆の方向へ移動していることを検出した場合、前記制御部は、前記逆の方向への移動に対応する前記チューナーの制御を行わない請求項１６に記載の情報処理装置。
  18. 　前記制御部は、前記手の検出を示す情報を前記表示領域に表示する際、前記手の検出を示す情報に隣接してスペースをさらに表示し、
    　前記制御部は、前記表示領域において、前記そのときの音量を示す情報、前記所定の方向で次の放送局を選択することを示す情報および前記所定の方向と逆の方向で次の放送局を選択することを示す情報のいずれかを前記スペースと同じ位置に表示する請求項１４から１７のいずれかに記載の情報処理装置。
  19. 　前記制御部は、前記検出部が前記手を検出している間、前記第１の位置および前記第２の位置を示す情報を前記表示領域に表示する請求項１０から１８のいずれかに記載の情報処理装置。
  20. 　前記制御部は、所定の方向で次の放送局を選択することを示す情報および所定の方向と逆の方向で次の放送局を選択することを示す情報を表示する際、スピーカーから次の放送局を選択する方向に応じて異なる操作音を出させる請求項１１から１９のいずれかに記載の情報処理装置。
  21. 　前記制御部は、前記選択された放送局の放送の音声の音量を増大または減少させる際、スピーカーから操作音を出させる請求項１１から２０のいずれかに記載の情報処理装置。
  22. 　前記検出部は、前記額縁の第１の位置および前記第２の位置にそれぞれ設けられた赤外線発光素子と、前記額縁の第１の位置と前記第２の位置との間に設けられた、赤外線検出器とを含む請求項１０から２１のいずれかに記載の情報処理装置。
PCT/JP2011/000886 2010-11-24 2011-02-17 情報処理装置 WO2012070161A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/988,635 US8891025B2 (en) 2010-11-24 2011-02-17 Information processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-260866 2010-11-24
JP2010260866A JP2014029565A (ja) 2010-11-24 2010-11-24 情報処理装置

Publications (1)

Publication Number Publication Date
WO2012070161A1 true WO2012070161A1 (ja) 2012-05-31

Family

ID=46145535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000886 WO2012070161A1 (ja) 2010-11-24 2011-02-17 情報処理装置

Country Status (3)

Country Link
US (1) US8891025B2 (ja)
JP (1) JP2014029565A (ja)
WO (1) WO2012070161A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014032502A (ja) * 2012-08-02 2014-02-20 Alpine Electronics Inc 操作入力装置、それを用いた車載機器及び操作入力処理方法
CN103729121A (zh) * 2012-10-15 2014-04-16 Lg电子株式会社 图像显示设备及其操作方法
JP2014085967A (ja) * 2012-10-25 2014-05-12 Nec Personal Computers Ltd 情報処理装置、情報処理方法、及びプログラム
JP2015047885A (ja) * 2013-08-29 2015-03-16 トヨタ車体株式会社 車両搭載インタラクティブシステム
WO2015038645A1 (en) * 2013-09-11 2015-03-19 Motorola Mobility Llc Electronic device with gesture detection system and methods for using the gesture detection system
US9029780B2 (en) 2013-09-11 2015-05-12 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
JP2018109871A (ja) * 2017-01-04 2018-07-12 京セラ株式会社 電子機器
JP2018109938A (ja) * 2017-08-08 2018-07-12 京セラ株式会社 電子機器
JP2022522491A (ja) * 2019-03-01 2022-04-19 華為技術有限公司 ジェスチャ処理方法およびデバイス

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301345B2 (en) * 2011-11-30 2022-04-12 Red Hat, Inc. Desktop sound source discovery
ES2773070T3 (es) * 2011-12-27 2020-07-09 Saturn Licensing Llc Dispositivo de conexión
CN103576578B (zh) 2013-11-05 2017-04-12 小米科技有限责任公司 一种采用耳机线对终端进行控制的方法、装置和设备
KR20160138033A (ko) * 2014-03-31 2016-12-02 하만인터내셔날인더스트리스인코포레이티드 제스처 제어 이어폰
CN105992080A (zh) * 2015-04-28 2016-10-05 乐视致新电子科技（天津）有限公司 一种音箱设备的控制方法、装置及音箱设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005063090A (ja) * 2003-08-11 2005-03-10 Keio Gijuku ハンドパターンスイッチ装置
JP2010154405A (ja) * 2008-12-26 2010-07-08 Toshiba Corp 映像再生装置、制御信号生成装置及び制御信号生成方法
WO2010095204A1 (ja) * 2009-02-18 2010-08-26 株式会社 東芝 インターフェース制御装置、及びその方法
JP2010211735A (ja) * 2009-03-12 2010-09-24 Toshiba Tec Corp 商品データ入力装置
JP2010250492A (ja) * 2009-04-14 2010-11-04 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US9304592B2 (en) * 2010-11-12 2016-04-05 At&T Intellectual Property I, L.P. Electronic device control based on gestures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005063090A (ja) * 2003-08-11 2005-03-10 Keio Gijuku ハンドパターンスイッチ装置
JP2010154405A (ja) * 2008-12-26 2010-07-08 Toshiba Corp 映像再生装置、制御信号生成装置及び制御信号生成方法
WO2010095204A1 (ja) * 2009-02-18 2010-08-26 株式会社 東芝 インターフェース制御装置、及びその方法
JP2010211735A (ja) * 2009-03-12 2010-09-24 Toshiba Tec Corp 商品データ入力装置
JP2010250492A (ja) * 2009-04-14 2010-11-04 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014032502A (ja) * 2012-08-02 2014-02-20 Alpine Electronics Inc 操作入力装置、それを用いた車載機器及び操作入力処理方法
EP2720130A3 (en) * 2012-10-15 2017-01-25 LG Electronics, Inc. Image display apparatus and method for operating the same
CN103729121A (zh) * 2012-10-15 2014-04-16 Lg电子株式会社 图像显示设备及其操作方法
CN103729121B (zh) * 2012-10-15 2017-07-28 Lg电子株式会社 图像显示设备及其操作方法
JP2014085967A (ja) * 2012-10-25 2014-05-12 Nec Personal Computers Ltd 情報処理装置、情報処理方法、及びプログラム
JP2015047885A (ja) * 2013-08-29 2015-03-16 トヨタ車体株式会社 車両搭載インタラクティブシステム
WO2015038645A1 (en) * 2013-09-11 2015-03-19 Motorola Mobility Llc Electronic device with gesture detection system and methods for using the gesture detection system
US9423500B2 (en) 2013-09-11 2016-08-23 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
US9029780B2 (en) 2013-09-11 2015-05-12 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
US10042429B2 (en) 2013-09-11 2018-08-07 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
US10606365B2 (en) 2013-09-11 2020-03-31 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
US11061481B2 (en) 2013-09-11 2021-07-13 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
US11644903B2 (en) 2013-09-11 2023-05-09 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
JP2018109871A (ja) * 2017-01-04 2018-07-12 京セラ株式会社 電子機器
JP2018109938A (ja) * 2017-08-08 2018-07-12 京セラ株式会社 電子機器
JP2022522491A (ja) * 2019-03-01 2022-04-19 華為技術有限公司 ジェスチャ処理方法およびデバイス
JP7391102B2 (ja) 2019-03-01 2023-12-04 華為技術有限公司 ジェスチャ処理方法およびデバイス

Also Published As

Publication number Publication date
US20130242206A1 (en) 2013-09-19
US8891025B2 (en) 2014-11-18
JP2014029565A (ja) 2014-02-13

Similar Documents

Publication Publication Date Title
WO2012070161A1 (ja) 情報処理装置
US9250707B2 (en) Image display apparatus and method for operating the same
EP2428875B1 (en) Image display apparatus and method for operating the same
EP2302940B1 (en) Display apparatus and three-dimensional video signal displaying method thereof
US20140143733A1 (en) Image display apparatus and method for operating the same
US20130044080A1 (en) Dual-view display device operating method
KR102048991B1 (ko) 영상표시장치 및 그 제어방법
WO2012104288A1 (en) A device having a multipoint sensing surface
KR20150014290A (ko) 영상표시장치 및 영상표시장치 동작방법
KR101577331B1 (ko) 디스플레이 장치 및 그 동작방법
US20150350587A1 (en) Method of controlling display device and remote controller thereof
JP4814673B2 (ja) デジタル放送受信装置
WO2011040514A1 (ja) 操作装置およびこれを備えた電子機器
KR101715937B1 (ko) 프로젝터가 장착된 디스플레이 장치 및 그 제어 방법
KR20170078509A (ko) 센싱 장치
JP4262687B2 (ja) リモコンシステム
EP2930712A1 (en) Image display apparatus and operation method thereof
KR101336289B1 (ko) 전자기기 제어장치 및 그 방법
KR101833790B1 (ko) 포스 입력을 이용하여 다양한 모드들을 실현하는 미디어 시스템 및 방법
KR20150019123A (ko) 영상표시장치 및 영상표시장치 동작방법
KR102254857B1 (ko) 영상 표시 장치
KR20130042325A (ko) 원격제어장치
US20150193113A1 (en) Display device, calibration device and control method thereof
KR20150125409A (ko) 영상표시장치 및 그의 제어방법
KR20140000928A (ko) 영상표시장치 및 영상표시장치의 화면표시방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11843841

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13988635

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11843841

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP