WO2012070161A1 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- WO2012070161A1 WO2012070161A1 PCT/JP2011/000886 JP2011000886W WO2012070161A1 WO 2012070161 A1 WO2012070161 A1 WO 2012070161A1 JP 2011000886 W JP2011000886 W JP 2011000886W WO 2012070161 A1 WO2012070161 A1 WO 2012070161A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- hand
- movement
- control unit
- information
- information processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Definitions
- the present invention relates to an information processing apparatus that recognizes the movement of a hand as a gesture using a non-contact sensor and can be operated based on the gesture that is the recognition result.
- an information processing apparatus that can be operated by a gesture operates a hand toward a video camera, recognizes the movement and shape of the hand from an image input to the video camera, and controls a control target apparatus based on the recognition result. Things are known.
- Patent Document 1 discloses an interface device that recognizes the movement and shape of a hand input from a video camera and performs an operation while checking a gesture display list displayed together with a menu screen.
- the conventional information processing apparatus has a problem that there is no feedback on the gesture operation by the user and the operation feeling is lacking.
- an object of the present invention is to provide an information processing apparatus with a feeling of operation by displaying a feedback screen for an operation by a gesture in order to solve the above-described conventional problems.
- An information processing apparatus is an information processing apparatus that performs a corresponding operation by receiving an operation instruction based on a hand movement, and includes a detection unit that detects a hand movement, and a hand movement detected by the detection unit.
- a control unit that displays information corresponding to the display, and when the control unit detects a hand for the first time by the detection unit, whether the movement of the hand is detected by the detection unit within a predetermined time thereafter Depending on how, different processing is performed.
- FIG. 1 It is a block diagram which shows one Embodiment of the information processing apparatus of this invention. It is a top view of the display part of the information processing apparatus shown in FIG. It is a figure which shows an example of a "fixed” gesture. It is a figure which shows an example of a "movement” gesture.
- A) And (b) is a figure which shows an example of the feedback screen at the time of infrared sensor reaction.
- A) And (b) is a figure which shows an example of the feedback screen of a "movement” gesture.
- A) And (b) is a figure which shows the case where the feedback screen of "movement" differs from the time of infrared sensor reaction. It is a figure which shows an example of the feedback screen of a "fixed” gesture.
- A) And (b) is a figure which shows a volume change process.
- A) And (b) is a figure which shows a channel tuning process.
- FIG. 1 shows a block diagram of an embodiment of an information processing apparatus according to the present invention.
- the information processing apparatus 11 includes a gesture detection unit (detection unit) 101, a device control unit (control unit) 102, a display (display unit) 103, a tuner 104, and a speaker 105.
- FIG. 2 shows a plan view of the display 103.
- the display 103 includes a display area 103b and a frame 103a located around the display area 103b.
- the gesture detection unit 101 detects a hand and a hand movement.
- the gesture detection unit 101 includes, for example, two infrared LEDs 106L and 106R and one infrared sensor 107 as shown in FIG.
- the two infrared LEDs 106L and 106R and the infrared sensor 107 are arranged, for example, in an upper part of the display area 103b of the frame 103a. More specifically, the two infrared LEDs 106L and 106R are provided at the first position 103L and the second position 103R that are slightly inside the corner 103c of the frame 103a.
- the infrared sensor 107 is provided approximately in the middle between the first position 103L and the second position 103R.
- the first position 103L and the second position 103R are slightly inside the corner 103c of the frame 103a, but the first and second positions may be the corner 103c of the frame 103a.
- the infrared LED 106L at the first position 103L may be referred to as the left infrared LED 106L
- the infrared LED 106R at the second position 103R may be referred to as the right infrared LED 106R.
- the infrared rays emitted from the two infrared LEDs 106L and 106R are shielded and reflected by the hand, and are incident on the infrared sensor 107 disposed between the two infrared LEDs 106L and 106R. Based on the information of the infrared rays incident on the infrared sensor 107, hand detection, hand position and movement are detected. For example, the left infrared LED 106L and the right infrared LED 106R are caused to emit light with signals having different phases, periods, and pulse timings.
- the infrared sensor 107 can distinguish and detect the infrared rays emitted from the left infrared LED 106L and reflected by the hand, and the infrared rays emitted from the right infrared LED 106R and reflected by the hand. Therefore, it can be detected whether the hand is fixed (stationary) at the first position 103L or fixed at the second position 103R. Further, when the hand is moved between the first position 103L and the second position 103R, infrared rays from one of the left infrared LED 106L and the right infrared LED 106R are detected, and then infrared rays from both are detected.
- the infrared rays from the other are detected.
- the hand is not held between the first position 103L and the second position 103R and the hand is detected. Not done.
- the gesture detection unit 101 outputs a signal indicating these detections to the device control unit 102.
- the gesture detection unit 101 can detect the presence, position, and movement of a hand within a range of about 5 cm to 15 cm from the surface of the frame 103a, for example.
- the detection is performed, for example, at regular time intervals, for example, at intervals of 10 milliseconds to 100 milliseconds. It is preferable that the gesture detection unit 101 performs the above-described hand detection in a state where the hand is not in contact with the frame 103a.
- the device control unit 102 determines which of the two types of gestures “fixed” (stationary) and “moving” is based on the position and movement of the hand detected by the gesture detection unit 101. To do. Further, while the gesture detection unit 101 detects the hand, information indicating hand detection is displayed on the display area 103b of the display 103, and in response to the movement of the hand within a predetermined time from the start of the hand detection. Information is displayed on the display area 103b, and the tuner 104, which is the target device, is controlled according to the movement of the hand.
- the display 103 displays a video signal received by a tuner 104 to be described later, and information related to a gesture determined by the device control unit 102.
- the information processing apparatus 11 includes the display 103 as a component, but the display 103 may be an external device connected to the information processing apparatus.
- the tuner 104 receives a video signal and an audio signal and processes them by the apparatus control unit 102, thereby outputting the video signal to the display 103 and outputting the audio signal to the speaker 105.
- the tuner 104 is included as a target device to be controlled by the device control unit 102.
- a player that plays back content stored in a disc such as a DVD or a BD or an SD card is the target device. There may be.
- the information processing apparatus 11 may further include other input devices such as a remote controller, a keyboard, a touch panel, and a mouse in order to operate the information processing apparatus 11 in detail by a method other than a manual operation.
- input devices such as a remote controller, a keyboard, a touch panel, and a mouse
- the information processing apparatus 11 handles the following two gestures.
- FIG. 3 shows hand movements in a “fixed” gesture.
- the movement of the hand is regarded as a “fixed” gesture.
- the volume up operation is performed so as to increase the volume output from the speaker 105.
- the time for determining the “fixed” gesture is 1 second, but the present invention is not limited to this.
- FIG. 4 shows the movement of the hand in the “Move” gesture.
- the movement of the hand is regarded as a “move” gesture.
- FIG. 10A when the user moves his / her hand from the left infrared LED 106L to the right infrared LED 106R while viewing a television broadcast, for example, the next currently being viewed in the direction in which the channel number increases. Select a channel.
- FIG. 10B when the hand is moved from the right infrared LED 106R to the left infrared LED 106L, for example, in the direction opposite to the direction in which the channel number increases, that is, in the direction in which the channel number decreases. Select the previous (next) channel you are currently watching.
- the gesture detection unit 101 performs “right detection”, “left detection”, “movement from left to right”, and “movement from right to left” according to the movement of the hand. , One of the five sensor events “not detected” is issued.
- the device control unit 102 can recognize the movement of the hand performed by the user by receiving these sensor events.
- the gesture determination method is described as an event processing method. However, the processing method is not limited to the event method, and a state saving method may be used.
- the gesture detection unit 101 issues a “right detection” sensor event to the device control unit 102 when detecting that the user's hand is held over the right infrared LED 106R.
- the apparatus control unit 102 determines that the user's hand is fixed by the right infrared LED 106R when no other sensor event is received for a predetermined time, for example, 1 second or more after receiving the “right detection” sensor event. To do. In the present embodiment, as an operation corresponding to the fixation, processing for increasing the volume of the speaker 105 is performed. Furthermore, the apparatus control unit 102 repeats the operation corresponding to the fixing with the right-side infrared LED 106R every predetermined time, for example, every second, until the “undetected” sensor event is received from the gesture detection unit. That is, the volume of the speaker 105 is continuously increased.
- the gesture detection unit 101 issues a “move from left to right” sensor event to the device control unit 102.
- the device control unit 102 determines that the hand has been moved to the right-side infrared LED 106R, the channel tuning not intended by the user is performed even though the user is performing processing related to the volume with the gesture. It will be broken.
Landscapes
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Neurosurgery (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Input From Keyboards Or The Like (AREA)
Abstract
本発明の情報処理装置は、手の動きによる操作指示を受け付けることによって、対応する動作を行う情報処理装置であって、手の動きを検出する検出部と、前記検出部で検出した手の動きに応じた情報をディスプレイに表示する制御部とを備え、前記制御部は、前記検出部で最初に手を検出した場合、その後一定時間内に、前記検出部で手の動きを検出されたかどうかで、異なる処理を行う。
Description
本発明は、非接触センサーを使って手の動作をジェスチャーとして認識し、その認識結果であるジェスチャーに基づき操作可能な情報処理装置に関するものである。
従来、ジェスチャーで操作可能な情報処理装置は、ビデオカメラに向かって手を操作して、ビデオカメラに入力された映像から手の移動と形状を認識し、その認識結果によって制御対象装置を制御するものが知られている。
特許文献1は、ビデオカメラから入力された手の移動と形状を認識し、メニュー画面とともに表示されるジェスチャー表示一覧を確認しながら操作を行うインターフェース装置を開示している。
しかしながら、従来の情報処理装置は、ユーザーによるジェスチャー操作に対するフィードバックがなく、操作感に欠けるという問題があった。
そこで、本発明は、上記従来の問題点を解決すべく、ジェスチャーによる操作に対してフィードバック画面を表示することで、操作感のある情報処理装置を提供することを目的とする。
本発明の情報処理装置は、手の動きによる操作指示を受け付けることによって、対応する動作を行う情報処理装置であって、手の動きを検出する検出部と、前記検出部で検出した手の動きに応じた情報をディスプレイに表示する制御部とを備え、前記制御部は、前記検出部で最初に手を検出したときに、その後一定時間内に、前記検出部で手の動きを検出されたかどうかで、異なる処理を行う。
このような構成をとることにより、ジェスチャー操作に対するフィードバックをユーザーに与えることで、より操作感のあるジェスチャー操作を可能にするという作用を有する。
上記の構成によれば、フィードバック画面を表示することによって、操作感のあるジェスチャー操作を可能にする情報処理装置を提供できる。
以下、図面を参照しながら、本発明による情報処理装置の実施形態を説明する。
図1は、本発明による情報処理装置の一実施形態のブロック図を示す。情報処理装置11は、ジェスチャー検知部(検出部)101と、装置制御部(制御部)102と、ディスプレイ(表示部)103と、チューナー104と、スピーカー105とを備える。
図2は、ディスプレイ103の平面図を示している。ディスプレイ103は、表示領域103bと表示領域103bの周囲に位置する額縁103aとを含む。
ジェスチャー検知部101は、手の検出および手の動きの検出を行う。このために、ジェスチャー検知部101は、図2に示すように、例えば2つの赤外線LED106L、106Rと1つの赤外線センサー107を含む。2つの赤外線LED106L、106Rおよび赤外線センサー107は、例えば、額縁103aの表示領域103bの上方部分に配置される。より具体的には、2つの赤外線LED106L、106Rは、額縁103aの角103cより少し内側である第1の位置103Lおよび第2の位置103Rに設けられている。赤外線センサー107は第1の位置103Lおよび第2の位置103Rのほぼ中間に設けられている。本実施形態では、第1の位置103Lおよび第2の位置103Rは、額縁103aの角103cより少し内側であるが、第1および第2の位置は額縁103aの角103cであってもよい。以下、第1の位置103Lにある赤外線LED106Lを左側の赤外線LED106L、第2の位置103Rにある赤外線LED106Rを右側の赤外線LED106Rと呼ぶ場合がある。
2つの赤外線LED106L、106Rから射出された赤外線は、手で遮られて反射し、2つの赤外線LED106L、106Rの中間に配置された赤外線センサー107に入射する。赤外線センサー107に入射した赤外線の情報をもとに、手の検出、手の位置および動きを検出する。例えば、左側の赤外線LED106Lおよび右側の赤外線LED106Rを互いに異なる位相や周期、パルスタイミングの信号で発光させる。これにより、赤外線センサー107は、左側の赤外線LED106Lから出射し、手で反射した赤外線と、右側の赤外線LED106Rから出射し、手で反射した赤外線とを区別して検出することができる。このため、手が、第1の位置103Lにおいて固定(静止)しているか、第2の位置103Rにおいて固定しているかを検出できる。また、手を第1の位置103Lと第2の位置103Rとの間で移動させた場合、左側の赤外線LED106Lおよび右側の赤外線LED106Rの一方からの赤外線が検出され、次に両方からの赤外線が検出された後、他方からの赤外線が検出される。一方、左側の赤外線LED106Lからの赤外線および右側の赤外線LED106Rからの赤外線のいずれも検出しない場合、手が第1の位置103Lおよび第2の位置103Rならびその間にはかざされておらず、手を検出していない。ジェスチャー検知部101は、これらの検出を示す信号を装置制御部102へ出力する。
ジェスチャー検知部101は、例えば、額縁103aの表面から5cm~15cm程度の範囲にある手の存在、位置および動きを検出することができる。検出は、例えば、一定の時間間隔、例えば、10ミリ秒~100ミリ秒間隔で行われる。ジェスチャー検知部101は、手が額縁103aと非接触の状態で上述した手の検知を行うことが好ましい。
装置制御部102は、以下において詳細に説明するように、ジェスチャー検知部101で検出した手の位置と動きから「固定」(静止)と「移動」の2種類のジェスチャーのいずれであるのかを判定する。また、ジェスチャー検知部101が手を検出している間、ディスプレイ103の表示領域103bに手の検出を示す情報を表示し、かつ、手の検出開始から所定の時間内における手の動きに応じた情報を表示領域103bに表示するとともに手の動きに応じて対象機器であるチューナー104の制御を行う。
ディスプレイ103は、後述するチューナー104で受信した映像信号を表示するとともに、装置制御部102で判定されたジェスチャーに関する情報を表示する。本実施形態では、情報処理装置11は、ディスプレイ103を構成要素として備えているが、ディスプレイ103は、情報処理装置に接続される外部機器であってもかまわない。
チューナー104は、映像信号や音声信号を受信して、装置制御部102で処理することで、映像信号をディスプレイ103に出力し、音声信号をスピーカー105に出力する。なお、本実施の形態では、装置制御部102が制御を行う対象機器として、チューナー104を含むが、DVDやBDのようなディスクやSDカード内に格納されたコンテンツを再生するプレーヤーが対象機器であってもよい。
情報処理装置11は、手の操作以外の方法によって、情報処理装置11を詳細に操作するために、リモコンやキーボード、タッチパネル、マウスなど他の入力デバイスをさらに備えていてもよい。
本実施の形態の情報処理装置11は、次の2つのジェスチャーを扱う。
(1)「固定」ジェスチャー
図3は、「固定」ジェスチャーにおける手の動きを示す。
図3は、「固定」ジェスチャーにおける手の動きを示す。
本実施の形態では、手を2つの赤外線LED106L、106Rのどちらか一方に対して、例えば1秒以上かざし続けることで、その手の動作を「固定」ジェスチャーとみなす。
例えば、図9(a)に示すように、テレビ放送を視聴している時に、左側の赤外線LED106Lに固定し続けた場合、スピーカー105から出力される音量を小さくするように、ボリュームダウンの動作を行う。
また、図9(b)に示すように、手を右側の赤外線LED106Rに固定し続けた場合、スピーカー105から出力される音量を大きくするように、ボリュームアップの動作を行う。なお、本実施の形態では、「固定」ジェスチャーを判断する時間を1秒としたが、これに限らない。
(2)「移動」ジェスチャー
図4に、「移動」ジェスチャーにおける手の動きを示す。
図4に、「移動」ジェスチャーにおける手の動きを示す。
本実施の形態では、2つの赤外線LED106L、106Rの一方から他方に対して手を移動させることで、その手の動きを「移動」ジェスチャーとみなす。
例えば、図10(a)に示すように、テレビ放送を視聴している時に、手を左側の赤外線LED106Lから右側の赤外線LED106Rへ移動した場合、例えばチャンネル番号が大きくなる方向で現在視聴中の次のチャンネルを選局する。また、図10(b)に示すように、右側の赤外線LED106Rから左側の赤外線LED106Lへ手を移動した場合、例えばチャンネル番号が大きくなる方向とは逆の方向、つまり、チャンネル番号が小さくなる方向で現在視聴中の前(次)のチャンネルを選局する。
次に、装置制御部102における「固定」及び「移動」ジェスチャーの判定方法を説明する。
まず、ジェスチャー検知部101は、装置制御部102に対して、手の動きに応じて、「右検知」、「左検知」、「左から右への移動」、「右から左への移動」、「未検知」の5つのセンサーイベントのいずれかを発行する。装置制御部102は、これらのセンサーイベントを受け付けることで、ユーザーが行った手の動きを把握することができる。なお、本実施の形態では、イベントによる処理方法で、ジェスチャーの判定方法を説明しているが、処理方法はイベント方式には限らず、状態を保存する方法でも構わない。
(1)「右検知」センサーイベント
ジェスチャー検知部101は、ユーザーの手が右側の赤外線LED106Rにかざされたことを検知すると、装置制御部102に対し、「右検知」センサーイベントを発行する。
ジェスチャー検知部101は、ユーザーの手が右側の赤外線LED106Rにかざされたことを検知すると、装置制御部102に対し、「右検知」センサーイベントを発行する。
装置制御部102は、「右検知」センサーイベントを受信してから所定の時間、例えば、1秒以上他のセンサーイベントを受信しないときには、ユーザーの手が右側の赤外線LED106Rで固定されていると判断する。本実施の形態では、固定に対応する動作として、スピーカー105の音量を大きくする処理を行う。さらに、装置制御部102は、ジェスチャー検知部から「未検知」センサーイベントを受信するまで、所定の時間、例えば、1秒ごとに右側の赤外線LED106Rで固定に対応する動作を繰り返す。すなわち、スピーカー105の音量を大きくし続けることになる。
(2)「左検知」センサーイベント
ジェスチャー検知部101は、ユーザーの手が左側の赤外線LED106Lにかざされたことを検知すると、装置制御部102に対し、「左検知」センサーイベントを発行する。このとき、装置制御部102は、「左検知」センサーイベントを受信してから所定の時間、例えば、1秒以上他のセンサーイベントを受信しないときには、ユーザーの手が左側の赤外線LED106Lで固定されていると判断する。本実施の形態では、固定の動作として、スピーカー105の音量を小さくする処理を行う。さらに、装置制御部102は、ジェスチャー検知部から「未検知」センサーイベントを受信するまで、所定の時間、例えば、1秒ごとに左側の赤外線LED106Lで固定の動作を繰り返す。すなわち、スピーカー105の音量を小さくし続けることになる。
ジェスチャー検知部101は、ユーザーの手が左側の赤外線LED106Lにかざされたことを検知すると、装置制御部102に対し、「左検知」センサーイベントを発行する。このとき、装置制御部102は、「左検知」センサーイベントを受信してから所定の時間、例えば、1秒以上他のセンサーイベントを受信しないときには、ユーザーの手が左側の赤外線LED106Lで固定されていると判断する。本実施の形態では、固定の動作として、スピーカー105の音量を小さくする処理を行う。さらに、装置制御部102は、ジェスチャー検知部から「未検知」センサーイベントを受信するまで、所定の時間、例えば、1秒ごとに左側の赤外線LED106Lで固定の動作を繰り返す。すなわち、スピーカー105の音量を小さくし続けることになる。
(3)「未検知」センサーイベント
ジェスチャー検知部101は、右側あるいは左側の赤外線LED106Lから手を遠ざけて赤外線センサー107で赤外線を検知できなくなると、装置制御部102に対し「未検知」センサーイベントを発行する。装置制御部102は、「右検知」センサーイベントまたは「左検知」センサーイベントを受け取った後、「未検知」センサーイベントを受け取るまでの間、手を検出していると判断する。
ジェスチャー検知部101は、右側あるいは左側の赤外線LED106Lから手を遠ざけて赤外線センサー107で赤外線を検知できなくなると、装置制御部102に対し「未検知」センサーイベントを発行する。装置制御部102は、「右検知」センサーイベントまたは「左検知」センサーイベントを受け取った後、「未検知」センサーイベントを受け取るまでの間、手を検出していると判断する。
(4)「左から右への移動」センサーイベント
ジェスチャー検知部101は、ユーザーが手を左側の赤外線LED106Lから、右側の赤外線LED106Rに移動させると、装置制御部102に対し「左検知」センサーイベントを発行した後、さらに「左から右への移動」センサーイベントを発行する。
ジェスチャー検知部101は、ユーザーが手を左側の赤外線LED106Lから、右側の赤外線LED106Rに移動させると、装置制御部102に対し「左検知」センサーイベントを発行した後、さらに「左から右への移動」センサーイベントを発行する。
装置制御部102は、ジェスチャー検知部101から「左検知」センサーイベント受信後1秒未満で「左から右への移動」センサーイベントを受信すると、手が左側から右側へ移動されたと判断する。本実施の形態では、左から右への移動に対応する動作として、次のチャンネルを選局する処理を行う。
ユーザーが手を左側の赤外線LED106Lで固定しスピーカー105の音量を小さくしている際に、音量を小さくし過ぎたと感じ、手を右側へ移動させて右側の赤外線LED106Rにおいて「固定」ジェスチャーを行った場合、ジェスチャー検知部101は、装置制御部102に対し「左から右へ移動」センサーイベントを発行する。このとき、装置制御部102が、手が右側の赤外線LED106Rへ移動されたと判断してしまうと、ユーザーはジェスチャーで音量に関する処理を行っているにもかかわらず、ユーザーの意図しないチャンネル選局が行われてしまうことになる。そこで、本実施の形態では、ユーザーによる意図しないジェスチャー操作を防ぐために、装置制御部102は、「固定」ジェスチャーと認識しているときに、ジェスチャー検知部101から「左から右へ移動」センサーイベントを受信したとしても、移動に対応する処理、すわなち、チャンネル選局の処理を行わないようにした。これにより、ユーザーの意図しないチャンネル変更が発生することはなくなる。
また、ユーザーが、左側の赤外線LED106Lから右側の赤外線LED106Rへ手を何度も移動させることで、連続的に「移動」ジェスチャーを行い、次のチャンネルへ次々と選局する場合には、右側の赤外線LED106Rに行った手を左側の赤外線LED106Lに戻す必要がある。ジェスチャー検知部101は、左側の赤外線LED106Lに手を戻す動作を検知し、装置制御部102に対し「右から左へ移動」センサーイベントを発行する。このとき、装置制御部102が、手が左側の赤外線LED106Lに移動したと判断してしまうと、ユーザーの意図しない、前のチャンネルへの選局動作が行われてしまい、次のチャンネルに次々と選局されずに、2つのチャンネルの間で選局が繰り返されることになる。従って、ユーザーによる意図しない前のチャンネルへの選局を防ぐために、装置制御部102は、「左から右へ移動」センサーイベントを受けて「移動」ジェスチャーと認識しているときに、ジェスチャー検知部101から反対方向の「右から左へ移動」センサーイベントを受信したとしても、前のチャンネルへの選局を行わないようにした。これにより、ユーザーの意図しないチャンネル選局が発生することはなくなる。
(5)「右から左への移動」センサーイベント
ジェスチャー検知部101は、ユーザーが手を右側の赤外線LED106Rから、左側の赤外線LED106Lに移動させると、装置制御部102に対し「右検知」センサーイベントを発行した後、さらに「右から左への移動」センサーイベントを発行する。
ジェスチャー検知部101は、ユーザーが手を右側の赤外線LED106Rから、左側の赤外線LED106Lに移動させると、装置制御部102に対し「右検知」センサーイベントを発行した後、さらに「右から左への移動」センサーイベントを発行する。
装置制御部102は、ジェスチャー検知部101から「右検知」センサーイベント受信後1秒未満で「右から左への移動」センサーイベントを受信すると、手が右側から左側へ移動されたと判断する。本実施の形態では、右から左への移動に対応する動作として、前のチャンネルを選局する処理を行う。
ユーザーが手を右側の赤外線LED106Rで固定しスピーカー105の音量を大きくしている際に、音量を大きくし過ぎたと感じ、手を左側へ移動させて左側の赤外線LED106Lにおいて「固定」ジェスチャーを行った場合、ジェスチャー検知部101は、装置制御部102に対し「右から左へ移動」センサーイベントを発行する。このとき、装置制御部102が、手が左側の赤外線LED106Lへ移動されたと判断してしまうと、ユーザーはジェスチャーで音量に関する処理を行っているにもかかわらず、ユーザーの意図しないチャンネル選局が行われてしまうことになる。そこで、本実施の形態では、ユーザーによる意図しないジェスチャー操作を防ぐために、装置制御部102は、「固定」ジェスチャーと認識しているときに、ジェスチャー検知部101から「右から左へ移動」センサーイベントを受信したとしても、移動に対応する処理、すわなち、チャンネル選局の処理を行わないようにした。これにより、ユーザーの意図しないチャンネル変更が発生することはなくなる。
また、ユーザーが、右側の赤外線LED106Rから左側の赤外線LED106Lへ手を何度も移動させることで、連続的に「移動」ジェスチャーを行い、前のチャンネルへ次々と選局する場合には、左側の赤外線LED106Lに行った手を右側の赤外線LED106Rに戻す必要がある。ジェスチャー検知部101は、右側の赤外線LED106Rに手を戻す動作を検知し、装置制御部102に対し「左から右へ移動」センサーイベントを発行する。このとき、装置制御部102が、手が右側の赤外線LED106Rに移動したと判断してしまうと、ユーザーの意図しない、次のチャンネルへの選局動作が行われてしまい、前のチャンネルに次々と選局されずに、2つのチャンネルの間で選局が繰り返されることになる。従って、ユーザーによる意図しない次のチャンネルへの選局を防ぐために、装置制御部102は、「右から左へ移動」センサーイベントを受けて「移動」ジェスチャーと認識しているときに、ジェスチャー検知部101から反対方向の「左から右へ移動」センサーイベントを受信したとしても、次のチャンネルへの選局を行わないようにした。これにより、ユーザーの意図しないチャンネル選局が発生することはなくなる。
次に、「固定」及び「移動」ジェスチャーを行ったときの操作感を示すフィードバック画面を説明する。フィードバック画面として、手の位置や手の動きに応じて、以下の3つを用意している。
(1)赤外線センサー反応時のフィードバック画面
装置制御部102は、2つの赤外線LED106L、106Rのどちらか一方に対して、手をかざす動作をしたときに、ジェスチャー検知部101から2つの赤外線LED106L、106Rのいずれかを検出したことを示す信号を受け取る。装置制御部102は、これにより手が検出されていると判定し、図5(a)に示すようなフィードバック画面を表示する。これにより、「固定」ジェスチャーを行う場合、最初に手を2つの赤外線LED106L、106Rのどちらか一方に対してかざした後、1秒以上さらに手をかざし続ける必要があり、この間、手をかざすという動作の操作感が得られないため、ユーザーが赤外線センサー107が反応していないという不安感を持たないようにすることができる。このフィードバック画面はジェスチャー検知部101が手を検出している間表示される。
装置制御部102は、2つの赤外線LED106L、106Rのどちらか一方に対して、手をかざす動作をしたときに、ジェスチャー検知部101から2つの赤外線LED106L、106Rのいずれかを検出したことを示す信号を受け取る。装置制御部102は、これにより手が検出されていると判定し、図5(a)に示すようなフィードバック画面を表示する。これにより、「固定」ジェスチャーを行う場合、最初に手を2つの赤外線LED106L、106Rのどちらか一方に対してかざした後、1秒以上さらに手をかざし続ける必要があり、この間、手をかざすという動作の操作感が得られないため、ユーザーが赤外線センサー107が反応していないという不安感を持たないようにすることができる。このフィードバック画面はジェスチャー検知部101が手を検出している間表示される。
図5(a)に示すように、赤外線センサー反応時のフィードバック画面は、手の検出を明示的に示す情報108と、今後の発生しうる手の動きに対応する処理を表示するためのスペース109を含む。この赤外線センサー反応時のフィードバック画面が表示されている間は、ユーザーの操作が確定していないので、赤外線センサー反応時のフィードバック画面は、今後の発生しうる手の動きに対応する処理を表示するためのスペース109を確保しておくことで、画面のちらつきを防止する。
また、図5(b)および図9、10に示すように、装置制御部102は、2つの赤外線LED106L、106Rの位置、つまり、第1の位置103Lおよび第2の位置103R(図2)を示す情報112をディスプレイ103の表示領域103bに表示させてもよい。これにより、図2に示すように、特に、2つの赤外線LED106L、106Rが額縁103aの角から少し離れた場所に設けられている場合でも、固定や移動のジェスチャーをするために手をどこにかざせばよいか、あるいは、どこまで移動させればよいかがユーザ-に分かり易くなる。このため、情報処理装置11の手の動きによる操作を向上させることができる。
(2)「移動」ジェスチャーのフィードバック画面
装置制御部102は、「移動」ジェスチャーであることを判断すると、ディスプレイ103に既に表示している赤外線センサー反応時のフィードバック画面のスペース109に、「移動」を意味する表示を追加することで、図6(a)、(b)に示すような「移動」ジェスチャーのフィードバック画面を表示する。より具体的には、装置制御部102は、図6(a)に示すように、手の検出を示す情報108およびスペース109に重ねて、所定の方向で次の放送を選択することを示す情報110uを表示領域103bに表示する。また、図6(b)に示すように、手の検出を示す情報108およびスペース109に重ねて、所定の方向で次の放送を選択することを示す情報110dを表示領域103bに表示する。
装置制御部102は、「移動」ジェスチャーであることを判断すると、ディスプレイ103に既に表示している赤外線センサー反応時のフィードバック画面のスペース109に、「移動」を意味する表示を追加することで、図6(a)、(b)に示すような「移動」ジェスチャーのフィードバック画面を表示する。より具体的には、装置制御部102は、図6(a)に示すように、手の検出を示す情報108およびスペース109に重ねて、所定の方向で次の放送を選択することを示す情報110uを表示領域103bに表示する。また、図6(b)に示すように、手の検出を示す情報108およびスペース109に重ねて、所定の方向で次の放送を選択することを示す情報110dを表示領域103bに表示する。
ユーザーは、図5の赤外線センサー反応時のフィードバック画面を確認しなくても、「移動」ジェスチャーを行うことができる。このとき、例えば、図7(a)、(b)に示すように、手の検出を示す情報108を含む赤外線センサー反応時のフィードバック画面(図7(a))と、「移動」ジェスチャーの所定の方向で次の放送を選択することを示す情報110dを含むフィードバック画面(図7(b))が全く異なるものであると、赤外線センサー反応時のフィードバック画面(図7(a))が一瞬だけ表示されたあと、「移動」ジェスチャーのフィードバック画面(図7(b))がすぐに表示されることになり、画面のちらつきが発生してしまうことになる。そこで、上述したように、図5の赤外線センサー反応時のフィードバック画面に確定ジェスチャーの情報が追加されるスペース109を予め確保している。これにより、スペース109以外は同じ画面であるので、図6の「移動」ジェスチャーのフィードバック画面が表示されても、画面のちらつきを防止することができる。
より具体的には、図10(a)に示すように、ある選択された放送がディスプレイの表示領域103bに表示されている状態で、ユーザーが左の赤外線LED106Lに手をかざすと、ジェスチャー検知部101が、手を検出する。ジェスチャー検知部101の出力に基づき、装置制御部102は、手が検出されている間、表示領域103bに手の検出を示す情報108およびスペース109を表示する。上述したように、赤外線LED106L、106Rの位置を示す情報112も表示する。
所定時間内に、ユーザーが手を左の赤外線LED106Lから右側の赤外線LED106Rへ移動させると、ジェスチャー検知部101が、手の第1の位置から第2の位置への移動を検出する。装置制御部102は、検出結果に基づき、チューナー104を制御し、所定の方向(例えば、チャンネル番号が増大する方向)に次の放送局(チャンネル)を選択し、選択された次の放送局の放送の映像を表示領域103bに表示する。また、選択された次の放送局の放送の音声をスピーカー105から出力する。さらに、手の検出を示す情報108と、スペース109に重ねられた所定の方向で次の放送局を選択することを示す情報110uとを表示領域103bに表示する。手の検出を示す情報108と、スペース109に重ねられた所定の方向で次の放送局を選択することを示す情報110uを、次の放送局への切換(表示および音声)が完了した後も、しばらく表示し続けてもよい。例えば、3秒程度これらの情報を表示してもよい。これにより、ジェスチャーによる操作が行われたことがユーザーの視覚によって認識され、優れた操作感が得られる。
また、さらに、装置制御部102は、選択された放送(チャンネル)の切換を示す操作音を放送の切換の際、スピーカーから出力させてもよい。この場合、例えば、音階が上がる操作音であれば、聴覚によってチャンネル番号が大きくなる方向に切り替えられたことがユーザーに認識されやすく、さらに優れた操作感が得られる。
上述の所定の方向と逆の方向、例えば、チャンネル番号が小さくなる方向に放送を切り替える場合も同様である。図10(b)に示すように、ある選択された放送がディスプレイの表示領域103bに表示されている状態で、ユーザーが右側の赤外線LED106Rに手をかざすと、ジェスチャー検知部101が、手を検出する。ジェスチャー検知部101の出力に基づき装置制御部102は、手が検出されている間、表示領域103bに手の検出を示す情報108およびスペース109を表示する。上述したように、赤外線LED106L、106Rの位置を示す情報112も表示する。
所定時間内に、ユーザーが手を右側の赤外線LED106Rから左側の赤外線LED106Lへ移動させると、ジェスチャー検知部101が、手の第2の位置から第1の位置への移動を検出する。装置制御部102は、検出結果に基づき、チューナー104を制御し、所定の方向と逆の方向(チャンネル番号が減少する方向)に次の放送局を選択し、選択された次の放送局の放送の映像を表示領域103bに表示する。また、選択された次の放送局の放送の音声をスピーカー105から出力する。さらに、手の検出を示す情報108と、スペース109に重ねられた所定の方向と逆の方向で次の放送局を選択することを示す情報110dとを表示領域103bに表示する。手の検出を示す情報108と、スペース109に重ねられた所定の方向で次の放送局を選択することを示す情報110dは、次の放送局への切換(表示および音声)が完了した後も、しばらく表示し続けてもよい。例えば、3秒程度これらの情報を表示してもよい。これにより、ジェスチャーによる操作が行われたことがユーザーの視覚によって認識され、優れた操作感が得られる。
また、さらに、装置制御部102は、選択された放送(チャンネル)の切換を示す操作音を放送の切換の際、スピーカーから出力させてもよい。この場合、所定の方向に放送を切り替える場合の操作音とは異なる操作音、例えば、音階が下がる操作音であれば、聴覚によってチャンネル番号が小さくなる方向に切り替えられたことがユーザーに認識されやすく、さらに優れた操作感が得られる。
(3)「固定」ジェスチャーのフィードバック画面
装置制御部102は、「固定」ジェスチャーであることを判断すると、ディスプレイ103に既に表示している赤外線センサー反応時のフィードバック画面のスペース109に、図8に示すような音量が大きくなることを示す情報または音量が小さくなることを示す情報111を重ねたフィードバック画面を表示領域103bに表示する。
装置制御部102は、「固定」ジェスチャーであることを判断すると、ディスプレイ103に既に表示している赤外線センサー反応時のフィードバック画面のスペース109に、図8に示すような音量が大きくなることを示す情報または音量が小さくなることを示す情報111を重ねたフィードバック画面を表示領域103bに表示する。
より具体的には、図9(a)に示すように、ある選択された放送がディスプレイの表示領域103bに表示されている状態で、ユーザーが左側の赤外線LED106Lに手をかざすと、ジェスチャー検知部101が、手を検出する。ジェスチャー検知部101の出力に基づき装置制御部102は、手が検出されている間、表示領域103bに手の検出を示す情報108およびスペース109を表示する。上述したように、赤外線LED106L、106Rの位置を示す情報112も表示する。
所定時間、ユーザーが手を固定(静止)させると、ジェスチャー検知部101が、手の「固定」を検出する。装置制御部102は、検出結果に基づき、手の固定を検出している間、選択された放送の音声の音量を増大させる。また、手の検出を示す情報108と、スペース109に重ねられた、そのときの音量を示す情報111とを表示領域103bに表示する。上述したように、例えば、1秒ごとに「固定」を検出し、所定の割合で音声を減少させる。手の検出を示す情報108と、スペース109に重ねられた、そのときの音量を示す情報111は、手が左側の赤外線LED106Lから離れ、ジェスチャー検知部101が手を検出しなくなった後も、しばらく表示し続けてもよい。例えば、3秒程度これらの情報を表示してもよい。これにより、ジェスチャーによる操作が行われたことがユーザーの視覚によって認識され、優れた操作感が得られる。
また、さらに、装置制御部102は、音量を減少させる前に操作音をスピーカーから出力させてもよい。これにより、音量が変化する前にユーザーは音量が変化することを認識することができ、さらに優れた操作感が得られる。
音声を増大させる場合にも同様の制御が行われる。図9(b)に示すように、ある選択された放送がディスプレイの表示領域103bに表示されている状態で、ユーザーが右側の赤外線LED106Rに手をかざすと、ジェスチャー検知部101が、手を検出する。ジェスチャー検知部101の出力に基づき装置制御部102は、手が検出されている間、表示領域103bに手の検出を示す情報108およびスペース109を表示する。上述したように、赤外線LED106L、106Rの位置を示す情報112も表示する。
所定時間、ユーザーが手を固定(静止)させると、ジェスチャー検知部101が、手の「固定」を検出する。装置制御部102は、検出結果に基づき、手の固定を検出している間、選択された放送の音声の音量を増大させる。また、手の検出を示す情報108と、スペース109に重ねられた、そのときの音量を示す情報111とを表示領域103bに表示する。上述したように、例えば、1秒ごとに「固定」を検出し、所定の割合で音声を増大させる。手の検出を示す情報108と、スペース109に重ねられた、そのときの音量を示す情報111は、手が右側の赤外線LED106Rから離れ、ジェスチャー検知部101が手を検出しなくなった後も、しばらく表示し続けてもよい。例えば、3秒程度これらの情報を表示してもよい。これにより、ジェスチャーによる操作が行われたことがユーザーの視覚によって認識され、優れた操作感が得られる。
また、さらに、装置制御部102は、音量を増大させる前に操作音をスピーカーから出力させてもよい。これにより、音量が変化する前にユーザーは音量が変化することを認識することができ、さらに優れた操作感が得られる。
以上、図を参照して本実施形態の情報処理装置を説明したが、本発明の情報処理装置は上記実施形態に限定されるものではない。例えば、上記実施形態では、ジェスチャー検知部101は、赤外線を用いて手の検出、ならびに手の位置および動きの検出を行っていたが、超音波や静電容量など、他の方法によって、手の検出ならびに手の位置および動きの検出を行ってもよい。また、検出のために用いる信号の送信部および受信部は、表示領域の上側に位置する額縁に設けられていたが、額縁の他の位置や、額縁以外の部分に、検出のために用いる信号の送信部および受信部を配置してもよい。検出のために用いる信号の送信部および受信部の数も上記実施形態と異なっていてもよい。
本発明は、特に、非接触の状態で情報処理装置の操作を行うことができるため、例えば、ユーザーの手が水など液体で濡れていたり、手が汚れていたりする使用環境や、ユーザーが手袋等をはめており、細かい手の動きが困難であったり、手の接触では検出が困難である使用環境において、好適に用いることのできる情報処理装置を提供することができる。
また、情報処理装置やジェスチャー検知部の大きさに特に制限はなく、手の固定および移動のジャスチャーが区別できる限り、種々の大きさの情報処理装置として本発明を実現することができる。具体的には、フォトフレームやタブレット型程度の大きさ以上の情報処理装置に本発明は好適に用いることができる。
本発明は、非接触センサーを使って手の動作をジェスチャーとして認識し、その認識結果であるジェスチャーに基づき操作可能な情報処理装置を提供できる。そのため、本発明は、非接触センサーを搭載したテレビ、フォトフレーム等の電子機器に適用可能である。
101 ジェスチャー検知部
102 装置制御部
103 ディスプレイ
103a 額縁
103b 表示領域
104 チューナー
105 スピーカー
106L、106R 赤外線LED
107 赤外線センサー
108 手の検出を示す情報
109 スペース
102 装置制御部
103 ディスプレイ
103a 額縁
103b 表示領域
104 チューナー
105 スピーカー
106L、106R 赤外線LED
107 赤外線センサー
108 手の検出を示す情報
109 スペース
Claims (22)
- 手の動きによる操作指示を受けることによって、対応する動作を行う情報処理装置であって、
手の動きを検出する検出部と、
前記検出部で検出した手の動きに応じた情報をディスプレイに表示する制御部とを備え、
前記制御部は、前記検出部が最初に手を検出した場合、その後一定時間内に、前記検出部で手の動きが検出されたかどうかで、異なる処理を行う情報処理装置。 - 前記制御部は、前記検出部で最初に手を検出したときに、その対応するジェスチャー情報を前記ディスプレイに表示する請求項1に記載の情報処理装置。
- 前記制御部は、前記検出部で最初に手を検出した場合、前記一定時間内に、前記検出部で手の動きを検出したときには前記ディスプレイに第1の情報を前記ジェスチャー情報に追加し、手の動きが止まっていると判断したときには前記ディスプレイに第2の情報を前記ジェスチャー情報に追加する請求項2に記載の情報処理装置。
- 前記制御部は、前記検出部で最初に手を検出した場合、前記一定時間内に、手の動きが止まっていると判断したとき、前記検出部で手の動きを検出できなくなるまで、手の動きが止まっていることに対応した処理をし続けることを特徴とする請求項3に記載の情報処理装置。
- 前記制御部は、手の動きが止まっていることに対応した処理をし続けたあと、前記検出部で手の動きを検出し、その後異なる地点で手の動きが止まっていると判断したときには、前記検出部で検出した手の動きを考慮しないことを特徴とする請求項4に記載の情報処理装置。
- 前記制御部は、手の動きを検出したあと、前記検出部で反対の方向の手の動きを検出し、その後さらに前記手の動きと同じ方向の動きを検出したときには、前記検出部で検出した前記反対方向の手の動きを考慮しないことを特徴とする請求項3に記載の情報処理装置。
- 前記制御部は、前記検出部が最初に手を検出したときに、前記検出部の位置情報をさらにディスプレイに表示する請求項1から6のいずれかに記載の情報処理装置。
- 前記制御部は、前記第1の情報を前記ジェスチャー情報に追加する際、スピーカーから手の動きに応じた異なる操作音を出力させる請求項2に記載の情報処理装置。
- 前記制御部は、前記第2の情報を前記ジェスチャー情報に追加する際、スピーカーから操作音を出力させる請求項2に記載の情報処理装置。
- 手の動きによって操作を行う情報処理装置であって、
表示領域および前記表示領域の周囲に位置する額縁を有する表示部と、
前記額縁に設けられ、手の検出および前記手の動きを検出する検出部と、
前記検出部の出力結果に基づいて前記手を検出していると判断している間、前記表示部の前記表示領域に手の検出を示す情報を表示し、かつ、前記手の検出開始から所定の時間内における前記手の動きに応じた情報を前記表示部の前記表示領域に表示するとともに前記手の動きに応じて対象機器の制御を行う制御部と
を備えた情報処理装置。 - 音声を出力するスピーカーをさらに備え、
前記対象機器はテレビ放送を受信するチューナーであり、
前記制御部は、前記チューナーを制御することにより、所定のテレビ放送を選択し、選択された放送の映像を前記表示部の前記表示領域に表示し、前記選択された放送の音声を前記スピーカーから出力する請求項10に記載の情報処理装置。 - 前記検出部は、前記所定の時間内において、前記額縁における第1の位置および前記第1の位置から離れた第2の位置のいずれか一方において前記手が静止していること、または、前記所定の時間内において、前記手が前記第1の位置および前記第2の位置の一方から他方へ移動していることを検出する請求項11に記載の情報処理装置。
- 前記制御部は、前記所定の時間内において、前記検出部が前記手を検出しなくなった場合に前記表示部の前記表示領域に表示していた手の検出を示す情報の表示を停止する請求項12に記載の情報処理装置。
- 前記検出部が、前記所定の時間内において、前記額縁における第1の位置において前記手が静止していることを検出した場合、前記制御部は、前記手の静止を検出している間、前記選択された放送の音声の音量を増大させ、かつ、そのときの音量を示す情報を前記表示領域に表示し、
前記検出部が、前記所定の時間内において、前記額縁における第2の位置において前記手が静止していることを検出した場合、前記制御部は、前記手の静止を検出している間、前記選択された放送の音声の音量を減少させ、かつ、そのときの音量を示す情報を前記表示領域に表示する請求項13に記載の情報処理装置。 - 前記検出部が、前記第1の位置または前記第2の位置における前記手の静止の検出終了後、所定の時間内に前記手が前記第1の位置および前記第2の位置の一方から他方へ移動していることを検出した場合、前記制御部は、前記移動に対応する前記チューナーの制御を行わない請求項14に記載の情報処理装置。
- 前記検出部が、前記所定の時間内において、前記手が前記第1の位置から前記第2の位置へ移動していることを検出した場合、前記制御部は、前記チューナーを制御することにより、所定の方向で次の放送局を選択し、選択された次の放送局による放送の映像を前記表示部の前記表示領域に表示し、前記選択された次の放送局による放送の音声を前記スピーカーから出力し、かつ、所定の方向で次の放送局を選択することを示す情報を前記表示領域に表示し、
前記検出部が、前記所定の時間内において、前記手が前記第2の位置から前記第1の位置へ移動していることを検出した場合、前記制御部は、前記チューナーを制御することにより、所定の方向とは逆の方向で次の放送局を選択し、選択された次の放送局による放送の映像を前記表示部の前記表示領域に表示し、前記選択された次の放送局による放送の音声を前記スピーカーから出力し、かつ、所定の方向とは逆の方向で次の放送局を選択することを示す情報を前記表示領域に表示する請求項12に記載の情報処理装置。 - 前記検出部が、前記手の移動の検出終了後、所定の時間内に前記手が最初の移動と逆の方向へ移動していることを検出した場合、前記制御部は、前記逆の方向への移動に対応する前記チューナーの制御を行わない請求項16に記載の情報処理装置。
- 前記制御部は、前記手の検出を示す情報を前記表示領域に表示する際、前記手の検出を示す情報に隣接してスペースをさらに表示し、
前記制御部は、前記表示領域において、前記そのときの音量を示す情報、前記所定の方向で次の放送局を選択することを示す情報および前記所定の方向と逆の方向で次の放送局を選択することを示す情報のいずれかを前記スペースと同じ位置に表示する請求項14から17のいずれかに記載の情報処理装置。 - 前記制御部は、前記検出部が前記手を検出している間、前記第1の位置および前記第2の位置を示す情報を前記表示領域に表示する請求項10から18のいずれかに記載の情報処理装置。
- 前記制御部は、所定の方向で次の放送局を選択することを示す情報および所定の方向と逆の方向で次の放送局を選択することを示す情報を表示する際、スピーカーから次の放送局を選択する方向に応じて異なる操作音を出させる請求項11から19のいずれかに記載の情報処理装置。
- 前記制御部は、前記選択された放送局の放送の音声の音量を増大または減少させる際、スピーカーから操作音を出させる請求項11から20のいずれかに記載の情報処理装置。
- 前記検出部は、前記額縁の第1の位置および前記第2の位置にそれぞれ設けられた赤外線発光素子と、前記額縁の第1の位置と前記第2の位置との間に設けられた、赤外線検出器とを含む請求項10から21のいずれかに記載の情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/988,635 US8891025B2 (en) | 2010-11-24 | 2011-02-17 | Information processing device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-260866 | 2010-11-24 | ||
JP2010260866A JP2014029565A (ja) | 2010-11-24 | 2010-11-24 | 情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012070161A1 true WO2012070161A1 (ja) | 2012-05-31 |
Family
ID=46145535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/000886 WO2012070161A1 (ja) | 2010-11-24 | 2011-02-17 | 情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8891025B2 (ja) |
JP (1) | JP2014029565A (ja) |
WO (1) | WO2012070161A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014032502A (ja) * | 2012-08-02 | 2014-02-20 | Alpine Electronics Inc | 操作入力装置、それを用いた車載機器及び操作入力処理方法 |
CN103729121A (zh) * | 2012-10-15 | 2014-04-16 | Lg电子株式会社 | 图像显示设备及其操作方法 |
JP2014085967A (ja) * | 2012-10-25 | 2014-05-12 | Nec Personal Computers Ltd | 情報処理装置、情報処理方法、及びプログラム |
JP2015047885A (ja) * | 2013-08-29 | 2015-03-16 | トヨタ車体株式会社 | 車両搭載インタラクティブシステム |
WO2015038645A1 (en) * | 2013-09-11 | 2015-03-19 | Motorola Mobility Llc | Electronic device with gesture detection system and methods for using the gesture detection system |
US9029780B2 (en) | 2013-09-11 | 2015-05-12 | Google Technology Holdings LLC | Electronic device with gesture detection system and methods for using the gesture detection system |
JP2018109938A (ja) * | 2017-08-08 | 2018-07-12 | 京セラ株式会社 | 電子機器 |
JP2018109871A (ja) * | 2017-01-04 | 2018-07-12 | 京セラ株式会社 | 電子機器 |
JP2022522491A (ja) * | 2019-03-01 | 2022-04-19 | 華為技術有限公司 | ジェスチャ処理方法およびデバイス |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11301345B2 (en) * | 2011-11-30 | 2022-04-12 | Red Hat, Inc. | Desktop sound source discovery |
CN104041011B (zh) * | 2011-12-27 | 2017-07-28 | 索尼公司 | 连接装置 |
CN103576578B (zh) * | 2013-11-05 | 2017-04-12 | 小米科技有限责任公司 | 一种采用耳机线对终端进行控制的方法、装置和设备 |
EP3127346A4 (en) * | 2014-03-31 | 2017-11-08 | Harman International Industries, Incorporated | Gesture control earphone |
CN105992080A (zh) * | 2015-04-28 | 2016-10-05 | 乐视致新电子科技(天津)有限公司 | 一种音箱设备的控制方法、装置及音箱设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005063090A (ja) * | 2003-08-11 | 2005-03-10 | Keio Gijuku | ハンドパターンスイッチ装置 |
JP2010154405A (ja) * | 2008-12-26 | 2010-07-08 | Toshiba Corp | 映像再生装置、制御信号生成装置及び制御信号生成方法 |
WO2010095204A1 (ja) * | 2009-02-18 | 2010-08-26 | 株式会社 東芝 | インターフェース制御装置、及びその方法 |
JP2010211735A (ja) * | 2009-03-12 | 2010-09-24 | Toshiba Tec Corp | 商品データ入力装置 |
JP2010250492A (ja) * | 2009-04-14 | 2010-11-04 | Sony Corp | 情報処理装置、情報処理方法及び情報処理プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
JP4267648B2 (ja) * | 2006-08-25 | 2009-05-27 | 株式会社東芝 | インターフェース装置及びその方法 |
US9304592B2 (en) * | 2010-11-12 | 2016-04-05 | At&T Intellectual Property I, L.P. | Electronic device control based on gestures |
-
2010
- 2010-11-24 JP JP2010260866A patent/JP2014029565A/ja active Pending
-
2011
- 2011-02-17 US US13/988,635 patent/US8891025B2/en not_active Expired - Fee Related
- 2011-02-17 WO PCT/JP2011/000886 patent/WO2012070161A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005063090A (ja) * | 2003-08-11 | 2005-03-10 | Keio Gijuku | ハンドパターンスイッチ装置 |
JP2010154405A (ja) * | 2008-12-26 | 2010-07-08 | Toshiba Corp | 映像再生装置、制御信号生成装置及び制御信号生成方法 |
WO2010095204A1 (ja) * | 2009-02-18 | 2010-08-26 | 株式会社 東芝 | インターフェース制御装置、及びその方法 |
JP2010211735A (ja) * | 2009-03-12 | 2010-09-24 | Toshiba Tec Corp | 商品データ入力装置 |
JP2010250492A (ja) * | 2009-04-14 | 2010-11-04 | Sony Corp | 情報処理装置、情報処理方法及び情報処理プログラム |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014032502A (ja) * | 2012-08-02 | 2014-02-20 | Alpine Electronics Inc | 操作入力装置、それを用いた車載機器及び操作入力処理方法 |
EP2720130A3 (en) * | 2012-10-15 | 2017-01-25 | LG Electronics, Inc. | Image display apparatus and method for operating the same |
CN103729121A (zh) * | 2012-10-15 | 2014-04-16 | Lg电子株式会社 | 图像显示设备及其操作方法 |
CN103729121B (zh) * | 2012-10-15 | 2017-07-28 | Lg电子株式会社 | 图像显示设备及其操作方法 |
JP2014085967A (ja) * | 2012-10-25 | 2014-05-12 | Nec Personal Computers Ltd | 情報処理装置、情報処理方法、及びプログラム |
JP2015047885A (ja) * | 2013-08-29 | 2015-03-16 | トヨタ車体株式会社 | 車両搭載インタラクティブシステム |
WO2015038645A1 (en) * | 2013-09-11 | 2015-03-19 | Motorola Mobility Llc | Electronic device with gesture detection system and methods for using the gesture detection system |
US9423500B2 (en) | 2013-09-11 | 2016-08-23 | Google Technology Holdings LLC | Electronic device with gesture detection system and methods for using the gesture detection system |
US9029780B2 (en) | 2013-09-11 | 2015-05-12 | Google Technology Holdings LLC | Electronic device with gesture detection system and methods for using the gesture detection system |
US10042429B2 (en) | 2013-09-11 | 2018-08-07 | Google Technology Holdings LLC | Electronic device with gesture detection system and methods for using the gesture detection system |
US10606365B2 (en) | 2013-09-11 | 2020-03-31 | Google Technology Holdings LLC | Electronic device with gesture detection system and methods for using the gesture detection system |
US11061481B2 (en) | 2013-09-11 | 2021-07-13 | Google Technology Holdings LLC | Electronic device with gesture detection system and methods for using the gesture detection system |
US11644903B2 (en) | 2013-09-11 | 2023-05-09 | Google Technology Holdings LLC | Electronic device with gesture detection system and methods for using the gesture detection system |
JP2018109871A (ja) * | 2017-01-04 | 2018-07-12 | 京セラ株式会社 | 電子機器 |
JP2018109938A (ja) * | 2017-08-08 | 2018-07-12 | 京セラ株式会社 | 電子機器 |
JP2022522491A (ja) * | 2019-03-01 | 2022-04-19 | 華為技術有限公司 | ジェスチャ処理方法およびデバイス |
JP7391102B2 (ja) | 2019-03-01 | 2023-12-04 | 華為技術有限公司 | ジェスチャ処理方法およびデバイス |
Also Published As
Publication number | Publication date |
---|---|
US8891025B2 (en) | 2014-11-18 |
JP2014029565A (ja) | 2014-02-13 |
US20130242206A1 (en) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012070161A1 (ja) | 情報処理装置 | |
US9250707B2 (en) | Image display apparatus and method for operating the same | |
US20130044080A1 (en) | Dual-view display device operating method | |
KR102048991B1 (ko) | 영상표시장치 및 그 제어방법 | |
WO2012104288A1 (en) | A device having a multipoint sensing surface | |
KR20150014290A (ko) | 영상표시장치 및 영상표시장치 동작방법 | |
US20150350587A1 (en) | Method of controlling display device and remote controller thereof | |
JP4814673B2 (ja) | デジタル放送受信装置 | |
WO2011040514A1 (ja) | 操作装置およびこれを備えた電子機器 | |
KR20170078509A (ko) | 센싱 장치 | |
JP4262687B2 (ja) | リモコンシステム | |
KR101336289B1 (ko) | 전자기기 제어장치 및 그 방법 | |
KR101833790B1 (ko) | 포스 입력을 이용하여 다양한 모드들을 실현하는 미디어 시스템 및 방법 | |
KR20150019123A (ko) | 영상표시장치 및 영상표시장치 동작방법 | |
KR102254857B1 (ko) | 영상 표시 장치 | |
US9940012B2 (en) | Display device, calibration device and control method thereof | |
KR20130042325A (ko) | 원격제어장치 | |
KR20140000928A (ko) | 영상표시장치 및 영상표시장치의 화면표시방법 | |
KR101843762B1 (ko) | 이미지 처리 장치 및 이에 있어서 3차원 이미지로 리모콘의 force 입력을 표시하는 방법 | |
EP4372912A1 (en) | Antenna device and image display device having same | |
JP2014110612A (ja) | リモコン装置、遠隔操作システム、遠隔操作方法 | |
JP2010233157A (ja) | リモコン装置を備えた電子機器 | |
US20130239061A1 (en) | Display apparatus and control method thereof | |
US20190020848A1 (en) | Image display apparatus | |
JP2013153292A (ja) | 映像音響機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11843841 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13988635 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11843841 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |