JP5499106B2 - Display control apparatus, display control method, information display system, and program - Google Patents
Display control apparatus, display control method, information display system, and program Download PDFInfo
- Publication number
- JP5499106B2 JP5499106B2 JP2012141293A JP2012141293A JP5499106B2 JP 5499106 B2 JP5499106 B2 JP 5499106B2 JP 2012141293 A JP2012141293 A JP 2012141293A JP 2012141293 A JP2012141293 A JP 2012141293A JP 5499106 B2 JP5499106 B2 JP 5499106B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- hand
- display
- unit
- recognition target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000001514 detection method Methods 0.000 claims description 75
- 230000033001 locomotion Effects 0.000 claims description 46
- 230000004044 response Effects 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000006854 communication Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 210000000689 upper leg Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000011022 operating instruction Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000007937 eating Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Description
本発明は、表示制御装置、表示制御方法、情報表示システム、およびプログラムに関する。 The present invention relates to a display control device, a display control method, an information display system, and a program.
従来、使用者のジェスチャー等を検出して情報の選択および表示等の指示を入力させ、当該使用者のジェスチャー等に応じたカーソルと、当該使用者の指示等に応じた情報とを表示する情報表示装置が知られている（例えば、特許文献１および２参照）。
特許文献１ 特開２０００−１８１６０１号公報
特許文献２ 国際公開第２００７／０８８９３９号
Conventionally, information that detects a user's gesture, etc., inputs an instruction for selecting and displaying information, and displays a cursor according to the user's gesture, etc., and information according to the user's instruction, etc. Display devices are known (see, for example, Patent Documents 1 and 2).
Patent Document 1 Japanese Patent Application Laid-Open No. 2000-181601 Patent Document 2 International Publication No. 2007/088939
しかしながら、このような情報表示装置において、使用者が手に物を持った状態でジェスチャー入力をすると、誤検出または誤動作を引き起こしていた。例えば、使用者が物を手に持った場合に、使用者が当該物で指示を入力するのか、物を持っていない方の手で入力するのか、ジェスチャーから判断することは困難であった。また、使用者が、例えば、飲食をする、歯磨きをする、またはひげを剃る等の動作と共にジェスチャー入力をした場合に、情報表示装置へのジェスチャー入力を検出することも困難であった。 However, in such an information display device, if a user performs a gesture input while holding an object in his / her hand, erroneous detection or malfunction is caused. For example, when a user holds an object in his / her hand, it is difficult to determine from the gesture whether the user inputs an instruction with the object or the hand without the object. It is also difficult to detect a gesture input to the information display device when the user performs a gesture input together with actions such as eating and drinking, brushing teeth, or shaving the beard, for example.
本発明の第１の態様においては、使用者の手の動きに応じて表示装置の表示内容を制御する表示制御装置であって、使用者を撮像した画像を入力する画像入力部と、画像入力部が入力した画像中における、使用者の予め定められた操作用の手を認識対象とし、当該認識対象の動きを認識したことに応じて、表示装置の表示内容に対する操作指示を取得する指示取得部と、操作指示に応じて表示装置の表示内容を制御する表示制御部と、操作用の手が物を持ったことを検出する検出部と、操作用の手が物を持ったことが検出されたことに応じて、指示取得部の認識対象を切り替える切替部と、を備える表示制御装置を提供する。 According to a first aspect of the present invention, there is provided a display control device that controls display contents of a display device in accordance with the movement of a user's hand, an image input unit that inputs an image of the user, and an image input Acquisition of an instruction for acquiring an operation instruction for the display content of the display device in response to the recognition of the movement of the recognition target with the user's predetermined operation hand in the image input by the unit as a recognition target A display control unit that controls the display content of the display device in response to an operation instruction, a detection unit that detects that the operating hand has an object, and that the operating hand has an object A display control device is provided that includes a switching unit that switches a recognition target of the instruction acquisition unit in response to the instruction.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、本発明の実施の形態を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。 Embodiments of the present invention will be described below, but the following embodiments do not limit the invention according to the claims.
図１は、本実施形態に係る情報表示システム１０の第１の構成例を使用者２０と共に示す。情報表示システム１０は、使用者の操作に用いる手指を認識し、当該使用者の操作指示等に応じた情報を表示する。また、情報表示システム１０は、使用者の操作に用いる手が物を持ったことに応じて、操作用の認識対象を切り替え、切り替えた認識対象の操作指示等に応じた情報を表示する。本実施形態において、情報表示システム１０は、使用者２０の指示等に応じた情報を表示する例を説明する。
FIG. 1 shows a first configuration example of an
使用者２０は、情報表示システム１０に手指等のジェスチャー等で指示を入力し、ゲーム、メールの送受信、Ｗｅｂの閲覧、ソーシャルネットワークへの参加、画像または動画の閲覧、および文書編集等、情報の表示およびアプリケーションの実行等を指示する。図１は、使用者２０が右手に持った物２４を用いて情報表示システム１０にジェスチャー入力する例を示す。情報表示システム１０は、表示装置１００と、検出センサ装置２００と、表示制御装置３００とを備える。
The
表示装置１００は、表示領域１１０に、使用者２０の指示に応じた情報を表示する。表示装置１００は、当該情報と共に、使用者２０を表示してもよい。表示装置１００は、使用者が複数いる場合、表示領域１１０を複数に分割し、当該複数の使用者に対応する情報を対応する表示領域にそれぞれ表示してもよい。また、表示装置１００は、使用者２０のシルエットを表示してもよい。
The
表示装置１００は、二次元画像または三次元画像を表示する、液晶ディスプレイ、プラズマディスプレイまたは有機エレクトロルミネッセンスディスプレイ等の電子表示装置であってよい。図１に示す例における表示領域１１０には、使用者２０の指示に応じて、カーソル５０、情報１１６およびアイコン等が表示される。
The
カーソル５０は、使用者２０の操作用の手２２または使用者２０が手に持った物２４に対応して表示される。表示装置１００が使用者２０の情報と共に使用者２０の鏡像を表示する場合、カーソル５０は、例えば、使用者２０の操作用の手２２または手に持った物２４の鏡像として表示する。この場合、カーソル５０は、予め定められた色、縁取り、または点滅等の強調表示を加えて、操作用の手２２または手に持った物２４の鏡像を表示してもよい。
The
また、カーソル５０は、予め定められた形状のポインタ画像でよい。また、カーソル５０は、使用者２０の指示または予め定めた設定により、表示されなくてもよい。図１は、使用者２０の鏡像表示をオフにして、矢印の形状のカーソル５０を表示させた例を示す。
The
情報１１６は、例えば、ウィンドウ表示される文書、画像、動画、またはＷｅｂコンテンツである。これに代えて、情報１１６は、使用者２０が実行させたアプリケーションの実行画面であってもよい。
The
検出センサ装置２００は、使用者２０の身体の空間上の位置を検出する。検出センサ装置２００は、例えば、表示装置１００を使用する使用者が複数いる場合、当該複数の使用者を検出する。検出センサ装置２００は、使用者２０の身体の一部または全体の二次元および／または三次元空間上の位置を検出してよい。検出センサ装置２００は、例えば、光波測距センサおよび／またはビデオカメラ等の撮像部を有する。
The
光波測距センサは、光波測距を用いて距離データの画像を生成し、生成した距離データの画像から使用者を検出する。一例として、光波測距センサは、赤外線等の光を照射する投光器、集光レンズ等の光学系、および、複数の画素を含み、画素毎に使用者からの反射光の検出時間を測定する測距素子を有する。光波測距センサは、使用者に赤外線等を照射し、その反射光を光学系により測距素子の受光面上に結像させ、測距素子の各画素が測定した反射光の検出時間を画像内の各画素の輝度値等に対応付けすることで、使用者の光波測距センサからの距離情報を含む画像を取得する。 The light wave ranging sensor generates an image of distance data using the light wave ranging, and detects a user from the generated image of distance data. As an example, an optical distance measuring sensor includes a projector that irradiates light such as infrared rays, an optical system such as a condenser lens, and a plurality of pixels, and measures a detection time of reflected light from a user for each pixel. It has a distance element. The optical distance measuring sensor irradiates the user with infrared rays and the like, forms an image of the reflected light on the light receiving surface of the distance measuring element by an optical system, and displays the detection time of reflected light measured by each pixel of the distance measuring element. An image including distance information from the user's light wave distance measuring sensor is acquired by associating it with the luminance value of each of the pixels.
このように、光波測距センサは、三次元空間上の位置情報と共に使用者の画像を取得するので、使用者と背景画像とを分離することができる。また、光波測距センサは、このような検出を連続して実行することで、使用者の体の動き等を検出することができる。また、光波測距センサは、一例として、使用者を体、頭、上腕、下腕、手指、上腿、および下腿等に分離して各部を検出し、各部毎の検出を連続することで使用者のジェスチャーを精度よく検出する。 As described above, the optical distance measuring sensor acquires the image of the user together with the position information in the three-dimensional space, so that the user and the background image can be separated. Further, the light wave ranging sensor can detect the movement of the user's body and the like by continuously executing such detection. In addition, the optical distance measuring sensor is used by separating the user into the body, head, upper arm, lower arm, fingers, upper thigh, lower thigh, etc., and detecting each part, and continuously detecting each part. Accurately detect the person's gesture.
撮像部は、使用者を撮像する。撮像部は、１又は複数のビデオカメラを有し、使用者２０を含む画像を取得して使用者２０を検出する。撮像部は、撮像した画像より、画像処理によって各使用者を検出する。例えば、撮像部は、使用者２０を時間的に連続して撮像した連続画像から、一つ前に撮像された画像との差分を算出した複数の差分画像を取得して、使用者２０の動き等を検出する。これに代えて、撮像部は、２以上の視点から使用者２０の画像を撮像して使用者２０の視差画像を取得し、当該視差画像の視差情報に基づいて、使用者２０の動き等を検出してもよい。
The imaging unit images the user. The imaging unit has one or a plurality of video cameras, acquires an image including the
ここで、検出センサ装置２００は、上記の光波測距センサおよび撮像部を有し、使用者２０の距離情報および動画像をそれぞれ検出し、使用者２０の動きの検出感度を向上させてよい。検出センサ装置２００は、使用者２０の検出結果を表示制御装置３００に供給する。
Here, the
表示制御装置３００は、使用者２０の手の動きに応じて表示装置１００の表示内容を制御する。即ち、表示制御装置３００は、検出センサ装置２００の検出結果を入力し、使用者２０の動きの検出結果から当該使用者２０の指示を特定し、当該指示に応じて表示装置１００の表示内容を制御する。表示制御装置３００は、画像入力部３０２と、指示取得部３１０と、検出部３２０と、切替部３２２と、記憶部３３０と、実行部３４０と、表示制御部３５０と、カーソル制御部３６０と、を有する。
The
画像入力部３０２は、使用者２０を撮像した画像を入力する。本例において、画像入力部３０２は、検出センサ装置２００に接続され、検出センサ装置２００の検出結果が入力される。画像入力部３０２は、画像の他に、光波測距センサが検出した使用者２０の距離情報等が入力されてもよい。
The
指示取得部３１０は、画像入力部３０２が入力した画像中における、使用者２０の予め定められた操作用の手２２を認識対象とし、当該認識対象の動きを認識したことに応じて、表示装置１００の表示内容に対する操作指示を取得する。また、指示取得部３１０は、認識対象が切り替わって更新されたことに応じて、更新された認識対象の動きに対応する操作指示を検出する。
The
これに加えて、指示取得部３１０は、検出センサ装置２００の検出結果に基づき、使用者２０の動きから使用者２０の指示を検出してもよい。例えば、指示取得部３１０は、表示装置１００の前で人が立ち止まったことに応じて、当該立ち止まった人を使用者２０として認識して使用者２０のジェスチャー入力の検出を開始する。また、指示取得部３１０は、使用者２０が表示装置１００の前から立ち去ったことに応じて、当該使用者２０のジェスチャー入力の検出を停止して使用者２０としての認識を解除してよい。指示取得部３１０は、使用者の人数の増減を検出してもよい。
In addition, the
また、指示取得部３１０は、使用者２０の右手または左手を認識対象とし、表示装置１００に表示された情報等への選択、選択解除、移動、および実行等の指示を検出する。また、指示取得部３１０は、使用者２０の右手または左手が持った物を認識対象とし、表示装置１００に表示された情報等への指示を検出する。また、指示取得部３１０は、表示装置１００が情報をＧＵＩによる操作入力を有するウィンドウ表示する場合に、当該操作入力に対応する使用者２０の認識対象からの指示を検出してよい。
Further, the
例えば、指示取得部３１０は、使用者２０が手のひら、指、または手に持った物を表示装置１００の表示面に向けて押す動作を検出することで、情報の選択、ボタンの押し下げ、およびウィンドウの切り替え等の指示を検出する。また、使用者２０が手のひら、指、または手に持った物を表示装置１００の表示面に向けて繰り返し押す動作を検出することで、アプリケーションの実行等の指示を検出してよい。
For example, the
また、指示取得部３１０は、使用者２０が画面上の情報を選択した後に、選択した手のひら、指、または手に持った物といった認識対象を移動させる動作を検出することで、情報の画面上での移動、および移動先のアプリケーション実行等の指示を検出してよい。ここで、指示取得部３１０は、使用者２０が選択指示をし、かつ、選択指示をした認識対象の表示装置１００における表示位置に情報が表示されている場合、使用者２０の当該情報の選択を検出してよい。
In addition, the
指示取得部３１０は、例えば、使用者２０の複数の画像の差分画像から使用者の動きを検出し、認識対象を特定する。指示取得部３１０は、一例として、使用者２０の画像から当該使用者２０の顔部分および胴体部分を認識する認識部と、顔部分および胴体部分の右および左に位置する肌色領域を検索する検索部と、予め定められた認識対象の使用者の操作用の手２２に対応する肌色領域を認識対象として特定する特定部と、を有する。
For example, the
認識部は、一例として、使用者２０の画像から、使用者２０の動きに応じて背景画像と使用者２０とを分離する。また、認識部は、使用者２０の動きに応じて当該使用者２０の顔部分および胴体部分を認識してもよく、予め定められた形状等とのパターンマッチングを実行して当該使用者２０の顔部分および胴体部分を認識してもよい。
For example, the recognition unit separates the background image and the
また、認識部は、検出センサ装置２００が使用者２０の体、頭、上腕、下腕、手指、上腿、および下腿等を分離して各部を検出できる光波測距センサ等を有する場合、当該光波測距センサの検出結果より、使用者２０の顔部分および胴体部分を認識してもよい。
In addition, the recognition unit, when the
検索部は、使用者２０の画像から、使用者２０の右手または左手に位置する肌色領域を検索する。検索部は、予め定められた形状等とのパターンマッチングを実行して当該使用者２０の右手または左手の領域を検索してもよい。認識部および／または検索部がパターンマッチングを実行する場合、マッチングすべき予め定められた形状は、ユーザに対応づけられて予め登録されていてもよく、これに代えて、一般的な人間の形状として予め登録されていてもよい。
A search part searches the skin color area | region located in the user's 20 right hand or left hand from the user's 20 image. The search unit may perform pattern matching with a predetermined shape or the like to search the right hand or left hand region of the
特定部は、認識対象として予め定められた使用者２０の右手または左手に対応する、顔部分および胴体部分の右または左に位置する肌色領域を認識対象として特定する。ここで、特定部は、一例として、肌色領域と、使用者２０の左右の肩および肘との動きに応じて、肌色領域に対応する手が右手および左手のいずれかを判断する。このように、特定部は、使用者２０の手の関節の動きを追従して、関節の動きを元に右手および左手を判別することで、認識対象の特定の精度を向上させてよい。
The specifying unit specifies a skin color region corresponding to the right hand or left hand of the
検出部３２０は、指示取得部３１０に接続され、指示取得部３１０が特定した認識対象に基づき、使用者２０の操作用の手２２が物を持ったことを検出する。また、検出部３２０は、使用者２０の操作用の手２２が持っていた物を離したことを検出する。また、検出部３２０は、使用者２０の操作用の手２２が持っていた物を、他方の手に手渡したことを検出してもよい。
The
検出部３２０は、例えば、認識対象が手の場合に、認識対象に対応する肌色領域が移動しても当該肌色領域に隣接する領域の色が略同一の場合に、使用者２０の操作用の手２２が物を持ったことを検出する。これに代えて、またはこれに加えて、検出部３２０は、当該肌色領域に隣接する略同一の色の領域の形状が、認識対象に対応する肌色領域が移動してもほとんど変化がない場合に、使用者２０の操作用の手２２が物を持ったことを検出してもよい。ここで、検出部３２０は、一例として、肌色領域の移動の前後において、当該領域の形状をマッチングさせて、形状の変化を検出する。
For example, when the recognition target is a hand and the skin color region corresponding to the recognition target moves, the
また、検出部３２０は、認識対象が物の場合に、認識対象に対応する領域が、使用者２０の認識対象を持つ手に対応する肌色領域の移動に対応して移動しなくなったことに応じて、認識対象である物が手から離れたことを検出する。また、検出部３２０は、認識対象が物の場合に、認識対象を持つ手に対応する肌色領域と隣接する領域の色が略同一でなくなったことに応じて、認識対象である物が手から離れたことを検出する。
The detecting
切替部３２２は、検出部３２０に接続され、使用者２０の操作用の手が物を持ったことが検出されたことに応じて、指示取得部３１０の認識対象を切り替える。例えば、切替部３２２は、操作用の手が物を持ったことが検出された場合に、認識対象を操作用の手から操作用の手が持った当該物に切り替える。これに代えて、切替部３２２は、操作用の手が物を持ったことが検出された場合に、認識対象を使用者２０の当該物を持っていない方の手に切り替えてもよい。
The
また、切替部３２２は、使用者２０の操作用の手２２が持っていた物を離したことに応じて、指示取得部３１０の認識対象を切り替える。例えば、切替部３２２は、認識対象が物の場合に、使用者２０が当該物を手から離したことが検出されたことに応じて、認識対象を当該物から使用者２０の当該物を離した手に切り替える。これに代えて、切替部３２２は、操作用の手２２が持っていた物を離したことに応じて、認識対象として予め定められた使用者２０の操作用の手２２に切り替えてもよい。
In addition, the
また、切替部３２２は、使用者２０の操作用の手２２が持っていた物を、他方の手に手渡したことに応じて、指示取得部３１０の認識対象を切り替えてもよい。例えば、切替部３２２は、使用者２０が一方の手で物を持つ場合に、使用者２０が当該一方の手から他方の手に物を渡した場合に、物の移動に応じて認識対象を他方の手が持つ物に切り替える。これに代えて、切替部３２２は、使用者２０が当該一方の手から他方の手に物を渡した場合に、認識対象を物を手渡した一方の手に切り替えてもよい。切替部３２２は、一例として、予め定められた認識対象の切り替え先に応じて、認識対象を切り替える。
In addition, the
記憶部３３０は、予め定められた使用者２０の操作用の手２２を認識対象として記憶する。また、記憶部３３０は、切替部３２２に接続され、切替部３２２が切り替えた認識対象を記憶し、切替部３２２が切り替える毎に当該認識対象を更新する。また、記憶部３３０は、切替部３２２が切り替えるべき認識対象の切り替え先が予め定められている場合に、当該認識対象の切り替え先を記憶する。
The
また、記憶部３３０は、使用者２０に対して表示すべき情報を記憶する。記憶部３３０は、文書、画像、動画、Ｗｅｂコンテンツ、ＵＲＬ、およびアプリケーション等の情報を記憶してよい。また、記憶部３３０は、使用者２０が複数の場合は、それぞれの使用者に対応する情報を、それぞれの使用者に対応づけて記憶してもよい。
In addition, the
また、記憶部３３０は、指示取得部３１０に接続され、使用者の動作パターンを記憶してもよい。この場合、指示取得部３１０は、記憶された動作パターンと検出された使用者の動作とを比較することで、使用者のジェスチャー入力による指示を検出することができる。また、記憶部３３０は、それぞれの使用者の画像情報を記憶してもよい。この場合、指示取得部３１０は、記憶された使用者と検出された使用者とを比較し、使用者がマッチングした場合に、当該使用者が過去に表示した情報を現在の表示領域１１０に表示させる指示を検出したと判断してよい。
The
実行部３４０は、指示取得部３１０に接続され、指示取得部３１０が検出したアプリケーションの実行の指示に応じて、当該アプリケーションを実行する。実行部３４０は、予め記憶されたメール送受信、文書編集、画像表示、動画再生、Ｗｅｂブラウザ、および表示システム１０の設定等のアプリケーションプログラムを実行する。また、実行部３４０は、アプリケーションのインストールおよびアンインストール等を、指示に応じて実行してもよい。
The
実行部３４０は、例えば、記憶部３３０に接続され、当該アプリケーションの実行画面を表示させるべく、実行画面の情報を当該使用者２０に対応づけて記憶部３３０に記憶する。また、実行部３４０は、当該アプリケーションの実行画面を表示領域１１０に表示させるべく、実行画面の情報を表示制御部３５０に供給する。
For example, the
表示制御部３５０は、使用者２０の操作指示に応じて表示装置１００の表示内容を制御する。表示制御部３５０は、記憶部３３０に記憶された使用者２０に対応付けられた情報を、表示領域１１０に表示してよい。また、表示制御部３５０は、記憶部３３０の記憶が更新される毎に、更新された情報を表示領域１１０に表示してよい。また、表示制御部３５０は、指示取得部３１０の検出した使用者２０の指示に応じた情報を、表示装置１００に表示させる。
The
表示制御部３５０は、使用者２０が表示指示した情報を、表示領域１１０にウィンドウ表示させてよい。これに代えて、表示制御部３５０は、指示に応じた情報を、使用者２０を撮像したシルエット画像と共に表示制御してもよい。
The
また、表示制御部３５０は、一例として、予め定められた設定または使用者２０の入力に応じて、使用者２０の画像を使用者２０の指示に応じた情報と共に表示装置１００に表示させる。この場合、表示制御部３５０は、使用者２０の画像に重ねて、当該情報を表示制御してよい。これに代えて、表示制御部３５０は、当該情報に重ねて、当該使用者２０の画像を表示制御してよい。表示制御部３５０は、予め定められた表示優先順位に応じて、使用者２０の情報および使用者の画像を重ねて表示してよい。
In addition, as an example, the
カーソル制御部３６０は、使用者２０の操作指示に応じて、表示装置１００に表示された操作対象を選択するカーソル５０を表示制御する。即ち、カーソル制御部３６０は、使用者２０の認識対象の移動等を検出した検出結果を指示取得部３１０から受け取り、当該認識対象の移動に対応して、カーソル５０を表示および移動させる指示を表示制御部３５０に供給する。
The
例えば、カーソル制御部３６０は、使用者２０の認識対象が使用者２０の操作用の手２２の場合、当該操作用の手２２の動きに応じてカーソル５０を表示装置１００の表示領域１１０内で動かす。同様に、カーソル制御部３６０は、使用者２０の認識対象が使用者２０の手が持つ物２４の場合、当該物２４の動きに応じてカーソル５０を表示装置１００の表示領域１１０内で動かす。
For example, when the recognition target of the
図１は、カーソル制御部３６０が、使用者２０が手に持つ物２４に応じて、表示領域１１０の対応する位置にカーソル５０を表示する例を示す。ここで、使用者２０が手に持つ物２４は、一例として、ペン等の棒状の物体である。
FIG. 1 shows an example in which the
以上の表示装置１００は、表示制御装置３００の表示制御に応じた表示内容を表示する。また、情報表示システム１０は、使用者２０を検出し、検出した使用者２０の認識対象のジェスチャー入力に応じた情報を表示領域１１０に表示する。情報表示システム１０は、使用者２０の認識対象を、使用者２０のジェスチャー入力によって特定しつつ、使用者２０の動作に応じて切り替える。
The
図２は、本実施形態に係る情報表示システム１０の第２の構成例を使用者２０と共に示す。本構成例の情報表示システム１０において、図１に示された本実施形態に係る情報表示システム１０の動作と略同一のものには同一の符号を付け、説明を省略する。
FIG. 2 shows a second configuration example of the
本構成例において、使用者２０の右手を操作用の手２２として認識対象にした場合に、カーソル制御部３６０が、当該操作用の手２２の動きに応じてカーソル５０を表示装置１００の表示領域１１０内で動かす例を示す。また、図２は、使用者２０が左手に物２６を持つ例を示す。
In the present configuration example, when the right hand of the
図２において、物２６は、コーヒーカップ等であり、使用者２０が当該物２６を用いて情報表示システム１０の操作に用いるよりも、当該物２６を持たない右手で操作をした方が操作性が向上する例を示す。このような場合に、情報表示システム１０は、物２６を持たない右手を操作用の手２２として認識対象に切り替え、当該認識対象をの動きに応じてカーソル５０を表示して使用者２０の入力に応じた情報を表示領域１１０に表示する。
In FIG. 2, the
図３は、本実施形態に係る情報表示システム１０の動作フローを示す。情報表示システム１０は、Ｓ３００からＳ３７０までの処理により、使用者２０の指示に応じた情報を表示装置１００に表示する。
FIG. 3 shows an operation flow of the
表示制御装置３００は、まず、初期設定として、使用者２０の操作モードを第１の操作モードに設定する（Ｓ３００）。ここで、第１の操作モードとは、操作を認識する際の認識対象である、使用者２０の手が物を持ったことに応じて、認識対象を当該物に切り替えるモードである。そして、認識対象である手が物を持ったことに応じて、認識対象を当該物を持たない他方の手に切り替えるモードを、第２の操作モードとする。
First, the
ここで表示制御装置３００は、使用者２０の操作モードおよび認識対象である操作用の手２２が左右いずれであるかを記憶部３３０に記憶する。これに代えて、表示制御装置３００は、予め記憶部３３０に記憶されて定められた操作モードおよび認識対象である操作用の手２２の設定情報に応じて、初期設定されてもよい。
Here, the
次に、情報表示システム１０は、表示装置１００の前の使用者２０の存在を検出する（Ｓ３１０）。例えば、指示取得部３１０は、検出センサ装置２００の検出結果に基づき、人が表示装置１００の前に立ったことに応じて、当該人を使用者２０として検出する。指示取得部３１０は、１以上の使用者２０が検出されるまで使用者２０の検出を繰り返す。
Next, the
次に、指示取得部３１０は、操作を認識する際の認識対象である操作用の手２２または物２４を特定し、検出部３２０は、当該認識対象に変化があるか否かを検出する（Ｓ３２０）。具体的には、検出部３２０は、操作用の手２２が物を持ったか否か、または認識対象の物を手から離したか否かを検出する。指示取得部３１０は、認識対象に変化が無い場合は、当該認識対象の動作に応じた指示を検出するステップＳ３６０に進む。
Next, the
検出部３２０によって操作用の手２２が物を持ったことが検出され、かつ、検出時の操作モードが第１の操作モードの場合、切替部３２２は、認識対象を当該物に切り替える（Ｓ３３０、Ｓ３４０、およびＳ３４２）。これによって、情報表示システム１０は、使用者２０が操作用にペンまたは差し棒等の棒状の物２４を持ったことに応じて、当該物２４を認識対象にし、当該物２４の動作に応じた指示を検出して使用者２０の操作入力をスムーズに継続することができる。
When the
また、検出部３２０によって操作用の手２２が物を持ったことが検出され、かつ、検出時の操作モードが第２の操作モードの場合、切替部３２２は、認識対象を当該物を持っていない他方の手に切り替える（Ｓ３３０、Ｓ３４０、およびＳ３４４）。これによって、情報表示システム１０は、使用者２０が操作用の手２２でコーヒーカップ、歯ブラシ、またはひげ剃り等の操作に無関係な物２６を持ったことに応じて、当該物２６を持っていない方の手を認識対象にすることができる。即ち、情報表示システム１０は、使用者２０の操作とは関係のない動作による誤検出を防ぎつつ、認識対象の動作に応じた指示を検出することができる。
When the
また、検出部３２０によって使用者２０が認識対象の物を手離したことが検出された場合、認識対象は物で、かつ、検出時の操作モードは第１の操作モードとなるので、切替部３２２は、認識対象を当該物からその物を離した手に切り替える（Ｓ３３０、Ｓ３３２およびＳ３５２）。これによって、情報表示システム１０は、使用者２０が操作用に持ったペンまたは差し棒等の操作指示に用いる棒状の物２４を離したことに応じて、当該物２４を離した手を認識対象に切り替え、当該操作用の手２２の動作に応じた指示を検出して使用者２０の操作入力をスムーズに継続することができる。
When the
ここで、検出部３２０によって、使用者２０が持っていた認識対象の物を他方の手に手渡したことが検出された場合、切替部３２２は、認識対象を物にしたままにする（Ｓ３３２）。これによって、情報表示システム１０は、使用者２０が操作用に持ったペンまたは差し棒等の操作指示に用いる棒状の物２４を一方の手から他方の手に手渡しても、当該物２４を認識対象にしたまま、当該物２４の動作に応じた指示を検出して使用者２０の操作入力をスムーズに継続することができる。
Here, when the
切替部３２２は、ステップＳ３４２、Ｓ３４４、およびＳ３５２のいずれの切り替え動作においても、切り替えた結果を記憶部３３０に記憶して、認識対象を更新する。指示取得部３１０は、記憶部３３０に記憶された認識対象が更新されたことに応じて、更新された認識対象を特定し、当該認識対象の動作に応じた指示を検出する（Ｓ３６０）。使用者２０は、情報表示の指示を認識対象を用いたジェスチャーによって入力する。
In any switching operation of steps S342, S344, and S352, the
例えば、指示取得部３１０は、認識対象として使用者２０の操作用の手２２が特定されている場合、使用者２０の画像の操作用の手２２に対応する領域の変化を、予め記憶した多数の手の立体パターンの変化、輪郭パターンの変化またはシルエットパターンの変化等とそれぞれ対比する。これにより、指示取得部３１０は、使用者の操作用の手２２のジェスチャー等の動きを検出して、当該ジェスチャー等の動きから操作指示を取得する。
For example, when the user's 20
例えば、指示取得部３１０は、使用者の認識対象の動きとして、開いた手を握った状態にすること、握った手を開くこと、手を左右方向に振ること、手を上下方向に動かすこと、手でボタンを押す動作をすること、手でクリックまたはダブルクリックする動作をすること、手で円を描く動作をすること、手を一定時間静止させること、一部または全ての指を動かすこと、その他の手の運動、またはこれらの組み合わせを検出する。
For example, the
また、指示取得部３１０は、認識対象として使用者２０が手に持った物２４が特定されている場合、使用者２０の画像の認識対象に対応する領域の異なる時間で撮像された複数の画像をそれぞれ比較して、立体的なパターン、輪郭パターン、またはシルエットパターンの時間的な変化等を検出する。これにより、指示取得部３１０は、使用者の認識対象の動きを検出して、当該動きから操作指示を取得する。
In addition, when the
例えば、指示取得部３１０は、使用者の認識対象の動きとして、手に持った物２４を左右方向に振ること、物２４を上下方向に動かすこと、物２４でボタンを押す動作をすること、物２４でクリックまたはダブルクリックする動作をすること、物２４で円を描く動作をすること、物２４を一定時間静止させること、その他の物２４の運動、またはこれらの組み合わせを検出する。
For example, the
指示取得部３１０は、カーソル５０がアイコンと重なった状態で、使用者２０が認識対象で予め定められた操作指示をしたことを認識した場合、当該アイコンに対応するアプリケーションに関連する操作指示を検出してよい。この場合、指示取得部３１０は、アプリケーションの実行を検出してよく、また、使用者２０がファイル等の情報を選択したままアプリケーションの操作指示を出した場合は、当該ファイルを当該アプリケーションに入力させて実行してよい。
When the
ここで、アプリケーションに関連する指示は、当該アプリケーションの実行、削除、またはプロパティの表示等であってよい。指示取得部３１０は、カーソル５０がアイコンと重なった状態で、認識対象がボタンを押す動作をしたことを検出した場合、当該アイコンに対応するアプリケーションの実行指示を検出してよい。ここで、アプリケーションは、一例として、情報表示システム１０の設定を含む。これにより、使用者２０は、操作モードの設定、切替部３２２が切り替える切り替え先、および表示装置１００が鏡像表示をするか否か等をジェスチャーによって入力することができる。
Here, the instruction related to the application may be execution of the application, deletion, display of properties, or the like. When the
また、指示取得部３１０は、カーソル５０がアイコンと重なった状態で、認識対象が円を描く動作をしたことを検出した場合、当該アイコンに対応するアプリケーションの終了指示を検出してよい。また、指示取得部３１０は、カーソル５０がアイコンと重なった状態で、認識対象で押す動作をした状態にし、更に当該認識対象で押した状態のまま移動させたことを検出した場合、認識対象の位置と連動させて当該アイコンをドラッグする指示を検出してよい。
In addition, when the
また、指示取得部３１０は、当該認識対象で押した状態からもとの状態に戻したことを検出した場合、当該アイコンを認識対象の位置でドロップする指示を検出してよい。指示取得部３１０は、使用者が複数の場合、使用者毎に、検出した指示に応じて、当該指示を検出部３２０、実行部３４０、表示制御部３５０、またはカーソル制御部３６０に供給する。
In addition, when the
一例として、使用者２０の操作指示が操作モードを切り替える指示の場合、切替部３２２は、使用者２０が操作指示を出した時点の操作モードを切り替える（Ｓ３６２およびＳ３６４）。この場合、使用者２０は、操作モードを切り替える設定画面を操作して当該操作モードを切り替えてよく、これに代えて、ショートカットアイコン等を操作してもよい。
As an example, when the operation instruction of the
検出部３２０は、一例として、使用者２０が画面に表示されている操作モードを切り替える切り替えボタン等を認識対象で押す動作をしたことを検出する。ここで、操作モードが第１の操作モードで、かつ、検出部３２０が使用者２０の持つ物２４による切り替え指示を検出した場合、切替部３２２は、操作モードを第２の操作モードに切り替え、認識対象を使用者２０の物を持っていない方の手とする。
As an example, the
また、操作モードが第１の操作モードで、かつ、使用者２０の操作用の手２２による切り替え指示を検出部３２０が検出した場合、切替部３２２は、操作モードを第２の操作モードに切り替え、認識対象を操作用の手２２のままとする。また、操作モードが第２の操作モードで、かつ、使用者２０の操作用の手２２による切り替え指示を検出部３２０が検出した場合、切替部３２２は、操作モードを第１の操作モードに切り替え、認識対象を操作用の手２２のままとする。このようにして、情報表示システム１０は、使用者２０の指示に応じて、操作モードを切り替えることができる。
When the operation mode is the first operation mode and the
表示制御部３５０は、指示取得部３１０から受け取った使用者２０の指示に対応する情報を表示装置１００に表示する（Ｓ３７０）。例えば、検出センサ装置２００が撮像した使用者の画像を表示する場合、当該画像を指示取得部３１０から受け取り、表示領域１１０に表示する。また、表示制御部３５０は、使用者の情報を移動させる指示を指示取得部３１０から受け取ったことに応じて、当該情報を移動させてよく、また、記憶部３３０が表示位置を記憶している場合は記憶部３３０の情報を更新してよい。
The
また、表示制御部３５０は、実行部３４０から実行画面の情報を受け取った場合、表示領域１１０に当該実行画面を表示する。また、表示制御部３５０は、カーソル制御部３６０からカーソル表示の情報を受け取った場合、表示領域１１０に当該カーソルを表示する。また、表示制御部３５０は、記憶部３３０に記憶された情報に応じて、表示装置１００に当該情報を表示する。
When the
情報表示システム１０は、ステップＳ３１０に戻り、使用者２０の検出と、使用者２０の認識対象による指示の検出と、使用者２０の指示に応じた情報の表示とを繰り返す。以上の本実施例に係る情報表示システム１０は、情報表示の指示を認識対象を用いたジェスチャーによって入力させ、操作入力の最中に、指示用の物２４を手に持って当該物２４で操作入力することができる。また、情報表示システム１０は、ジェスチャー入力の最中に、指示用の物２４を手から離しても操作入力を続行することができる。
The
また、情報表示システム１０は、ジェスチャー入力の最中に、操作指示とは関係のない物２６を手に持っても、認識対象を切り替えて操作入力を続行することができる。
Further, the
ここで、情報表示システム１０は、一例として、使用者２０が表示させていた情報、特定した認識対象の情報、複数回利用した情報またはアプリケーション等の情報、および予め使用者２０が登録した情報等を、使用者２０と対応づけて使用者２０の画像と共に記憶部３３０に記憶させる。また、この場合、指示取得部３１０は、ステップＳ３１０において使用者２０を検出する場合に、画像比較等の処理を実行して、記憶された使用者候補画像と検出された使用者画像が同一であるか否かを検出してよい。
Here, as an example, the
指示取得部３１０は、一例として、記憶された使用者候補画像と検出された使用者画像が同一の場合、記憶された使用者２０の情報に応じて、操作モード、切替部３２２が切り替えるべき認識対象等を設定する。ここで、表示制御部３５０は、記憶された使用者２０に対応する情報、アプリケーション等を表示してよい。これによって、情報表示システム１０は、予め登録された使用者２０が表示装置１００の前に立つことで、当該登録された使用者２０に対応する情報を表示することができる。
For example, when the stored user candidate image and the detected user image are the same, the
例えば、情報表示システム１０は、使用者２０が表示装置１００の前に立つと、使用者２０の登録したＵＲＬのウェブサイトを表示するウィンドウを表示領域１１０に表示しつつ、使用者２０が以前に用いた操作モードで速やかな入力を開始させることができる。
For example, when the
以上の本実施形態にかかる情報表示システム１０の動作フローは、操作モードを予め定めること、および、使用者２０が操作モードを設定することを説明した。これに代えて、情報表示システム１０は、使用者２０が手に持った物に応じて、操作モードを切り替えてもよい。このような情報表示システム１０の動作フローについて、図４を用いて説明する。
The operation flow of the
図４は、本実施形態に係る情報表示システム１０の変形例の動作フローを示す。本変形例の動作フローにおいて、図３に示された本実施形態に係る情報表示システム１０の動作フローと略同一のものには同一の符号を付け、説明を省略する。
FIG. 4 shows an operation flow of a modification of the
表示制御装置３００は、まず、初期設定として、使用者２０の操作モードを第１の操作モードに設定する（Ｓ３００）。次に、情報表示システム１０は、表示装置１００の前の使用者２０の存在を検出する（Ｓ３１０）。次に、指示取得部３１０は、使用者２０の認識対象を特定し、検出部３２０は、当該認識対象に変化があるかを検出する（Ｓ３２０）。
First, the
検出部３２０は、操作用の手２２が物を持ったことを検出した場合、当該物に応じた操作モードを決定する（Ｓ４００）。検出部３２０は、当該物が例えば棒状といった操作指示に関係する形状を有する場合に、操作モードを第１の操作モードとする。また、当該物が操作指示とは関係のない形状を有する場合に、操作モードを第２の操作モードとする。
When detecting that the
検出部３２０は、例えば、当該物として検出した領域の形状が、棒状であるか否かを認識して操作モードを決定する。この場合、一例として、検出部３２０は、当該物として検出した領域の形状と、予め定められたパターン形状とを比較することにより、当該形状が棒状であるか否かを認識する。これに代えて、検出部３２０は、使用者２０が使用した物の画像情報を記憶部３３０に記憶しておき、過去に使用して記憶された物の画像と、物として検出された画像とを比較して、同一の物であると認識した場合に、操作モードを使用者２０が過去に当該物を用いた場合の操作モードと同一にしてよい。
For example, the
次に、切替部３２２は、検出部３２０が決定した操作モードと、操作用の手２２が物を持ったことまたは離したことの検出結果とに応じて、認識対象を切り替える（Ｓ３３０、Ｓ３３２、Ｓ３４０、Ｓ３４２、Ｓ３４４、およびＳ３５２）。次に、指示取得部３１０は、認識対象の動作に応じた指示を検出する（Ｓ３６０）。次に、表示制御部３５０は、指示取得部３１０から受け取った使用者２０の指示に対応する情報を表示装置１００に表示する（Ｓ３７０）。
Next, the
このように、検出部３２０は、操作用の手２２が持った物の形状に応じて、操作モードを決定するので、使用者２０は、操作モードを設定することなく、ジェスチャー入力を続けることができる。また、検出部３２０は、使用者２０が手に持った物の画像と当該物を用いた操作モードの情報とを記憶部３３０に記憶するので、使用者２０が情報表示システム１０を使用すれば使用するほど、操作モードを正確に決定することができる。
As described above, the
図５は、本実施形態に係る表示制御装置３００として機能するコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び、表示装置１００として機能しうる表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部を備える。
FIG. 5 shows an example of a hardware configuration of a
ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部を制御する。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信インターフェイス２０３０は、実行部３４０の指示によって外部のネットワークと通信するハードウェアとして機能する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
The input /
また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。
The input /
ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
A program provided to the
コンピュータ１９００にインストールされ、コンピュータ１９００を表示制御装置３００として機能させるプログラムは、指示取得モジュールと、検出モジュールと、切替モジュールと、記憶モジュールと、実行モジュールと、表示制御モジュールと、カーソル制御モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、指示取得部３１０と、検出部３２０と、切替部３２２と、記憶部３３０と、実行部３４０と、表示制御部３５０と、カーソル制御部３６０としてそれぞれ機能させてよい。
A program that is installed in the
これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である指示取得部３１０と、検出部３２０と、切替部３２２と、記憶部３３０と、実行部３４０と、表示制御部３５０と、カーソル制御部３６０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の表示制御装置３００が構築される。
Information processing described in these programs is read into the
一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
As an example, when communication is performed between the
また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０及び外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。
The
また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすか否かを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
In addition, the
また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、予め定められた条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
Further, the
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
The program or module shown above may be stored in an external recording medium. As the recording medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１０ 表示システム、２０ 使用者、２２ 操作用の手、２４ 物、２６ 物、５０ カーソル、１００ 表示装置、１１０ 表示領域、１１６ 情報、２００ 検出センサ装置、３００ 表示制御装置、３０２ 画像入力部、３１０ 指示取得部、３２０ 検出部、３２２ 切替部、３３０ 記憶部、３４０ 実行部、３５０ 表示制御部、３６０ カーソル制御部、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ
DESCRIPTION OF
Claims (17)
前記使用者を撮像した画像を入力する画像入力部と、
前記画像入力部が入力した画像中における、前記使用者の予め定められた操作用の手を認識対象とし、当該認識対象の動きを認識したことに応じて、前記表示装置の表示内容に対する操作指示を取得する指示取得部と、
前記操作指示に応じて前記表示装置の表示内容を制御する表示制御部と、
前記操作用の手が物を持ったことを検出する検出部と、
前記操作用の手が前記物を持ったことが検出されたことに応じて、前記指示取得部の前記認識対象を切り替える切替部と、
を備える表示制御装置。 A display control device that controls the display content of the display device according to the movement of the user's hand,
An image input unit for inputting an image of the user;
In response to recognizing the movement of the recognition target, the user's predetermined operation hand in the image input by the image input unit is designated as an operation instruction for the display content of the display device An instruction acquisition unit for acquiring
A display control unit for controlling display contents of the display device in response to the operation instructions;
A detection unit for detecting that the operating hand has an object;
A switching unit that switches the recognition target of the instruction acquisition unit when it is detected that the operating hand has the object;
A display control device.
前記使用者の前記画像から前記使用者の顔部分および胴体部分を認識する認識部と、
前記顔部分および胴体部分の右および左に位置する肌色領域を検索する検索部と、
前記予め定められた前記使用者の手に対応する肌色領域を前記認識対象として特定する特定部と、
を有する請求項１から７のいずれか一項に記載の表示制御装置。 The instruction acquisition unit
A recognition unit for recognizing the user's face part and body part from the image of the user;
A search unit for searching for skin color regions located on the right and left of the face part and the body part;
A specifying unit that specifies a skin color region corresponding to the predetermined hand of the user as the recognition target;
The display control apparatus according to claim 1, comprising:
前記切替部は、前記認識対象である前記物が手から離れたことが検出されたことに応じて、前記認識対象を切り替える請求項８または９に記載の表示制御装置。 When the recognition target is the object, the detection unit is the recognition target when the color of the area adjacent to the skin color area corresponding to the hand having the recognition target is not substantially the same. It detects that an object has left its hand,
The display control apparatus according to claim 8, wherein the switching unit switches the recognition target in response to detecting that the object that is the recognition target has left the hand.
請求項１から１４のいずれか一項に記載の表示制御装置と、
前記表示制御装置の制御に応じた表示内容を表示する表示装置と、
を備える情報表示システム。 An imaging unit for imaging the user;
A display control device according to any one of claims 1 to 14,
A display device for displaying display contents according to the control of the display control device;
An information display system comprising:
前記使用者を撮像した画像を入力する画像入力段階と、
入力した画像中における、前記使用者の予め定められた操作用の手を認識対象とし、当該認識対象の動きを認識したことに応じて、前記表示装置の表示内容に対する操作指示を取得する指示取得段階と、
前記操作指示に応じて前記表示装置の表示内容を制御する表示制御段階と、
前記操作用の手が物を持ったことを検出する検出段階と、
前記操作用の手が前記物を持ったことが検出されたことに応じて、前記認識対象を切り替える切替段階と、
を備える表示制御方法。 A display control method for controlling display content of a display device in accordance with movement of a user's hand,
An image input stage for inputting an image of the user;
Acquisition of an instruction for acquiring an operation instruction for the display content of the display device in response to the recognition of the movement of the recognition target with the user's predetermined operation hand in the input image as a recognition target Stages,
A display control stage for controlling display contents of the display device in response to the operation instructions;
A detection step of detecting that the operating hand has an object;
A switching step of switching the recognition target in response to detecting that the operating hand has the object;
A display control method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012141293A JP5499106B2 (en) | 2012-06-22 | 2012-06-22 | Display control apparatus, display control method, information display system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012141293A JP5499106B2 (en) | 2012-06-22 | 2012-06-22 | Display control apparatus, display control method, information display system, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014006661A JP2014006661A (en) | 2014-01-16 |
| JP5499106B2 true JP5499106B2 (en) | 2014-05-21 |
Family
ID=50104333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012141293A Active JP5499106B2 (en) | 2012-06-22 | 2012-06-22 | Display control apparatus, display control method, information display system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5499106B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6376251B2 (en) * | 2017-06-21 | 2018-08-22 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, information processing system, control method thereof, and program |
| JP2020177534A (en) * | 2019-04-19 | 2020-10-29 | 京セラドキュメントソリューションズ株式会社 | Transmission type wearable terminal |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0784715A (en) * | 1993-09-10 | 1995-03-31 | Hitachi Ltd | Information processor |
| JP2000181601A (en) * | 1998-12-18 | 2000-06-30 | Fujitsu General Ltd | Information display system |
| JP2008113107A (en) * | 2006-10-30 | 2008-05-15 | Nec Saitama Ltd | Input method using camera function, and information communication terminal using input method |
| JP4221445B1 (en) * | 2008-06-11 | 2009-02-12 | 株式会社ベイビッグ | Videophone terminal, videophone terminal control method and program |
| JP2011123748A (en) * | 2009-12-11 | 2011-06-23 | Nec Corp | Mobile terminal, drawing system, and drawing method |
| CN102959491B (en) * | 2011-04-22 | 2016-03-23 | 松下电器（美国）知识产权公司 | The integrated circuit of position control device and position control device and position control method |
-
2012
- 2012-06-22 JP JP2012141293A patent/JP5499106B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014006661A (en) | 2014-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11048333B2 (en) | System and method for close-range movement tracking | |
| US10754435B2 (en) | Information processing apparatus and method, and program | |
| US10001838B2 (en) | Feature tracking for device input | |
| US20180218202A1 (en) | Image processing device, method thereof, and program | |
| US20150220150A1 (en) | Virtual touch user interface system and methods | |
| KR20130105725A (en) | Computer vision based two hand control of content | |
| US20120327125A1 (en) | System and method for close-range movement tracking | |
| US20140123077A1 (en) | System and method for user interaction and control of electronic devices | |
| CN105009035A (en) | Enhancing touch inputs with gestures | |
| US10372229B2 (en) | Information processing system, information processing apparatus, control method, and program | |
| KR101631011B1 (en) | Gesture recognition apparatus and control method of gesture recognition apparatus | |
| JP5877824B2 (en) | Information processing system, information processing method, and information processing program | |
| JPWO2017029749A1 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| JP2009251702A (en) | Information processing unit, information processing method, and information processing program | |
| US20130229348A1 (en) | Driving method of virtual mouse | |
| KR102052449B1 (en) | System for virtual mouse and method therefor | |
| KR102181897B1 (en) | Device and method for mobile tooltip using eye detecting | |
| JP5499106B2 (en) | Display control apparatus, display control method, information display system, and program | |
| JP6501806B2 (en) | INFORMATION PROCESSING APPARATUS, OPERATION DETECTING METHOD, AND COMPUTER PROGRAM | |
| JP5456840B2 (en) | Display control apparatus, display control method, information display system, and program | |
| JP5558899B2 (en) | Information processing apparatus, processing method thereof, and program | |
| JP5456817B2 (en) | Display control apparatus, display control method, information display system, and program | |
| Choondal et al. | Design and implementation of a natural user interface using hand gesture recognition method | |
| JP5735453B2 (en) | Display control apparatus, display control method, information display system, and program | |
| CN110007748B (en) | Terminal control method, processing device, storage medium and terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20131224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140310 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5499106 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |