JPWO2007088939A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JPWO2007088939A1
JPWO2007088939A1 JP2007556915A JP2007556915A JPWO2007088939A1 JP WO2007088939 A1 JPWO2007088939 A1 JP WO2007088939A1 JP 2007556915 A JP2007556915 A JP 2007556915A JP 2007556915 A JP2007556915 A JP 2007556915A JP WO2007088939 A1 JPWO2007088939 A1 JP WO2007088939A1
Authority
JP
Japan
Prior art keywords
image
hand
user
unit
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2007556915A
Other languages
English (en)
Inventor
智裕 寺田
智裕 寺田
山下 敦士
敦士 山下
卓哉 平井
卓哉 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2007088939A1 publication Critical patent/JPWO2007088939A1/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

デュアル・ビュー表示機能をもつ表示装置において、操作を行うユーザには直感的な操作感を提供しつつ、操作をしないユーザに対しては視認性を向上させることが可能な情報処理装置を提供する。左画像と右画像とを同時表示する表示部(16)と、操作を受け付ける操作部(12)と、操作を行う手を撮像する撮像部(13)と、撮像された画像から操作を行う手を表す手画像を生成する手画像生成部(101)と、操作を行う手が左手か右手かを判定する操作手判定部(102)と、視認している画像が左画像か右画像かを判定する画像判定部と、右画像を視認していると判定されたとき、左画像と、手画像が重畳された右画像とを表示するとともに、右画像上の位置に対応する処理を実行し、左画像を視認していると判定されたとき、右画像と、手画像が重畳された左画像とを表示するとともに、左画像上の位置に対応する処理を実行する実行処理部(104)とを備える。

Description

本発明は、情報処理装置に関し、より特定的には、デュアル・ビュー表示された画像情報をもとにユーザによって操作された情報や命令に応じて、処理を行う情報処理装置に関する。
一般に知られているデュアル・ビュー表示機能をもつ表示装置は、異なる視野角方向それぞれに対して画像を同時表示することができる。これにより、ユーザの視点位置によって異なる画像を表示することもできる(例えば特許文献1参照)。特許文献1では、液晶表示パネルの前面にパララックスバリアを設置することで、ユーザの視点位置によって異なる画像を表示するデュアル・ビュー表示を実現している。
ここで、表示された画像情報をもとにユーザが操作した情報に応じて処理を行う方法としては、タッチパネルを用いる方法が挙げられる。具体的には、タッチパネルを表示装置の画面上に設置する。ここで、画面に表示されたGUI(Graphical User Interface)には、メニューやボタンスイッチに代表される表示部品(以下、GUI部品と称す)が含まれる。ユーザは、タッチパネルを介して、画面上で所望のGUI部品に触れることによって、そのGUI部品に関連付けられた命令や情報を入力することができる。このようにタッチパネルが画面上に設置されることで、ユーザに対し直感的な操作感を提供することができる。
しかしながら、デュアル・ビュー表示機能をもつ表示装置では、ユーザの視点位置によって異なる画像が表示される。つまり、デュアル・ビュー表示機能をもつ表示装置は、それぞれ独立した画像を各視点位置のユーザに表示するものである。したがって、上述したように画面上に設置したタッチパネルを用いて入力を行う場合、処理装置側では、どの視野角方向に表示された画像に対して入力が行われたかが区別できないため、適切な処理ができないという課題があった。
この課題を解決するために、異なる画像間においてGUI部品を重畳しないように表示する方法が提案されている(例えば特許文献2参照)。つまり、上述したように画面上に設置したタッチパネルを用いて入力を行っても、GUI部品が異なる位置に表示されるので、どの視野角方向に表示された画像に対して入力されたかを区別することができ、各視点位置に対して適切な処理を行うことができる。
特開2003−177357号公報 特開2005−284592号公報
ここで、GUI部品を重畳しないように表示する方法では、上述したようにユーザは画面上に設置されたタッチパネルを用いて入力操作を行う。したがって、一方の視点位置にいるユーザが操作を行うとき、ユーザの操作する手が他方の視点位置に表示される画像を遮ってしまうことなる。このように、異なる画像間においてGUI部品を重畳しないように表示する方法では、画面上に設置されたタッチパネルを用いて入力操作を行うので、操作するユーザに対しては直感的な操作感を提供することはできるが、操作をしないユーザに対しては視認できなくしてしまうという問題があった。
また、GUI部品を重畳しないように表示する方法では、どの視野角方向に表示された画像に対して入力されたかを区別するために、GUI部品を異なる画像間で重畳しない位置に配置する必要がある。ここで、GUI部品は、ユーザの入力をより簡易的にする役割を果たしている。そのため、上述した従来の方法では、GUI部品を異なる画像間で重畳しない位置に配置する必要があるため、GUI部品を各画像上、最適な位置に配置することに制約があった。つまり、一方の視野角方向に表示された画像に対してはGUI部品をユーザがより入力し易い最適な位置に配置することができても、他方の視野角方向に表示された画像に対しては必ずしも最適な位置に配置することができないという問題があった。
それ故に、本発明は、デュアル・ビュー表示機能をもつ表示装置を用いる場合であっても、操作を行うユーザには直感的な操作感を提供しつつ、操作をしないユーザに対しては視認性を向上させることが可能な情報処理装置を提供することを目的とする。または、本発明は、異なる視野角方向にそれぞれ表示された各画像に対してGUI部品を最適な位置に配置して、ユーザの入力をより直感的、簡易的にすることが可能な情報処理装置を提供することを目的とする。
本発明は、ユーザの操作に応じて処理を行う情報処理装置を前提としている。本発明は、表示面に向かって左の視野角方向から視認可能な左画像と表示面に向かって右の視野角方向から視認可能な右画像とを同時表示する表示部と、ユーザが表示部において表示された画像上の位置を指定する操作を受け付ける操作部と、操作部に対してユーザが操作を行う手を撮像する撮像部と、撮像部によって撮像された画像からユーザの操作を行う手を表す手画像を生成する手画像生成部と、操作部に対してユーザが操作を行う手が左手か右手かを判定する操作手判定部と、操作手判定部の判定結果に基づいて、操作を行うユーザが視認している画像が左画像か右画像かを判定する画像判定部と、画像判定部において右画像を視認していると判定されたとき、左画像と、手画像が重畳された右画像とを表示するとともに、操作部において指定された位置に対応する右画像上の位置が指定されたとして当該右画像上の位置に対応する処理を実行し、画像判定部において左画像を視認していると判定されたとき、右画像と、手画像が重畳された左画像とを表示するとともに、操作部において指定された位置に対応する左画像上の位置が指定されたとして当該左画像上の位置に対応する処理を実行する実行処理部とを備える。
また、操作手判定部は、手画像生成部において生成された手画像に基づいて、ユーザの操作を行う手が左手か右手かを判定することが好ましい。
また、ユーザの操作を行う手に装着されたIRタグがもつ識別情報を読み取る識別情報読取部をさらに備え、操作手判定部は、識別情報読取部において読み取られた識別情報に基づいて、ユーザの操作を行う手が左手か右手かを判定することが好ましい。
また、実行処理部は、操作手判定部において左手と判定されたとき、表示すべき左画像を右画像と同じ画像に変更するとともに、手画像を左画像および右画像に重畳して表示させ、操作手判定部において右手と判定されたとき、表示すべき右画像を左画像と同じ画像に変更するとともに、手画像を左画像および右画像に重畳して表示させることが好ましい。
また、実行処理部は、操作手判定部において左手と判定されたとき、右画像に含まれるGUI部品を左画像に重畳して表示させるとともに、手画像を左画像および右画像に重畳して表示させ、操作手判定部において右手と判定されたとき、左画像に含まれるGUI部品を右画像に重畳して表示させるとともに、手画像を左画像および右画像に重畳して表示させることが好ましい。
また、実行処理部は、操作手判定部において左手と判定されたとき、右画像と手画像とを半透明にして左画像に重畳して表示させるとともに、手画像を右画像に重畳して表示させ、操作手判定部において右手と判定されたとき、左画像と手画像とを半透明にして右画像に重畳して表示させるとともに、手画像を左画像に重畳して表示させることが好ましい。
また、実行処理部は、操作手判定部において左手と判定されたとき、表示すべき右画像に前記手画像を重畳して表示させるとともに、左画像に手画像の指先の位置を表す画像を重畳して表示させ、操作手判定部において右手と判定されたとき、表示すべき左画像に手画像を重畳して表示させるとともに、右画像に手画像の指先の位置を表す画像を重畳して表示させることが好ましい。
また、実行処理部は、操作手判定部において左手と判定されたとき、左画像に含まれる画像のうち、操作部において指定された右画像上の位置に対応する画像を特定して当該画像の表示態様を変更し、操作手判定部において右手と判定されたとき、右画像に含まれる画像のうち、操作部において指定された左画像上の位置に対応する画像を特定して当該画像の表示態様を変更することが好ましい。
また、左画像および前記右画像には、表示が同じGUI部品が含まれており、左画像のGUI部品および前記右画像のGUI部品には、それぞれ異なる処理が関連付けられていることが好ましい。
また、操作部は、GUI部品とそれが指定されたときに実行すべき処理とを関連付ける関連付け操作をユーザから受け付け、実行処理部は、関連付け操作が行われたときに操作手判定部が左手と判定したとき、当該関連付け操作によって関連付けられるGUI部品を左画像に重畳して表示させ、関連付け操作が行われたときに操作手判定部が右手と判定したとき、当該関連付け操作によって関連付けられるGUI部品を右画像に重畳して表示させることが好ましい。
以上のように、本発明によれば、操作を行うユーザが視認している画像が左画像か右画像かを判定し、右画像のときは手画像を右画像に重畳し、左画像のときは手画像を左画像に重畳して表示する。つまり、操作を行うユーザに対して表示される画像に自身の手画像が重畳されることとなるので、操作を行うユーザに対して直感的な操作感を提供することができる。また、このとき、操作をしないユーザ側には、操作を行うユーザの手画像は重畳されない。これにより、異なる視野角方向に各画像を同時表示する、いわゆるデュアル・ビュー表示においても、操作を行うユーザの手自体が操作をしないユーザの邪魔になることはなく、視認性を向上させることができる。
図1は、本発明に係る情報処理装置が行う処理の概略を説明するための図である。 図2は、撮像部13が操作部12付近を撮像している様子を示す図である。 図3は、本発明に係る情報処理装置の構成を示す図である。 図4は、本発明に係る情報処理装置の処理の流れを示すフローチャートである。 図5は、本情報処理装置の処理による表示を模式的に示した図である。 図6は、右手左手判定処理の詳細な処理の流れを示すフローチャートである。 図7は、右手左手判定処理方法を模式的に示した図である。 図8は、3D表示および2D表示間で処理を行う様子を示した図である。 図9は、実行処理部104が同じ2D表示間であって縮尺が異なる画像間で処理を行う様子を示した図である。 図10は、ユーザ21が押下した画像A上の建物Tが画像B上に表示されていない場合に実行処理部104が画像Bの縮尺を変える様子を示した図である。 図11は、一連の操作を実行するためのショートカットを操作者から非操作者に移動させる様子を示した図である。 図12は、画像Aおよび画像B上に設定された移動エリアの一例を示す図である。 図13は、助手席のユーザ21がオーディオ画面上での操作方法が分からず、ヘルプボタンを押下している様子を示した図である。 図14は、ヘルプボタンが押下された後、オーディオ画面が両方の画面に表示され、運転席のユーザ22が操作方法を教授している様子を示す図である。 図15は、図14に関する他の例を示す図である。 図16は、図14に関する他の例を示す図である。 図17は、図14に関する他の例を示す図である。 図18は、撮像部13が操作面の下方に配置された例を示す図である。 図19は、撮像部13を2台で構成した図である。 図20は、撮像部13で撮像される操作部12付近の画像13gの一例を示す図である。
符号の説明
11 画像ソース
12 操作部
13 撮像部
14 制御部
15 表示部用制御部
16 表示部
101 手画像生成部
102 右手左手判定部
103 手画像重畳部
104 実行処理部
21 助手席のユーザ
22 運転席のユーザ
本発明に係る情報処理装置について具体的に説明する前に、図1を参照して、本発明に係る情報処理装置が行う処理の概略を説明する。図1は、本発明に係る情報処理装置が行う処理の概略を説明するための図である。
図1では、本発明に係る情報処理装置が例えば車載環境下に設置された場合を想定している。車の助手席にはユーザ21が、運転席にはユーザ22がそれぞれ座っている。表示部16は、デュアル・ビュー表示機能を有するディスプレイであり、助手席のユーザ21側には画像Aを表示している。図1では画像AとしてGUI部品Aを含む画像が表示されている。一方、表示部16は、運転席のユーザ22側には、画像Aとは異なる画像Bを表示している。図1では画像Bとして地図情報が表示されている。また助手席のユーザ21と運転席のユーザ22との間には、例えばタッチパネルで構成された操作部12が横倒しにして設置されている。助手席のユーザ21は、この操作部12上で右手21HRを使って操作を行っている。また図2に示すように、操作部12はカメラなどの撮像部13によって撮像されているとする。撮像部13は、車の天井などに設置されている。図2は、撮像部13が操作部12付近を撮像している様子を示す図である。
ここで、例えば助手席のユーザ21が、画像Aを見ながらGUI部品Aを押下してGUI部品Aに関連付けされた処理を行いたいとする。この場合、助手席のユーザ21は、右手21HRを使って操作部12上で操作を行い、画像A上の位置を指定する。このとき、本発明に係る情報処理装置の処理によって、画像Aには撮像部13で撮像された助手席のユーザ21の右手画像21SRが重畳される。そして、助手席のユーザ21は、重畳表示された自身の右手画像21SRを見ながら、操作部12上の右手21HRを動かして画像上のGUI部品Aを押下することができる。一方、運転席のユーザ22側の画像Bには、助手席のユーザ21の右手画像21SRは重畳されない。
このように、本発明に係る情報処理装置では、表示部16の画面上にタッチパネルを設置する代わりに、助手席のユーザ21の右手画像21SRを画面上に表示する。これにより、操作する助手席のユーザ21に対して直感的な操作感を提供することができる。さらに、本発明に係る情報処理装置では、操作しない運転席のユーザ22側には、操作する助手席のユーザ21の右手画像21SRは表示されない。これにより、デュアル・ビュー表示機能をもつ表示部を用いる場合であっても、操作する助手席のユーザ21の右手HR自体が運転席のユーザ22の邪魔になることはなく、視認性を向上させることができる。
以下、図3を参照して、本発明に係る情報処理装置について具体的に説明する。図3は、本発明に係る情報処理装置の構成を示す図である。図3において、本発明に係る情報処理装置は、操作部12、撮像部13、制御部14、表示部用制御部15、および表示部16を備える。なお、画像ソース11Aおよび画像ソース11Bは、異なる視点位置にいるユーザに対してそれぞれに表示される画像を出力するソースである。画像としては、例えばテレビ受信による画像、AV機器などの再生機器で再生される画像などが挙げられる。また以下、説明のために、画像ソース11Aから出力される画像を画像Aとし、画像ソース11Bから出力される画像を画像Bとする。また以下では、画像Aは表示部16に向かって左側の視野角方向(以下、単に左側方向と称す)に表示される画像とし、画像Bは右側の視野角方向(以下、単に右側方向と称す)に表示される画像として説明する。
操作部12は、表示された画像上の位置をユーザが指定する操作を受け付ける。つまり操作を行うユーザ(以下、操作者と称す)は、操作部12上に手を置いて操作を行い、画像上の位置を指定する。操作部12は、少なくとも操作面を有するものであればよいが、ここでは例えば操作部12がタッチパッドで構成されるとする。そして、タッチパネル上の座標位置と画像上の座標位置とが関連付けされているとする。
撮像部13は、少なくとも操作部12上にある操作者の手を含む範囲内を撮像し、操作者の手を含む画像を出力する。撮像部13は、例えば可視光カメラで構成される。撮像部13は、可視光カメラ以外に、例えば赤外線カメラ、近赤外線カメラ、サーモグラフィなどで構成されてもよい。つまり、撮像部13は、操作者の手領域を抽出することが可能な画像を取得する機器であれば、どのような機器で構成されてもよい。また撮像部13は、図2に示したように操作部12を撮像することが可能な位置に設置される。
制御部14は、例えばCPUで構成される。また制御部14は、機能的には手画像生成部101、右手左手判定部102、手画像重畳部103、および実行処理部104で構成される。手画像生成部101は、撮像部13で取得された操作部12付近の画像から操作者の手を表す手領域の画像(以下、手画像という)を生成する。なお、手画像生成部101は実写の手画像を生成してもよいし、手領域から輪郭だけをさらに抽出し、当該輪郭内に所定の模様や色を付した手画像を生成してもよい。右手左手判定部102は、手画像生成部101で手画像が生成されたときに、当該手画像に基づいて操作者の手が右手であるか左手であるかを判定する。手画像重畳部103は、右手左手判定部102において判定された結果に基づいて、画像Aまたは画像Bに対し、手画像生成部101で生成された手画像を重畳する。実行処理部104は、操作者が操作部12において入力した情報に対応して、処理を実行する。具体的には、実行処理部104は右手左手判定部102の判定結果により操作者が画像Aおよび画像Bどちらの画像が表示されたユーザであるかという情報を取得する。つまり、実行処理部104は、どの視野角方向にいるユーザが入力したかを右手左手判定部102の判定結果により区別して処理を行うことができる。例えば画像Aが表示されたユーザが操作者である場合には、実行処理部104は画像ソース11Aに適宜アクセスし、画像Aが表示されたユーザの入力に基づいた処理を実行する。
表示部用制御部15は、制御部14の手画像重畳部103で処理された各画像(画像AおよびB)を表示部16に供給し、デュアル・ビュー表示を行うための制御を行う。表示部16は、デュアル・ビュー表示が可能なディスプレイである。表示部16は、例えばその前面にパララックスバリアが設置された液晶表示パネルで構成される。このような表示部用制御部15および表示部16の構成によって、表示部16では画像Aと画像Bとが異なる視野角方向に同時表示される。つまり、表示部16で表示される画像はユーザの視点位置によって別々の画像となる。なお、表示部用制御部15および表示部16は、デュアル・ビュー表示を実現するものであれば、どのような機器で構成されてもよい。
次に、図4を参照して、本発明に係る情報処理装置の処理について具体的に説明する。図4は、本発明に係る情報処理装置の処理の流れを示すフローチャートである。
まず、手画像生成部101が撮像部13で撮像された操作部12付近の画像を取得する(ステップS1)。手画像生成部101は、ステップS1で取得した操作部12付近の画像から肌色の領域を抽出する(ステップS2)。そして、抽出した肌色の領域に対してノイズ除去を行い、手と予想される領域を取得する(ステップS3)。ここで、ノイズ除去の方法としては、一般に知られている方法を用いてかまわない。一例としては、抽出された領域が複数ある場合に、各領域の面積を比較して、最も大きい領域を手と予想される領域として取得する方法などが挙げられる。なお、撮像部13として赤外線カメラを使用した場合は、肌色領域を抽出することができない。そこで、手領域を抽出するために、手領域を輝度値の閾値で抽出する方法を用いる。なお、この時、赤外線投光機を設置し、操作面上部を照らすことで、手領域を抽出しやすくすることが好ましい。
ステップS3の次に、手画像生成部101は、ステップS3で取得した領域が手かどうか判定する(ステップS4)。ここで、手かどうかを判定する方法としては、一般的な方法を用いてかまわない。一例としては、手のパターンを予め記憶しておき、当該手のパターンとステップS3で取得された領域のパターンとを比較(パターンマッチング)する方法などが考えられる。ステップS4において、手画像生成部101が手であると判定した場合には、ステップS3で取得された領域を手画像として生成し、処理はステップS5へ進む。一方、ステップS4において、手画像生成部101が手ではないと判定した場合には、手画像が重畳されることなくデュアル・ビュー表示がなされる(ステップS6)。
ステップS4の次に、右手左手判定部102は、抽出された手画像に基づいて操作者の手が右手であるか左手であるかを判定する(ステップS5)。なお、ステップS5の具体的な処理については、後述にて説明する。ステップS5で右手と判断された場合、処理はステップS8へ進む(ステップS7で右手)。一方、ステップS5で左手と判断された場合には、処理はステップS11へ進む(ステップS7で左手)。
ステップS8において、手画像重畳部103は、左側方向に表示される画像Aに対して、ステップS4で得られた右手の手画像を重畳する。そして、画像Aにのみ手画像が重畳表示された、デュアル・ビュー表示が行われる(ステップS14)。つまり、右手で操作するユーザは、画像Aの表示方向と同じ左側方向に存在するので、画像Aに重畳表示された手画像は右手で操作するユーザにのみ視認されることとなる。ここで、理解を容易にするために図5を参照して説明すると、操作部12に操作者の手(図5では右手21HR)が置かれると、上述した処理によって最終的には操作者の手画像(図5では右手の手画像21SR)が左側方向に表示される画像Aに重畳表示される。図5は、本情報処理装置の処理による表示を模式的に示した図である。なお、ステップS8において画像A上のどの位置に手画像を重畳するかについては、例えば撮像部13で取得された操作部12付近の画像から操作部12の四隅を検出し、この四隅が画像AまたはBの四隅と一致するように調整する方法などが考えられる。
なおステップS8の次に、重畳表示された手画像を見ながらユーザが操作部12で画像上の位置を指定する入力を行うとき(ステップS9でYES)、実行処理部104はステップS5で操作者の手が右手と判定されているので、画像ソース11Aに適宜アクセスし、操作部12で指定された画像A上の位置に基づいた処理を実行する(ステップS10)。例えば、画像A上の位置にGUI部品等があれば、それに関連付けされた処理が実行される。その後、実行処理部104で処理された後の画像Aにのみ手画像が重畳表示されたデュアル・ビュー表示が行われる(ステップS14)。
一方、ステップS5で左手と判断された場合、右側方向に表示される画像Bに対して、ステップS4で得られた左手の手画像を重畳する(ステップS11)。そして、画像Bにのみ手画像が重畳表示された、デュアル・ビュー表示が行われる(ステップS14)。つまり、左手で操作するユーザは、画像Bの表示方向と同じ右側方向に存在するので、画像Bに重畳表示された手画像は左手で操作するユーザにのみ視認されることとなる。なおステップS11の次に、重畳表示された手画像を見ながらユーザが操作部12で画像上の位置を指定する入力を行うとき(ステップS12でYES)、実行処理部104はステップS5で操作者の手が右手と判定されているので、画像ソース11Bに適宜アクセスし、操作部12で指定された画像B上の位置に基づいた処理を実行する(ステップS13)。その後、実行処理部104で処理された後の画像Bにのみ手画像が重畳表示されたデュアル・ビュー表示が行われる(ステップS14)。
このように、実行処理部104は、右手左手判定部102の判定結果に基づいて、操作者が画像A上の位置に対する入力を行ったのか、または操作者が画像B上の位置に対する入力を行ったかを区別し、各操作者に対して別々の処理を行うことができる。つまり、実行処理部104は、異なる視野角方向に存在する操作者の各入力に応じて、処理内容を変えることができる。
次に、図6を参照して、右手左手判定処理(図4のステップS5)について詳細に説明する。図6は、右手左手判定処理の詳細な処理の流れを示すフローチャートである。ここでは一例として、手領域から手のひら領域を求めて指領域を検出し、各指領域から指先の位置を特定して左手か右手を判定する方法について説明する。まず、手画像生成部101で抽出された手領域内に所定半径の円を配置する(ステップS511)。ここで、所定半径の値は、配置する円が指の太さよりも大きい円となるように設定する。ステップS511の次に、円の輪郭線と手領域の輪郭線との間の距離をパラメータとして求める(ステップS512)。ここでは、例えば円の輪郭線上の全点それぞれについて手領域の輪郭線上の全点までの距離をパラメータとして算出する。ステップS512の次に、閾値以下の値となるパラメータのみを抽出する(ステップS513)。これは、手のひら領域を決定するに際し、値が大きい指領域の輪郭線に係るパラメータを予め算出対象から除外し、処理負担の軽減を図るためである。
ステップS513の次に、配置された円の位置と半径を変えて、手領域における手のひら部分に最も近似する円を手のひら領域として求める(ステップS514〜S518)。具体的には、まず円の位置を移動させ、パラメータ値が最小となる位置を求める(ステップS514およびS515)。このとき、円の位置は、例えば円の輪郭線上の各点で求められたパラメータ値の偏り具合に基づいて移動する。具体的には、大きな値のパラメータが多く分布している方向へ移動する。そして、円の位置が決定後、円の半径を変更してパラメータ値が最小となる半径を求める(ステップS516およびS517)。図7に示すように、ステップS514〜S517の処理によって決定された円を手のひら領域として決定する(ステップS518)。図7は、右手左手判定処理方法を模式的に示した図である。
なお、ステップS514〜S517の処理において、手のひらに最も近似する円として半径が異なる2つの円が存在する場合がある。この場合には、半径が大きい方の円を手のひら領域とするのが好ましい。また、上述では円を用いて手のひら領域を求めたが、例えば楕円や実際の手のひらの形状と近い形状を用いて手のひら領域を求めてもよい。近似する形状が実際の手のひらの形状に近いほど、より正確な手のひら領域を求めることができる。また、上記パラメータは、一般に知られているパターンマッチングなどのパラメータであってもよい。
ステップS518の次に、図7にも示すように、手のひら領域を除去することにより、各指領域を抽出する(ステップS519)。そして、手のひら領域の中心(円の中心)から指領域の輪郭線までの距離を指領域ごとに算出する(ステップS520)。そして、算出した各指領域での距離が最大となる点を指先点として設定する(ステップS521)。図7において、円の中心から距離が最大となる点が指先に位置していることが分かる。ここで、5つの指先点が設定された場合に(ステップS522)、各指先点について最も近い他の指先点までの距離を算出する(ステップS523)。つまり、図7に示すように、親指は人差し指との間の距離が他の指までの距離と比べて最も小さい値となる。このようにして求められた距離は、図7に示すように4つ存在することとなる。ステップS523の次に、設定された各指先点から、左右方向に2つある端点のうちステップS523で算出した距離が大きい方の端点を親指の指先点と設定する(ステップS524)。図7において、2つの端点(X点およびY点)のうち、X点の距離xがY点の距離yよりも大きくなっていることが分かる。よって、X点を親指と認識することができる。
ステップS524の次に、親指の指先点が右端または左端にあるかを判断する(ステップS525)。親指の指先点が右端にあれば左手と判定し(ステップS526)、左端にあれば右手と判定する(ステップS527)。以上で右手左手判定処理の流れについて説明を終了する。
なお、上述した右手左手判定処理において、親指を左右方向の端点から求めたが、これに限定されない。例えば、図7で言えば、親指は他の指より最も画面下側にある。これを利用して画面下側にある指先点を親指として設定してもよい。また、上述した左右方向の端点から求める方法と下側にある指先点を求める方法とを両方用いて、親指の指先点を設定してもよい。また、その他一般に知られている方法を用いてもよい。
また、上述した右手左手判定処理においては、手画像生成部101から生成された手画像を用いて右手左手を判定したが、これに限定されない。一例としては、操作者が手に右手・左手の識別情報をもつIRタグを装着し、識別情報読取部(図示なし)と通信することで、操作者の手が右手か左手かを検知する方法でもよい。識別情報読取部は、IRタグと通信して識別情報を読み取るものである。この識別情報読取部は、操作部12内に設けられてもよいし、操作部12外にあってもよい。また、手のひらの手相を画像処理によって検知して、右手左手を検知する方法を用いてもよい。
なお、上述したように実行処理部104は、異なる視野角方向に存在する操作者の各入力に応じて、処理内容を変えることができる。上述では、単に一方の操作者の入力に対応した処理についてのみ説明したが、これに限らない。例えば、一方の操作者の入力に対応する処理が実行されるときに、操作をしていない他方のユーザに対してもその処理と関連した画像間の処理を実行するようにしてもよい。以下、この画像間の処理について具体例を挙げて説明する。
図8を参照して、第1の具体例について説明する。例えば異なる地図画像を見ている各ユーザ間において、操作者が非操作者に対して地図上の特定の位置を教えたい場合がある。そこで、互いに異なる地図画像を見ている場合において、操作者が地図画像上の特定の位置を押下したときに、非操作者が見ている地図画像上で操作者が押下した特定の位置に対応する位置を点滅などさせて表示態様を変更し、非操作者に教えるようにする。
図8は、3D表示および2D表示間で処理を行う様子を示した図である。図8では、図1と同様に、本発明に係る情報処理装置が例えば車載環境下に設置された場合を想定している。また、図8に示す各部は、図1で示した各部に対して画像Aおよび画像Bの内容と処理とが異なるのみであり、他の各部の詳細な説明は省略する。図8において、画像Aは3D表示の地図画像である。画像Bは2D表示の地図画像である。助手席のユーザ21は3D表示された地図を見ている。運転席のユーザ22は2D表示された地図を見ている。
ここで図8に示すように、助手席のユーザ21が画像Aに重畳された右手画像21SRを見ながら、操作部12上に置いた右手で画面上の3D表示された建物T(GUI部品)を押下したとする。このとき、実行処理部104は、まず右手左手判定部102からユーザ21または22のどちらが入力したのかという判定結果を取得する。ここでは、ユーザ21が右手21HRで操作しているので、右手左手判定部102では右手と判定される。つまり、操作者は左側方向にいるユーザ21であることが分かる。これにより、実行処理部104では、操作部12上で押下された座標位置と対応する画像A上の座標位置にある3D表示された建物Tを検出する。その後、実行処理部104は、操作をしていない運転席のユーザ22が見ている画像Bに対し、3D表示された建物Tに対応する2D表示された建物Tの座標位置を検索する。そして、実行処理部104は、図8に示したように、検索した画像B上の2D表示された建物Tを点滅表示などをさせる処理を行う。なお、図8においては、実行処理部104の処理に際し、3D表示された地図と2D表示された地図との間で座標位置の変換を行う必要があるが、この変換方式自体は一般に知られている変換方法を用いるとし、詳細な説明は省略する。
なお、図8では、3D表示および2D表示間での処理について説明したが、例えば図9に示すように、同じ2D表示間であって縮尺が異なる画像間でも処理を行うことができる。図9は、実行処理部104が同じ2D表示間であって縮尺が異なる画像間で処理を行う様子を示した図である。さらに、図10に示すように、ユーザ21が押下した画像A上の建物Tが画像B上に表示されていない場合に、実行処理部104が画像Bの縮尺を変えて建物Tを表示するように処理を行うことも可能である。図10は、ユーザ21が押下した画像A上の建物Tが画像B上に表示されていない場合に実行処理部104が画像Bの縮尺を変える様子を示した図である。
また、実行処理部104は、押下した座標位置だけではなく、右手左手判定部102の判定結果に基づいて制御命令を変えるようにしてもよい。具体的には、例えばユーザ21および22にそれぞれ表示された画像上で、同じ機能(同じ表示)を有するが関連付けられた処理内容が異なるGUI部品を同じ位置に設置する。これにより、操作者の手が右手か左手かによって実行される処理内容が変わる。同じ機能を有するが処理内容が異なるGUI部品としては、例えば運転席のユーザ22側から実行される場合には、簡易的な表示にして運転操作に邪魔にならないように処理する。一方、助手席のユーザ21側から実行される場合には、なるべく多くの情報を表示するように処理を行う。このような処理を行うことで、同じ機能を実行する際にも、使い勝手を向上させるなどの長所を付加することができる。
図11を参照して、第2の具体例について説明する。運転中のユーザが画面を見ながら複雑な操作を行うと、安全運転に支障をきたすおそれがある。そこで、複雑な操作は助手席のユーザが行って、運転するユーザはその複雑な操作を実行するタイミングだけ決定するするようにする。図11は、一連の操作を実行するためのコマンド(ショートカット)を操作者から非操作者に移動させる様子を示した図である。図11では、運転しているユーザ22の操作をより簡易なものにするために、助手席のユーザ21が、関連付け操作を行って目的地を設定する一連の操作を実行するためのショートカット(GUI部品)を作成し、当該ショートカットを運転席のユーザ22側の画像Bに移動させる様子を示している。
この場合、助手席のユーザ21は、画像A上で目的地にしたい場所のGUI部品23を押下後、目的地のGUI部品24を押下する。そして、助手席のユーザ21は、これら目的地設定に係る一連の操作をコマンド実行するためのショートカット25を作成する。ここで図11においては、作成されたショートカット25が画像Aの右上に表示される。助手席のユーザ21は、作成したショートカット25を画像Aの右上隅に設定された特定のエリア26にドラッグアンドドロップする。そして、運転席のユーザ22側の画像B上の特定のエリア27にショートカット25が移動する。そして、運転席のユーザ22は、画像B上の特定のエリア27に表示されたショートカット25を押下するだけで、目的地の設定を行うことができる。すなわち、実行するタイミングは運転手側で任意に決定することが可能となる。
ここで、ショートカット25を作成する処理については、一般のパソコンで用いられているバッチコマンド作成と同等の方法を用いてもよいし、他の一般的な方法を用いてもよい。また、ショートカット25を画像Aから画像Bに移動させる処理について詳細に説明すると、図12に示すように、まず画像Aおよび画像Bに対してそれぞれ特定のエリア26および27を画像AおよびB間を移動するエリア(移動エリア)として設定しておく。図12は、画像Aおよび画像B上に設定された移動エリアの一例を示す図である。この移動エリアにショートカット25がドラッグアンドドロップされたときだけ、画像Aから画像B(または画像Bから画像A)に移動表示するようにすればよい。なお、図12において、移動エリアを同じ位置に示したが、画像Aおよび画像Bで異なる位置にあってもよい。また、このショートカットを移動させる処理は、実行処理部104が行ってもよいし、図4で示した構成に対して新たにショートカット移動部を設けて、当該ショートカット移動部で行うようにしてもよい。
図13〜図17を参照して、第3の具体例について説明する。異なる画像を見ているユーザに対して操作者が操作方法を教えるようなヘルプモードの場合には、両方の画像に操作者の手画像を表示することが望ましい。そこで、このような処理を第3の具体例として詳細に説明する。
図13は、助手席のユーザ21がオーディオ画面上での操作方法が分からず、ヘルプボタンを押下している様子を示した図である。図14は、ヘルプボタンが押下された後、オーディオ画面が両方の画面に表示され、運転席のユーザ22が操作方法を教授している様子を示す図である。図15〜図17は、図14に関する他の例を示す図である。
図13において、助手席のユーザ21が画像Aに重畳された右手画像21SRを見ながらヘルプボタンを押下したとする。このとき、実行処理部104は、まず右手左手判定部102からユーザ21または22のどちらが入力したのかという判定結果を取得する。ここでは、ユーザ21が右手21HRで操作しているので、右手左手判定部102では右手と判定される。つまり、操作者は左側方向にいるユーザ21であることが分かる。これにより、実行処理部104では、操作部12上で押下された座標位置と対応する画像A上の座標位置にあるヘルプボタンのGUI部品を検出する。その後、図14に示すように、実行処理部104は運転席のユーザ22に表示される画像を画像Aと同じオーディオ画面に変える。そして、教える人、ここでは、運転席のユーザ22が操作部12上に左手22HLを置く。このとき、操作部12上に置かれた左手は、手画像重畳部103でユーザ21および22に表示される両方の画像AおよびBに重畳される。そして、この両方の画像に重畳された左手画像22SLを用いて運転席のユーザ22は助手席のユーザ21に操作方法を教えることができる。
なお、図14では、運転席のユーザ22に表示される画像をヘルプボタンを押下した助手席のユーザ21に表示された画像Aと同じ画像に変えたが、図15に示すように、実行処理部104が運転席のユーザ22に表示された画像Bに半透明にした画像Aを重畳するようにしてもよい。
また、例えば助手席のユーザ21がオーディオ画面にてテレビやDVDなどの動画を見ているときにヘルプボタンを押下した場合、上述したように運転席のユーザ22に対して同じ画像を表示すると、運転しているユーザ22がその映像に気を取られ、運転面に支障をきたすおそれも考えられる。このような場合には、実行処理部104は助手席のユーザ21に表示された画像のうち、動画が表示される領域を運転席のユーザ22側には表示しないようにしてもよい。
また、実行処理部104は、図16に示すように、助手席のユーザ21に表示された画像Aのうち、操作可能なボタンGUI部品のみを運転席のユーザ22に表示される画像Bに重畳するようにしてもよい。このとき、実行処理部104は、ヘルプボタンを押したユーザ21に表示された画像Aのうち押下できるGUI部品をすべて抽出する。そして、抽出したGUI部品を画像A上の位置と同じ位置で画像Bに重畳する。なお、GUI部品に関連付けされた機能の名称などはGUI部品内に言葉で表記することが望ましい。
また図17に示すように、実行処理部104は、手画像重畳部103において、操作方法を教える運転席のユーザ22に表示される画像には左手画像22SLを重畳させ、教えてもらう側の助手席のユーザ21に表示される画像Aには左手画像22SLに基づいたカーソルや指先点のみの画像を重畳させるようにしてもよい。図17では、助手席のユーザ21に表示された画像Aには、左手画像22SLの各指先の位置を示すポインター22SLPが重畳表示されている。このポインター22SLPは、図17に示したような丸形状であってもよいし、それ以外の矢印などの他のGUI部品と区別可能な形状であればどのような形状であってもよい。
以上のように、本発明に係る情報処理装置によれば、操作者の手が右手か左手かを判定し、操作者に表示された画像に当該操作者の手画像を重畳することで、操作者に対して直感的な操作感を提供することができる。さらに、本発明に係る情報処理装置によれば、非操作者側には、操作者の手画像は表示されないので、デュアル・ビュー表示機能をもつ表示部を用いる場合であっても、操作者の手自体が非操作者の邪魔になることはなく、視認性を向上させることができる。さらに、本発明に係る情報処理装置によれば、操作者の手が右手か左手かを判定し、当該判定結果に基づいて操作者の入力に対応した処理を行うことができる。つまり、当該判定結果によって、異なる視野角方向にいるユーザの各入力を区別することができ、各入力に応じた処理を行うことができる。さらに、本発明に係る情報処理装置によれば、操作者の手が右手か左手かの判定結果に基づいて操作者の入力に対応した処理を行うことができるので、異なる視野角方向にそれぞれ表示された各画像に対してGUI部品などを最適な位置に配置することが可能となる。
なお、上述では、操作部12がタッチパッドで構成されるとし、操作者によって押下されたタッチパネル上の座標位置と画面上の座標位置とが関連付けされているとした。ここで、タッチパッドは押下した座標位置が検出可能なデバイスであればどのような形態をとってもかまわないが、タッチパッド自体を用いなくてもよい。例えば図18に示すように、撮像部13を透明な操作面の下方に配置し、操作者の手との距離をを計測し、操作者の手が操作面に接触しているかどうかを判定する方法が考えられる。図18は、撮像部13が操作面の下方に配置された例を示す図である。このとき、撮像部13で撮像した画像から求めた接触した座標位置と画像A上の座標位置とを関連付けしておけば、タッチパッドを用いることなく、撮像部13だけで操作部12を構成することも可能である。また、図18に示す位置に撮像部13が配置された場合、撮像部13で得られる手画像は手のひら側の画像となる。したがってこの場合には、手画像重畳部103で重畳する前に、手画像の左右を反転させて、つまり手画像の鏡像を重畳すればよい。また、操作面の下方に配置された撮像部13は、図19に示すように2台で構成されてもよいし、それ以上の台数で構成されてもよい。図19は、撮像部13を2台で構成した図である。また、撮像部13においては操作する手のみを撮像し、押下したか否かだけの入力を行う入力機器(スイッチやタッチパッドなど)を撮像部13の撮像範囲外の位置や操作面上以外の位置に設置して、操作部12を構成してもよい。この場合、押下した座標位置は、撮像部13で撮像された手画像のうち例えば人指し指の位置とすればよい。
また、上述では、右手左手判定部102において操作を行うユーザの手が左手か右手かを判定することにより、操作するユーザが視認している画像が画像Aか画像Bかを判定していたが、これ以外の方法を用いて判定してもよい。例えば、操作するユーザが画像Aまたは画像Bいずれの画像を視認しているかという識別情報をもつIRタグを用いるようにしてもよい。また例えば、図20に示すように、ユーザの操作する手ではなく、腕部分の挿入方向および/または位置に基づいて、操作するユーザが画像Aまたは画像Bいずれの画像を視認しているかを判定する方法であってもよい。図20は、撮像部13で撮像される操作部12付近の画像13gの一例を示す図である。図20において、撮像部13で撮像された画像13gで、例えば手30が挿入されたとする。このとき、手30の腕部分301は、画像上、右側に位置している。したがって、撮像部13で撮像された画像13gから腕部分301の位置を検出すれば、操作するユーザは操作部12の右側方向の画像Bを見ていると判定できる。
デュアル・ビュー表示機能をもつ表示装置を用いる場合であっても、操作を行うユーザには直感的な操作感を提供しつつ、各ユーザに対する視認性を向上させることが可能な撮像器を備える情報処理機器等に有用である。
本発明は、情報処理装置に関し、より特定的には、デュアル・ビュー表示された画像情報をもとにユーザによって操作された情報や命令に応じて、処理を行う情報処理装置に関する。
一般に知られているデュアル・ビュー表示機能をもつ表示装置は、異なる視野角方向それぞれに対して画像を同時表示することができる。これにより、ユーザの視点位置によって異なる画像を表示することもできる(例えば特許文献1参照)。特許文献1では、液晶表示パネルの前面にパララックスバリアを設置することで、ユーザの視点位置によって異なる画像を表示するデュアル・ビュー表示を実現している。
ここで、表示された画像情報をもとにユーザが操作した情報に応じて処理を行う方法としては、タッチパネルを用いる方法が挙げられる。具体的には、タッチパネルを表示装置の画面上に設置する。ここで、画面に表示されたGUI(Graphical User Interface)には、メニューやボタンスイッチに代表される表示部品(以下、GUI部品と称す)が含まれる。ユーザは、タッチパネルを介して、画面上で所望のGUI部品に触れることによって、そのGUI部品に関連付けられた命令や情報を入力することができる。このようにタッチパネルが画面上に設置されることで、ユーザに対し直感的な操作感を提供することができる。
しかしながら、デュアル・ビュー表示機能をもつ表示装置では、ユーザの視点位置によって異なる画像が表示される。つまり、デュアル・ビュー表示機能をもつ表示装置は、それぞれ独立した画像を各視点位置のユーザに表示するものである。したがって、上述したように画面上に設置したタッチパネルを用いて入力を行う場合、処理装置側では、どの視野角方向に表示された画像に対して入力が行われたかが区別できないため、適切な処理ができないという課題があった。
この課題を解決するために、異なる画像間においてGUI部品を重畳しないように表示する方法が提案されている(例えば特許文献2参照)。つまり、上述したように画面上に設置したタッチパネルを用いて入力を行っても、GUI部品が異なる位置に表示されるので、どの視野角方向に表示された画像に対して入力されたかを区別することができ、各視点位置に対して適切な処理を行うことができる。
特開2003−177357号公報 特開2005−284592号公報
ここで、GUI部品を重畳しないように表示する方法では、上述したようにユーザは画面上に設置されたタッチパネルを用いて入力操作を行う。したがって、一方の視点位置にいるユーザが操作を行うとき、ユーザの操作する手が他方の視点位置に表示される画像を遮ってしまうことなる。このように、異なる画像間においてGUI部品を重畳しないように表示する方法では、画面上に設置されたタッチパネルを用いて入力操作を行うので、操作するユーザに対しては直感的な操作感を提供することはできるが、操作をしないユーザに対しては視認性を低下させてしまうという問題があった。
また、GUI部品を重畳しないように表示する方法では、どの視野角方向に表示された画像に対して入力されたかを区別するために、GUI部品を異なる画像間で重畳しない位置に配置する必要がある。ここで、GUI部品は、ユーザの入力をより簡易的にする役割を果たしている。そのため、上述した従来の方法では、GUI部品を異なる画像間で重畳しない位置に配置する必要があるため、GUI部品を各画像上、最適な位置に配置することに制約があった。つまり、一方の視野角方向に表示された画像に対してはGUI部品をユーザがより入力し易い最適な位置に配置することができても、他方の視野角方向に表示された画像に対しては必ずしも最適な位置に配置することができないという問題があった。
それ故に、本発明は、デュアル・ビュー表示機能をもつ表示装置を用いる場合であっても、操作を行うユーザには直感的な操作感を提供しつつ、操作をしないユーザに対しては視認性を向上させることが可能な情報処理装置を提供することを目的とする。または、本発明は、異なる視野角方向にそれぞれ表示された各画像に対してGUI部品を最適な位置に配置して、ユーザの入力をより直感的、簡易的にすることが可能な情報処理装置を提供することを目的とする。
第1の発明は、ユーザの操作に応じて処理を行う情報処理装置であって、表示面に向かって左の視野角方向から視認可能な左画像と表示面に向かって右の視野角方向から視認可能な右画像とを同時表示する表示部と、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部と、操作を行うユーザが視認している画像が左画像か右画像かを判定する判定部とを備え、表示部は、判定部において右画像を視認していると判定されたとき、左画像と、手画像が重畳された右画像とを表示し、判定部において左画像を視認していると判定されたとき、右画像と、手画像が重畳された左画像とを表示することを特徴とする。
第2の発明は、上記第1の発明において、判定部は、手画像生成部において生成された手画像に基づいて、操作を行うユーザが視認している画像が左画像か右画像かを判定することを特徴とする。
第3の発明は、ユーザの操作に応じて処理を行う情報処理装置であって、表示面に向かって左の視野角方向から視認可能な左画像と表示面に向かって右の視野角方向から視認可能な右画像とを同時表示する表示部と、ユーザが表示部において表示された画像上の位置を指定する操作を受け付ける操作部と、操作を行うユーザが視認している画像が左画像か右画像かを判定する判定部と、判定部において右画像を視認していると判定されたとき、操作部において指定された位置に対応する右画像上の位置が指定されたとして当該右画像上の位置に対応する処理を実行し、判定部において左画像を視認していると判定されたとき、操作部において指定された位置に対応する左画像上の位置が指定されたとして当該左画像上の位置に対応する処理を実行する実行処理部とを備える。
第4の発明は、上記第3の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、判定部は、手画像生成部において生成された手画像に基づいて、操作を行うユーザが視認している画像が左画像か右画像かを判定することを特徴とする。
第5の発明は、上記第1または3の発明において、ユーザの操作を行う手に装着されたIRタグがもつ識別情報を読み取る識別情報読取部をさらに備え、判定部は、識別情報読取部において読み取られた識別情報に基づいて、操作を行うユーザが視認している画像が左画像か右画像かを判定することを特徴とする。
第6の発明は、ユーザの操作に応じて処理を行う情報処理装置であって、表示面に向かって左の視野角方向から視認可能な左画像と表示面に向かって右の視野角方向から視認可能な右画像とを同時表示する表示部と、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部と、ユーザの操作を行う手が左手か右手かを判定する判定部とを備え、表示部は、判定部において左手と判定されたとき、左画像と、手画像が重畳された右画像とを表示し、判定部において右手と判定されたとき、右画像と、手画像が重畳された左画像とを表示することを特徴とする。
第7の発明は、上記第6の発明において、判定部は、手画像生成部において生成された手画像に基づいてユーザの操作を行う手が左手か右手かを判定することを特徴とする。
第8の発明は、ユーザの操作に応じて処理を行う情報処理装置であって、表示面に向かって左の視野角方向から視認可能な左画像と表示面に向かって右の視野角方向から視認可能な右画像とを同時表示する表示部と、ユーザが表示部において表示された画像上の位置を指定する操作を受け付ける操作部と、ユーザの操作を行う手が左手か右手かを判定する判定部と、判定部において左手と判定されたとき、操作部において指定された位置に対応する右画像上の位置が指定されたとして当該右画像上の位置に対応する処理を実行し、判定部において右手と判定されたとき、操作部において指定された位置に対応する左画像上の位置が指定されたとして当該左画像上の位置に対応する処理を実行する実行処理部とを備える。
第9の発明は、上記第8の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、判定部は、手画像生成部において生成された手画像に基づいてユーザの操作を行う手が左手か右手かを判定することを特徴とする。
第10の発明は、上記第6または8の発明において、ユーザの操作を行う手に装着されたIRタグがもつ識別情報を読み取る識別情報読取部をさらに備え、判定部は、識別情報読取部において読み取られた識別情報に基づいて、ユーザの操作を行う手が左手か右手かを判定することを特徴とする。
第11の発明は、上記第8の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、表示部は、判定部において左手と判定されたとき、左画像と、手画像が重畳された右画像とを表示し、判定部において右手と判定されたとき、右画像と、手画像が重畳された左画像とを表示することを特徴とする。
第12の発明は、上記第8の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、実行処理部は、判定部において左手と判定されたとき、表示すべき左画像を右画像と同じ画像に変更するとともに、手画像を左画像および右画像に重畳して表示させ、判定部において右手と判定されたとき、表示すべき右画像を左画像と同じ画像に変更するとともに、手画像を左画像および右画像に重畳して表示させることを特徴とする。
第13の発明は、上記第8の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、実行処理部は、判定部において左手と判定されたとき、右画像に含まれるGUI部品を左画像に重畳して表示させるとともに、手画像を左画像および右画像に重畳して表示させ、判定部において右手と判定されたとき、左画像に含まれるGUI部品を右画像に重畳して表示させるとともに、手画像を左画像および右画像に重畳して表示させることを特徴とする。
第14の発明は、上記第8の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、実行処理部は、判定部において左手と判定されたとき、右画像と手画像とを半透明にして左画像に重畳して表示させるとともに、手画像を右画像に重畳して表示させ、判定部において右手と判定されたとき、左画像と手画像とを半透明にして右画像に重畳して表示させるとともに、手画像を左画像に重畳して表示させることを特徴とする。
第15の発明は、上記第8の発明において、ユーザの操作を行う手を撮像する撮像部と、ユーザの操作を行う手を表す手画像を、撮像部によって撮像された画像から生成する手画像生成部とをさらに備え、実行処理部は、判定部において左手と判定されたとき、表示すべき右画像に手画像を重畳して表示させるとともに、左画像に手画像の指先の位置を表す画像を重畳して表示させ、判定部において右手と判定されたとき、表示すべき左画像に手画像を重畳して表示させるとともに、右画像に手画像の指先の位置を表す画像を重畳して表示させることを特徴とする。
第16の発明は、上記第8の発明において、操作部は、ユーザの操作を行う手を撮像する撮像手段を含み、撮像手段において撮像した画像からユーザが指定した画像上の位置を算出し、情報処理装置は、ユーザの操作を行う手を表す手画像を、撮像手段によって撮像された画像から生成する手画像生成部をさらに備え、表示部は、判定部において左手と判定されたとき、左画像と、手画像が重畳された右画像とを表示させ、判定部において右手と判定されたとき、右画像と、手画像が重畳された左画像とを表示させることを特徴とする。
第17の発明は、上記第8の発明において、実行処理部は、判定部において左手と判定されたとき、左画像に含まれる画像のうち、操作部において指定された右画像上の位置に対応する画像を特定して当該画像の表示態様を変更し、判定部において右手と判定されたとき、右画像に含まれる画像のうち、操作部において指定された左画像上の位置に対応する画像を特定して当該画像の表示態様を変更することを特徴とする。
第18の発明は、上記第8の発明において、左画像および右画像には、表示が同じGUI部品が含まれており、左画像のGUI部品および右画像のGUI部品には、それぞれ異なる処理が関連付けられていることを特徴とする。
第19の発明は、上記第8の発明において、操作部は、GUI部品とそれが指定されたときに実行すべき処理とを関連付ける関連付け操作をユーザから受け付け、実行処理部は、関連付け操作が行われたときに判定部が左手と判定したとき、当該関連付け操作によって関連付けられるGUI部品を左画像に重畳して表示させ、関連付け操作が行われたときに判定部が右手と判定したとき、当該関連付け操作によって関連付けられるGUI部品を右画像に重畳して表示させることを特徴とする。
上記第1の発明によれば、操作を行うユーザが視認している画像が左画像か右画像かを判定し、右画像のときは手画像を右画像に重畳し、左画像のときは手画像を左画像に重畳して表示する。つまり、操作を行うユーザに対して表示される画像に自身の手画像が重畳されることとなるので、操作を行うユーザに対して直感的な操作感を提供することができる。またこのとき、操作をしないユーザ側には、操作を行うユーザの手画像は重畳されない。これにより、異なる視野角方向に各画像を同時表示する、いわゆるデュアル・ビュー表示においても、操作を行うユーザの手自体が操作をしないユーザの邪魔になることはなく、視認性を向上させることができる。
上記第2の発明によれば、生成された手画像に基づいて、操作を行うユーザが視認している画像が左画像か右画像かを判定することができる。
上記第3の発明によれば、操作を行うユーザが視認している画像が左画像か右画像かを判定することで、ユーザが右画像上で操作したのか左画像上で操作したのかを区別することができ、左右異なる視野角方向に存在するユーザに対して、それぞれの操作に応じた処理を行うことができる。つまり、第3の発明によれば、左右異なる視野角方向に存在するユーザそれぞれの操作に応じて処理内容を変えることができる。さらに、操作を行うユーザが視認している画像が左画像か右画像かを判定することで、ユーザが右画像上で操作したのか左画像上で操作したのかを区別することができるので、左画像および右画像それぞれに対して最適な位置にGUI部品などを配置することができ、操作性を向上させることができる。
上記第4の発明によれば、生成された手画像に基づいて、操作を行うユーザが視認している画像が左画像か右画像かを判定することができる。
上記第5の発明によれば、IRタグを用いることで、操作を行うユーザが視認している画像が左画像か右画像かを判定することができる。
上記第6の発明によれば、操作を行うユーザの手が右手か左手かを判定し、左手のときは手画像を右画像に重畳し、右手のときは手画像を左画像に重畳して表示する。ここで、左手で操作を行うユーザは表示部における右の視野角方向に存在するので、左手で操作を行うユーザには右画像が表示されている。また、右手で操作を行うユーザは表示部における左の視野角方向に存在するので、右手で操作を行うユーザには左画像が表示されている。したがって、操作を行うユーザに対して表示される画像に自身の手画像が重畳されることとなるので、操作を行うユーザに対して直感的な操作感を提供することができる。またこのとき、操作をしないユーザ側には、操作を行うユーザの手画像は重畳されない。これにより、異なる視野角方向に各画像を同時表示する、いわゆるデュアル・ビュー表示においても、操作を行うユーザの手自体が操作をしないユーザの邪魔になることはなく、視認性を向上させることができる。
上記第7の発明によれば、生成された手画像に基づいてユーザの操作を行う手が右手か左手かを判定することができる。
上記第8の発明によれば、操作を行うユーザの手が左手か右手かを判定することで、ユーザが右画像上で操作したのか左画像上で操作したのかを区別することができ、左右異なる視野角方向に存在するユーザに対して、それぞれの操作に応じた処理を行うことができる。つまり、第8の発明によれば、左右異なる視野角方向に存在するユーザそれぞれの操作に応じて処理内容を変えることができる。さらに、操作を行うユーザの手が左手か右手かを判定することで、ユーザが右画像上で操作したのか左画像上で操作したのかを区別することができるので、左画像および右画像それぞれに対して最適な位置にGUI部品などを配置することができ、操作性を向上させることができる。
上記第9の発明によれば、生成された手画像に基づいてユーザの操作を行う手が右手か左手かを判定することができる。
上記第10の発明によれば、IRタグを用いることでユーザの操作を行う手が左手か右手かを判定することができる。
上記第11の発明によれば、操作を行うユーザの手が右手か左手かを判定し、左手のときは手画像を右画像に重畳し、右手のときは手画像を左画像に重畳して表示する。ここで、左手で操作を行うユーザは表示部における右の視野角方向に存在するので、左手で操作を行うユーザには右画像が表示されている。また、右手で操作を行うユーザは表示部における左の視野角方向に存在するので、右手で操作を行うユーザには左画像が表示されている。したがって、操作を行うユーザに対して表示される画像に自身の手画像が重畳されることとなるので、操作を行うユーザに対して直感的な操作感を提供することができる。またこのとき、操作をしないユーザ側には、操作を行うユーザの手画像は重畳されない。これにより、異なる視野角方向に各画像を同時表示する、いわゆるデュアル・ビュー表示においても、操作を行うユーザの手自体が操作をしないユーザの邪魔になることはなく、視認性を向上させることができる。
上記第12の発明によれば、右画像および左画像の両方に手画像が重畳して表示され、右画像と左画像とが同じ画像に変更されるので、例えば操作方法が分からない一方のユーザに対して、他方のユーザが同じ画像上で両方に表示された手画像を用いて、より容易に、より直感的に教えることができる。
上記第13の発明によれば、右画像および左画像の両方に手画像が重畳して表示され、操作に必要なGUI部品が右画像および左画像に共通に表示されるので、例えば操作方法が分からない一方のユーザに対して、他方のユーザが両方の画像上に表示された手画像を用いて、より容易に、より直感的に教えることができる。さらに、操作に必要なGUI部品のみが教えるユーザ側の画像に表示されるので、教える側のユーザにはもともと表示されていた画像も表示されることとなる。これにより、教える側のユーザにとって、より利便性の高い表示を提供することができる。
上記第14の発明によれば、右画像および左画像の両方に手画像が重畳して表示され、操作に必要な画像が透明にして表示されるので、例えば操作方法が分からない一方のユーザに対して、他方のユーザが両方の画像上に表示された手画像を用いて、より容易に、より直感的に教えることができる。さらに、操作に必要な画像が透明であるので、教える側のユーザにはもともと表示されていた画像も表示されることとなる。これにより、教える側のユーザにとって、より利便性の高い表示を提供することができる。
上記第15の発明によれば、例えば操作方法が分からない一方のユーザに対して、他方のユーザが操作をして教える場合に、教える側の画像には手画像が表示され、教えてもらう側のユーザには手画像の指先の位置が表示される。これにより、より容易でより直感的な教授方法を提供することができる。
上記第16の発明によれば、操作部に含まれる撮像手段によって、ユーザが指定した画像上の位置を算出することができるとともに、手画像を生成するための画像を手画像生成部に供給することができる。
上記第17の発明によれば、例えば各ユーザが異なる地図画像を見ているときに、操作を行うユーザが指定した地図画像上の位置を、操作をしていないユーザに対して知らせることができる。
上記第18の発明によれば、例えば運転しているユーザが操作した場合には、簡易的な表示にして運転操作に邪魔にならないような処理を行い、助手席のユーザが操作した場合には、なるべく多くの情報を表示するような処理を行うなど、各ユーザの状況に応じた処理を行うことができる。
上記第19の発明によれば、一方のユーザによる関連付け操作によって関連付けられるGUI部品が、他方のユーザ側の画像上に表示されるので、他方のユーザはそのGUI部品に関連付けられた処理を実行するタイミングのみ入力すればよく、他方のユーザに複雑な複数の操作をさせたくない場合に特に有益である。
本発明に係る情報処理装置について具体的に説明する前に、図1を参照して、本発明に係る情報処理装置が行う処理の概略を説明する。図1は、本発明に係る情報処理装置が行う処理の概略を説明するための図である。
図1では、本発明に係る情報処理装置が例えば車載環境下に設置された場合を想定している。車の助手席にはユーザ21が、運転席にはユーザ22がそれぞれ座っている。表示部16は、デュアル・ビュー表示機能を有するディスプレイであり、助手席のユーザ21側には画像Aを表示している。図1では画像AとしてGUI部品Aを含む画像が表示されている。一方、表示部16は、運転席のユーザ22側には、画像Aとは異なる画像Bを表示している。図1では画像Bとして地図情報が表示されている。また助手席のユーザ21と運転席のユーザ22との間には、例えばタッチパネルで構成された操作部12が横倒しにして設置されている。助手席のユーザ21は、この操作部12上で右手21HRを使って操作を行っている。また図2に示すように、操作部12はカメラなどの撮像部13によって撮像されているとする。撮像部13は、車の天井などに設置されている。図2は、撮像部13が操作部12付近を撮像している様子を示す図である。
ここで、例えば助手席のユーザ21が、画像Aを見ながらGUI部品Aを押下してGUI部品Aに関連付けされた処理を行いたいとする。この場合、助手席のユーザ21は、右手21HRを使って操作部12上で操作を行い、画像A上の位置を指定する。このとき、本発明に係る情報処理装置の処理によって、画像Aには撮像部13で撮像された助手席のユーザ21の右手画像21SRが重畳される。そして、助手席のユーザ21は、重畳表示された自身の右手画像21SRを見ながら、操作部12上の右手21HRを動かして画像上のGUI部品Aを押下することができる。一方、運転席のユーザ22側の画像Bには、助手席のユーザ21の右手画像21SRは重畳されない。
このように、本発明に係る情報処理装置では、表示部16の画面上にタッチパネルを設置する代わりに、助手席のユーザ21の右手画像21SRを画面上に表示する。これにより、操作する助手席のユーザ21に対して直感的な操作感を提供することができる。さらに、本発明に係る情報処理装置では、操作しない運転席のユーザ22側には、操作する助手席のユーザ21の右手画像21SRは表示されない。これにより、デュアル・ビュー表示機能をもつ表示部を用いる場合であっても、操作する助手席のユーザ21の右手HR自体が運転席のユーザ22の邪魔になることはなく、視認性を向上させることができる。
以下、図3を参照して、本発明に係る情報処理装置について具体的に説明する。図3は、本発明に係る情報処理装置の構成を示す図である。図3において、本発明に係る情報処理装置は、操作部12、撮像部13、制御部14、表示部用制御部15、および表示部16を備える。なお、画像ソース11Aおよび画像ソース11Bは、異なる視点位置にいるユーザに対してそれぞれに表示される画像を出力するソースである。画像としては、例えばテレビ受信による画像、AV機器などの再生機器で再生される画像などが挙げられる。また以下、説明のために、画像ソース11Aから出力される画像を画像Aとし、画像ソース11Bから出力される画像を画像Bとする。また以下では、画像Aは表示部16に向かって左側の視野角方向(以下、単に左側方向と称す)に表示される画像とし、画像Bは右側の視野角方向(以下、単に右側方向と称す)に表示される画像として説明する。
操作部12は、表示された画像上の位置をユーザが指定する操作を受け付ける。つまり操作を行うユーザ(以下、操作者と称す)は、操作部12上に手を置いて操作を行い、画像上の位置を指定する。操作部12は、少なくとも操作面を有するものであればよいが、ここでは例えば操作部12がタッチパッドで構成されるとする。そして、タッチパネル上の座標位置と画像上の座標位置とが関連付けされているとする。
撮像部13は、少なくとも操作部12上にある操作者の手を含む範囲内を撮像し、操作者の手を含む画像を出力する。撮像部13は、例えば可視光カメラで構成される。撮像部13は、可視光カメラ以外に、例えば赤外線カメラ、近赤外線カメラ、サーモグラフィなどで構成されてもよい。つまり、撮像部13は、操作者の手領域を抽出することが可能な画像を取得する機器であれば、どのような機器で構成されてもよい。また撮像部13は、図2に示したように操作部12を撮像することが可能な位置に設置される。
制御部14は、例えばCPUで構成される。また制御部14は、機能的には手画像生成部101、右手左手判定部102、手画像重畳部103、および実行処理部104で構成される。手画像生成部101は、撮像部13で取得された操作部12付近の画像から操作者の手を表す手領域の画像(以下、手画像という)を生成する。なお、手画像生成部101は実写の手画像を生成してもよいし、手領域から輪郭だけをさらに抽出し、当該輪郭内に所定の模様や色を付した手画像を生成してもよい。右手左手判定部102は、手画像生成部101で手画像が生成されたときに、当該手画像に基づいて操作者の手が右手であるか左手であるかを判定する。手画像重畳部103は、右手左手判定部102において判定された結果に基づいて、画像Aまたは画像Bに対し、手画像生成部101で生成された手画像を重畳する。実行処理部104は、操作者が操作部12において入力した情報に対応して、処理を実行する。具体的には、実行処理部104は右手左手判定部102の判定結果により操作者が画像Aおよび画像Bどちらの画像が表示されたユーザであるかという情報を取得する。つまり、実行処理部104は、どの視野角方向にいるユーザが入力したかを右手左手判定部102の判定結果により区別して処理を行うことができる。例えば画像Aが表示されたユーザが操作者である場合には、実行処理部104は画像ソース11Aに適宜アクセスし、画像Aが表示されたユーザの入力に基づいた処理を実行する。
表示部用制御部15は、制御部14の手画像重畳部103で処理された各画像(画像AおよびB)を表示部16に供給し、デュアル・ビュー表示を行うための制御を行う。表示部16は、デュアル・ビュー表示が可能なディスプレイである。表示部16は、例えばその前面にパララックスバリアが設置された液晶表示パネルで構成される。このような表示部用制御部15および表示部16の構成によって、表示部16では画像Aと画像Bとが異なる視野角方向に同時表示される。つまり、表示部16で表示される画像はユーザの視点位置によって別々の画像となる。なお、表示部用制御部15および表示部16は、デュアル・ビュー表示を実現するものであれば、どのような機器で構成されてもよい。
次に、図4を参照して、本発明に係る情報処理装置の処理について具体的に説明する。図4は、本発明に係る情報処理装置の処理の流れを示すフローチャートである。
まず、手画像生成部101が撮像部13で撮像された操作部12付近の画像を取得する(ステップS1)。手画像生成部101は、ステップS1で取得した操作部12付近の画像から肌色の領域を抽出する(ステップS2)。そして、抽出した肌色の領域に対してノイズ除去を行い、手と予想される領域を取得する(ステップS3)。ここで、ノイズ除去の方法としては、一般に知られている方法を用いてかまわない。一例としては、抽出された領域が複数ある場合に、各領域の面積を比較して、最も大きい領域を手と予想される領域として取得する方法などが挙げられる。なお、撮像部13として赤外線カメラを使用した場合は、肌色領域を抽出することができない。そこで、手領域を抽出するために、手領域を輝度値の閾値で抽出する方法を用いる。なお、この時、赤外線投光機を設置し、操作面上部を照らすことで、手領域を抽出しやすくすることが好ましい。
ステップS3の次に、手画像生成部101は、ステップS3で取得した領域が手かどうか判定する(ステップS4)。ここで、手かどうかを判定する方法としては、一般的な方法を用いてかまわない。一例としては、手のパターンを予め記憶しておき、当該手のパターンとステップS3で取得された領域のパターンとを比較(パターンマッチング)する方法などが考えられる。ステップS4において、手画像生成部101が手であると判定した場合には、ステップS3で取得された領域を手画像として生成し、処理はステップS5へ進む。一方、ステップS4において、手画像生成部101が手ではないと判定した場合には、手画像が重畳されることなくデュアル・ビュー表示がなされる(ステップS6)。
ステップS4の次に、右手左手判定部102は、抽出された手画像に基づいて操作者の手が右手であるか左手であるかを判定する(ステップS5)。なお、ステップS5の具体的な処理については、後述にて説明する。ステップS5で右手と判断された場合、処理はステップS8へ進む(ステップS7で右手)。一方、ステップS5で左手と判断された場合には、処理はステップS11へ進む(ステップS7で左手)。
ステップS8において、手画像重畳部103は、左側方向に表示される画像Aに対して、ステップS4で得られた右手の手画像を重畳する。そして、画像Aにのみ手画像が重畳表示された、デュアル・ビュー表示が行われる(ステップS14)。つまり、右手で操作するユーザは、画像Aの表示方向と同じ左側方向に存在するので、画像Aに重畳表示された手画像は右手で操作するユーザにのみ視認されることとなる。ここで、理解を容易にするために図5を参照して説明すると、操作部12に操作者の手(図5では右手21HR)が置かれると、上述した処理によって最終的には操作者の手画像(図5では右手の手画像21SR)が左側方向に表示される画像Aに重畳表示される。図5は、本情報処理装置の処理による表示を模式的に示した図である。なお、ステップS8において画像A上のどの位置に手画像を重畳するかについては、例えば撮像部13で取得された操作部12付近の画像から操作部12の四隅を検出し、この四隅が画像AまたはBの四隅と一致するように調整する方法などが考えられる。
なおステップS8の次に、重畳表示された手画像を見ながらユーザが操作部12で画像上の位置を指定する入力を行うとき(ステップS9でYES)、実行処理部104はステップS5で操作者の手が右手と判定されているので、画像ソース11Aに適宜アクセスし、操作部12で指定された画像A上の位置に基づいた処理を実行する(ステップS10)。例えば、画像A上の位置にGUI部品等があれば、それに関連付けされた処理が実行される。その後、実行処理部104で処理された後の画像Aにのみ手画像が重畳表示されたデュアル・ビュー表示が行われる(ステップS14)。
一方、ステップS5で左手と判断された場合、右側方向に表示される画像Bに対して、ステップS4で得られた左手の手画像を重畳する(ステップS11)。そして、画像Bにのみ手画像が重畳表示された、デュアル・ビュー表示が行われる(ステップS14)。つまり、左手で操作するユーザは、画像Bの表示方向と同じ右側方向に存在するので、画像Bに重畳表示された手画像は左手で操作するユーザにのみ視認されることとなる。なおステップS11の次に、重畳表示された手画像を見ながらユーザが操作部12で画像上の位置を指定する入力を行うとき(ステップS12でYES)、実行処理部104はステップS5で操作者の手が右手と判定されているので、画像ソース11Bに適宜アクセスし、操作部12で指定された画像B上の位置に基づいた処理を実行する(ステップS13)。その後、実行処理部104で処理された後の画像Bにのみ手画像が重畳表示されたデュアル・ビュー表示が行われる(ステップS14)。
このように、実行処理部104は、右手左手判定部102の判定結果に基づいて、操作者が画像A上の位置に対する入力を行ったのか、または操作者が画像B上の位置に対する入力を行ったかを区別し、各操作者に対して別々の処理を行うことができる。つまり、実行処理部104は、異なる視野角方向に存在する操作者の各入力に応じて、処理内容を変えることができる。
次に、図6を参照して、右手左手判定処理(図4のステップS5)について詳細に説明する。図6は、右手左手判定処理の詳細な処理の流れを示すフローチャートである。ここでは一例として、手領域から手のひら領域を求めて指領域を検出し、各指領域から指先の位置を特定して左手か右手を判定する方法について説明する。まず、手画像生成部101で抽出された手領域内に所定半径の円を配置する(ステップS511)。ここで、所定半径の値は、配置する円が指の太さよりも大きい円となるように設定する。ステップS511の次に、円の輪郭線と手領域の輪郭線との間の距離をパラメータとして求める(ステップS512)。ここでは、例えば円の輪郭線上の全点それぞれについて手領域の輪郭線上の全点までの距離をパラメータとして算出する。ステップS512の次に、閾値以下の値となるパラメータのみを抽出する(ステップS513)。これは、手のひら領域を決定するに際し、値が大きい指領域の輪郭線に係るパラメータを予め算出対象から除外し、処理負担の軽減を図るためである。
ステップS513の次に、配置された円の位置と半径を変えて、手領域における手のひら部分に最も近似する円を手のひら領域として求める(ステップS514〜S518)。具体的には、まず円の位置を移動させ、パラメータ値が最小となる位置を求める(ステップS514およびS515)。このとき、円の位置は、例えば円の輪郭線上の各点で求められたパラメータ値の偏り具合に基づいて移動する。具体的には、大きな値のパラメータが多く分布している方向へ移動する。そして、円の位置が決定後、円の半径を変更してパラメータ値が最小となる半径を求める(ステップS516およびS517)。図7に示すように、ステップS514〜S517の処理によって決定された円を手のひら領域として決定する(ステップS518)。図7は、右手左手判定処理方法を模式的に示した図である。
なお、ステップS514〜S517の処理において、手のひらに最も近似する円として半径が異なる2つの円が存在する場合がある。この場合には、半径が大きい方の円を手のひら領域とするのが好ましい。また、上述では円を用いて手のひら領域を求めたが、例えば楕円や実際の手のひらの形状と近い形状を用いて手のひら領域を求めてもよい。近似する形状が実際の手のひらの形状に近いほど、より正確な手のひら領域を求めることができる。また、上記パラメータは、一般に知られているパターンマッチングなどのパラメータであってもよい。
ステップS518の次に、図7にも示すように、手のひら領域を除去することにより、各指領域を抽出する(ステップS519)。そして、手のひら領域の中心(円の中心)から指領域の輪郭線までの距離を指領域ごとに算出する(ステップS520)。そして、算出した各指領域での距離が最大となる点を指先点として設定する(ステップS521)。図7において、円の中心から距離が最大となる点が指先に位置していることが分かる。ここで、5つの指先点が設定された場合に(ステップS522)、各指先点について最も近い他の指先点までの距離を算出する(ステップS523)。つまり、図7に示すように、親指は人差し指との間の距離が他の指までの距離と比べて最も小さい値となる。このようにして求められた距離は、図7に示すように4つ存在することとなる。ステップS523の次に、設定された各指先点から、左右方向に2つある端点のうちステップS523で算出した距離が大きい方の端点を親指の指先点と設定する(ステップS524)。図7において、2つの端点(X点およびY点)のうち、X点の距離xがY点の距離yよりも大きくなっていることが分かる。よって、X点を親指と認識することができる。
ステップS524の次に、親指の指先点が右端または左端にあるかを判断する(ステップS525)。親指の指先点が右端にあれば左手と判定し(ステップS526)、左端にあれば右手と判定する(ステップS527)。以上で右手左手判定処理の流れについて説明を終了する。
なお、上述した右手左手判定処理において、親指を左右方向の端点から求めたが、これに限定されない。例えば、図7で言えば、親指は他の指より最も画面下側にある。これを利用して画面下側にある指先点を親指として設定してもよい。また、上述した左右方向の端点から求める方法と下側にある指先点を求める方法とを両方用いて、親指の指先点を設定してもよい。また、その他一般に知られている方法を用いてもよい。
また、上述した右手左手判定処理においては、手画像生成部101から生成された手画像を用いて右手左手を判定したが、これに限定されない。一例としては、操作者が手に右手・左手の識別情報をもつIRタグを装着し、識別情報読取部(図示なし)と通信することで、操作者の手が右手か左手かを検知する方法でもよい。識別情報読取部は、IRタグと通信して識別情報を読み取るものである。この識別情報読取部は、操作部12内に設けられてもよいし、操作部12外にあってもよい。また、手のひらの手相を画像処理によって検知して、右手左手を検知する方法を用いてもよい。
なお、上述したように実行処理部104は、異なる視野角方向に存在する操作者の各入力に応じて、処理内容を変えることができる。上述では、単に一方の操作者の入力に対応した処理についてのみ説明したが、これに限らない。例えば、一方の操作者の入力に対応する処理が実行されるときに、操作をしていない他方のユーザに対してもその処理と関連した画像間の処理を実行するようにしてもよい。以下、この画像間の処理について具体例を挙げて説明する。
図8を参照して、第1の具体例について説明する。例えば異なる地図画像を見ている各ユーザ間において、操作者が非操作者に対して地図上の特定の位置を教えたい場合がある。そこで、互いに異なる地図画像を見ている場合において、操作者が地図画像上の特定の位置を押下したときに、非操作者が見ている地図画像上で操作者が押下した特定の位置に対応する位置を点滅などさせて表示態様を変更し、非操作者に教えるようにする。
図8は、3D表示および2D表示間で処理を行う様子を示した図である。図8では、図1と同様に、本発明に係る情報処理装置が例えば車載環境下に設置された場合を想定している。また、図8に示す各部は、図1で示した各部に対して画像Aおよび画像Bの内容と処理とが異なるのみであり、他の各部の詳細な説明は省略する。図8において、画像Aは3D表示の地図画像である。画像Bは2D表示の地図画像である。助手席のユーザ21は3D表示された地図を見ている。運転席のユーザ22は2D表示された地図を見ている。
ここで図8に示すように、助手席のユーザ21が画像Aに重畳された右手画像21SRを見ながら、操作部12上に置いた右手で画面上の3D表示された建物T(GUI部品)を押下したとする。このとき、実行処理部104は、まず右手左手判定部102からユーザ21または22のどちらが入力したのかという判定結果を取得する。ここでは、ユーザ21が右手21HRで操作しているので、右手左手判定部102では右手と判定される。つまり、操作者は左側方向にいるユーザ21であることが分かる。これにより、実行処理部104では、操作部12上で押下された座標位置と対応する画像A上の座標位置にある3D表示された建物Tを検出する。その後、実行処理部104は、操作をしていない運転席のユーザ22が見ている画像Bに対し、3D表示された建物Tに対応する2D表示された建物Tの座標位置を検索する。そして、実行処理部104は、図8に示したように、検索した画像B上の2D表示された建物Tを点滅表示などをさせる処理を行う。なお、図8においては、実行処理部104の処理に際し、3D表示された地図と2D表示された地図との間で座標位置の変換を行う必要があるが、この変換方式自体は一般に知られている変換方法を用いるとし、詳細な説明は省略する。
なお、図8では、3D表示および2D表示間での処理について説明したが、例えば図9に示すように、同じ2D表示間であって縮尺が異なる画像間でも処理を行うことができる。図9は、実行処理部104が同じ2D表示間であって縮尺が異なる画像間で処理を行う様子を示した図である。さらに、図10に示すように、ユーザ21が押下した画像A上の建物Tが画像B上に表示されていない場合に、実行処理部104が画像Bの縮尺を変えて建物Tを表示するように処理を行うことも可能である。図10は、ユーザ21が押下した画像A上の建物Tが画像B上に表示されていない場合に実行処理部104が画像Bの縮尺を変える様子を示した図である。
また、実行処理部104は、押下した座標位置だけではなく、右手左手判定部102の判定結果に基づいて制御命令を変えるようにしてもよい。具体的には、例えばユーザ21および22にそれぞれ表示された画像上で、同じ機能(同じ表示)を有するが関連付けられた処理内容が異なるGUI部品を同じ位置に設置する。これにより、操作者の手が右手か左手かによって実行される処理内容が変わる。同じ機能を有するが処理内容が異なるGUI部品としては、例えば運転席のユーザ22側から実行される場合には、簡易的な表示にして運転操作に邪魔にならないように処理する。一方、助手席のユーザ21側から実行される場合には、なるべく多くの情報を表示するように処理を行う。このような処理を行うことで、同じ機能を実行する際にも、使い勝手を向上させるなどの長所を付加することができる。
図11を参照して、第2の具体例について説明する。運転中のユーザが画面を見ながら複雑な操作を行うと、安全運転に支障をきたすおそれがある。そこで、複雑な操作は助手席のユーザが行って、運転するユーザはその複雑な操作を実行するタイミングだけ決定するするようにする。図11は、一連の操作を実行するためのコマンド(ショートカット)を操作者から非操作者に移動させる様子を示した図である。図11では、運転しているユーザ22の操作をより簡易なものにするために、助手席のユーザ21が、関連付け操作を行って目的地を設定する一連の操作を実行するためのショートカット(GUI部品)を作成し、当該ショートカットを運転席のユーザ22側の画像Bに移動させる様子を示している。
この場合、助手席のユーザ21は、画像A上で目的地にしたい場所のGUI部品23を押下後、目的地のGUI部品24を押下する。そして、助手席のユーザ21は、これら目的地設定に係る一連の操作をコマンド実行するためのショートカット25を作成する。ここで図11においては、作成されたショートカット25が画像Aの右上に表示される。助手席のユーザ21は、作成したショートカット25を画像Aの右上隅に設定された特定のエリア26にドラッグアンドドロップする。そして、運転席のユーザ22側の画像B上の特定のエリア27にショートカット25が移動する。そして、運転席のユーザ22は、画像B上の特定のエリア27に表示されたショートカット25を押下するだけで、目的地の設定を行うことができる。すなわち、実行するタイミングは運転手側で任意に決定することが可能となる。
ここで、ショートカット25を作成する処理については、一般のパソコンで用いられているバッチコマンド作成と同等の方法を用いてもよいし、他の一般的な方法を用いてもよい。また、ショートカット25を画像Aから画像Bに移動させる処理について詳細に説明すると、図12に示すように、まず画像Aおよび画像Bに対してそれぞれ特定のエリア26および27を画像AおよびB間を移動するエリア(移動エリア)として設定しておく。図12は、画像Aおよび画像B上に設定された移動エリアの一例を示す図である。この移動エリアにショートカット25がドラッグアンドドロップされたときだけ、画像Aから画像B(または画像Bから画像A)に移動表示するようにすればよい。なお、図12において、移動エリアを同じ位置に示したが、画像Aおよび画像Bで異なる位置にあってもよい。また、このショートカットを移動させる処理は、実行処理部104が行ってもよいし、図4で示した構成に対して新たにショートカット移動部を設けて、当該ショートカット移動部で行うようにしてもよい。
図13〜図17を参照して、第3の具体例について説明する。異なる画像を見ているユーザに対して操作者が操作方法を教えるようなヘルプモードの場合には、両方の画像に操作者の手画像を表示することが望ましい。そこで、このような処理を第3の具体例として詳細に説明する。
図13は、助手席のユーザ21がオーディオ画面上での操作方法が分からず、ヘルプボタンを押下している様子を示した図である。図14は、ヘルプボタンが押下された後、オーディオ画面が両方の画面に表示され、運転席のユーザ22が操作方法を教授している様子を示す図である。図15〜図17は、図14に関する他の例を示す図である。
図13において、助手席のユーザ21が画像Aに重畳された右手画像21SRを見ながらヘルプボタンを押下したとする。このとき、実行処理部104は、まず右手左手判定部102からユーザ21または22のどちらが入力したのかという判定結果を取得する。ここでは、ユーザ21が右手21HRで操作しているので、右手左手判定部102では右手と判定される。つまり、操作者は左側方向にいるユーザ21であることが分かる。これにより、実行処理部104では、操作部12上で押下された座標位置と対応する画像A上の座標位置にあるヘルプボタンのGUI部品を検出する。その後、図14に示すように、実行処理部104は運転席のユーザ22に表示される画像を画像Aと同じオーディオ画面に変える。そして、教える人、ここでは、運転席のユーザ22が操作部12上に左手22HLを置く。このとき、操作部12上に置かれた左手は、手画像重畳部103でユーザ21および22に表示される両方の画像AおよびBに重畳される。そして、この両方の画像に重畳された左手画像22SLを用いて運転席のユーザ22は助手席のユーザ21に操作方法を教えることができる。
なお、図14では、運転席のユーザ22に表示される画像をヘルプボタンを押下した助手席のユーザ21に表示された画像Aと同じ画像に変えたが、図15に示すように、実行処理部104が運転席のユーザ22に表示された画像Bに半透明にした画像Aを重畳するようにしてもよい。
また、例えば助手席のユーザ21がオーディオ画面にてテレビやDVDなどの動画を見ているときにヘルプボタンを押下した場合、上述したように運転席のユーザ22に対して同じ画像を表示すると、運転しているユーザ22がその映像に気を取られ、運転面に支障をきたすおそれも考えられる。このような場合には、実行処理部104は助手席のユーザ21に表示された画像のうち、動画が表示される領域を運転席のユーザ22側には表示しないようにしてもよい。
また、実行処理部104は、図16に示すように、助手席のユーザ21に表示された画像Aのうち、操作可能なボタンGUI部品のみを運転席のユーザ22に表示される画像Bに重畳するようにしてもよい。このとき、実行処理部104は、ヘルプボタンを押したユーザ21に表示された画像Aのうち押下できるGUI部品をすべて抽出する。そして、抽出したGUI部品を画像A上の位置と同じ位置で画像Bに重畳する。なお、GUI部品に関連付けされた機能の名称などはGUI部品内に言葉で表記することが望ましい。
また図17に示すように、実行処理部104は、手画像重畳部103において、操作方法を教える運転席のユーザ22に表示される画像には左手画像22SLを重畳させ、教えてもらう側の助手席のユーザ21に表示される画像Aには左手画像22SLに基づいたカーソルや指先点のみの画像を重畳させるようにしてもよい。図17では、助手席のユーザ21に表示された画像Aには、左手画像22SLの各指先の位置を示すポインター22SLPが重畳表示されている。このポインター22SLPは、図17に示したような丸形状であってもよいし、それ以外の矢印などの他のGUI部品と区別可能な形状であればどのような形状であってもよい。
以上のように、本発明に係る情報処理装置によれば、操作者の手が右手か左手かを判定し、操作者に表示された画像に当該操作者の手画像を重畳することで、操作者に対して直感的な操作感を提供することができる。さらに、本発明に係る情報処理装置によれば、非操作者側には、操作者の手画像は表示されないので、デュアル・ビュー表示機能をもつ表示部を用いる場合であっても、操作者の手自体が非操作者の邪魔になることはなく、視認性を向上させることができる。さらに、本発明に係る情報処理装置によれば、操作者の手が右手か左手かを判定し、当該判定結果に基づいて操作者の入力に対応した処理を行うことができる。つまり、当該判定結果によって、異なる視野角方向にいるユーザの各入力を区別することができ、各入力に応じた処理を行うことができる。さらに、本発明に係る情報処理装置によれば、操作者の手が右手か左手かの判定結果に基づいて操作者の入力に対応した処理を行うことができるので、異なる視野角方向にそれぞれ表示された各画像に対してGUI部品などを最適な位置に配置することが可能となる。
なお、上述では、操作部12がタッチパッドで構成されるとし、操作者によって押下されたタッチパネル上の座標位置と画面上の座標位置とが関連付けされているとした。ここで、タッチパッドは押下した座標位置が検出可能なデバイスであればどのような形態をとってもかまわないが、タッチパッド自体を用いなくてもよい。例えば図18に示すように、撮像部13を透明な操作面の下方に配置し、操作者の手との距離をを計測し、操作者の手が操作面に接触しているかどうかを判定する方法が考えられる。図18は、撮像部13が操作面の下方に配置された例を示す図である。このとき、撮像部13で撮像した画像から求めた接触した座標位置と画像A上の座標位置とを関連付けしておけば、タッチパッドを用いることなく、撮像部13だけで操作部12を構成することも可能である。また、図18に示す位置に撮像部13が配置された場合、撮像部13で得られる手画像は手のひら側の画像となる。したがってこの場合には、手画像重畳部103で重畳する前に、手画像の左右を反転させて、つまり手画像の鏡像を重畳すればよい。また、操作面の下方に配置された撮像部13は、図19に示すように2台で構成されてもよいし、それ以上の台数で構成されてもよい。図19は、撮像部13を2台で構成した図である。また、撮像部13においては操作する手のみを撮像し、押下したか否かだけの入力を行う入力機器(スイッチやタッチパッドなど)を撮像部13の撮像範囲外の位置や操作面上以外の位置に設置して、操作部12を構成してもよい。この場合、押下した座標位置は、撮像部13で撮像された手画像のうち例えば人指し指の位置とすればよい。
また、上述では、右手左手判定部102において操作を行うユーザの手が左手か右手かを判定することにより、操作するユーザが視認している画像が画像Aか画像Bかを判定していたが、これ以外の方法を用いて判定してもよい。例えば、操作するユーザが画像Aまたは画像Bいずれの画像を視認しているかという識別情報をもつIRタグを用いるようにしてもよい。また例えば、図20に示すように、ユーザの操作する手ではなく、腕部分の挿入方向および/または位置に基づいて、操作するユーザが画像Aまたは画像Bいずれの画像を視認しているかを判定する方法であってもよい。図20は、撮像部13で撮像される操作部12付近の画像13gの一例を示す図である。図20において、撮像部13で撮像された画像13gで、例えば手30が挿入されたとする。このとき、手30の腕部分301は、画像上、右側に位置している。したがって、撮像部13で撮像された画像13gから腕部分301の位置を検出すれば、操作するユーザは操作部12の右側方向の画像Bを見ていると判定できる。
デュアル・ビュー表示機能をもつ表示装置を用いる場合であっても、操作を行うユーザには直感的な操作感を提供しつつ、各ユーザに対する視認性を向上させることが可能な撮像器を備える情報処理機器等に有用である。
本発明に係る情報処理装置が行う処理の概略を説明するための図 撮像部13が操作部12付近を撮像している様子を示す図 本発明に係る情報処理装置の構成を示す図 本発明に係る情報処理装置の処理の流れを示すフローチャート 本情報処理装置の処理による表示を模式的に示した図 右手左手判定処理の詳細な処理の流れを示すフローチャート 右手左手判定処理方法を模式的に示した図 3D表示および2D表示間で処理を行う様子を示した図 実行処理部104が同じ2D表示間であって縮尺が異なる画像間で処理を行う様子を示した図 ユーザ21が押下した画像A上の建物Tが画像B上に表示されていない場合に実行処理部104が画像Bの縮尺を変える様子を示した図 一連の操作を実行するためのショートカットを操作者から非操作者に移動させる様子を示した図 画像Aおよび画像B上に設定された移動エリアの一例を示す図 助手席のユーザ21がオーディオ画面上での操作方法が分からず、ヘルプボタンを押下している様子を示した図 ヘルプボタンが押下された後、オーディオ画面が両方の画面に表示され、運転席のユーザ22が操作方法を教授している様子を示す図 図14に関する他の例を示す図 図14に関する他の例を示す図 図14に関する他の例を示す図 撮像部13が操作面の下方に配置された例を示す図 撮像部13を2台で構成した図 撮像部13で撮像される操作部12付近の画像13gの一例を示す図
符号の説明
11 画像ソース
12 操作部
13 撮像部
14 制御部
15 表示部用制御部
16 表示部
101 手画像生成部
102 右手左手判定部
103 手画像重畳部
104 実行処理部
21 助手席のユーザ
22 運転席のユーザ

Claims (10)

  1. ユーザの操作に応じて処理を行う情報処理装置であって、
    表示面に向かって左の視野角方向から視認可能な左画像と表示面に向かって右の視野角方向から視認可能な右画像とを同時表示する表示部と、
    前記ユーザが前記表示部において表示された画像上の位置を指定する操作を受け付ける操作部と、
    前記操作部に対して前記ユーザが操作を行う手を撮像する撮像部と、
    前記撮像部によって撮像された画像から前記ユーザの操作を行う手を表す手画像を生成する手画像生成部と、
    前記操作部に対してユーザが操作を行う手が左手か右手かを判定する操作手判定部と、
    前記操作手判定部の判定結果に基づいて、操作を行う前記ユーザが視認している画像が前記左画像か前記右画像かを判定する画像判定部と、
    前記画像判定部において前記右画像を視認していると判定されたとき、前記左画像と、前記手画像が重畳された右画像とを表示するとともに、前記操作部において指定された位置に対応する右画像上の位置が指定されたとして当該右画像上の位置に対応する処理を実行し、前記画像判定部において前記左画像を視認していると判定されたとき、前記右画像と、前記手画像が重畳された左画像とを表示するとともに、前記操作部において指定された位置に対応する左画像上の位置が指定されたとして当該左画像上の位置に対応する処理を実行する実行処理部とを備える、情報処理装置。
  2. 前記操作手判定部は、前記手画像生成部において生成された手画像に基づいて、前記ユーザが操作を行う手が左手か右手かを判定することを特徴とする、請求項1に記載の情報処理装置。
  3. 前記ユーザの操作を行う手に装着されたIRタグがもつ識別情報を読み取る識別情報読取部をさらに備え、
    前記操作手判定部は、前記識別情報読取部において読み取られた識別情報に基づいて、前記ユーザが操作を行う手が左手か右手かを判定することを特徴とする、請求項1に記載の情報処理装置。
  4. 前記実行処理部は、前記操作手判定部において左手と判定されたとき、表示すべき左画像を右画像と同じ画像に変更するとともに、前記手画像を左画像および右画像に重畳して表示させ、前記操作手判定部において右手と判定されたとき、表示すべき右画像を左画像と同じ画像に変更するとともに、前記手画像を左画像および右画像に重畳して表示させることを特徴とする、請求項1〜3のいずれかに記載の情報処理装置。
  5. 前記実行処理部は、前記操作手判定部において左手と判定されたとき、前記右画像に含まれるGUI部品を左画像に重畳して表示させるとともに、前記手画像を左画像および右画像に重畳して表示させ、前記操作手判定部において右手と判定されたとき、前記左画像に含まれるGUI部品を右画像に重畳して表示させるとともに、前記手画像を左画像および右画像に重畳して表示させることを特徴とする、請求項1〜3のいずれかに記載の情報処理装置。
  6. 前記実行処理部は、前記操作手判定部において左手と判定されたとき、前記右画像と前記手画像とを半透明にして左画像に重畳して表示させるとともに、前記手画像を右画像に重畳して表示させ、前記操作手判定部において右手と判定されたとき、前記左画像と前記手画像とを半透明にして右画像に重畳して表示させるとともに、前記手画像を左画像に重畳して表示させることを特徴とする、請求項1〜3のいずれかに記載の情報処理装置。
  7. 前記実行処理部は、前記操作手判定部において左手と判定されたとき、表示すべき右画像に前記手画像を重畳して表示させるとともに、前記左画像に前記手画像の指先の位置を表す画像を重畳して表示させ、前記操作手判定部において右手と判定されたとき、表示すべき左画像に前記手画像を重畳して表示させるとともに、前記右画像に前記手画像の指先の位置を表す画像を重畳して表示させることを特徴とする、請求項1〜3のいずれかに記載の情報処置装置。
  8. 前記実行処理部は、前記操作手判定部において左手と判定されたとき、左画像に含まれる画像のうち、前記操作部において指定された右画像上の位置に対応する画像を特定して当該画像の表示態様を変更し、前記操作手判定部において右手と判定されたとき、右画像に含まれる画像のうち、前記操作部において指定された左画像上の位置に対応する画像を特定して当該画像の表示態様を変更することを特徴とする、請求項1〜3のいずれかに記載の情報処理装置。
  9. 前記左画像および前記右画像には、表示が同じGUI部品が含まれており、
    前記左画像のGUI部品および前記右画像のGUI部品には、それぞれ異なる処理が関連付けられていることを特徴とする、請求項1〜3のいずれかに記載の情報処理装置。
  10. 前記操作部は、GUI部品とそれが指定されたときに実行すべき処理とを関連付ける関連付け操作をユーザから受け付け、
    前記実行処理部は、前記関連付け操作が行われたときに前記操作手判定部が左手と判定したとき、当該関連付け操作によって関連付けられるGUI部品を左画像に重畳して表示させ、前記関連付け操作が行われたときに前記操作手判定部が右手と判定したとき、当該関連付け操作によって関連付けられるGUI部品を右画像に重畳して表示させることを特徴とする、請求項1〜3のいずれかに記載の情報処理装置。
JP2007556915A 2006-02-03 2007-02-01 情報処理装置 Ceased JPWO2007088939A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006027315 2006-02-03
JP2006027315 2006-02-03
PCT/JP2007/051716 WO2007088939A1 (ja) 2006-02-03 2007-02-01 情報処理装置

Publications (1)

Publication Number Publication Date
JPWO2007088939A1 true JPWO2007088939A1 (ja) 2009-06-25

Family

ID=38327508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007556915A Ceased JPWO2007088939A1 (ja) 2006-02-03 2007-02-01 情報処理装置

Country Status (5)

Country Link
US (1) US20090002342A1 (ja)
EP (1) EP1980935A1 (ja)
JP (1) JPWO2007088939A1 (ja)
CN (1) CN101375235B (ja)
WO (1) WO2007088939A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7107081B1 (en) 2001-10-18 2006-09-12 Iwao Fujisaki Communication device
US8090402B1 (en) 2003-09-26 2012-01-03 Iwao Fujisaki Communication device
US7917167B1 (en) 2003-11-22 2011-03-29 Iwao Fujisaki Communication device
EP2212764B1 (en) * 2007-10-11 2017-06-14 Microsoft Technology Licensing, LLC Method for palm touch identification in multi-touch digitizing systems
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
JP2009181423A (ja) * 2008-01-31 2009-08-13 Denso Corp 操作入力装置
US8319832B2 (en) 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
US8270669B2 (en) * 2008-02-06 2012-09-18 Denso Corporation Apparatus for extracting operating object and apparatus for projecting operating hand
JP5029470B2 (ja) * 2008-04-09 2012-09-19 株式会社デンソー プロンプター式操作装置
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
US8340726B1 (en) 2008-06-30 2012-12-25 Iwao Fujisaki Communication device
JP4692937B2 (ja) * 2008-09-29 2011-06-01 株式会社デンソー 車載用電子機器操作装置
US20100079413A1 (en) * 2008-09-29 2010-04-01 Denso Corporation Control device
US9477396B2 (en) 2008-11-25 2016-10-25 Samsung Electronics Co., Ltd. Device and method for providing a user interface
KR20100059698A (ko) * 2008-11-25 2010-06-04 삼성전자주식회사 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체
US9552154B2 (en) 2008-11-25 2017-01-24 Samsung Electronics Co., Ltd. Device and method for providing a user interface
JP5299054B2 (ja) * 2009-04-21 2013-09-25 ソニー株式会社 電子機器、表示制御方法およびプログラム
TWI452488B (zh) * 2009-05-18 2014-09-11 Pixart Imaging Inc 應用於感測系統的控制方法
US20120194561A1 (en) * 2009-09-22 2012-08-02 Nadav Grossinger Remote control of computer devices
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
US20110310126A1 (en) * 2010-06-22 2011-12-22 Emil Markov Georgiev Method and system for interacting with datasets for display
CN102314251A (zh) * 2010-07-02 2012-01-11 宏碁股份有限公司 触控屏幕的操作方法
US9870068B2 (en) 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
CN101968710B (zh) * 2010-09-29 2012-11-14 宇龙计算机通信科技(深圳)有限公司 一种电子终端人机界面的控制方法及电子终端
WO2012111010A1 (en) 2011-02-15 2012-08-23 N-Trig Ltd. Tracking input to a multi-touch digitizer system
JP5298161B2 (ja) * 2011-06-13 2013-09-25 シャープ株式会社 操作装置及び画像形成装置
CN103703763B (zh) * 2011-07-29 2018-02-27 惠普发展公司,有限责任合伙企业 视觉分层的系统和方法
US20130088434A1 (en) * 2011-10-06 2013-04-11 Sony Ericsson Mobile Communications Ab Accessory to improve user experience with an electronic display
EP2797767A4 (en) * 2011-12-29 2016-08-03 Intel Corp SYSTEMS AND METHOD FOR IMPROVED DISPLAY OF IMAGES
JP6011165B2 (ja) * 2012-08-31 2016-10-19 オムロン株式会社 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP5264007B1 (ja) * 2012-10-01 2013-08-14 善郎 水野 コントローラ
DE102012219736A1 (de) 2012-10-29 2014-04-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
US9122916B2 (en) * 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking
BR112016009202A8 (pt) 2013-10-23 2020-03-24 Oculus Vr Llc aparelhos e método para gerar um padrão de luz estruturada
JP6180306B2 (ja) * 2013-12-05 2017-08-16 三菱電機株式会社 表示制御装置及び表示制御方法
DE112013007666T5 (de) * 2013-12-05 2016-08-25 Mitsubishi Electric Corporation Anzeigesteuervorrichtung und Anzeigesteuerfahren
JP5712339B1 (ja) * 2014-05-30 2015-05-07 楽天株式会社 入力装置、入力方法およびプログラム
JP2016004541A (ja) * 2014-06-19 2016-01-12 本田技研工業株式会社 車両用操作入力装置
US10417801B2 (en) 2014-11-13 2019-09-17 Hewlett-Packard Development Company, L.P. Image projection
KR102129376B1 (ko) 2015-02-25 2020-07-02 페이스북, 인크. 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별
WO2016154218A1 (en) 2015-03-22 2016-09-29 Oculus Vr, Llc Depth mapping with a head mounted display using stereo cameras and structured light
US10185400B2 (en) * 2016-01-11 2019-01-22 Antimatter Research, Inc. Gesture control device with fingertip identification
JP2018132986A (ja) * 2017-02-16 2018-08-23 株式会社東海理化電機製作所 画像認識装置
JP6638687B2 (ja) * 2017-04-05 2020-01-29 京セラドキュメントソリューションズ株式会社 表示装置
WO2019152013A1 (en) 2018-01-31 2019-08-08 Hewlett-Packard Development Company, L.P. Operating user interfaces

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269012A (ja) * 1997-03-28 1998-10-09 Yazaki Corp タッチパネルコントローラ及びこれを用いた情報表示装置
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2003099200A (ja) * 2001-09-26 2003-04-04 Clarion Co Ltd 情報機器装置
JP2005096515A (ja) * 2003-09-22 2005-04-14 Alps Electric Co Ltd 車載用入力装置
JP2005284592A (ja) * 2004-03-29 2005-10-13 Sharp Corp 表示装置
JP2006047534A (ja) * 2004-08-03 2006-02-16 Alpine Electronics Inc 表示制御システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02132510A (ja) * 1988-11-12 1990-05-22 Sony Corp 入力装置
DE69634913T2 (de) * 1995-04-28 2006-01-05 Matsushita Electric Industrial Co., Ltd., Kadoma Schnittstellenvorrichtung
DE69732820T2 (de) 1996-09-12 2006-04-13 Sharp K.K. Parallaxeschranke und Anzeigevorrichtung
JP2004048644A (ja) * 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
CN100340952C (zh) * 2003-03-10 2007-10-03 皇家飞利浦电子股份有限公司 多视图显示器
US7466308B2 (en) * 2004-06-28 2008-12-16 Microsoft Corporation Disposing identifying codes on a user's hand to provide input to an interactive display application
US20060154227A1 (en) * 2005-01-07 2006-07-13 Rossi Deborah W Electronic classroom

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269012A (ja) * 1997-03-28 1998-10-09 Yazaki Corp タッチパネルコントローラ及びこれを用いた情報表示装置
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2003099200A (ja) * 2001-09-26 2003-04-04 Clarion Co Ltd 情報機器装置
JP2005096515A (ja) * 2003-09-22 2005-04-14 Alps Electric Co Ltd 車載用入力装置
JP2005284592A (ja) * 2004-03-29 2005-10-13 Sharp Corp 表示装置
JP2006047534A (ja) * 2004-08-03 2006-02-16 Alpine Electronics Inc 表示制御システム

Also Published As

Publication number Publication date
US20090002342A1 (en) 2009-01-01
EP1980935A1 (en) 2008-10-15
CN101375235B (zh) 2011-04-06
WO2007088939A1 (ja) 2007-08-09
CN101375235A (zh) 2009-02-25

Similar Documents

Publication Publication Date Title
JPWO2007088939A1 (ja) 情報処理装置
CA2811868C (en) Operation input apparatus, operation input method, and program
JP4605170B2 (ja) 操作入力装置
JP6159323B2 (ja) 情報処理方法及び情報処理装置
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
JP4351599B2 (ja) 入力装置
US8085243B2 (en) Input device and its method
JP2009042796A (ja) ジェスチャー入力装置および方法
JP2010184600A (ja) 車載用ジェスチャースイッチ装置
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
JP2011028366A (ja) 操作制御装置および操作制御方法
JP2013045217A (ja) 入力装置
WO2006013783A1 (ja) 入力装置
JP2004078977A (ja) インターフェイス装置
JP2012027515A (ja) 入力方法及び入力装置
JP2014026355A (ja) 映像表示装置および映像表示方法
JP2010173584A (ja) 操作装置
JP5158152B2 (ja) 操作入力装置
WO2021225044A1 (ja) 情報処理装置及びユーザの入力操作に基づく情報処理方法並びに該方法を実行するためのコンピュータプログラム
JP2009282637A (ja) 表示方法および表示装置
KR100939831B1 (ko) 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치
JP5062898B2 (ja) ユーザインタフェイス装置
WO2017175666A1 (ja) 車載用情報処理システム
JP5027084B2 (ja) 入力装置及び入力方法
JP2018073310A (ja) 表示システム、表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090820

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120223

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20120622