JP5864043B2 - 表示装置、操作入力方法、操作入力プログラム、及び記録媒体 - Google Patents

表示装置、操作入力方法、操作入力プログラム、及び記録媒体 Download PDF

Info

Publication number
JP5864043B2
JP5864043B2 JP2011088496A JP2011088496A JP5864043B2 JP 5864043 B2 JP5864043 B2 JP 5864043B2 JP 2011088496 A JP2011088496 A JP 2011088496A JP 2011088496 A JP2011088496 A JP 2011088496A JP 5864043 B2 JP5864043 B2 JP 5864043B2
Authority
JP
Japan
Prior art keywords
operation input
input body
display
display device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011088496A
Other languages
English (en)
Other versions
JP2012221370A (ja
Inventor
貴則 山田
貴則 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2011088496A priority Critical patent/JP5864043B2/ja
Publication of JP2012221370A publication Critical patent/JP2012221370A/ja
Application granted granted Critical
Publication of JP5864043B2 publication Critical patent/JP5864043B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ディスプレイにオブジェクトを立体視可能に表示することにより、オブジェクトの立体画像をユーザに視認させる表示装置に関する。また、本発明は、上記表示装置に対して操作入力を行うための操作入力方法、操作入力プログラム、及び記録媒体に関する。
近年、ディスプレイに表示されたオブジェクトを立体視可能に表示することにより、オブジェクトの立体画像をユーザに視認させることができる表示装置が普及している。ユーザは、このような表示装置が表示したオブジェクトを立体視することにより、あたかもそのオブジェクトの立体画像が表示装置の前方の空間に存在しているかのように、該オブジェクトを視認することができる。
また、特許文献1に開示されている技術のように、近年の表示装置の中には、様々な操作入力をユーザが直感的に行うことができるように、タッチパネルを入力デバイスとして採用しているものがある。
一般的に、タッチパネルは、ユーザがその表面上の所望の位置に指先等を接触させることにより、その接触位置に応じた操作入力を行うことができるように構成されている。
このため、ユーザの指先が汚れている場合には、その汚れによりタッチパネルが汚れてしまう恐れがある。また、タッチパネルの接触操作が繰り返し行われたり、強く行われたりすることにより、タッチパネルの表面が損傷する恐れがある。
そこで、例えば、特許文献2には、このような問題が生じさせないことを目的として、操作パネルとこの操作パネルに対する入力操作を行うための物体とが接触していない状態で、物体の3次元位置情報を取得し、取得した3次元位置情報に基づいて、物体による入力操作内容を認識する技術が開示されている。この技術によれば、物体を操作パネルに接触させずに、操作パネルの操作ができるので、タッチパネルの汚染や損傷を防止することができるとされている。
特開2006−293878号公報(2006年10月26日公開) 特開2010−12158号公報(2010年1月21日公開)
しかしながら、特許文献2に記載の技術は、オブジェクトを立体視可能に表示できない装置に関するものである。このため、オブジェクトを立体視可能に表示する表示装置において、特許文献2に記載の技術を適用した場合、ユーザに多くの違和感を与えてしまう。
具体的に説明すると、特許文献2に記載の技術によると、ユーザは、ディスプレイに表示されたオブジェクトを操作するための指などの操作入力体を、ディスプレイに近づけることにより、このオブジェクトに対する操作入力を行うことができる。すなわち、ユーザは、操作入力体をオブジェクトの立体画像の表示位置に近づけることにより、オブジェクトに対する操作入力を行うことができる。このため、オブジェクトを立体視可能に表示できない表示装置において、特許文献2に記載の技術を適用した場合は、ユーザに与える違和感は少ない。
しかしながら、オブジェクトを立体視可能に表示する表示装置において、特許文献2に記載の技術を適用した場合、ユーザは、ディスプレイから前方に離れた位置を、オブジェクトの立体画像の表示位置として視認するのに対し、このオブジェクトに対する操作入力を行うには、このオブジェクトを操作するための操作入力体をディスプレイに近づける必要がある。操作入力体をディスプレイに近づけることにより、操作入力体とオブジェクトの立体画像の表示位置と離れることになる。すなわち、ユーザは、オブジェクトの立体画像の表示位置から離れた位置に対して、オブジェクトに対する操作入力を行う必要がある。このため、オブジェクトを立体視可能に表示する表示装置において、特許文献2に記載の技術を適用した場合は、ユーザに与える違和感が多くなる。
本発明の目的は、立体視可能に表示されたオブジェクトに対して、ユーザが操作入力を行う際に、ユーザに与える違和感を軽減することにある。
上記課題を解決するために、本発明に係る表示装置は、ディスプレイにオブジェクトを立体視可能に表示することにより前記オブジェクトの立体画像をユーザに視認させる表示装置において、当該表示装置に対して操作入力を行うための操作入力体の位置を検出する操作入力体位置検出手段と、前記オブジェクトの立体画像がユーザによって視認される視認位置を特定する視認位置特定手段と、前記操作入力体の位置と前記視認位置とが予め定められた近接関係にあるか否かを判断し、前記操作入力体の位置と前記視認位置とが予め定められた近接関係にあると判断した場合、前記オブジェクトを操作受付状態へと切り替える判断手段と、前記操作入力体の動作を検出する操作入力体動作検出手段と、前記オブジェクトが操作受付状態にあり、且つ、前記操作入力体動作検出手段によって前記操作入力体の動作が検出された場合、当該操作入力体の動作に予め対応付けられている処理を、処理実行部に実行させる処理実行制御手段とを備えることを特徴とする。
本発明に係る表示装置によれば、ユーザは、操作入力体を、オブジェクトの立体画像の視認位置に近接させることにより、オブジェクトの操作入力を行うことができる。これにより、ユーザは、あたかも操作入力体でオブジェクトの立体画像を操作しているかのように、オブジェクトの立体画像の視認位置に近接する位置において、操作入力体を動作させることにより、オブジェクトに対する操作入力を行うことができる。したがって、本発明に係る表示装置によれば、立体視可能に表示されたオブジェクトに対して、ユーザが操作入力を行う際に、ユーザに与える違和感を軽減することができる。
なお、上記操作入力体の例としては、ユーザの指、ユーザの指以外の部位、および、ユーザによる保持及び動作が可能な物体等が挙げられる。
また、本発明に係る表示装置において、前記判断手段は、前記操作入力体の位置と前記視認位置とが一致している場合に、前記操作入力体の位置と前記視認位置とが前記近接関係にあると判断することが好ましい。
上記の構成によれば、ユーザは、操作入力体の位置を、オブジェクトの立体画像の視認位置に一致させることにより、オブジェクトの操作入力を行うことができる。これにより、ユーザは、あたかも操作入力体をオブジェクトに接触させてオブジェクトの立体画像を操作しているかのように、オブジェクトに対する操作入力を行うことができる。したがって、本発明に係る表示装置によれば、立体視可能に表示されたオブジェクトに対して、ユーザが操作入力を行う際に、ユーザに与える違和感をより軽減することができる。
また、本発明に係る表示装置において、前記判断手段は、前記操作入力体の位置と前記視認位置との距離が予め定められた距離よりも短い場合に、前記操作入力体の位置と前記視認位置とが前記近接関係にあると判断することが好ましい。
上記の構成によれば、ユーザは、操作入力体をオブジェクトの立体画像の視認位置に接触させなくとも、操作入力体をオブジェクトの立体画像の視認位置に近づけることにより、オブジェクトに対する操作入力を行うことができる。これにより、ユーザは、あたかもオブジェクトの立体画像の視認位置から僅かに離れた位置から、オブジェクトの立体画像を操作しているかのように、オブジェクトに対する操作入力を行うことができる。したがって、本発明に係る表示装置によれば、立体視可能に表示されたオブジェクトに対して、ユーザが操作入力を行う際に、ユーザに与える違和感をより軽減することができる。また、オブジェクトの立体画像の視認位置と、操作入力体の位置とが僅かに離れていても、オブジェクトに対する操作入力が可能なため、ユーザ操作の利便性を高めることができる。
また、本発明に係る表示装置において、前記判断手段は、前記操作入力体の位置と前記視認位置とが予め定められた近接関係にあると判断し、且つ、前記オブジェクトを操作受付状態とするための第1の動作が検出された場合に、前記オブジェクトを操作受付状態へと切り替え、前記処理実行制御手段は、前記オブジェクトが操作受付状態にあり、且つ、前記オブジェクトの操作内容を示す第2の動作が検出された場合、当該第2の動作に予め対応付けられている処理を、処理実行部に実行させることが好ましい。
上記の構成によれば、第1の動作が検出されることによって、オブジェクトが操作受付状態となるため、オブジェクトの操作が開始されるタイミングを明確にすることができ、操作入力の確実性を高めることができる。
また、本発明に係る表示装置において、前記オブジェクトが操作受付状態にある場合と、前記オブジェクトが操作受付状態にない場合とで、前記オブジェクトの表示形態を異ならせる表示制御手段を備えることが好ましい。
上記の構成によれば、オブジェクトが操作受付状態にあるかをユーザが容易に判断することができる。これにより、ユーザは、どのタイミングでオブジェクトの操作を開始すれば良いか容易に判断することができる。したがって、本発明によれば、操作入力の確実性を高めることができる。
また、本発明に係る表示装置において、前記操作入力体が複数の部位から構成されているとき、前記操作入力体位置検出手段は、前記操作入力体の複数の部位のそれぞれの位置を検出し、前記操作入力体動作検出手段は、前記複数の部位のそれぞれの位置に基づいて、前記操作入力体による動作を検出することが好ましい。
上記の構成によれば、複数の操作入力体に位置に基づいて、これら複数の操作入力体による動作を検出するため、動作のバリエーションをより多く設定することができる。
また、本発明に係る操作入力方法は、ディスプレイにオブジェクトを立体視可能に表示することにより前記オブジェクトの立体画像をユーザに視認させる表示装置に対する操作入力方法であって、前記表示装置に対して操作入力を行うための操作入力体の位置を検出する操作入力体位置検出工程と、前記オブジェクトの立体画像がユーザによって視認される視認位置を特定する視認位置特定工程と、前記操作入力体の位置と前記視認位置とが予め定められた近接関係にあるか否かを判断し、前記操作入力体の位置と前記視認位置とが予め定められた近接関係にあると判断した場合、前記オブジェクトを操作受付状態へと切り替える判断工程と、前記操作入力体の動作を検出する操作入力体動作検出工程と、前記オブジェクトが操作受付状態にあり、且つ、前記操作入力体動作検出工程によって前記操作入力体の動作が検出された場合、当該操作入力体の動作に予め対応付けられている処理を、処理実行部に実行させる処理実行制御工程とを含むことを特徴とする。
本発明に係る操作入力方法によれば、本発明に係る表示装置と同様の効果を奏することができる。すなわち、本発明に係る操作入力方法によれば、立体視可能に表示されたオブジェクトに対して、ユーザが操作入力を行う際に、ユーザに与える違和感を軽減することができる。
また、本発明に係る操作入力プログラムは、上記のいずれかに記載の表示装置を動作させるための操作入力プログラムであって、コンピュータを上記の各手段として機能させるための操作入力プログラムである。
本発明に係る操作入力プログラムによれば、本発明に係る表示装置と同様の効果を奏することができる。すなわち、本発明に係る操作入力プログラムによれば、立体視可能に表示されたオブジェクトに対して、ユーザが操作入力を行う際に、ユーザに与える違和感を軽減することができる。
また、本発明に係る記録媒体は、上記操作入力プログラムを記録しているコンピュータ読み取り可能な記録媒体である。
本発明に係る記録媒体によれば、本発明に係る表示装置と同様の効果を奏することができる。すなわち、本発明に係る記録媒体によれば、立体視可能に表示されたオブジェクトに対して、ユーザが操作入力を行う際に、ユーザに与える違和感を軽減することができる。
以上のように、本発明は、ディスプレイにオブジェクトを立体視可能に表示することにより前記オブジェクトの立体画像をユーザに視認させる表示装置において、当該表示装置に対して操作入力を行うための操作入力体の位置を検出し、前記オブジェクトの立体画像がユーザによって視認される視認位置を特定し、前記操作入力体の位置と前記視認位置とが予め定められた近接関係にあるか否かを判断し、前記操作入力体の位置と前記視認位置とが予め定められた近接関係にあると判断した場合、前記オブジェクトを操作受付状態へと切り替え、前記オブジェクトが操作受付状態にあり、且つ、前記操作入力体の動作が検出された場合、当該操作入力体の動作に予め対応付けられている処理を、処理実行部に実行させることを特徴とする。
本発明によれば、ユーザは、ディスプレイの前方の空間において、あたかもこの空間に存在するオブジェクトを実際に操作するかのように、このオブジェクトの視認位置に近接する位置で操作入力体を動作させることにより、この画像に対する操作入力を行うことができる。
すなわち、ユーザは、ディスプレイに表示されたオブジェクトに対する操作入力を行う際、操作入力体をオブジェクトの視認位置に近づければ良いのであって、操作入力体をディスプレイに近づける必要はない。
したがって、本発明によれば、立体視可能に表示されたオブジェクトに対して、ユーザが操作入力を行う際に、ユーザに与える違和感を軽減することができるのである。
実施形態1に係る表示装置100の外観を示す図である。 ディスプレイ102に表示されたオブジェクトが立体視される様子を示す図である。 表示装置100の機能構成を示すブロック図である。 表示装置100による操作入力処理の手順を示すフローチャートである。 操作入力体動作検出部208によって検出される操作入力体の状態の一例を示す図である。 操作入力体動作検出部208によって検出される操作入力体の状態の一例を示す図である。 操作入力体動作検出部208によって検出される操作入力体の動作(第1の動作)の一例を示す図である。 操作入力体動作検出部208によって検出される操作入力体の動作(第3の動作)の一例を示す図である。 操作入力体動作検出部208によって検出される操作入力体の動作(第2の動作)の一例を示す図である。 操作入力体動作検出部208によって検出される操作入力体の動作(第2の動作)の一例を示す図である。 操作入力体動作検出部208によって検出される操作入力体の動作(第2の動作)の一例を示す図である。 操作入力体動作検出部208によって検出される操作入力体の動作(第2の動作)の一例を示す図である。 操作入力体動作検出部208によって検出される操作入力体の動作(第2の動作)の一例を示す図である。 判断部206による判断処理を具体的に説明するための図である。 オブジェクトの立体画像の表示位置を算出する処理を具体的に説明するための図である。
以下、本発明の一実施形態に係る表示装置について、図面を用いて説明する。
(実施形態1)
(表示装置100の概要)
まず、本発明に係る表示装置の実施形態1について説明する。図1は、実施形態1に係る表示装置100の外観を示す図である。
(ディスプレイ102)
表示装置100は、ディスプレイ102を備えている。表示装置100は、文字、図形、写真、映像等の、何らかの画像を、ディスプレイ102に表示することができる装置である。表示装置100としては、例えば、テレビジョン受像機、コンピュータ本体とは別体に設けられたモニタ、コンピュータ本体とモニタとが一体に設けられた装置等が挙げられる。また、ディスプレイ102としては、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、ブラウン管ディスプレイ等が挙げられる。
図示は省略するが、ディスプレイ102は、当該ディスプレイ102を駆動するための、ディスプレイ駆動回路を備えている。表示装置100において、ある画像をディスプレイ102に表示させる場合、まず、この画像の画像データがディスプレイ駆動回路に入力される。ディスプレイ駆動回路は、入力された画像データに基づいて、ディスプレイ102を駆動する。これにより、ディスプレイ102の表示面において、上記画像が表示される。
(カメラ104)
表示装置100は、カメラ104を備えている。カメラ104は、表示装置100の前方を撮像方向としている。すなわち、カメラ104は、表示装置100の前方の空間を撮像する。図1に示す例では、カメラ104は、ディスプレイ102の上方、且つ表示装置100の左右方向における略中央に設けられている。なお、カメラ104の設置位置は、これに限らない。カメラ104は、少なくともディスプレイ102の前方の空間を撮像できれば良く、どのような位置に設けられても良い。また、カメラ104は、表示装置100と一体に設けられているものであっても良く、表示装置100とは別体に設けられているものであっても良い。また、カメラ104は、複数設けられていても良い。
なお、本実施形態において、「左右方向」とは、表示装置100の横幅方向(x方向、ディスプレイ102の水平走査線方向)を示す。また、本実施形態において、「上下方向」とは、表示装置100の高さ方向(y方向、ディスプレイ102の垂直走査線方向)を示す。また、本実施形態において、「前後方向」とは、表示装置100の奥行き方向(z方向)を示す。特に、「前方」とは、ディスプレイ102に表示された画像を視聴するユーザが存在する方向(z+方向)を示す。
(オブジェクトが立体視される様子)
ここで、ディスプレイ102に表示されたオブジェクトが立体視される様子について説明する。図2は、ディスプレイ102に表示されたオブジェクトが立体視される様子を示す図である。表示装置100は、オブジェクトを立体視可能に表示することにより、オブジェクトの立体画像をユーザに視認させることができる装置である。
具体的には、表示装置100は、オブジェクトの左目用画像と右目用画像とを、ディスプレイ102に表示させる。これにより、ユーザは、両眼視差の原理に基づいて、オブジェクトの立体画像を視認することができる。すなわち、「オブジェクトを立体視可能に表示する」とは、オブジェクトの左目用画像と右目用画像とを表示するという意味である。
なお、オブジェクトを立体視可能に表示する表示方式としては、アクティブシャッター方式、裸眼レンチキュラー(lenticular)方式、及び、Patterned Retarder方式(偏光方式、PR方式とも呼ぶ)等を用いることができる。但し、本実施形態は、具体的な表示方式に限定されるものではない。
例えば、図2に示す例では、表示装置100は、オブジェクトの左目用画像150Lと右目用画像150Rとを、ディスプレイ102に表示させる。これにより、ユーザは、ディスプレイ102の前方の空間において、オブジェクトの仮想的な立体画像である、立体画像150Vを視認することができる。
ここでいうオブジェクトとは、例えば、GUI(グラフィカル・ユーザ・インターフェース)を構成する画像のうち、ユーザによる操作対象となる部品の画像を示す。オブジェクトとしては、例えば、ボタンやスイッチ等が挙げられる。
表示装置100は、例えば、上記左目用画像及び右目用画像を、メモリ等の記録媒体から読み出して、ディスプレイ102に表示する。これに限らず、例えば、表示装置100は、この左目用画像及び右目用画像を、オブジェクトの平面画像から生成して、ディスプレイ102に表示しても良い。
なお、以降の説明では、オブジェクトの仮想的な立体画像を、単に「オブジェクトの立体画像」と示す。また、オブジェクトの立体画像の仮想的な表示位置を、単に「オブジェクトの立体画像の表示位置」と示す。
(オブジェクトに対する操作入力)
ここで、ユーザは、ディスプレイ102に表示されたオブジェクトに対する、操作入力を行うことができる。オブジェクトに対する操作としては、例えば、押下、移動、拡大、縮小、回転などが挙げられる。オブジェクトに対して予め定められた操作が行われると、表示装置100においては、この操作に予め対応付けられているイベントが発生する。これに応じて、表示装置100は、オブジェクトに対して、発生したイベントに応じた処理を実行するのである。
特に、表示装置100は、ユーザが物理的な入力デバイスを使用せずに、オブジェクトに対する操作入力を行うことができる構成となっている。
具体的に説明すると、ユーザは、ディスプレイ102の前方の空間において、ディスプレイに表示されたオブジェクトを立体視する。すなわち、ユーザは、ディスプレイ102の前方の空間において、あたかもオブジェクトが現実的に存在しているかのように、当該オブジェクトの立体画像を視認する。そして、ユーザは、ディスプレイ102の前方の空間において、あたかもこのオブジェクトの立体画像を実際に操作するかのように、指をオブジェクトの立体画像の表示位置に近づけて、指を動作させる。なお、ユーザの指は、表示装置100に対して操作入力を行うための操作入力体の一例である。
このとき、表示装置100は、カメラ104から得られた情報に基づいて、指の位置及び動作を検出する。これにより、表示装置100においては、検出した動作に予め対応付けられているイベントが発生する。これに応じて、表示装置100は、検出した位置に応じたオブジェクトに対して、発生したイベントに応じた処理を実行する。
このように、本実施形態の表示装置100によれば、ユーザは、ディスプレイ102の前方の空間において、あたかもこの空間に存在するオブジェクトの立体画像を実際に操作するかのように、このオブジェクトの立体画像の表示位置に近接する位置で指を動作させることにより、このオブジェクトに対する操作入力を行うことができる。
すなわち、ユーザは、オブジェクトに対する操作入力を行う際、指をオブジェクトの立体画像に近づければ良いのであって、指をディスプレイ102に近づける必要はない。
例えば、図2に示す例で言えば、操作入力体は、ユーザの人差し指402および親指404から構成されている。すなわち、操作入力体は、操作入力体が複数の部位から構成されている。表示装置100は、ユーザの人差し指402の位置P1(x1,y1,z1)及び親指404の位置P2(x2,y2,z2)を、操作入力体の位置として検出する構成を採用している。この場合、ユーザは、オブジェクトに対する操作入力を行う際、人差し指402及び親指404をオブジェクトの立体画像150Vの表示位置P3(x3,y3,z3)に近づければ良いのであって、人差し指402及び親指404をディスプレイ102に近づける必要はない。
したがって、本実施形態の表示装置100によれば、立体視可能に表示されたオブジェクトに対して、ユーザが操作入力を行う際に、ユーザに与える違和感を軽減することができるのである。
(表示装置100の機能)
ここで、表示装置100の機能構成について説明する。ここでは、表示装置100が備える機能のうち、表示装置100に対する操作入力を行うための操作入力部200及びこれに関連する機能について説明する。その他の機能については、表示装置が備える一般的な機能であるため、図示及び説明を省略する。
図3は、表示装置100の機能構成を示すブロック図である。図3に示すように、表示装置100は、操作入力部200を備えている。操作入力部200は、操作入力体位置検出部202、視認位置特定部204、判断部206、操作入力体動作検出部208、処理実行制御部210、表示制御部212、及び処理実行部214を有している。
(操作入力体位置検出部202)
操作入力体位置検出部202は、表示装置100に対して操作入力を行うための操作入力体の位置を検出する。具体的には、操作入力体位置検出部202は、カメラ104から得られた情報に基づいて、操作入力体の位置を検出する。
ここで、操作入力体の位置とは、ある基準点からの3次元位置を示す。本実施形態では、上記基準点として、ディスプレイ102の画面表面の最左下の位置を採用している。また、本実施形態では、操作入力体の位置は、上記基準点を(x,y,z)=(0,0,0)とする、座標値によって示される。
例えば、操作入力体位置検出部202は、ある基準点から操作入力体までの距離及び方向が分かれば、操作入力体の位置を算出することができる。
操作入力体の方向の検出方法としては、例えば、カメラ104によって撮像された画像における操作入力体が写し出されている位置から、操作入力体の方向を求める方法が挙げられる。この場合、例えば、画像の中心に操作入力体が撮像されていれば、操作入力体位置検出部202は、カメラ104の真正面の方向に、操作入力体が位置していると算出することができる。
他の例として、カメラ104が可動式のものであれば、操作入力体が画像の中心に位置するようにカメラ104の撮像方向を移動させ、その時のカメラの撮像方向によって、操作入力体の方向を求めるようにしても良い。この場合、例えば、カメラ014の撮像方向を斜め45度に傾けたときに、画像の中心に操作入力体が撮像されていれば、操作入力体位置検出部202は、カメラ104の真正面の方向に対する、斜め45度の方向に、操作入力体が位置していると算出することができる。
また、操作入力体までの距離の検出方法としては、例えば、カメラ104のオートフォーカス機能により、操作入力体にピントを合わせ、この時のカメラの各種設定値(焦点距離、ズーム倍率、絞り値等)から、算出することができる。他の例として、カメラ104によって撮像された画像における操作入力体の画像の大きさから、操作入力体の方向を求める方法が挙げられる。
また、表示装置100が2つのカメラ104を備えている場合、操作入力体位置検出部202は、この2つのカメラ104によって撮像された複数の画像(ステレオ画像)における、操作入力体のある特徴点の位置の視差に基づき、いわゆるステレオ計測を行うことにより、操作入力体までの距離を算出しても良い。さらに、表示装置100が3つ以上のカメラ104を備えている場合は、この3つ以上のカメラ104によって撮像された複数の画像に基づいて操作入力体までの距離を算出することで、当該距離の算出精度をより高めるようにしても良い。
なお、操作入力体位置検出部202は、操作入力体の距離及び方向のいずれを算出する際に関しても、赤外線センサ、超音波センサ、レーザセンサなどからの情報を補足的に利用し、その算出精度をより高めるようにしても良い。
また、操作入力体位置検出部202は、予め定められた形状、色等を有する操作入力体の位置のみを検出するようにしても良い。具体的には、表示装置100に対して、予め定められた操作入力体の形状、色等に関する情報を格納しておく。操作入力体位置検出部202は、カメラ104によって撮像された画像に対するパターンマッチング等の画像処理を行うことにより、カメラ104によって撮像された画像において、予め定められた操作入力体を認識し、認識した操作入力体の位置のみを検出する。このような構成を採用することにより、操作入力体位置検出部202は、ディスプレイ102の前方に操作入力体と間違え易い物体が存在していたとしても、これを排除して、より適確に、操作入力体の位置を検出することができる。
(視認位置特定部204)
視認位置特定部204は、オブジェクトの立体画像の表示位置(すなわち、ディスプレイ102に表示されたオブジェクトの立体画像がユーザによって視認される視認位置)を特定する。
具体的には、オブジェクトの立体画像の表示位置のうちx,y方向の位置については、ディスプレイ102の表示面上における、当該オブジェクトの画像の表示位置と同じ位置が適用される。
既に説明したとおり、ディスプレイ102には、オブジェクトの左目用画像と、右目用画像とが表示される。このため、視認位置特定部204は、これら2つの画像の代表点の位置を、オブジェクトの立体画像のx,y方向の表示位置とする。例えば、ディスプレイ102の表示面上において、(x,y)=(50,50)を代表点として、オブジェクトの左目用画像と、右目用画像とが表示されている場合、オブジェクトの立体画像の表示位置は、同じく(x,y)=(50,50)となる。すなわち、オブジェクトの立体画像のx,y方向の表示位置は、上記代表点の真正面の位置となる。
例えば、代表点としては、オブジェクトの左目用画像の中心点と、オブジェクトの右目用画像の中心点との、中間点が採用されるが、これに限らない。
既に説明したとおり、表示装置100では、ディスプレイ駆動回路が、入力された画像データに基づいて、ディスプレイ102を駆動することにより、ディスプレイ102の表示面において、画像が表示される。したがって、現在位置特定部204は、ディスプレイ駆動回路に入力される画像データ等から、オブジェクトの立体画像のx,y方向の表示位置を特定することができる。
一方、オブジェクトの立体画像の表示位置のうちz方向の表示位置については、予め定められた距離分、ディスプレイ102の表面から離れた位置が適用される。例えば、上記予め定められた距離が50cmの場合、オブジェクトの立体画像のz方向の表示位置は、ディスプレイの表面から50cm離れた位置となる。
以上のとおり、視認位置特定部204によって特定される、オブジェクトの立体画像の表示位置は、オブジェクトの左目用画像と右目用画像との代表点の真正面の位置であり、且つ、ディスプレイ102の表面から予め定められた距離分離れた位置となる。
(判断部206)
判断部206は、操作入力体の位置とオブジェクトの立体画像の表示位置とが予め定められた近接関係を有しているか否かを判断する。そして、判断部206は、操作入力体の位置とオブジェクトの立体画像の表示位置とが予め定められた近接関係を有していると判断した場合、オブジェクトを操作可能な状態(操作受付状態)へと切り替える。具体的には、判断部206は、操作入力体位置検出部202によって検出された操作入力体の位置と、視認位置特定部204によって特定されたオブジェクトの立体画像の表示位置とが、一致している場合、これら位置が近接関係を有していると判断する。また、判断部206は、上記操作入力体の位置と、上記オブジェクトの立体画像の表示位置と位置とが、一致していなくとも、これら位置間の距離が予め定められた距離よりも短い場合には、これら位置が近接関係を有していると判断する。
(操作入力体動作検出部208)
操作入力体動作検出部208は、操作入力体の動作を検出する。具体的には、操作入力体動作検出部208は、カメラ104から得られた情報に基づいて、操作入力体の動作を検出する。
操作入力体の動作は、操作入力体の位置の時間的な変化と捉えることができる。したがって、操作入力体動作検出部208は、操作入力体の位置を複数の異なる時刻にて特定することにより、操作入力体の動作を特定することができる。例えば、操作入力体動作検出部208は、操作入力体位置検出部202と同様の方法により、操作入力体の連続する位置の各々を検出することができる。すなわち、操作入力体動作検出部208は、この操作入力体の位置を検出する処理を繰り返し行うことにより、操作入力体の位置を連続して検出することができる。
そして、操作入力体動作検出部208が、特定した複数の位置からなる動作パターンが、予め定められている動作パターンに合致するかを判断することにより、操作入力体により、予め定められた動作が行われたかを判断する。
操作入力体動作検出部208によって検出される動作には、オブジェクトを操作可能な状態とするための第1の動作が含まれる。本実施形態では、後述する「CATCH」動作が、オブジェクトを操作可能な状態とするための第1の動作となっている。
また、操作入力体動作検出部208によって検出される動作には、オブジェクトの操作内容を示す第2の動作が含まれる。本実施形態では、後述する「MOVE」動作、「ROUND」動作、「THROW」動作、「SELECT」動作、及び「EXECUTE」動作が、オブジェクトの操作内容を示す第2の動作となっている。
また、操作入力体動作検出部208によって検出される動作には、オブジェクトを操作不可能な状態(操作受付状態にない状態)とするための第3の動作が含まれる。本実施形態では、後述する「RELEASE」動作が、オブジェクトを操作不可能な状態とするための第3の動作となっている。
(処理実行制御部210)
処理実行制御部210は、オブジェクトが操作可能な状態において、操作入力体動作検出部208によって操作入力体の動作が検出された場合、当該操作入力体の動作に予め対応付けられている処理を、処理実行部214に実行させる。具体的には、処理実行制御部210は、オブジェクトに対する操作入力イベントであって、操作入力体の動作に予め対応付けられている操作入力イベントを発生させる。これにより、処理実行制御部210は、操作入力体の動作に予め対応付けられている処理を、処理実行部に実行させる。
(表示制御部212)
表示制御部212は、オブジェクトが操作可能な状態にある場合と、オブジェクトが操作可能な状態にない場合とで、オブジェクトの表示形態を異ならせる。ここでいうオブジェクトの表示形態とは、色、明るさ、形状、向き、大きさ、模様等である。
(処理実行部214)
処理実行部214は、操作入力体の動作に予め対応付けられている処理を実行する。具体的には、処理実行部214は、操作対象のオブジェクトに対して、処理実行制御部210が発生させた操作入力イベントに応じた処理を実行する。ここでいう、処理実行部214が実行する処理は、どのようなものであっても良い。例えば、処理実行部214が実行する処理としては、オブジェクトの表示位置や表示形態等を変更する処理等が挙げられる。他の例として、オブジェクトの表示位置や表示形態等の変更に伴って、何らかのアプリケーションプログラムを実行する処理や、オブジェクトの表示位置や表示形態等の変更を伴わず、何らかのアプリケーションプログラムを実行する処理等が挙げられる。
(表示装置100による操作入力処理の手順)
続いて、表示装置100による操作入力処理の手順について説明する。図4は、表示装置100による操作入力処理の手順を示すフローチャートである。ここでは、既に、オブジェクトがディスプレイ102に表示されているものとして、表示装置100による操作入力処理の手順を説明する。
まず、視認位置特定部204が、オブジェクトの立体画像の表示位置を特定する(ステップS402)。
次に、操作入力体位置検出部202が、ユーザの指の位置を検出する(ステップS404)。ステップS404において、ユーザの指の位置が検出できなかった場合(ステップS404:No)、操作入力体位置検出部202は、ユーザの指の位置を検出するまで、ステップS404の処理を繰り返し行う。一方、ステップS404において、ユーザの指の位置が検出できた場合(ステップS404:No)、表示装置100は、ステップS406へ処理を進める。
ステップS406では、判断部206が、ステップS404で検出された指の位置と、ステップS402で特定されたオブジェクトの立体画像の表示位置とが予め定められた近接関係を有しているか否かを判断する(ステップS406)。
ステップS406において、「ステップS404で検出された指の位置と、ステップS402で特定されたオブジェクトの立体画像の表示位置とが予め定められた近接関係を有していない」と判断された場合(ステップS406:No)、表示装置100は、処理をステップS404へ戻す。
一方、ステップS406において、「ステップS404で検出された指の位置と、ステップS402で特定されたオブジェクトの立体画像の表示位置とが予め定められた近接関係を有している」と判断された場合(ステップS406:Yes)、表示装置100は、処理をステップS408へ進める。
ステップS408では、操作入力体動作検出部208が、オブジェクトを操作可能な状態とするための第1の動作(「CATCH」動作)を検出する(ステップS408)。ステップS408において、上記第1の動作が検出されなかった場合(ステップS408:No)、表示装置100は、処理をステップS404へ戻す。一方、ステップS408において、上記第1の動作が検出された場合(ステップS408:Yes)、判断部206が、オブジェクトを操作可能な状態へと切り替える(ステップS409)。その後、表示制御部212が、オブジェクトの表示形態を異ならせる(ステップS410)。これにより、表示装置100は、オブジェクトの操作入力が可能な状態であることを、ユーザに認識させるのである。そして、表示装置100は、処理をステップS411へ進める。
ここまでの処理を要約すると、表示装置100は、ユーザの指の位置とオブジェクトの立体画像の表示位置とが予め定められた近接関係を有しているという条件(ステップS406)、及びユーザの指による第1の動作を検出するという条件(ステップS408)の双方が満たされることにより、オブジェクトの操作入力が可能な状態となり、ステップS411以降の処理(オブジェクトの操作入力を受け付ける処理)を行う。
一方、表示装置100は、上記複数の条件のうちのいずれかが満たされていなければ、オブジェクトの操作入力が可能な状態とはならず、ステップS411以降の処理を行わない。そして、表示装置100は、上記複数の条件の全てが満たされるまで、ステップS404〜ステップS408の処理を繰り返し行う。
続いて、オブジェクトの操作入力が可能な状態における処理である、ステップS411以降の処理について説明する。ステップS411では、操作入力体動作検出部208が、オブジェクトを操作不可能な状態とするための第3の動作(「RELEASE」動作)を検出する(ステップS411)。ステップS411において、上記第3の動作が検出されなかった場合(ステップS411:No)、表示装置100は、処理をステップS412へ進める。一方、ステップS411において、上記第3の動作が検出された場合(ステップS411:Yes)、表示装置100は、処理をステップS404へ戻す。このとき、表示装置100は、オブジェクトを操作不可能な状態へと切り替える。
ステップS412では、操作入力体動作検出部208が、オブジェクトの操作内容を示す第2の動作(「MOVE」動作、「ROUND」動作、「THROW」動作、「SELECT」動作、または「EXECUTE」動作)を検出する(ステップS412)。ステップS412において、上記第2の動作が検出されなかった場合(ステップS412:No)、表示装置100は、処理をステップS411へ戻す。一方、ステップS412において、上記第2の動作が検出された場合(ステップS412:Yes)、表示装置100は、処理をステップS414へ進める。
ステップS414では、処理実行制御部210が、ステップS412で検出された第2の動作に予め対応付けられている操作入力イベントを発生させる(ステップS414)。そして、処理実行部214が、オブジェクトに対して、ステップS414で発生された操作入力イベントに応じた処理を実行する(ステップS416)。
ステップS416で実行される処理は、例えば、「MOVE」動作に応じてオブジェクトの表示位置を移動させる処理、「ROUND」動作に応じてオブジェクトの向きを回転させる処理、「THROW」動作に応じてオブジェクトの表示位置を移動させる処理、「SELECT」動作に応じてオブジェクトを選択する処理、「EXECUTE」動作に応じてオブジェクトに対応付けられたプログラムを実行する処理である。
ステップS416で実行された処理が、ディスプレイ102の表示内容の変更を伴うものであれば(ステップS418:Yes)、表示制御部212が、ディスプレイ102の表示内容を変更して(ステップS420)、表示装置100は、操作入力処理を終了する。
ディスプレイ102の表示内容の変更を伴う処理とは、オブジェクトの表示形態や表示位置を変更する処理も含まれる。すなわち、ステップS416で実行された処理が、オブジェクトの表示形態や表示位置を変更する処理であれば、ステップS420では、表示制御部212は、当該処理に応じて、オブジェクトの表示形態や表示位置を変更する。
一方、ステップS416で実行された処理が、ディスプレイ102の表示内容の変更を伴うものでなければ(ステップS418:No)、表示装置100は、操作入力処理を終了する。
実際には、表示装置100は、上記した操作入力処理を繰り返し行う。これにより、表示装置100は、オブジェクトに対する操作入力を、継続してユーザに行わせることができる。そして、表示装置100は、オブジェクトに対する操作入力が行われる度に、操作入力に応じた処理を実行することができる。
(操作入力体の状態)
ここで、操作入力体動作検出部208によって検出される、操作入力体の状態の具体的な例について説明する。
図5及び図6は、操作入力体動作検出部208によって検出される操作入力体の状態の一例を示す図である。
ここでは、操作入力体の状態である「OPEN」状態及び「CLOSE」状態について説明する。「OPEN」状態とは、ユーザがオブジェクトの操作を行っていないときの、操作入力体の状態を意味する。「CLOSE」状態とは、ユーザがオブジェクトの操作を行っているときの、操作入力体の状態を意味する。
図5に示すように、「OPEN」状態では、ユーザの人差し指402の先端と、親指404の先端とが離れている。これをもって、操作入力体動作検出部208は、操作入力体が「OPEN」状態であると判断する。
一方、図6に示すように、「CLOSE」状態では、ユーザの人差し指402の先端と、親指404の先端とが近接している。これをもって、操作入力体動作検出部208は、操作入力体が「CLOSE」状態であると判断する。
具体的には、表示装置100には、操作入力体が「OPEN」状態であるか「CLOSE」状態であるかを判断する際に使用する、閾値が予め設定されている。
操作入力体位置検出部202は、操作入力体であるユーザの人差し指402の先端の位置と、同じく操作入力体である親指404の先端の位置とを、それぞれ検出する。
操作入力体動作検出部208は、人差し指402の先端の位置と、親指404の先端の位置とから、人差し指402の先端の位置と、親指404の先端の位置との間の距離D1を算出する。
そして、操作入力体動作検出部208は、算出した距離D1と、閾値とに基づいて、操作入力体が「OPEN」状態であるか「CLOSE」状態であるかを判断する。
例えば、操作入力体動作検出部208は、算出した距離D1が、閾値よりも大きい場合、操作入力体が「OPEN」状態にあると判断する。
一方、操作入力体動作検出部208は、算出した距離D1が、閾値よりも小さい場合、操作入力体が「CLOSE」状態にあると判断する。
(操作入力体の動作(第1の動作))
続いて、操作入力体動作検出部208によって検出される、操作入力体の動作(第1の動作)の具体的な例について説明する。
図7は、操作入力体動作検出部208によって検出される操作入力体の動作(第1の動作)の一例を示す図である。
ここでは、操作入力体の動作である「CATCH」動作について説明する。
「CATCH」動作とは、ユーザがオブジェクトを捕捉する動作を意味する。ユーザは、「CATCH」動作を行うことにより、オブジェクトを捕捉し、オブジェクトの操作を開始することができる。すなわち、「CATCH」動作は、オブジェクトを操作可能な状態とするための第1の動作である。
ここで、操作入力体の動作は、図5及び図6を用いて説明した、「OPEN」状態及び「CLOSE」状態の組み合わせからなる。
例えば、図7に示す例では、操作入力体は、「OPEN」状態から、「CLOSE」状態へと遷移している。これをもって、操作入力体動作検出部208は、操作入力体によって「CATCH」動作が行われたと判断する。
(操作入力体の動作(第3の動作))
続いて、操作入力体動作検出部208によって検出される、操作入力体の動作(第3の動作)の具体的な例について説明する。
図8は、操作入力体動作検出部208によって検出される操作入力体の動作(第3の動作)の一例を示す図である。
ここでは、操作入力体の動作である「RELEASE」動作について説明する。「RELEASE」動作とは、ユーザがオブジェクトを開放する動作を意味する。ユーザは、「RELEASE」動作を行うことにより、オブジェクトを開放し、オブジェクトの操作を終了することができる。すなわち、「RELEASE」動作は、オブジェクトを操作不可能な状態とするための第3の動作である。
図8に示す例では、操作入力体は、「CLOSE」状態から、「OPEN」状態へと遷移している。これをもって、操作入力体動作検出部208は、操作入力体によって「RELEASE」動作が行われたと判断する。
(操作入力体の動作(第2の動作))
続いて、操作入力体動作検出部208によって検出される、操作入力体の動作(第2の動作)の具体的な例について説明する。
図9〜図13は、操作入力体動作検出部208によって検出される操作入力体の動作(第2の動作)の一例を示す図である。
(「MOVE」動作)
図9は、操作入力体の動作である「MOVE」動作を示す。「MOVE」動作とは、オブジェクトの表示位置を移動させる動作を意味する。ユーザは、操作入力体の状態を「CLOSE」状態としたまま、操作入力体の位置を移動させる。すなわち、操作入力体の位置が連続して変化することになる。これにより、操作入力体動作検出部208は、操作入力体によって「MOVE」動作が行われたと判断する。表示装置100は、この「MOVE」動作に応じて、オブジェクトの表示位置を移動する。
(「ROUND」動作)
図10は、操作入力体の動作である「ROUND」動作を示す。「ROUND」動作とは、オブジェクトの向きを回転させる動作を意味する。ユーザは、操作入力体の状態を「CLOSE」状態としたまま、手400を回転させる。このときの回転軸は、操作入力体位置検出部202によって識別することができる。このとき、P1及びP2は、上記回転軸を中心とした円弧上を移動することになる。これにより、操作入力体動作検出部208は、操作入力体によって「ROUND」動作が行われたと判断する。そして、操作入力体位置検出部202は、P1及びP2の移動前の位置と、P1及びP2の移動後の位置とがなす角度を算出する。表示装置100は、この「ROUND」動作に応じて、オブジェクトを回転させる。
(「THROW」動作)
図11は、操作入力体の動作である「THROW」動作を示す。「THROW」動作とは、オブジェクトの位置を移動させながら、オブジェクトを開放する動作を意味する。ユーザは、操作入力体の状態を「CLOSE」状態としたまま、操作入力体の位置を移動させると同時に、「RELEASE」動作を行う。すなわち、ユーザは、「MOVE」動作を行うと同時に、「RELEASE」動作を行う。操作入力体動作検出部208は、この時の移動速度を算出する。そして、算出された移動速度が、予め定められている速度よりも速い場合、操作入力体動作検出部208は、操作入力体によって「THROW」動作が行われたと判断する。表示装置100は、この「THROW」動作に応じて、オブジェクトの位置を移動する。具体的には、「MOVE」動作を行われている間、表示装置100は、その「MOVE」動作に応じた方向にオブジェクトを移動させる。そして、「RELEASE」動作が行われた後も、表示装置100は、「MOVE」動作に応じた方向に、オブジェクトを移動させる。このとき、表示装置100は、徐々に移動速度を減衰させながら、オブジェクトを移動させる。そして、表示装置100は、移動速度が0になって時点で、オブジェクトを停止させる。すなわち、表示装置100は、あたかも「MOVE」動作の惰性によりオブジェクトが移動するかのように、オブジェクトを移動させる。
(「SELECT」動作)
図12は、操作入力体の動作である「SELECT」動作を示す。「SELECT」動作とは、オブジェクトを選択する動作を意味する。ユーザは、オブジェクトが操作可能な状態のときに、操作入力体の状態を、順に、「OPEN」状態、「CLOSE」状態、「OPEN」状態へと変化させる。表示装置100は、この「SELECT」動作に応じて、オブジェクトを選択する。すなわち、表示装置100は、オブジェクトがフォーカスされている状態とする。このとき、表示装置100は、オブジェクトの表示形態を変化させる等により、オブジェクトがフォーカスされていることを、ユーザが容易に認識できるようにしても良い。
(「EXECUTE」動作)
図13は、操作入力体の動作である「EXECUTE」動作を示す。「EXECUTE」動作とは、オブジェクトに対応付けられたプログラムの実行を指示する動作を意味する。ユーザは、オブジェクトが操作可能な状態のとき、あるいは、オブジェクトがフォーカスされている状態のときに、操作入力体の状態を、順に、「OPEN」状態、「CLOSE」状態、「OPEN」状態、「CLOSE」状態、「OPEN」状態へと変化させる。表示装置100は、この「EXECUTE」動作に応じて、オブジェクトに対応付けられたプログラムを実行する。このとき、表示装置100は、オブジェクトの表示形態を変化させる等により、オブジェクトに対応付けられたプログラムが実行されたことを、ユーザが容易に認識できるようにしても良い。
(判断部による判断処理)
続いて、判断部206による判断処理の具体的な例について説明する。図14は、判断部206による判断処理を具体的に説明するための図である。既に説明したとおり、判断部206は、操作入力体の位置とオブジェクトの立体画像の表示位置とが予め定められた近接関係を有しているか否かを判断する。
図14では、判断部206は、オブジェクトの立体画像の代表点P3と、操作入力体の代表点P4とが予め定められた近接関係を有しているか否かを判断する例が示されている。
立体画像の代表点P3は、オブジェクトの立体画像の表示位置の一例である。図14に示す例では、立体画像の代表点P3として、オブジェクトの立体画像の表示位置の中心点を採用している。
操作入力体の代表点P4は、操作入力体の位置の一例である。図14に示す例では、操作入力体の代表点P4として、ユーザの人差し指402の先端の位置P1と、ユーザの親指404の先端の位置P2との中間点を採用している。
判断部206は、立体画像の代表点P3と、操作入力体の代表点P4とが一致している場合に、操作入力体の位置とオブジェクトの立体画像の表示位置とが予め定められた近接関係を有していると判断する。
また、判断部206は、立体画像の代表点P3と、操作入力体の代表点P4との距離D2が、予め定められた距離よりも短い場合にも、操作入力体の位置とオブジェクトの立体画像の表示位置とが予め定められた近接関係を有していると判断する。
なお、図14に示す例では、判断処理に用いられる操作入力体の位置として、操作入力体の代表点P4を採用したが、これに限らない。例えば、判断処理に用いられる操作入力体の位置は、ユーザの人差し指402の先端の位置P1や、ユーザの親指404の先端の位置P2等であっても良い。要するに、判断処理に用いられる操作入力体の位置は、操作入力体の代表的な位置であれば、どのような位置であっても良い。
また、図14に示す例では、判断処理に用いられるオブジェクトの立体画像の表示位置として、立体画像の代表点P3を採用したが、これに限らない。例えば、判断処理に用いられるオブジェクトの立体画像の表示位置は、オブジェクトの立体画像の外周上の位置や、オブジェクトの立体画像の予め定められた位置等であっても良い。要するに、判断処理に用いられるオブジェクトの立体画像の表示位置は、オブジェクトの立体画像の代表的な表示位置であれば、どのような位置であっても良い。
また、図14に示す例では、判断処理に用いられる操作入力体の位置、及び判断処理に用いられるオブジェクトの立体画像の表示位置として、それぞれ、代表的なある一点を採用したが、複数点を採用しても良く、ある程度の範囲を有する領域を採用しても良い。
(表示装置100が奏する効果)
以上説明したように、本実施形態の表示装置100は、操作入力体の位置とオブジェクトの立体画像の視認位置とが予め定められた近接関係を有しており、且つ、操作入力体による所定の動作を検出した場合に、オブジェクトに対する操作入力が行われる構成を採用している。
これにより、ユーザは、あたかも操作入力体でオブジェクトの立体画像を操作しているかのように、オブジェクトの立体画像の視認位置に近接する位置で、オブジェクトに対する操作入力を行うことができる。
また、本実施形態の表示装置100は、操作入力体の位置とオブジェクトの立体画像の視認位置とが一致している場合に、オブジェクトに対する操作入力が可能となる構成を採用している。
これにより、ユーザは、あたかも操作入力体をオブジェクトに接触させて、オブジェクトの立体画像を操作しているかのように、オブジェクトに対する操作入力を行うことができる。
また、本実施形態の表示装置100は、操作入力体の位置とオブジェクトの立体画像の視認位置との距離が予め定められた距離よりも短い場合にも、オブジェクトに対する操作入力が可能となる構成を採用している。
これにより、ユーザは、オブジェクトの立体画像の視認位置から僅かに離れた位置からでも、あたかもオブジェクトの立体画像を操作しているかのように、オブジェクトに対する操作入力を行うことができる。
また、本実施形態の表示装置100は、第1の動作が検出されると、オブジェクトが操作可能な状態となる構成を採用している。これにより、オブジェクトの操作が開始されるタイミングを明確にすることができ、操作入力の確実性を高めることができる。
また、本実施形態の表示装置100は、オブジェクトが操作可能な状態にある場合と、オブジェクトが操作可能な状態にない場合とで、オブジェクトの表示形態を異ならせる構成を採用している。これにより、ユーザは、オブジェクトが操作可能な状態にあるかを容易に判断することができる。すなわち、ユーザは、どのタイミングでオブジェクトの操作を開始すれば良いか容易に判断することができる。
また、本実施形態の表示装置100は、複数の操作入力体に位置に基づいて、これら複数の操作入力体による動作を検出する構成を採用している。これにより、動作のバリエーションをより多く設定することができる。
以下、実施形態の変形例について説明する。
(変形例1)
実施形態では、操作入力体の一例として、ユーザの指を採用した。特に、操作入力体の一例として、ユーザの人差し指及び親指を採用した。これに限らず、操作入力体として、ユーザの他の指や、ユーザの指以外の部位や、ユーザによる保持及び動作が可能な何らかの物体を採用しても良い。
(変形例2)
実施形態では、2つの操作入力体(ユーザの人差し指及び親指)によって操作入力を行う構成を採用した。これに限らず、1つの操作入力体、あるいは3つ以上の操作入力体によって、操作入力を行う構成を採用しても良い。
(変形例3)
実施形態で説明した表示装置100は、2つの操作入力体(ユーザの人差し指及び親指)によって、オブジェクトに対する操作入力を行うことができるので、リモコンやタッチパネル等の物理的な入力デバイスを備えていなくても良い。但し、表示装置100は、リモコンやタッチパネル等の物理的な入力デバイスを備えていても良い。この場合、表示装置100は、これら入力デバイスによっても、オブジェクトに対する操作入力を行うことができるものであっても良い。
(変形例4)
実施形態では、カメラ104から得られた情報に基づいて、操作入力体の位置を検出する構成を採用した。これに限らず、他の検出方法により、操作入力体の位置を検出する構成を採用しても良い。例えば、赤外線センサ、超音波センサ、レーザセンサ等によって、操作入力体の位置を検出する構成を採用しても良い。
(変形例5)
実施形態では、オブジェクトの操作が可能な状態と、オブジェクトの操作が不可能な状態とで、オブジェクトの表示形態を異ならせる構成を採用している。これにより、オブジェクトの操作が可能な状態か否かについて、ユーザが容易に認識できるようになっている。これに限らず、他の方法によって、オブジェクトの操作が可能な状態か否かを、ユーザに認識させることが可能な構成を採用しても良い。例えば、オブジェクトの操作が可能な状態と、オブジェクトの操作が不可能な状態とで、異なる音を発する構成を採用しても良い。
(変形例6)
実施形態では、オブジェクトの操作が可能な状態と、オブジェクトの操作が不可能な状態とで、オブジェクトの表示形態を異ならせる構成を採用している。これ以外の場合にも、オブジェクトの表示形態を異ならせるようにしても良い。例えば、操作入力体の位置と視認位置とが近接関係を有していると判断されている状態と、判断されていない状態とで、オブジェクトの表示形態を異ならせるようにしても良い。また、オブジェクトのある動作(例えば、「OPEN」動作)が検出されている状態と、検出されていない状態とで、オブジェクトの表示形態を異ならせるようにしても良い。
(変形例7)
実施形態では、視認位置特定部204によって特定される、オブジェクトの立体画像の表示位置を、オブジェクト画像の表示位置(オブジェクトの左目用画像と右目用画像との代表点の位置)の真正面の位置であり、且つ、ディスプレイ102の表面から予め定められた距離分離れた位置としている。
すなわち、実施形態では、オブジェクトの画像の位置の真正面の位置であり、且つ、ディスプレイ102の表面から予め定められた距離分離れた位置に、ユーザがオブジェクトの立体画像を認識しているものとして、オブジェクトの立体画像の表示位置を特定することとしている。
ここで、ユーザが認識するオブジェクトの表示位置は、オブジェクトの画像の位置の真正面の位置とは限らない。また、ユーザが認識するオブジェクトの表示位置は、ディスプレイ102の表面から予め定められた距離分離れた位置とも限らない。
例えば、ユーザがオブジェクトの画像の真正面以外の位置から、オブジェクトを見ている場合、ユーザが認識するオブジェクトの表示位置が、オブジェクトの画像の位置の真正面の位置とはならない場合がある。
また、オブジェクトの表示位置からユーザまでの距離によっては、ユーザが認識するオブジェクトの表示位置が、ディスプレイ102の表面から予め定められた距離分離れた位置とはならない場合がある。
このように、ユーザの位置によって、ユーザが認識するオブジェクトの表示位置が異なり得る。
そこで、表示装置100は、ユーザの位置を検出するユーザ位置検出部をさらに設け、視認位置特定部204は、オブジェクトの表示位置とユーザの位置とに応じて、オブジェクトの立体画像の表示位置を算出するようにしても良い。
以下、オブジェクトの立体画像の表示位置を算出する処理の具体例について説明する。図15は、オブジェクトの立体画像の表示位置を算出する処理を具体的に説明するための図である。
まず、ユーザ位置検出部が、ユーザの左目の位置P5Lと、ユーザの右目の位置P5Rとをそれぞれ検出する。例えば、ユーザ位置検出部は、実施形態で説明した操作入力体の位置を検出する方法と同様の方法を用いることにより、ユーザの左目の位置P5Lと、ユーザの右目の位置P5Rとを検出することができる。
次に、視認位置特定部204は、検出されたユーザの左目の位置P5Lと、ディスプレイ102に表示された左目用画像150Lの代表点P6Lとを接続する直線Aを定義する。ここでは、左目用画像150Lの中心点を代表点P6Lとしているが、これに限らない。
また、視認位置特定部204は、検出されたユーザの右目の位置P5Rと、ディスプレイ102に表示された右目用画像150Rの代表点P6Rとを接続する直線Bを定義する。ここでは、左目用画像150Rの中心点を代表点P6Rとしているが、これに限らない。
そして、視認位置特定部204は、直線Aと直線Bとの交点となる位置P7を算出し、この位置P7を、ユーザがオブジェクトの立体画像を視認する位置である、オブジェクトの立体画像の表示位置として特定する。
表示装置100は、このような方法により特定した、オブジェクトの立体画像の表示位置を、操作入力体の位置とオブジェクトの立体画像の表示位置とが近接関係になるか否かを判断する判断処理に用いることにより、当該判断処理の精度をより高めることができる。したがって、本変形例の表示装置100によれば、立体視可能に表示されたオブジェクトに対して、ユーザが操作入力を行う際に、ユーザに与える違和感をより軽減することができる。なお、オブジェクトの立体画像の表示位置を算出する方法は、上記に限らない。
(変形例8)
表示装置100は、オブジェクトの立体画像の視認位置が、ディスプレイ102の後方(z−方向)の空間上となるように、オブジェクトを表示することができものであっても良い。この場合、表示装置100は、オブジェクトの立体画像の視認位置が、ディスプレイ102の後方の空間上となるようにオブジェクトを表示した場合に、実施形態の構成(ディスププレイ102の前方の空間上で、操作入力体による操作入力を行う構成)と同様の構成により、ディスプレイ102の後方の空間上で、操作入力体による操作入力が可能な構成を有していても良い。
すなわち、ディスプレイ102の後方の空間上において、操作入力体の位置とオブジェクトの立体画像の視認位置とが予め定められた近接関係を有しており、且つ、操作入力体による所定の動作を検出した場合に、オブジェクトに対する操作入力が行われる構成を採用しても良い。
(プログラム、記憶媒体)
実施形態および実施形態の各変形例で説明した表示装置100の各機能は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
例えば、表示装置100は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラム及び各種データを格納するメモリ等の各種記憶装置(記録媒体)を備えている。そして、上記CPUが、上記各種記憶装置に格納されているプログラムを読み出し、このプログラムを実行することによって、表示装置100の各機能を実現することができる。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類等を用いることができる。
なお、上記プログラムは、通信ネットワークを介して表示装置100に供給されてもよい。この通信ネットワークは、少なくとも上記プログラムを表示装置100に伝送可能であればよく、その種類はどのようなものであっても良い。例えば、通信ネットワークとしては、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。
また、上記プログラムを表示装置100に供給するための伝送媒体としても、どのような種類のものを利用しても良い。例えば、伝送媒体として、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線によるものを利用しても良い。また、伝送媒体として、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE80211無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA、携帯電話網、衛星回線、地上波デジタル網等の無線によるもを利用しても良い。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、ディスプレイにオブジェクトを立体視可能に表示することにより、オブジェクトの立体画像をユーザに視認させる表示装置に適用することができる。また、本発明は、上記表示装置に対して操作入力を行なうための操作入力方法、操作入力プログラム、及び記録媒体に適用することができる。
100 表示装置
102 ディスプレイ
104 カメラ
200 操作入力部
202 操作入力体位置検出部(操作入力体位置検出手段)
204 視認位置特定部(視認位置特定手段)
206 判断部(判断手段)
208 操作入力体動作検出部(操作入力体動作検出手段)
210 処理実行制御部(処理実行制御手段)
212 表示制御部(表示制御手段)

Claims (10)

  1. ディスプレイにオブジェクトを立体視可能に表示することにより前記オブジェクトの立体画像をユーザに視認させる表示装置において、
    当該表示装置に対して操作入力を行うための操作入力体の位置を検出する操作入力体位置検出手段と、
    前記オブジェクトの立体画像がユーザによって視認される視認位置を、ある基準点からの3次元位置として表されるユーザの左目の位置とユーザの右目の位置とから、特定する視認位置特定手段と、
    前記操作入力体の位置と前記視認位置とが予め定められた近接関係にあるか否かを判断し、前記操作入力体の位置と前記視認位置とが予め定められた近接関係にあると判断した場合、前記オブジェクトを操作受付状態へと切り替える判断手段と、
    前記操作入力体の動作を検出する操作入力体動作検出手段と、
    前記オブジェクトが操作受付状態にあり、且つ、前記操作入力体動作検出手段によって前記操作入力体の動作が検出された場合、当該操作入力体の動作に予め対応付けられている処理を、処理実行部に実行させる処理実行制御手段とを備え、
    前記操作入力体位置検出手段は、予め定められた形状または色を有する前記操作入力体を認識し、認識した前記操作入力体の位置を検出することを特徴とする表示装置。
  2. 前記判断手段は、
    前記操作入力体の位置と前記視認位置とが一致している場合に、前記操作入力体の位置と前記視認位置とが前記近接関係にあると判断する
    ことを特徴とする請求項1に記載の表示装置。
  3. 前記判断手段は、
    前記操作入力体の位置と前記視認位置との距離が予め定められた距離よりも短い場合に、前記操作入力体の位置と前記視認位置とが前記近接関係にあると判断する
    ことを特徴とする請求項1または2に記載の表示装置。
  4. 前記判断手段は、
    前記操作入力体の位置と前記視認位置とが予め定められた近接関係にあると判断し、且つ、前記オブジェクトを操作受付状態とするための第1の動作が検出された場合に、前記オブジェクトを操作受付状態へと切り替え、
    前記処理実行制御手段は、
    前記オブジェクトが操作受付状態にあり、且つ、前記オブジェクトの操作内容を示す第2の動作が検出された場合、当該第2の動作に予め対応付けられている処理を、処理実行部に実行させる
    ことを特徴とする請求項1から3のいずれか一項に記載の表示装置。
  5. 前記オブジェクトが操作受付状態にある場合と、前記オブジェクトが操作受付状態にない場合とで、前記オブジェクトの表示形態を異ならせる表示制御手段
    をさらに備えることを特徴とする請求項4に記載の表示装置。
  6. 前記操作入力体が複数の部位から構成されているとき、
    前記操作入力体位置検出手段は、
    前記操作入力体の複数の部位のそれぞれの位置を検出し、
    前記操作入力体動作検出手段は、
    前記複数の部位のそれぞれの位置に基づいて、前記操作入力体による動作を検出する
    ことを特徴とする請求項1から5のいずれか一項に記載の表示装置。
  7. 前記表示装置は、さらに、カメラを備えており、
    前記操作入力体動作検出手段はカメラから得られた情報に基づいて、操作入力体の位置を検出することを特徴とする請求項1から6のいずれか項に記載の表示装置。
  8. ディスプレイにオブジェクトを立体視可能に表示することにより前記オブジェクトの立体画像をユーザに視認させる表示装置に対する操作入力方法であって、
    前記表示装置に対して操作入力を行うための操作入力体の位置を検出する操作入力体位置検出工程と、
    前記オブジェクトの立体画像がユーザによって視認される視認位置を、ある基準点からの3次元位置として表されるユーザの左目の位置とユーザの右目の位置とから、特定する視認位置特定工程と、
    前記操作入力体の位置と前記視認位置とが予め定められた近接関係にあるか否かを判断し、前記操作入力体の位置と前記視認位置とが予め定められた近接関係にあると判断した場合、前記オブジェクトを操作受付状態へと切り替える判断工程と、
    前記操作入力体の動作を検出する操作入力体動作検出工程と、
    前記オブジェクトが操作受付状態にあり、且つ、前記操作入力体動作検出工程によって前記操作入力体の動作が検出された場合、当該操作入力体の動作に予め対応付けられている処理を、処理実行部に実行させる処理実行制御工程とを含み、
    前記操作入力体位置検出工程において、予め定められた形状または色を有する前記操作入力体を認識し、認識した前記操作入力体の位置を検出することを特徴とする操作入力方法。
  9. 請求項1から7のいずれか項に記載の表示装置を動作させるための操作入力プログラムであって、コンピュータを上記の各手段として機能させるための操作入力プログラム。
  10. 請求項9に記載の操作入力プログラムを記録しているコンピュータ読み取り可能な記録媒体。
JP2011088496A 2011-04-12 2011-04-12 表示装置、操作入力方法、操作入力プログラム、及び記録媒体 Expired - Fee Related JP5864043B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011088496A JP5864043B2 (ja) 2011-04-12 2011-04-12 表示装置、操作入力方法、操作入力プログラム、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011088496A JP5864043B2 (ja) 2011-04-12 2011-04-12 表示装置、操作入力方法、操作入力プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2012221370A JP2012221370A (ja) 2012-11-12
JP5864043B2 true JP5864043B2 (ja) 2016-02-17

Family

ID=47272765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011088496A Expired - Fee Related JP5864043B2 (ja) 2011-04-12 2011-04-12 表示装置、操作入力方法、操作入力プログラム、及び記録媒体

Country Status (1)

Country Link
JP (1) JP5864043B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7291663B2 (ja) 2020-04-24 2023-06-15 Towa株式会社 位置決め装置、位置決め方法、樹脂成形システムおよび樹脂成形品の製造方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6099943B2 (ja) * 2012-11-20 2017-03-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2016110250A (ja) * 2014-12-03 2016-06-20 日本ユニシス株式会社 ジェスチャ認識システム、ジェスチャ認識方法およびコンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3258562B2 (ja) * 1996-05-21 2002-02-18 富士通株式会社 空中像入出力装置及び方法
ATE232621T1 (de) * 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
JP3879510B2 (ja) * 2001-10-11 2007-02-14 セイコーエプソン株式会社 立体表示装置
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US10279254B2 (en) * 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
JP2005196530A (ja) * 2004-01-08 2005-07-21 Alpine Electronics Inc 空間入力装置及び空間入力方法
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
JP5263833B2 (ja) * 2009-05-18 2013-08-14 国立大学法人 奈良先端科学技術大学院大学 ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7291663B2 (ja) 2020-04-24 2023-06-15 Towa株式会社 位置決め装置、位置決め方法、樹脂成形システムおよび樹脂成形品の製造方法

Also Published As

Publication number Publication date
JP2012221370A (ja) 2012-11-12

Similar Documents

Publication Publication Date Title
US10948993B2 (en) Picture-taking within virtual reality
KR102187974B1 (ko) 가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램
JP5450791B2 (ja) 立体表示装置及び立体撮影装置、並びに利き目判定方法及びこれに用いる利き目判定プログラム並びに記録媒体
JP2011081480A (ja) 画像入力システム
US8947352B2 (en) Image processing apparatus capable of displaying operation item, method of controlling the same, image pickup apparatus, and storage medium
EP2525580B1 (en) Dynamically configurable 3D display
KR101893275B1 (ko) 프리뷰 인터페이스 선택 영역의 줌인 방법 및 장치
JP5676608B2 (ja) 立体表示装置、立体撮影装置、および指示判定方法
JP5766019B2 (ja) 2眼撮像装置、その制御方法、および、制御プログラムおよびコンピュータ読み取り可能な記録媒体
US10222950B2 (en) Image processing apparatus and method
US10185462B2 (en) Image processing apparatus and method
JP2012256110A (ja) 情報処理装置、情報処理方法およびプログラム
JP5704854B2 (ja) 表示装置
JP5864043B2 (ja) 表示装置、操作入力方法、操作入力プログラム、及び記録媒体
JP2012015619A (ja) 立体表示装置及び立体撮影装置
JP5586377B2 (ja) 表示装置
JP5603732B2 (ja) 撮像装置
CN111782053A (zh) 模型编辑方法、装置、设备及存储介质
KR100758985B1 (ko) 유저인터페이스를 조작하는 영상 디스플레이 장치 및 그방법
JP2022183656A (ja) 電子機器、制御方法、プログラム、および記憶媒体
JP2015109111A (ja) ジェスチャ操作入力処理装置、3次元ディスプレイ装置およびジェスチャ操作入力処理方法
JP2022168781A (ja) 電子機器、その制御方法、プログラムおよび記憶媒体
JP2024010449A (ja) 情報処理装置、情報処理方法、プログラム
JP2021158559A (ja) 電子機器、その制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151223

R150 Certificate of patent or registration of utility model

Ref document number: 5864043

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees