JPWO2013168736A1 - 立体画像表示装置、そのカーソル表示方法及びコンピュータプログラム - Google Patents

Abstract

立体画像表示装置は、左右いずれか一方の眼用の画像にカーソルを表示し、他方の眼用の画像にはカーソルを表示しない第１モードのカーソル描画と、左右両眼用の画像の視差を利用してカーソルに奥行きを持たせて表示する第２モードのカーソル描画と、を制御するカーソル描画制御部と、第１モードから第２モードのカーソル描画に切り替えるときに、一方の眼用の画像におけるカーソルが指示している位置に基づいて、画像の照合により他方の眼用の画像におけるその位置を検索し、他方の眼用の画像においてカーソルを表示させる位置を求める画像解析部と、を備える。

Description

［関連出願についての記載］
本発明は、日本国特許出願：特願２０１２−１０７５９４号（２０１２年５月９日出願）に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、立体画像表示装置、そのカーソル表示方法及びコンピュータプログラムに関する。特に、両眼視差を利用した疑似３次元表示空間において、操作の対象となる物体をカーソルによって指定する立体画像表示装置に関する。

両眼視差を利用して画像を立体的に見せる３Ｄ立体視表示装置が、携帯電話、スマートフォン、ゲーム機などの携帯機器にも採用されるようになってきている。これらの３Ｄ立体視表示装置において、３次元空間の対象物を指定する必要がある場合がある。３次元空間の対象物の指定方法としては、カーソルやポインタなどの位置指定指標を画像上で動かして指定する方法が一般的である。画面上で矢印などによって操作の対象となる位置を指定する位置指定指標は、カーソルやポインタなど様々な呼び方がある。本明細書では、位置指定指標についてカーソルと呼ぶことにする。すなわち、本明細書において、ポインタなどを含む位置指定指標の総称をカーソルと呼ぶことにする。

従来の３Ｄ立体視表示装置において３次元空間の対象物を指定する場合、大きく分けて２種類の方法があった。

第１の方法は、カーソルも３Ｄ空間で奥行きを持たせて表示し、その移動方法として上下左右の２次元の方向制御に加えて奥行き方向の制御操作系を用意することで、３次元空間座標をダイレクトに指定するものであった。たとえば、特許文献１の図４には、十字キー３２の他、Ｙ軸用シーソースイッチ３１の２つのキー、スイッチを用いてポインター（カーソル）を３次元空間で移動させることが記載されている。

第２の方法は、現実世界において物体を自分の指で差し示すのと同じ考え方を用いたもので、指は近く、対象物は遠いために対象物を注視すると指が２本に見えるが、人間の認識には左右の目で差があり（以下、認識に主として使われる側を利き目と称する）、利き目側で見えている指の映像を正しい方向を示している指として採用し、対象物を特定するというものである。

特許文献２には、右目と左目のうち、利き目の視線上にある物体をカーソルに対応する物体として選択することにより、自然な操作環境を提供する三次元物体操作方法が記載されている。特許文献２の図５には、右目の片目で見れば、カーソル位置５０６が物体Ａ（５０１）の作用点５０２に重なって見え、左目の片目で見れば、カーソル位置５０６が物体Ｂ（５０３）の作用点５０４に重なって見えることが記載されている。特許文献２では、操作者所望の作用点として利き目側の作用点を選択することが記載されている。たとえば、特許文献２の図５の例では、利き目が右目であれば、作用点５０２を操作者所望の作用点として選択し、利き目が左目であれば、作用点５０４を操作者所望の作用点として選択することになる。

また、特許文献３には、左目用の視点と右目用の視点との間隔を調整し、さらに、視線位置の奥行きを変更することにより、生成される画像の立体感を調整し、オブジェクト空間の見え方を変化させることが記載されている。

特開２０１１−１５３９９５号公報 特開２００４−３６２２１８号公報 特開２００３−１０７６０３号公報

以下の分析は、本発明によって与えられたものである。両眼視差を利用した疑似３次元表示空間において、操作の対象となる物体についてカーソルを用いて指定しようとする場合、背景技術で説明した第１の方法では、３Ｄ立体視表示装置はあくまでも擬似的な３次元空間表示であるため（具体的には遠方でも近傍でも目の焦点位置が変わらないため）生理的な実感が薄く、奥行き方向を合わせるのは非常に難しかった。

また、第２の方法では、利き目でない方の目にもカーソルが表示されるので、カーソル、又は、物体が二重に見えて、位置合わせ操作が難しかった。

本発明は、上記事情に鑑みてなされたものであり、疑似３次元空間において、位置合わせが容易にできて見やすいカーソル表示環境を提供することを目的とする。

本発明の第１の視点によれば、左右いずれか一方の眼用の画像にカーソルを表示し、他方の眼用の画像にはカーソルを表示しない第１モードのカーソル描画と、左右両眼用の画像の視差を利用してカーソルに奥行きを持たせて表示する第２モードのカーソル描画と、を制御するカーソル描画制御部と、前記第１モードから前記第２モードのカーソル描画に切り替えるときに、前記一方の眼用の画像におけるカーソルが指示している位置に基づいて、画像の照合により前記他方の眼用の画像におけるその位置を検索し、前記他方の眼用の画像においてカーソルを表示させる位置を求める画像解析部と、を備える両眼視差を利用した立体画像表示装置が提供される。

本発明の第２の視点によれば、両眼視差を利用した立体画像表示装置のカーソル表示方法であって、左右いずれか一方の眼用の画像にカーソルを表示し、他方の眼用の画像にはカーソルを表示しない第１モードから、左右両眼用の画像の視差を利用してカーソルを立体的に表示する第２モードに切り替えるときに、前記一方の眼用の画像におけるカーソルが指示している画像の位置を検出し、画像の照合により前記他方の眼用の画像におけるその位置を検索し、検索された位置に基づいて、前記他方の眼用の画像においてカーソルを表示するカーソル表示方法が提供される。
なお、本方法は、両眼視差を利用した立体画像表示装置という、特定の機械に結びつけられている。

本発明の第３の視点によれば、両眼視差を利用した立体画像表示装置において、コンピュータにカーソル表示処理を実行させるコンピュータプログラムであって、左右いずれか一方の眼用の画像にカーソルを表示させ、他方の眼用の画像にはカーソルを表示させない第１モードの表示処理と、左右両眼用の画像の視差を利用してカーソルに奥行きを持たせて表示させる第２モードの表示処理と、前記第１モードから第２モードの表示に切り替えるときに、前記一方の眼用の画像におけるカーソルが指示している位置に基づいて、画像の照合により前記他方の眼用の画像におけるその位置を検索し、前記他方の眼用の画像にカーソルを表示させる位置を求め、第２モードの表示に切り替える処理と、を実行させるコンピュータプログラムが提供される。
なお、このコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ−ｔｒａｎｓｉｅｎｔ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、両眼視差を利用した疑似３次元表示において、位置合わせが容易にできて見やすいカーソル表示環境を提供することができる。

第１の実施形態による立体画像表示装置全体のブロック図である。 第１の実施形態による（ａ）仮想奥行き位置を示す図と（ｂ）実際の表示画面例を示す図、及び、（ｃ）特許文献２による実際の表示画面例を示す図である。 第１の実施形態による立体画像表示装置において、カーソルが移動しているときの動作を説明する図である。 第１の実施形態による立体画像表示装置において、カーソルの移動が終了したときの動作を説明する図である。 第１の実施形態による立体画像表示装置において、カーソルを立体的に描画するときの動作を説明する図である。 第１の実施形態による処理を説明するフローチャートである。 第１の実施形態において３次元座標を算出する方法を説明する図である。 第２の実施形態による動作を説明する図である。 第２の実施形態による処理を説明するフローチャートである。 第３の実施形態において、カーソルの方向を指定する一例を説明する図である。 第３の実施形態による方向を含めた位置指定による検索画像の抽出例を示す図である。 第３の実施形態による処理全体を説明するフローチャートである。 第３の実施形態によるカーソル描画処理を説明するフローチャートである。

本発明の実施形態の概要について説明する。なお、概要に付記する図面参照符号は専ら理解を助けるための例示であり、図示の態様に限定することを意図するものではない。

一例を図１に示すように、本願開示の一実施形態による立体画像表示装置（１０）は、左右いずれか一方の眼用の画像にカーソルを表示し、他方の眼用の画像にはカーソルを表示しない第１モードのカーソル描画と、左右両眼用の画像の視差を利用してカーソルに奥行きを持たせて表示する第２モードのカーソル描画と、を制御するカーソル描画制御部（２０）を備える。

第１モードでは、たとえば、利き目にのみカーソルを表示させ、第２モードでは、指示する物体の奥行きに合わせた位置にカーソルを表示することができるのでどちらもカーソルが二重に見えることはない。

さらに、一実施形態による立体画像表示装置（１０）は、第１モードから第２モードのカーソル描画に切り替えるときに、一方の眼用の画像におけるカーソルが指示している位置に基づいて、画像の照合により他方の眼用の画像におけるその位置を検索し、他方の眼用の画像においてカーソルを表示させる位置を求める画像解析部（３０）を備える。

左眼用の画像と右眼用の画像とを照合することにより、カーソルを表示していなかった方の画像におけるカーソルの表示位置を求めるので、カーソルが指示する物体と奥行きが合致したカーソルを比較的容易に表示させることができる。たとえば、カーソルの移動中は第１モード、カーソルの位置が定まった後は第２モードの表示を行うことにより、両眼視差を利用した疑似３次元表示において、位置合わせが容易にできて見やすいカーソル表示環境を提供することができる。

ここで、一実施形態におけるカーソル表示の一例について、少し詳しい説明をしておく。図２（ａ）は、一実施形態におけるカーソル表示の仮想奥行き位置を示す図であり、図２（ｂ）は、その実際の表示画面例を示す図である。

図２（ａ）において、実際に画像が表示されるのは、表示面５０５上であるが、右目には、右目投影中心５０８からみた画像が、左目には、左目投影中心５０７から見た画像が見える。すなわち、左目と右目では、視点の異なる位置からの画像が見える。左右両眼で物体Ｂ（５０３）と物体Ａ（５０１）を見た場合、左右両眼の視差から物体Ｂ（５０３）は、表示面５０５より奥まった位置に見え、物体Ａ（５０１）は物体Ｂ（５０３）よりさらに奥まった位置に存在するように見える。

一実施形態における第１モードでは、左右いずれか一方の眼用の画像にカーソルが表示され、他方の眼用の画像にはカーソルが表示されない。カーソルが表示される方の眼として利き目を選択することができる。たとえば、利き目が左目である場合、左目用の画像には、カーソル５０６Ｌが表示され、右目用の画像には、カーソル５０６Ｒは表示されない。すなわち、左目片目で画像を見ると、物体Ａ、物体Ｂの他、物体Ｂの作用点５０２を指すカーソル５０６Ｌが見える。一方、右目片目で画像を見ると、物体Ａ、物体Ｂは見えるが、カーソル５０６Ｒは見えない。従って、右左両眼で画像を観察すると、カーソル５０６Ｌは、物体Ｂの作用点５０２を指しているのが見える。第１モードでは、カーソルは片目用の画像にしか見えないので、カーソルに奥行きは感じられないが、カーソルが左目と右目で異なった位置に見えたりすることはない。

次に、一実施形態における第２モードでは、左目用の画像には、カーソル５０６Ｌが表示され、右目用の画像には、カーソル５０６Ｒが表示される。すなわち、両眼視差により、カーソル５０６Ｌ、５０６Ｒは、カーソルが指している物体Ｂの作用点５０２に存在するように見える。カーソルが指す物体Ｂの奥行きとカーソルの５０６Ｌ、５０６Ｒの奥行きが一致しているので、カーソルを両眼で注視したときに背景の物体Ｂが二重に見えたり、物体Ｂを両眼で注視したときにカーソルが二重に見えたりすることはない。

すなわち、図２（ｂ）に示すように、第１モードにおいても、第２モードにおいても、いずれの場合もカーソルは、物体Ｂの作用点５０２を指しているように見え、それ以外の場所にカーソルが二重に見えることはない。特に、カーソルを移動させるときは、第１モードの表示を行い、カーソルを移動させないときは、第２モードの表示を行うことができる。

ここで比較のため、特許文献２の図５における実際の表示画面例を図２（ｃ）に示す。すなわち、特許文献２の図５の例では、左目片目で画像を見た場合には、カーソル５０６Ｌの先端は物体Ｂの作用点５０４を指しているように見え、右目片目で画像を見た場合には、カーソル５０６Ｒの先端は物体Ａの作用点５０２を指しているように見える。特許文献２では、左右両眼のうち、利き目側の眼のカーソル位置を操作者所望の作用点として選択することが記載されている。すなわち作用点（カーソルの先端が重なって見える位置）は５０２、５０４の二つが存在するので、背景の物体を注視すれば、カーソルが二重に見え、カーソルに注視すれば、背景が二重に見えることになる。従って、利き目側の眼のカーソル位置を操作者所望の作用点として選択したとしても位置が合わせにくく、カーソルも見えづらいと考えられる。

一方、本願開示の一実施形態によれば、第１モード、第２モードのいずれにおいても、作用点（カーソルの先端が重なって見える位置）は５０２の一つしか存在しない。従って、カーソルや背景が二重に見えることはないので、位置が合わせやすく、見えやすいカーソル表示環境を提供することができる。

すなわち、一実施形態によれば、注視しているものに対してカーソルが１つだけ表示されているので操作がわかりやすく、また、後述するように画像の特徴を検索して奥行きの合致したカーソルを出現させているのでカーソル位置は空間位置的に図２（ａ）の５０２に存在していることになり、即座に空間的な位置を目視確認することができる。また、空間座標が一意に定義された状態であるので現実空間の３次元座標を取得することもできる。

以下に、上記カーソル表示を実現する具体的な実施の形態について、図面を参照してさらに詳しく説明する。

［第１の実施形態］
図１（ａ）は、第１の実施形態による立体画像表示装置全体のブロック図である。図１（ａ）を用いて、第１の実施形態による立体画像表示装置１０の構成について説明する。図１では、立体画像表示装置１０が、携帯端末装置である例を示しているが、立体画像表示装置１０は、両眼視差を利用して疑似的に立体画像を表示するものであれば、携帯端末装置に限られるものではない。立体画像表示装置１０は、左カメラ部５０Ｌと右カメラ部５０Ｒの２台のカメラを備えている。左カメラ部５０Ｌと右カメラ部５０Ｒは、それぞれ左眼用の画像と右眼用の画像を撮影するカメラである。左カメラ部５０Ｌと右カメラ部５０Ｒは、それぞれ左画像メモリ４０Ｌと右画像メモリ４０Ｒに接続され、左カメラ部５０Ｌで撮影された映像は左画像メモリ４０Ｌに、右カメラ部５０Ｒで撮影された映像は右画像メモリ４０Ｒに格納される。

また、画像メモリ４０Ｌ、４０Ｒはカーソル描画制御部２０から書き込み可能であって、画像にカーソル形状のデータを重ね書きすることで、画像にカーソルを重ね合わせることができる。左画像メモリ４０Ｌと右画像メモリ４０Ｒに格納された画像データは、３Ｄ表示制御部８０に送られ、３Ｄ表示制御部８０は、３Ｄ表示部９０に疑似３次元画像を表示する。３Ｄ表示部９０に表示された画像は、ユーザーが立体視画像として見ることが出来る。

カーソル描画制御部２０は、左画像メモリ４０Ｌと右画像メモリ４０Ｒとに接続され、左画像メモリ４０Ｌと右画像メモリ４０Ｒへのカーソル描画を制御する。カーソル描画制御部２０は、カーソル座標メモリ２１と、カーソル形状メモリ２２と、利き目設定メモリ２３と、移動中フラグ２４と、を備える。カーソル座標メモリ２１は、図１（ｃ）に示すように、左画像メモリ４０Ｌに描画するカーソルのＸ座標、Ｙ座標と、右画像メモリ４０Ｒに描画するカーソルのＸ座標、Ｙ座標とを記憶する。カーソル形状メモリ２２は、描画するカーソルの形状を記憶する。利き目設定メモリ２３は、右、左いずれの眼が利き目であるかを記憶する。移動中フラグ２４は、カーソルが移動中であるか否かを記憶する。

画像解析部３０は、左右いずれの画像にのみカーソルを表示する第１モードから左右いずれの画像にもカーソルを表示する第２モードに切り替えるときに、カーソルを表示している方の画像のカーソルが指示している位置に基づいて、画像の照合によりカーソルを表示していない方の画像におけるその位置を検索し、表示していない方の画像におけるカーソルを表示させる位置を求める。画像解析部３０は、検索画像メモリ３１と画像一致検索部３２とを備える。画像解析部３０は、左画像メモリ４０Ｌ、右画像メモリ４０Ｒに接続され、左画像メモリ４０Ｌ、右画像メモリ４０Ｒの画像の一部を取り出して検索画像メモリ３１に格納することができる。画像メモリ４０Ｌ又は４０Ｒ全体をアクセスして検索画像メモリ３１に格納された映像と似た映像の存在する場所を検索することができる。すなわち、検索画像メモリ３１には、左画像メモリ４０Ｌ、右画像メモリ４０Ｒのうち、カーソルを表示している方のカーソル表示に関連する部分の画像を格納し、画像一致検索部３２は、カーソルを表示していない方の画像メモリから、似た映像の存在する場所を検索することができる。

この検索自体は動画圧縮や各種の画像処理の既存技術を利用可能であるので、ここではその詳細は省略する。特に、これらの処理はハードウェアによって高速に処理する手段も開発されているため、検索処理を高速に行うこともできる。

主制御部６０は、カーソル描画制御部２０及び画像解析部３０を制御するプログラム及び制御データやワーク用にデータメモリとして用いるメモリ６１を備えている。操作部７０はユーザーからの操作を入力し、主制御部６０は、操作部７０からの入力に基づいて、立体画像表示装置１０全体を制御することができる。

また、図１（ａ）の左画像メモリ４０Ｌ、右画像メモリ４０Ｒは、それぞれ図１（ｂ）に示すように、カメラから転送されたデータを保持しておくカメラデータバッファ４１と、それをコピーした後にカーソル画像などを重ね合わせ描画する書き込み加工をする加工描画データバッファ４２と、の２重のバッファ構造にしてもよい。この場合はカメラからの画像を静止した状態でカーソル操作できるようになるので使い勝手をよくすることができる。

次に、図３から図６を用いて、第１の実施形態による立体画像表示装置１０の基本的な動作について説明する。図３は第１モード（ユーザーがカーソルの位置を指定する操作によりカーソルが移動しているとき等）の動作を説明する図、図４はカーソルの移動が終了する等により第１モードから第２モードに移行するときの動作を説明する図、図５は、第２モードにおいてカーソルを立体的に奥行きを持たせて表示するときの動作を説明する図である。図６は、図３〜図５の各処理のフローチャートである。

まず、図３を用いて、ユーザーがカーソルの位置を指定する操作にすることにより、カーソルが移動しているとき（第１モード）の動作を説明する。図３では、カーソルが移動しているときに主に動作するブロックと、利き目が左目である場合に、主な制御に用いる信号線を太線で、制御にほとんど用いない信号線を破線で示している。カーソルが移動しているときは、移動中フラグ２４がＯＮに設定される。移動中フラグ２４がＯＮの場合、カーソル描画制御部２０は、左画像メモリ４０Ｌと右画像メモリ４０Ｒのうち、利き目設定メモリ２３に設定された側の画像メモリにのみカーソル形状メモリ２２のデータを書き込む。図３では、利き目設定メモリ２３に左目が設定されている場合を示しているので、カーソル描画制御部２０は、左画像メモリ４０Ｌにのみカーソルシンボルを書き込み、右画像メモリ４０Ｒにはカーソルシンボルを書き込まない。カーソル座標メモリ２１は左描画座標だけが使用され、その値は主制御部６０が操作部７０からの指示に従って更新している。これによって、カーソルの位置指定（移動）中は、利き目側にのみカーソルが表示されている。

図６（ａ）のフローチャートでは、カーソルが移動しているとき、ステップＳ１で移動中フラグ２４（図１又は図３参照）をＯＮに設定した後、ステップＳ２乃至ステップＳ５のループ処理を繰り返す。このステップＳ１からＳ５までの処理は例えばポインティングデバイスでカーソルを指定してドラッグするなどの移動を開始する操作が行われると起動される。

図６（ａ）のステップＳ２では、カーソル描画処理（Ｍ１）を行う。このカーソル描画処理（Ｍ１）の詳細なステップを、図６（ｂ）に示す。カーソル描画処理（Ｍ１）では、利き目設定メモリ２３に利き目として左目が設定されている場合は、ステップＳ１１でＹｅｓと判定され、ステップＳ１２からＳ１４までを実行する。まず、カーソルシンボルの転送先を左画像メモリ４０Ｌに設定する（ステップＳ１２）。次に、転送先の座標位置をカーソル座標メモリ２１内の左描画座標（図１（ｃ）参照）に設定する（ステップＳ１３）。次に、カーソル形状メモリ２２の描画データをステップＳ１２、ステップＳ１３での設定に基づいて、左画像メモリ４０Ｌに転送する（ステップＳ１４）。ステップＳ１５では、移動中フラグ２４がＯＮの状態にあるので、Ｙｅｓと判定され、カーソル描画処理（Ｍ１）を終了する。

もし、利き目設定メモリ２３に利き目として右目が設定されている場合は、ステップＳ１１でＮｏ、ステップＳ１６でＹｅｓと判定され、ステップＳ１７からステップＳ１９までを実行する。ステップＳ１７からステップＳ１９までの処理は、左画像メモリ４０Ｌが右画像メモリ４０Ｒに代わり、転送先の座標位置がカーソル座標メモリ２１内の左描画座標から右描画座標に代わることを除いて、ステップＳ１２からステップＳ１４までの処理と内容は同一である。すなわち、移動中フラグ２４がＯＮのときは、利き目設定メモリの内容に応じて、左画像メモリ、右画像メモリの一方のみにカーソル描画を行い、他方の画像メモリにはカーソル描画を行わない。

図６（ａ）に戻って、カーソル移動中の処理について、説明を続ける。ステップＳ２でカーソル描画処理（Ｍ１）が終わると、ユーザーがカーソルの移動指定を行うか、カーソル位置の確定を行うか操作部７０からの入力を待つ。操作部７０からのカーソルの移動位置の指定入力、又は、位置確定入力があった場合は、ステップＳ４に進む。ステップＳ４では、操作部７０からの入力がカーソル位置の確定入力であるか否か判定する。カーソルの移動指定の場合は、ステップＳ４の判定はＮｏとなるので、ステップＳ５へと進む。ステップＳ５では、操作部７０からの入力に基づいて、カーソル座標メモリ２１の利き目側の座標値を更新し、ステップＳ２のカーソル描画処理（Ｍ１）に戻る。ステップＳ４の判定で操作部７０からの入力がカーソル位置の確定入力であった場合は、カーソル移動処理を終了し、カーソル表示を片目表示（モード１）から両目表示（モード２）に切り替える処理に進む。

図４（ａ）は、立体画像表示装置１０全体について、カーソル表示を片目表示（モード１）から両目表示（モード２）に切り替える動作、すなわち、移動が終わって（例えばカーソルを移動していたポインティングデバイスをリリースして）カーソルを３Ｄ表示する準備段階の各ブロックの動作を説明する図である。図４（ａ）では、カーソルを３Ｄ表示する準備段階で主に動作するブロックと主な制御に用いる信号線を太線で、制御にほとんど用いない信号線を破線で示している。また、図４（ｂ）は、特に、左右の画像メモリ４０Ｌ、４０Ｒと、画像解析部３０の動作に着目した説明図である。

この段階では、まず第１に主制御部６０が画像解析部３０とカーソル描画制御部２０を制御し、カーソル座標メモリ２１から、利き目設定メモリ２３で設定されている側（即ち今まで座標値を更新していた側）の座標（カーソルの先端が表示されていた座標）を画像解析部３０に送り、画像解析部３０の検索画像メモリ３１に座標位置周辺の画像を転送させる。図４（ｂ）に示すように、左画像メモリ４０Ｌのカーソルの先端があった位置の周辺が検索画像メモリ３１に転送されている。

次に、画像一致検索部３２が起動され、検索画像メモリ３１の画像と、右画像メモリ４０Ｒの内容が比較されて右画像メモリ４０Ｒの中で、検索画像メモリ３１の画像に似た画像が検索される。図４（ｂ）では、矩形で囲まれた部分が検索されている。この場所は、左側の楕円形５０１と右側の楕円形５０３の位置が左右の目で異なるため、左側の楕円部分５０１の濃度は検索画像メモリ３１の内容と異なるが、多くを占める右側の楕円部分５０３の濃度が完全に一致しているため、この場所が検索される結果がもたらされている。その検索結果の中央座標が左画像メモリ４０Ｌのカーソル先端に相当する座標となるので、主制御部６０はそれをカーソル座標メモリ２１の右描画座標にセットする。

このカーソルを片目表示（モード１）から両目表示（モード２）に切り替える処理は、図６（ａ）のフローチャートでは、ステップＳ６からステップＳ１０に相当する。まず、主制御部６０はカーソルを３Ｄ表示する準備として移動中フラグ２４をＯＦＦに設定する（ステップＳ６）。次に、左画像メモリ４０Ｌ、右画像メモリ４０Ｒのうち、今まで更新していた画像メモリのカーソル位置の近傍画像を検索画像メモリ３１に抽出転送する（ステップＳ７）。さらに、画像一致検索部３２を動作させて、検索を実行する（ステップＳ８）。次に、その結果をカーソル座標メモリ２１の利き目でない方の座標に座標値を設定する（ステップＳ９）。これで、カーソル座標メモリ２１に左右の描画座標が設定できたので、その座標値に基づいて、カーソル描画処理（Ｍ１）を行う（ステップＳ１０）。このステップＳ１０のカーソル描画処理（Ｍ１）では、移動中フラグ２４がＯＦＦに設定されており、ＯＮではないため、利き目設定に係わらず、左画像メモリと右画像メモリの両方に対してカーソル形状メモリの描画データ転送が行われ、左右両目の画像にカーソル描画を行う（図６（ｂ）において、ステップＳ１２〜Ｓ１４とＳ１７〜Ｓ１９を実行する）。このカーソル描画では、左右両目の画像にカーソルが描画されるが、その描画位置は左右で異なっているためにユーザーには指示された奥行きに合致する映像として感じられる。

図５（ａ）は、左右両眼用の画像にカーソルを立体的に奥行きを持たせて表示するときの立体画像表示装置１０全体の動作を説明する図、図５（ｂ）は、このときに、左画像メモリ４０Ｌと右画像メモリ４０Ｒの画像データを説明する図である。図５（ａ）に示すように、カーソル形状メモリ２２の内容が、カーソル座標メモリ２１の内容に従って左右の画像メモリ４０Ｌ、４０Ｒに転送される。図５（ｂ）に示すように、左右で異なった座標に、カーソルは表示される。しかし、右側の楕円形５０３を基準にすると左右の画像メモリ４０Ｌ、４０Ｒで同様の場所にカーソルが表示され、これによってユーザーは立体視した状態でカーソルが指す物体５０３と奥行きが合致した場所に見えることになる。

このように、第１の実施形態の立体画像表示装置は３次元の座標計算をすることなしに、カーソルが指す物体と奥行き方向を一致させたカーソルを描画することができるので処理が単純で高速な動作が可能である。ただし、この段階ではカーソルの空間座標自体は保持できていない。しかし、左右の画像の表示位置が確定していることから３次元の座標は逆算が可能である。

図７は、第１の実施形態において３次元座標を算出する方法を説明する図である。図７では、すでに説明した図２（ａ）、（ｂ）と同じケースを例にして説明している。すなわち、図７（ａ）、（ｂ）は、図２（ａ）、（ｂ）と同じ図面である。図７（ｄ）は座標系を説明する図であり、カメラ１０１の上下方向１０２、左右方向１０３、奥行き方向１０４にそれぞれ座標軸を設けた立体座標系を示す。図７（ｃ）では、左右及び奥行き方向の広がりを持つ平面を見下ろす形の図になっている（要するに上から見下ろした図である）。カメラのレンズ及び画像センサーは装置に固定的に装備されているため、画角（＝２α）の値は固定値である。その画角に対応するドット数（＝２ｗ）もまた、装置の表示系に依存した固定値であるため、左画像のカーソル位置（作用点）５０２がレンズ正面から成す角θは、中央からのドット数ｘによって計算可能である。これは右側においても同様である。また、２つのレンズ（５０７、５０８）の間隔Ｄは装置に固有の固定値であるため既知であり、１辺とその両側の角度が判明しているためにカーソル位置５０２と２つのレンズ（５０７、５０８）で作られる三角形は一意に決定される。よってカーソル位置５０２までの現実世界における距離ＬがＤの実機上の長さを元に求められ、奥行き方向の座標値が決定する。Ｌが決定することで、逆にｘドットに対する現実世界における距離が計算でき、それが左右方向の座標となる。さらにドットと現実世界の距離との比例定数を用いて上下方向の座標も決定され、３次元空間における座標が決定される。このように、本実施形態の立体画像表示装置においては３次元の座標計算をすることなしに奥行き方向を一致させたカーソルを描画しているが、それは３次元空間の座標を取得できないという欠点を有しているわけではなく、３次元空間の測定方法としての利用も可能である。

以上、説明したように第１の実施形態による立体画像表示装置によれば、カーソルを動かしている間は、注視している対象に対してカーソルが１つだけ表示されているのでわかりやすく、操作しやすい。このとき利き目側に表示できるので、疲れの少ない操作系にすることができる。また、操作終了後に自動的に画像の特徴を検索してもう一方の目の画像内の位置を検索し、表示するようにしたので、軽い処理でありながら、容易に奥行きが合致したカーソル位置の指定することが出来、空間的な位置も目視確認することができる。

また、この一連の動作の結果を利用して３次元空間座標を取得できるので、２次元空間の位置を指定するだけで３次元空間座標を指定することのできる装置を提供することができ、測定装置などに用いれば１次元分の入力操作を省略できるので装置の操作性が向上する。

［第２の実施形態］
図８は、第２の実施形態による立体画像表示装置を説明する図である。第２の実施形態による立体画像表示装置全体の構成は図１（ａ）に示す第１の実施形態による立体画像表示装置１０とほぼ同一である。ただし、図８（ａ）に示すように、第２の実施形態による立体画像表示装置では、カーソル座標メモリ２１に複数のカーソルの座標を記憶し、複数のカーソルを用いて位置を指定する点が第１の実施形態と異なっている。以下、第２の実施形態による立体画像表示装置の説明では、第１の実施形態による立体画像装置と異なる点のみを説明し、第１の実施形態と構成、動作が同一である点については、説明を省略する。

図８（ａ）に示すように、第２の実施形態の立体画像表示装置では、カーソル座標メモリ２１を拡張して２組のカーソルを同時に操作・表示できるようにしている。この装置は２つのカーソルで挟まれた領域を指定する動作を想定したものであり、図８（ａ）に示すように、座標１系が左側のカーソル５０６−１、座標２系が右側のカーソル５０６−２の描画位置を指定している。また、カーソル５０６−１、カーソル５０６−２それぞれに左画像メモリへの描画位置と右画像メモリへの描画位置が必要であるので、カーソル座標メモリ２１は合計４箇所のカーソル描画座標を保持している。

第２の実施形態による立体画像表示装置では、第１の実施形態による立体画像表示装置と異なり、カーソル位置の周辺の検索画像を取得する際に、画像メモリのカーソルの先端があった位置の周辺を検索画像メモリに転送するのではなく、カーソルの先端の先にある画像を送る動作をする。この動作が可能なのは、２つのカーソルで範囲指定する場合、２つのカーソルに挟まれた位置に着目する部分が存在するという性質があるからであり、第２の実施形態ではこの性質を利用して検索する画像を抽出している。

すなわち、第２の実施形態では、カーソルが指示している位置の近傍の画像を抽出することに加えて、複数のカーソルが指示している範囲の画像からカーソルが指示している位置の近傍の画像を抽出する。

図８（ｂ）、（ｃ）は、比較のため、単に、カーソルが指示している位置の近傍の画像を抽出する場合の抽出画像を説明する図である。利き目が、左目であり、図８（ｂ）の左画像メモリ４０Ｌにおいて、カーソルは、図８（ａ）の画像メモリ４０に示すカーソル５０６−１、カーソル５０６−２に示す位置にあり、物体Ｂ（５０３）の左端と右端を指しているとする。図８（ｂ）に左画像メモリ４０Ｌから検索画像メモリ３１に抽出される画像を１１１Ｌ、１１２Ｌで示す。１１１Ｌは、カーソル５０６−１の先端近傍の画像であり、１１２Ｌは、カーソル５０６−２の先端近傍の画像である。図８（ｃ）には、画像１１１Ｌ、１１２Ｌの領域にそれぞれ対応する右画像メモリ４０Ｒの画像を１１１Ｒ、１１２Ｒで示す。図８（ｂ）の画像１１１Ｌの拡大図に示すように、抽出される画像１１１Ｌには、物体Ａ（５０１）の領域Ａが多く含まれる。カーソル５０６−１が指しているのは、物体Ｂ（５０３）の左端であるのにも係わらず、抽出された画像１１１Ｌには、物体Ａ（５０１）の領域Ａが多く含まれるため、検索時に完全一致を見込める右側の楕円部分［物体Ｂ（５０３）］である領域Ｂの面積が少ない。これは検索画像においてノイズ成分が多いことを意味している。

図８（ｄ）、（ｅ）には、第２の実施形態によるカーソルが指示している位置の近傍の画像を抽出することに加えて、複数のカーソルが指示している範囲の画像からカーソルが指示している位置の近傍の画像を抽出する場合の抽出画像を説明する図である。図８（ｄ）には、左画像メモリ４０Ｌから検索画像メモリ３１に抽出される画像を１２１Ｌ、１２２Ｌで示し、図８（ｅ）には、画像１２１Ｌ、１２２Ｌの領域にそれぞれ対応する右画像メモリ４０Ｒの画像を１２１Ｒ、１２２Ｒで示す。図８（ｄ）には、さらに画像１２１Ｌの拡大図を示す。この画像１２１Ｌの拡大図に示すように、カーソルの先端の先の領域を抽出するために誤差の大きい領域Ａが少なく、領域Ｂの部分が多くなっている。この抽出範囲の差異によって検索の精度を向上させることができる。

図９は、第２の実施形態による動作を説明するフローチャートである。第２の実施形態ではカーソル描画処理がカーソルペア描画処理（Ｍ２）となり、図９（ｂ）に示すその内部で座標１、座標２と切り替えながらカーソル描画処理（図６（ｂ）参照）を呼ぶようになっている。そのため、カーソルの移動中は、どちらのカーソルを操作していてもカーソルがだぶって見えることは無く、容易な操作が可能となっている。また、確定後は２つのカーソルごとに検索処理を行い、それぞれカーソルの向きを考慮した座標が検索画像に抽出転送されるので、用途に見合った高い精度での検索が可能になる。

図９のフローチャートについてもう少し詳しく説明する。図９（ａ）で、カーソル５０６−１、５０６−２（図８（ａ）参照）のどちらかが移動しているとき、ステップＳ２１で移動中フラグ２４をＯＮに設定した後、ステップＳ２２乃至ステップＳ２５のループ処理を繰り返す。ステップＳ２２では、カーソルペア描画処理（Ｍ２）を行う。このカーソルペア描画処理（Ｍ２）の詳細なステップを、図９（ｂ）に示す。ステップＳ４１でカーソル座標メモリ２１に格納されている二つのカーソル５０６−１、５０６−２の座標のうち、カーソル５０６−１の座標系である座標１を使用するように設定した後、ステップＳ４２でカーソル描画処理（Ｍ１）を行う。カーソル描画処理（Ｍ１）の内容はすでに、説明した図６（ｂ）に示す処理である。次に、ステップＳ４３で、カーソル５０６−２の座標系である座標２を使用するように設定した後、ステップＳ４４で再びカーソル描画処理（Ｍ１）を行う。すなわち、カーソルペア描画処理（Ｍ２）では、ステップＳ４２とステップＳ４４で二つのカーソルのカーソル描画処理（Ｍ１）を行う。

図９（ａ）に戻って、説明を続ける。ステップＳ２３では、ユーザーがカーソルの移動指定を行うか、カーソル位置の確定を行うか操作部７０からの入力を待つ。操作部７０からのカーソルの移動位置の指定入力、又は、位置確定入力があった場合は、ステップＳ２４に進む。さらに、位置確定入力でない場合（移動位置の指定入力である場合）は、ステップＳ２５へ進み、カーソル座標メモリ２１に保持している２つのカーソルの座標のうち、移動操作している指標側の座標値を更新する。移動操作している指標側の座標値には左描画座標と右描画座標があるが、このうち更新するのは、利き目側座標値である。次に、ステップＳ２２に戻り、同じ処理を繰り返す。

ステップＳ２４で位置の確定入力があった場合は、ステップＳ２６からステップＳ３３の処理へと進む。ステップＳ２６で移動中フラグ２４をＯＦＦに設定した後、カーソル５０６−１（図８（ａ）参照）の座標である座標１の右側（座標２側）の近傍座標を検索画像メモリ３１の検索画像に抽出転送する（ステップＳ２７）。次に、画像一致検索部３２を動作させて検索を実行し（ステップＳ２８）、検索結果に基づいて、カーソル座標メモリ２１のカーソル座標１の利き目ではない方に座標値を設定する（ステップＳ２９）。さらに、カーソル５０６−２の座標である座標２の左側（座標１側）の近傍座標を検索画像メモリ３１の検索画像に抽出転送し（ステップＳ３０）、画像一致を検索し（ステップＳ３１）、カーソル座標２の利き目側ではない方の座標値を設定する（ステップＳ３２）。最後に、ステップＳ３３で、カーソルペア描画処理（Ｍ２）を行い、位置指定装置を終了する。

［第３の実施形態］
第２の実施形態では２つのカーソルの内部（挟まれる領域）に着目する部分が存在するという性質を利用することで精度を上げていたが、この精度を上げる仕組みを単一カーソルしか用いない場合にも適用可能にしたものが第３の実施形態である。第３の実施形態では、カーソルに方向を示す要素を持たせたことを特徴としている。

図１０は、第３の実施形態による立体画像表示装置の構成上の特徴と、カーソル指定操作と処理の例を示している。第３の実施形態による立体画像表示装置全体の構成は図１（ａ）に示す第１の実施形態による立体画像表示装置１０とほぼ同一である。ただし、図１０（ｂ）に示すように、第３の実施形態による立体画像表示装置では、カーソル座標メモリ２１に描画開始座標と描画終了座標を記憶し、カーソルの方向を指定している点が異なる。

次に図１０（ａ）、（ｃ）を用いて、第３の実施形態によるカーソル指定操作について説明する。図１０（ａ）において、現在操作中のカーソルは網掛けされた位置１２０に存在している。ユーザーはカーソル更新位置を指定する際、方向を示すために点Ａでドラッグを開始し、更新位置を示すために点Ｂでドラッグを終了する。このとき、点Ａはカーソル座標メモリの左描画開始座標（利き目が左だった場合）に設定され、点Ｂが左描画終了座標に設定される。カーソルを描画する際は、この終了点がカーソルの先端となり、開始点と方向が合致した、図１０（ｃ）に示すようなカーソルが描画される。なお、この指定方法は一例であり、例えば先端の座標を指定してからフリック動作（いったん先端の座標をポイントしたあと、素早く弾くような動作）で方向を指示することによりカーソルの先端と方向を入力するようにしてもよい。以下の説明では、先に説明したドラッグの開始と終了により方向を指定する入力方法の場合を例にして説明を進める。

第３の実施形態においては第２の実施形態と同様にカーソル位置の周辺の検索画像を取得する際に、単に画像メモリのカーソルの先端があった位置の周辺を検索画像メモリ３１に転送するのではなく、カーソルの先端の先にある画像を抽出画像として送る動作をする。ただし、第２の実施形態と異なり、方向が任意となっているため、図１１に示すように、カーソルの向きにより抽出される画像の位置は異なる。図１１では８方向を表しているが、実際には例えばカーソルの先端が四辺に接し、カーソルの方向を延長した線上に中心座標が来る、というルールを決めて計算すれば、任意の方向に対する処理を可能にすることができる。この抽出方法によって、第２の実施形態と同様にノイズ成分の少ない画像を検索対象とすることができるようになり、利き目ではない側の画像を検索する際の精度を向上させることができる。

次に、第３の実施形態の処理についてフローチャートを用いて説明する。図１２は、第３の実施形態における位置指定操作全体を説明するフローチャートである。第１の実施形態との処理の違いは検索画像を抽出する際の処理と、検索結果から利き目ではない側のカーソル座標を設定するときに、結果の座標に対して方向を考慮したオフセットをかけることと、カーソル描画処理において方向を考慮したカーソルを描画するためにカーソル画像データを生成する処理が追加されていることである。

まず、図１２において、場所の確定が終わった後に、ステップＳ５７でカーソルの終了位置を延長した近傍画像を検索画像に抽出転送している。これは図１１で示した動作である。この画像の検索を行い、得られた座標と言うのは利き目と反対側の画像におけるカーソルの終了位置を延長した近傍画像の座標となっている。そのため、図１１に示したオフセットの逆のオフセットをかけてカーソルの先端座標に戻してやり、それを座標メモリの終了点に設定する。また、開始点については、終了点を起点として利き目側の終了点から開始点を結ぶ線と平行で、同じ距離を移動した座標を設定する（ステップＳ５９）。これにより、利き目ではない方の目のカーソル表示を行う際に、奥行きが画像と合致しているだけでなく、矢印方向が利き目と同じ形状のカーソルを表示できるようになる。図１２のステップＳ５２、Ｓ６０によるカーソル描画処理（Ｍ３）の詳細を図１３（ａ）に示す。第１の実施形態のカーソル描画処理（Ｍ１；図６（ｂ）参照）では単純にカーソル形状メモリの描画データを転送していたステップＳ１９が、第３の実施形態によるカーソル描画処理（Ｍ３３）では、ステップＳ６９のカーソル作成転送処理（Ｍ４）に拡張されている。図１３（ｂ）にその処理の詳細を示す。図１３（ｂ）のカーソル作成転送処理（Ｍ４）では、まず方向に従ってカーソル画像パターンを生成している（ステップＳ７１〜Ｓ７３）。生成は主制御部６０のメモリ６１で行うようになっており、カーソル形状メモリ２２の内容を転送し（ステップＳ７１）、開始終了座標に従って画像加工処理によって回転をかけている（ステップＳ７２、Ｓ７３）。さらに、描画する際は先端の座標が回転しているため、それを補正する補正値を求めて転送を行うようにしている（ステップＳ７４、Ｓ７５）。これによって、先端が指定された座標にある、指定された回転角を持つカーソルが描画される。

第３の実施形態によれば、利き目と反対側の画像を検索する際に、ノイズ成分の少ない画像を使うことが出来るので検索精度が高く、また、任意の方向を設定でき、カーソルの表示方向が指定方向に一致するので、画面内の物体の指定が正確で、かつ指定方法の自由度が高くなるという利点がある。

なお、図１に示す立体画像表示装置の構成は、本願開示による立体画像表示装置の好ましい一例を示したものに過ぎず、任意の構成を取ることができる。一例をあげれば、左カメラ部５０Ｌ、右カメラ部５０Ｒなどのカメラは必ずしも装置に内蔵する必要はなく、外部から疑似３次元画像を入力するものや、アニメーションによって作成された疑似３次元画像を表示する装置に適用可能である。また、主制御部６０が行う処理の一部、又は全部を画像解析部３０、カーソル描画制御部２０が行うことも可能である。さらには、画像解析部３０、カーソル描画制御部２０が行う処理の一部、又は、全部を主制御部６０が行うものであってもよい。要は、画像解析部３０、カーソル描画制御部２０、主制御部６０が行う機能を何らかのハードウェア、及び／又は、ソフトウェアで実行する手段があればよい。

第１乃至第３の実施形態に係る立体画像表示装置は、一般の画像表示装置に限られず、３Ｄ表示対応の、携帯電話、スマートフォン、他の装置（例えば、ゲーム機、タブレットＰＣ(Personal Computer)、ノートＰＣ、ＰＤＡ(Personal Data Assistants：携帯情報端末)）にも適用可能である。さらには、３Ｄ映像を作成処理するＣＡＤ装置、遠隔手術装置、遠隔診断治療装置における３次元映像における位置指定に用いることなども可能である。すなわち、カーソル（ポインタなどを含む位置指定指標の総称）を用いて位置を指定する装置であって、両眼視差を利用した疑似３次元画像を表示する装置であれば、任意の装置に適用可能である。

また、各実施形態では、カーソルの形状として矢印型のカーソルを記載しているが、画面上の位置、（方向）を示すシンボルであれば、どのようなものであってもよい。たとえば、第１、第２の実施形態のようにカーソルに方向性を持たせない場合は、片目にだけカーソルを表示する第１モードでは、表示面に対して平行な上下方向と左右方向の直交する２本の直線の交点によってカーソル位置を表示し、カーソルに奥行きを持たせて立体的に表示する第２モードでは、上下方向と左右方向に加えて表示面に垂直な奥行き方向の互いに直交する３つの直線の交点により位置を指定するカーソルなどであってもよい。

また、カーソルの位置、（方向）を指定する手段は、マウス、トラックボール、キー、スイッチ、タッチパネルなど任意の手段でよいことは特に言及するまでもない。

なお、好ましい実施形態として、カーソルの移動中には、片目にカーソルを表示する第１モードを用い、カーソルの位置が確定したときにカーソルに奥行きを持たせて表示する第２モードを用いる例を示したが、第１モードと第２モードの切り替えは任意の操作、任意のタイミングで行うものであってもよい。以上説明した各実施形態によれば、第１モードから第２モードに切り替えるときに、画像の照合によりカーソルを表示していなかった方の画像におけるカーソル表示位置を決定しているので、容易に第１モード（カーソルの片目表示）から第２モード（カーソルに奥行きを持たせて表示）に切り替えることができる。なお、第２モードから第１モードへの切り替えは、左右両眼用の画像のうち、片側のカーソル表示を止めれば切り替えられるので、特に説明するまでもなく容易である。

さらに、第１モードにおいて、利き目側にカーソルを表示する例を好ましい例として説明したが、ユーザーの好み等によって任意の側の片目にカーソル表示を行うものであってもよい。

以下に、本明細書、図面に開示した本発明に関連する好ましい形態を付記する。
［形態１］
左右いずれか一方の眼用の画像にカーソルを表示し、他方の眼用の画像にはカーソルを表示しない第１モードのカーソル描画と、左右両眼用の画像の視差を利用してカーソルに奥行きを持たせて表示する第２モードのカーソル描画と、を制御するカーソル描画制御部と、
前記第１モードから前記第２モードのカーソル描画に切り替えるときに、前記一方の眼用の画像におけるカーソルが指示している位置に基づいて、画像の照合により前記他方の眼用の画像におけるその位置を検索し、前記他方の眼用の画像においてカーソルを表示させる位置を求める画像解析部と、
を備えることを特徴とする両眼視差を利用した立体画像表示装置。
［形態２］
前記画像解析部が、前記一方の眼用の画像におけるカーソルが指示している位置の近傍の画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置を決定することを特徴とする形態１記載の立体画像表示装置。
［形態３］
前記カーソル描画制御部が、一つの画像に複数のカーソルを同時に表示するように制御し、
前記画像解析部が、前記一方の眼用の画像における前記複数のカーソルが指示している範囲の画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置を決定することを特徴とする形態１又は２記載の立体画像表示装置。
［形態４］
前記カーソル描画制御部が、位置と方向とを指示するカーソルの表示を制御し、
前記画像解析部が、前記一方の眼用の画像におけるカーソルが指示している位置と方向とに基づいて画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置と方向とを決定することを特徴とする形態１乃至３のいずれかに記載の立体画像表示装置。
［形態５］
前記カーソル描画制御部が、前記カーソルを移動させるときに前記第１モードのカーソル描画を行い、カーソルが停止しているときに前記第２モードのカーソル描画を行うように制御することを特徴とする形態１乃至４のいずれかに記載の立体画像表示装置。
［形態６］
左眼用の画像メモリと、右眼用の画像メモリと、を備え、
カーソル描画制御部が、前記第１モードのカーソル描画において左右いずれか一方の眼用の画像メモリに対するカーソル描画を制御し、前記第１モードから前記第２モードのカーソル描画に切り替えるときに、前記画像解析部が求めた前記他方の眼用の画像におけるカーソル表示位置に基づいて、他方の眼用の画像メモリに対するカーソル描画を制御することを特徴とする形態１乃至５のいずれかに記載の立体画像表示装置。
［形態７］
前記第１モードのカーソル描画において、利き目を前記一方の眼として設定可能であることを特徴とする形態１乃至６のいずれかに記載の立体画像表示装置。
［形態８］
第２モードのカーソル描画において、左眼用の画像におけるカーソルを表示する位置と、右眼用の画像におけるカーソルを表示する位置と、左眼用の画像の視点と右眼用の画像の視点との距離と、から、カーソルが指示している位置の３次元空間座標を算出する手段をさらに有することを特徴とする形態１乃至７のいずれかに記載の立体画像表示装置。
［形態９］
両眼視差を利用した立体画像表示装置のカーソル表示方法であって、
左右いずれか一方の眼用の画像にカーソルを表示し、他方の眼用の画像にはカーソルを表示しない第１モードから、左右両眼用の画像の視差を利用してカーソルを立体的に表示する第２モードに切り替えるときに、
前記一方の眼用の画像におけるカーソルが指示している画像の位置を検出し、画像の照合により前記他方の眼用の画像におけるその位置を検索し、検索された位置に基づいて、前記他方の眼用の画像においてカーソルを表示することを特徴とするカーソル表示方法。
［形態１０］
前記第１モードにおいて、左右両眼用の画像のうち、利き目側の画像にカーソルを表示させることが可能であることを特徴とする形態９記載のカーソル表示方法。
［形態１１］
前記第１モードから第２モードに切り替えるときに、前記一方の眼用の画像におけるカーソルが指示している位置の近傍の画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置を決定することを特徴とする形態９又は１０記載のカーソル表示方法。
［形態１２］
一つの画像に複数のカーソルを同時に表示し、前記第１モードから第２モードに切り替えるときに、前記一方の眼用の画像における前記複数のカーソルが指示している範囲の画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置を決定することを特徴とする形態９乃至１１のいずれかに記載のカーソル表示方法。
［形態１３］
前記カーソルが位置と方向とを指示するカーソルであって、前記第１モードから第２モードに切り替えるときに、前記一方の眼用の画像におけるカーソルが指示している位置と方向とに基づいて画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置と方向とを決定することを特徴とする形態９乃至１２のいずれかに記載のカーソル表示方法。
［形態１４］
前記カーソルを移動させるときに前記第１モードのカーソル描画を行い、カーソルが停止しているときに前記第２モードのカーソル描画を行うことを特徴とする形態９乃至１３のいずれかに記載のカーソル表示方法。
［形態１５］
第２モードのときに、左眼用の画像におけるカーソルを表示する位置と、右眼用の画像におけるカーソルを表示する位置と、左眼用の画像の視点と右眼用の画像の視点との距離と、から、カーソルが指示している位置の３次元空間座標を算出することを特徴とする形態９乃至１４のいずれかに記載のカーソル表示方法。
［形態１６］
両眼視差を利用した立体画像表示装置において、コンピュータにカーソル表示処理を実行させるコンピュータプログラムであって、
左右いずれか一方の眼用の画像にカーソルを表示させ、他方の眼用の画像にはカーソルを表示させない第１モードの表示処理と、
左右両眼用の画像の視差を利用してカーソルに奥行きを持たせて表示させる第２モードの表示処理と、
前記第１モードから第２モードの表示に切り替えるときに、前記一方の眼用の画像におけるカーソルが指示している位置に基づいて、画像の照合により前記他方の眼用の画像におけるその位置を検索し、前記他方の眼用の画像にカーソルを表示させる位置を求め、第２モードの表示に切り替える処理と、
を備えることを特徴とするコンピュータプログラム。
［形態１７］
前記第２モードの表示に切り替える処理において、
前記一方の眼用の画像におけるカーソルが指示している位置の近傍の画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置を決定することを特徴とする形態１６記載のコンピュータプログラム。
［形態１８］
前記第２モードの表示に切り替える処理において、
一つの画像に複数のカーソルを同時に表示させ、前記一方の眼用の画像における前記複数のカーソルが指示している範囲の画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置を決定することを特徴とする形態１６又は１７記載のコンピュータプログラム。
［形態１９］
前記第２モードの表示に切り替える処理において、
位置と方向とを指示するカーソルを表示させ、
前記一方の眼用の画像におけるカーソルが指示している位置と方向とに基づいて画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置と方向とを決定することを特徴とする形態１６乃至１８のいずれかに記載のコンピュータプログラム。
［形態２０］
前記カーソルを移動させるときに前記第１モードのカーソル表示処理を行わせ、カーソルが停止しているときに前記第２モードのカーソル表示処理を行わせることを特徴とする形態１６乃至１９のいずれかに記載のコンピュータプログラム。
［形態２１］
利き目を前記左右いずれか一方の眼として設定する処理を行い、前記第１モードの表示処理において、前記利き目として設定した一方の眼用の画像にカーソルを表示させることを特徴とする形態１６乃至１９のいずれかに記載のコンピュータプログラム。
［形態２２］
第２モードのときに、左眼用の画像におけるカーソルを表示する位置と、右眼用の画像におけるカーソルを表示する位置と、左眼用の画像の視点と右眼用の画像の視点との距離と、から、カーソルが指示している位置の３次元空間座標を算出する処理をさらに含むことを特徴とする形態１６乃至２１のいずれかに記載のコンピュータプログラム。
［形態２３］
左右いずれか一方の眼用の画像にカーソルを表示して他方の眼用の画像にはカーソルを表示しない第１モードから、左右両眼用の画像の視差を利用してカーソルを立体的に表示する第２モードに切り替えるときに、
前記一方の眼用の画像におけるカーソルが指示している画像の位置を検出し、画像の照合により前記他方の眼用の画像におけるその位置を検索し、前記他方の眼用の画像において検索された位置にカーソルを表示させることを特徴とする立体画像表示装置。
［形態２４］
コンピュータを形態１乃至８、２３のいずれかに記載の立体画像表示装置として機能させるコンピュータプログラム。
［形態２５］
形態１６乃至２２、２４のいずれかに記載のコンピュータプログラムを記録したコンピュータが読み取り可能な記録媒体。

本発明の全開示（特許請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施例ないし実施例の変更・調整が可能である。また、本発明の特許請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施例の各要素、各図面の各要素等を含む）の多様な組み合わせないし選択が可能である。すなわち、本発明は、特許請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０：立体画像表示装置（携帯端末装置）
２０：カーソル描画制御部
２１：カーソル座標メモリ
２２：カーソル形状メモリ
２３：利き目設定メモリ
２４：移動中フラグ
３０：画像解析部
３１：検索画像メモリ
３２：画像一致検索部
４０：画像メモリ
４０Ｌ：（左）画像メモリ
４０Ｒ：（右）画像メモリ
４１：カメラデータバッファ
４２：加工描画データバッファ
５０Ｌ：左カメラ部
５０Ｒ：右カメラ部
６０：主制御部
６１：メモリ［プログラムメモリ、データメモリ（制御データ）］
７０：操作部
８０：３Ｄ表示制御部
９０：３Ｄ表示部
１０１：カメラ
１０２〜１０４：座標軸
１１１Ｌ、１１１Ｒ、１１２Ｌ、１１２Ｒ、１２１Ｌ、１２１Ｒ、１２２Ｌ、１２２Ｒ：画像
１２０、５０６−１、５０６−２：カーソル
５０１：物体Ａ
５０２、５０４：作用点（カーソルの先端が重なって見える位置、カーソル位置）
５０３：物体Ｂ
５０５：表示面
５０６Ｌ：（左目用の画像表示面における）カーソル
５０６Ｒ：（右目用の画像表示面における）カーソル
５０７：左目投影中心（レンズ）
５０８：右目投影中心（レンズ）

Claims (10)

1. 左右いずれか一方の眼用の画像にカーソルを表示し、他方の眼用の画像にはカーソルを表示しない第１モードのカーソル描画と、左右両眼用の画像の視差を利用してカーソルに奥行きを持たせて表示する第２モードのカーソル描画と、を制御するカーソル描画制御部と、
   前記第１モードから前記第２モードのカーソル描画に切り替えるときに、前記一方の眼用の画像におけるカーソルが指示している位置に基づいて、画像の照合により前記他方の眼用の画像におけるその位置を検索し、前記他方の眼用の画像においてカーソルを表示させる位置を求める画像解析部と、
   を備える両眼視差を利用した立体画像表示装置。
2. 前記画像解析部が、前記一方の眼用の画像におけるカーソルが指示している位置の近傍の画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置を決定する請求項１記載の立体画像表示装置。
3. 前記カーソル描画制御部が、一つの画像に複数のカーソルを同時に表示するように制御し、
   前記画像解析部が、前記一方の眼用の画像における前記複数のカーソルが指示している範囲の画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置を決定する請求項１又は２記載の立体画像表示装置。
4. 前記カーソル描画制御部が、位置と方向とを指示するカーソルの表示を制御し、
   前記画像解析部が、前記一方の眼用の画像におけるカーソルが指示している位置と方向とに基づいて画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置と方向とを決定する請求項１乃至３いずれか１項記載の立体画像表示装置。
5. 前記カーソル描画制御部が、前記カーソルを移動させるときに前記第１モードのカーソル描画を行い、カーソルが停止しているときに前記第２モードのカーソル描画を行うように制御する請求項１乃至４いずれか１項記載の立体画像表示装置。
6. 左眼用の画像メモリと、右眼用の画像メモリと、を備え、
   カーソル描画制御部が、前記第１モードのカーソル描画において左右いずれか一方の眼用の画像メモリに対するカーソル描画を制御し、前記第１モードから前記第２モードのカーソル描画に切り替えるときに、前記画像解析部が求めた前記他方の眼用の画像におけるカーソル表示位置に基づいて、他方の眼用の画像メモリに対するカーソル描画を制御する請求項１乃至５いずれか１項記載の立体画像表示装置。
7. 前記第１モードのカーソル描画において、利き目を前記一方の眼として設定可能である請求項１乃至６いずれか１項記載の立体画像表示装置。
8. 両眼視差を利用した立体画像表示装置のカーソル表示方法であって、
   左右いずれか一方の眼用の画像にカーソルを表示し、他方の眼用の画像にはカーソルを表示しない第１モードから、左右両眼用の画像の視差を利用してカーソルを立体的に表示する第２モードに切り替えるときに、
   前記一方の眼用の画像におけるカーソルが指示している画像の位置を検出し、画像の照合により前記他方の眼用の画像におけるその位置を検索し、検索された位置に基づいて、前記他方の眼用の画像においてカーソルを表示するカーソル表示方法。
9. 前記第１モードから第２モードに切り替えるときに、前記一方の眼用の画像におけるカーソルが指示している位置の近傍の画像を抽出し、前記抽出した画像に類似する画像を他方の眼用の画像から抽出して他方の眼用の画像におけるカーソル表示位置を決定する請求項８記載のカーソル表示方法。
10. 両眼視差を利用した立体画像表示装置において、コンピュータにカーソル表示処理を実行させるコンピュータプログラムであって、
    左右いずれか一方の眼用の画像にカーソルを表示させ、他方の眼用の画像にはカーソルを表示させない第１モードの表示処理と、
    左右両眼用の画像の視差を利用してカーソルに奥行きを持たせて表示させる第２モードの表示処理と、
    前記第１モードから第２モードの表示に切り替えるときに、前記一方の眼用の画像におけるカーソルが指示している位置に基づいて、画像の照合により前記他方の眼用の画像におけるその位置を検索し、前記他方の眼用の画像にカーソルを表示させる位置を求め、第２モードの表示に切り替える処理と、
    を実行させるコンピュータプログラム。

Images