JP4663077B2

JP4663077B2 - オブジェクト検証方法及び拡張現実感ディスプレイシステム

Info

Publication number: JP4663077B2
Application number: JP2000253690A
Authority: JP
Inventors: ジェイ．ハリントンスティーブン
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1999-09-22
Filing date: 2000-08-24
Publication date: 2011-03-30
Anticipated expiration: 2020-08-24
Also published as: US6898307B1; JP2001142604A

Description

【０００１】
【発明の属する技術分野】
本発明は、一般的には、表示される文書を実際にプリントせずに、電子文書のプリントされたバージョンを保持するような錯覚を与えるために、画像及び/又はテキストの仮想表示を用いて、ページなどの現実世界のアイテムを見て対話的に操作するための方法及び装置に関する。拡張現実感(augmented-reality)では、めがね、ゴーグル、又はヘルメットに装着したディスプレイといったある形態の物理的ディスプレイを用いて、コンピュータ生成画像をユーザの現実世界のビュー（view）に投影したり重ね合わせる。このシステムは、ビューアの画像をリアルタイムで解析し、実際のビューと対応するようにコンピュータ生成画像を調整する。そのような対話的操作は、紙などの実在するアイテムの感触及び機能（紙を持つ、紙に書く）を、電子文書の機能（動的、対話式の）と組み合わせる。しかしながら、本発明は、例えば、文書を表示する以外の他の目的で、類似の画像形成方法が他の現実のアイテムと好適に関連づけられているような、他の環境での使用に、容易に適応可能であることは、当業者には理解されるであろう。
【０００２】
【従来の技術】
ＰＣワークステーションの遍在的な使用とワールドワイドウェブの能力により、電子文書の使用並びにハイパーリンク及びビデオなどの動的な要素が含まれるようになってきた。これらの電子文書は、用紙プリントの静的要件に適合しないことが多い。しかし、人々は依然として、長い文書を読むには紙の方を好むとともに、紙は容易に注釈づけでき、持ち運べる。静的な紙とＣＲＴやＬＣＤディスプレイの動的な能力との望ましい特性を組みあわせた表示機構が必要である。その目標に向けた研究としては、持ち運びのできる文書読取り装置(Portable Document Reader)及び電子用紙(Electric Paper)に関する研究が挙げられる。本発明は、それとは別の、拡張現実感の概念に基づく手法に関する。
【０００３】
拡張現実感では、ビデオカメラを用いて、コンピュータにユーザが見ているのと同じビューを提供でき、そのビューにコンピュータ生成画像が重ねられる。これは、完全合成のコンピュータ生成環境にユーザが没入する仮想現実感ではない。むしろ、拡張現実感とは、現実世界の日常的なオブジェクトに、合成されたコンピュータ生成画像を重ねる、といった組み合わせである。
【０００４】
拡張現実感表示システムは公知であるが、その用途及び有用性は限られていた。特に、ビデオカメラによって識別される現実の部分は、主に単一設定の固定されたビューに限られていた。この設定は予め決められており、表示可能なものやカメラの画像から識別可能なものに極めて限られている。更に、この制御された設定に表示できるものも、通常は単一画像だけというに限定されており、望ましくない。ディスプレイとの対話は本質的に知られていない。
【０００５】
人々が、従来の紙の出版の代わりとして電子マルチメディア出版にますます慣れてくるにつれて、電子ディスプレイを見ることに関して快適かつ便利で容易に制御可能な、ユーザ環境において表示画像の自由度、多様性及び品質を高めるために、より一層便利で改良された対話式制御が実質的に必要となる。電子出版用の公知のアプリケーションプログラムは、拡張現実感表示システムとの互換性がない。そのようなプログラムでは、ユーザによる命令用の、マウス、キーボード又は押ボタン表示を含む命令処理が、通常使われる。上記のように考えた場合、改良された対話式表示スキーム用に、拡張現実感の設定における便利なユーザのコマンド、即ち、用紙の操作、手及び指のジェスチャ、又は選択された音声コマンドを、リアルタイム処理設定で、認識して変換できるアプリケーションプログラムが特に必要である。
【０００６】
拡張現実感ディスプレイシステムに関して解決を要するもうひとつの特別な問題は、画像のビュー平面(view plane)内の特定の予め選択されたオブジェクトを認識するための信頼できるシステムである。例えば、ユーザが、拡張（現実感）ディスプレイの基準面として１枚の用紙を用いることを意図する場合、画像内のその用紙と共通する特徴を有する他のオブジェクトから、その用紙を区別することは、或一つの問題となる。ビュー平面を制御して、１枚の用紙の背後に識別可能な背景を与えることができれば、識別問題は簡単にできる。しかし、机上や作業面でよくあるように、背景が異なるアイテム、即ちデスクパッド、封筒、ファイルフォルダー、コーヒーカップ、或いはユーザのシャツの袖口までもが集まったものである場合、その全てが直線的なエッジ及びコーナーを有するものとしてビュー平面に出現し得るものであり、特定の用紙を識別する現実世界の事柄は容易に理解できる。より具体的に言えば、この問題は、ビュー平面内で見られる用紙のページと共通する二次元の特徴を有する画像を、対応する三次元オブジェクトに変換し、そのオブジェクトが１枚の用紙と適度に一致するか否かを検証することにある。
【０００７】
【発明が解決しようとする課題】
本発明は、現実の画像がユーザがアクセスできる１枚の用紙か複数枚の用紙であるように、特定のアプリケーションで、合成画像と現実の画像とを、テキスト及び画像を有する文書ディスプレイへと統合することを意図するものである。ユーザは、複数の用紙を用いて拡張された電子文書を、それらの用紙の選択的な配置及び移動という自然なメカニズムによって編成するように、操作できる。ユーザの目に対する用紙の位置によって画像の拡大縮小が制御されるので、ユーザはＣＲＴ又はＬＣＤディスプレイの限られた画面空間に制限されず、１枚の用紙から別の用紙へと頭を動かすだけで、多くの文書を使用できる（マルチウィンドウ電子ディスプレイに類似）。異なる文書又は画像間の移動は、表示されたハイパーリンクのアクセスによって容易に実現される。そのようなシステムは、様々な寸法及び特徴の現実の基準をもつ複数の使用に対して容易に適応可能であり、このシステムは、ユーザとユーザにとって快適で便利な選択的に多様な対話式操作ツールをもつコンピュータディスプレイシステムとの間によりすぐれた通信及び対話式機能を提供する。
【０００８】
さらに、本発明は、標準用紙などの、ユーザによる基準ツールとしての使用を意図した予め選択されたオブジェクトの存在を検証することを意図している。その結果、基準ツールは、仕事設定においてはどこにでもある複数の現実世界のアイテムから容易に見分けられる。
【０００９】
【課題を解決するための手段】
本発明に従い、拡張現実感タイプの表示用に、現実世界の基準アイテムに関連づけられる電子的に生成された画像及び/又はテキストを表示するための、方法及び装置を提供する。シンプルな空白の用紙などの現実のアイテム、即ち基準画面は、ユーザの視野及び制御の内に配置され、現実のアイテムの操作がユーザの命令と通信できるように意図される。このアイテムは、ディスプレイを制御するアプリケーションプログラムにある命令を通信する目的で、ユーザによって選択的に配置可能である。他の命令は、手やツールのジェスチャ、又は音声コマンドを介してアプリケーションプログラムによって取得(captured)できる。ビデオカメラのような感知装置は、現実のアイテムの存在及び配置を識別する。ヘッドセット、ゴーグル、又はめがねなどのディスプレイ装置は、画像を現実のアイテム上に重なる仮想（現実感）ディスプレイとして表示する。画像は、ユーザによるアイテムの選択的な配置に従って表示される。アイテムが１枚の用紙からなる場合は、用紙がユーザに向かって移動すると、効果的に表示が拡大される。
【００１０】
本発明の別の態様に従い、表示システムのビュー平面内の投影画像が、システムのインタフェースツールとして用いることができる、用紙などの予め選択されたオブジェクトと対応するか否かを検証するための方法が提供される。この方法は、ディスプレイシステムの既知の特徴を用いて候補オブジェクトを三次元座標に非投影(unprojecting)することを含む。次に、この三次元バージョンは、直角のコーナー、適切な位置関係、及び平面的な構造などといった予測されるオブジェクト特性を検証するためにテストされる。この方法は、まず、ビュー平面内の候補オブジェクトの代表的な特徴（例えば直角をなすコーナー等）を特定することを含む。次に、コーナーと対角線上の中心点との間の長さ及び対角線等のオブジェクトの寸法的なアスペクトが、投影された画像から決定される。次に、そのオブジェクトについて、ビュー平面に対する、対応する三次元的同一性及び位置が計算される。次に、寸法的同一性及び位置が現実の用紙と適切に一致するか否かを検証するために、得られた座標が、標準用紙寸法のような所定の基準と比較される。
【００１１】
本発明の第１の態様は、拡張現実感ディスプレイシステムのビュー平面内に投影された画像を、システムのインタフェースツールとして用いることができる予め選択されたオブジェクトとして検証する方法であって、ビュー平面内のオブジェクトの代表的な特徴を識別するステップ（２２）と、投影された画像からオブジェクトの寸法的なアスペクトを決定するステップ（２８）と、ビュー平面に対するオブジェクト点で、対応するオブジェクトの寸法的同一性及び位置を計算するステップ（２８）と、寸法的同一性及び位置がオブジェクトに対する所定の基準と適切に一致するか否かを検証するステップ（２４）と、を有する、オブジェクト検証方法である。
本発明の第２の態様は、第１の態様において、前記予め選択されたオブジェクトが、スクリーン、タブレット、又は用紙（８）等の基準パネルからなり、前記識別ステップがパネルのコーナーの認識（４２）を含む。
本発明の第３の態様は、システム画像内の所定の基準フレーム（８）の存在を検証するための拡張現実感ディスプレイシステムであって、システムのビュー平面内に配置された現実のアイテム（８）と、ビュー平面から、所定の基準フレームと関連づけられた現実のアイテムの特徴を識別するための感知装置（２２）と、ビュー平面内の現実のアイテムの寸法を決定し、ビュー平面に対する現実のアイテムの対応する寸法的同一性及び位置を計算し、前記寸法的同一性及び位置が所定の基準フレームと対応するか否かを検証するコントローラ（１８）と、を有する、拡張現実感ディスプレイシステムである。
【００１２】
【発明の実施の形態】
次に、図面を参照する。図面は、本発明の好ましい実施の形態及び代替の実施の形態を説明することのみを目的とし、本発明を限定することは目的としない。
図面は、ユーザが画像自体を対話的に操作することで画像を調整可能にした、拡張現実感ディスプレイシステムを示す。
【００１３】
図１を参照すると、拡張画像は、めがね又はゴーグル１０のセットを通して、又は、めがね又はゴーグル１０のセットの中でユーザに知覚される。このめがね又はゴーグル１０は任意のタイプのヘッドセットからなることを意図し、それを通して又はその中に、装着者に対する電子画像を表示することができる。ビデオカメラ１２のような感知装置は、ヘッドセット１０のユーザの通常の視野を取得(capture)する。従って、ユーザに、自分が知覚している画像がヘッドセット１０を装着していないときに見る画像と実質的に同様なものであるという快適な印象を与える方法でヘッドセットに好ましく取り付けられるように、十分に小さくなくてはならない。ヘッド・マウント（頭に装着する）型のディスプレイは市販のものが多数ある。その幾つかは、現実世界を完全に遮断する、完全没頭タイプである。 “ヘッド・アップ(heads-up)”ディスプレイとして知られる他のタイプは、現実世界のビューに電子ディスプレイを重ねるものである。どちらのタイプのディスプレイシステムも本発明の範囲内にるが、重要なのは、ユーザが保持し操作している視野内で、現実の基準アイテム即ち１枚の用紙との快適で使い易い対話式操作が行えるように、合成画像が表示されるように、カメラ１２がコンピュータ１８にユーザが見ているのと同じビューを与えることである。
【００１４】
ビデオ取得ハードウェア(video capture hardware)１４は、カメラ１２からのアナログ信号を、詳細を後述する解析のためのコンピュータ１８に格納可能なデジタル化フレームに変換できる回路を有する。本質的には、ハードウェア１４は、ユーザがカメラの視野から見ているもののデジタル化されて処理可能な表現としての信号を、コンピュータに出力する。ビデオ生成ハードウェア１６は、コンピュータ１８から画素値のビットマップをとり出し、それをヘッドセット１０に表示できるテレビジョン形式に変換する。拡張現実感表示としての合成画像を形成するためにコンピュータ生成電子画像を追加することにより、カメラ１２が生成する信号はヘッドセット１０に表示される信号とは異なっている。
【００１５】
図２を参照すると、このハードウェアのある種のソフトウェア機能が示されている。コンピュータ１８は、取得されたビデオフレームを解釈して、カメラビュー内の用紙の位置を割り出さなくてはならない。本願は、カメラが感知する現実アイテムとして紙を好ましい例として開示するが、例えば、合成画像が、デザイン又は動作テストプログラムによって生成することができるような動くイラストレーション又は三次元オブジェクトからなる場合、スクリーンや基準テンプレートなどの別の便利な基準アイテム等を用いることも本発明の範囲内である。
【００１６】
図２は、コンピュータ１８の解析及び画像作成処理に関係する機能を詳細に示す。この取得情報処理の全体的な目的は、カメラのビュー内の用紙の位置を割り出すためにビデオフレームを解釈することである。更に、コンピュータ生成画像がヘッド・マウント・ディスプレイ１０内に表示される際、ユーザが見ている用紙に重なるように、画像が変換され変形される。ページ位置解析モジュール２２がデジタル化された取得ビデオフレーム２０を解析して、カメラ１２のビュー内の１枚又は複数の用紙の位置を割り出す。１枚の用紙は、暗い背景に対する用紙の白い色によって識別される。取得されたビデオ画像内のページの存在を確認するために、解析器２２は画像内のサンプル画素を調べて、少しでも白があるかどうかを確認することができる。白い画素（ページの存在を示す）を検出したら、周知のエッジ検出技術を用いてページの位置を決定できる。例えば、既知の白い画素から開始して（上下左右の）画素に進み、ページのエッジを示す白ではない値を検出するまで、各画素を連続して調べることができる。ページのコーナーの位置を検出する別の手法は、２つのエッジ点を検出するまで、両辺に対して斜めの方向にページ内の白い点を追って行くことである。
【００１７】
図５では、エッジ点間を結ぶ線の中点が、原対角線(original diagonal)に垂直なサーチの始点として用いられていることに注意されたい。この最新のサーチによって検出されるエッジ点を、コーナー５０に到達して２つのエッジ点が重なるまでの処理を繰り返すための開始点として用いる。この手法は、用紙の真直ぐなエッジが（ページを持つ手によって等）部分的に隠されている場合に用いることができる。前者の手法はコーナーが隠されている場合に用いることができる。前述したエッジ検出技術は共に、当該技術において周知である。アプリケーションプログラムモジュールは、ユーザがＣＲＴ又はＬＣＤ上で電子画像として選択できるあらゆる画像を生成する。従って、アプリケーション画像２６は、画面上にウィンドウを開くことに相当する。例えば、ユーザは、アプリケーション画像２６として、位置を割り出された用紙の向きに基き、特定のインターネットブラウザエンジンを選択でき、このインターネットブラウザエンジンは、ユーザが保持している空白の用紙上にウェブページが実際に出現しているという錯覚を表示画像３０が与えるように、検出された用紙の向きと正確にマッチするように変換される（２８）。言い換えれば、用紙ページの位置（例えばそのコーナーの位置）が決定されると、この情報を用いて、アプリケーションの画像を、ユーザの目に映る用紙と重なるように正確に変形できる。これは、コンピュータグラフィックスで周知の、投影画像へのテキスチュア（アプリケーション画像）マッピングの問題である。平行移動、回転、スケーリング操作、及び遠近操作を標準的な画像処理を用いる画像に適用できる。又は、処理速度を向上するために、特殊なテキスチュアルマッピングハードウェアを用いてもよい。ユーザに画像表示をできるだけ本物に見えるように、情報解析及び画像の作成は本質的にリアルタイムで遂行される必要がある。
【００１８】
特に図３を参照すると、典型的なユーザアプリケーションの対話的操作を高めるもうひとつのシステムアーキテクチャが示されている。特に、図２のページ位置解析モジュールは、情報解析モジュール３２及び事象処理モジュール３４を含むように拡張されている。
【００１９】
図４の動作フロー図を参照すると、ユーザがアプリケーション画像を画像及び音声の両方で通信及び操作できるように、情報取得モジュール２０は、ビデオ画像取得４２に対して強張されているだけでなく、音声コマンド４４に対しても強張されている。
【００２０】
それに対応して、情報解析モジュールは、音声認識４６及び画像解析に対して強張されている。ページ位置割出し処理４８は、例えば、ページの最近の既知の位置及び向きを与えることができ、また、現在フレームに対するページ位置を予測することができるページのモデル５２を参照することができる。ジェスチャ検出モジュール５４は、コンピュータ１８へのユーザコマンドとして選択され、識別可能な手、指、又はツールによるジェスチャを識別する。例えば、ここでも画像がインターネットブラウザであると仮定し、操作をマウスポインタ及びボタン押圧で対話が生じるスクリーンと類比させると、ユーザの指は、マウスポインタと丁度同じ機能を実現することができ、「選択」などのコマンドの音声認識は、ボタン押圧の機能を実現する。従って、あるジェスチャと音声の組み合わせにより、ユーザは別のウェブサイトへのハイパーリンクを実行できる。更に、現在のページのモデル５２も、ジェスチャ検出モジュールに有用な情報を供給してもよく、例えば、ポインティングのジェスチャを、ページ上の位置にとして表すことができる。ページ識別５６には、適合する可能性のあるページのデータベースが必要なこともある。適合する可能性のあるページのデータベース５８からの参照ページを比較することが必要なこともある。データベース５８からの参照ページを現在のページ識別５６と比較することで、ページに注釈が付加されたかどうかを検出する（６０）方法も提供できる。もちろん、入力取得(input capture)、解析及びサポート情報を追加することが可能である。例示されるモジュールは、１つの特定のシステムアーキテクチャを説明するものである。情報解析モジュール３２の出力は、ページ位置の変更などの事象や新しいページ位置などの事象に関連する情報である。ジェスチャの変化、ページの識別、又はコマンドの入力などの他の事象も、事象の例である。これらの事象及び関連データは、事象処理モジュール３４に送られる。事象処理モジュール３４のジョブは、情報解析モジュール３２からの事象及びデータを、アプリケーションに適した事象に変換することと、表示画像の構築に必要な解析データを供給することである。ほとんどのアプリケーションプログラム２４は、一般に、インタフェース機構としてキーボード及びマウスを想定して設計されている。本発明の拡張現実感システムでは、これらの装置の代わりに、ジェスチャ、用紙の動き及び音声コマンドが使われる。事象処理モジュールは、ジェスチャ、動き及びコマンドを、対応するキーボード及びマウス事象又アプリケーションプログラムが理解する事象のシーケンスに変換しなくてはならない。ウィンドウズ・システム(windows system)で実行されるアプリケーションについては、変換されたコマンドをウィンドウシステムによって生成することができるので、入力のためにアプリケーションを変更する必要がない。
【００２１】
ウィンドウイング・システムは、仮想フレームバッファにおけるアプリケーション画像２６の生成に備えることができる。この画像は実際には表示されないが、画像処理モジュール２８による更なる処理に利用可能である。この手法は、アプリケーションプログラムモジュール２４を変更せずにアプリケーションを実行できるようにする。例えば、単に水平方向にページをめくることは、テキスチュアル文書の次のページに進むジェスチャコマンドとして解釈できる。従って、このジェスチャは、アプリケーションプログラムがテキスチュアル文書表示の次ページアイコン上のボタン押圧から受け取るのと同じ信号に、変換されなければならない。同様に、ページを垂直方向にめくることは、文書をスクロールするコマンドとして解釈できる。従って、事象処理モジュール３４は、本発明のシステムが多くの既存のアプリケーションプログラムを包含するための簡単な方法を提供する。
【００２２】
画像作成モジュール２８は２つの主要機能を有する。第１の機能は、アプリケーション画像をユーザが見ているページに適合する位置及び形状にワープ(warp)することである。第２の機能は、カメラ画像とワープされたアプリケーション画像とを組み合わせて（図４の７２参照）、ユーザに対して表示される拡張画像を生成することである。適正なディスプレイ画像を供給するために、画像の作成はリアルタイムで起こる。このため、最小時間でワープ及びブレンド処理を遂行するために、画像の作成に専用ハードウェアを用いてもよい。
【００２３】
このアーキテクチャを、複数のアプリケーションを支持するように一般化することができる。各アプリケーションは、その画像を独自の仮想フレームバッファに書き込み、各々が、ビュー領域（viewing area）内で識別される複数枚の用紙の個別のページに適合するようにワープされる。カメラ画像とブレンドして表示画像を形成するために、ワープされた画像を単一の重ね合わせ(overlay)として組み合わせることができる。
【００２４】
特に図６を参照すると、ビュー平面内の候補オブジェクトから予め選択された基準アイテムが存在するかどうを検証するための方法及び装置が開示されている。予め選択されたオブジェクトは、拡張現実感表示システムにおいてユーザがインタフェースツールとして使用し得るアイテムを有するのが好ましく、基準パネル、スクリーン、又はタブレットのようなアイテムを有してもよいが、本明細書の以下の部分のために、普通サイズの用紙として説明される。本発明は、カメラのビュー平面上に受け取った取得画像内の標準用紙の存在を検証するための方法及び装置を提供する。この方法は、カメラ特性の知識を用いて、候補オブジェクトを三次元座標に非投影する(unproject)ことを含む。この三次元座標バージョンは、直角のコーナー、適切な位置、平面構造及び標準的な用紙寸法等といった標準用紙に合致する特徴的な性質について、テストできる。
【００２５】
コーナー位置８０は、図５を参照して開示される方法で実行され、全ての標準用紙にはコーナーがあるはずなので、ビュー平面内のコーナーは、最終的に標準用紙として検証可能な候補オブジェクトの代表的な特徴として効果的に識別される。
【００２６】
取得画像(image captured)内のページの位置は、まず、その４つのコーナーの座標によって表される。しかし、システムをより強固にするためには、検出されたコーナーが、シーン内の例えばユーザのシャツの袖口などの他のオブジェクトに属しているのではなく、実際に用紙に属していることを検証する必要がある。検証テストの１つは、オブジェクトが、適切な目視距離から見える標準（例えばレターサイズ）用紙の予測されるサイズ及び形状を有するか否かの決定をすることである。しかし、オブジェクトの真のサイズ及び形状は未知であるため、本発明は、カメラのビュー平面へのオブジェクトの透視投影(perspective projection)を解析できるのみである。
【００２７】
非投影モジュール８２は、先に述べた(antecedent)投影を行うために次のモデルの形をとる(assume)：すなわち取得された画像は、視点からのある目視距離ｄに位置する二次元のビュー平面上に描かれたのと同じに見える。この視点は、画像を受け取るユーザの目又はカメラの目の位置であり、ビュー平面は、カメラのフレームバッファ内の平面画像の位置である。これら２点間の距離ｄは、システムの既知の定数である。（この解析方法における構成要素の寸法を図で定義する図７参照。）オブジェクト上の点に対応するビュー平面内の点の位置は、ビュー平面とオブジェクト点から視点を結ぶ線（線８６を参照）との交点である。言い換えれば、「非投影」というのは、三次元オブジェクトが二次元ビュー平面に投影される場合に、三次元オブジェクトによって二次元画像が生じることを意味する。明らかに、この投影ステップで、幾つかのデータが必然的に失われる。更に、遠近法(perspective)では、画像は通常、多少なりともワープされている。非投影ステップは、二次元画像を取得するステップと、三次元オブジェクトが何であるべきかを決定するステップ（即ち、オブジェクトの実体及びその位置に関連づけられた２次元の画像）から成る数学的計算を含むものである。本発明は、カメラシステム及びビュー平面(viewing plane)に関する既知の寸法を、仮定した用紙の特徴と組み合わせて用いて、非投影処理を完了（完成）する。
【００２８】
図７のモデルを用いると、オブジェクト点の高さｙと投影点の高さｙ_pとの関係は、
y=y_p(z+d)/d、
又は、y=B(z+d)（但し、B=y_p/d）
で表わされる。
【００２９】
同様に、オブジェクトの水平位置ｘとその投影位置ｘ_pとの関係は、
x=A(z+d)（但し、A=x_p/d）
で表わされる。
【００３０】
用紙については、対角線の中心点及び２つのコーナーは等間隔であると仮定できる。既知のシステム定数及び検出されたオブジェクトのビュー平面内における寸法を考慮すれば、この仮定は空間内のオブジェクトの座標の計算に十分な情報を与える。
【００３１】
オブジェクト上の直線に沿った等間隔の点１、２及び３（図８（Ａ）参照）の３点において、点１と点３との間の距離をＤとすると、ユークリッド距離を表わす式によって、
D²=(x1-x3)²+(y1-y3)²+(z1-z3)²
を得る。
【００３２】
点２は点１と点３との中間点なので、
x2=(x1+x3)/2、y2=(y1+y3)/2、z2=(z1+z3)/2
となり、これらの点は直線上にあるので、
x1-x2=z2-x3及びy1-y2=y2-y3
が成り立ち、その結果、
A1(z1+d)-A2((z1+z3)/2+d)=A2((z1+z3)/2+d)-A3(z3+d)及び
B1(z1+d)-B2((z1+z3)/2+d)=B2((z1+z3)/2+d)-B3(z3+d)
を得る。
【００３３】
(z1+d)についてこれらの式を解くと、
(z1+d)=g(z3+d)
となり、ここで、g=(A3-A2)/(A2-A1)=(B3-B2)/(B2-B1)である。
【００３４】
上記の距離式からz1+dを消去して、z3+dについて解くと、z3+d=D/(A3-gA1)²+(B3-gB1)²+(1-g)2)^1/2
となる。
【００３５】
上記により、オブジェクト点のｚ位置について解く式が与えられ、それらからｘ及びｙ座標が得られる。
【００３６】
この方法を適用するために、等間隔に配置された３点は、オブジェクト（この場合は１枚の用紙）上の直線上にあり、更に、ページの２つの対角及びページの中心上、即ちページの対角線上にあると仮定する。これらの点を選んだ理由は、対角線の長さは既知であり、この長さはページの向きに依存しないからである。（この時、長いエッジか短いエッジかを知る必要はない。）中心点は、対角線の交点として見つけることができる。透視投影は直線を保つので（図８（Ｂ）参照）、ページが遠近的に見られてもこの規則は成り立つ。
【００３７】
ページの中心は次式で与えられる。
【数１】

【００３８】
非投影法は、各対角線について１回ずつ２回適用される。つまり、１回目は点１、２及び３を用いて、２回目は点４、２及び５を用いる。このようにして、４つのコーナーの点の全ての三次元座標を見つけることができる。
【００３９】
一旦、非投影オブジェクト座標が決定されれば、それが用紙であることを検証するための多くのテストが可能になる。複数の辺の長さを調べて、それらがある誤差の範囲内で予測される用紙の寸法に一致したかを確認できる。また、その結果、それらが予測される比率を有することを検証できる。
【数２】

【００４０】
全てのコーナーが直角であることがチェックできる。これは、辺に沿ったベクトルの点乗積(dot product)が０であることをチェックすることで行える。実際の点乗積はある誤差の範囲内にあるべきである。
【数３】

【００４１】
２つの個別の非投影から計算された中心点が（ある誤差の範囲内で）一致していることが確認できる。
z1+z3=z4+z5
【００４２】
４つの非投影されたコーナーが、ある誤差の範囲内で同一平面上にあるかどうかが確認できる。
【数４】

【００４３】
また、ページが以下に示すような予測されるビューイング(vewing)範囲内にあることが確認できる。
zi>zmin zi<zmax
ここで、i=1, 3, 4, 5であり、zmin及びzmaxはそれぞれ最小及び最大の許容可能なページビューイング距離(viewing distance)を示す。
【００４４】
誤差の値は、画像取得装置の精度及び解像度、並びに特定のアプリケーションに依存する。例えば、ビュー内にページ以外の物が何もなさそうな場合、誤差は比較的大きくてもよい。誤差は経験に基いて設定されてよい。
【００４５】
本発明は、三次元世界の座標が、取得された二次元画像の座標と同じ単位で計算される方法について記述するものである。通常では、画素のような画像座標が付与され、インチなどのワールド座標(world coordinates)が好ましいことがある。このため、特定のシステムについては、目視距離ｄのような特性とともに、経験的に決定できる簡単なスケール変換ファクター(scaling factor)の適用が必要となる。
【図面の簡単な説明】
【図１】本発明の基本的な構成要素の単純化したブロック図である。
【図２】本発明を実施するための操作モジュールのブロック図である。
【図３】本発明の他の実施の形態による操作モジュールのブロック図である。
【図４】図３のあるモジュールを拡張付加した操作フロー図である。
【図５】カメラのビュー領域(viewing area)内の用紙を識別するための１つのスキームを示す模式図である。
【図６】ビューフレーム(view frame)内の標準用紙などの予め選択されたオブジェクトの存在を検証するためのシステムの操作モジュールを示すブロック図である。
【図７】図６のシステムの計算ステップを示す幾何学的な図である。
【図８】（Ａ）及び（Ｂ）は、図６のシステムのための方法ステップを説明するのを更に補うための幾何学的な図である。
【符号の説明】
８用紙
１０ヘッドセット（めがね・ゴーグル）
１２ヘッドマウント型カメラ
１４ビデオ取得ハードウェア(video capture hardware)
１６ビデオ生成ハードウェア
１８コンピュータ（コントローラ）

Claims

撮像手段が所定領域を撮像して得た画像データに基づいて拡張現実感ディスプレイシステムのビュー平面内に投影された画像に、システムのインタフェースツールとして用いることができる予め選択されたオブジェクトが存在するか否かを検証する方法であって、
前記ビュー平面に投影された画像内に存在すると予想される前記オブジェクトの候補である候補オブジェクトの予め定められた複数の特徴点の前記画像上の位置を識別するステップ（２２）と、
前記撮像手段の前記撮像の基準となる位置を、前記ビュー平面を見る者の視点に位置させ、該視点の位置と前記識別された前記候補オブジェクトの前記複数の特徴点の前記位置とに基づいて、前記候補オブジェクトの前記所定領域内の現実の位置を計算するステップ（２８）と、
前記計算された前記候補オブジェクトの前記所定領域内の現実の位置と、前記候補オブジェクトが前記オブジェクトであれば前記候補オブジェクトの前記計算された現実の位置が満たすべき予め定められた幾何学的条件と、に基づいて、前記候補オブジェクトが前記オブジェクトか否かを検証するステップ（２４）と、
を有し、
前記投影された投影画像を別の投影画像に変更するコマンドに対応して、前記ビュー平面を見る者の手または指の動きと音声とが予め定められ、
音声検出手段が、前記ビュー平面を見る者の音声を検出するステップと、
前記撮像手段により撮像して得られた画像データと前記音声検出手段により検出された音声とに基づいて、前記ビュー平面を見る者の手または指の動きと音声とが前記コマンドに対応して予め定められた前記動きと前記音声とであるか否かを判断するステップと、
前記ビュー平面を見る者の手または指の動きと音声とが前記コマンドに対応して予め定められた前記動きと前記音声とであると判断された場合、前記投影された投影画像を別の投影画像に変更するステップと、
を更に備えたオブジェクト検証方法。