JP6625734B2 - 現実シーンの写真に仮想画像を重ね合わせるための方法及び装置、並びに携帯デバイス - Google Patents

Description

本発明は、現実シーンの写真に仮想画像を重ね合わせるための方法及び装置、並びにスマートフォンのような携帯デバイスに関し、そこでは、例えば携帯デバイスを使用して、該方法を履行してもよい。

拡張現実感（ＡＲ）の基本的概念は、数十年の間、存在しており、且つその概念は、（例えば、カメラ写真のような）現実の実時間写真に仮想情報を重ね合わせることを指し示す。

本発明の目的は、現実シーンの写真に仮想画像を重ね合わせるための、改善された方法及び改善された装置、並びに改善された携帯デバイスを提供することである。

この目的は、主請求項による、現実シーンの写真に仮想画像を重ね合わせるための方法及び装置によって、並びに携帯デバイスによって達成される。本発明の有利な変形例及び実施形態は、後に続く従属請求項から明らかとなる。

具体的に説明されるアプローチは、光学的に一致する方法で重ね合わせる拡張現実感の分野に関し、そこでは仮想物体は、位置及び向きの点から、現実シーンの中のアンカー点に関連付けられ、且つ、あたかも仮想物体が現実環境の一部であるかのように、正確な遠近法で三次元シーンの中で常に重ねられる。一実施形態によれば、画像処理方法を使用して、カメラストリームのあらゆる単一の写真を解析してもよく、且つ、この効果を達成するために、仮想物体の、対応して必要な三次元的な位置及び向きを計算してもよい。

重ね合わされるべき仮想物体（以下では仮想画像とも呼ばれる）の選択は、現実シーンの中に存在するマーカー（例えばＱＲコード（登録商標））を使用して、有利な方法で実施してもよい。現実シーンの写真内での仮想画像の位置決めは、現実シーンの中のマーカーの周囲に配置された物体の、少なくとも１つの物体部分（例えば、縁又は面）を使用して、有利な方法で実施してもよい。物体部分の写真は、このように、仮想物体のためのアンカー点として使用してもよい。マーカーを使用することによって、現実シーンに適切な仮想画像が選択されることは、わずかな労力を費やすだけで保証されるかもしれない。物体部分を使用することによって、不利な条件（例えば、光の条件が悪い）においてさえも、仮想画像を非常に正確に位置決めすることが、保証されるかもしれない。もしマーカーが、現実シーンの後の写真では、もはや描かれていない、又は部分的にしか描かれていない場合でさえも、この位置決めは可能である。

現実シーンの写真に仮想画像を重ね合わせる方法は、以下のステップを備える。即ち、
該方法は、
画像データを読み取るステップであって、該画像データは、携帯デバイスの環境センサによって取り込まれた現実シーンの写真を表す、ステップと、
画像データからマーカーデータを決定するステップであって、該マーカーデータは、現実シーンの中に配置された写真及びマーカーの位置を示すマーカー位置決め情報を表す、ステップと、
仮想画像データを読み取るステップであって、該仮想画像データは、マーカーデータを使用して、複数の仮想画像データから選択された画像データを表し、該仮想画像データは、仮想画像を表すための表現命令、及び仮想画像を位置決めするための位置決め命令を備える、ステップと、
画像データから物体データを決定するステップであって、該物体データは、現実シーンの中のマーカーの周囲に配置された物体の、写真及び物体部分の位置を示す物体部分位置決め情報を表す、ステップと、
物体データ、マーカーデータ、及び仮想画像データを使用して、物体部分の写真を参照しながら、仮想画像を表すための位置決め規則を確認するステップと、
を備える。

現実シーンは、例えば、環境センサの感知範囲内にある携帯デバイスの周囲の領域であってもよい。環境センサは、光学画像センサ（例えば、カメラ）であってもよい。写真は、環境センサを使用して取り込まれた現実シーンの画像を表してもよく、そこでは画像は、携帯デバイスの表示器を使用して、表示してもよい。仮想画像は、例えば、図形、記号、又は書き物といった任意の挿絵を表してもよく、該挿絵は、現実シーンの写真の中に挿入することが可能である。仮想画像は、三次元画像若しくは、更には二次元画像、又は点模様を表してもよい。現実シーンの写真に仮想画像を重ね合わせることは、現実シーンの写真を含んでもよく、該写真においては、少なくとも一部が、仮想画像によって完全に覆われる又は、例えば、半透明な方法で覆われる。マーカーは、ピクトグラムの符号の形で、シーンの中に人工的に配置されたマーカー（例えば、幾何学的なマーカー）であってもよい。マーカーは、一次元符号又は二次元符号の形をした、人工的なマーカーとして実現してもよい。例えば、マーカーは、明るいエリア及び暗いエリアを有するマトリックスとして実現してもよい。マーカーは、光電子工学的に読み取り可能な書き物を表してもよい。記号の形をしたデータを、マーカーの中に画像化してもよい。マーカーデータは、マーカーの写真についての情報、及び現実シーンの写真に関するマーカーの写真の位置決めについての情報を備える。方法の更に進んだステップにおいて、マーカーデータは、完全に又は部分的に使用してもよく、且つ、必要であれば、更に処理された形で使用してもよい。仮想画像を位置決めするための位置決め命令は、現実シーンの写真の中のマーカーの写真に対して仮想画像を位置決めするのに、適したものである。物体部分は、現実物体の一部、部分、又は領域（例えば、縁又は面）であってもよい。物体は、例えば、建物、備品、乗物、又は紙片といった、任意の品目であってもよい。物体部分は、例えば、外側縁部又は、そのような品目の中の、互いに対して角度が付けられた面の間の縁部であってもよい。物体データは、物体部分の写真についての情報、及び現実シーンの写真内での写真の位置決めについての情報を備えてもよい。方法の更に進んだステップにおいて、物体データは、完全に又は部分的に使用してもよく、且つ、必要であれば、更に処理された形で使用してもよい。位置決め規則は、物体部分の写真、現実シーンの写真、又は現実シーンの更に進んだ写真に対して、仮想画像を位置決めするのに適したものであってもよい。位置決め規則は、マーカーの写真の位置決め、物体部分の写真の位置決め、及び位置決め命令を使用して、確認してもよい。

一実施形態によれば、現実シーンの写真に仮想画像を重ね合わせる方法は、以下のステップを備える。即ち、
該方法は、
画像データを読み取るステップであって、該画像データは、携帯デバイスの環境センサによって取り込まれた現実シーンの写真を表す、ステップと、
画像データからマーカーデータを決定するステップであって、該マーカーデータは、現実シーンの中に配置されたマーカーの写真及びマーカー位置決め情報を表す、ステップと、
仮想画像データを読み取るステップであって、該仮想画像データは、マーカーデータを使用して、複数の仮想画像から選択された画像データを表し、該仮想画像データは、仮想画像を表すための表現命令、及び仮想画像を位置決めするための位置決め命令を備える、ステップと、
画像データから物体データを決定するステップであって、該物体データは、現実シーンの中のマーカーの周囲に配置された物体の写真、及び物体部分の物体部分位置決め情報を表す、ステップと、
物体データ及び仮想画像データを使用して、物体部分の写真を参照しながら、仮想画像を表すための位置決め規則を確認するステップと、
を備える。

一般に、画像データは、現実画像データを表してもよく、物体データは、現実物体データを表してもよく、且つ物体部分は、現実物体部分を表してもよい。

一実施形態によれば、確認するステップにおいて、位置決め規則は、マーカーデータ又はマーカーデータの少なくとも一部を使用して、確認してもよい。

一実施形態によれば、読み取るステップ、決定するステップ、及び確認するステップの連続的な繰り返しは、短い時間間隔（特に、１秒あたり数回）で実施してもよい。例えば、ステップは、１秒あたり１０回から２００回の間で（即ち、１秒の１０分の１ごとに、又は５／１０００秒ごとに）、実行してもよい。

説明されたアプローチによって、遠い距離から、且つ携帯デバイスの比較的制限のない位置から、正確な遠近法を用いて、挿絵の中の仮想物体を位置決めすることが可能になる。有利なことに、携帯デバイスは、マーカーを認識する必要がなく、且つこのマーカーに対して固定された位置に、関連付けられた仮想物体を位置決めする必要もない。遠い距離とは、マーカー（例えば、ＱＲコード（登録商標））の辺の長さの１０倍から５０００倍の間の距離であってもよい。一実施形態によれば、マーカーの辺の長さの１０倍から５００倍の間の範囲が好ましい。マーカーの辺の長さが２ｃｍである場合、これの遠い距離は、１００ｍまでの距離（辺の長さの５０００倍）に対応する。比較的制限のない位置とは、３つの全ての軸において、０．１°から１８０°のずれを意味するかもしれない。従って、３６０°全周をカバーするであろう。マーカーは、必ずしも、常に携帯デバイスの視野（環境センサ）の中にあるとは限らない。

一実施形態によれば、説明されたアプローチは、マーカーを最初に検出する場合に固定された位置に対して、マーカーを検出した後には、相対位置における変化を測定するために、画像取り込みに加えて、携帯デバイスの中に配置された測定デバイスを利用する。加えて、現実画像からの現実物体のデータは、物体部分（「二次的マーカー」とも呼ばれる）として使用され、その結果として、実際のマーカーが環境センサの感知範囲内にある必要は、もはや無い。

以下で述べられるデバイスは、マーカーを一度検出した後、最初の位置からのずれを決定するために、携帯デバイスの中の（例えば、スマートフォン又はタブレットの中の）対応する測定デバイス（認識デバイス又は測定センサとも呼ばれる）として使用してもよい。個々の測定センサはまた、ここで選択された任意の組み合わせであってもよい。

加速度センサ：一方では、携帯デバイスの並進運動を測定するためのものであり、他方では、デバイスに対する地球の重力の方向、従って、デバイスの向き／回転を決定するためのものである。

回転センサ：携帯デバイスの回転運動を測定するためのものである。

磁力計：地球の磁界及び、従って、携帯デバイスの水平方向の回転を測定するためのものである。

ＧＰＳ受信器：非常に遠い距離に関して任意選択的なものであり、且つ±２メートルの精度で位置決めするためのものである。

画像センサに加えて、加速度センサ及び回転センサを使用することが、ここでは好ましい。

画像センサは、可視光（４００〜８００ｎｍ）に限られるかもしれないが、しかしまた、付加的に又は排他的に、他のスペクトル範囲（例えば、付加的に又は排他的に、ＩＲ光又はＵＶ光）を発するかもしれない。

例えば、対応する測定デバイスの測定値は、携帯デバイスの運動によって引き起こされる、物体部分の変化又は物体部分の写真の変化を決定するために、使用してもよい。一実施形態によれば、変化を表す値は、確認するステップにおいて、物体部分の写真に対して、仮想画像を位置決めすることを目的とした位置決め規則を確認するために使用される。

この故に、位置決め規則は、例えば、測定デバイス、又は携帯デバイスの幾つかの測定デバイス（例えば、加速度センサ、回転センサ、磁力計、又はＧＰＳ受信器）の測定値を使用して、確認してもよい。

これは、仮想物体が現実に移動する際に起こる技術的問題を更に解決する。もし、この動きを追跡する際に、マーカーが環境センサの視野から消える場合でも、仮想挿絵は壊れない。従って、広い周囲領域内での画像列を、今は表してもよい。

一実施形態によれば、本方法は、インタフェースに対するマーカーデータの少なくとも一部を外部デバイスへ提供するステップを備える。この場合、仮想画像データを読み取るステップにおいて、外部デバイス（例えば、サーバ）に対するインタフェースを介して、仮想画像データを読み取ってもよい。上述のインタフェースは、例えば、無線インタフェースであってもよい。有利なことに、仮想画像データの選択は、外部デバイスを使用して、実施してもよい。それによって、携帯デバイス上のメモリスペースは節約されるかもしれず、且つ最新の仮想画像データが常に利用可能である、ということが保証されるかもしれない。

本方法は、マーカーデータを使用して、複数の仮想画像データから仮想画像データを選択するステップを備えてもよい。選択するステップは、外部デバイス、又は携帯デバイスのデバイスを使用して、実施してもよい。後者を選択することによって、本方法が、携帯デバイス上で経済的に自律して実行されるであろう、という利点が提供される。仮想画像データは、例えば、マーカーの写真又はマーカーの識別表示を、複数の仮想画像に関連付けられた潜在的マーカーの写真又は識別表示と比較することによって、且つ一致がある仮想画像のその１つを選択することによって、選択してもよい。このように、一致する仮想画像は、高い信頼性を持って選択されるであろう。

この目的を達成するために、本方法は、マーカーデータを使用して、マーカーの識別表示を確認するステップを備えてもよい。選択するステップにおいて、仮想画像データは、その後、識別表示を使用して、選択してもよい。識別表示は、例えば、符号又は文字列であってもよい。

例えば、マーカーは、マーカーの対応する識別表示を備える、マシン可読な符号を表してもよい。この場合、マーカーの識別表示は、マーカーデータを決定するステップにおいて、マーカーデータの一部として、決定してもよい。マシン可読な符号を使用することによって、マーカーの写真は、非常に容易に評価されるであろう。

本方法は、現実シーンの別の写真に仮想画像を重ね合わせるための、位置決め規則を使用するステップを備えてもよい。有利なことに、位置決め規則は、一旦決定されると、現実シーンの時間的に連続する写真に仮想画像を重ね合わせるために、使用されるであろう。

この目的を達成するために、使用するステップは、例えば、更に進んだ画像データを読み取るステップと、更に進んだ画像データから物体部分の更に進んだ写真の位置決めを決定するステップと、更に進んだ画像データ、物体部分の更に進んだ写真、及び位置決め規則を使用して、重ね合わされた画像データを作成するステップと、を備え、そこでは、更に進んだ画像データは、携帯デバイスの環境センサによって取り込まれた現実シーンの更に進んだ写真を表し、重ね合わされた画像データは、現実シーンの更に進んだ写真に仮想画像を重ね合わせたものを表す。位置決めを決定するステップでは、現実シーンの更に進んだ写真内の物体部分の更に進んだ写真の位置決めを決定してもよい。従って、現実シーンの時間的に連続した写真における物体部分の写真を、仮想画像のためのアンカー点として使用してもよい。重ね合わされた画像データを作成するステップでは、表現命令を使用して、仮想画像を表してもよい。

本方法は、携帯デバイスの表示器を使用して、現実シーンの更に進んだ写真に仮想画像を重ね合わせたものを表示するステップを備えてもよい。この目的を達成するために、例えば既に述べた、重ね合わされた画像データを、表示器に提供してもよい。表示器は、画面デバイス又は表示デバイスであってもよい。

本方法は、携帯デバイスの環境センサを使用して、画像データを取り込むステップを備えてもよい。例えば、画像データは、現実シーンが時間的に連続して提供されるように、時間的に連続して取り込んでもよい。仮想画像は、現実シーンの個々の写真の中で重ねてもよい。

様々な実施形態によれば、更に、複数の仮想画像を、重ね合わせるために使用してもよい。この場合、読み取るステップにおいて、複数の仮想画像を読み取ってもよく、又は、仮想画像データは、複数の仮想画像を表すと共に位置決めするための、表現命令及び位置決め命令を備えてもよい。

更に、１つの物体又は異なる物体の、複数の物体部分を使用してもよい。この場合、物体データを決定するステップにおいて、複数の物体データを決定してもよく、又は、物体データは、複数の物体部分の写真及び物体部分位置決め情報を表してもよい。それに対応して、位置決め規則を確認するステップにおいて、個々の物体部分に対して仮想画像を位置決めするための、複数の位置決め規則を確認してもよい。代替案として、複数の物体部分の写真に対して、仮想画像を位置決めするのに適した位置決め規則を確認してもよい。複数の物体部分を使用することによって、仮想画像を非常に正確に位置決めでき、且つ、使用される全ての物体部分が、現実シーンの写真に描かれていない場合でさえも、仮想画像を位置決めできる、という利点が提供される。

ここで提示されるアプローチは、１つの装置を更に提供するが、該装置は、対応するデバイスにおいて、ここで提示される方法の変形例のステップを実施する、制御する、又は履行するように構成される。本発明の基礎となる目的は、装置の形をした、本発明のこの実施形態によってもまた、すばやく且つ効率的に達成されるであろう。

装置は、入力信号を読み取るように構成すると共に、入力信号を使用して、出力信号を決定し、且つ提供するように構成してもよい。例えば、入力信号は、装置の入力インタフェースを介して可読である、センサ信号を表してもよい。出力信号は、装置の出力インタフェースで提供され得る、制御信号又はデータ信号を表してもよい。装置は、ハードウェア又はソフトウェアで履行される処理規則を使用して、出力信号を決定するように構成してもよい。例えば、装置は、論理回路と、集積回路又はソフトウェアモジュールとを備えてもよく、且つ、装置は、例えば、別々の部品として実現してもよく、又は別々の部品の中に含めてもよい。

更に有利であるのは、コンピュータプログラム記憶媒体がプログラムコードを有することである。ここで該プログラムコードは、半導体メモリ、ハードディスク、又は光メモリのようなマシン可読な担体の上に格納してもよく、且つ該プログラムコードは、プログラム製品がコンピュータ上又は装置上で実行される場合に、以前に説明された実施形態の方法を実施するために使用される。

本発明の実施形態は、図面の中で図解され、且つ後に続く説明の中でより詳細に説明される。

一実施形態による、現実シーンの写真に仮想画像を重ね合わせる方法の概観図を示す。 一実施形態による、連想規則を作成する方法の概観図を示す。 一実施形態による、携帯デバイスの模式図を示す。 一実施形態による、現実シーンの写真に仮想画像を重ね合わせる方法のフローチャートを示す。

図１は、一実施形態による、現実シーンの写真に仮想画像を重ね合わせる方法の概観図を示す。

図１の左半分は、環境センサ１０２及び表示器１０４を備える携帯デバイス１００（例えば、スマートフォン）を示す。この実施形態によれば、環境センサ１０２は、環境センサ１０２の感知範囲にある現実シーン１０６（現実環境とも呼ばれる）を取り込むように構成されたカメラである。この実施形態によれば、表示器１０４は、環境センサ１０２によって取り込まれた現実シーン１０６の写真１０８を、操作者に対して表示するように構成された表示デバイスである。

この実施形態によれば、物体１１０（これの外側表面の上にマーカー１１２が存在する）は、現実シーン１０６の中に配置される。例えば、物体１１０は、任意の画像又は品目であってもよい。物体１１０及びマーカー１１２は、環境センサ１０２の感知範囲の中に、それぞれ、部分的に及び完全に配置される。特に、物体１１０の少なくとも１つの物体部分１１４は、環境センサ１０２の感知範囲の中に配置される。従って、写真１０８は、マーカー１１２の写真１１６と、物体部分１１４の少なくとも１つの写真１１８とを備える。

図１の右半分は、時間的に続く時間点における携帯デバイス１００を、左半分における挿絵と比較して示したものである。携帯デバイス１００の中間的な運動のために、環境センサ１０２から見ると、現実シーン１０６はわずかに変化しており、その結果として、写真１１６に対してわずかに変化した更に進んだ写真１２０が、表示器１０４によって表示される。例えば、更に進んだ写真１２０は、写真１０８又は現実シーン１０６の別の区画と比較すると、別の遠近法で現実シーン１０６を描くかもしれない。例えば、他の区画について言えば、更に進んだ写真１２０は、物体部分１１４の更に進んだ写真１２２を備えるが、しかしマーカー１１２の更に進んだ写真を備えない、というような具合である。にもかかわらず、説明された方法を使用して、更に進んだ写真１２０に、仮想画像１２４を重ね合わせてもよい。一実施形態によれば、更に進んだ写真１２０に、所定の位置及び／又は所定の向きにある仮想画像が、重ね合わされることになる。一実施形態によれば、更に進んだ写真１２０が、仮想画像１２４のためのアンカー点として使用され得る物体部分１０６の適切な、更に進んだ写真１２２を備える限り、そのような所定の重ね合わせは可能である。

方法ステップは、もっぱら携帯デバイス１００のデバイスを使用して実行してもよいし、又は、ここでは例示的に雲状のものとして図解されている、少なくとも１つの外部デバイスを付加的に使用して実行してもよい。例えば、外部デバイス１３０は、携帯デバイス１００にオンラインで結合させてもよい。

本方法は、連続的に実行してもよいし、又は、操作者によって要求される表示器１０４を使用して、コンテンツ呼び出しによって、又は現実シーン１０６を眺めることによって起動してもよい。

写真１０８は、環境センサ１０２、又は環境センサ１０２の下流にある評価デバイスによって提供される画像データに基づいている。マーカーデータ１３２及び物体データ１３４は、ここで模式的に図解されているように、例えば、物体認識方法又は別の適切な画像処理方法を使用して、画像データから決定される。マーカーデータ１３２は、適切な抜き取りを通して、画像データから決定され、且つマーカー１１２に関連付けられた識別表示データ１３６（例えば、マーカー１１２に関連付けられた識別表示ＩＤ、及び／又はマーカー１１２に関連付けられた、例えばＵＲＬの形をした、少なくともポインタ）を備える。マーカーに関連付けられた識別表示のような、マーカーデータ１３２若しくはマーカーデータの部分又はそれらから決定されたデータは、連想規則１３８を使用して、複数の仮想画像データから、マーカー１１２に関連付けられた仮想画像データ１４０を選択するために、使用してもよい。ここで連想規則１３８は、例えば、割り当て表であるが、該割り当て表は、この実施形態による、外部デバイス１３０のメモリに格納される。複数の仮想画像データは、ＡＲコンテンツの形で、割り当て表１３８に格納してもよい。仮想画像データ１４０は、携帯デバイス１００へ転送され、且つ仮想画像１２４を表示するために使用される。一実施形態によれば、仮想画像データ１４０を選択することは、新しいマーカー１１２が見つけられる場合にのみ実行される。ここで新しいマーカー１１２が見つけられる場合とは、例えば、マーカー１１２の写真１１６又はマーカーの識別表示データ１３６が、写真１０８を表す画像データから、最初に抜き取られた場合である。

物体データ１３４は、適切な画像特徴の適切な抜き取りを通して、画像データから決定される。適切な画像特徴は、例えば、一時的で局所的な使用のための位置決め規則１４２（新しいＡＲマーカーとも呼ばれる）を作成するために使用される。マーカー１１２の写真１１６が利用できない場合でさえも、位置決め規則１４２は、写真１０６の、又は更に進んだ写真１２０の重ね合わせとして仮想画像１２４を表すことが可能なように、携帯デバイス１００によって使用される。位置決め規則１４２を使用することに対して、オンラインでの一致判定は必要ない。この実施形態によれば、位置決め規則１４２は、自然マーカーを表す物体部分１１４を指す。

一実施形態によれば、ＵＲＬに基づくＡＲコンテンツの確実な連想及び、新しい、従って、最新の自然マーカーに基づく安定な三次元追跡が可能になる。

一実施形態によれば、少なくとも２つの自然マーカー（即ち、例えば、物体１１０の物体部分１１４及び別の物体部分１４４）は、更に進んだ写真１２０の中で仮想画像１２４を位置決めできるように、使用される。この場合、位置決め規則１４２は、両方の物体部分１１４、１４４又はそれらの写真１１８、１２２、１４６に関連する。図１に示された実施形態において、更に進んだ物体部分１４４は、現実シーン１０６の更に進んだ写真１２０には描かれていない。にもかかわらず、物体部分１１４の更に進んだ写真１２２を通して、仮想画像１２４を位置決めすることが可能である。

一実施形態において、説明されたアプローチは、２つの方法の組み合わせに基づいており、この組み合わせによって、物体の三次元的な位置を、カメラ画像から抜き出すことが可能である。

３つの方法の第１の方法では、予め定義された幾何学的形状は、マーカー１１２として使用される。ここでマーカー１１２は、カメラ写真の領域に配置される（例えば、ＱＲコード（登録商標））。そのようなマーカー１１２の既知の形状、及びカメラ写真１０８の中のマーカーの写真１１６に基づいて、空間におけるマーカーの三次元的な向きを、画像処理を通して決定することが可能である。第１の方法の利点は、次の通りである。即ち、その利点は、マーカー１１２の予め定義されたデザイン規則のために、マーカー１１２を、カメラ写真１０８の中で明確に識別することが可能であり、且つ付加的な情報もまた、このように、マーカー１１２のＩＤ又はＱＲコード（登録商標）を介したウェブリンクのような、マーカー１１２の外見において直接符号化してもよい、というものである。このように、一旦定義された符号化の仕組み（例えば、白黒ビットのＱＲコード（登録商標））を用いることによって、非常に大きな数の異なるマーカーを、光学的に、互いに対して明確に区別することが可能である。しかしながら、不都合なことであるが、これらのマーカー１１２は、必然的に正確に定義された形状であるために、カメラ写真１０８における小さな外乱に対して強いとは言い難い。そのような小さな外乱とは、例えば、わずかな焦点ぼけ、運動ぼけ、又は急峻な視野角であるかもしれない。このことは、次の事実につながる。その事実とは、３つのマーカー１１２の内の１つのマーカーの三次元的な位置は、もしそのマーカーで、画像平面に平行に、完全に焦点が合う場合にのみ、正しく抜き取られると共に、カメラ写真１０８の中で隠れていないと見ることが可能であり、且つカメラ１０２は、マーカー１１２に対して、ほとんど静止している、というものである。この故に、例えば、ＱＲコード（登録商標）の形をしたマーカー１１２に基づいて、仮想的な三次元物体１２４の連続的なＡＲ重ね合わせを正しい位置で行うことは、ほとんど不可能にある。幾何学的マーカー１１２のデザインが大きい場合、この問題は、やや穏やかなものであるが、しかしそのようなマーカーが、その後、顕著且つ大きな方法で、シーン１０６に配置されることになるという別の不都合さを伴う。このことは、ほとんどの応用にとって不適切である。

これらの方法の第２の方法（これは、自然特徴追跡又はＮＦＴと呼んでもよい）では、現実環境１０６における物体の写真１１０（例えば、チラシのカバー画像）は、以前にはマーカーとして定義され、且つそれらの自然光学特徴１１４（例えば、特徴的な点、縁の進行、又は色）は、最初に、アルゴリズムによって適切な形で、元のものから抜き取られる（即ち、疑似学習される）。カメラ写真１０８は、その後、ＡＲ位置決定のために（即ち、重ね合わされるべき仮想画像１２４の位置を決定するために）、これら以前に学習された自然特徴１１４を求めて検索され、且つ最適化方法を用いて、現在捜している物体１１０がカメラ写真１０８の中にあるかどうかが決定され、且つ物体の個々の特徴１１４の配置に基づいて、物体の向き及び位置が見積もられる。ここでの利点は、外乱に対して非常に強いことであるが、それは、最適化に基づく方法のためである。従って、部分的に隠され、且つ非常に急な角度である場合に、ぼけたカメラ写真１０８、１２０においてさえも、マーカー物体１１４の位置を認識することが可能である。更なる方法（例えば、ＳＬＡＭ）は、カメラ写真１０８、１２０の中のマーカー物体１１４の初期認識に基づいて、現在の環境から、特徴を有するマーカー物体のモデルを連続的に拡大することさえも可能にし、その結果として、空間におけるマーカー物体の向きは、カメラ写真１２０の中でそれ自体をもはや見ることができない場合でさえも、部分的に正しく決定されるであろう。しかしながら、この方法は、重大な不都合さを有し、それは、特に、非常に多くの異なるマーカーが、マーカー自身によって認識されることになる場合に当てはまる。最初は、３つのマーカー物体１１４は、カメラ写真１０８、１２０の中で少しでも認識可能なように、自然な光学的外見に関する、ある一定の光学的基準を満たす。そのうえ、明確な識別表示のために、全ての認識可能なマーカー１１４は、互いに対してはっきりと異なっていなければならない。認識可能なマーカー１１４の数が多いほど、不適当な割り当ての可能性は高くなる。もし、データベース内で、多くの光学的に似た物体１００（例えば、名刺）が区別されることになる場合、これは特に問題である。更に、全ての認識可能なマーカーの自然特徴を有するデータベースは、認識の時に既に存在しなければならず、且つこの完全なデータベースは、もしマーカー１１４の１つがカメラ写真の中にあるかどうかを見つけ出すために、カメラ写真１０８、１２０と比較されなければならない。連続的に増大するマーカーデータベースを有する、スマートフォンＡＲアプリのようなシステムの場合、これは、中央位置におけるデータベースの現在版を（オンラインで）提供することを要求し、その場合、各スマートフォン１００は、あらゆる単一のカメラ画像１０８、１２０を解析するために、このデータベースへ計算量の多い画像検索要求を送らなければならない。

一実施形態によれば、ここで説明されたアプローチは、上の２つの方法の組み合わせに基づいており、そこでは両方の方法は、カメラ写真１０８、１２０の中でのマーカー物体の認識及び三次元位置決めのための、連続する、関連付けられた段階において実施される。最初の段階において、幾何学的な、予め定義されたマーカーデザイン（例えば、ＱＲコード（登録商標）又はバーコード）は、仮想画像１２４（ここではＡＲコンテンツ１２４と呼ばれる）の仮想画像データ１４０を識別するための、単にカメラ画像１０８の中のマーカー１１６として使用される。一旦、これらのマーカー１１６の１つが、カメラ写真１０８の中で見つけられると、最初に、識別表示１４２（即ち、例えば、ＡＲコンテンツ１２４のＩＤ又はＵＲＬ及び、現実シーン１０６におけるマーカーの最初の位置及び向き）が、カメラ写真から抜き取られる。同時に、例えばまさにマーカー１１２の認識の瞬間に、例えば符号の形で、マーカー１１２のすぐ周りの現在の環境が、カメラ写真１０８に取り込まれ、自然特徴１１４が、該カメラ写真１０８から抜き取られ、且つ新しい自然マーカー１１８が、第２の方法に従って、自然特徴１１４を用いて、実時間で作成される。次に来る全てのカメラ写真１２０及びカメラ１０２のマーカー１１４の動きの中で、ＡＲコンテンツ１２４の三次元的な位置決定は、今は新しい、強い自然マーカー１１４に基づいて、実施されるであろう。元の第１の方法と対照的に（ＱＲコード（登録商標）認識を参照のこと）、仮想画像１２４としての三次元的な仮想物体の、連続的に安定な表現及び運動が可能であり、又は、幾何学的なマーカーとは対照的に、もし仮想物体が、小さくて控えめな方法で、現実シーン１０６の中に単に置かれる場合でさえも、仮想物体を追跡することが可能である。更に、元の第２の方法（自然マーカーの認識）とは対照的に、新しく作成されたマーカー１１４の光学的な特殊性は、他のマーカーと比較した場合、完全に無関係であるが、その理由は、ＡＲコンテンツ１２４に関するマーカー１１４の連想は、関連付けられた符号（即ち、マーカー１１２）によって、既に固定されているからである。関連付けられた符号からＵＲＬを直接抜き取ることを通して、連続的にデータベースを検索すると共に、オンラインでデータベースを取り上げるのを避けることが可能であり、且つアプリケーション内での区別可能なマーカーの数は、ほぼ無限にまで増加される。更に、使用時に直ちに、自然ＡＲマーカー１１４を作成することを通して、以前のＡＲ方法とは対照的に、自身の光学的な外見を頻繁に変化させる物体１００（例えば、一日の異なる時間、又は１年の異なる期間における家の前面）でさえも、自然マーカー１１４として、使用することが可能である。

図２は、一実施形態による、連想規則１３８を作成する方法の概観図である。連想規則１３８は、例えば、図１に示された外部デバイスに格納してもよい。

操作者２５０は、例えば、複数の仮想画像データの形で、三次元ＡＲコンテンツ２５２を提供する。ウェブインタフェース２５４は、三次元ＡＲコンテンツ２５２に基づいて、連想規則１３８を作成する、又は更新する。一実施形態によれば、連想規則１３８は、三次元ＡＲコンテンツ２５２の各三次元ＡＲコンテンツ２５２に対する特定の、一意的なＵＲＬへのリンクを備える。

図３は、一実施形態による、携帯デバイス１００の模式図を示す。携帯デバイス１００は、例えば、図１に示された携帯デバイスであってもよい。携帯デバイス１００は、環境センサ１０２と、環境センサ１０２によって取り込まれた現実シーンの写真を表示するための表示器１０４とを備える。写真には、仮想画像を重ね合わせてもよい。この実施形態によれば、携帯デバイス１００は、インタフェース３６０を備えるが、インタフェース３６０は、例えば、外部デバイス１３０に対する、無線データ伝送のためのインタフェースである。一実施形態によれば、環境センサ１０２及び表示器１０４は、それぞれ、携帯デバイス１００の背面及び前面に配置される。

携帯デバイス１００は、環境センサ１０２に結合された読み取り器３６２を備え、ここで読み取り器３６２は、生データ又は既に再処理されたデータとして、環境センサ１０２の画像データ３６４を読み取るように構成される。例えば、読み取り器３６２は、環境センサ１０２に対するインタフェースである。画像データ３６４は、環境センサ１０２によって取り込まれた現実シーンの写真を表す。読み取り器３６２によって読み取られた画像データ３６４は、携帯デバイス１００の決定器３６６において、更に処理される。特に、マーカーデータ１３２及び物体データ１３４は、画像データ３６４から決定される（例えば、抜き取られる）。マーカーデータ１３２は、例えば、図１に示される幾何学的マーカー１１２の、現実シーンに配置された写真及びマーカーのマーカー位置決め情報を表す。物体データ１３４は、現実シーンにおけるマーカーの周囲に配置された物体の写真及び物体部分の物体部分位置決め情報を表す。例えば、物体部分は、図１に示された物体部分１１４であってもよく、ここで物体部分１１４は、自然マーカーとして使用してもよい。この目的を達成するために、決定器３６６は、現実シーンの写真の中のマーカーの写真を最初に認識し、且つ、その後、画像データ３６４から、マーカーの写真に関連付けられたマーカーデータを決定するように構成される。それに対応して、決定器３６６は、現実シーンの写真の中の物体部分の、１つ以上の適切な写真を最初に認識し、且つ、その後、画像データ３６４から、適切な物体部分の写真（複数可）に関連付けられた物体データを決定するように構成される。

この実施形態によれば、マーカーデータ１３２は、外部インタフェース３６０へ提供され、且つ、外部インタフェース３６０（例えば、無線インタフェース）を介して、例えば、外部機器の形をした外部デバイス１３０へ転送される。外部デバイス１３０は、選択器３６８を備え、ここで選択器３６８は、連想規則を使用して、複数の仮想画像データから、マーカーデータ１３２に関連付けられた仮想画像データ１４０を選択すると共に、携帯デバイス１００の外部インタフェース３６０へ、仮想画像データ１４０を提供するように構成される。代替案として、画像データ１３２の部分だけ、又は更に処理された形をした画像データ１３２だけを、読み取り器３６０及び／又は外部デバイス１３０へ提供してもよい。外部インタフェース３６０は、決定器３７０に仮想画像１４２を提供するように構成される。仮想画像データ１４０は、仮想画像を表すための表現命令と、仮想画像を位置決めするための位置決め命令とを備える。決定器３７０は、マーカーデータ１３２及び物体データ１３４を受け取るように更に構成される。決定器３７０は、マーカーデータ１３２、物体データ１３４、及び仮想画像データ１４０を使用して、物体部分の写真に対して仮想画像データを位置決めするための、位置決め規則１４２を決定するように構成される。

この実施形態によれば、携帯デバイス１００は、表示デバイス１０４を制御するための制御器３７２を備える。制御器３７２は、例えば、表示デバイス１０４によって示された表示を制御するための制御信号の形で、重ね合わされた画像データ３７４を表示器１０４へ提供するように構成される。ここで、重ね合わされた画像データ３７４は、現実シーンの更に進んだ写真に仮想画像を重ね合わせものを表す。制御器３７２は、決定器３７０、更に進んだ画像データ３７６、及び更に進んだ物体データ３７６によって提供される位置決め規則１４２を使用して、重ね合わされた画像データ３７４を作成するように構成される。更に進んだデータ３７６は、環境センサ１０２によって取り込まれた現実シーンの更に進んだ写真を表す。更に進んだ物体データ３７６は、現実シーンの更に進んだ写真の中での、物体部分の少なくとも物体部分位置決め情報を備える。

一実施形態によれば、位置決め規則１４２は、仮想画像データ１４０によって構成される仮想画像を表すための表現命令を備える。代替案として、表現命令は、位置決め規則１４２から、別々に制御器３７２へ転送してもよい。

一実施形態によれば、選択器３６８は、携帯デバイス１００の一部である。この場合、外部デバイス１３０は要求されず、且つ外部インタフェース３６０は、内部インタフェースとして実現してもよい。

図３に示されるデバイス３６０、３６２、３６６、３７０、３７２は、現実シーンの写真に仮想画像を重ね合わせるための装置の、単に典型的な配列のデバイスにおけるものである。例えば、デバイス３６０、３６２、３６６、３７０、３７２の幾つか又は全ては、現実シーンの写真に仮想画像を重ね合わせる方法の方法ステップを履行するための、より大きなユニットを形成するために組み合わせてもよい。

図４は、一実施形態による、現実シーンの写真に仮想画像を重ね合わせる方法のフローチャートを示す。本方法は、これまでの図を基にして説明された携帯デバイスのデバイスを使用して、実行してもよい。

ステップ４８０では、携帯デバイスの環境センサによって取り込まれた現実シーンの写真を表す画像データが、読み取られる。画像データは、先行する任意選択的なステップ４８２において、環境センサによって取り込まれたかもしれない。ステップ４８４では、現実シーンの中に配置された写真及びマーカーのマーカー位置決め情報を表すマーカーデータは、画像データから決定される。それに対応して、ステップ４８６では、現実シーンにおいてマーカーの周囲に配置された物体の写真及び物体部分の位置決めは、画像データから決定される。ステップ４８８では、仮想画像データが読み取られるが、該仮想画像データは、マーカーデータを使用して、複数の仮想画像データから選択された画像データを表すと共に、仮想画像を表すための表現命令と、仮想画像を位置決めするための位置決め命令とを備える。任意選択的なステップ４９０（このステップは、携帯デバイス上で、又は外部デバイス上で実行してもよい）では、仮想画像データは、マーカーデータを使用して、選択される。ステップ４９２では、物体部分の写真に対して、仮想画像を表すのに適した位置決め規則は、例えば、現実シーンの更に進んだ写真の重ね合わせとしての、マーカーデータ、物体データ、仮想画像データを使用して、確認される。

任意選択的なステップ４９４では、例えば携帯デバイスの表示器上で、現実シーンの更に進んだ写真に仮想画像を重ね合わせたものを表すために、位置決め規則が使用される。

例えば、ステップ４９４は、現実シーンの更に進んだ写真を表す、更に進んだ画像データを読み取るステップ４９５と、更に進んだ画像データから物体部分の更に進んだ写真の位置決めを決定するステップ４９６と、更に進んだ画像データ、物体部分の更に進んだ写真、及び位置決め規則を使用して、重ね合わされた画像データを作成するステップ４９７とを備えてもよく、そこでは、重ね合わされた画像データは、現実シーンの更に進んだ写真に仮想画像を重ね合わせたものを表す。位置決めを決定するステップでは、現実シーンの更に進んだ写真の中での、物体部分の更に進んだ写真の位置決めを、決定することが可能である。従って、現実シーンの時間的に連続する写真の中の物体部分の写真は、仮想画像に対するアンカー点として使用してもよい。重ね合わされた画像データを作成するステップでは、仮想画像は、表現命令を使用して、表してもよい。

ステップ４９４は連続的に繰り返してもよく、そこでは位置決め規則は、現実シーンの更に進んだ写真に仮想画像を連続的に重ね合わせるために、使用される。先行するステップを繰り返して実行する必要はなく、その理由は、一旦位置決め規則を決定すれば、それで十分だからである。

一実施形態によれば、ステップ４８６では、現実シーンにおけるマーカーの周囲に関連した１つ以上の物体の、幾つかの物体部分（例えば、２つ、３つ、４つ以上の物体部分）の写真及び物体部分位置決め情報を表す物体データは、画像データから決定される。このように、現実シーンの更に進んだ写真（複数可）の中で仮想画像をアンカー留めするためのアンカー点の数は、増加させてもよい。この場合、ステップ４９２では、位置決め規則を確認することが可能であるが、その確認は、物体部分の写真に対して現実シーンの更に進んだ写真の中に仮想画像を表すことに関して、位置決め規則が適切であるように行われる。決定するステップにおいて、この表現を履行するように、物体部分の個々の写真の位置決めが、更に進んだ画像データから決定される。有利なことに、この場合、仮想データの中に定着した要求に従って、仮想画像を依然として位置決めしてもよく、このことは、もし物体部分の全ての写真が、更に進んだ画像データによって構成されない場合でさえも、当てはまる。

一実施形態によれば、ステップ４９２では、位置決め規則は、測定デバイス（特に、加速度センサ、回転センサ、磁力計、又は携帯デバイスのＧＰＳ受信器）の測定値を使用して、確認される。

Claims (13)

1. 現実シーンの写真に仮想画像を重ね合わせる方法であって、
   画像データ（３６４）を読み取るステップ（４８０）であって、前記画像データ（３６４）は、携帯デバイス（１００）の環境センサ（１０２）によって取り込まれた前記現実シーン（１０６）の写真（１０８）を表す、ステップと、
   前記画像データ（３６４）からマーカーデータ（１３２）を決定するステップ（４８４）であって、前記マーカーデータ（１３２）は、前記現実シーン（１０６）に配置されたマーカー（１１２）の写真（１１６）及びマーカー（１１２）の位置を示すマーカー位置決め情報を表す、ステップと、
   仮想画像データ（１４０）を読み取るステップ（４８８）であって、前記仮想画像データ（１４０）は、前記マーカーデータ（１３２）を使用して、複数の仮想画像データ（２５２）から選択された画像データを表し、前記仮想画像データ（１４０）は、前記仮想画像（１２４）を表すための表現命令、及び前記仮想画像（１２４）を位置決めするための位置決め命令を備える、ステップと、
   前記画像データ（３６４）から物体データ（１３４）を決定するステップ（４８６）であって、前記物体データ（１３４）は、前記現実シーン（１０６）の中の前記マーカー（１１２）の周囲に配置された物体部分（１１４）の写真（１１８）及び物体部分（１１４）の位置を示す物体部分位置決め情報を表す、ステップと、
   前記物体データ（１３４）及び前記仮想画像データ（１４０）を使用して、前記物体部分（１１４）の前記写真（１１８）を参照しながら、前記仮想画像（１２４）を表すために仮想画像（１２４）の位置を示す位置決め規則（１４２）を確認するステップ（４９２）と、
   を備える方法において、
   前記現実シーンの更に進んだ写真（１２０）に前記仮想画像（１０６）を重ね合わせるために、前記位置決め規則（１４２）を使用するステップ（４９４）を備え、
   前記使用するステップ（４９４）は、更に進んだ画像データ（３７６）を読み取るステップ（４９５）と、前記更に進んだ画像データ（３７６）から前記物体部分（１１４）の更に進んだ写真（１２２）の位置決めを決定するステップ（４９６）と、前記更に進んだ画像データ（３７６）、前記物体部分（１１４）の前記更に進んだ写真（１２２）の物体部分位置決め情報、及び前記位置決め規則（１４２）を使用して、重ね合わされた画像データ（３７４）を作成するステップ（４９７）と、を備え、そこでは、前記更に進んだ画像データ（３７６）は、前記携帯デバイス（１００）の前記環境センサ（１０２）によって取り込まれた前記現実シーン（１０６）の前記更に進んだ画像（１２０）を表し、前記重ね合わされた画像データ（３７４）は、前記現実シーン（１０６）の前記更に進んだ写真（１２０）に前記仮想画像（１２４）を重ね合わせたものを表す
   ことを特徴とする方法。
2. 請求項１に記載の方法であって、
   前記画像データ（３６４）は現実画像データを表し、前記物体データ（１３４）は現実物体データを表し、且つ前記物体部分（１１４）は現実物体部分を表す、方法。
3. 請求項１又は請求項２に記載の方法であって、
   前記位置決め規則（１４２）を確認する前記ステップ（４９２）は、前記マーカーデータ（１３２）又は前記マーカーデータ（１３２）の少なくとも一部を使用して確認される、方法。
4. 請求項１から請求項３のいずれか一項に記載の方法であって、
   前記読み取るステップ（４８０，４８８）、前記決定するステップ（４８４，４８６）、及び前記確認するステップ（４９２）の連続的な繰り返しは、特に１秒あたり数回の短い時間間隔で実施される、方法。
5. 請求項１から請求項４のいずれか一項に記載の方法であって、
   前記位置決め規則（１４２）を前記確認するステップ（４９２）は、測定デバイスの測定値を使用して確認され、ここで前記測定デバイスは、特に、携帯デバイスの加速度センサ、回転センサ、磁力計、又はＧＰＳ受信器である、方法。
6. 請求項１から請求項５のいずれか一項に記載の方法であって、
   前記マーカーデータ（１３２）の少なくとも一部を外部デバイス（１３０）に対するインタフェース（３６０）へ提供するステップを備え、仮想画像データ（１４０）を前記読み取るステップ（４８８）において、前記仮想画像データ（１４０）は、前記外部デバイス（１３０）に対する前記インタフェース（３６０）を介して読み取られる、方法。
7. 請求項１から請求項６のいずれか一項に記載の方法であって、
   前記マーカーデータ（１３２）を使用して、前記複数の仮想画像データ（２５２）から前記仮想画像データ（１４０）を選択するステップ（４９０）を備える、方法。
8. 請求項１から請求項７のいずれか一項に記載の方法であって、
   前記マーカー（１１２）は、前記マーカー（１１２）の識別表示（１３８）を備えるマシン可読な符号を表し、マーカーデータ（１３２）を前記決定するステップ（４８４）において、前記マーカー（１１２）の前記識別表示（１３８）は、前記マーカーデータ（１３２）の一部として決定される、方法。
9. 請求項７又は請求項８に記載の方法であって、
   前記携帯デバイス（１００）の表示デバイス（１０４）を使用して、前記現実シーン（１０６）の前記更に進んだ写真（１２０）に前記仮想画像（１２４）を重ね合わせたものを表示するステップ（４９８）を備える、方法。
10. 請求項１から請求項９のいずれか一項に記載の方法であって、
    前記携帯デバイス（１００）の前記環境センサ（１０２）を使用して、前記画像データ（３６４）を取り込むステップ（４８２）を備える、方法。
11. 現実シーン（１０６）に仮想画像を重ね合わせるための装置（３７８）であって、
    前記装置（３７８）は、請求項１から請求項１０のいずれか一項に記載の前記方法の前記ステップを履行するためのデバイスを備える、装置。
12. 請求項１１に記載の装置（３７８）を備える、携帯デバイス（１００）。
13. 装置上でコンピュータプログラムが実行される場合、請求項１から請求項１０のいずれか一項に記載の前記方法を実行するためのプログラムコードを有するコンピュータプログラム記憶媒体。

Images