JP7353174B2 - 拡張現実感のための装置および方法 - Google Patents

Description

本発明は、スマートフォンを用いた拡張現実アプリケーションに関する。

拡張現実感は、現実を直接または間接的に見ることを使用し、現実は、追加の情報、通常はコンピュータ生成された情報を現実に重ね合わせることによってさらに増強される。現実を直接見ることを使用する装置は、典型的にはシースルーディスプレイ（Ｓｅｅ-Ｔｈｒｏｕｇｈ Ｄｉｓｐｌａｙ）、すなわち半透明の鏡（通常コンバイナ（Ｃｏｍｂｉｎｅｒ）と呼ばれる）を含み、当該半透明の鏡を通して現実を観察し、重ね合わせた情報と組み合わせることができる。

これらの装置は典型的にはＧＰＳのような位置決め要素と、ジャイロ、加速度計および磁力計を更に含むＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：慣性測定装置）のような方向要素とを含む。

そのような拡張現実感装置の例は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ヘッドマウントディスプレイ）、例えば、マイクロソフトのＨｏｌｏＬｅｎｓである。これらの装置は、典型的には、通常のアイウェアと比較してかさばり、重く、快適性が低く、審美性が低く、高価である。これらの欠点は、ＨＭＤが広く消費者に受け入れられるのを妨げる主な障害の１つである。

これらの欠点を克服するために、拡張現実アプリケーションのために携帯スマートフォンを使用する試みがなされている。携帯スマートフォンには、カメラ、ＧＰＳ、ＩＭＵ、ディスプレイ、プロセッサ、およびワイヤレス接続が内蔵されており、消費者製品として広く使用されている。そのため、携帯スマートフォンは拡張現実感アプリケーションのプラットフォームとして適している。それにもかかわらず、携帯スマートフォンはそれらの表示画面上で現実の間接的な観察のみを可能にする。したがって、拡張現実感のためのスマートフォンアプリケーションが使用されるとき、重ね合わされた情報は、現実そのものではなく、スマートフォンカメラによって取得された現実の画像と組み合わされる。

拡張現実のための携帯スマートフォンアプリケーションは、例えば、ＬａｙａｒおよびＭｅｔａｉｏによって開発されたアプリケーションを含む。

現実を見ることは間接的である、すなわち現実自体とは対照的に現実の画像のみがスマートフォンの表示画面上に現れるので、上述のような携帯スマートフォンアプリケーションは、表示画像が２Ｄであるので、カメラの視野に依存する重大な欠点を有しており、このようなものは、距離感も、オブジェクトのサイズ感も与えず、方向付けを非常に困難にする。
スマートフォン上で拡張現実を提供するための別の試みは、透明な表示スクリーンを有するスマートフォンの導入である。例えば、レノボのＺｕｋ（ｈｔｔｐ：／／ｇａｄｇｅｔｓ．ｎｄｔｖ．ｃｏｍ／ｍｏｂｉｌｅｓ／ｎｅｗｓ／ｌｅｎｏｖｏｓ-ｚｕｋ-ｕｎｖｅｉｌｓ-ｔｒａｎｓｐａｒｅｎｔ-ｄｉｓｐｌａｙ-ｓｍａｒｔｐｈｏｎｅ-ｐｒｏｔｏｔｙｐｅ-７２８０４３）である。このアプリケーションでは、追加情報が表示画面に表示されている間、ユーザは透明なスクリーンを通して現実を見ることができる。主な欠点は、視差のために表示された情報を風景に合わせることができない、すなわち、スマートフォンが安定していてユーザが頭を動かすと、風景上の注釈の位置が変わることである。これは、スマートフォンのディスプレイが近くにある（通常２３ｃｍから３０ｃｍ）のに対し、風景が遠い（通常は数十メートルから数百メートル）ためである。
米国特許出願公開２０１４／１０４６９２号明細書は、ヘッドマウント可能な表示装置を開示しており、当該装置は、ユーザの頭部へ搭載可能なフレームを備えており、ユーザの目の前に位置する目への表示位置を決めている。モバイルデバイス・ホルダーは、フレーム上でモバイルデバイスを保持している。保持されているモバイルデバイスのスクリーンの反射画像は、ユーザの視野上で投影されている。
米国特許出願公開２０１２／０５０１４４号明細書は、ウェアブル・ヘッドマウント拡張現実装置を開示しており、当該装置は、表示画面と、反射装置と、計算装置とを備えることで、ユーザは、現実の風景に重畳された、表示装置からの反射を見ることができる。
米国特許出願公開２０１４／１５２５３１号明細書は、モバイルデバイスからの画像を表示するヘッドマウント表示デバイスを開示している。

米国特許出願公開２０１４／１０４６９２号明細書 米国特許出願公開２０１２／０５０１４４号明細書

レノボのＺｕｋ（ｈｔｔｐ：／／ｇａｄｇｅｔｓ．ｎｄｔｖ．ｃｏｍ／ｍｏｂｉｌｅｓ／ｎｅｗｓ／ｌｅｎｏｖｏｓ-ｚｕｋ-ｕｎｖｅｉｌｓ-ｔｒａｎｓｐａｒｅｎｔ-ｄｉｓｐｌａｙ-ｓｍａｒｔｐｈｏｎｅ-ｐｒｏｔｏｔｙｐｅ-７２８０４３）

本発明は、それ自体知られているように通常の携帯スマートフォンを拡張現実デバイスとして使用することによって上記の欠点を克服するが、現実の画像上というよりむしろ現実自体の上に重ね合わされる情報を組み合わせることのさらなる強化を伴う。このようにして、本発明は、以下で明らかになるように、重ね合わせを視差なしで組み合わせることを提供する。

本発明による拡張現実システムはまた、スマートフォン位置、カメラの向き、およびオブジェクト画像を使用して、建物などのユーザによる現実のオブジェクトの指定、およびストリートビューなどのデータベースからのその位置の抽出を可能にする。

同様に、オブジェクトの位置が分かっているとき、システムはユーザにオブジェクトを向けてそのオブジェクトを指定することができる。

どちらの場合も、オブジェクトが指定されると、そのオブジェクトの高解像度画像をストリートビューなどのデータベースから抽出できる。

オブジェクトの高解像度画像がデータベースから抽出されると、その画像を現実に重ね合わせることができ、ユーザによる電子ズームインおよびズームアウト操作を実行することが可能になる。

そのようなデータベースがない場合、ディープラーニング（すなわち、ヤン・ルクン、ヨシュア・ベンギオ＆ジェフリー・ヒントン、「ディープラーニング」、ネイチャー、ｖｏｌ．５２１、ｐｐ４３６‐４４４，２０１５）のような既知のトレーニング方法を使用して、画像に基づいて既知の座標に頼ることなく、オブジェクトの画像から、オブジェクトまでの距離を決定／推定できる。そのような方法を訓練するために、訓練アルゴリズムは、各画像内の少なくとも１つの目標位置への既知の深度（カメラからの画像内の点の距離）を有する大きなデータセットの画像が与えられる。このトレーニングセットから、アルゴリズムは、新しい画像内の所望の位置への距離推定のためのパラメータのセットを自動的に決定する。

本発明を理解し、実際にどのように実施することができるかを見るために、添付の図面を参照しながら、非限定的な例として実施形態を説明する。

ビューワが機械的に取り付けられているスマートフォンを示す本発明の概略図である。 本発明の第１の実施形態によるビューワの機能を示すブロック図である。 本発明の第２の実施形態による、スマートフォンの表示画面に対するビューワの光学部品を概略的に示す図である。 第２の実施形態による、関心領域に対応するスマートフォンの表示画面の一部を概略的に示す図である。 第２の実施形態による、スマートフォンに取り付けられたビューワの絵図である。 スマートフォンの表示画面に関連してビューワの光学部品を絵で示している。 本発明の第３の実施形態を概略的に示すブロック図である。 本発明の異なる実施形態に従ってオブジェクトを指定することができる方法を簡潔化した流れ図である。

いくつかの実施形態の以下の説明では、２つ以上の図に現れるかまたは類似の機能を共有する同一の構成要素は、同一の参照符号によって参照される。

図１は、ビューワ２（アクセサリを構成する）が機械的に取り付けられているスマートフォン１００を示す本発明の実施形態を概略的に示す。ビューワ２は、図２に示すように、光学エンジン２２に結合されたコントローラ２１を含むハウジング１０２を含み、光学エンジン２２は、任意選択でＬｕｍｕｓ ＯＥ-３２とすることができる（ｈｔｔｐ：／／ｌｕｍｕｓ-ｏｐｔｉｃａｌ．ｃｏｍ／＃ｐｌｘ＿ｐｒｏｃｕｃｔｓ＿ｓｅｃｔｉｏｎを参照）。光学エンジン２２は、部分的に透明であるシースルーディスプレイ（コンバイナ）２３を有する。これにより、ユーザは、現実の風景をシースルーディスプレイ２３を通して見ることができる。シースルーディスプレイ２３はまた、スマートフォン１００によって生成されたオーバーレイ情報を風景の上に投影するためにも使用される。

ビューア２の第１の実施形態は、図２にさらに詳細に示されている。コントローラ２１は、ＵＳＢレシーバ２５を有しており、ＵＳＢレシーバ２５は、スマートフォンＵＳＢポート（図示せず）に接続するように構成され、当該スマートフォンによって生成されたＵＳＢ信号を、その構成要素、すなわち、コントロール（Ｉ２Ｃ：Ｉｎｔｅｒ‐Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ。既知の技術）、パワー、ビデオに分割する。また、ＵＳＢレシーバは、ビデオ信号をパラレルの２４ビットＲＧＢ信号に変換する。この変換されたビデオ信号は、フレームレートコンバータ（ＦＲＣ：Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｔｅｒ）２６に伝達され、フレームレートコンバータ（ＦＲＣ）２６は、変換されたビデオ信号がＦＲＣ２６によって供給されるマイクロディスプレイ２７に適合するようにビデオフレームレートを増加させる。マイクロディスプレイ２７は、有機ＬＥＤ（ＯＬＥＤ：Ｏｒｇａｎｉｃ ＬＥＤ）とすることができるが、ＬＣＯＳ（液晶オンシリコン：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）であれば、より高い照度が達成される。マイクロディスプレイ２７がＬＣＯＳ技術上に構築されている場合、Ｉ２Ｃ信号は、マイクロディスプレイに照射するＬＥＤ３２の強度を制御するパルス幅変調器（ＰＷＭ：Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｏｒ）２８に供給される。ＬＣＯＳマイクロディスプレイ２７は、結合型光学素子（Ｃｏｕｐｌｅｄ‐ｉｎ ｏｐｔｉｃｓ）３０を介してシースルーディスプレイ２３に画像を送り、結合型光学素子３０は、マイクロディスプレイによって生成された画像をシースルーディスプレイに光学的に投影する。Ｉ２Ｃ信号は、マイクロディスプレイ２７およびＦＲＣ２６を制御するためにも使用される。マイクロディスプレイ２７がＯＬＥＤであるというあまり好ましくないケースでは、ＰＷＭ２８およびＬＥＤ３２は省かれ、Ｉ２Ｃ信号がＯＬＥＤを直接制御する。電力はＵＳＢレシーバ２５を介して関連する構成要素に、すなわち、マイクロディスプレイ２７およびＬＥＤ３２に供給される。あるいは、外部電池（図示せず）を使用してスマートフォン機の電池の消耗を最小限に抑えることができる。

あるいは、スマートフォンのＵＳＢインターフェースを使用する代わりに、Ｍｏｔｏ-Ｚインターフェース（ｈｔｔｐ：／／ｎｅｗａｔｌａｓ．ｃｏｍ／ｍｏｔｏ-ｚ-ｒｅｖｉｅｗ／４４４８５／）などの別のスマートフォン接続を使用することもできる。

シースルーディスプレイ２３に表示される画像は、好ましくは無限遠で現実の風景に重ね合わされるので、風景と重ね合わされた情報との間に視差は存在しない。

別の実施形態が図３および図４に概略的に示されている。ビューワ２のハウジング１０２は、直接またはアダプタを使用して、スマートフォン１００に機械的に取り付けられている。スマートフォンにアクセサリを取り付けるための機械的手段は当技術分野において公知である。例えば、Ｍｉｇｇｏ'ｓ Ｐｉｃｔａｒ ｉＰｈｏｎｅ（登録商標）カメラアクセサリー（ｈｔｔｐｓ：／／ｗｗｗ．ｄｐｒｅｖｉｅｗ．ｃｏｍ／ｎｅｗｓ／１２１９７６３８３５／ｍｉｇｇｏ-ｗａｎｔｓ-ｔｏ-ｄｓｌｒ-ｙｏｕｒ-ｉｐｈｏｎｅ-ｗｉｔｈ-ｔｈｅ-ｐｉｃｔａｒ-ｇｒｉｐ）またはＺｅｉｓｓのレンズアクセサリー（ｈｔｔｐｓ：／／ｐｅｔａｐｉｘｅｌ．ｃｏｍ／２０１６／０１／０６／ｚｅｉｓｓ-ｉｓ-ｊｕｍｐｉｎｇ-ｉｎｔｏ-ｔｈｅ-ｗｏｒｌｄ-ｏｆ-ｓｍａｒｔｐｈｏｎｅ-ｌｅｎｓ-ａｃｃｅｓｓｏｒｉｅｓ／）である。スマートフォンの表示画面２００に表示された情報（この例では、図４の関心領域２０１上の数字「１２３４」）は、ビューワ２によって現実の風景の上に投影される。これが行われる方法を次に説明する。

したがって、全体的に１０８として示される光学素子に向けてミラー１０４から光を向けるために、ビューワ２は、スマートフォンの表示画面２００に向けられた反射面を有するミラー１０４を含む。光学素子１０８は、スマートフォンの表示画面上に表示された情報の画像を、好ましくは無限遠で作成し、これによって風景との視差がなくなる。光学素子１０８は、当該光学素子１０８を上下に移動させるための集光機構（図示せず）と一体化または結合することにより、表示情報が無限遠からの距離、好ましくは数メートルまでの距離で現れるようにできるので、屋内アプリケーション用のビューアとして使用することができる。半透明ミラー（コンバイナ）１０６は、この画像を観察者の眼２０３に向ける。その結果、観察者は、半透明ミラー１０６を介して観察者からも見られる現実の風景の上に重ねて、投影された情報２００'を無限遠に見る。

この実施形態のより詳細な説明は、図５ａおよび５ｂに示される。ビューワ２はスマートフォン１００に取り付けられている。観察者２０３（図３）は、開口部１０３を通して風景と重ね合わせた情報を観察する。

光学素子１０８のさらなる詳細は図５ｂに示されている。光学素子１０８は、２つの同一のダブレット（ｄｏｕｂｌｅｔ）１０８'、１０８”を含み、ミラー１０４を介してダブレットでの合成後焦点面の像がスマートフォンの表示画面２００と一致するように設計される。その結果、スマートフォンの表示画面の画像が無限遠に作成される。図５ｂには、視野の端部における歪みおよび収差を補正するために使用される視野レンズ１０７も示されている。

この実施形態の典型的なパラメータは以下の通りである。
・関心領域２０１の寸法は、４０ｍｍ（水平）および２２．５ｍｍ（垂直）である。
・光学素子１０８は、典型的には７５ｍｍの焦点距離のものであるので、関心領域２０１は、３０°（水平）および１６．７°（垂直）の視野に投影される。
（垂直）。

別の実施形態は、マイクロディスプレイ２７の代わりに結合型光学素子３０（図２に示される）への入力としてスマートフォンの表示画面を使用する。

異なる視野をもたらすように異なるパラメータを有する同様の設計を行うことができることは当業者には明らかである。

図６は、結合型光学素子３０に結合されて、スマートフォン表示画面２００上の関心領域２０１からシースルーディスプレイ２３へ画像を直接投影する別の実施形態を示す。結合光学素子は、関心領域２０１の大きさに適合されている。シースルーディスプレイ２３は、Ｇｏｏｇｌｅ Ｇｌａｓｓ、Ｅｐｓｏｎ Ｍｏｖｅｒｉｏ、ＯＤＧ Ｒ-７、Ｖｕｚｉｘ Ｓｍａｒｔ Ｇｌａｓｓｅｓなどのスマートメガネに使用される同様のシースルーディスプレイとすることができる。シースルーディスプレイは、上述したＬｕｍｕｓ ＯＥ-３２（Ｌｕｍｕｓにより「ＬＯＥ」または「反射型光導波路」と呼ばれる）またはＭｉｃｒｏｓｏｆｔ Ｈｏｌｏｌｅｎｓで使用されているものなどの導波路ベースのディスプレイの１つであり得る。

オブジェクト上に（現実にもその画像上にも）関連情報を重ね合わせるためには、オブジェクトを正しく指定すること、すなわちスマートフォンの位置、オブジェクトが見られる方向および距離、ならびにオブジェクトの画像を知るべきことが重要である。これはまた、異なる場所にいる他のビューワへのオブジェクトの指定を可能にするためにも重要である。場合によっては、例えば遠くから見たときに、図１の１０１として示されるスマートフォンカメラを使用する表示画面上でも裸眼でも、オブジェクトを鮮明に観察することができない。このような場合、ユーザに高解像度の画像を提供し、それを（ディスプレイ画面上または現実に）オブジェクト上に重ね合わせることも重要である。

画像を拡大／縮小する方法は２つある。「従来の」方法は、ズームレンズを使用することによって光学素子の焦点距離を変えるために光学ズームを使用することである。焦点距離が増加すると視野は狭くなり（「ズームイン」と呼ばれる）、焦点距離が短くなると視野は広くなる（「ズームアウト」と呼ばれる）。

デジタルカメラで一般的なもう１つの方法は、画像の一部分だけを見て、デジタル技術を使用してそれを拡大してすべての画面領域をカバーすることによって、画像を拡大することである。これは通常「電子ズーム」と呼ばれる。

以下のように、本発明は改善されたズーミングを提供する。オブジェクトが指定されると、そのオブジェクトの高解像度画像がデータベース（ストリートビューなど）から抽出され、現実（またはその画像）に重ね合わされる。このようにして、我々は、スマートフォンを有する観察者がオブジェクトの高解像度画像化を可能にしない距離に位置していても、オブジェクトの高解像度画像を見る能力を提供する。

説明したように、オブジェクトを指定できる方法は、次の２つの方法のいずれかで行うことができる。

１．図７に示すように、ユーザはビューワをオブジェクトに向ける。スマートフォンの位置および方向、ならびにスマートフォンカメラによって取得されたオブジェクトの画像は、ストリートビューなどのデータベースから、オブジェクトデータ、すなわち座標および画像を抽出するために使用される。これは次のようにして行うことができる。スマートフォンカメラの位置と方向を使用して、オブジェクトの粗い位置が計算される。スマートフォンカメラによって取得されたオブジェクトの画像は、この粗い位置でストリートビューデータベースの画像と照合され、オブジェクトはストリートビューデータベースで識別される。ストリートビューデータベースには、ストリートビューカメラの位置と共にカメラからオブジェクトまでの距離と方向が含まれている。このデータを使用して、オブジェクトの位置を特定することができる。

２．システムは、オブジェクトの既知の位置座標を使用してユーザをそのオブジェクトに向ける。既知の座標は、ストリートビューなどのデータベースにも送信される。

どちらの場合も、オブジェクトの高解像度画像がデータベースから抽出されると、その画像はスマートフォンの位置から見たように見え、現実に重ね合わされるように変換され、ユーザによる電子ズームインおよびズームイン操作を実行することが可能になる。

Claims (8)

1. 携帯装置（１００）の表示画面（２００）に対して搭載して、前記携帯装置（１００）の前記表示画面上に表示される情報を現実に投影することにより、前記携帯装置を携帯拡張現実装置とするためのアクセサリ（２）であって、前記携帯装置（１００）は、アクセサリ（２）の使用中、ユーザの手によって保持されており、
   ハウジング（１０２）であって、表面および裏面と、前記表面から前記裏面に延びる表開口（１０３）であって当該表開口によってユーザが拡張現実を体感できる前記表開口（１０ ３）と、前記裏面上の裏開口（１０９）とを有する前記ハウジング（１０２）であって、 前記表示画面（２００）の一部分（２０１）に前記裏開口を重ね合わせることで前記携帯装置に機械的に取り付けるように構成された前記ハウジング（１０２）と、
   前記表面と前記裏面との間の前記表開口内に配置された半透明ミラー（１０６）と、
   前記ハウジング内の観察光学素子（１０４、１０８）であって、前記携帯装置で生成されて、前記表示画面の前記一部分で表示される情報の画像を前記アクセサリの前記裏面を通して取得するように構成され、更に、ユーザの目（２０３）を前記情報の画像に向けさせるために前記半透明ミラー（１０６）上で前記情報の画像を前記現実に投影するように構成されることにより、前記携帯装置上に搭載された前記アクセサリで前記携帯装置を保持する前記ユーザが、前記アクセサリの前記表開口を通して、前記現実に重ね合わされた前記情報の画像を見ることができる、前記観察光学素子と、
   を備えた、アクセサリであって、
   ここで、前記観察光学素子は、
   前記表示画面（２００）に向けられた反射面を有することにより、光を前記表示画面から光学素子（１０８）に向けることができ、当該光学素子は、無限遠で前記表示画面上に表示される前記情報の画像を作成するように構成された、ミラー（１０４）と、
   を備える、アクセサリ。
2. 前記携帯装置（１００）がスマートフォンである、請求項１に記載のアクセサリ。
3. 前記光学素子（１０８）は、一対の光学ダブレット（１０８'、１０８”）を有し、当該光学ダブレットは、前記ミラー（１０４）を通じて、ダブレットでの合成後の焦点面の像が前記表示画面（２００）と一致するように構成される、請求項１に記載のアクセサリ。
4. 前記光学素子（１０８）は、当該光学素子を移動させるための集光機構と一体化または結合することにより、表示された情報が、無限遠よりも近い距離、数メートルまで近づき、これにより、屋内アプリケーション用のビューアとして使用することができる、請求項１または３に記載のアクセサリ。
5. 更に、前記光学素子の視野の端部における歪みおよび収差を補正するように構成される視野レンズ（１０７）を備える、請求項１または請求項４に記載のアクセサリ。
6. 前記ハウジングは、前記表示画面の縮小部分の画像を取得できるように配置されており 、前記表示画面の残りの部分は、前記ハウジングによっては覆い隠さない、請求項１または請求項２に記載のアクセサリ。
7. 更に、前記携帯装置によって表示された特定のオブジェクトの高解像度画像を取得し、当該高解像度画像を現実に重ね合わせるように構成された、請求項１から６のいずれか一項に記載のアクセサリ。
8. データベースから前記オブジェクトの前記高解像度画像を抽出し、前記携帯装置の位置から見たように見えるように当該画像を変換することによって、ユーザによって電子ズームインおよび電子ズームアウトの操作が可能になる、請求項７に記載のアクセサリ。

Images