JP7295641B2 - 水平視差ステレオパノラマ取込方法 - Google Patents

Description

本書に記載の実施形態は、概ね光学システム及び処理方法に係り、特に、一台のカメラ又は多数のカメラを利用するパノラマステレオ光学システムを用いた画像や映像を含む水平視差ステレオパノラマの取り込みに関する。

水平視差ステレオパノラマを取り込む既存方法は、一台の移動カメラ又は多数のカメラの使用を含む。一台の移動カメラは、時間毎の一連の画像として水平視差ステレオパノラマを取り込み、更に画像をつなぎ合わせるために姿勢補正及び位置合わせが必要である。また、水平視差を解消し人間が適宜消費できるようにしなければならない。一台の移動カメラを使用する際の主な欠点は、静止シーンにしか適用できないということである。多数のカメラで水平視差ステレオパノラマを取り込むという方法では、一般的に同期マルチカメラ装備が必要となり、大規模かつ高価になる。また、多数の画像のつなぎ合わせと水平視差という両課題を解消し、画像を人間が適宜消費できるようにするための計算量が膨大になる。

このため、静的シーン及び動的シーンを水平視差ステレオパノラマに取り込む小型パノラマステレオ光学システム及び処理方法が求められている。

上記に鑑みて、本実施形態は、水平視差ステレオパノラマを取り込むシステムを提供する。当該システムは、多面選択光反射ユニット、二次反射体及び演算ユニットを含む。多面選択光反射ユニットは、（ａ）複数の鏡面及び（ｂ）視野開口を含む。複数の鏡面が密着形状で配置され、（ａ）（ｉ）左眼パノラマ及び（ｉｉ）右眼パノラマの作成に関連する外界の三次元（３Ｄ）シーンからの光線を取得し、（ｂ）光線間で内部反射させることなく光線を反射させる。二次反射体は、多面選択光反射ユニットに取り付けるように構成される。二次反射体は、（ａ）多面選択光反射ユニットからの反射光線を取得し、（ｂ）光線を視野開口に反射させる。二次反射体は、３Ｄシーンの上側部分を反射させる凹レンズを含む。演算ユニットは、（ｉ）二次反射体からの反射光線及び（ｉｉ）凹レンズからの３Ｄシーンの上側部分を視野開口を介して歪み画像の形式で取り込むカメラを含む。プロセッサは、歪み画像を（ａ）左眼パノラマ及び（ｂ）右眼パノラマに加工する。

一実施形態では、プロセッサは、カメラ配向モジュール、歪み画像取得モジュール、校正モジュール、パノラマ作成モジュール及び表示モジュールを含む。カメラ配向モジュールは、（ａ）カメラの視軸を演算ユニットの中心軸と一致させ、（ｂ）二値光パターンを３Ｄシーンのスクリーンに投影する。二値光パターンは、（ｉ）通常二値系列パターン及び（ｉｉ）逆二値系列パターンを含む。通常二値系列パターン及び逆二値系列パターンにより歪み画像を校正する。歪み画像取得モジュールは、カメラから歪み画像を取得する。校正モジュールは、（ａ）各画素における歪み画像から二値光パターンを復号することにより、ワールド座標系から歪み画像座標系へのマッピングを計算し、（ｂ）（ｉ）カメラ及び（ｉｉ）多面選択光反射ユニットの不具合を分析し、（ｃ）ワールド座標系から歪み画像座標系へのマッピングを計算しつつ、分析した不具合を最小限に抑える。パノラマ作成モジュールは、（ａ）各画素における歪み画像の正確な視界を判定し、（ｂ）歪み画像の歪みを取り除いて（ｉ）左眼パノラマ及び（ｉｉ）右眼パノラマにする。表示モジュールは、（ａ）左眼パノラマ及び（ｂ）右眼パノラマをステレオ表示ユニットに表示する。ステレオ表示ユニットは、少なくとも（ａ）ヘッドマウントディスプレイ（ｂ）三次元（３Ｄ）プロジェクタ又は（ｃ）三次元（３Ｄ）ディスプレイのいずれか１つである。

別の実施形態では、複数の鏡面は、（ａ）複数の左鏡面及び（ｂ）複数の右鏡面の連続配置を含む。複数の左鏡面及び複数の右鏡面により（ａ）左眼パノラマに対応する関連光線及び（ｂ）右眼パノラマに対応する関連光線がそれぞれ取得される。

更に別の実施形態では、複数の左鏡面及び複数の右鏡面の連続配置により、（ｉ）（ａ）左眼パノラマ及び（ｂ）右眼パノラマのつなぎ合わせの不自然さを最小限に抑え、（ｉｉ）３Ｄシーンの死角を最小限に抑え、（ｉｉｉ）少なくとも（ａ）左眼パノラマを作成する連続左鏡面又は（ｂ）右眼パノラマを作成する連続右鏡面のいずれか１つの間での視点視差を最小限に抑え、（ｉｖ）３Ｄシーンから取り込んだ光線のむらを最小限に抑える。

更に別の実施形態では、複数の鏡面が湾曲形状である。湾曲形状の複数の鏡面により３Ｄシーンの視野が拡大される。視野は（ａ）水平視野及び（ｂ）垂直視野を含む。更に別の実施形態では、カメラが複数のカメラに置換される。

更に別の実施形態では、（ｉ）複数の左鏡面の個々の左鏡面及び（ｉｉ）複数の右鏡面の個々の右鏡面の鉛直断面が、少なくとも（ａ）直線形状、（ｂ）放物線形状、（ｃ）双曲線形状又は（ｄ）楕円形状のいずれか１つである。（ｉ）複数の左鏡面の個々の左鏡面及び（ｉｉ）複数の右鏡面の個々の右鏡面の水平断面図は、少なくとも（ａ）円形状又は（ｂ）直線形状のいずれか１つである。

更に別の実施形態では、カメラが少なくとも（ｉ）デジタルカメラセンサ、（ｉｉ）ハイパースペクトル撮像センサ、（ｉｉｉ）赤外線画像センサ又は（ｉｖ）暗視センサのいずれか１つである。

更に別の実施形態では、カメラが、左視界及び右視界に対応する多面選択光反射ユニットからの光線を、パノラマステレオディスプレイとして作用するスクリーンに投影するプロジェクタに置換される。

更に別の実施形態では、カメラが二次反射体の位置に配置され、多面選択光反射ユニットからの反射光線を直接取得する。凹レンズが、３Ｄシーンの上側部分をカメラに反射するために多面選択光反射ユニットの底面に配置される。

別の態様として、水平視差ステレオパノラマを取り込む方法を開示する。この方法は、（ａ）多面選択光反射ユニットを使用して、（ｉ）左眼パノラマ及び（ｉｉ）右眼パノラマの作成に関連する外界の三次元（３Ｄ）シーンからの光線を取得するステップと、（ｂ）多面選択光反射ユニットを使用して、光線を少なくとも（ｉ）二次反射体又は（ｉｉ）カメラのいずれか１つに反射させるステップと、（ｃ）カメラを使用して、少なくとも（ｉ）二次反射体又は（ｉｉ）多面選択光反射ユニットのいずれか１つからの歪み画像の形式の反射光線と、凹レンズからの３Ｄシーンの上側部分とを取り込むステップと、（ｄ）演算ユニットを使用して、歪み画像を（ａ）左眼パノラマ及び（ｂ）右眼パノラマに加工するステップと、を含む。

一実施形態では、上記加工は（ａ）カメラ配向モジュールを使用して、カメラの視軸を演算ユニットの中心軸と一致させるステップと、（ｂ）カメラ配向モジュールを使用して、二値光パターンを３Ｄシーンのスクリーンに投影するステップと、（ｃ）歪み画像取得モジュールを使用して、カメラから歪み画像を取得するステップと、（ｄ）校正モジュールを使用して、ワールド座標系から歪み画像座標系へのマッピングを計算するステップと、（ｅ）校正モジュールを使用して、（ｉ）カメラ及び（ｉｉ）多面選択光反射ユニットの不具合を分析するステップと、（ｆ）校正モジュールを使用して、ワールド座標系から歪み画像座標系へのマッピングを計算しつつ、分析した不具合を最小限にするステップと、（ｇ）パノラマ作成モジュールを使用して、各画素における歪み画像の正確な視界を判定するステップと、（ｈ）パノラマ作成モジュールを使用して、歪み画像の歪みを取り除いて左眼パノラマ及び右眼パノラマにするステップと、（ｉ）表示モジュールを使用して、（ａ）左眼パノラマ及び（ｂ）右眼パノラマをステレオ表示ユニットに表示するステップと、を含む。

パノラマステレオ光学システムは、均一な解像度で視差ステレオパノラマを取り込む。パノラマステレオ光学システムは、速やかに歪み画像を処理し、リアルタイムで水平視差ステレオパノラマにする。パノラマステレオ光学システムは、歪み画像を取り込み、更に演算装置において後処理を可能にするために使用される。

本実施形態のこれら態様及びその他態様については、以下の説明ならびに添付図面と併せて検討することで一層よく認識され理解される。しかし、以下の説明は、好ましい実施形態や具体的詳細を多数示すものであるが、説明のためのものであって限定のためのものではないと理解しなければならない。本実施形態の精神から逸脱せず、本実施形態の範囲内において、様々な変更や修正を行うことができ、本実施形態は、このような修正の全てを含む。

本実施形態は、下記の図面を参照する下記の詳細説明から一層よく理解される。

図１Ａは、本書の第１実施形態に係る水平視差ステレオパノラマを取り込む二次反射体を含むパノラマステレオ光学システムの側面図である。

図１Ｂは、本書の第２実施形態に係る二次反射体のない水平視差ステレオパノラマを取り込むパノラマステレオ光学システムを示した図である。

図２は、本実施形態に係る演算ユニットのプロセッサの分解図である。

図３は、本実施形態に係る多面選択光反射ユニットの斜視図である。

図４は、本実施形態に係る多面選択光反射ユニットの複数の鏡面の上面図である。

図５は、本実施形態に係る多面選択光反射ユニットの鏡面の水平断面の典型的な実施形態を示した図である。

図６は、本実施形態に係る多面選択光反射ユニットの複数の鏡面により取り込まれた視野を示した図である。

図７は、第１実施形態に係る図１Ａのパノラマステレオ光学システムを用いた水平視差ステレオパノラマの取込方法を示した図である。

図８は、第２実施形態に係る図１Ｂのパノラマステレオ光学システムを用いた水平視差ステレオパノラマの取込方法を示した図である。

図９は、本実施形態に係る歪み画像を左眼パノラマと右眼パノラマに処理する方法を示した図である。

図１０は、本実施形態に係る多面選択光反射ユニットの製造工程である。

図１１は、本実施形態で使用するコンピュータアーキテクチャの概略図である。

本実施形態や、その種々の構成及び効果の詳細について、添付図面に示され、また、以下に詳述する非限定的実施形態を参照し、より詳しく説明する。本実施形態を必要以上に分かりづらくしないように周知の構成要素や処理技術の説明は省略する。本書の例示は、本実施形態の実施方法を理解しやすくし、更に当業者が本実施形態を実施できるようにすることを意図したものである。従って、例示により本実施形態の範囲が限定されると理解してはならない。

上述のとおり、静的シーン及び動的シーンを（例えば画像や映像を含む）水平視差ステレオパノラマに取り込むシステムが求められている。本実施形態は、多面選択光反射ユニット、演算ユニット及びカメラを備え、水平視差ステレオパノラマを取り込むパノラマステレオ光学システムを提供することにより、これを達成する。図面、具体的には図１Ａ～図１１を参照すると好ましい実施形態が示されており、全ての図面では一貫して同一参照符号が一致対応構成を示している。

図１Ａは、水平視差ステレオパノラマを取り込む二次反射体１０６を備える本書の第１実施形態に係るパノラマステレオ光学システムの側面図である。パノラマステレオ光学システムは、演算ユニット１０２、多面選択光反射ユニット１０４及び二次反射体１０６を含む。多面選択光反射ユニット１０４は、複数の鏡面１１２Ａ～Ｎ及び視野開口１１４を含む。複数の鏡面１１２Ａ～Ｎは、密着形状に配置され、（ａ）（ｉ）左眼パノラマ及び（ｉｉ）右眼パノラマの作成に関連する外界の三次元（３Ｄ）シーンからの光線を取得し、（ｂ）光線間で内部反射させることなく光線を反射させる。二次反射体１０６は、多面選択光反射ユニット１０４の上部に取り付けられる。二次反射体１０６は、（ａ）多面選択光反射ユニット１０４から反射光線を取得し、（ｂ）光線を視野開口１１４に反射させる。二次反射体１０６は、３Ｄシーンの上側部分を屈折させる凹レンズ１１６を中央に有する。演算ユニット１０２は、カメラ１１０とプロセッサを含む。一実施形態において、演算ユニット１０２は、スマートフォン、携帯情報端末、タブレット、電子手帳等である。カメラ１１０は、（ｉ）二次反射体１０６からの反射光線と、（ｉｉ）凹レンズ１１６からの３Ｄシーンの上側部分を視野開口１１４を通った歪み画像の形式で取り込む。歪み画像は、人間が視認することはできない。プロセッサは、歪み画像を（ａ）左眼パノラマ及び（ｂ）右眼パノラマに加工する。一実施形態では、プロセッサが、後処理中に遠隔ユニットにおいて歪み画像を加工する。

二次反射体１０６は、少なくとも（ｉ）放物面反射体又は（ｉｉ）平面反射体のいずれか一つである。放物面反射体は、光線をカメラ１１０に反射させるものであり、３Ｄシーンの上側部分よりも３Ｄシーンの下側部分の方が解像度がよい。パノラマステレオ光学システムは、コネクタ１０８を更に含み、多面選択光反射ユニット１０４と二次反射体１０６を接続する。コネクタ１０８は、透明であり、外界の３Ｄシーンからの光線を取り込む際の妨げとならない。一実施形態において、パノラマステレオ光学システムは、水平視差ステレオパノラマとともに音声を取り込む１又は２以上のマイクを含む。

図１Ｂには、図１Ａの二次反射体１０６なしで水平視差ステレオパノラマを取り込む本書の第２実施形態に係るパノラマステレオ光学システムが示されている。パノラマステレオ光学システムは、演算ユニット１０２及び多面選択光反射ユニット１０４を含む。多面選択光反射ユニット１０４は、演算ユニット１０２に取り付けられ、二次反射体１０６がないため小型構成となる。多面選択光反射ユニット１０４は、（ａ）複数の鏡面１１２Ａ～Ｎ、（ｂ）視野開口１１４及び（ｃ）凹レンズ１１６を含む。多面選択光反射ユニット１０４は、３Ｄシーンからの光線を受けて、二次反射体１０６なしで光線をカメラ１１０に直に反射させる。凹レンズ１１６は、３Ｄシーンの上側部分をカメラ１１０に反射させる。カメラ１１０は、多面選択光反射ユニット１０４からの反射光線と、凹レンズ１１６からの３Ｄシーンの上側部分とを歪み画像の形式で取得する。プロセッサは、歪み画像を（ａ）左眼パノラマ及び（ｂ）右眼パノラマに加工する。

図２は、本実施形態に係る演算ユニット１０２のプロセッサの分解図である。プロセッサには、（ａ）データベース２０２、（ｂ）カメラ配向モジュール２０４、（ｃ）歪み画像取得モジュール２０６、（ｄ）校正モジュール２０８、（ｄ）パノラマ作成モジュール２１０及び（ｅ）表示モジュール２１２を含む。データベース２０２は、今後の参照用に歪み画像及び水平視差ステレオパノラマを記憶する。カメラ配向モジュール２０４は、（ａ）カメラ１１０の視軸を演算ユニット１０２の中心軸と一致させ、（ｂ）二値光パターンを３Ｄシーンのスクリーン上に投影する。歪み画像取得モジュール２０６は、カメラ１１０から歪み画像を取得する。校正モジュール２０８は、（ａ）各画素において歪み画像から二値光パターンを復号することにより、ワールド座標系から歪み画像座標系へのマッピングを計算し、（ｂ）（ｉ）カメラ１１０及び（ｉｉ）多面選択光反射ユニット１０４の不具合を分析し、（ｃ）ワールド座標系から歪み画像座標系へのマッピングを計算しつつ、分析された不具合を最小限に抑える。二値光パターンは、（ｉ）通常二値系列パターン及び（ｉｉ）逆二値系列パターンを含む。通常二値系列パターン及び逆二値系列パターンは、歪み画像を校正し、歪みを取り除くように構成される。パノラマ作成モジュール２１０は、（ａ）歪み画像の正確な視野を各画素で判定し、（ｂ）歪み画像の歪みを取り除いて（ｉ）左眼パノラマ及び（ｉｉ）右眼パノラマにする。表示モジュール２１２は、（ａ）左眼パノラマ及び（ｂ）右眼パノラマをステレオ表示ユニットに表示する。ステレオ表示ユニットは、少なくとも（ａ）ヘッドマウントディスプレイ（ｂ）三次元（３Ｄ）プロジェクタ又は（ｃ）三次元（３Ｄ）ディスプレイのいずれか１つである。

図３は、本実施形態に係る多面選択光反射ユニット１０４の斜視図である。多面選択光反射ユニット１０４は、密着形状の剛性鏡であり、複数の鏡面１１２Ａ～Ｎ及び視野開口１１４を含む。複数の鏡面１１２Ａ～Ｎの鏡面数は、アプリケーションに基づいて変更してもよい。複数の鏡面１１２Ａ～Ｎは、（ａ）複数の左鏡面及び（ｂ）複数の右鏡面の連続配置を含む。複数の左鏡面は、左眼パノラマに対応する関連光線を取得する。複数の右鏡面は、右眼パノラマに対応する関連光線を取得する。一実施形態では、複数の左鏡面及び複数の右鏡面は、視野を拡大する湾曲形状である。視野は、（ａ）水平視野及び（ｂ）垂直視野を含む。

図４は、本実施形態に係る多面選択光反射ユニット１０４の複数の鏡面１１２Ａ～Ｎの上面図である。複数の鏡面１１２Ａ～Ｎを上から見た場合、複数の鏡面１１２Ａ～Ｎの複数の左鏡面から得られる関連光線の方向は反時計回りである。同様に、複数の鏡面１１２Ａ～Ｎを上から見た場合、複数の鏡面１１２Ａ～Ｎの複数の右鏡面から得られる関連光線の方向は時計回りである。ある実施形態では、複数の左鏡面及び複数の右鏡面の各左鏡面及び各右鏡面の中心は、視野開口１１４の接線上にある。ある実施形態では、複数の鏡面１１２Ａ～Ｎを視野開口１１４に対し垂直に配置することにより子午光線を取り込む。子午光線により左眼パノラマ及び右眼パノラマが構築される。

図５には、典型的な実施形態として本実施形態に係る多面選択光反射ユニット１０４の鏡面１１２Ａの水平断面が示されている。水平断面は、本実施形態に係る単一設計において、左側パノラマ及び右側パノラマを取り込むための鏡面１１２Ａ上の左鏡面及び右鏡面の配置を示している。鏡面１１２Ａは、（ａ）右眼パノラマの関連光線を取得する右鏡面Ｐ１Ｐ２と、（ｂ）左眼パノラマの関連光線を取得する左鏡面Ｐ２Ｐ３を含む。一実施形態では、右鏡面Ｐ１Ｐ２及び左鏡面Ｐ２Ｐ３を等しい角度距離に配置することにより、Ｐ１が円Ｃｍｉｎ上に、Ｐ２がＣｍａｘ上に存在し、右眼パノラマ及び左眼パノラマそれぞれの構築に必要な子午光線の全てを取り込む。同様に、複数の鏡面１１２Ａ～Ｎの連続する右鏡面及び左鏡面を等しい角度距離に配置することにより、Ｐｉ（ｉは偶数）が円Ｃｍａｘ上に、Ｐｊ（ｊは奇数）が円Ｃｍｉｎ上に存在し、右眼パノラマ及び左眼パノラマそれぞれの構築に必要な子午光線の全てを取り込む。

図６には、本実施形態に係る図１Ａの多面選択光反射ユニット１０４の複数の鏡面１１２Ａ～Ｎにより取り込まれた視野が示されている。ある実施形態では、複数の鏡面１１２Ａ～Ｎは湾曲形状である。複数の鏡面１１２Ａ～Ｎが湾曲形状であれば視野が拡大する。視野は（ａ）水平視野及び（ｂ）垂直視野を含む。水平視野は、水平方向において複数の鏡面１１２Ａ～Ｎにより取り込まれた３Ｄシーンの総量である。垂直視野は、垂直方向において複数の鏡面１１２Ａ～Ｎにより取り込まれた３Ｄシーンの総量である。一実施形態では、水平視野は多面選択光反射ユニット１０４の鏡面１１２Ａ～Ｎの数によって変動する。湾曲形状の複数の左鏡面及び複数の右鏡面の連続配置は、複数の左鏡面及び複数の右鏡面の視野の重なりを拡大させる。視野の重なりを拡大させることにより、つなぎ合わせの不自然さを最小限に抑え、３Ｄシーンの欠落領域を取り込むことができる。一実施形態では、複数の鏡面１１２Ａ～Ｎの湾曲形状は、つなぎ合わせの不自然さを解消し、複数の鏡面１１２Ａ～Ｎの隣接面間の相互反射を回避する最適な重なり量が得られるように限定される。（ｉ）複数の左鏡面の個々の左鏡面又は（ｉｉ）複数の右鏡面の個々の右鏡面の少なくとも１つの鉛直断面は、少なくとも（ａ）直線形状、（ｂ）放物線形状、（ｃ）双曲線形状又は（ｄ）楕円形状のいずれか１つである。（ｉ）複数の左鏡面の個々の左鏡面又は（ｉｉ）複数の右鏡面の個々の右鏡面の少なくとも１つの水平断面は、少なくとも（ａ）円形状又は（ｂ）直線形状のいずれか１つである。一実施形態では、水平断面を円形状にすることにより、水平視野が拡大する。鉛直断面を放物線形状にすることにより、鉛直方向の３Ｄシーンの解像度が均一になり、鉛直視野が拡大する。多面選択光反射ユニット１０４の放物線形状において鉛直方向の異なる長さを選択し、求められるサイズにスケーリングすることにより、取り込まれる３Ｄシーンの範囲（つまり視野）が変化する。放物線形状の土台に近い多面選択光反射ユニット１０４の一部を選択すると、多面選択光反射ユニット１０４の視野が放物線形状の土台に向かって傾斜する。一実施形態では、視野を傾斜させることにより、各種アプリケーションにおいてより高い見晴らしのよい位置（例えばドローン環境や部屋の天井等）から水平視差ステレオパノラマを取り込むことができる。

図７には、本実施形態に係る図１Ａのパノラマステレオ光学システムを用いた水平視差ステレオパノラマの取込方法が示されている。ステップ７０２では、多面選択光反射ユニット１０４を使用して、外界の３Ｄシーンからの光線を取得する。ステップ７０４では、多面選択光反射ユニット１０４を使用して、光線を二次反射体１０６へ反射させる。ステップ７０６では、カメラ１１０を使用して、（ａ）二次反射体１０６からの反射光線と、（ｂ）凹レンズ１１６からの３Ｄシーンの上側部分を歪み画像の形式で取り込む。ステップ７０８では、演算ユニット１０２を使用して、歪み画像を（ａ）左眼パノラマ及び（ｂ）右眼パノラマに加工する。別の実施形態では、二次反射体１０６が平面反射体又は放物面反射体であってもよい。

図８には、本実施形態に係る図１Ｂのパノラマステレオ光学システムを用いた水平視差ステレオパノラマの取込方法が示されている。ステップ８０２では、多面選択光反射ユニット１０４を使用して、外界の３Ｄシーンからの光線を取得する。ステップ８０４では、多面選択光反射ユニット１０４を使用して、光線をカメラ１１０へ反射させる。ステップ８０６では、（ａ）多面選択光反射ユニット１０４からの反射光線と、（ｂ）凹レンズ１１６からの３Ｄシーンの上側部分とが、カメラ１１０を使用して歪み画像の形式で取り込まれる。ステップ８０８では、演算ユニット１０２を使用して、歪み画像を（ａ）左眼パノラマ及び（ｂ）右眼パノラマに加工する。

図９には、本実施形態に係る図２の歪み画像を左眼パノラマと右眼パノラマに処理する方法が示されている。ステップ９０２では、カメラ配向モジュール２０４を使用して、カメラ１１０の視軸を演算ユニット１０２の中心軸と一致させる。ステップ９０４では、カメラ配向モジュール２０４を使用して、二値光パターンが３Ｄシーンのスクリーンに投影される。ステップ９０６では、歪み画像取得モジュール２０６を使用して、カメラ１１０から歪み画像を取得する。ステップ９０８では、校正モジュール２０８を使用して、ワールド座標系から歪み画像座標系へのマッピングが計算される。ステップ９１０では、校正モジュール２０８を使用して、カメラ１１０及び多面選択光反射ユニット１０４の不具合を分析する。ステップ９１２では、校正モジュール２０８を使用して、ワールド座標系から画像座標系へのマッピングを行う一方、分析した不具合を最小限に抑える。ステップ９１４では、パノラマ作成モジュール２１０を使用して、各画素において歪み画像の正確な視界を判定する。ステップ９１６では、パノラマ作成モジュール２１０を使用して、歪み画像の歪みを取り除いて左眼パノラマ及び右眼パノラマにする。ステップ９１８では、表示モジュール２１２を使用して、左眼パノラマ及び右眼パノラマをステレオ表示ユニットに表示する。一実施形態では、ステレオ表示ユニットは、少なくとも（ａ）ヘッドマウントディスプレイ（ｂ）三次元（３Ｄ）プロジェクタ又は（ｃ）三次元（３Ｄ）ディスプレイのいずれか１つである。

図１０は、本実施形態に係る多面選択光反射ユニット１０４の製造工程を示したフローチャートである。ステップ１００２において制御点が選択され、多面選択光反射ユニット１０４の鉛直断面のベーススプライン（Ｂスプライン）表現が各アングルに生成される。ステップ１００４において複数の鏡面１１２Ａ～Ｎの各鏡面用の非一様有理Ｂスプライン（ＮＵＲＢＳ）面が作成される。ステップ１００６において、コンピュータ支援設計（ＣＡＤ）フォーマットへのエクスポートにより、コンピュータ数値制御（ＣＮＣ）モデルが生成される。ステップ１００８において、高精度の金型が作成され、鋳物を大量生産するための真空鋳造が行われる。ステップ１０１０において、鋳物にアルミニウムめっきが施され、多面選択光反射ユニット１０４が得られる。ステップ１０１２において、多面選択光反射ユニット１０４は、カメラ１１０とともに組み立てられ、パノラマステレオ光学システムを形成する。一実施形態では、アプリケーションに応じて異なる値をもった制御点が生成される。ある実施形態では、コンピュータ支援設計（ＣＡＤ）フォーマットは、少なくとも（ｉ）初期グラフィック変換仕様又は（ｉｉ）ＣＮＣモデルの生成に使用されるＳＴＥＰのいずれか１つである。

本実施形態を実施する代表的なハードウェア環境を図１１に示す。この概略図は本実施形態に係る情報取扱／演算ユニットのハードウェア構成を示す。演算ユニットは、少なくとも１つのプロセッサ、又は中央プロセッサ（ＣＰＵ）１０を含む。各ＣＰＵ１０はシステムバス１２を介してランダムアクセスメモリ（ＲＡＭ）１４、読出し専用メモリ（ＲＯＭ）１６、入出力（Ｉ／Ｏ）アダプタ１８等の各種装置に相互接続される。Ｉ／Ｏアダプタ１８はディスク装置１１やテープドライブ１３等の周辺装置、又は演算ユニットにより読み取り可能なその他プログラム記憶装置に接続可能である。演算ユニットはプログラム記憶装置上の独創的な指令を読み込み、その指令に従い本実施形態の方法を実行することができる。

演算ユニットは更に、キーボード１５、マウス１７、スピーカ２４、マイク２２、及び／又はタッチスクリーン装置（不図示）等のその他ユーザインターフェース装置、又は遠隔制御をバス１２に接続してユーザ入力を収集するためのユーザインターフェースアダプタ１９を含む。また、通信アダプタ２０がバス１２をデータ処理ネットワーク２５に接続し、表示アダプタ２１がバス１２を、例えばモニタ、プリンタ、送信器等の出力装置として具体化された表示ユニット２３に接続する。

具体的実施形態に関する上記説明は本実施形態の本質を十分に示しており、当業者は現行知識を適用し、上位概念から逸脱することなく、こうした具体的な実施形態を各種応用のために容易に修正及び／又は適合させることができ、このような適合や修正は開示した実施形態と同等の意味及び範囲に含まれると理解しなければならない。本書で採用した表現や用語は説明目的であり、限定目的ではないと理解される。このため、本実施形態を好ましい実施形態の見地から説明したが、当業者は添付請求項の精神と範囲内で本実施形態を修正して実施できると認識するであろう。

Claims (10)

1. （ａ）右眼パノラマに対応する光線を取得する右鏡面及び左眼パノラマに対応する光線を取得する左鏡面によりそれぞれ構成される複数の鏡面（１１２Ａ～Ｎ）及び（ｂ）視野開口（１１４）を有し、前記複数の鏡面（１１２Ａ～Ｎ）が前記視野開口（１１４）を取り囲むように連続配置され、（ｉ）左眼パノラマ及び（ｉｉ）右眼パノラマの作成に関連する外界の三次元（３Ｄ）シーンからの光線を反射させる多面選択光反射ユニット（１０４）と、
   前記多面選択光反射ユニット（１０４）の上部に取り付けられ、（ａ）前記多面選択光反射ユニット（１０４）で反射した前記光線を取得し、（ｂ）前記光線を前記視野開口（１１４）に反射させる二次反射体（１０６）であって、前記３Ｄシーンの上側部分を屈折させ前記視野開口（１１４）に入射させる凹レンズ（１１６）が前記視野開口（１１４）と対向して設けられた二次反射体（１０６）と、
   （ｉ）前記二次反射体（１０６）で反射した前記光線及び（ｉｉ）前記凹レンズ（１１６）からの前記３Ｄシーンの前記上側部分を歪み画像の形式で前記視野開口（１１４）を介して取り込むカメラ（１１０）、並びに、前記歪み画像を（ａ）前記左眼パノラマ及び（ｂ）前記右眼パノラマに加工するプロセッサを有する演算ユニット（１０２）と、を備える水平視差ステレオパノラマ取込システム。
2. 前記プロセッサが
   前記カメラ（１１０）の視軸を前記演算ユニット（１０２）の中心軸と一致させ、
   前記歪み画像を校正するための（ｉ）通常二値系列パターン及び（ｉｉ）逆二値系列パターンを含む二値光パターンを前記３Ｄシーンのスクリーンに投影するカメラ配向モジュール（２０４）と、
   前記カメラ（１１０）から前記歪み画像を取得する歪み画像取得モジュール（２０６）と、
   （ａ）各画素において前記歪み画像から前記二値光パターンを復号することによりワールド座標系から歪み画像座標系へのマッピングを計算し、
   （ｂ）（ｉ）前記カメラ（１１０）及び（ｉｉ）前記多面選択光反射ユニット（１０４）の不具合を分析し、
   （ｃ）前記ワールド座標系から前記歪み画像座標系への前記マッピングを計算しつつ、分析した前記不具合を最小限に抑える校正モジュール（２０８）と、
   （ａ）各画素における前記歪み画像の正確な視界を判定し、（ｂ）前記歪み画像の歪みを取り除いて（ｉ）前記左眼パノラマ及び（ｉｉ）前記右眼パノラマにするパノラマ作成モジュール（２１０）と、
   少なくとも（ａ）ヘッドマウントディスプレイ、（ｂ）三次元（３Ｄ）プロジェクタ又は（ｃ）三次元（３Ｄ）ディスプレイのいずれか１つであるステレオ表示ユニットに（ａ）前記左眼パノラマ及び（ｂ）前記右眼パノラマを表示する表示モジュール（２１２）と、を備えることを特徴とする請求項１に記載のシステム。
3. 前記連続配置された前記複数の左鏡面及び前記複数の右鏡面は、（ｉ）（ａ）前記左眼パノラマ及び（ｂ）前記右眼パノラマのつなぎ合わせの不自然さを最小限に抑え、（ｉｉ）前記３Ｄシーンの死角を最小限に抑え、（ｉｉｉ）少なくとも（ａ）前記左眼パノラマを作成する連続左鏡面、又は（ｂ）前記右眼パノラマを作成する連続右鏡面のいずれか１つの間での視点視差を最小限に抑え、（ｉｖ）前記３Ｄシーンから取り込んだ前記光線のむらを最小限に抑えることを特徴とする請求項１に記載のシステム。
4. 前記複数の鏡面（１１２Ａ～Ｎ）が湾曲形状であり、前記湾曲形状の複数の鏡面（１１２Ａ～Ｎ）により、前記３Ｄシーンの視野が拡大され、前記視野は（ａ）水平視野と（ｂ）垂直視野を含むことを特徴とする請求項１に記載のシステム。
5. 前記カメラ（１１０）が複数のカメラに置換されることを特徴とする請求項１に記載のシステム。
6. （ｉ）前記複数の左鏡面の個々の左鏡面と（ｉｉ）前記複数の右鏡面の個々の右鏡面の鉛直断面が少なくとも（ａ）直線形状、（ｂ）放物線形状、（ｃ）双曲線形状又は（ｄ）楕円形状のいずれか１つであり、（ｉ）前記複数の左鏡面の前記個々の左鏡面と（ｉｉ）前記複数の右鏡面の前記個々の右鏡面の水平断面が少なくとも（ａ）円形状又は（ｂ）直線形状のいずれか１つであることを特徴とする請求項１に記載のシステム。
7. 前記カメラ（１１０）が少なくとも（ｉ）デジタルカメラセンサ、（ｉｉ）ハイパースペクトル撮像センサ、（ｉｉｉ）赤外線画像センサ又は（ｉｖ）暗視センサのいずれか１つであることを特徴とする請求項１に記載のシステム。
8. 前記カメラ（１１０）を前記二次反射体（１０６）の位置に配置し、前記多面選択光反射ユニット（１０４）で反射した前記光線を直接取得し、前記凹レンズ（１１６）が、前記多面選択光反射ユニット（１０４）の底部に配置され、前記３Ｄシーンの前記上側部分を屈折させ前記カメラ（１１０）に入射させることを特徴とする請求項１に記載のシステム。
   
9. （ａ）右鏡面及び左鏡面によりそれぞれ構成される複数の鏡面（１１２Ａ～Ｎ）及び（ｂ）視野開口（１１４）を有する多面選択光反射ユニット（１０４）を使用して、（ｉ）左眼パノラマ及び（ｉｉ）右眼パノラマの作成に関連する外界の三次元（３Ｄ）シーンからの光線を取得するステップと、
   前記多面選択光反射ユニット（１０４）を使用して、前記光線を前記多面選択光反射ユニット（１０４）の上部に取り付けられた二次反射体（１０６）に反射させるステップと、
   前記二次反射体（１０６）を使用して前記光線をカメラ（１１０）に反射するステップと、
   前記カメラ（１１０）を使用して、歪み画像の形式で（ｉ）前記二次反射体（１０６）で反射した前記光線及び（ｉｉ）前記二次反射体（１０６）に設けられた凹レンズ（１１６）で屈折した前記３Ｄシーンの上側部分を取り込むステップと、
   演算ユニット（１０２）を使用して、前記歪み画像を（ａ）前記左眼パノラマ及び（ｂ）前記右眼パノラマに加工するステップと、を備える水平視差ステレオパノラマ取込方法。
10. 前記加工は、
    カメラ配向モジュール（２０４）を使用して、前記カメラ（１１０）の視軸を前記演算ユニット（１０２）の中心軸と一致させるステップと、
    前記カメラ配向モジュール（２０４）を使用して、二値光パターンを前記３Ｄシーンのスクリーンに投影するステップと、
    歪み画像取得モジュール（２０６）を使用して、前記カメラ（１１０）から前記歪み画像を取得するステップと、
    校正モジュール（２０８）を使用して、ワールド座標系から歪み画像座標系へのマッピングを計算するステップと、
    前記校正モジュール（２０８）を使用して、（ｉ）前記カメラ（１１０）及び（ｉｉ）前記多面選択光反射ユニット（１０４）の不具合を分析するステップと、
    前記校正モジュール（２０８）を使用して、前記ワールド座標系から前記歪み画像座標系へのマッピングを計算しつつ、分析した前記不具合を最小限にするステップと、
    パノラマ作成モジュール（２１０）を使用して、各画素において前記歪み画像の正確な視界を判定するステップと、
    前記パノラマ作成モジュール（２１０）を使用して、前記歪み画像の歪みを取り除いて前記左眼パノラマ及び前記右眼パノラマにするステップと、
    表示モジュール（２１２）を使用して、（ａ）前記左眼パノラマ及び（ｂ）前記右眼パノラマをステレオ表示ユニットに表示するステップと、を含むことを特徴とする請求項９に記載の方法。

Images