JP5054971B2 - ディジタル３ｄ／３６０度カメラシステム - Google Patents

Description

技術分野
本発明は、画像記録装置の分野に関し、詳しくはディジタル３Ｄ／３６０度カメラシステムに関する。ディジタル３Ｄ／３６０度カメラシステムは、３Ｄ画像、３Ｄ映画、又は３Ｄアニメーションを生成するのに用いられる全３６０度のシーンを対象範囲とする画像データを捕捉するために、複数対のステレオカメラを利用する。

背景技術
解像度と画質とを向上させたディジタルカメラの出現と、向上を続けるコンピュータの速度及び処理力とにより、３次元の画像、映画、アニメーション及びテレプレゼンスを生成するための画像データの捕捉が可能な３次元・３６０度ディジタルカメラシステムの基盤が築かれた。
３次元写真は新しいものではない。３次元写真は、ステレオカメラにより百年以上も前から利用可能であった。ステレオカメラシステムでは、シーンを捉えるのに、各々がわずかに異なる視点に位置する２つのカメラが用いられる。カメラの構成は一般に人間の目に類似しており、横に並んで配置された２つのカメラを用いて、異なるが大部分が重複した２つのビューを捉える。これら２つの画像を一緒に立体ビュアーを通して見ると、画像が重複する部分において３次元の視知覚が得られる。

１９３４年５月１日発行のＪ．Ｈａｒｌｏｗによる米国特許第１９５７０４３号には、ステレオカメラ及びビュアーが開示されている。このような単純な立体写真術は、拡張視野又はパノラマ視野の達成には何も貢献しない。加えて、結果として得られる立体像写真が立体像ビュアーを通して人が直接に見ることを意図しているので、カメラ及びそこから得られる画像は、必然的に人が快適に見るという制約を受ける。人が最適に立体画像を見るには、視野と画像の重複度とが人の目に近いものでなければならない。現代のディジタル画像処理においては、コンピュータを用いてこれらの制約から大きく外れる画像を利用することが可能である。これは、画像の取り込みがディジタル処理を目的に行われるものであり、人が直接に見るためではないからである。
パノラマ写真術、すなわち全３６０度パノラマの広さの視野を対象とする１枚又は複数枚の写真の撮影術は、写真術において長い歴史を持っている。パノラマ写真術の恐らく最も原始的な方法は、通常のカメラで何枚かの隣接写真を撮影し、これらの写真のプリントを完全なパノラマが得られるように位置合わせして一体に貼り合わせる手法である。現代の技術では、この方法を応用して、画像の捕捉にディジタルカメラを用い、単一のパノラマ画像のプリント用の画像の位置合わせを行うのにコンピュータ画像処理手法を用いている。

１９９７年７月８日発行のＫ．Ｙａｎｏ等による米国特許第５６４６６７９号には、重複する別個の画像を捕捉するのに１対のディジタルカメラを用いる画像結合方法及び装置が開示されている。これら画像の重複部分が、位置合わせのために画像を相関させるのに用いられている。これら別個の画像を位置合わせすることにより、広い視野にわたる単一画像が生成される。次いで画像処理システムは見ることを目的にこれら画像を結合させる。
１９９９年１２月２１日発行のＭ．Ｎａｋａｍｕｒａ等による米国特許第６００５９８７号には、別個の画像を結合することにより、同じようにパノラマ画像を形成する画像形成装置が示されている。Ｙａｎｏによる文献と同様に、この特許文献の装置は、画像を位置合わせして結合するのに画像の重複領域を用いている。この特許文献の装置は、これに加えて重複領域における画像のずれとひずみを補正する。

パノラマ写真術を改良するものではあるが、これらの方法では、３次元の画像又はモデルを生成するのに必要な視覚画像データが得られない。加えて、パノラマ画像が何枚かの別個に露出された画像から組み立てられる場合、時間次元により品質及び有用性が制約を受ける。何枚かの写真が一定の時間にわたって別個に露出されると、シーン中で移動した要素は別個の画像において異なる位置に捕捉される。その結果得られる画像には、同期しない移動要素がそれぞれの露出部分に出現し、これにより画像の結合が困難又は不可能となるか、或いは結合したパノラマ視野に二重の画像が存在することになる。
パノラマ画像を捕捉するための別の方法は、全パノラマを単一の露出で捕捉する方法である。このような手法の１つは、回転レンズを有するカメラ又は回転カメラを用いることであった。フィルムカメラでは、回転レンズを全３６０度の視野にわたって走査することでフィルムストリップを露出させることが可能である。

単一露出パノラマカメラへの別の取組み方が、２００１年８月２日公開の米国特許出願公開第２００１／００１０５５５号に開示されている。このパノラマカメラは、２次元の環状形状に３６０度のパノラマを捕捉するために凸面鏡を用いる。ディジタルに捕捉された環状画像が、２次元の矩形画像にディジタル変換される。この手法は、全パノラマ視野を単一露出で捕捉することにより時間次元の問題を解決するが、得られる結果は２次元画像のままであり、３次元のモデル又は画像を生成するのに必要な画像データは得られない。
２００１年９月１３日公開の米国特許出願公開第２００１／００２０９７６号には、ステレオパノラマカメラ装置が開示されている。この装置は、２つのパノラマカメラを双眼対に結合する。これらカメラの各々において、記録のためにパノラマ画像を転送するのに特殊なミラー、又はフレネルレンズが用いられる。提示されている一実施形態では、画像を記録するために平面状光学要素ではなく円筒状光学要素を必要とする。したがって、パノラマカメラに立体能力を提供してはいるが、すぐに利用可能且つ単純なディジタルカメラの使用を可能にするような解決法ではない。

１９９６年２月２７日発行のＫ．Ｒｉｔｃｈｉｅによる米国特許５４９５５７６号には、シーンの３次元形状を決定するための形状センサを備えたパノラマ画像を捕捉するためのカメラを組み込んだ視聴覚システムが説明されている。捕捉された画像は、３次元のモデルを生成するための形状にマッピングされ、このモデルは、種々の３−Ｄディスプレイシステムで表示するために処理される。形状センサは本来、カメラに沿って配列されたレーダ、ソナー、又は類似のセンサである。形状センサは、視野内のオブジェクトの形状についての情報を、主としてそれらオブジェクトの表面までの距離に関して収集するように機能する。したがって、３次元モデルは、厳密に立体画像データに基づく成果というよりは、データ源の結合の結果である。
１９９１年６月１１日発行のＤ．ＭｃＣｕｔｃｈｅｎによる米国特許第５０２３７２５号には、複数のカメラが１２面体をなすように配置された１２面画像システムが開示されている。カメラシステムと共に、ＭｃＣｕｔｃｈｅｎはカメラに適合する１２面形状を有する投影ドームを開示している。このシステムは、ドーム又は球形シアターの内部表面上への投影のために、概して球形の視野のビデオを捕捉するが、このビデオは３次元ではない。これらのカメラは立体的な視野の生成には適応していない。１２面ドームの内面上に重複なしに投影することを目的に、種々の視野を位置合わせするために、各カメラの視野は事実上、一部刈り込まれる。

上記の発明及び特許はいずれも、単独で又は結合して、本発明を説明するものとは考えられない。したがって、前記の諸問題を解決するディジタル３Ｄ／３６０度カメラシステムが望まれる。

発明の開示
本発明はディジタル３Ｄ／３６０度カメラシステムである。本システムは、筐体を有する。この筐体上に複数のディジタルカメラが設置される。これらのディジタルカメラの各々が少なくとも一つの他のディジタルカメラの視野と重複する視野を有することにより、立体的視野が形成される。このシステムは、処理装置、メモリ、記憶装置、クロック、通信インタフェース、及びカメラインタフェースを有する制御装置を備える。このカメラインタフェースは、ディジタルカメラの各々と通信状態にある。
また、本発明の一部として、ディジタル３Ｄ／３６０度カメラシステムを用いた３次元画像モデルの生成方法が含まれる。この方法は、少なくとも２つのディジタルカメラのディジタル画像データに捕捉される関心点を有するディジタル画像データを捕捉するためにディジタル３Ｄ／３６０度カメラシステムを用いるステップから成る。各関心点について、この関心点に対応する少なくとも２つのディジタルカメラの各々からの画素ベクトルを特定する。各関心点について、少なくとも２つのディジタルカメラの各々からの画素ベクトルを用いて、システム基準点に対する座標系におけるこの関心点の位置を決定する。

発明を実施するための最良のモード
本発明のディジタル３Ｄ／３６０度カメラシステムは、３次元シーンの正確なディジタルモデルを生成するのに必要な画像データを捕捉するために複数のディジタルカメラを用いる。このモデルは、３Ｄ画像、３Ｄ映画、３Ｄアニメーション、又はその他の３次元の製品を生成するのに用いられる。捕捉された画像データは、２次元のパノラマ画像の生成にも用いられ、また特定の構成により、人が見ることのできる立体画像の生成に用いられる。これらのカメラの各々の視野が少なくとも一つの他のディジタルカメラの視野と重複するようにカメラの方向を決めることで、立体的視野が形成される。この立体的視野からの画像データは、立体的手法を用いて処理され、完全３次元モデルが生成される。画像データの精度を得るため、カメラは筐体上に集合して固定的に搭載され、カメラの正確な形状は較正プロセスによって決定する。これらのカメラは、同時に又は１ｍｓ以下の同期下で画像捕捉を行うように指令される。
本発明の最も単純な実施形態においては、カメラは正方形の筐体上に、正方形上の４面の各面上に１対のカメラが位置するように搭載される。カメラは双眼対として構成されて「北」、「南」、「東」、「西」を向き、各双眼対が立体的視野内の３６０度視野の異なる４分の１区分を捕捉する。この立体的視野は、１つの双眼対を構成するカメラの視野が重複する箇所で両方のカメラに見える領域である。用いられるカメラの視野によって、１つの双眼対のカメラの重複の量と、カメラ間又は隣接する４分区分間の盲点の大きさが必然的に決定する。別の実施形態においては、双眼対が追加されたさらに複雑な幾何学的配置を使用し、更に別の実施例においてはカメラを球面上に均一に分散させる。

円形又は球形に配置される場合、カメラは文字通りの双眼対には組分けされない。代わりに各カメラは、隣接するカメラの各々と双眼的協力関係にあると考えられる。球形に配置される場合、このディジタル３Ｄ／３６０度カメラシステムは、３次元モデルの生成に最適な構成の下に完全な球形の視野を捕捉する。
カメラはコンピュータによって制御され、このコンピュータは、カメラの物理的形状及び相互の関係を記述するデータを管理し、カメラに画像データを捕捉するように同時に指令し、画像データを読み取り、保存し、記憶し、処理用にエクスポートする。
さらに大きなシーン又は領域については、さらに多くの総合的３次元画像データを収集するために、多数のディジタル３Ｄ／３６０度カメラシステムを別個の場所で協働させて用いる。

ディジタル３Ｄ／３６０度カメラシステムは、添付図面において常に符号を１０とする。ディジタル３Ｄ／３６０度カメラシステム１０は、上に複数のディジタルカメラ３０が搭載された筐体２０を有し、ディジタルカメラ３０は、各々の視野が少なくとも一つの他のディジタルカメラの視野と重複することによって立体的視野を形成するように方向付けされている。図１Ａに示すような最も単純な実施形態においては、筐体２０は正方形であり、カメラ３０は双眼対に構成され、各双眼対は、完全３６０度視野のうちの異なる４分区分を対象範囲とする。図１Ｂは、ディジタルカメラ３０の双眼対を追加して一対が上向きの視野を有するように、別の双眼対が下向きの視野を有するように方向付けした別の実施形態を示す。
従来の立体写真術では、双眼対をなす２つのカメラが、約２インチ（５ｃｍ）間隔を置いて配置され、各カメラが人の目を模した視角を有する。これにより人が見やすい３次元視野を再現する。しかし、ディジタル３Ｄ／３６０度カメラシステム１０は、コンピュータによって３次元モデルへと処理されるデータを捕捉するように機能する。したがって、ディジタルカメラ３０の形状及び視野は、従来の立体写真術に課される制約に拘束されない。カメラ３０の形状に関係なく、これらのカメラ３０は固定されて搭載され、その正確な形状は既知である。ディジタルカメラ３０はどのような間隔を置いて配置してもよい。例えば、室内で用いられるか、又は小さなシーンを捕捉するために用いられるディジタル３Ｄ／３６０度カメラシステム１０においては、間隔を数インチのみとしてよく、一方空港又は市街ブロックを対象として用いられるディジタル３Ｄ／３６０度カメラシステム１０は、カメラ間の間隔を数フィートに構築してもよい。双眼対で配置され、各対が３６０度視野のうちの４分区分の一つを捕捉するディジタルカメラ３０において、レンズは約１００度の視野を有する必要がある。

図２に、ディジタル３Ｄ／３６０度カメラシステム１０の平面図と、ディジタルカメラ３０の各々が有する視野とを示す。双眼対の左側のカメラの視角をα_Ｌとして基準線３６と基準線３８の間に示し、右側のカメラの視角をα_Ｒとし、基準線３２と基準線３４の間に示す。所与の双眼対について、視野が重複する領域α_ＬＲが存在することがわかる。この重複領域α_ＬＲは立体的視野とも称され、立体画像データが３次元モデル作成に有用である区域を定義する。また、単一のディジタルカメラ３０によってのみ見られる領域、並びに盲点が存在することもわかる。これら領域の各々の大きさは、用いる視野に依る。
カメラの視野の選択は、対象範囲の最大化及び解像度という相反する要素を伴うことが認識されよう。視野の増大は、当然ながら捕捉可能な画像の量を改善することになり、特に、立体的視野の大きさが増大するにつれて有用な立体データの量が増大する。しかし、視角が増大するにつれて解像度が低下する。これは、４，０００×４，０００画素の解像度と１００度の視野とを有する仮想のディジタルカメラを考えてみると説明できる。１００度を４，０００画素で分割すると画素当たり１／４０度の対象範囲となる。よって、２３ｍに対して約１ｃｍの解像度が得られる。ディジタルカメラの技術が改良されると解像度も向上する。ディジタルカメラの解像度は半導体に関するムーアの法則に従って来ており、約１年又は２年ごとに倍増しており、この傾向は少なくともさらに１５年間は続くと期待される。解像度を増大する別の解決法は、単に用いるカメラの数を増やして個々のカメラの対象範囲視野を小さくすることである。

図３は、追加されたディジタルカメラ３０の双眼対を有するディジタル３Ｄ／３６０度カメラシステム１０の一実施形態を示す。ディジタルカメラ３０の双眼対は、それぞれが３６０度の視野の４分区分ではなく８分の１区分の一つを対象範囲とするように配置される。したがって、ディジタルカメラ３０は、全３６０度の対象範囲を実現するのに５０度の視野を用いるだけでよく、視野が１００度の場合と比較して画像解像度が２倍に増大する。
図４に示す別の実施形態は、文字通り双眼対の形にグループ化されたディジタルカメラ３０を有する配置とは異なっている。代わりに、ディジタルカメラ３０は、円形の筐体を囲むように均一に設置される。この構成では、各ディジタルカメラ３０がそれに隣接するディジタルカメラ３０の各々と立体的視野を共有する。図示のように、視野β_３が視野β_２と重複して立体的視野β_２＆３を形成し、また視野β_４とも重複して立体的視野β_３＆４を形成する。
別の実施形態では、ディジタルカメラ３０の円形配置を拡張し、例えば図５に示すように、球形筐体のまわりにディジタルカメラ３０を配置した完全球形構成としている。ディジタルカメラ３０を分配したこの球形構成では、対象範囲の最大化が可能になり、３６０度のパノラマのデータを収集するのみでなく１つのシーンの全画像データを収集する。

ここまで、異なる数及び配置のディジタルカメラ３０を有する種々の実施形態が使用可能であることを明らかにした。全ての実施形態に共通の特徴は、ディジタルカメラ３０が固定位置にあり、これらのディジタルカメラ３０の各々が少なくとも１つの他のディジタルカメラ３０の視野と重複する視野を有し、これにより立体的視野を形成することである。ディジタルカメラ３０の複数の組み合わせによって得られる複数の立体的視野により、正確な３次元モデル作成に必要な３次元画像データが得られる。

ディジタルカメラ３０は、図６に概略的に示す制御装置６０によって制御される。制御装置６０は、ＣＰＵ４０、メモリ４２、大容量記憶装置４４、クロック４８、外部通信インタフェース４６、及びカメラインタフェース５０を含むシステムである。このシステムは、パーソナルコンピュータ（ＰＣ）のような汎用コンピュータシステムでも、特別設計のコンピュータシステムでもよい。制御装置６０は、筐体２０の外に位置させることも可能であるが、筐体２０の内部に包含する方が望ましい。
ディジタルカメラ３０は、カメラインタフェース５０に接続された指令及びデータインタフェースを有する。市販のディジタルカメラには一般に、ユニバーサルシリアルバス（ＵＳＢ）、ファイアワイア、又は指令及びデータの転送用の別のインタフェースが付属する。したがって、カメラインタフェース５０は、ＵＳＢ、ファイアワイア、又は指令及びデータの転送用の別のインタフェースを含む。加えて、ディジタルカメラ３０は、必ずしも必要ではないが好ましくは、ディジタルカメラ３０に画像を捕捉させるディジタル信号が可能になるような単一のディジタル制御ラインを備える。単一のディジタル制御ラインを用いることにより、全てのディジタルカメラ３０に対して単一のディジタル制御信号により画像捕捉を同時に指令することが可能になる。

クロック４８は、画像捕捉をスケジューリングし、捕捉された画像データファイルにタグを付け、ディジタルカメラ３０の指令を同期させるために用いられる。これらの機能の全てについて正確な時間基準が必要とされるため、クロック４８には０．１ｍｓ以内の分解能及び精度が必要である。加えて、正確で、且つ協定世界時（ＵＴＣ）のような共通標準時間基準に合わせて同期されているか、又はこれに基づく時間基準が、追加視点を捕捉するために多数のディジタル３Ｄ／３６０度カメラシステム１０を用いる用途において、多数のディジタル３Ｄ／３６０度カメラシステム１０の同期を容易にする。
外部通信インタフェース４６は、どのようなデータ通信インタフェースでもよく、有線、光ファイバ、無線による方法、又は外部装置との接続用の他の方法を用いることができる。具体例として、イーサネット又は無線イーサネットが挙げられる。

制御装置６０には随意でディジタル３Ｄ／３６０度カメラシステムの位置及び向きを決定するための位置及び向きセンサ５４を含めてもよい。例えば、画像データと共にディジタル３Ｄ／３６０度カメラシステム１０の地理的位置を捕捉する必要がある場合、全地球位置把握システム（ＧＰＳ）受信機が有用である。磁北に対するディジタル３Ｄ／３６０度カメラシステムの向きを決定するために、ディジタル磁気コンパスを用いることができる。
大容量記憶装置４４に記憶され、メモリ４２においてＣＰＵ４０によって実行されるコンピュータソフトウェアプログラムが、制御装置に対し、種々の機能を行うように指示する。これらの機能は、外部通信インタフェース上の外部装置からの指令の受信、ディジタルカメラ３０の正確な形状を定義するデータファイルの管理、ディジタルカメラ３０に対する画像データ捕捉の指令、画像データファイルのタグ付け及び保管、及び画像データファイルの外部装置への伝達である。ディジタルカメラ３０の正確な形状を定義するデータファイルの管理の機能には、データファイルを生成するために較正ステップを行うこと、又は外部のソースからデータファイルをダウンロードすることを含む。
ディジタル３Ｄ／３６０度カメラシステム１０により捕捉された画像データは、３次元画像及びモデルの生成に用いることができる。３次元画像及びモデルの生成には、各画素を含め、システム内での各カメラ３０の正確な形状を知る必要がある。

ディジタルカメラは、図８Ａに示すような画素のアレイとして画像を捕捉する。図８Ａは、画素アレイ上にマッピングされた旗Ｆの画像を示す。３次元の斜視図から、ディジタルカメラの画像は図８Ｂに示すような画素ベクトルＶ_ｐのアレイとしても考えられる。各ベクトルは、カメラのレンズから視野内のオブジェクトまでの直線である。画素ベクトルＶ_ｐは、３Ｄ空間内のカメラ基準点Ｒ_ｃを画素ベクトルＶ_ｐの始点として特定することにより定義が可能であり、「方向ベクトル」が画素ベクトルの経路を定義する。カメラ内の各画素は固有の画素ベクトルＶ_ｐを有する。したがって、カメラの画素ベクトルマップはカメラ内の全ての画素の経路の定義である。
各画素ベクトルＶ_ｐに対する基準点Ｒ_ｃ及び方向ベクトルは、レンズが固定焦点の場合には静的である。レンズが可変焦点の場合、基準点Ｒ_ｃ及び方向ベクトルは、焦点の変化と共に変化する。可変焦点のレンズに対しては、精度を最大に保つために、異なる焦点設定について複数の画素マップが必要である。

正確な固定焦点レンズにおいて、基準点Ｒ_ｃはレンズの光学的中心と同一であると考えることができ、各画素ベクトルＶ_ｐについて同一である。
カメラの画素ベクトルマップは、カメラの設計仕様の解析によって、又は機械的較正プロセスを通して生成することが可能である。較正は、カメラ内の各画素を３Ｄ空間内の別個の既知の２点と照合することによって実施できる。各画素ベクトルＶ_ｐが直線であることと、２点が直線を描くこととから、この手順をカメラの画素ベクトルマップを決定するために用いることができる。

画素ベクトルマップは、ディジタル３Ｄ／３６０度カメラシステム１０内の各ディジタルカメラ３０について生成できる。各カメラの画素ベクトルマップには、そのカメラに関する座標系の定義が含まれる。例えば図９に示すように、矩形のＸＹＺ座標系を用いてもよい。また、画素ベクトルマップは、カメラの光学的中心のようなカメラの基準点Ｒ_ｃを定義する。画素ベクトルマップにおいて各画素は、例えば、画素の行及び列座標によって１つに特定が可能である。加えて画素ベクトルマップは、各画素の方向ベクトルを含む。矩形のＸＹＺ座標系の場合、方向ベクトルは符号付きのＸＹＺ書式で表される。
カメラが可変焦点レンズを用いる場合、複数の画素ベクトルマップが定義されるか、又は、異なる焦点設定に対する補正又は内挿手段と共に単一の画素ベクトルマップが定義される。

基準点と各方向ベクトルの精度によって、３次元モデル作成のためのディジタル３Ｄ／３６０度カメラシステム１０の精度が決定する。単一のカメラの画素ベクトルマップは、カメラの設計から導き出すことができるか、又は較正プロセスによって決定することができる。
ディジタル３Ｄ／３６０度カメラシステム１０において、ディジタル３Ｄ／３６０度カメラシステム１０全体の画素ベクトルマップには、個々のディジタルカメラ３０各々の、他のカメラの各々に対する位置を定義する情報と共に、個々のディジタルカメラ３０各々の画素ベクトルマップが含まれる。これを達成するための簡単な方法は、ディジタル３Ｄ／３６０度カメラシステム１０のＸＹＺ座標系及び原点を定義し、各カメラの画素ベクトルマップを描くときにこの座標系を用いることである。ディジタル３Ｄ／３６０度カメラシステム１０の基準点はシステム基準点と称され、カメラアセンブリの物理的中心、システムの前部、単一のディジタルカメラの基準点、又は３Ｄ空間内の他の任意の点とすることができる。

ディジタル３Ｄ／３６０度カメラシステム１０は正確な３Ｄモデルを生成するために用いられるので、各ディジタルカメラ３０の基準点同士の間の実際の距離を知る必要がある。図１０に示すように、例えば、ディジタル３Ｄ／３６０度カメラシステム１０の基準点に対して、ディジタルカメラ３０ａの基準点が（０”，７”，０”）であり、ディジタルカメラ３０ｂの基準点が（３”，３”，０”）である場合、ディジタルカメラ３０ａからディジタルカメラ３０ｂまでのベクトルは（３”，−４”，０”）であることと、ディジタルカメラ３０ａからディジタルカメラ３０ｂまでの距離が５インチ（１３ｃｍ）であることとがわかる。
ディジタル３Ｄ／３６０度カメラシステム１０の内部寸法とディジタルカメラ３０の正確な形状とを知ることにより、２つ以上のディジタルカメラ３０の視野内のオブジェクトの寸法と距離を決定することができる。内部寸法とカメラの形状を知る際の正確さが、ディジタル３Ｄ／３６０度カメラシステム１０に可能となる測定及びモデル作成の精度を決定する。

ディジタル３Ｄ／３６０度カメラシステム１０の画素ベクトルマップと共に、ディジタルカメラ３０によって捕捉された画像データを使用して、画像データにおけるシステム基準点と種々の関心点との間の距離を決定することにより、３次元モデルを作成することができる。この距離は、２つ以上のディジタルカメラ３０によって捕捉される画像データの各点について決定される。図１０に示すように、旗Ｆが、カメラ３０ａ及び３０ｂの両方の視野内に示されている。図１１Ａ及び図１１Ｂを参照すると、旗Ｆが各カメラの視野内の異なる位置に現出しているのがわかる。図１１Ａはカメラ３０ａの視野を示し、図１１Ｂはカメラ３０ｂの視野を示す。各カメラからの１つの画素、又は３次元用語で１つの画素ベクトルが、旗竿の頂点、即ち本実施例の関心点を捕捉することがわかる。
図１２にさらに明確に示すように、画素ベクトルＶは、旗竿の頂点を捕捉するカメラ３０ａの画素ベクトルであり、一方画素ベクトルＷは、カメラ３０ｂにおいて旗竿の頂点を捕捉する。旗竿の頂点は点Ｃで表される。各画素ベクトルは方向ベクトルであり、カメラの基準点から旗竿の頂点の点Ｃまでの方向を表すが距離は表さない。距離ベクトル「ａ*Ｖ」（「ａ」はスカラ量）は、カメラ３０ａの基準点である点Ａから始まり点Ｃで終る直線を定義する。同様に、距離ベクトル「ｂ*Ｗ」（「ｂ」はスカラ量）は、カメラ３０ｂの点Ｂから点Ｃまでの直線を定義する。

必要なのは、システム基準点Ｒｓに対する点Ｃの位置を知ることである。カメラ基準点Ａ及びＢの位置は、それらの画素ベクトルマップ情報から既知である。ベクトルＵ＝Ｂ−Ａは、ＡからＢへの変位を表す。ＶとＷとは線形的に独立しているので、クロス乗積ベクトルＹ＝Ｖ×Ｗはゼロではない。また、Ｃが存在すると仮定した場合、３つのベクトルＵ＝Ｂ−Ａ、Ｖ、及びＷは、線形的に依存する。つまりＣは次式で定義することができる。
（１）Ｃ＝Ａ＋ａＶ＝Ｂ＋ｂＷ
ここで、ａ及びｂはスカラ量である。式（１）を書き直すと次式となる。
（２）ａＶ＝Ｕ＋ｂＷ
ＷとＶとについてクロス乗積をそれぞれ取ると次式となる。
（３）ａ(Ｖ×Ｗ)＝(Ｕ×Ｗ)及び
（４）ｂ(Ｗ×Ｖ)＝−(Ｕ×Ｖ)
これらにより係数ａ及びｂが１つだけ決定する。これらは次式の点乗積を用いて決定することができる。
（５）ａ＝((Ｕ×Ｗ)・(Ｖ×Ｗ))／((Ｖ×Ｗ)・(Ｖ×Ｗ))及び
（６）ｂ＝((Ｕ×Ｖ)・(Ｖ×Ｗ))／((Ｖ×Ｗ)・(Ｖ×Ｗ))
式（１）に戻り、Ｃを求める。
（７）Ｃ＝Ａ＋((Ｕ×Ｗ)・(Ｖ×Ｗ))／((Ｖ×Ｗ)・(Ｖ×Ｗ))Ｖ

これにより、本実施例において旗竿の頂点である点Ｃは、ディジタル３Ｄ／３６０度カメラシステム１０のＸＹＺ座標系内に正確に位置決めされた。同じ数学解析を用いて、ディジタル３Ｄ／３６０度カメラシステム１０の視野内の各点を、３次元座標系内に正確に位置決めできる。
ディジタル３Ｄ／３６０度カメラシステム１０の画素ベクトルマップは、システム内のディジタルカメラ３０の各々の形状を記述するデータを収集したものである。画素ベクトルマップのデータは、ディジタル３Ｄ／３６０度カメラシステム１０に関する追加データ及びこのシステムについて記述するデータと共に、大容量記憶装置４４上で画素ベクトルマップファイル内に記憶される。実際には、ディジタル３Ｄ／３６０度カメラシステム１０について記述する追加データは、ディジタル３Ｄ／３６０度カメラシステム１０自体を記述するシリアル番号、名称、モデルの種類、又はその他の情報を含むことができ、またこれらと共に、ディジタル３Ｄ／３６０度カメラシステム１０内の各ディジタルカメラ３０を記述するシリアル番号、種類、レンズの種類、及びその他の情報を含むことができる。

使用時には、制御装置６０がディジタルカメラ３０に対して画像データの捕捉を指令するように機能し、次いで画像データを検索して取り出し、大容量記憶装置４４に記憶する。画像データが大容量記憶装置４４に記憶された後は、外部通信インタフェース４６によってこれらの画像データを外部のコンピュータ又は画像処理システムへエクスポートすることができる。

画像を捕捉するプロセスを、図７に示すフローチャートに例示する。画像捕捉プロセスは、外部通信インタフェース４６が指令を受信したとき、又は内部でプログラムされたスケジュールに基づいて開始される。開始後、ブロック１０２に示すように、制御装置６０がディジタルカメラ３０の各々に対し、正しい露出パラメータを設定するようにとの指令を出す。露出パラメータが設定されると、ブロック１０４に示すように、ディジタルカメラ３０は、画像を捕捉するように同時に指令される。可能な限り全ての画像を同時捕捉することが、画像データの正確且つ誤りのない３次元モデルの作成に不可欠であることに留意することが重要である。
理想的には、ディジタルカメラ３０の各々にディジタル制御信号を同時に出すのにディジタル制御ラインを用いる。代わりに、指令及びデータインタフェースを用いてディジタルカメラ３０の各々に個別に「開始」指令を送信してもよい。各カメラが個別に指令された場合、経験的に、これらのカメラの全てに対し露出時間の１／２以内に指令することが望ましい。例えば、露出時間として１ｍｓを用いる場合、カメラの全てが０．５ｍｓ以内に「開始」指令されるようにするとよい。

これらのカメラが開始指令されると、ブロック１０６に示すように、画像データが検索して取り出され、保管される。各カメラの各画像は個別ファイルとして保管される。このファイルは、画像データと共に、埋め込みのメタデータを含むことができる。これらの画像ファイルには、例えば、タイムスタンプの機能により露出時間を特定し、且つそのカメラを特定する名称を付けるのがよい。これらのファイルは大容量記憶装置４４に保管される。更に取るべき画像がない場合、ブロック１０８において決定判断が行われ、その後画像データが処理用に引き渡される。画像データは、外部処理システムからの要請に応じて外部通信インタフェース４６によるエクスポート用に提供されるか、又はブロック１１０に示すように、すぐに引き渡される。続いて追加画像を取り込む場合には、プロセスはブロック１０２に戻って新しい露出を設定するか、又はブロック１０４に戻ってすぐに新しい画像を捕捉する。
静止画像は個別に、又はまとめて記録される。画像順序は、３次元のアニメーションに、又は場合によっては３次元映画に用いることができる。加えて、さらに大きなシーン又は領域について、さらに多くの総合的３次元画像データを収集するために、多数のディジタル３Ｄ／３６０度カメラシステムを離れた別個の場所において互いに協働させて用いることができる。

本発明の好適な実施形態により、完全なパノラマを提供する３６０度の３次元のシーンを含む３次元シーンの正確なモデルを生成するのに必要な立体画像を捕捉するディジタル３Ｄ／３６０度カメラシステムが提供される。本システムは、複数の立体的視野において画像データを捕捉するように配置された多数のカメラを組み込んでいる。本システムでは、非常に多くのカメラを同時に作動させることにより、多数画像方式の立体的カメラシステムにおける時間誤差を排除する。
本発明は上記の実施形態に限定されるものではなく、特許請求の範囲内の全ての実施形態を包含するものであることを理解されたい。

本発明によるディジタル３Ｄ／３６０度カメラシステムの斜視図である。 随意で上向き及び下向きのカメラを追加した、本発明によるディジタル３Ｄ／３６０度カメラシステムの斜視図である。 本発明によるディジタル３Ｄ／３６０度カメラシステムの平面図であり、カメラの視野と盲点とを示す。 双眼対を追加した本発明によるディジタル３Ｄ／３６０度カメラシステムの別の実施形態の斜視図である。 ディジタルカメラを円形に配置した本発明によるディジタル３Ｄ／３６０度カメラシステムの別の実施形態の平面図である。 ディジタルカメラを球状の構成に配置した本発明によるディジタル３Ｄ／３６０度カメラシステムの一実施形態の斜視図である。 本発明によるディジタル３Ｄ／３６０度カメラシステムのブロック図である。 本発明によるディジタル３Ｄ／３６０度カメラシステムを用いて画像を捕捉するステップを説明するフローチャートである。 画素のアレイとして表示したディジタルカメラの視野を図式的に示す。 画素ベクトルの配列として３次元的に表示したディジタルカメラの視野を図式的に示す。 ３次元のＸＹＺ座標系の原点である基準点に対するカメラの視野を示す概略図である。 各々がそれ自体のカメラ基準点を有する複数のカメラを、システム基準点及び３次元のＸＹＺ座標系に対して示す。 図１１Ａは図１０のディジタルカメラ３０ａの視野を示し、図１１Ｂは図１０のディジタルカメラ３０ｂの視野を示す。 画素ベクトルを、システム基準点に対するＸＹＺ座標系中の位置に分解する方法を示す。 全ての添付図面を通じ、類似の符号は対応する類似の機能要素部品を示す。

Claims (1)

1. 筐体、
   前記筐体上に設置される複数のディジタルカメラであって、該複数のディジタルカメラが対で前記筐体に設置されており、各対の各カメラは立体的視野を形成するために少なくとも他の対のディジタルカメラの視野と重複した視野を有し、該カメラの各対の立体的視野が所望の画像解像度に基づいて変更される複数のディジタルカメラ、並びに
   処理装置、メモリ、記憶装置、クロック、通信インタフェース、及び前記ディジタルカメラの各々と通信状態にあるカメラインタフェースを有する制御装置を備え、
   各関心点について、この関心点に対応する少なくとも２つのディジタルカメラの各々からの画素ベクトルを特定し、当該画素ベクトルを用いて、システム基準点に対する座標系におけるこの関心点の位置を決定し、ここにおいて、各画素ベクトルＶ _ｐ に対する基準点Ｒ _ｃ 及び方向ベクトルは、レンズが固定焦点の場合には静的であり、レンズが可変焦点の場合には焦点の変化と共に変化するディジタル３Ｄ／３６０度カメラシステム。

Images