JP7105246B2

JP7105246B2 - 再構成方法および再構成装置

Info

Publication number: JP7105246B2
Application number: JP2019551083A
Authority: JP
Inventors: ジェンプオンビエン; ポンサクラサン; 敏康杉尾; 徹松延; 哲史吉川; 達也小山
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2017-10-23
Filing date: 2018-10-18
Publication date: 2022-07-22
Anticipated expiration: 2038-10-18
Also published as: US20200250885A1; US11328479B2; JPWO2019082797A1; WO2019082797A1

Description

本開示は、再構成方法および再構成装置に関する。

特許文献１には、複数の画像から対象物の三次元モデルを再構成する多視差立体視を用いた三次元再構成方法が開示されている。

米国特許第８３３１６１５号明細書

しかしながら、上記特許文献に係る技術には、更なる改善が必要とされていた。

本開示の一態様に係る再構成方法は、三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の二次元画像を用いて三次元モデルを、プロセッサを用いて再構成する再構成方法であって、前記複数の二次元画像のそれぞれの画像情報に応じて、前記複数の二次元画像に含まれる特徴点のマッチング処理において使用するマッチングパターンのサイズおよび形状を決定し、決定した前記マッチングパターンに基づいて前記マッチング処理を行うことで、複数の三次元点により構成される第１三次元点群を再構成し、前記複数の二次元画像を用いて、前記第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成し、前記第２三次元点群を用いて前記三次元モデルを再構成する。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

上記態様によれば、更なる改善を実現することができる。

図１は、実施の形態に係る画像生成システムの構成の一例を示すブロック図である。図２は、実施の形態に係る再構成モジュールの処理ブロックの第１の例を示すブロック図である。図３は、実施の形態に係る再構成モジュールの処理ブロックの第２の例を示すブロック図である。図４は、実施の形態１に係る画像生成システムによる動作の一例を示すシーケンス図である。図５は、実施の形態に係る三次元再構成方法の処理の第１の例を示すフローチャートである。図６は、実施の形態に係る三次元再構成方法の処理の第２の例を示すフローチャートである。図７は、実施の形態に係る領域判定処理の一例を示すフローチャートである。図８は、実施の形態に係る、特徴点のマッチング処理に用いられるパターンを決定するパターン決定処理の一例を示すフローチャートである。図９は、実施の形態に係る三次元点群を再構成する処理の一例を示すフローチャートである。図１０は、２枚の画像間の特徴点のペアのエピポーラ拘束を示す図である。図１１は、カメラパラメータの推定方法及び三次元モデルの再構成方法を説明するための図である。図１２は、実施の形態に係る三次元点群の三次元点を増加させる処理の一例を示すフローチャートである。図１３は、実施の形態に係る三次元点群の三次元点を増加させる処理の一例を示すフローチャートである。図１４Ａは、三次元点群再構成手法（３ＤＲｅｃｏｎｓｔｒｕｃｔｉｏｎ）を実施する際のカメラ配置例を示した図である。図１４Ｂは、三次元点群再構成手法（３ＤＲｅｃｏｎｓｔｒｕｃｔｉｏｎ）を実施する際のカメラ配置例を示した図である。図１５は本開示における３次元点群再構成手法（３ＤＲｅｃｏｎｓｔｒｕｃｔｉｏｎ）を実施する際のカメラ配置方法の具体例を示した図である。図１６は、変形例に係る画像生成システムの構成の一例を示すブロック図である。

（本開示の基礎となった知見）
従来、三次元シーンを再構成する方法としては、２つの手法がある。

第１の手法では、デプスマップは、右目画像および左目画像からなる２つの画像を用いて再構成される。この処理のために、２つの画像を撮像する２つのカメラの位置は、左右の目として厳密に定められている必要がある。様々な始点からの複数のデプスマップは、さらに単一の三次元シーンモデルに融合されてもよい。

第１の手法では、シーンの三次元モデルは、様々な視点から構成される。複数の画像を撮像する複数のカメラの位置は、デプスマップを用いる第１の手法のように厳密に定められていなくてもよい。つまり、第２の手法では、第１の手法よりもより自由度が高い。しかしながら、三次元再構成方法は、第１の手法よりもはるかに難しい。通常、疎な三次元点群を再構成することしかできず、その多くはテクスチャ領域によるものである。どちらの手法でも、非テクスチャ領域では、三次元点群の再構成結果は、精度および信頼性を欠くこととなる。

したがって、テクスチャ領域および非テクスチャ領域の両方に適切であり、かつ、効果的な三次元再構成を実現することが求められている。

そこで、本開示の一態様に係る再構成方法は、三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の二次元画像を用いて三次元モデルを、プロセッサを用いて再構成する再構成方法であって、前記複数の二次元画像のそれぞれの画像情報に応じて、前記複数の二次元画像に含まれる特徴点のマッチング処理において使用するマッチングパターンのサイズおよび形状を決定し、決定した前記マッチングパターンに基づいて前記マッチング処理を行うことで、複数の三次元点により構成される第１三次元点群を再構成し、前記複数の二次元画像を用いて、前記第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成し、前記第２三次元点群を用いて前記三次元モデルを再構成する。

これによれば、画像情報に応じて動的に変更されたサイズおよび形状のマッチングパターンを用いてマッチング処理を行うため、領域に応じて適切な三次元点を再構成することができ、かつ、処理時間を短くすることができる。

また、前記マッチングパターンの決定では、前記複数の二次元画像のそれぞれについて、当該二次元画像を構成している１以上の領域をテクスチャ領域と非テクスチャ領域とに分類し、前記テクスチャ領域に分類した第１領域内には第１のサイズのパターンを前記マッチングパターンとして決定し、前記非テクスチャ領域に分類した第２領域には前記第１のサイズよりも大きい第２のサイズのパターンを前記マッチングパターンとして決定してもよい。

これにより、テクスチャ領域における再構成処理に要する時間を短くすることができ、効率よく処理を行うことができる。また、非テクスチャ領域では、第１のサイズよりも大きい第２のサイズを用いて特徴点のマッチング処理を行うため、領域に応じて適切な三次元点を再構成することができる。

また、前記分類では、前記複数の二次元画像のそれぞれについて、当該二次元画像を構成する複数の画素の画素値に基づく分散マップおよびエッジマップを算出し、算出した前記分散マップおよび前記エッジマップを用いて、前記二次元画像を構成している前記１以上の領域をテクスチャ領域と非テクスチャ領域とに分類してもよい。

このため、二次元画像の領域を、効果的にテクスチャ領域と非テクスチャ領域とに分類することができる。

また、本開示の一態様に係る再構成装置は、三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の二次元画像を用いて三次元モデルを再構成する再構成装置であって、プロセッサを備え、前記プロセッサは、前記複数の二次元画像のそれぞれの画像情報に応じて、前記複数の二次元画像に含まれる特徴点のマッチング処理において使用するマッチングパターンのサイズおよび形状を決定し、決定した前記マッチングパターンに基づいて前記マッチング処理を行うことで、複数の三次元点により構成される第１三次元点群を再構成し、前記複数の二次元画像を用いて、前記第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成し、前記第２三次元点群を用いて前記三次元モデルを再構成する。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本開示の一態様に係る再構成方法および再構成装置について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
実施の形態１に係る画像生成システムについて説明する。

図１は、実施の形態に係る画像生成システムの構成の一例を示すブロック図である。

図１に示すように、画像生成システム１００は、複数のカメラ１０２と、複数のカメラ１０２にそれぞれ対応して接続される複数の撮像装置１０４と、画像生成装置１０１と、ディスプレイ１０８と、入力装置１１０とを備える。画像生成システム１００は、さらに、同期装置１１６を備えていてもよい。

複数のカメラ１０２は、互いに異なる位置に配置され、互いに異なる姿勢で固定されており、三次元空間上の同一の対象空間を撮像する。これにより、複数のカメラ１０２は、異なる複数の視点から異なる視線方向で撮像された複数の画像を得ることができる。個々で得られる複数の画像は、それぞれ、二次元画像である。複数のカメラ１０２は、それぞれ、異なる複数のタイミングにおいて撮像することにより、複数の画像を得てもよい。複数のカメラ１０２は、例えば、予め定められたフレームレートで複数の画像としての複数のフレームを含む動画像を撮像するカメラであってもよい。複数のカメラ１０２による撮像のタイミングは、同期装置１１６により互いに同期されていてもよい。なお、図１の画像生成システム１００では、２つのカメラ１０２が示されているが、画像生成システム１００は、２以上のカメラ１０２を備えていてもよい。

複数の撮像装置１０４は、複数のカメラ１０２のそれぞれに対応して設けられ、複数のカメラ１０２において撮像されることにより得られた画像を記憶し、記憶した画像をプロセッサ１０６に出力する。なお、複数の撮像装置１０４は、複数のカメラ１０２に内蔵されていてもよい。つまり、複数のカメラ１０２のそれぞれは、撮像装置１０４の機能を有していてもよい。

画像生成装置１０１は、プロセッサ１０６と、外部メモリ１１２と、モデルデータベース１１４とを備える。プロセッサ１０６は、校正モジュール２と、再構成モジュール４と、レンダリングモジュール８と、メモリ１０とを有する。画像生成装置１０１は、再構成装置の一例である。

校正モジュール２は、複数のカメラ１０２の校正を実行することで、複数のカメラ１０２それぞれのカメラパラメータを取得する。カメラパラメータは、三次元空間におけるカメラの位置及び姿勢を示す外部パラメータと、カメラの焦点距離、収差、画像中心等の光学系の特性を示す内部パラメータとを含む。校正方法は、例えば、ＳＦＭ（Structure From Motion）技術を用いて行われてもよいし、または既知の校正パターンに基づいて行われてもよい。校正処理は、一度に実行されてもよいし、セットアップまたは移動の変化に対処するために、徐々に実行されてもよい。校正処理は、例えば、三次元再構成の前に行われ、得られたカメラパラメータを外部メモリに記憶する。

再構成モジュール４は、複数のカメラ１０２により撮像されることにより得られた複数の二次元画像、および、複数のカメラ１０２のそれぞれのカメラパラメータを用いて、高密度で正確な三次元モデルを再構成する。再構成モジュール４は、三次元モデルを再構成する際、外部メモリに記憶されているカメラパラメータを読み出して、読み出したカメラパラメータを用いる。

レンダリングモジュール８は、再構成モジュール４において再構成された三次元モデルと、複数のカメラ１０２から得られた複数の画像とを用いて、三次元シーンの仮想画像をレンダリングまたは生成する。レンダリングモジュール８は、レンダリングまたは生成した仮想画像をディスプレイ１０８に出力する。仮想画像は、複数のカメラ１０２の撮像対象となる三次元空間上の同一の対象空間を複数のカメラ１０２の視点とは異なる仮想的な視点から見たときの二次元画像である。

プロセッサ１０６が有する校正モジュール２、再構成モジュール４およびレンダリングモジュール８の機能は、汎用のプロセッサがプログラムを実行することで実現されることに限らずに、専用回路により実現されてもよい。つまり、これらの機能は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。

メモリ１０は、校正モジュール２、再構成モジュール４およびレンダリングモジュール８による各処理において生成された中間データを一時的に記憶してもよい。

プロセッサ１０６に接続されたディスプレイ１０８は、レンダリングモジュール８により出力された仮想画像を表示する。つまり、ディスプレイ１０８は、プロセッサ１０６から出力された画像を表示する装置であり、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどにより実現される。プロセッサ１０６から出力される画像には、入力を受け付けるためのＧＵＩ（Graphical User Interface）が含まれていてもよい。

入力装置１１０は、ディスプレイ１０８に接続され、ユーザが所望する仮想的な視点である仮想視点を指定する入力をユーザから受け付け、受け付けた入力を示す入力信号をディスプレイ１０８に出力する。仮想視点の数およびカメラパスは、レンダリングモジュール８に仮想ビューを生成するように指示する予め定められたパターンに基づいて再構成されてもよい。入力装置１１０は、例えば、リモートコントローラ、ゲームパッド、マウス、キーボードなどにより実現される。

なお、ディスプレイ１０８は、入力信号を受信すると、プロセッサ１０６から受信している複数の仮想的な視点から見たときの複数の仮想画像のうち、入力信号に応じた仮想画像に切り替えて表示してもよい。

また、ディスプレイ１０８は、プロセッサ１０６から複数の視点から見たときの複数の仮想画像を受信していない場合、入力信号をプロセッサ１０６に送信してもよい。この場合、プロセッサ１０６は、受信した入力信号に応じた視点から見たときの仮想画像を生成し、生成した仮想画像をディスプレイ１０８に出力する。そして、ディスプレイ１０８は、プロセッサ１０６から出力された仮想画像を表示する。また、この場合、入力装置１１０は、ディスプレイ１０８に接続されていなくてもよく、プロセッサ１０６に直接接続されており、プロセッサ１０６に入力信号を送信する構成であってもよい。

なお、図１で説明した、接続とは、通信接続であり、有線で電気的に接続されてなくてもよく、無線接続であってもよい。つまり、接続は、有線による通信接続であってもよいし、無線による通信接続であってもよい。

外部メモリ１１２は、例えば、プログラムなどのようなプロセッサ１０６が必要とする情報を格納してもよい。外部メモリ１１２は、プロセッサ１０６の処理で生じたデータを格納してもよい。

モデルデータベース１１４は、再構成モジュール４またはレンダリングモジュール８で使用されるシーンの事前再構成モデルを格納している。

図２は、実施の形態に係る再構成モジュールの処理ブロックの第１の例を示すブロック図である。

再構成モジュール４は、領域判定モジュール２０２と、三次元点再構成モジュール２０４と、三次元点増加モジュール２０６とを有する。再構成モジュール４は、複数のカメラ１０２にそれぞれ撮像された複数の画像と、複数のカメラ１０２のそれぞれに対応する複数のカメラパラメータを取得する。取得された複数の画像、および、複数のカメラパラメータは、領域判定モジュール２０２に入力される。なお、ここで再構成モジュール４が取得する複数の画像、つまり、複数のカメラ１０２により撮像された複数の画像は、それぞれ二次元画像である。

領域判定モジュール２０２は、取得した複数の画像のそれぞれについて、当該画像を構成している１以上の領域をテクスチャ領域と非テクスチャ領域とに分類する。つまり、領域判定モジュール２０２は、複数の画像のそれぞれを構成する１以上の領域のそれぞれが、テクスチャ領域であるか、非テクスチャ領域であるかを判定する。領域判定モジュール２０２における領域判定処理の具体例は、後述する。

三次元点再構成モジュール２０４は、領域判定モジュール２０２における判定結果に応じたサイズおよび形状であるマッチングパターンに基づいて、疎な三次元点群を再構成する。

三次元点増加モジュール２０６は、三次元点再構成モジュール２０４により再構成された疎な三次元点群である第１三次元点群に、領域判定モジュール２０２における判定結果に応じたサイズおよび形状であるマッチングパターンに基づいて、新たな三次元点を追加する。これにより、三次元点増加モジュール２０６は、三次元点が増加された密な複数の三次元点により構成される第２三次元点群を生成する。三次元点増加モジュール２０６は、得られた第２三次元点群を用いて三次元モデルを再構成する。

なお、再構成モジュール４が備える各モジュールの機能は、汎用のプロセッサがプログラムを実行することで実現されることに限らずに、専用回路により実現されてもよい。つまり、これらの機能は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。

ここで、再構成モジュール４は、特徴点のマッチング処理において、固定されたサイズおよび形状であるマッチングパターンを用いることで、三次元点群を再構成することができる。しかしながら、固定されたサイズおよび形状であるマッチングパターンを用いることには、３つの改善点がある。１つ目は、テクスチャ領域および非テクスチャ領域にはそれぞれ適したサイズのマッチングパターンがあり、固定されたサイズおよび形状であるマッチングパターンを用いると、テクスチャ領域および非テクスチャ領域両方に対して同時に正確性を有しない点である。２つ目は、非テクスチャ領域を用いて三次元点群を生成するには、マッチングパターンのサイズを大きくする必要が有るが、テクスチャ領域において大きなマッチングパターンを用いると、三次元点群の再構成処理に長い時間が必要となる点である。３つ目は、固定されたサイズおよび形状であるマッチングパターンは、前景オブジェクトおよび背景オブジェクトを同じマッチングパターンでカバーするため、前景オブジェクトにおける三次元点群は実際のオブジェクトよりも大きくなってしまう点である。これらに対処するために、再構成モジュール４における三次元再構成処理のマッチングに用いられるマッチングパターンは、再構成モジュール４が入力した複数の画像のそれぞれの画像情報に応じて動的に変更される。画像情報は、１枚の画像を構成する１以上の領域のそれぞれがテクスチャ領域であるか、非テクスチャ領域であるかを示す情報である。例えば、再構成モジュール４は、画像を構成する１以上の領域のそれぞれについて、当該領域がテクスチャ領域である場合に、非テクスチャ領域である場合の第２のサイズよりも小さい第１のサイズのマッチングパターンを用いて特徴点のマッチング処理を行う。これにより、テクスチャ領域における再構成処理に要する時間を短くすることができ、効率よく処理を行うことができる。また、非テクスチャ領域では、第１のサイズよりも大きい第２のサイズを用いて特徴点のマッチング処理を行うため、精度およびロバスト性を向上させることができる。また、特徴点のマッチング処理に用いられるマッチングパターンの形状は固定されておらず、拡張部分はテクスチャ領域をカバーしないため、前景オブジェクトにおける三次元点群が実際のオブジェクトよりも大きくなることを低減することができる。このように、再構成モジュール４は、テクスチャ領域と非テクスチャ領域とで、概念が異なるマッチングパターンを用いて特徴点のマッチング処理を行うため、精度およびロバスト性と、処理に要する時間とを改善することができる。

図３は、実施の形態に係る再構成モジュールの処理ブロックの第２の例を示すブロック図である。

再構成モジュール４Ａは、三次元点再構成モジュール２０４Ａと、三次元点増加モジュール２０６Ａとを有する。再構成モジュール４Ａは、複数のカメラ１０２にそれぞれ撮像された複数の画像と、複数のカメラ１０２のそれぞれに対応する複数のカメラパラメータを取得する。第２の例の再構成モジュール４Ａでは、三次元点再構成モジュール２０４Ａおよび三次元点増加モジュール２０６Ａのそれぞれが、第１の例の再構成モジュール４の領域判定モジュール２０２による領域判定処理と同じ領域判定処理を実行する点が異なる。その他の構成は、第１の例の再構成モジュール４と同様であるので説明を省略する。なお、第２の例の場合、領域判定処理は三次元点再構成モジュール２０４Ａおよび三次元点増加モジュール２０６Ａのそれぞれにおいて行われ、同じ処理が繰り返される場合があるため、第１の例よりも効率的ではない。

図４は、実施の形態１に係る画像生成システムによる動作の一例を示すシーケンス図である。

一の撮像装置１０４は、一のカメラ１０２により撮像された画像を画像生成装置１０１に送信する（Ｓ１）。同様に、他の撮像装置１０４は、他のカメラ１０２により撮像された画像を画像生成装置１０１に送信する（Ｓ２）。

次に、画像生成装置１０１では、プロセッサ１０６が複数のカメラ１０２により撮像された複数の画像を取得する（Ｓ３）。この時、プロセッサ１０６は、同一のタイミングで複数のカメラ１０２により撮像された複数の画像を取得してもよい。

そして、プロセッサ１０６の再構成モジュール４は、校正モジュール２により既に行われた校正処理により得られた複数のカメラ１０２のカメラパラメータと、取得した複数の画像とを用いて、三次元モデルを生成する（Ｓ４）。

プロセッサ１０６のレンダリングモジュール８は、生成された三次元モデルと、複数の画像とを用いて、仮想視点から対象空間を見たときの仮想画像を生成する（Ｓ５）。

レンダリングモジュール８は、生成した仮想画像をディスプレイ１０８に出力する（Ｓ６）。

入力装置１１０は、ユーザが所望する仮想視点を示す入力信号をディスプレイ１０８に出力する（Ｓ７）。

ディスプレイ１０８は、画像生成装置１０１により出力された仮想画像のうちで、入力信号に応じた仮想画像を表示する（Ｓ８）。

図５は、実施の形態に係る三次元再構成方法の処理の第１の例を示すフローチャートである。つまり、図５のフローチャートは、再構成モジュール４により実行される三次元再構成方法の処理の一例を示す。

まず、再構成モジュール４は、複数の撮像装置１０４から複数のカメラ１０２において撮像された複数の画像と、複数のカメラ１０２にそれぞれ対応する複数のカメラパラメータとを取得する（Ｓ１１）。

次に、再構成モジュール４の領域判定モジュール２０２は、取得した複数の画像のそれぞれについて、当該画像を構成する１以上の領域がテクスチャ領域であるか非テクスチャ領域であるかを判定する領域判定処理を行う（Ｓ１２）。これにより、領域判定モジュール２０２は、複数の画像のそれぞれについて、当該画像の領域をテクスチャ領域と非テクスチャ領域とに区分する。領域判定処理の詳細は、図７を用いて後述する。

領域判定モジュール２０２は、取得した複数の画像のそれぞれの画像情報に応じて、複数の二次元画像に含まれる特徴点のマッチング処理において使用するマッチングパターンのサイズおよび形状を決定するパターン決定処理を行う（Ｓ１３）。パターン決定処理の詳細は、図８を用いて後述する。

再構成モジュール４の三次元点再構成モジュール２０４は、決定したマッチングパターンに基づいてマッチング処理を行うことで、複数の三次元点により構成される第１三次元点群を再構成する（Ｓ１４）。三次元点群の再構成処理の詳細は、図９～図１１を用いて後述する。

再構成モジュール４の三次元点増加モジュール２０６は、複数の画像を用いて、再構成された第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成する（Ｓ１５）。三次元点の増加処理の詳細は、図１２、１３を用いて後述する。

再構成モジュール４は、ステップＳ１４で三次元点が増加されることで得られた高密度の三次元点群である第２三次元点群を出力する（Ｓ１６）。

図６は、実施の形態に係る三次元再構成方法の処理の第２の例を示すフローチャートである。つまり、図６のフローチャートは、再構成モジュール４Ａにより実行される三次元再構成方法の処理の一例を示す。

再構成モジュール４Ａは、複数の撮像装置１０４から複数のカメラ１０２において撮像された複数の画像と、複数のカメラ１０２にそれぞれ対応する複数のカメラパラメータとを取得する（Ｓ１１）。

次に、再構成モジュール４Ａの三次元点再構成モジュール２０４Ａは、複数の画像のそれぞれについて領域判定処理およびパターン決定処理を行い、処理結果に応じたサイズおよび形状であるマッチングパターンに基づいて、第１三次元点群を再構成する（Ｓ１４Ａ）。

再構成モジュール４Ａの三次元点増加モジュール２０６Ａは、複数の画像のそれぞれについて領域判定処理およびパターン決定処理を行い、判定結果に応じたサイズおよび形状であるマッチングパターンに基づいて、再構成された第１三次元点群の三次元点を増加させる（Ｓ１５Ａ）。

再構成モジュール４Ａは、ステップＳ１４Ａで三次元点が増加されることで得られた高密度の三次元点群である第２三次元点群を出力する（Ｓ１６Ａ）。

図７は、実施の形態に係る領域判定処理の一例を示すフローチャートである。

まず、領域判定モジュール２０２は、複数の画像およびカメラパラメータを用いて、複数の画像のそれぞれについて以下のステップＳ２２～Ｓ２５の処理を実行するループ１を開始する（Ｓ２１）。

領域判定モジュール２０２は、処理対象の画像について、分散ヒートマップを算出する（Ｓ２２）。分散ヒートマップは、例えば、画像を構成する複数の画素毎に算出される分散であり、当該画素を基準とした所定の領域に含まれる複数の画素の画素値の分散により構成される。分散は、例えば、第１の画素を中心とするｍ×ｎの画素の領域の各画素値の分散であり、第１の画素に対応している。ここで、ｍおよびｎのそれぞれは、２以上の整数であり、ｍおよびｎは互いに等しくてもよいし異なっていてもよい。画素値は、画素の輝度値であってもよいし、画素の各ＲＧＢ値から求められる値であってもよい。このように、分散ヒートマップは、処理対象の画像を構成する複数の画素のそれぞれを基準として算出される複数の分散によって構成される。

なお、分散ヒートマップは、処理対象の画像を構成する複数の画素毎に対応する分散により構成されていなくてもよく、当該画像を複数の領域に分割した場合の複数の領域のそれぞれについて算出される分散により構成されていてもよい。

領域判定モジュール２０２は、処理対象の画像について、エッジマップを算出する（Ｓ２３）。エッジマップは、例えば、画像上におけるエッジの分布を示す情報である。領域判定モジュール２０２は、算出したエッジマップを用いて、画像を複数の領域に区切ることができる。

領域判定モジュール２０２は、処理対象の画像について、当該画像を構成する１以上の領域のそれぞれについて、当該領域がテクスチャ領域であるか非テクスチャ領域であるかを推定する（Ｓ２４）。具体的には、領域判定モジュール２０２は、エッジマップを用いて区切った複数の領域のそれぞれについて、当該領域が、分散ヒートマップにおいて閾値を超える分散に対応する画素または領域を含む領域であるか否かを判定する。領域判定モジュール２０２は、閾値を超える分散に対応する画素または領域を含む領域である場合、当該領域をテクスチャ領域であると推定し、閾値を超える分散に対応する画素または領域を含まない領域である場合、当該領域を非テクスチャ領域であると推定する。

そして、領域判定モジュール２０２は、推定した結果を用いて、処理対象の画像における領域ついて、テクスチャ領域および非テクスチャ領域を示すテクスチャ／非テクスチャ領域マップを生成し、テクスチャ／非テクスチャ領域マップを出力する（Ｓ２５）。

領域判定モジュール２０２は、ステップＳ２５の後で、複数の画像のうちまだループ１における処理が行われていない次の画像に対してステップＳ２２～Ｓ２５を実行する。

なお、領域判定処理は、第１の例の再構成モジュール４では、領域判定モジュール２０２が行う処理であるが、第２の例の再構成モジュール４Ａで説明したように、三次元点再構成モジュール２０４Ａおよび三次元点増加モジュール２０６Ａのそれぞれが行ってもよい。

図８は、実施の形態に係る、特徴点のマッチング処理に用いられるマッチングパターンを決定するパターン決定処理の一例を示すフローチャートである。

領域判定モジュール２０２は、複数の画像のうちの一の画像を構成する複数の画素のそれぞれについて以下のループ３を実行するループ２を開始する（Ｓ３１）。

領域判定モジュール２０２は、処理対象の画像について、当該画像を構成する複数の画素のそれぞれについて以下のステップＳ３３～Ｓ３５を実行するループ３を開始する（Ｓ３２）。

領域判定モジュール２０２は、領域判定処理における結果を用いて、処理対象の画素がテクスチャ領域の画素であるか否かを判定する（Ｓ３３）。

領域判定モジュール２０２は、処理対象の画素がテクスチャ領域の画素であると判定した場合（Ｓ３３でＹｅｓ）、当該画素に対応するマッチングパターンとして第１のサイズのマッチングパターンに決定する。第１のサイズのマッチングパターンは、例えば、固定されたサイズおよび形状のマッチングパターンである。

領域判定モジュール２０２は、処理対象の画素がテクスチャ領域の画素でない、つまり、処理対象の画素が非テクスチャ領域の画素であると判定した場合（Ｓ３３でＮｏ）、当該画素に対応するマッチングパターンとして、処理対象の画素が属する非テクスチャ領域の形状に応じたマッチングパターンであって、第２のサイズのマッチングパターンに決定する。第２のサイズのマッチングパターンは、処理対象の画素を中心として、所定の条件を満たすまで互いに異なる複数の方向に領域を拡大したときのサイズおよびマッチングパターンに決定される。互いに異なる複数の方向は、処理対象の画素を中心として、上方向、下方向、右方向および左方向の４方向であってもよいし、上記４方向のうちの２方向、３方向などであってもよいし、上記４方向に右上方向、右下方向、左上方向および左下方向の４方向をさらに加えた８方向であってもよいし、その他の複数の方向であってもよい。所定の条件とは、（ｉ）拡大した端部から中心までの距離が最大距離に等しいこと、（ｉｉ）拡大した端部の画素がテクスチャ領域に属したこと、（ｉｉｉ）拡大した端部の画素の局所平均値が処理対象の画素の局所平均値よりも大きく異なる（つまり局所平均値の差分が閾値より大きい）ことのいずれかである。

領域判定モジュール２０２は、ステップＳ３４またはステップＳ３５の後で、複数の画素のうちまだループ３における処理が行われていない次の画素に対してステップＳ３３～Ｓ３４を実行する。

また、領域判定モジュール２０２は、ループ３が終了した後で、複数の画像のうちまだループ２における処理が行われていない次の画像に対してループ３を実行する。

なお、パターン決定処理は、第１の例の再構成モジュール４では、領域判定モジュール２０２が行う処理であるが、第２の例の再構成モジュール４Ａで説明したように、三次元点再構成モジュール２０４Ａおよび三次元点増加モジュール２０６Ａのそれぞれが行ってもよい。

図９は、実施の形態に係る三次元点群を再構成する処理の一例を示すフローチャートである。

三次元点再構成モジュール２０４は、複数の画像のそれぞれから複数の特徴点（キーポイント）を抽出する（Ｓ４１）。

次に、三次元点再構成モジュール２０４は、複数の画像のうちの２枚の画像のそれぞれで抽出された複数の特徴点を用いて、２枚の画像間で対応する複数の特徴点をマッチングするマッチング処理を行う。マッチング処理は、例えば、以下のループ４の処理である。

具体的には、三次元点再構成モジュール２０４は、２つの画像のうちの一の画像において抽出された複数の特徴点のそれぞれについて以下のステップＳ４３～Ｓ４５を実行するループ４を開始する（Ｓ４２）。

三次元点再構成モジュール２０４は、処理対象の特徴点について、エピポーラ線に沿って三角測量することによって２つの画像のうちの他の画像において抽出された複数の特徴点から三次元点候補を決定する（Ｓ４３）。

三次元点再構成モジュール２０４は、特徴点のマッチング処理に用いられるマッチングパターンに基づいて、第１のフォトコンシステンシースコア（photo-consistency score）を満たす三次元点候補の第１のセットを取得する（Ｓ４４）。

三次元点再構成モジュール２０４は、特徴点のマッチング処理に用いられるマッチングパターンに基づいて、第１のセットの三次元点候補を最適化することで、三次元点候補の第２のセットを取得する（Ｓ４５）。

三次元点再構成モジュール２０４は、ステップＳ４５の後で、複数の特徴点のうちまだループ４における処理が行われていない次の特徴点に対してステップＳ４３～Ｓ４５を実行する。

ステップＳ４３～Ｓ４５が行われることにより、対応する特徴点のペアが複数得られる。ステップＳ４１～Ｓ４５の処理は、複数の画像のうちの２枚を抽出することでできる全ての組み合わせに対して行われてもよい。

最後に、三次元点再構成モジュール２０４は、第２のセットの三次元点候補のうちでよりよいフォトコンシステンシースコア（photo-consistency score）を満たす三次元点候補を選択し、選択した三次元点候補により構成される疎な三次元点群を出力する（Ｓ４６）。

なお、フォトコンシステンシースコアは、ＮＣＣ（Normalized Cross Correlation）またはその派生技術に基づいて算出されることが好ましい。なお、フォトコンシステンシースコアは、ＳＳＤ（Sum of Squared Differences）などのＮＣＣ以外の技術を用いて算出されてもよい。

図１０は、２枚の画像間の特徴点のペアのエピポーラ拘束を示す図である。

画像５０１における、三次元空間上の三次元点Ｍを撮像した二次元点ｍを特徴点としたときに、当該二次元点ｍに対応する特徴点を画像５０２からエピポーラ拘束を用いて求める例について説明する。まず、各カメラの外部パラメータを用いて、画像５０１を撮像したカメラの光学中心Ｃと、画像５０２を撮像したカメラの光学中心Ｃ’とが求められる。そして、カメラの光学中心Ｃと、二次元点ｍの画像５０１における座標とを用いて、光学中心Ｃおよび二次元点ｍを通る、三次元空間上の直線５０３を算出する。次に、直線５０３と、画像５０２を撮像したカメラの外部パラメータとを用いて、画像５０２上において直線５０３に対応する線であるエピポーラ線５０４を算出する。そして、画像５０２におけるエピポーラ線５０４上の特徴点を三角測量することによって三次元点候補を得ることができる。つまり、エピポーラ線５０４上にある全ての特徴点を、直線５０３上の二次元点ｍに対応する二次元点ｍ’を特定するための候補点とすることができる。

図１１は、カメラパラメータの推定方法及び三次元モデルの再構成方法を説明するための図である。カメラの内部パラメータは既知であり、３枚のフレーム（画像５１１、画像５１２、及び画像５１３）を用いて、カメラの外部パラメータを推定し、被写体の三次元モデルを再構成する例を説明する。

各カメラのカメラパラメータを取得するには、０を原点とする世界座標系におけるカメラの回転行列Ｒ１、Ｒ２、Ｒ３及び並進ベクトルＴ１、Ｔ２、Ｔ３を算出する必要がある。まず、画像５１１と画像５１２を撮像したカメラの回転行列及び並進ベクトルを算出する方法を述べる。画像５１１上の点ｍ１＝（ｕ１、ｖ１、１）と画像５１２上の点ｍ２が対応している時、両者には（式１）を満たすエピポーラ方程式が成り立つ。

ここで、ＦをＦｕｎｄａｍｅｎｔａｌｍａｔｒｉｘ（Ｆ行列）と呼ぶ。再構成モジュール４は、各カメラの内部パラメータＫを用いて、（式２）に示す変換式によりそれぞれの点を各カメラ座標系の点ｍ１＝（ｘ１、ｙ１、ｚ１）及びｍ２＝（ｘ２、ｙ２、ｚ２）として取得できる。エピポーラ方程式は（式３）のように書き換えられる。

ここで、ＥをＥｓｓｅｎｔｉａｌｍａｔｒｉｘ（Ｅ行列）と呼ぶ。再構成モジュール４は、複数の対応点を用いてＥ行列の各要素を算出できる。また、再構成モジュール４は、画像間の点ｍ１及びｍ２のような対応点を複数用いてＦ行列の各要素を算出した後、（式４）の変換式によりＥ行列を取得してもよい。

Ｅ＝Ｋ－１ＦＫ（式４）

再構成モジュール４は、このＥ行列を分解することにより、世界座標系において画像５１１から画像５１２への回転行列及び並進ベクトルを取得できる。世界座標系における第１カメラの位置及び世界座標系の各軸に対する第１カメラの傾きが既知の場合は、再構成モジュール４は、第１カメラと第２カメラとの相対関係を用いて、世界座標系における第１カメラ及び第２カメラの位置及び姿勢を取得できる。再構成モジュール４は、世界座標系における第１カメラの位置及び姿勢を、映像以外のカメラの情報（例えば、カメラが備えるジャイロセンサ又は加速度センサ等のセンサで得られた情報）を用いて算出してもよいし、予め計測しておいてもよい。また、第１カメラのカメラ座標系を世界座標系として、他のカメラの位置及び姿勢を算出してもよい。

なお、カメラのレンズ歪みを考慮する場合、再構成モジュール４は、歪みモデルを用いて、画像上の点の位置を補正し、補正された位置を用いてＦ行列又はＥ行列を取得する。再構成モジュール４は、一例として（式５）に示すレンズの半径方向の歪みモデルなどを使用する。

ｕｕｎｄｉｓｔｏｒｔｅｄ＝ｕ（１＋ｋ１ｒ２＋ｋ２ｒ４＋ｋ３ｒ６）
ｖｕｎｄｉｓｔｏｒｔｅｄ＝ｖ（１＋ｋ１ｒ２＋ｋ２ｒ４＋ｋ３ｒ６）
ｒ２＝ｕ２＋ｖ２（式５）

また、再構成モジュール４は、画像５１１と画像５１２の回転行列及び並進ベクトルを用いて形成される三角形により、対応点の世界座標系上の対応点の三次元点Ｍの座標を取得できる。

また、上記の幾何学的関係は３視点に拡張できる。画像５１１と画像５１２に対し画像５１３を追加する場合、再構成モジュール４は、画像５１２と画像５１３、及び画像５１１と画像５１３についてもそれぞれＥ行列を算出し、各カメラ間の相対的な回転行列及び並進ベクトルを取得する。再構成モジュール４は、これらを統合することにより、画像５１３のカメラの世界座標系における回転行列及び並進ベクトルを算出できる。

また、画像５１３と画像５１１、画像５１３と画像５１２のそれぞれで対応点から画像５１３の回転行列及び並進ベクトルを算出してもよい。詳細には、画像５１１と画像５１３、及び画像５１２と画像５１３で対応点を求める。ここで、画像５１１上の点ｍ１、及び画像５１２上の点ｍ２に対応する画像５１３上の点ｍ３が得られたとすると、この対応点の三次元点Ｍの座標は取得できているため、画像５１３上の点と三次元空間内の座標の対応関係を取得できる。この時、（式６）が成り立つ。

ここでＰをＰｅｒｓｐｅｃｔｉｖｅｍａｔｒｉｘ（Ｐ行列）と呼ぶ。Ｐ行列、Ｅ行列、及び内部行列には（式７）の関係が成り立つため、再構成モジュール４は、画像５１３のＥ行列を取得でき、これにより回転行列及び並進ベクトルを求めることができる。

Ｐ＝ＫＥ（式７）

なお、内部パラメータが未知の場合でも、再構成モジュール４は、Ｆ行列又はＰ行列を算出した後、内部行列は上三角行列であり、Ｅ行列は正定値対称行列であるという制約の下にＦ行列及びＰ行列を分割することで、内部行列及びＥ行列を求めることが可能である。

図１２は、実施の形態に係る三次元点群の三次元点を増加させる処理の一例を示すフローチャートである。

三次元点増加モジュール２０６は、三次元点群を構成する全ての三次元点から１つの三次元点を処理対象の三次元点として選択する（Ｓ５１）。

次に、三次元点増加モジュール２０６は、選択した三次元点に基づいて空の画素を検出する（Ｓ５２）。空の画素とは、対応する三次元点が無い画素のことを示す。例えば、三次元点増加モジュール２０６は、複数の三次元点のそれぞれについて、当該三次元点に対応する画素が複数の画像のそれぞれに含まれるか否かを事前に判定していてもよい。三次元点増加モジュール２０６は、判定結果を全ての三次元点に対応付けてもよい。例えば、全ての三次元点は、それぞれ、どの画像上のどの画素と対応しているかを示す対応情報を保持してもよい。三次元点が対応情報を予め保持している場合、三次元点増加モジュール２０６は、選択された三次元点がどの画像上のどの画素と対応しているかを効率良く検出することができる。また、三次元点増加モジュール２０６は、対応する画素の周囲の空の画素についても効率良く検出することができる。

次に、三次元点増加モジュール２０６は、空の画素が有るか否かを判定する（Ｓ５３）。

三次元点増加モジュール２０６は、空の画素が有ると判定した場合（Ｓ５３でＹｅｓ）、検出した空の画素の三次元情報と法線ベクトルとを初期化する（Ｓ５４）。

三次元点増加モジュール２０６は、ＮＣＣを用いて初期化された三次元情報および法線ベクトルを最適化する（Ｓ５５）。

三次元点増加モジュール２０６は、ＮＣＣと閾値Ｔｈｒとを比較し、ＮＣＣが閾値Ｔｈｒよりも大きいか否かを判定する（Ｓ５６）。

三次元点増加モジュール２０６は、ＮＣＣが閾値Ｔｈｒよりも大きいと判定した場合（Ｓ５６でＹｅｓ）、新しい三次元点を追加し、三次元点のリストおよび空の画素のリストを更新する（Ｓ５７）。

三次元点増加モジュール２０６は、ＮＣＣが閾値Ｔｈｒ以下であると判定した場合（Ｓ５６でＮｏ）、または、ステップＳ５７の後において、ステップＳ５１に戻り、次の処理対象とする三次元点を、三次元点群を構成する全ての三次元点から選択する。

ステップＳ５３において、三次元点増加モジュール２０６は、空の画素がないと判定した場合（Ｓ５３でＮｏ）、処理対象の画素が最後の画素であるか否かを判定する（Ｓ５８）。

三次元点増加モジュール２０６は、処理対象の画素が最後の画素であると判定した場合（Ｓ５８でＹｅｓ）、三次元点を増加させる処理を終了する。三次元点増加モジュール２０６は、処理対象の画素が最後の画素でないと判定した場合（Ｓ５８でＮｏ）、ステップＳ５１に戻り、次の処理対象とする三次元点を、三次元点群を構成する全ての三次元点から選択する。

なお、空の画素は、三次元情報を有さない画素を参照することができる。

図１３は、実施の形態に係る三次元点群の三次元点を増加させる処理の一例を示すフローチャートである。

三次元点増加モジュール２０６は、三次元情報を有さない画素を検出する（Ｓ６１）。

三次元点増加モジュール２０６は、三次元情報を有さない１以上の画素のそれぞれについて、当該画素の三次元情報を、当該画素に最も近い、三次元情報を有する画素の三次元情報で初期化する（Ｓ６２）。

三次元点増加モジュール２０６は、類似性スコア（similarity score）を最適化することで初期化された画素の初期の三次元情報を変換し、三次元情報を精度を向上させる（Ｓ６３）。類似性スコアの最適化は、複数の画像間の複数の画素の不一致を最小化することによって達成されうる。不一致は、フォトコンシステンシースコアとは逆の関係にある。

なお、図１２の処理と図１３の処理とは、三次元点を増加させる処理において両方行われてもよいし、いずれか一方が行われてもよい。

図１４Ａおよび図１４Ｂは、三次元点群再構成手法（３ＤＲｅｃｏｎｓｔｒｕｃｔｉｏｎ）を実施する際のカメラ配置例を示した図である。

三次元再構成を行うために複数のカメラを空間に配置する場合、図１４Ａの模式図のように１台毎に隣に配置されるカメラとの間の距離が一定距離以上となるように離した状態で、複数のカメラを空間に散在させてもよい。

また、図１４Ｂの模式図のように２台を含む１台以上のカメラをグループとして、そのカメラグループ毎に隣に配置されるカメラグループとの間の距離が一定距離以上となるように離した状態で、複数のカメラを空間に散在させてもよい。この場合、１台のカメラをカメラグループとして扱ってもよい。つまり、１台のカメラのカメラグループと、２台以上のカメラのカメラグループとが混在していてもよい。なお、同一のカメラグループに属する２台以上のカメラは、例えば、一定距離未満で位置が隣接することを満たすカメラとしてもよいし、光軸方向の差が所定の角度範囲未満であることを満たすカメラとしてもよい。なお、カメラ単体の種類としてステレオカメラを利用してもよく、ステレオカメラを利用する場合、単一位置から距離情報を取得してもよい。なお、各カメラの設置位置の高さは同一である必要はなく、それぞれ異なっていても構わない。

単体カメラを配置した場合、１台以上の他のカメラの情報を参照し三次元再構成を行う。カメラグループを含むカメラ配置の場合は、カメラグループ単位で三次元点群の生成および距離情報の取得を行い、それらの結果をカメラグループ間で統合することで三次元再構成を行うような段階的処理を行ってもよい。また、単体カメラの配置と同様にカメラグループ間において情報を参照し、三次元再構成を行ってもよい。

図１５は本開示における三次元点群再構成手法（３ＤＲｅｃｏｎｓｔｒｕｃｔｉｏｎ）を実施する際のカメラ配置方法の具体例を示した図である。

カメラ配置方法の具体例として交差点にカメラを配置した場合について説明する。

交差点６００において、三次元再構成を実施するために複数のカメラの配置方法の一例としては、以下が挙げられる。

車道を上方から撮像するために、４機の信号機６０５のそれぞれに、単体カメラまたはカメラグループまたはその両方を配置する。

歩道を上方から撮像するために、歩道信号６１０、建造物６１５、設置用ポール６２０などに単体カメラまたはカメラグループまたはその両方を配置する。

なお、歩道橋、照明などの建造物がある場合、当該建造物にカメラなどを配置してもよい。

また、交差点中央の上空にカメラを配置してもよい。

また、車載カメラ、ドローンに搭載されているカメラなどの、移動カメラを利用してもよい。

また、上記の交差点と同様のカメラ配置を、踏切に適用してもよい。

上記実施の形態では、画像生成システム１００は、複数のカメラ１０２により撮像された複数の画像は、複数の撮像装置１０４を経由して画像生成装置１０１に出力される構成としたが、これに限らない。例えば、図１６に示す画像生成システム１００Ａのように、複数のカメラ１０２により撮像された複数の画像は、ネットワーク１３０を介して画像生成装置１０１Ａに出力される構成としてもよい。この場合、複数の画像は、ネットワーク１３０を介して、一端サーバ１３８のストレージ１３２に蓄積される構成であってもよい。そして、画像生成装置１０１Ａは、サーバ１３８からストレージ１３２に蓄積された複数の画像を、プロセッサ１０６ＡのネットワークＩＦ１２を介して取得する構成であってもよい。

このような、ビュー依存合成は、医療産業、映画産業、ビデオゲーム産業、建築産業、科学コミュニティ、およびエンジニアリングコミュニティを含む広範囲のアプリケーションにおいて有用である。

上述のビュー依存合成には、視覚的な違和感を最小限とする、現実的なレンダリングと高画質が必要である。また、可視性、オクルージョン、および色/輝度の違いを処理する方法が必要である。

本実施の形態に係る再構成方法によれば、画像情報に応じて動的に変更されたサイズおよび形状のマッチングパターンを用いてマッチング処理を行うため、精度およびロバスト性を向上させることができ、かつ、処理時間を短くすることができる。

本実施の形態に係る再構成方法および再構成装置では、三次元アプリケーションに使用することができるシーンの三次元モデルを再構成するための方法および装置である。再構成方法では、分散ヒートマップが各画像について算出され、テクスチャエッジのヒートマップも各画像について算出される。再構成方法では、分散ヒートマップ、および、テクスチャエッジのヒートマップを使用することによって、大きな分散領域およびエッジ領域をテクスチャ領域として定義し、それ以外の領域を非テクスチャ領域として定義する。テクスチャ領域内の画素は、当該画素に沿った小さな第１のサイズのマッチングパターンによって、隣接する画素と区別することができる。したがって、予め定められたパターンセットから小さなマッチングパターンを選択することができ、三次元再構成のための測光的に類似の評価（photometric similar evaluation）を利用できる。非テクスチャ領域の画素では、十分なテクスチャが存在しないため、隣接する画素との間では、小さなマッチングパターンで区別しにくい。十分なテクスチャを収集するために、測光的に類似の評価のためのマッチングパターンは、所定の画素から互いに異なる複数の方向に拡大されることで得られる領域である。各方向について、（ｉ）拡大した端部から中心までの距離が最大距離に等しいこと、（ｉｉ）拡大した端部の画素がテクスチャ領域に属したこと、（ｉｉｉ）拡大した端部の画素の局所平均値が処理対象の画素の局所平均値よりも大きく異なる（つまり局所平均値の差分が閾値より大きい）ことのいずれかを満たす場合、マッチングパターンを決定するための領域の拡大は停止する。この拡大によって、マッチングパターンは、ピクセルをその近傍ピクセルから区別するために、より有用なテクスチャ情報を収集することができる。したがって、このマッチングパターンは、測光的に類似の評価に対してロバスト性を有し、かつ、精度の高い三次元モデルを生成することができる。

所定の画素の強度分散は、所定の画素を含むいくつかの近隣ピクセルを用いて算出される。算出された強度分散のうち、所定の閾値よりも大きい分散値は、豊富なテクスチャを含む領域であることを示しており、豊富なテクスチャは測光的に類似の評価に対してロバスト性を有する。したがって、分散値が所定の閾値よりも大きい画素では、高精度で効率的な三次元再構成のために小さなパターンを使用できる。

なお、本開示を上記実施の形態に基づいて説明してきたが、本開示は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本開示に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。

（４）本開示は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。

また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。

また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の再構成方法、再構成装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の二次元画像を用いて三次元モデルを、プロセッサを用いて再構成する再構成方法であって、前記複数の二次元画像のそれぞれの画像情報に応じて、前記複数の二次元画像に含まれる特徴点のマッチング処理において使用するマッチングパターンのサイズおよび形状を決定し、決定した前記マッチングパターンに基づいて前記マッチング処理を行うことで、複数の三次元点により構成される第１三次元点群を再構成し、前記複数の二次元画像を用いて、前記第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成し、前記第２三次元点群を用いて前記三次元モデルを再構成する再構成方法を実行させる。

以上、本開示の一つまたは複数の態様に係る再構成方法および再構成装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。

本開示は、再構成方法または再構成装置において有利に利用される。

２校正モジュール
４、４Ａ再構成モジュール
８レンダリングモジュール
１０メモリ
１２ネットワークＩＦ
１００、１００Ａ画像生成システム
１０１、１０１Ａ画像生成装置
１０２カメラ
１０４撮像装置
１０６、１０６Ａプロセッサ
１０８ディスプレイ
１１０入力装置
１１２外部メモリ
１１４モデルデータベース
１１６同期装置
１３０ネットワーク
１３２ストレージ
１３８サーバ
２０２領域判定モジュール
２０４、２０４Ａ三次元点再構成モジュール
２０６、２０６Ａ三次元点増加モジュール
３０１、３０２、５０１、５０２、５１１～５１３画像
５０３直線
５０４エピポーラ線

Claims

三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の二次元画像を用いて三次元モデルを、プロセッサを用いて再構成する再構成方法であって、
前記複数の二次元画像のそれぞれの画像情報に応じて、前記複数の二次元画像に含まれる特徴点のマッチング処理において使用するマッチングパターンのサイズおよび形状を決定し、
決定した前記マッチングパターンに基づいて前記マッチング処理を行うことで、複数の三次元点により構成される第１三次元点群を再構成し、
前記複数の二次元画像を用いて、前記第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成し、
前記第２三次元点群を用いて前記三次元モデルを再構成する
再構成方法。
前記マッチングパターンの決定では、
前記複数の二次元画像のそれぞれについて、当該二次元画像を構成している１以上の領域をテクスチャ領域と非テクスチャ領域とに分類し、
前記テクスチャ領域に分類した第１領域内には第１のサイズのパターンを前記マッチングパターンとして決定し、
前記非テクスチャ領域に分類した第２領域には前記第１のサイズよりも大きい第２のサイズのパターンを前記マッチングパターンとして決定する
請求項１に記載の再構成方法。
前記分類では、
前記複数の二次元画像のそれぞれについて、当該二次元画像を構成する複数の画素の画素値に基づく分散マップおよびエッジマップを算出し、
算出した前記分散マップおよび前記エッジマップを用いて、前記二次元画像を構成している前記１以上の領域をテクスチャ領域と非テクスチャ領域とに分類する
請求項２に記載の再構成方法。
三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の二次元画像を用いて三次元モデルを再構成する再構成装置であって、
プロセッサを備え、
前記プロセッサは、
前記複数の二次元画像のそれぞれの画像情報に応じて、前記複数の二次元画像に含まれる特徴点のマッチング処理において使用するマッチングパターンのサイズおよび形状を決定し、
決定した前記マッチングパターンに基づいて前記マッチング処理を行うことで、複数の三次元点により構成される第１三次元点群を再構成し、
前記複数の二次元画像を用いて、前記第１三次元点群に新たな三次元点を追加することで三次元点が増加された第２三次元点群を生成し、
前記第２三次元点群を用いて前記三次元モデルを再構成する
再構成装置。