JP7421572B2 - 画像処理方法、画像処理装置、画像処理プログラム、及び画像処理システム - Google Patents

Description

本発明は画像処理方法、画像処理装置、画像処理プログラム、及び画像処理システムに関する。

近年、構造物の撮像画像を取得し、その取得した撮像画像から三次元モデルを生成する技術が提案されている。

例えば、特許文献１は、三次元モデルの生成に最適な画像に対して、ＳｆＭ（Structure from Motion）、又はＳＬＡＭ（Simultaneous Localization and Mapping）のデータ処理を適用することを開示する。

特開２００９－２３７８４８号公報

ＳｆＭは、撮像範囲を互いに重ね合せた大量の二次元画像データを必要とし、各画像間の運動視差を利用して、自己位置と対象物の三次元点を推定する。そのために、例えば、次の処理が実行される。

（１）各画像上で持徴点を抽出し、対応点を取得することにより、複数の画像に写り込んでいる物体上の点を見つけ出す。（２）各画像間を撮影した三次元空間上の相対的な配置位置関係を推定し、写り込んだ物体上の点の三次元座標を推定する。（３）三次元点が各二次元画像に再投影されたときの誤差の総和を求める。（４）再投影誤差の総和を小さくさせるために、物体上の点の三次元座標の補正、各画像の自己位置を補正する。（１）から（４）の処理が繰り返し実行される。

ところで、２つの画像から、それぞれ持徴点、及び対応点を取得する場合、対象物が明るく、鮮明なテクスチャーを持つ平面の場合に特徴点及び対応点を見つけることは難しくない。

一方、対象物のテクスチャーが鮮明でない場合、特徴点及び対応点が取得しにくい。また、凹凸がある場合、得られにくく、視差の影響で対応点を得ることが難しくなる。例えば、撮影の対象物が橋梁の床版の場合、対象物が暗くテクスチャーが鮮明ではなく、また、鋼部材などの凹凸がある点から、画像間の持徴点、及び対応点を取得することは容易ではないという問題がある。

ＳＬＡＭは、レーザーセンサなどで対象物の三次元点群を得、移動先後、再度得られた対象物の三次元点群との一致を利用して、自己位置を推定する技術である。ＳＬＡＭは、例えば、２つの点集合の２点の対応関係を、逐次的に自己位置をずらしながら求めるＩＣＰ（Iterative Closest Point）を実行する必要があり、計算に費用がかかるという問題がある。

本発明はこのような事情に鑑みてなされたもので、効率よく三次元モデルを生成できる画像処理方法、画像処理装置、画像処理プログラム、及び画像処理システムを提供することを目的とする。

第１態様に係る画像処理方法は、画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した対象物の三次元データとを画像データ毎に関連付けた複数の単位画像データを取得するステップと、単位画像データごとに、単位画像データに含まれる三次元データに基づいて形状を推定する形状推定ステップと、複数の単位画像データの中で隣接する単位画像データの同士で、推定された形状ごとに画像データの画素ごとの対応関係を取得する対応関係取得ステップと、取得された画素ごとの対応関係と、画素に対応する三次元データとから、隣接する単位画像データの間の回転行列と並進ベクトルとを推定する推定ステップと、隣接する単位画像データの間で、全ての画素に回転行列と並進ベクトルとを適用し、隣接する単位画像データを１つの空間座標上で合成する合成ステップと、を含む。第１態様によれば、効率よく三次元モデルを生成できる。

第２態様に係る画像処理方法において、形状が平面である。第２態様によれば、形状の推定を容易に実行できる。

第３態様に係る画像処理方法において、合成ステップは、対応する画素の間で色味を調整することを含む。第３態様によれば、色味を調整することにより、質の高い三次元モデルを取得できる。

第４態様に係る画像処理方法において、対応関係取得ステップは、画像データに対し、特徴点を抽出し、かつ特徴量を算出すること、及び単位画像データごとに推定された形状の全ての組み合わせに対して対応点の探索を含む。第４態様によれば、対応関係取得ステップの好ましい処理を特定する。

第５態様に係る画像処理方法において、対応関係取得ステップにおける特徴点の抽出は、ＳＩＦＴ、ＳＵＲＦ、及びＡＫＡＺＥの群から選択されるアルゴリズムを含む。第５態様によれば、特徴点の抽出の好ましい処理を特定する。

第６態様に係る画像処理方法において、対応関係取得ステップは、対応点から得られた射影変換行列により、隣接する単位画像データの画像データを重ね合せたオーバーラップ領域を抽出し、オーバーラップ領域における相関値に基づいて、画像データの画素ごとの対応関係を取得することを含む。第６態様によれば、相関値を算出することで、より正確に対応関係を決定できる。

第７態様に係る画像処理方法において、相関値をＺＮＣＣ（Zero mean Normalized Cross Correlation）法により求める。第７態様によれば、相関値算出の好ましい処理を特定する。

第８態様に係る画像処理方法において、画像データ取得装置と三次元データ取得装置とがＲＧＢ－Ｄカメラである。第８態様によれば、校正された画像データと三次元データとを取得できる。

第９態様に係る画像処理装置は、画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した対象物の三次元データとを画像データ毎に関連付けた複数の単位画像データを取得する単位画像データ取得部と、単位画像データごとに、単位画像データに含まれる三次元データに基づいて形状を推定する形状推定部と、複数の単位画像データの中で隣接する単位画像データの同士で、推定された形状ごとに画像データの画素ごとの対応関係を取得する対応関係取得部と、取得された画素ごとの対応関係と、画素に対応する三次元データとから、隣接する単位画像データの間の回転行列と並進ベクトルとを推定する推定部と、隣接する単位画像データの間で、全ての画素に回転行列と並進ベクトルとを適用し、隣接する単位画像データを１つの空間座標上で合成する合成部と、を含む。第９態様によれば、第１態様と同様に、効率よく三次元モデルを生成できる。

第１０態様に係る画像処理プログラムは、上記画像処理方法をコンピュータに実行させる。第１０態様によれば、コンピュータにより画像処理方法を実行できる。

第１１態様に係る画像処理システムは、校正された画像データ取得装置と三次元データ取得装置とを備える移動体と、上記画像処理装置と、を備える。

本発明の画像処理方法、画像処理装置、及び画像処理プログラムによれば、効率よく三次元モデルを生成できる。

図１は画像処理システムを概念的に示す図である。 図２は移動体に搭載された撮像装置により対象物を撮像する様子を概念的に示した図である。 図３は移動体マイコンが実現する機能を示すブロック図である。 図４は画像処理装置の機能構成例を示すブロック図である。 図５は画像処理装置を使用した画像処理方法を説明するフローチャートである。 図６は画像データと三次元データとが関連付けられた単位画像データを説明するための図である。 図７は撮像装置により取得された単位画像データの一例を示す図である。 図８は画像データに対して実施された平面推定を模式的に示す図である。 図９は図５に示したステップＳ１００の処理の第１例を示すサブルーチンを示す図である。 図１０は特徴点の対応付けの確認を示す図である。 図１１はオーバーラップ領域の抽出を説明するための図である。 図１２は相関値の算出を説明するための図である。 図１３は画像合成を説明するための図である。 図１４は単位画像データ群に基づいて対象物の三次元モデルが生成されることを説明する概念図である。

以下、添付図面に従って本発明に係る画像処理方法、画像処理装置、及び画像処理プログラムの好ましい実施の形態について説明する。

図１は、画像処理システムを概念的に示す図である。画像処理システムは、画像処理装置１００と撮像装置２００とにより構成される。

画像処理装置１００は、コンピュータにより構成される。画像処理装置１００には、例えば、操作部１１０、及び表示部１２０が接続されている。画像処理装置１００を構成するコンピュータは、インストールされた画像処理プログラムを実行することにより、画像処理装置１００として機能する。なお、図示されたコンピュータの形態は一例であり、コンピュータと同様の機能を有する装置は本発明の画像処理装置１００を備えることができる。例えば、画像処理装置１００はタブレット端末により構成される。

撮像装置２００は、校正された画像データ取得装置２０２と三次元データ取得装置２０４とを備える。撮像装置２００は、対象物の一例である橋梁１を撮像して、単位画像データＵＩＤを取得する。単位画像データＵＩＤは、画像データ取得装置２０２により取得される画像データと三次元データ取得装置２０４により取得された三次元データとを関連付けたデータである。

撮像装置２００は、橋梁１を分割して撮像することにより複数の単位画像データＵＩＤを取得する。

撮像装置２００は、撮像範囲を移動しながら、順番に隣接する複数の単位画像データＵＩＤを取得する。なお、複数の単位画像データＵＩＤは、合成されることを考慮して、隣接する単位画像データＵＩＤと重複領域を有するように撮像される。複数の単位画像データＵＩＤが画像処理装置１００に入力される。

なお、対象物の一例である橋梁１は、複数の橋脚４と、橋脚４の間に渡された主桁２と、主桁２の上部に打設された、車輌等が走行するための床版３と、を備える。床版３は一般的な鉄筋コンクリート製のものとする。なお橋梁１は、主桁２及び床版３の他に図示せぬ横桁、対傾構、及び横構等の部材を有する。なお、橋梁１の床版３は、暗くテクスチャーが鮮明ではなく、また、鋼部材などの凹凸がある点から、画像間の持徴点、及び対応点を取得することは重要である。

ここで、本発明が適用される対象物は上述した橋梁１に限定されない。対象物は、例えば、ダム、トンネル、建物などの構造物を含む。

図２は、移動体に搭載され撮像装置が対象物である橋梁を撮像する様子を概念的に示した図である。図３は、図２の移動体に搭載された移動体マイコンが実現する機能を示すブロック図である。

図２に示されるように、撮像装置２００が、移動体３００に搭載されている。図２に示される移動体３００は、無人航空機（UAV：Unmanned Aerial Vehicle）である。移動体３００が、対象物であるの橋梁１の周囲を、コントローラ２５０から送信される制御信号に基づいて飛行する。また、移動体３００に搭載された撮像装置２００は、コントローラ２５０から送信される制御信号に基づいて、移動体３００の移動に合わせて、撮像範囲を移動させながら、橋梁１を撮像する。その結果。撮像装置２００は、順番に隣接する複数の単位画像データＵＩＤ（図１参照）を取得する。

図３は、移動体３００の構成を示すブロック図である。移動体３００は、プロペラ駆動モータ３１０と、モータドライバ３１２と、センサ部３１６と、機体側無線通信部３１８と、移動体マイコン（マイコン：マイクロコンピュータ）３３０と、を備える。

移動体マイコン３３０は、制御部３３２と、移動制御部３３４と、カメラ制御部３３８と、機体側無線通信制御部３３６と、を備える。制御部３３２は、移動制御部３３４、機体側無線通信制御部３３６、及びカメラ制御部３３８の各機能の全体を管理する。移動体マイコン３３０は、プログラムを実行することにより、制御部３３２と、移動制御部３３４と、カメラ制御部３３８と、機体側無線通信制御部３３６として、機能させることができる。

移動制御部３３４は、モータドライバ３１２を介してプロペラ駆動モータ３１０の駆動を制御することにより、移動体３００の飛行（移動）を制御する。移動制御部３３４は、コントローラ２５０から送信される制御信号、及びセンサ部３１６から出力される移動体３００の飛行状態の情報に基づいて、各プロペラ駆動モータ３１０の駆動を制御し、移動体３００の飛行を制御する。

センサ部３１６は、移動体３００の飛行状態を検出する。センサ部３１６は、ＩＭＵ（inertial measurement unit）、ＧＮＳＳ（Global Navigation Satellite System）等の各種センサ類を備えて構成される。ＩＭＵは、例えば、ジャイロセンサ、地磁気センサ、加速度センサ、速度センサ等を複数軸で組み合わせて構成される。センサ部３１６は、各種センサで検出された移動体３００の飛行状態の情報を移動体マイコン３３０に出力する。

機体側無線通信部３１８は、移動体マイコン３３０による制御の下、コントローラ２５０と無線で通信し、互いに各種信号を送受信する。例えば、コントローラ２５０が操作された場合、その操作に基づく制御信号がコントローラ２５０から移動体３００に向けて送信される。機体側無線通信部３１８は、コントローラ２５０から送信された制御信号を受信し、移動体３００に出力する。

移動体マイコン３３０は、図示しないが、ＣＰＵ（Central Processing Unit／中央処理装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ＲＯＭに格納される。

カメラ制御部３３８は、コントローラ２５０から送信される制御信号に基づいて、撮像装置２００を制御する。例えば、コントローラ２５０からの撮像開始指示に応じて、撮像装置２００は撮像を開始できる。コントローラ２５０からの撮像終了指示に応じて、撮像装置２００は撮像を終了させる。

機体側無線通信制御部３３６は、機体側無線通信部３１８を介して、コントローラ２５０との間の通信を制御する。

移動体３００の飛行計画、撮像装置２００の撮像条件は、制御ソフトウェア等で事前に決定できる。飛行計画は、例えば、移動体３００の飛行経路、速度、及び高度を含む。撮像条件は、撮像装置２００を等時間間隔で撮像させること、及び等距離間隔で撮像させること等を含む。等時間間隔、等距離間隔等の条件が適宜選択される。制御部３３２は、飛行計画に基づいて、移動制御部３３４を制御する。移動制御部３３４は、制御部３３２からの信号に従い、モータドライバ３１２を介してプロペラ駆動モータ３１０の駆動を制御する。制御部３３２は、撮像条件に基づいて、カメラ制御部３３８を制御する。カメラ制御部３３８は、撮像装置２００を制御する。飛行計画と撮像条件を組み合わせることにより、飛行経路上の撮像範囲のオーバーラップ率、及び飛行経路間の撮像範囲のサイドラップ率等が決定される。

移動体３００として、無人航空機を例示したが、これらに限定されない。移動体３００は、車両、船舶等でもよい。移動体３００は、無人であっても、有人であってもよい。また、移動体３００を使用しないで撮像できる。

次に、図４を参照して、画像処理装置１００を説明する。図４は、画像処理装置１００の機能構成例を示すブロック図である。画像処理装置１００の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行し各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

画像処理装置１００は、単位画像データ取得部１３２、形状推定部１３４、対応関係取得部１３６、推定部１３８、合成部１４０、制御部１４２から構成される。制御部１４２は、単位画像データ取得部１３２、形状推定部１３４、対応関係取得部１３６、推定部１３８、合成部１４０、操作部１１０、及び表示部１２０の各機能の全体を管理する。

次に、画像処理方法について図面を参照して説明する。

図５は、画像処理装置１００を使用して実行される画像処理方法を示すフローチャートである。

図５に示されるように、画像処理方法は、単位画像データ取得ステップ（ステップＳ１）、形状推定ステップ（ステップＳ２）、対応関係取得ステップ（ステップＳ３）、回転行列と並進ベクトル推定ステップ（ステップＳ４）、及び隣接画像合成ステップ（ステップＳ５）を備える。

（単位画像データ取得ステップ）
単位画像データ取得ステップでは、画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した対象物の三次元データとを画像データ毎に関連付けた複数の単位画像データを取得する（ステップＳ１）。

図６は、画像データと三次元データとが関連付けられた単位画像データを説明するための図である。図６に示されるように、撮像装置２００の画像データ取得装置２０２は、対象物の画角範囲毎に二次元カラー画像データである画像データＩＤを取得する。画像データＩＤは、複数の画素データを含んでいる。画素データは、Ｘ軸とＹ軸の二次元座標系上で位置（Ｘ、Ｙ）の情報と、ＲＧＢ（Ｒｅｄ－Ｇｒｅｅｎ－Ｂｌｕｅ）情報を有している。

撮像装置２００の三次元データ取得装置２０４は、対象物までの深度データＤＰを取得する。深度データＤＰは、画素毎の深度Ｄの集合であり、深度Ｄは対象物と三次元データ取得装置２０４との距離である。深度データＤＰは、画素毎に深度データを有している。図６において、深度データＤＰは、画素毎の距離のカラー画像を模式的にグレースケールの濃淡で表示している。深度データＤＰの中央より少し下が濃い領域で、距離が最も遠い。濃い領域の周囲が白い領域で、濃い領域に比較して距離が近い。さらに、白い領域の周囲の少し濃い領域が、白い領域に比較して近い。

撮像装置２００は、画像データ取得装置２０２で取得した画像データの２次元座標上の位置と三次元データ取得装置２０４で取得した深度データＤＰ内の２次元座標上の位置が一致するように校正されているので、画像データＩＤと深度データＤＰの各画素が関連付けられる。画像データ取得装置２０２力メラの内部パラメータを使うことで、画像の深度データＤＰ（深度画像）から１画素毎に、レンズ中央を原点とする（Ｘ、Ｙ、Ｚ）の座標、すなわち三次元データＴＤを得ることができる。

画像データ取得装置２０２は、図示しないＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含む。撮像素子は、ｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電交換素子で構成された複数の画素を有し、複数の画素の上面には、例えば、Ｒ（赤）、Ｇ（緑）及びＢ（青）のフィルタが二次元的にベイヤー配列されたカラーフィルタ（図示せず）が配置される。実施形態では、画像データ取得装置２０２は、二次元カラー画像データを取得できる。画像データ取得装置２０２は、一回の撮像毎に、画角毎の画像データを取得する。撮像範囲は画像データ取得装置２０２の画角により決定される。画像データ取得装置２０２は、対象物に対して複数の画像データを取得する。画角は、画像データ取得装置２０２で撮像した際の撮像範囲を表す。

三次元データ取得装置２０４は、対象物の三次元データを取得する。三次元データ取得装置２０４は、例えば、ステレオカメラ、レーザースキャナー、又はタイムオブフライト（Time-of-Flight：ＴｏＦ）式カメラである。

ステレオカメラは、異なる位置に配置された複数のカメラから同時に画像データを撮像し、画像データにおける視差を用いて、対象物までの三次元データを取得するカメラである。三次元データ取得装置２０４がステレオカメラである場合、複数のカメラの一台を画像データ取得装置２０２として利用できる。三次元データ取得装置２０４とは別に、画像データ取得装置２０２を設けることができる。

レーザースキャナーはレーザーパルスを対象物に出射し、対象物の表面で反射されたレーザーパルスが戻ってくるまでの時間により距離を計測する。そして、計測した距離とレーザーパルスの出射方向の角度情報とによりレーザーパルスの反射点の三次元データが取得される。すなわち、三次元データは三次元座標を含む。レーザースキャナーは、タイムオブフライト方式によるものに限らず、位相差方式、三角法方式により三次元データが取得できる。

タイムオブフライト式カメラは、光の飛行時間を測ることで三次元データを取得するカメラである。

画像データ取得装置２０２と三次元データ取得装置２０４とは、これらに限定されない。

図４に示されるように、画像データＩＤと深度データＤＰとから、画像データＩＤと三次元データＴＤとを画素毎に関連付けた（Ｘ、Ｙ、Ｚ、Ｒ、Ｇ、Ｂ）の複数の単位画像データＵＩＤが撮像装置２００により取得される。

画像処理装置１００の単位画像データ取得部１３２が、撮像装置２００から複数の単位画像データＵＩＤを取得する（ステップＳ１）。単位画像データ取得部１３２は、装置入出力部（不図示）を介して、撮像装置２００により取得された複数の単位画像データＵＩＤを取得する。複数の単位画像データＵＩＤは、飛行計画、及び撮像条件に基づいて、対象物をオーバーラップ及びサイドラップさせて撮像されている。図７に示されるように、対象物の隣接領域を取得した単位画像データＵＩＤ（Ａ）、及び単位画像データＵＩＤ（Ｂ）が、単位画像データ取得部１３２に入力される。単位画像データＵＩＤ（Ａ）、及び単位画像データＵＩＤ（Ｂ）は撮像位置が異なるので、それぞれの原点は異なる。

（形状推定ステップ）
形状推定ステップは、単位画像データごとに、単位画像データに含まれる三次元データに基づいて形状を推定する（ステップＳ２）。なお、実施形態においては、推定する形状を平面として説明する。

複数の単位画像データＵＩＤが単位画像データ取得部１３２から形状推定部１３４に入力される（図４参照）。形状推定部１３４は、単位画像データＵＩＤ毎に三次元データＴＤから、単位画像データＵＩＤに含まれる平面を推定する。

形状推定部１３４は、例えば、次式に示す平面方程式を求めることにより、単位画像データＵＩＤに含まれる平面を推定できる。
［数１］
ａ_ｒＸ＋ｂ_ｒＹ＋ｃ_ｒＺ－ｄ_ｒ＝０
［数１］式において、Ｘ、Ｙ及びＺはカメラ座標系の３軸直交方向の三次元データであり、ａ_ｒ、ｂ_ｒ、ｃ_ｒ、及びｄ_ｒはそれぞれ平面方程式の係数を示す。三次元データＴＤの（Ｘ，Ｙ，Ｚ）の各点との２乗距離が最小となる平面の係数ａ_ｒ、ｂ_ｒ、ｃ_ｒ、及びｄ_ｒを求めることで推定される平面が決定される。

図８は、画像データＩＤ（Ａ）、及び画像データＩＤ（Ｂ）の二次元画像に対して実施された平面推定を模式的に示す図である。図８に示されるように、画像データＩＤ（Ａ）に対して、Ａ１で示されるように平面が推定される。推定された平面に含まれる点に対応する画素に同一の色が付されている。推定された平面の領域を示すため、領域を二点鎖線で示している。

Ａ１で平面が推定されると、その平面がマスクされ一時的に取り除かれ、残りの画素に対して平面の推定が実行される。Ａ２では、画像データＩＤ（Ａ）に対して、Ａ１とは異なる平面が推定される。

Ａ１及びＡ２で平面が推定されると、それらの平面がマスクされ一時的に取り除かれ、同様に残りの画素に対して平面の推定が実行される。Ａ３では、画像データＩＤ（Ａ）に対して、Ａ１及びＡ２とは異なる平面が推定される。画像データＩＤ（Ａ）では、３つの平面が推定される。画像データＩＤ（Ｂ）に同様の処理が実行され、Ｂ１とＢ２の２つの平面が推定される。画像データＩＤ（Ａ）、及び画像データＩＤ（Ｂ）からそれぞれ推定平面が特定される。各画像データＩＤから最大で３つの推定平面が特定される。

実施形態では、推定する形状が平面である場合を示したが、平面に限定されず円柱等の他の形状であっても推定できる。

（対応関係取得ステップ）
対応関係取得ステップでは、複数の単位画像データの中で隣接する単位画像データの同士で、推定された形状ごとに画像データの画素ごとの対応関係を取得する（ステップＳ３）。

複数の単位画像データＵＩＤ（例えば、図７における単位画像データＵＩＤ（Ａ）、（Ｂ））と、形状推定ステップで取得された推定平面に関するデータ（例えば、Ａ１、Ａ２、Ａ３、Ｂ１、Ｂ２）とが、対応関係取得部１３６に入力される。

次に、ステップＳ３の処理について詳細に説明する。図９はステップＳ３の処理の一例のサブルーチンを示す図である。

図９に示されるように、対応関係取得ステップは、特徴点抽出及び特徴量算出ステップ（ステップＳ３１）、対応点探索ステップ（ステップＳ３２）、射影変換行列算出ステップ（ステップＳ３３）、オーバーラップ領域抽出ステップ（ステップＳ３４）、相関値算出ステップ（ステップＳ３５）及び対応平面決定ステップ（ステップＳ３６）を備える。

特徴点抽出及び特徴量算出ステップでは、複数の画像データＩＤに対して、特徴点の抽出、及び特徴量の算出を実施する（ステップＳ３１）。特徴点の抽出、及び特徴量の算出は、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、及びＡＫＡＺＥ（Accelerated KAZE Features）の群から選択されるアルゴリズムにより実行される。尚、１枚の画像データに対して複数の形状（平面）が推定された場合は、推定された形状毎（平面毎）に特徴点の抽出、及び特徴量の算出を行ってもよい。

次に、時系列的に隣接する画像データＩＤ（Ａ）、及び画像データＩＤ（Ｂ）に対して、以下の処理が実行される。

対応点探索ステップでは、単位画像データごとに推定された形状の全ての組み合わせに対して対応点が探索される（ステップＳ３２）。単位画像データＵＤＩごとに推定された形状とは、ステップＳ２により、単位画像データＵＤＩに含まれる画像データＩＤから推定された全ての形状である。すなわち、実施形態では、図８で示される画像データＩＤ（Ａ）の３つの推定平面（Ａ１、Ａ２、Ａ３）であり、画像データＩＤ（Ｂ）の２つの推定平面（Ｂ１、Ｂ２）が単位画像データＵＤＩごとに推定された形状となる。

全ての組み合わせに対して対応点を探索するとは、画像データＩＤ（Ａ）のある推定平面と、画像データＩＤ（Ｂ）のある推定平面とに含まれる特徴点に対して、全てを組み合わせて対応点を探索することである。実施形態では、画像データＩＤ（Ａ）の３つの推定平面と、画像データＩＤ（Ｂ）の２つの推定平面との間で対応点を探索することであり、ここでは、６パターン、すなわち（Ａ１：Ｂ１）、（Ａ１：Ｂ２）、（Ａ２：Ｂ１）、（Ａ２：Ｂ２）、（Ａ３：Ｂ１）、（Ａ３：Ｂ２）の組み合わせに対して、それぞれ対応点が探索される。

対応点の探索では、例えば、各画像の特徴点の特徴量ベクトルを算出し、算出した特徴量ベクトル間の距離が近いものを互いに類似する特徴点として対応づける。対応点の探索方法として、例えば、総当たりマッチングが挙げられる。総当たりマッチングでは、画像データＩＤ（Ａ）の中のある推定平面のある特徴点の特徴量ベクトルと画像データＩＤ（Ｂ）の中の全特徴点の特徴量ベクトルとの距離をそれぞれ算出する。そして、画像データＩＤ（Ｂ）の全特徴点のうち、画像データＩＤ（Ａ）の特徴点の特徴量ベクトルと最も距離が小さい特徴点を対応する特徴点（対応点）として決定する。

次に、射影変換行列算出ステップでは、得られた対応点から、各画素の座標情報に基づいて、２つの画像データＩＤの間の射影変換行列を求める（ステップＳ３３）。

図１０は、上段に２つの画像データＩＤ（Ａ）、画像データＩＤ（Ｂ）の間での特徴点の対応付けを確認するための画像であり、下段に２つの画像データＩＤ（Ａ）、画像データＩＤ（Ｂ）を示している。画像データＩＤ（Ａ）と画像データＩＤ（Ｂ）との間では、Ａ１に相当する画像と、Ｂ１に相当する画像との間で特徴点の対応付けが確認されている。図１０の上段に示されるように、（Ａ１：Ｂ１）の組み合わせにおいて、特徴点の間に引かれている線が平行であるから、正しい対応点が多く得られている。特徴点、及び特徴量が対応付けられていると判断できる。Ａ１とＢ１とに基づいて、画像データＩＤ（Ｂ）から画像データＩＤ（Ａ）への射影変換行列が求められる。

（Ａ１：Ｂ１）の組み合わせにおいて、特徴点の対応付けを確認し、射影変換行列を求める場合を示している。残りの５つの組み合わせのパターンに対しても特徴点の対応付けが確認され、射影変換行列を求める処理が実行される。ただし、特徴点の対応付けを確認できない組合せパターンの場合、射影変換行列は求められない。

次に、オーバーラップ領域抽出ステップでは、ステップ３３で求めた、２つの画像データＩＤの間で射影変換行列を適用し、２つの画像データＩＤがオーバーラップするオーバーラップ領域を抽出する（ステップＳ３４）。

図１１に示されるように、上段の右側には、画像データＩＤ（Ｂ）が示されている。上段の左側には、画像データＩＤ（Ａ）に対して、ステップ３３で求めた射影変換行列を適用することで得られる変換後画像データＣＩＤ（Ａ）が示されている。実施形態では、画像データＩＤ（Ｂ）を固定し、変換後画像データＣＩＤ（Ａ）移動し、画像データＩＤ（Ｂ）と変換後画像データＣＩＤ（Ａ）が重ね合せられる。

下段の右側には、画像データＩＤ（Ｂ）と変換後画像データＣＩＤ（Ａ）とがオーバーラップする領域であって、画像データＩＤ（Ｂ）に含まれるオーバーラップ領域ＯＬ（Ｂ）が示されている。下段の左側には、画像データＩＤ（Ｂ）と変換後画像データＣＩＤ（Ａ）とがオーバーラップする領域であって、変換後画像データＣＩＤ（Ａ）に含まれるオーバーラップ領域ＯＬ（Ａ）が示されている。

図１１に示される処理によって、オーバーラップ領域ＯＬ（Ａ）とオーバーラップ領域ＯＬ（Ｂ）とが抽出される。

（Ａ１：Ｂ１）の組合せパターンから得られた射影変換行列を適用してオーバーラップ領域ＯＬ（Ａ）とオーバーラップ領域ＯＬ（Ｂ）とが抽出される。オーバーラップ領域の抽出は、ステップ３３で求められた全ての射影変換行列を適用して行われる。例えば、（Ａ１：Ｂ２）、（Ａ２：Ｂ２）の組合せパターンで求められた射影変換行列を適用してオーバーラップ領域が抽出される。

次に、相関値算出ステップでは、ステップ３４で抽出された複数のオーバーラップ領域の間での相関値を算出する（ステップＳ３５）。

射影変換行列を適用した画像データＩＤ（Ａ）と画像データＩＤ（Ｂ）とがオーバーラップする画素に対して相関値を求める。相関値は、例えば、ＺＮＣＣ(Zero-mean Norma1ized Cross-Correlation)により求めることができる。実施形態では、特徴点及び特徴量が対応付けられている（Ａ１：Ｂ１）（Ａ１：Ｂ２）、及び（Ａ２：Ｂ２）の組合せパターンを相関値算出する対象とする。

図１２に示されるように、特徴点の対応関係が確認された（Ａ１：Ｂ１）から抽出されたオーバーラップ領域、（Ａ１：Ｂ２）から抽出されたオーバーラップ領域、及び（Ａ２：Ｂ２）から抽出されたオーバーラップ領域、それぞれの領域のみの画素に対して相関値を求める。

実施形態では、（Ａ１：Ｂ１）ではＺＮＣＣ＝０．８３３０５、（Ａ１：Ｂ２）ではＺＮＣＣ＝０．４４８９２、（Ａ２：Ｂ２）ではＺＮＣＣ＝０．８３３０５、（Ａ２：Ｂ２）では、ＺＮＣＣ＝０．８３３０５である。（Ａ１：Ｂ１）及び（Ａ２：Ｂ２）のＺＮＣＣが、（Ａ１：Ｂ２）のＺＮＣＣより高い。

つまり、（Ａ２：Ｂ２）は特徴点及び特徴量が対応付けられている場合でも、相関値の大きさが異なることが理解できる。

次に、対応平面決定ステップでは、オーバーラップ領域の相関値に基づいて、隣接する画像データに含まれる推定平面に対し、対応平面を決定する（ステップＳ３６）。

オーバーラップ領域の相関値が閾値を越えていれば、推定された平面領域は同じ平面である推定し、平面の対応関係の情報を記憶する。推定された平面形状ごとに画像データＩＤの画素ごとの対応関係が取得され、記憶される。

対応平面が決定されると（ステップＳ３６）、対応関係取得ステップ（ステップＳ３）が終了する。図５に示される、回転行列及び並進ベクトル推定ステップ（ステップＳ４）に進む。

（回転行列及び並進ベクトル推定ステップ）
回転行列及び並進ベクトル推定ステップは、取得された画素ごとの対応関係と、画素に対応する三次元データとから、隣接する単位画像データの間の回転行列と並進ベクトルとを推定する（ステップＳ４）。

対応関係取得ステップにより、隣接する画像データＩＤに含まれる推定平面の対応関係が決定され、画素ごとの対応関係が取得されている。隣接する単位画像データＵＩＤにおいて、決定された対応平面に含まれる三次元データＴＤは同じ位置である。隣接する単位画像データＵＩＤのそれぞれの三次元データＴＤから回転行列、及び並進ベクトルを推定する。

実施形態では、単位画像データＵＩＤ（Ａ）の三次元データＴＤ群から単位画像データＵＩＤ（Ｂ）の三次元データＴＤ群への回転行列、及び並進ベクトルが推定される。

図４に示される推定部１３８が、単位画像データＵＩＤ（Ａ）の画素に対応する三次元データＴＤと単位画像データＵＩＤ（Ｂ）の画素に対応する三次元データＴＤから回転行列、及び並進ベクトルを求める。対応付けられた単位画像データＵＩＤ（Ａ）の画素と単位画像データＵＩＤ（Ｂ）の画素との間の全ての回転行列、及び並進ベクトルが求められる。推定部１３８は、求められた全ての回転行列、及び並進ベクトルから、最小二乗法等により単位画像データＵＩＤ（Ａ）から単位画像データＵＩＤ（Ｂ）への回転行列、及び並進ベクトル（数１）を推定する。なお、１つの画像データに複数の形状（平面）が推定された場合は、複数の形状（平面）のそれぞれで単位画像データＵＩＤ（Ａ）の三次元データＴＤ群から単位画像データＵＩＤ（Ｂ）の三次元データＴＤ群への回転行列及び並進ベクトルが推定してもよい。また、推定した各形状（平面）における複数の回転行列及び並進ベクトルを用いて最小二乗法等により、最終的な単位画像データＵＩＤ（Ａ）から、単位画像データＵＩＤ（Ｂ）への回転行列及び並進ベクトルを推定してもよい。

回転行列は０．９９６８から０．８９１１までの３×３で示され、並進ベクトルは－０．０００１から０．０６３３までの３×１で示される。４行目の０から１までの１×４は、同次座標系という考えがあり、Ｘ、Ｙ、Ｚの３次元を１つ上にあげて４次元にして計算する。

（隣接画像合成ステップ）
隣接画像合成ステップでは、隣接する単位画像データの間で、全ての画素に回転行列と前記並進ベクトルとを適用し、隣接する単位画像データを１つの空間座標上で合成する（ステップＳ５）。

図４に示される合成部１４０は、求められた回転行列と並進ベクトルを単位画像データＵＩＤ（Ｂ）の全ての画素に適用し、単位画像データＵＩＤ（Ａ）と単位画像データＵＩＤ（Ｂ）とを１つの空間座標上で合成する。

図１３に示されるように、単位画像データＵＩＤ（Ｂ）が単位画像データＵＩＤ（Ａ）の空間座標上で合成され、合成画像ＣＩ－ＡＢが生成される。

取得された全ての単位画像データＵＩＤに対して、時系列的に、形状推定ステップ（ステップＳ２）、対応関係取得ステップ（ステップＳ３）、回転行列と並進ベクトル推定ステップ（ステップＳ４）、及び隣接画像合成ステップ（ステップＳ５）を実行する。

図１４に示されるように、橋梁を対象物として、単位画像データＵＩＤの単位画像データ群３５０から三次元モデル３６０が作成される。単位画像データ群３５０は２２個の単位画像データＵＩＤを含んでいる。各単位画像データＵＩＤは画像データと三次元データとを含んでいる。

三次元モデル３６０は、作成可能な三次元モデルの画像を含んでいる。画像３６２及び画像３６４は、架橋及び床版の画像である。画像３６６は、横から見た橋梁の全体画像である。画像３６８は、橋梁の床版に対応するオルソ画像である。床版の歪みがない三次元モデル３６０が２分程度の処理時間で得られた。実施形態では、隣接する単位画像データＵＩＤにおける対応する画素の間で色味が調整されている。色味を調整することで、色味が統一され質の高い三次元モデル３６０が取得できる。なお、色味の調整は、対応する画素同士のＲＧＢの平均ベクトルを求め、シフトさせることで実行できる。

本発明に係る画像処理装置を実現するハードウェアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。画像表示装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種プロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

以上、本発明について説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよい。

１：橋梁
２：主桁
３：床版
４：橋脚
１００：画像処理装置
１１０：操作部
１２０：表示部
１３２：単位画像データ取得部
１３４：形状推定部
１３６：対応関係取得部
１３８：推定部
１４０：合成部
１４２：制御部
２００：撮像装置
２０２：画像データ取得装置
２０４：三次元データ取得装置
２５０：コントローラ
３００：移動体
３１０：プロペラ駆動モータ
３１２：モータドライバ
３１６：センサ部
３１８：機体側無線通信部
３３０：移動体マイコン
３３２：制御部
３３４：移動制御部
３３６：機体側無線通信制御部
３３８：カメラ制御部
３５０：単位画像データ群
３６０：三次元モデル
３６２、３６４、３６６、３６８：画像

Claims (10)

1. 画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した前記対象物の三次元データとを前記画像データ毎に関連付けた複数の単位画像データを取得するステップと、
   前記単位画像データごとに、前記単位画像データに含まれる前記三次元データに基づいて形状を推定する形状推定ステップと、
   前記複数の単位画像データの中で隣接する前記単位画像データの同士で、推定された前記形状ごとに前記画像データの画素ごとの対応関係を取得する対応関係取得ステップであって、前記画像データに対し、特徴点を抽出し、かつ特徴量を算出すること、及び前記単位画像データごとに推定された前記形状の全ての組み合わせに対して対応点の探索を含む対応関係取得ステップと、
   取得された前記画素ごとの対応関係と、前記画素に対応する前記三次元データとから、隣接する前記単位画像データの間の回転行列と並進ベクトルとを推定する推定ステップと、
   隣接する前記単位画像データの間で、全ての画素に前記回転行列と前記並進ベクトルとを適用し、隣接する前記単位画像データを１つの空間座標上で合成する合成ステップと、
   を含む画像処理方法。
2. 前記形状が平面である請求項１に記載の画像処理方法。
3. 前記合成ステップは、対応する前記画素の間で色味を調整することを含む、請求項１又は２に記載の画像処理方法。
4. 前記対応関係取得ステップにおける前記特徴点の抽出は、ＳＩＦＴ、ＳＵＲＦ、及びＡＫＡＺＥの群から選択されるアルゴリズムを含む、請求項１から３のいずれか一項に記載の画像処理方法。
5. 前記対応関係取得ステップは、前記対応点から得られた射影変換行列により、隣接する前記単位画像データの画像データを重ね合せたオーバーラップ領域を抽出し、前記オーバーラップ領域における相関値に基づいて、前記画像データの画素ごとの対応関係を取得することを含む、請求項１から４のいずれか一項に記載の画像処理方法。
6. 前記相関値をＺＮＣＣ法により求める、請求項５に記載の画像処理方法。
7. 前記画像データ取得装置と前記三次元データ取得装置とがＲＧＢ－Ｄカメラである、請求項１から６のいずれか一項に記載の画像処理方法。
8. 画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した前記対象物の三次元データとを前記画像データ毎に関連付けた複数の単位画像データを取得する単位画像データ取得部と、
   前記単位画像データごとに、前記単位画像データに含まれる前記三次元データに基づいて形状を推定する形状推定部と、
   前記複数の単位画像データの中で隣接する前記単位画像データの同士で、推定された前記形状ごとに前記画像データの画素ごとの対応関係を取得する対応関係取得部であって、前記画像データに対し、特徴点を抽出し、かつ特徴量を算出すること、及び前記単位画像データごとに推定された前記形状の全ての組み合わせに対して対応点の探索を含む対応関係取得部と、
   取得された前記画素ごとの対応関係と、前記画素に対応する前記三次元データとから、隣接する前記単位画像データの間の回転行列と並進ベクトルとを推定する推定部と、
   隣接する前記単位画像データの間で、全ての画素に前記回転行列と前記並進ベクトルとを適用し、隣接する前記単位画像データを１つの空間座標上で合成する合成部と、
   を含む画像処理装置。
9. 請求項１から７のいずれか一項に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
10. 校正された画像データ取得装置と三次元データ取得装置とを備える移動体と、
    請求項８に記載の画像処理装置と、
    を備える画像処理システム。

Images