JP7469083B2 - 画像処理装置、画像処理方法、及び画像処理システム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理システムに関する。

従来から、飛行体等の移動体に撮像装置を取り付けて当該撮像装置によって建物の外壁等を撮影し、生成された画像を視認することにより当該建物の全体像を把握することが行われている。この点、例えば、撮像装置の視点によっては死角が生じる場合があるが、様々な分野において死角への対策として種々の技術が提案されている。

例えば、特許文献１には、被検体の管腔臓器を表示する展開画像中の死角領域を検出する死角領域検出部と、死角部の有無を操作者に報知する報知部とを備える医用画像表示装置が記載されている。また、特許文献２には、エレベータ内に設置された複数のカメラから複数の同期された映像を入力する入力手段と、入力手段を介して入力された映像の視点を変換して任意の視点からのかご内映像を生成する画像変換手段とを備えたエレベータのかご内監視装置が記載されている。

国際公開第２０１０／０７４０５８号 特開２００５－１５０９４号公報

しかしながら、特許文献１に記載の医用画像表示装置は、死角領域が検知された場合に、展開画像を作成する際のレイの方向を変更するため、同一箇所を複数回撮像することが必要となる。また、特許文献２に記載のかご内監視装置では、１つのカメラの視野範囲の外側における死角を、他のカメラによって補完するものであるため、１つのカメラの視野の内部におけるに死角には対処できない。

そこで、本発明は、簡易な構成によってカメラの視野の内部に生じる死角の無い画像を生成可能な画像処理装置、画像処理方法、及び画像処理システムを提供することを目的とする。

本発明の一態様に係る画像処理装置は、対象物体を第１視点から撮像することにより生成された第１画像、及び対象物体を第１視点とは異なる第２視点から撮像することにより生成された第２画像を取得する取得部と、第１画像を解析することにより、第１画像における対象物体の死角の境界を特定する境界特定部と、第１画像に基づく第１合成用画像、及び第２画像に基づく第２合成用画像を合成することにより、死角の無い合成画像を生成する合成画像生成部と、を備える。

この態様によれば、第１画像における対象物体の死角の境界を第１画像の解析により特定した上で、第１画像に基づく第１合成用画像、及び第２画像に基づく第２合成用画像を合成することで死角の無い合成画像が生成される。

本発明によれば、簡易な構成によってカメラの視野の内部に生じる死角の無い画像を生成可能な画像処理装置、画像処理方法、及び画像処理システムを提供することができる。

実施形態に係る画像処理システム１の構成の一例を示す概略図である。 実施形態に係る移動体１０ａの構成の一例を示すブロック図である。 実施形態に係る画像処理装置２０の構成の一例を示すブロック図である。 実施形態に係る画像処理システム１による画像合成処理の動作フローの一例を示す図である。 実施形態に係る画像処理システム１による死角の境界の特定処理の動作フローの一例を示す図である。 実施形態に係る画像処理システム１による画像合成処理の概要を説明するための概略図である。 実施形態に係る画像処理システム１が生成する合成画像の一例を示す概略図である。

添付図面を参照して、本発明の好適な実施形態について説明する。（なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。）

図１は、実施形態に係る画像処理システム１の構成の一例を示す概略図である。画像処理システム１は、対象物体が撮像された画像を生成する。特に、画像処理システム１は、例えば、特定の視点から撮像された画像において死角が生じる場合に、当該死角部分を視認可能な画像を生成することができる。画像処理システム１は、例えば、移動体１０ａと、操縦装置１０ｂと、画像処理装置２０とを、備える。

対象物体は、特に限定されないが、図１には対象物体の一例として、壁Ｗと、壁Ｗに設けられた水道管ＰＡ及びＰＢとが示されている。図１に示すとおり、壁ＷはＸＺ平面に略平行な壁面を有している。壁Ｗとしては、例えば、ボイラ等の閉鎖的な建物内の内壁等が想定されるが、これに限られるものではない。水道管ＰＡ及びＰＢはそれぞれ、一部が壁Ｗの内部に埋め込まれ、Ｚ軸方向に平行な軸を有した略半円柱の形状を呈している。

移動体１０ａは、少なくとも２つのカメラ１３Ａ及び１３Ｂを備え、対象物体に対して移動しながらカメラ１３Ａ及び１３Ｂによって対象物体を撮像することが可能である。操縦装置１０ｂは、遠隔的に移動体１０ａを操縦するための情報処理装置であり、例えば、メモリ、通信回路、及びプロセッサ等を含んで構成される。操縦装置１０ｂは、操作者による操作を受け付けると、当該操作に応じた操縦信号や撮像信号を例えば無線通信により移動体１０ａに送信する。移動体１０ａは、操縦装置１０ｂから受信した信号に応じた動作を行う。具体的には、移動体１０ａは、操縦装置１０ｂから受信した撮像信号に応じてカメラ１３Ａ及び１３Ｂを制御して、対象物体の撮像を行う。また、移動体１０ａは、操縦装置１０ｂから受信した移動制御信号に応じて移動する。以下では、移動体１０ａは、飛行体であるものとして説明する。しかしながら、移動体１０ａの移動の態様は、対象物体に対して移動可能であれば特に限定されず、例えば、飛行の他、対象物体や他の物体に指示されながら移動する態様を含んでもよい。なお、移動体１０ａが備えるカメラの数は２台に限定されず、３台以上であってもよい。

画像処理装置２０は、移動体１０ａが備えるカメラ１３Ａ及び１３Ｂが生成した画像に基づいて、合成画像を生成する。画像処理装置２０は、カメラ１３Ａ及び１３Ｂのいずれかが生成した画像において対象物体の死角が生じる場合に、当該死角が無い合成画像を生成可能である。このような合成画像を確認することにより、作業者は、対象物体の全体を容易に観察することが可能となる。

図２は、実施形態に係る移動体１０ａの構成の一例を示すブロック図である。図２に示すように、移動体１０ａは、例えば４つのモータ１１、カメラ１３Ａ及び１３Ｂ、並びに制御ユニット１４等を備える。制御ユニット１４は、制御部１４０、メモリ１４１、モータコントローラ１４２、通信部１４３、姿勢センサ１４４、及びバッテリ１４５等を含む。

４つのモータ１１は、それぞれの出力軸に取り付けた回転翼を個別に回転駆動するモータである。各モータ１１はプロペラに接続されており、モータ１１が回転することによりプロペラが浮力を生じさせ、これにより移動体１０ａが飛行可能となる。

カメラ１３Ａ及び１３Ｂはいずれも、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary MOS）などのイメージセンサを備え、制御部１４０が備えるカメラ制御部１４０ｂからの制御データに基づいてイメージセンサにより対象物体を撮像し、撮像により得た画像を制御部１４０に出力する。本実施形態においては、カメラ１３Ａの視点を第１視点と称し、カメラ１３Ｂの視点を第２視点と称する場合がある。カメラ１３Ａ及び１３Ｂはそれぞれ、移動体１０ａに対して所定の既知の位置において且つ既知の視点に向けて、移動体１０ａに設けられる。

制御部１４０は、ＣＰＵ（Central Processing Unit）等により構成されるマイクロコンピュータを有する。制御部１４０は、メモリ１４１に記憶されている制御プログラムを実行することにより、移動体１０ａの各部に制御データを出力して、移動体１０ａ全体を統括的に制御する。制御部１４０は、例えば、モータ制御部１４０ａと、カメラ制御部１４０ｂとを備える。

モータ制御部１４０ａは、通信部１４３が受信した操縦装置１０ｂからの操縦信号に対応する制御データをモータコントローラ１４２へ出力して各モータ１１を制御する。これにより、モータ制御部１４０ａは、移動体１０ａの飛行に関する制御を行う。

カメラ制御部１４０ｂは、通信部１４３が受信した操縦装置１０ｂからの撮像信号に対応する制御データをカメラ１３Ａ及び１３Ｂへ出力して、カメラ１３Ａ及び１３Ｂの撮像に関する制御を行う。
カメラ制御部１４０ｂは、カメラ１３Ａ及び１３Ｂそれぞれから出力された画像（第１画像及び第２画像）を所定形式に変換してメモリ１４１に保存する。

メモリ１４１は、ＲＯＭやＲＡＭ等により構成され、ドライバプログラム、オペレーティングシステムプログラム、及びアプリケーションプログラム等の各種のプログラムや、各種のデータを記憶する。メモリ１４１は、例えば、制御部１４０がモータ制御部１４０ａ、及びカメラ制御部１４０ｂ等を実現するためのプログラムを記憶する。また、メモリ１４１は、例えば、カメラ制御部１４０ｂから出力された画像を記憶する。メモリ１４１が記憶する各種のプログラムは、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読取可能な可搬型記録媒体から、公知のセットアッププログラム等を用いてメモリ１４１にインストールされてもよい。

モータコントローラ１４２は、制御部１４０のモータ制御部１４０ａからの制御データに基づいて、４つのモータ１１の回転数を個別に制御する。

通信部１４３は、Ｗｉ－ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの通信方式により無線通信を行う無線通信機である。例えば、通信部１４３は、電波を受信し、受信電波から受信データを復調して受信データ内の操縦信号や撮像信号に関するデータを制御部１４０に出力する。

姿勢センサ１４４は、例えば、３軸ジャイロセンサ等の角速度センサによって構成され、移動体１０ａの３次元姿勢を検知し、検知結果を制御部１４０に出力する。ここで、姿勢センサ１４４が検知する移動体１０ａの３次元姿勢は、例えば、Ｘ軸周りに回転角度αだけ回転させ、次にＹ軸周りに回転角度βだけ回転させ、次にＺ軸周りに回転角度γだけ回転させた場合の３次元姿勢として規定される。

バッテリ１４５は、リチウムイオン電池などであり、移動体１０ａの各部に駆動電力を供給する。

図３は、実施形態に係る画像処理装置２０の構成の一例を示すブロック図である。画像処理装置２０は、例えば、カメラ２１ａと、制御ユニット２１ｂ内に設けられた通信部２１と、操作部２２と、表示部２３と、メモリ２４と、制御部２５とを備える。

通信部２１は、Ｗｉ－ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの通信方式により無線通信を行う無線通信機である。通信部２１は、移動体１０ａを含む他の装置等との間で情報を送受信する。

操作部２２は、画像処理装置２０を操作可能なデバイスであり、例えば、タッチパネルやキーボタン等で構成される。ユーザは、操作部２２を用いて、文字や数字、記号等を入力することができる。操作部２２は、ユーザが操作を行うと、当該操作に対応する信号を発生させ、当該信号を制御部２５に供給する。

表示部２３は、画像等の表示が可能なデバイスであり、例えば、液晶ディスプレイや有機ＥＬディスプレイ等で構成される。表示部２３は、制御部２５から供給された画像データに応じた画像等を表示する。

メモリ２４は、ＲＯＭやＲＡＭ等により構成され、ドライバプログラム、オペレーティングシステムプログラム、及びアプリケーションプログラム等の各種のプログラムや、各種のデータを記憶する。メモリ２４は、例えば、移動体１０ａが備えるカメラ１３Ａ及び１３Ｂが生成した画像（第１画像及び第２画像等）を記憶する。ここで、メモリ２４が記憶する画像に係る情報は、例えば、メタデータとして、当該画像が撮像された時点における移動体１０ａの３次元位置及び／又は姿勢に係る情報を含んでもよい。

制御部２５は、ＣＰＵ（Central Processing Unit）等により構成されるマイクロコンピュータを有する。制御部２５は、メモリ２４に記憶されている制御プログラムを実行することにより、画像処理装置２０の各部に制御データを出力して、画像処理装置２０の全体を統括的に制御する。制御部２５は、例えば、画像取得部２５１と、境界特定部２５２と、合成画像生成部２５３とを含む。画像取得部２５１は、例えば、対象物体を所定の視点（第１視点）から撮像することにより生成された画像（第１画像）と、対象物体を当該所定の視点とは異なる他の所定の視点（第２視点）から撮像することにより生成された画像（第２画像）を取得する。境界特定部２５２は、例えば、画像取得部２５１が取得した画像における、対象物体の死角の境界を特定する。境界特定部２５２は、例えば、取得した画像（第１画像及び第２画像等）に含まれる画素の輝度及び／又は色情報に基づいてエッジを生成し、当該エッジを死角の境界の少なくとも一部として特定してもよい。エッジの生成においては、輝度及び／又は色情報の勾配の変化が不連続であるか否か、或いは当該変化が所定の閾値以上であるか否かに基づいて、当該画素がエッジを構成するか否かを判定してもよい。

合成画像生成部２５３は、例えば、複数の画像（合成用画像等）を合成することにより合成画像を生成する。具体的には、合成画像生成部２５３は、例えば、第１合成用画像と、第２合成用画像とを合成する。ここで、第１合成用画像は、例えば、移動体１０ａが備えるカメラ１３Ａ及び１３Ｂそれぞれによって生成された画像（第１画像及び第２画像）や、当該第１画像及び第２画像それぞれが視点変換部２５３ａにより視点変換されて生成された画像である画像（第３画像及び第４画像）であってよい。

このために、合成画像生成部２５３は、例えば、視点変換部２５３ａと、画像合成部２５３ｂとを含む。視点変換部２５３ａは、例えば、対象物体を撮像することにより生成された画像を視点変換することにより、新たな画像を生成する。ここで、視点変換部２５３ａによる視点変換の方法は、特に限定されないが、例えばアフィン変換やｂｉｃｕｂｉｃ法等であってよい。また、視点変換部２５３ａは、視点変換の対象となる画像と共に、当該画像が撮像された時点における移動体１０ａの３次元位置及び／又は姿勢に係る情報を取得した上で、 ３次元位置及び／又は姿勢に係る情報に応じて視点変換を実行してもよい。これにより、視点変換により生成された画像に含まれる各画素が、既知の平面（例えば、壁Ｗを含む平面）や立体（例えば、壁Ｗ並びに水道管ＰＡ及びＰＢを含む対象物体）におけるいずれの位置に対応するか否かを把握することが可能となる。

画像合成部２５３ｂは、例えば、第１合成用画像のうち死角の境界に対していずれか一方側にある一部を、第２合成用画像の少なくとも一部に接続してもよい。また、画像合成部２５３ｂは、例えば、第２合成用画像のうち死角の境界に対していずれか一方側にある一部を、第１合成用画像の少なくとも一部に接続してもよい。

図４～６を参照して、実施形態に係る画像処理システム１の動作について説明する。図４は、実施形態に係る画像処理システム１による画像合成処理の動作フローの一例を示す図である。図５は、実施形態に係る画像処理システム１による死角の境界の特定処理の動作フローの一例を示す図である。図６は、実施形態に係る画像処理システム１による画像合成処理の概要を説明するための概略図である。

（Ｓ１０１）まず、画像取得部２５１は、カメラ１３Ａが撮像することにより生成された第１画像１００Ａと、カメラ１３Ｂが撮像することにより生成された第２画像１００Ｂとを取得する。図６には、対象物体である水道管ＰＡ及びＰＢが設けられた壁Ｗを、第１視点におけるカメラ１３Ａが撮像することにより生成される第１画像１００Ａと、第２視点におけるカメラ１３Ｂが撮像することにより生成される第２画像１００Ｂとが示されている。なお、符号ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊはそれぞれ、対象物体における位置を示している。例えば、画像取得部２５１は、通信部２１を介して移動体１０ａから、これら第１画像１００Ａ及び／又は第２画像１００Ｂを取得してもよい。或いは、移動体１０ａから受信した第１画像１００Ａ及び／又は第２画像１００Ｂが、画像処理装置２０のメモリ２４に予め格納されている場合は、画像取得部２５１は、メモリ２４から第１画像１００Ａ及び／又は第２画像１００Ｂを取得してもよい。

（Ｓ１０２）次に、境界特定部２５２は、第１画像１００Ａ及び／又は第２画像１００Ｂにおいて死角の境界を特定する。

ここで、図５を参照して、死角の境界を特定する処理について説明する。以下では、第１画像１００Ａについて、死角の境界を特定する処理について説明する。なお、当該処理は、第２画像１００Ｂ、第３画像２００Ａ、及び第４画像２００Ｂにも適用可能である。

（Ｓ１０２－１）まず、境界特定部２５２は、第１画像１００Ａの全ての画素について横方向の輝度勾配（横方向に隣接する画素に対する輝度の差分）を算出する。算出された輝度勾配は、当該画素に対応付けられる。

（Ｓ１０２－２）次に、境界特定部２５２は、第１画像１００Ａに含まれる縦方向に連続する複数の画素から成る列（画素列）のうち、走査（後述するＳ１０２－３～Ｓ１０２－９）が終了していない任意の縦方向の画素列を選択する。

（Ｓ１０２－３）次に、境界特定部２５２は、選択された縦方向の画素列においてＳ１０２－４の判定処理が終了していない画素を１つ選択する。

（Ｓ１０２－４）次に、境界特定部２５２は、選択された画素の輝度勾配と、横方向に隣接する画素の輝度勾配とを比較し、これら輝度勾配の変化（輝度勾配の差分）が不連続であるか否かを判定する。輝度勾配の変化が不連続でないと判定された場合（Ｓ１０２－４；Ｎｏ）、処理はＳ１０２－６に進む。

（Ｓ１０２－５）輝度勾配の変化が不連続であると判定された場合（Ｓ１０２－４；Ｙｅｓ）、境界特定部２５２は、当該縦方向の画素列について、カウンタ数をインクリメント（＋１）する。

（Ｓ１０２－６）次に、境界特定部２５２は、Ｓ１０２－２で選択された縦方向の画素列に含まれる全ての画素についてＳ１０２－４の判定処理が終了したか否かを判定する。当該判定処理が終了していないと判定された（Ｓ１０２－６；Ｎｏ）、処理はＳ１０２－３に戻る。当該判定処理が終了したと判定された場合（Ｓ１０２－６；Ｙｅｓ）、処理はＳ１０２－７に進む。

（Ｓ１０２－７）次に、境界特定部２５２は、Ｓ１０２－２で選択された縦方向の画素列について、カウンタ数が閾値以上であるか否かを判定する。

（Ｓ１０２－８）カウンタ数が閾値以上であると判定された場合、境界特定部２５２は、当該縦方向の画素列が死角の境界であると判定する。

（Ｓ１０２－９）カウンタ数が閾値以上でないと判定された場合、境界特定部２５２は、当該縦方向の画素列が死角の境界でないと判定する。

（Ｓ１０２－１０）次に、境界特定部２５２は、第１画像１００Ａに含まれる全ての縦方向の画素列について、走査（Ｓ１０２－３～Ｓ１０２－９）が終了したか否かを判定する。全ての縦方向に画素列について当該走査が終了していないと判定された場合（Ｓ１０２－１０；Ｎｏ）、処理はＳ１０２－２に戻る。全ての縦方向の画素列について当該走査が終了したと判定された場合（Ｓ１０２－１０；Ｙｅｓ）、処理は終了する。

図６に示す第１画像１００Ａには、エッジＡ１及びＡ２が示されている。エッジＡ１及びＡ２は、上述したＳ１０２－８において死角の境界であると判定された縦方向の画素列である。第１画像１００Ａは、エッジＡ１及びＡ２によって、画像１０１Ａ、画像１０２Ａ、及び画像１０３Ａに分割される。また、図６には、第２画像１００Ｂについても同様に、死角の境界としてエッジＢ１及びＢ２が示されている。第２画像１００Ｂは、エッジＢ１及びＢ２によって、画像１０１Ｂ、画像１０２Ｂ、及び画像１０３Ｂに分割される。

（Ｓ１０３）次に、合成画像生成部２５３は、第１画像１００Ａに基づいて第１合成用画像を生成し、第２画像１００Ｂに基づいて第２合成用画像を生成する。ここで、第１合成用画像は、第１画像１００Ａ自体、又は第１画像１００Ａを視点変換部２５３ａによって視点変換して得られる第３画像２００Ａであってよい。なお、第３画像２００Ａは、画像１０１Ａに対応する画像２０１Ａ、画像１０２Ａに対応する画像２０２Ａ、及び画像１０３Ａに対応する画像２０３Ａを含む。また、第２合成用画像は、第２画像１００Ｂ自体、又は第２画像１００Ｂを視点変換部２５３ａによって視点変換して得られる第４画像２００Ｂであってよい。なお、第４画像２００Ｂは、画像１０１Ｂに対応する画像２０１Ｂ、画像１０２Ｂに対応する画像２０２Ｂ、及び画像１０３Ｂに対応する画像２０３Ｂを含む。なお、第３画像２００Ａの視点及び第４画像２００Ｂの視点は同一であってもよい。図６においては、第３画像２００Ａ及び第４画像２００Ｂの当該視点（第３視点）の位置に、仮想的なカメラ１３Ｃが示されている。視点変換部２５３ａによる視点変換の方法は、特に限定されないが、例えばアフィン変換やｂｉｃｕｂｉｃ法等であってよい。

（Ｓ１０４）次に、画像合成部２５３ｂは、第１合成用画像及び第２合成用画像を合成することにより、合成画像を生成する。具体的には、画像合成部２５３ｂは例えば、第１合成用画像中に死角の境界がある場合、第１合成用画像のうち死角の境界に対して一方の側にある一部を、第２合成用画像の少なくとも一部に接続することにより、合成画像を生成する。

図６に示す例では、「第１合成用画像のうち死角の境界に対して一方の側にある一部」は、例えば、第１画像１００ＡのうちエッジＡ１に対して左側にある一部である画像１０１Ａ、又は第３画像２００ＡのうちエッジＡ１に対して左側にある一部である画像２０１Ａであってよい。また、例えば、第１合成用画像において死角の境界として特定された位置に係る情報を用いて、第２合成用画像において対応する位置が特定されたとする。このとき、「第１合成用画像のうち死角の境界に対して一方の側にある一部」に接続される「第２合成用画像の少なくとも一部」は、第２合成用画像のうち当該特定された位置に対して一方の側にある一部であってよい。図６に示す例では、水道管ＰＡの位置ｄが死角の境界（エッジＡ１）に対応するため、 「第２合成用画像の少なくとも一部」は、第２画像１００Ｂのうち位置ｄに対応する位置よりも右側の一部、又は第４画像２００Ｂのうち位置ｄに対応する位置よりも右側の一部であってよい。

同様にして、画像合成部２５３ｂは、第２画像１００ＢのうちエッジＢ２に対して右側にある一部である画像１０３Ｂ、又は第４画像２００ＢのうちエッジＢ２に対して右側にある一部である画像２０３Ｂを、第１画像１００Ａのうち位置ｇに対応する位置よりも左側の一部、又第３画像２００Ａのうち位置ｇに対応する位置よりも左側の一部に接続してよい。以上で、画像合成処理が終了する。

図６及び図７を参照して、実施形態に係る画像処理システム１が生成する合成画像について説明する。上述したとおり、図６は、実施形態に係る画像処理システム１による画像合成処理の概要を説明するための概略図である。図７は、実施形態に係る画像処理システム１が生成する合成画像の一例を示す概略図である。

例えば、図６に示すとおり、第１画像１００Ａにおいては、対象物体（壁Ｗ並びに水道管ＰＡ及びＰＢ）に沿った位置ｄから位置ｅまでの領域が死角となる。当該領域の境界、すなわち死角の境界は、第１画像１００ＡにおいてエッジＡ１として特定される。上述したとおり、合成画像３００においては、第１合成用画像である第１画像１００Ａのうち、当該エッジＡ１に対して左側にある一部である画像１０１Ａが、第２合成用画像の少なくとも一部に合成される。或いは、上述したとおり、合成画像３００においては、例えば第１画像１００Ａを視点変換して得られる第１合成用画像である第３画像２００Ａのうち、当該エッジＡ１に対して左側にある一部である画像２０１Ａが、第２合成用画像の少なくとも一部に合成される。

そして、図６に示す例では、当該第２合成用画像の少なくとも一部は、第２画像１００Ｂのうち位置ｄに対応する位置よりも右側の一部の画像、又は第４画像２００Ｂのうち位置ｄに対応する位置よりも右側の一部の画像である。上述したとおり第１画像１００Ａにおいては死角である領域が、これらの画像においては死角ではなくなっている。

したがって、上述した第１画像１００Ａにおける死角の領域である対象物体に沿った位置ｄから位置ｅまでの領域は、合成画像３００においては死角でなくなる。他の死角の領域（例えば、第１画像１００Ａにおける対象物体に沿った位置ｈから位置ｉまでの領域や、第２画像１００Ｂにおける対象物体に沿った位置ｂから位置ｃまでの領域、及び位置ｆからｇまでの領域）についても、合成画像３００においては死角でなくなる。

このようにして、例えば図７に示すような合成画像３００が得られる。図７に示すとおり、合成画像３００は、画像１０１Ａ又は画像２０１Ａと、画像１０２Ｂ又は画像２０２Ｂの位置ｄより右側と、画像１０２Ａ又は画像２０２Ａの位置ｇより左側と、画像１０３Ｂ又は画像２０３Ｂとが、順次に合成されて構成される。そして、合成画像３００には、対象物体としての壁Ｗ並びに水道管ＰＡ及びＰＢの像が含まれる一方で、上述した死角の領域が無くなっている。

このように、実施形態に係る画像処理システム１では、対象物体についての死角の無い画像を生成可能である。これにより、例えば、対象物体の表面に損傷等が生じていないかを確認しようとする作業者は、より少ない数の画像の確認により、対象物体の全体を確認することが可能となり、以て対象物体の確認に要する作業者の負担が低減される。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

１ 画像処理システム
１０ａ 移動体
１０ｂ 操縦装置
１１ モータ
１３Ａ、１３Ｂ、１３Ｃ カメラ
１４ 制御ユニット
２０ 画像処理装置
２１ 通信部
２１ａ カメラ
２１ｂ 制御ユニット
２２ 操作部
２３ 表示部
２４ メモリ
２５ 制御部
１４０ 制御部
１４０ａ モータ制御部
１４０ｂ カメラ制御部
１４１ メモリ
１４２ モータコントローラ
１４３ 通信部
１４４ 姿勢センサ
１４５ バッテリ
２５１ 画像取得部
２５２ 境界特定部
２５３ 合成画像生成部
２５３ａ 視点変換部
２５３ｂ 画像合成部

Claims (9)

1. 対象物体を第１視点から撮像することにより生成された第１画像、及び前記対象物体を前記第１視点とは異なる第２視点から撮像することにより生成された第２画像を取得する取得部と、
   前記第１画像を解析することにより、前記第１画像における前記対象物体の死角の境界を特定する境界特定部と、
   前記第１画像に基づく第１合成用画像、及び前記第２画像に基づく第２合成用画像を合成することにより、前記死角の無い合成画像を生成する合成画像生成部と、
   を備え、
   前記境界特定部は、前記第１画像のうち第１方向に垂直な第２方向に連続する任意の画素列についての前記第１方向の輝度勾配に基づいて、前記画素列が前記境界であるか否かを判定することにより、前記境界を特定する、画像処理装置。
2. 前記合成画像生成部は、前記第１合成用画像のうち前記境界に対していずれかの一方側にある一部を前記第２合成用画像の少なくとも一部に接続することにより、前記合成画像を生成する、請求項１に記載の画像処理装置。
3. 前記第１合成用画像は、前記第１画像、又は前記第１画像を前記第１視点及び前記第２視点のいずれとも異なる第３視点からの画像に視点変換することにより得られる第３画像であり、
   前記第２合成用画像は、前記第２画像、又は前記第２画像を前記第３視点からの画像に視点変換することにより得られる第４画像である、請求項１又は２に記載の画像処理装置。
4. 前記境界特定部は、前記第１画像に含まれる各画素について第１方向の輝度勾配を算出し、前記第１画像のうち前記第１方向に垂直な第２方向に連続する任意の画素列について、前記輝度勾配の前記第１方向の変化が不連続である画素が当該画素列に所定の割合以上含まれる場合、当該画素列を前記境界として特定する、請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記境界特定部は、前記第１画像に含まれる各画素について第１方向の輝度勾配を算出し、前記第１画像のうち前記第１方向に垂直な第２方向に連続する任意の画素列について、前記輝度勾配の前記第１方向の変化が所定の閾値以上である画素が当該画素列に所定の割合以上含まれる場合、当該画素列を前記境界として特定する、請求項１から３のいずれか一項に記載の画像処理装置。
6. 前記第１画像は、移動体に前記第１視点から撮像可能に設けられた第１撮像装置により生成され、前記第２画像は、前記移動体に前記第２視点から撮像可能に設けられた第２撮像装置により生成される、請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記移動体は、飛行体である、請求項６に記載の画像処理装置。
8. 対象物体を第１視点から撮像することにより生成された第１画像、及び前記対象物体を前記第１視点とは異なる第２視点から撮像することにより生成された第２画像を取得するステップと、
   前記第１画像を解析することにより、前記第１画像における前記対象物体の死角の境界を特定するステップと、
   前記第１画像に基づく第１合成用画像、及び前記第２画像に基づく第２合成用画像を合成することにより、前記死角の無い合成画像を生成するステップと、
   を含み、
   前記死角の境界を特定するステップでは、前記第１画像のうち第１方向に垂直な第２方向に連続する任意の画素列についての前記第１方向の輝度勾配に基づいて、前記画素列が前記境界であるか否かを判定することにより、前記境界を特定する、画像処理方法。
9. 請求項１から７のいずれか一項に記載の画像処理装置と、前記合成画像を表示する表示部と、
   を備える画像処理システム。

Images