JPWO2017077650A1

JPWO2017077650A1 - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: JPWO2017077650A1
Application number: JP2017543843A
Authority: JP
Inventors: 古木　一朗; 一朗古木; 司深澤; 浩平岡原
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-11-06
Filing date: 2015-11-06
Publication date: 2017-12-07
Anticipated expiration: 2035-11-06
Also published as: WO2017077650A1; GB201803427D0; GB2556797A; US10417743B2; GB2556797B; US20180253823A1; JP6239205B2

Abstract

共通領域を第１撮像装置（２１０）の側と第２撮像装置（２２０）の側とに分ける基準となる境界位置（１８０）を算出する境界算出部（１１０）と、境界位置（１８０）と立体物の位置とに基づいて、第１俯瞰画像（３１１）と第２俯瞰画像（３２１）とのうち、立体物の画像の歪みが小さい俯瞰画像を選択画像（３３０）として選択する選択部（１３０）と、第１俯瞰画像（３１１）における共通領域以外の画像と、第２俯瞰画像（３２１）における共通領域以外の画像と、選択画像（３３０）に含まれる共通領域の画像とに基づいて、領域画像（３４０）を生成する画像生成部（１４０）とを備える。

Description

本発明は、視点変換により得られる複数の俯瞰画像を合成する画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、複数のカメラ画像を各々視点変換して上から見下ろすような俯瞰画像を生成し、生成した複数の俯瞰画像を合成して合成俯瞰画像を生成する技術がある。視点変換により生成される俯瞰画像では、画像中の全ての被写体が同一平面上に存在するものとして表示される。また、通常、俯瞰画像は地面を基準に生成されるため、地面よりも高い位置にある物体は地面に倒れ込むように伸びた状態となり、歪んで表示される。また、合成俯瞰画像を生成する際には、通常、隣り合うカメラ画像の撮像範囲が一部重なるようにカメラが設置される。重なった撮像範囲に位置する物体の画像は、カメラ視差の影響により、消失したり２重に見えたりする場合がある。

特許文献１には、撮像範囲が一部重なる２つのカメラ画像から生成された２つの俯瞰画像において、立体物がより大きく現れている方の俯瞰画像を重なり部の画像として優先的に表示する技術が開示されている。

特許第５０５３０４３号公報

特許文献１の技術では、２つの俯瞰画像のうち一方を表示するので物体が消失したり２重に見えたりすることはないが、立体物がより大きく現れている方の俯瞰画像を採用するため、立体物の歪みが大きい画像が表示されてしまう虞があるという課題がある。

この発明は、２つのカメラ画像から生成された２つの俯瞰画像間の重なり部の画像として、立体物の歪みが小さい画像を得ることを目的とする。

本発明に係る画像処理装置は、
立体物が位置する共通領域を含む第１領域を撮像する第１撮像装置の位置情報を含む第１装置情報と、前記共通領域を含む第２領域を撮像する第２撮像装置の位置情報を含む第２装置情報とを用いて、前記共通領域を前記第１撮像装置の側と前記第２撮像装置の側とに分ける基準となる境界位置を算出する境界算出部と、
前記境界位置と前記立体物の位置とに基づいて、前記第１撮像装置が前記第１領域を撮像した画像が視点変換された第１俯瞰画像であって前記立体物の画像が歪んでいる第１俯瞰画像と、前記第２撮像装置が前記第２領域を撮像した画像が視点変換された第２俯瞰画像であって前記立体物の画像が歪んでいる第２俯瞰画像とのうち、前記立体物の画像の歪みが小さい俯瞰画像を選択画像として選択する選択部と、
前記第１俯瞰画像における前記共通領域以外の前記第１領域の画像と、前記第２俯瞰画像における前記共通領域以外の前記第２領域の画像と、前記選択画像に含まれる前記共通領域の画像とを用いて、前記第１領域と前記第２領域とからなる領域の画像を生成する画像生成部とを備える。

本発明に係る画像処理装置は、共通領域を第１撮像装置の側と第２撮像装置の側とに分ける基準となる境界位置を算出する境界算出部と、境界位置と立体物の位置とに基づいて、立体物の画像が歪んでいる第１俯瞰画像と第２俯瞰画像とのうち、立体物の画像の歪みが小さい俯瞰画像を選択画像として選択する選択部とを備えるので、共通領域の俯瞰画像として立体物の歪みが小さい画像を得ることができるという効果を奏する。

実施の形態１に係る画像処理装置１００の構成を示す図。実施の形態１に係る第１撮像装置２１０と第２撮像装置２２０との位置関係を示す図。実施の形態１に係る画像処理方法５１０及び画像処理プログラム５２０の画像処理Ｓ１００を示すフロー図。実施の形態１に係る境界算出処理Ｓ１１０を示すフロー図。実施の形態１に係る撮像空間８００における境界位置ｘｃの算出方法を示す図。実施の形態１に係る俯瞰生成処理Ｓ１２０を示すフロー図。実施の形態１に係る選択処理Ｓ１３０を示すフロー図。実施の形態１に係る立体物６００の立体物位置ｘｐの検出方法を示す図。実施の形態１に係る画像生成処理Ｓ１４０を示すフロー図。実施の形態１に係る領域画像３４０の生成方法を示す図。実施の形態１に係る領域画像３４０の生成方法を示す図。実施の形態１の変形例に係る画像処理装置１００の構成を示す図。実施の形態１に係る画像処理装置１００の応用例を示す図。実施の形態２に係る画像処理装置１００ａの構成を示す図。実施の形態２に係る画像処理装置１００ａの画像処理Ｓ１００ａを示すフロー図。実施の形態２に係る領域画像生成処理Ｓ１５０ａを示すフロー図。実施の形態２に係る領域画像生成処理Ｓ１５０ａを示す図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を用いて、本実施の形態に係る画像処理装置１００の構成について説明する。
本実施の形態において、画像処理装置１００は、コンピュータである。画像処理装置１００は、プロセッサ９１０、記憶装置９２０、入力インタフェース９３０、出力インタフェース９４０といったハードウェアを備える。
また、画像処理装置１００は、機能構成として、境界算出部１１０と、俯瞰生成部１２０と、選択部１３０と、画像生成部１４０と、記憶部１５０とを備える。選択部１３０は、位置検出部１３１と、画像選択部１３２とを備える。以下の説明では、画像処理装置１００における境界算出部１１０と、俯瞰生成部１２０と、位置検出部１３１と、画像選択部１３２と、画像生成部１４０との機能を、画像処理装置１００の「部」の機能という。画像処理装置１００の「部」の機能は、ソフトウェアで実現される。
また、記憶部１５０は、記憶装置９２０で実現される。記憶部１５０には、撮像装置情報１６０と、被写体情報１７０と、境界位置１８０と、比較画像１９０とが記憶される。撮像装置情報１６０は、第１装置情報１６１と第２装置情報１６２とを含む。また、被写体情報１７０は、高さ情報１７１を含む。

プロセッサ９１０は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ９１０は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ・Ｃｉｒｃｕｉｔ）である。プロセッサ９１０は、具体的には、ＣＰＵ（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）である。

記憶装置９２０は、補助記憶装置９２１及びメモリ９２２を含む。補助記憶装置９２１は、具体的には、ＲＯＭ（Ｒｅａｄ・Ｏｎｌｙ・Ｍｅｍｏｒｙ）、フラッシュメモリ、又は、ＨＤＤ（Ｈａｒｄ・Ｄｉｓｋ・Ｄｒｉｖｅ）である。メモリ９２２は、具体的には、ＲＡＭ（Ｒａｎｄｏｍ・Ａｃｃｅｓｓ・Ｍｅｍｏｒｙ）である。記憶部１５０は、補助記憶装置９２１により実現される。なお、記憶部１５０が補助記憶装置９２１とメモリ９２２とにより実現されていてもよい。

入力インタフェース９３０は、第１撮像装置２１０と第２撮像装置２２０とに接続されるポートである。入力インタフェース９３０は、第１撮像装置２１０により撮像された第１画像３１０と、第２撮像装置２２０により撮像された第２画像３２０とを画像処理装置１００に取り込む画像入力インタフェースである。入力インタフェース９３０により取り込まれた第１画像３１０及び第２画像３２０はメモリ９２２に記憶される。また、入力インタフェース９３０は、マウス、キーボード、タッチパネルといった入力装置と接続されるポートであってもよい。入力インタフェース９３０は、具体的には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ・Ｓｅｒｉａｌ・Ｂｕｓ）端子である。なお、入力インタフェース９３０は、ＬＡＮ（Ｌｏｃａｌ・Ａｒｅａ・Ｎｅｔｗｏｒｋ）と接続されるポートであってもよい。ＳＤＩ（Ｓｅｒｉａｌ・Ｄｉｇｉｔａｌ・Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ・Ｄｅｆｉｎｉｔｉｏｎ・Ｍｕｌｔｉｍｅｄｉａ・Ｉｎｔｅｒｆａｃｅ）、ＶＧＡ（Ｖｉｄｅｏ・Ｇｒａｐｈｉｃｓ・Ａｒｒａｙ）、ＤＶＩ（Ｄｉｇｉｔａｌ・Ｖｉｄｅｏ・Ｉｎｔｅｒｆａｃｅ）、コンポーネント等の映像信号を画像処理装置１００に取り込むことのできる、キャプチャボードであってもよい。

出力インタフェース９４０は、ディスプレイといった表示機器のケーブルが接続されるポートである。出力インタフェース９４０は、例えば、ＵＳＢ端子又はＨＤＭＩ（登録商標）（Ｈｉｇｈ・Ｄｅｆｉｎｉｔｉｏｎ・Ｍｕｌｔｉｍｅｄｉａ・Ｉｎｔｅｒｆａｃｅ）端子である。ディスプレイは、具体的には、ＬＣＤ（Ｌｉｑｕｉｄ・Ｃｒｙｓｔａｌ・Ｄｉｓｐｌａｙ）である。

補助記憶装置９２１には、「部」の機能を実現するプログラムが記憶されている。このプログラムは、メモリ９２２にロードされ、プロセッサ９１０に読み込まれ、プロセッサ９１０によって実行される。補助記憶装置９２１には、ＯＳ（Ｏｐｅｒａｔｉｎｇ・Ｓｙｓｔｅｍ）も記憶されている。ＯＳの少なくとも一部がメモリ９２２にロードされ、プロセッサ９１０はＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。

画像処理装置１００は、１つのプロセッサ９１０のみを備えていてもよいし、複数のプロセッサ９１０を備えていてもよい。複数のプロセッサ９１０が「部」の機能を実現するプログラムを連携して実行してもよい。

「部」の機能による処理の結果を示す情報、データ、信号値、及び、変数値は、補助記憶装置９２１、メモリ９２２、又は、プロセッサ９１０内のレジスタ又はキャッシュメモリに記憶される。なお、図１において、各部と記憶部１５０とを結ぶ矢印は、各部が処理の結果を記憶部１５０に記憶すること、あるいは、各部が記憶部１５０から情報を読み出すことを表している。また、各部を結ぶ矢印は、制御の流れを表している。また、第１俯瞰画像３１１、第２俯瞰画像３２１あるいは選択画像３３０といった情報が各部間でメモリ９２２を介して授受されることを表すメモリ９２２と各部間の矢印については省略する。

「部」の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｃ）といった可搬記録媒体に記憶されてもよい。
なお、「部」の機能を実現するプログラムを画像処理プログラムともいう。画像処理プログラムは、「部」として説明している機能を実現するプログラムである。また、画像処理プログラムプロダクトと称されるものは、画像処理プログラムが記録された記憶媒体及び記憶装置であり、見た目の形式に関わらず、コンピュータ読み取り可能なプログラムをロードしているものである。

＊＊＊動作の説明＊＊＊
本実施の形態に係る画像処理装置１００の動作について説明する。
まず、図２を用いて、第１撮像装置２１０と第２撮像装置２２０との位置関係について説明する。以下の説明では、第１撮像装置２１０と第２撮像装置２２０との両方あるいは一方を単に撮像装置と称して説明する場合がある。
図２は、撮像空間８００における第１撮像装置２１０と第２撮像装置２２０との位置関係を模式的に示している。撮像空間８００は、第１撮像装置２１０と第２撮像装置２２０との撮像対象となる空間である。

第１撮像装置２１０と第２撮像装置２２０とは、ＣＣＤ（Ｃｈａｒｇｅｄ−Ｃｏｕｐｌｅｄ・Ｄｅｖｉｃｅｓ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ・Ｍｅｔａｌ−ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）といった撮像素子とレンズとを備えるカメラ機器である。第１撮像装置２１０と第２撮像装置２２０とは、互いに同一種類の撮像素子及び同一種類のレンズとを備える。
第１撮像装置２１０と第２撮像装置２２０との各々は、具体的には、監視カメラのような固定カメラである。
第１撮像装置２１０の撮像素子の中心を撮像素子中心３ａとする。第２撮像装置２２０の撮像素子の中心を撮像素子中心３ｂとする。撮像素子中心はレンズ焦点ともいう。

図２では、撮像空間８００を２次元のＸ軸とＺ軸とのＸＺ平面で表したＸＺ平面図と、撮像空間８００を２次元のＸ軸とＹ軸とのＸＹ平面で表したＸＹ平面図とを示している。
Ｘ軸は、地表５００上であり、かつ、第１撮像装置２１０から第２撮像装置２２０に向かう方向を表す。つまり、第１撮像装置２１０の撮像素子中心３ａと第２撮像装置２２０の撮像素子中心３ｂとはＸＺ平面に含まれる。
Ｙ軸は、地表５００上にあり、ＸＺ平面図において図２の後面に向かう方向を表す。
Ｚ軸は、地表５００からの高さ方向を表す。また、Ｚ軸は、第１撮像装置２１０の撮像素子中心３ａを含む。第１撮像装置２１０の撮像素子中心３ａからＸ軸に下した垂線とＸ軸との交点が、撮像空間８００を表すＸＹＺ空間の原点となる。

第１撮像装置２１０と第２撮像装置２２０とは、撮像空間８００において、図２に示す以下の設置条件で設置されている。
第１撮像装置２１０の設置条件は、撮像素子中心３ａの地表５００からの高さはＨａ、撮像素子中心３ａを含む水平面から下方を見下ろす角である俯角はθａ、レンズ画角はψａである。また、第２撮像装置２２０の設置条件は、撮像素子中心３ｂの地表５００からの高さがＨｂ、撮像素子中心３ｂを含む水平面から下方を見下ろす角である俯角がθｂ、レンズ画角がψｂである。なお、図２では、俯角については模式的に表している。
また、第１撮像装置２１０の撮像素子中心３ａと第２撮像装置２２０の撮像素子中心３ｂとの装置間距離はＸａｂである。なお、Ｘａｂは、第１撮像装置２１０の撮像素子中心３ａと第２撮像装置２２０の撮像素子中心３ｂとの最短距離のＸ軸成分である。

第１領域Ｒａは、第１撮像装置２１０による地表５００に対する撮像範囲である。つまり、第１撮像装置２１０により撮像される地表５００の範囲である。第２領域Ｒｂは、第２撮像装置２２０による地表５００に対する撮像範囲である。つまり、第２撮像装置２２０により撮像される地表５００の範囲である。共通領域Ｒａｂは、第１撮像装置２１０と第２撮像装置２２０との撮像領域が重なる範囲である。第１撮像装置２１０と第２撮像装置２２０とは、一部の撮像領域が重なるように設置されている。
共通領域Ｒａｂには立体物６００が位置する。立体物６００は、具体的には、人、車、あるいは建築物といった高さのある被写体である。
全体領域Ｒは、第１領域Ｒａと第２領域Ｒｂとからなる領域である。すなわち、全体領域Ｒは、第１撮像装置２１０と第２撮像装置２２０とにより撮像される撮像領域の全てである。なお、第１撮像装置２１０により撮像される共通領域Ｒａｂの画像の撮像スケールと、第２撮像装置２２０により撮像される共通領域Ｒａｂの画像の撮像スケールとが同等となるように、設置条件が設定されることが望ましい。撮像スケールとは、画像のサイズ及び画像の解像度である。
また、仮想視点Ｐは、画像処理装置１００において生成される俯瞰画像の視点を表す。本実施の形態において俯瞰画像と称する場合は、仮想視点Ｐから見た画像を意味するものとする。

次に、記憶部１５０に記憶されている撮像装置情報１６０と被写体情報１７０とについて説明する。
撮像装置情報１６０は、予め記憶部１５０に設定される撮像装置の設置条件に関する情報である。撮像装置の設置条件に関する情報には、撮像装置の位置に関する位置情報、撮像装置の姿勢に関する姿勢情報、撮像装置の解像度といった情報が含まれる。位置情報は、撮像装置の撮像空間８００における座標を含む。姿勢情報は、撮像装置のヨー、ロール、ピッチを含む。

撮像装置情報１６０は、第１装置情報１６１と第２装置情報１６２とを含む。
第１装置情報１６１は、共通領域Ｒａｂを含む第１領域Ｒａを撮像する第１撮像装置２１０の位置情報、姿勢情報及び解像度を含む情報である。第１装置情報１６１には、地表５００からの高さＨａ、俯角θａ及びレンズ画角ψａといった設置条件を満たす第１撮像装置２１０の位置情報、姿勢情報及び解像度が設定されている。
第２装置情報１６２は、共通領域Ｒａｂを含む第２領域Ｒｂを撮像する第２撮像装置２２０の位置情報、姿勢情報及び解像度を含む情報である。第２装置情報１６２には、地表５００からの高さＨｂ、俯角θｂ及びレンズ画角ψｂといった設置条件を満たす第２撮像装置２２０の位置情報、姿勢情報及び解像度が設定されている。
なお、第１領域Ｒａ、第２領域Ｒｂ、共通領域Ｒａｂ及び装置間距離Ｘａｂは、第１装置情報１６１と第２装置情報１６２とから予め定まる情報である。第１領域Ｒａ、第２領域Ｒｂ、共通領域Ｒａｂ及び装置間距離Ｘａｂは、予め計算されて撮像装置情報１６０に記憶されていてもよい。あるいは、第１領域Ｒａ、第２領域Ｒｂ、共通領域Ｒａｂ及び装置間距離Ｘａｂは、画像処理装置１００が実行する画像処理において都度計算され、メモリ９２２に記憶するとしてもよい。

被写体情報１７０は、撮像領域における主な撮像対象である被写体に関する情報である。被写体は立体物である。被写体である立体物の種類は、撮像領域の撮像対象として予め定められおり、被写体情報１７０の１つとして記憶されている。立体物の種類とは、撮像領域における主な撮像対象として予め定められた種類である。
被写体情報１７０は、高さ情報１７１を含む。高さ情報１７１は、立体物の種類に基づいて定められた地表５００からの高さを表す情報である。高さ情報１７１は、記憶部１５０に記憶されている。

高さ情報１７１についてさらに説明する。
具体例として、撮像装置が人を監視するためのカメラである場合、立体物の種類は人である。被写体情報１７０には、撮像対象である立体物の種類、すなわち人に関する情報が設定されている。また、高さ情報１７１には、立体物の種類、すなわち人に基づいて定められた地表からの高さを表す情報が設定される。具体的には、人の身長の平均値に基づいて、予め設定された方式により定められた地表からの高さを表す情報が設定される。
また、別の具体例として、撮像装置が車を監視するためのカメラである場合、立体物の種類は車である。被写体情報１７０には、車に関する情報が設定されている。また、高さ情報１７１には、車に基づいて定められた地表からの高さを表す情報が設定される。具体的には、車の高さの平均値に基づいて、予め設定された方式により定められた地表からの高さを表す情報が設定される。

高さ情報１７１には、撮像対象である立体物の地表からの高さより若干高い値であり、第１撮像装置２１０のレンズ画角ψａ内かつ第２撮像装置２２０のレンズ画角ψｂ内に納まる値が設定される。具体的には、被写体である何らかの種類の立体物の地表からの高さの平均値を算出し、平均値の１．２倍を高さ情報１７１とする。このとき、被写体である立体物の高さの平均値の１．２倍がレンズ画角ψａ内かつレンズ画角ψｂ内に納まるように、撮像装置の設置条件が設定されている必要がある。なお、１．２倍は、一例であり、適切に高さ情報１７１が設定される方法であれば、高さ情報１７１の設定方法は問わない。

次に、図３を用いて、本実施の形態に係る画像処理方法５１０及び画像処理プログラム５２０の画像処理Ｓ１００の概要について説明する。
画像処理Ｓ１００は、境界算出処理Ｓ１１０と、俯瞰生成処理Ｓ１２０と、領域画像生成処理Ｓ１５０とを有する。
まず、境界算出処理Ｓ１１０において、境界算出部１１０は、第１撮像装置２１０の第１装置情報１６１と、第２撮像装置２２０の第２装置情報１６２と、高さ情報１７１とを用いて、共通領域Ｒａｂを第１撮像装置２１０の側と第２撮像装置２２０の側とに分ける基準となる境界位置１８０を算出する。境界算出部１１０は、算出した境界位置１８０を記憶部１５０に記憶する。

次に、俯瞰生成処理Ｓ１２０において、俯瞰生成部１２０は、メモリ９２２から、第１撮像装置２１０が第１領域Ｒａを撮像した第１画像３１０と、第２撮像装置２２０が第２領域Ｒｂを撮像した第２画像３２０とを読み出す。第１画像３１０と第２画像３２０とは、入力インタフェース９３０により、メモリ９２２に記憶されている。俯瞰生成部１２０は、第１画像３１０と第２画像３２０との各々を視点変換し、第１俯瞰画像３１１と第２俯瞰画像３２１とを生成する。第１俯瞰画像３１１は、視点変換の影響により、共通領域Ｒａｂの立体物６００は歪んでいる。また、第２俯瞰画像３２１では、視点変換の影響により、共通領域Ｒａｂの立体物６００は歪んでいる。

次に、領域画像生成処理Ｓ１５０において、画像処理装置１００は、全体領域Ｒを仮想視点Ｐから見た俯瞰画像である領域画像３４０を生成する。領域画像生成処理Ｓ１５０では、選択部１３０により選択処理Ｓ１３０が実行され、画像生成部１４０により画像生成処理Ｓ１４０が実行される。
領域画像生成処理Ｓ１５０は、選択処理Ｓ１３０と、画像生成処理Ｓ１４０とからなる。
選択処理Ｓ１３０において、選択部１３０は、境界位置１８０と、共通領域Ｒａｂに位置する立体物６００の位置とに基づいて、第１俯瞰画像３１１と第２俯瞰画像３２１とのうち、立体物６００の画像の歪みが小さい俯瞰画像を選択画像３３０として選択する。すなわち、境界位置１８０は、全体領域Ｒの俯瞰画像を生成する際に、共通領域Ｒａｂの俯瞰画像として第１俯瞰画像３１１と第２俯瞰画像３２１とのどちらの俯瞰画像を採用するかを判定するために用いられる。
画像生成処理Ｓ１４０において、画像生成部１４０は、第１俯瞰画像３１１における共通領域Ｒａｂ以外の第１領域Ｒａの画像と、第２俯瞰画像３２１における共通領域Ｒａｂ以外の第２領域Ｒｂの画像と、選択画像３３０に含まれる共通領域Ｒａｂの画像とを用いて、第１領域Ｒａと第２領域Ｒｂとからなる全体領域Ｒの画像を領域画像３４０として生成する。画像生成部１４０は、出力インタフェース９４０を介して、領域画像３４０をディスプレイなどの表示機器へ出力する。

＜境界算出処理Ｓ１１０の説明＞
図４は、本実施の形態に係る境界算出処理Ｓ１１０を示すフロー図である。図５は、図２で説明した撮像空間８００における境界位置１８０の算出方法について説明するための図である。
図４及び図５を用いて、境界算出処理Ｓ１１０について詳しく説明する。

ステップＳ１１１において、境界算出部１１０は、記憶部１５０から、第１装置情報１６１と第２装置情報１６２と高さ情報１７１とを読み出す。第１装置情報１６１には第１撮像装置２１０の高さＨａが含まれる。第２装置情報１６２には第２撮像装置２２０の高さＨｂが含まれる。また、高さ情報１７１に設定されている値がＴである。

ステップＳ１１２において、境界算出部１１０は、第１装置情報１６１と第２装置情報１６２と高さ情報１７１とを用いて幾何的計算を実行し、境界位置１８０を算出する。具体的には、境界算出部１１０は、第１俯瞰画像３１１における歪みの度合いを表す第１歪み度と、第２俯瞰画像３２１における歪みの度合いを表す第２歪み度とを用いて、境界位置１８０としてＸ軸上の位置であるｘｃを算出する。
以下において、境界位置１８０として算出される値を境界位置ｘｃと表記する場合がある。

第１歪み度は、第１装置情報１６１と高さ情報１７１とを用いて求められる。第２歪み度は、第２装置情報１６２と高さ情報１７１とを用いて求められる。境界算出部１１０は、第１歪み度と第２歪み度との差分の絶対値が最小となる共通領域ＲａｂのＸ軸上の座標を境界位置ｘｃとして算出する。

以下の式１は第１歪み度Ｅａを求める式である。以下の式２は第２歪み度Ｅｂを求める式である。Ｘ軸上の座標をｘとする。
式１：Ｅａ＝ｘ・Ｔ／（Ｈａ−Ｔ）
式２：Ｅｂ＝（Ｘａｂ−ｘ）・Ｔ／（Ｈｂ−Ｔ）
境界算出部１１０は、式１と式２との差分の絶対値が最小となるＸ軸上の座標ｘを境界位置ｘｃとして算出する。境界算出部１１０は、算出した境界位置１８０を記憶部１５０に記憶する。

ここで、図５を用いて、境界位置１８０の算出方法についてさらに説明する。
図５は、図２で説明した撮像装置の設置条件において、共通領域Ｒａｂに立体物６００が位置する場合の、第１撮像装置２１０と第２撮像装置２２０と立体物６００との位置関係を示すＸＺ平面図である。
共通領域Ｒａｂの高さＴにおいて交わるように設定されたラインａとラインｂとの交点を交点Ｔ１とする。ラインａは、撮像素子中心３ａから共通領域Ｒａｂ上に下された直線であり、ラインｂは撮像素子中心３ｂから共通領域Ｒａｂ上に下された直線である。交点Ｔ１から共通領域Ｒａｂ上に下された垂線と地表５００、すなわちＸ軸との交点を境界位置ｘｃとする。
ラインａと地表５００との交点と境界位置ｘｃとの間のＸ軸方向の距離が第１歪み度Ｅａである。
ラインｂと地表５００との交点と、境界位置ｘｃとの間のＸ軸方向の距離が第２歪み度Ｅｂである。

共通領域ＲａｂのＸ軸方向の両端部を端部ｒａ、端部ｒｂとする。直線３ａ−ｒａとＺ＝Ｔとの交点から地表５００に対して下ろした垂線との交点をｘ２、直線３ｂ−ｒｂとＺ＝Ｔとの交点から地表５００に対して下ろした垂線との交点をｘ１とすると、境界位置ｘｃは、ｘ１とｘ２との間に存在する。

第１歪み度Ｅａと第２歪み度Ｅｂとの各々は、撮像装置による立体物６００の地表５００への投影像の歪み程度を表す。すなわち、第１歪み度Ｅａは第１俯瞰画像３１１における歪みの度合いを表し、第２歪み度Ｅｂは第２俯瞰画像３２１における歪みの度合いを表す。また、図５に基づく幾何的計算により、第１歪み度Ｅａと第２歪み度Ｅｂとは、それぞれ式１と式２とで表される。第１歪み度Ｅａと第２歪み度Ｅｂとの差分を△ｅとすると、境界位置ｘｃは△ｅが最小となるようにｘを決定することにより求められる。すなわち、境界位置ｘｃは第１歪み度Ｅａと第２歪み度Ｅｂとの大きさが逆転する位置である。つまり、境界位置ｘｃは第１歪み度Ｅａと第２歪み度Ｅｂとが等しくなる位置である。

＜俯瞰生成処理Ｓ１２０の説明＞
図６を用いて、本実施の形態に係る俯瞰生成処理Ｓ１２０について詳しく説明する。

ステップＳ１２１において、俯瞰生成部１２０は、メモリ９２２から第１画像３１０と第２画像３２０とを読み出す。
ステップＳ１２２において、俯瞰生成部１２０は、第１画像３１０と第２画像３２０との各々について、撮像装置のレンズの影響による画像歪みを補正するレンズ歪み補正処理を実行する。具体的には、俯瞰生成部１２０は、第１撮像装置２１０と第２撮像装置２２０との各々のレンズが持つ歪みを補正するための計算パラメータを用いて、第１画像３１０と第２画像３２０との各々についてレンズ歪み補正処理を実行する。この計算パラメータは第１撮像装置２１０と第２撮像装置２２０との各々について予め採取され、記憶部１５０の撮像装置情報１６０に記憶されている。俯瞰生成部１２０は、記憶部１５０から計算パラメータを読み出し、読み出した計算パラメータを用いて第１画像３１０と第２画像３２０との各々についてレンズ歪み補正処理を実行する。

ステップＳ１２３において、俯瞰生成部１２０は、ステップＳ１２２においてレンズの影響による歪みが補正がされた第１画像３１０と第２画像３２０とを、第１俯瞰画像３１１と第２俯瞰画像３２１とに視点変換する。第１俯瞰画像３１１と第２俯瞰画像３２１とは、仮想視点Ｐから地表５００を見下ろした俯瞰画像である。具体的には、俯瞰生成部１２０は、仮想視点Ｐから地表５００を見下ろした俯瞰画像を生成するための適切な演算パラメータを備えた変換行列式を用いて、第１画像３１０と第２画像３２０との各々について視点変換処理を実行し、第１俯瞰画像３１１と第２俯瞰画像３２１とを生成する。この変換行列式は予め記憶部１５０の撮像装置情報１６０に記憶される。俯瞰生成部１２０は、記憶部１５０から変換行列式を読み出し、読み出した変換行列式を用いて第１画像３１０と第２画像３２０との各々について視点変換処理を実行する。
なお、第１俯瞰画像３１１と第２俯瞰画像３２１との各々は、視点変換処理の影響により、共通領域Ｒａｂの立体物６００が歪んでいる。

＜選択処理Ｓ１３０の説明＞
図７を用いて、本実施の形態に係る選択処理Ｓ１３０について詳しく説明する。

ステップＳ１３１において、位置検出部１３１は、記憶部１５０から比較画像１９０を読み出し、第１俯瞰画像３１１と第２俯瞰画像３２１と比較画像１９０とに基づいて、共通領域Ｒａｂに位置する立体物６００の位置を立体物位置ｘｐとして算出する。具体的には、位置検出部１３１は、比較画像１９０と、第１俯瞰画像３１１に含まれる共通領域Ｒａｂの俯瞰画像と、第２俯瞰画像３２１に含まれる共通領域Ｒａｂの俯瞰画像とに基づいて、立体物位置ｘｐを検出する。
比較画像１９０とは、第１俯瞰画像３１１と第２俯瞰画像３２１とが重なっている範囲である共通領域Ｒａｂにおいて、立体物が無い状態を仮想視点Ｐから見た俯瞰画像である。すなわち、比較画像１９０は、共通領域Ｒａｂにおいて立体物が存在しない状態、すなわち立体物が削除された状態を仮想視点Ｐから見た俯瞰画像である。比較画像１９０は、予め生成され、記憶部１５０に記憶される。

図８を用いて、立体物位置ｘｐの検出方法について説明する。
位置検出部１３１は、第１俯瞰画像３１１に含まれる共通領域Ｒａｂの俯瞰画像である共通俯瞰画像３０ａと、第２俯瞰画像３２１に含まれる共通領域Ｒａｂの俯瞰画像である共通俯瞰画像３０ｂとを取得する。
図８の（ａ）は、第１俯瞰画像３１１の共通俯瞰画像３０ａである。共通俯瞰画像３０ａに表される立体物６００の画像を立体物画像６０ａとする。立体物画像６０ａは、第１画像３１０が視点変換された立体物６００の画像であり、立体物６００が右側、すなわち第１撮像装置２１０から離れる方向に倒れこむような画像となる。
図８の（ｂ）は、第２俯瞰画像３２１の共通俯瞰画像３０ｂである。共通俯瞰画像３０ｂに表される立体物６００の画像を立体物画像６０ｂとする。立体物画像６０ｂは、第２画像３２０が視点変換された立体物６００の画像であり、立体物６００が左側、すなわち第２撮像装置２２０から離れる方向に倒れこむような画像となる。
図８の（ｃ）は、記憶部１５０に記憶されている比較画像１９０である。比較画像１９０は、立体物が無い状態の共通領域Ｒａｂを仮想視点Ｐから見た俯瞰画像である。

位置検出部１３１は、共通俯瞰画像３０ａと比較画像１９０との差分をとり、立体物画像６０ａが抽出された差分画像３１ａを算出する。図８の（ｄ）は差分画像３１ａを示す。また、位置検出部１３１は、共通俯瞰画像３０ｂと比較画像１９０との差分をとり、立体物画像６０ｂが抽出された差分画像３１ｂを算出する。図８の（ｅ）は差分画像３１ｂを示す。
位置検出部１３１は、差分画像３１ａと差分画像３１ｂとに対し、ブレンディング、すなわち半透明画像の重ね合わせ処理を実行し、差分画像３１ａと差分画像３１ｂとが合成された合成画像３３を生成する。図８の（ｆ）は、立体物画像６０ａと立体物画像６０ｂとが重畳された合成画像３３を示している。合成画像３３において、立体物画像６０ａと立体物画像６０ｂとが重畳する部分の立体物重畳部分６０ａｂは、立体物６００が地表５００に接する領域を示している。位置検出部１３１は、立体物重畳部分６０ａｂの中心位置のＸ座標を立体物６００の位置である立体物位置ｘｐとして検出する。

次に、ステップＳ１３２において、画像選択部１３２は、記憶部１５０から境界位置ｘｃを読み出す。
ステップＳ１３３において、画像選択部１３２は、読み出した境界位置ｘｃと、共通領域Ｒａｂに位置する立体物６００の立体物位置ｘｐとに基づいて、第１俯瞰画像３１１と第２俯瞰画像３２１とのうち、立体物６００の画像の歪みが小さい俯瞰画像を選択画像３３０として選択する。
具体的には、画像選択部１３２は、境界位置ｘｃに基づいて、立体物位置ｘｐが第１撮像装置２１０の側にあるか第２撮像装置２２０の側にあるかを判定する。そして、画像選択部１３２は、立体物位置ｘｐが境界位置ｘｃより第１撮像装置２１０の側にある場合に第１俯瞰画像３１１を選択画像３３０として選択する。また、画像選択部１３２は、立体物位置ｘｐが境界位置ｘｃより第２撮像装置２２０の側にある場合に第２俯瞰画像３２１を選択画像３３０として選択する。

立体物位置ｘｐが境界位置ｘｃより第１撮像装置２１０の側にあるということは、立体物６００のＸ座標である立体物位置ｘｐが境界位置ｘｃより第１撮像装置２１０の側にあることである。すなわち、立体物６００が境界位置ｘｃをＸ座標とする共通領域Ｒａｂ上の直線より第１撮像装置２１０の側に位置することを意味する。
また、立体物位置ｘｐが境界位置ｘｃより第２撮像装置２２０の側にあるということは、立体物６００のＸ座標である立体物位置ｘｐが境界位置ｘｃより第２撮像装置２２０の側にあることである。すなわち、立体物６００が境界位置ｘｃをＸ座標とする共通領域Ｒａｂ上の直線より第２撮像装置２２０の側にあることを意味する。

ステップＳ１３３において、立体物位置ｘｐが境界位置ｘｃ以上の場合、ステップ１３４に進む。立体物位置ｘｐが境界位置ｘｃ以上であるということは、立体物位置ｘｐが境界位置ｘｃより第２撮像装置２２０の側にあることを意味する。よって、ステップＳ１３４において、画像選択部１３２は、第２俯瞰画像３２１を選択画像３３０として選択する。
ステップＳ１３３において、立体物位置ｘｐが境界位置ｘｃより小さい場合、ステップ１３５に進む。立体物位置ｘｐが境界位置ｘｃより小さいということは、立体物位置ｘｐが境界位置ｘｃより第１撮像装置２１０の側にあることを意味する。よって、ステップＳ１３５において、画像選択部１３２は、第１俯瞰画像３１１を選択画像３３０として選択する。

＜画像生成処理Ｓ１４０について＞
図９を用いて、本実施の形態に係る画像生成処理Ｓ１４０について詳しく説明する。

ステップＳ１４１において、画像生成部１４０は、第１俯瞰画像３１１における共通領域Ｒａｂ以外の第１領域Ｒａの画像と、第２俯瞰画像３２１における共通領域Ｒａｂ以外の第２領域Ｒｂの画像と、選択画像３３０に含まれる共通領域Ｒａｂの画像とを用いて、第１領域Ｒａと第２領域Ｒｂとからなる全体領域Ｒの画像を領域画像３４０として生成する。すなわち、画像生成部１４０は、選択画像３３０と、選択処理Ｓ１３０において選択されなかった方の俯瞰画像の共通領域Ｒａｂ以外の画像とを合成し、全体領域Ｒを仮想視点Ｐから見た領域画像３４０を生成する。
ステップＳ１４２において、画像生成部１４０は、出力インタフェース９４０を介して、領域画像３４０をディスプレイなどの表示機器へ出力する。

図１０及び図１１を用いて、領域画像３４０の生成方法について説明する。
図１０では、立体物位置ｘｐが境界位置ｘｃより第１撮像装置２１０の側にあるため、画像選択部１３２は第１俯瞰画像３１１を選択画像３３０として選択する。よって、画像選択部１３２は、第１俯瞰画像３１１と、第２俯瞰画像３２１において共通領域Ｒａｂを除いた第２領域Ｒｂの画像とを合成し、全体領域Ｒの領域画像３４０を生成する。すなわち、領域画像３４０は、第１俯瞰画像３１１における共通領域Ｒａｂ以外の画像と、第２俯瞰画像３２１における共通領域Ｒａｂ以外の画像と、選択画像３３０である第１俯瞰画像３１１に含まれる共通領域Ｒａｂの画像とにより生成されている。
図１１では、立体物位置ｘｐが境界位置ｘｃより第２撮像装置２２０の側にあるため、画像選択部１３２は、第２俯瞰画像３２１を選択画像３３０として選択する。よって、画像選択部１３２は、第２俯瞰画像３２１と、第１俯瞰画像３１１において共通領域Ｒａｂを除いた第１領域Ｒａの画像とを合成し、全体領域Ｒの領域画像３４０を生成する。すなわち、領域画像３４０は、第１俯瞰画像３１１における共通領域Ｒａｂ以外の画像と、第２俯瞰画像３２１における共通領域Ｒａｂ以外の画像と、選択画像３３０である第２俯瞰画像３２１に含まれる共通領域Ｒａｂの画像とにより生成されている。

以上で、本実施の形態に係る画像処理装置１００の動作についての説明を終わる。

＊＊＊他の構成＊＊＊
本実施の形態では、画像処理装置１００は、入力インタフェース９３０を介して第１画像３１０及び第２画像３２０を取得し、出力インタフェース９４０を介して領域画像３４０を出力する構成であった。しかし、画像処理装置１００が通信装置を備え、通信装置を介して第１画像３１０及び第２画像３２０を受信してもよい。また、画像処理装置１００は、通信装置を介して領域画像３４０を送信してもよい。この場合、通信装置はレシーバとトランスミッタとを備える。具体的には、通信装置は通信チップまたはＮＩＣ（Ｎｅｔｗｏｒｋ・Ｉｎｔｅｒｆａｃｅ・Ｃａｒｄ）である。通信装置はデータを通信する通信部として機能する。レシーバはデータを受信する受信部として機能し、トランスミッタはデータを送信する送信部として機能する。

また、本実施の形態では、画像処理装置１００の「部」の機能がソフトウェアで実現されるが、変形例として、画像処理装置１００の「部」の機能がハードウェアで実現されてもよい。
図１２を用いて、本実施の形態の変形例に係る画像処理装置１００の構成について説明する。
図１２に示すように、画像処理装置１００は、処理回路９０９、入力インタフェース９３０、出力インタフェース９４０といったハードウェアを備える。

処理回路９０９は、前述した「部」の機能及び記憶部１５０を実現する専用の電子回路である。処理回路９０９は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ・Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ・Ｓｐｅｃｉｆｉｃ・Ｉｎｔｅｇｒａｔｅｄ・Ｃｉｒｃｕｉｔ）、又は、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ・Ｇａｔｅ・Ａｒｒａｙ）である。

「部」の機能は、１つの処理回路９０９で実現されてもよいし、複数の処理回路９０９に分散して実現されてもよい。

別の変形例として、画像処理装置１００の機能がソフトウェアとハードウェアとの組合せで実現されてもよい。即ち、画像処理装置１００の一部の機能が専用のハードウェアで実現され、残りの機能がソフトウェアで実現されてもよい。

プロセッサ９１０、記憶装置９２０、及び、処理回路９０９を、総称して「プロセッシングサーキットリ」という。つまり、画像処理装置１００の構成が図１及び図１０のいずれに示した構成であっても、「部」の機能及び記憶部１５０は、プロセッシングサーキットリにより実現される。

「部」を「工程」又は「手順」又は「処理」に読み替えてもよい。また、「部」の機能をファームウェアで実現してもよい。

また、本実施の形態に係る画像処理装置１００において複数の領域画像を次々に生成する場合、図３の境界算出処理Ｓ１１０は１枚目の領域画像を生成する場合のみ実行すればよい。境界算出処理Ｓ１１０により算出された境界位置１８０は記憶部１５０に記憶されるので、２枚目以降の領域画像を生成する場合は記憶部１５０に記憶された境界位置１８０を読み出して俯瞰生成処理Ｓ１２０から画像生成処理Ｓ１４０を実行すればよい。
また、記憶部１５０が補助記憶装置９２１で実現されている場合は、１枚目の領域画像を生成する処理の際に記憶部１５０から読み出された情報をメモリ９２２に記憶しておく。これにより、２枚目以降の領域画像を生成する処理では補助記憶装置９２１から読み出す必要はなくなる。

次に、図１３を用いて、本実施の形態に係る画像処理装置１００の応用例について説明する。図１３に示すように、撮像領域の全体領域Ｒに、被写体である立体物の移動方向が一定の領域が複数存在する場合がある。具体的には、道路を対面通行する自動車を被写体とした場合である。
このような場合には、立体物の移動方向が一定の領域ごとに全体領域Ｒを分割して、分割したそれぞれの領域で上述した画像処理Ｓ１００を実行すればよい。具体的には、図１３に示すように、全体領域Ｒには、立体物６００ｂがＢ方向に移動する車線である領域Ｒ１と、立体物６００ａがＡ方向に移動する車線である領域Ｒ２とが存在する。画像処理装置は、全体領域Ｒが領域Ｒ１と領域Ｒ２とに分割されて定義された撮像装置情報を予め記憶部に記憶しておく。そして、画像処理装置は、領域Ｒ１と領域Ｒ２との各々の領域において画像処理Ｓ１００を実行し、領域Ｒ１の俯瞰画像と領域Ｒ２の俯瞰画像とを生成する。そして、画像処理装置は、領域Ｒ１の俯瞰画像と領域Ｒ２の俯瞰画像とを合成して全体領域Ｒの領域画像を生成する。

＊＊＊本実施の形態の効果の説明＊＊＊
以上のように、本実施の形態に係る画像処理装置では、立体物の歪み度の差分が最も小さくなる境界位置を境界として、立体物位置が境界位置に対していずれの側に位置するのかを判定する。そして、この判定結果に基づいて共通領域の画像として表示する俯瞰画像の選択処理を行うことにより、立体物の歪み度が小さい方の俯瞰画像が選択される。よって、本実施の形態に係る画像処理装置によれば、立体物画像が２重に表示されるといった不自然な画像になることはなく、立体物の歪みが小さい合成俯瞰画像が得られる。

また、本実施の形態に係る画像処理装置では、撮像装置の設置条件に関する撮像装置情報と被写体の種類から定まる高さ情報とを予め記憶部に記憶しておく。すなわち、本実施の形態に係る画像処理装置では、使用状況に合わせて最適な撮像装置情報と高さ情報とを設定することができる。よって、本実施の形態に係る画像処理装置によれば、共通領域の俯瞰画像として表示される選択画像を適切な撮像装置情報と高さ情報とから選択することができるので、画像品質の高い合成俯瞰画像を提供することができる。

また、本実施の形態に係る画像処理装置では、共通領域に被写体が存在しない状態の比較画像を予め記憶部に用意しているので、この比較画像と生成された俯瞰画像とにより立体物位置を検出することができる。よって、本実施の形態に係る画像処理装置によれば、立体物の位置を検出するためのセンサといった機器を使用する必要がなく、コストの低減を図ることができる。

実施の形態２．
本実施の形態では、主に、実施の形態１と異なる点について説明する。
実施の形態１では、共通領域Ｒａｂ内に１つの立体物がある場合の画像処理について説明した。また、実施の形態１では、視点変換された立体物の画像が歪んだままで領域画像が生成されていた。本実施の形態では、共通領域Ｒａｂ内にｎ個（ｎは１以上の自然数）の立体物がある場合に、各々の立体物の視点変換後の画像を圧縮変形させることにより立体物の画像の歪みを低減して表示する画像処理装置１００ａについて説明する。

＊＊＊構成の説明＊＊＊
図１４を用いて、本実施の形態に係る画像処理装置１００ａの構成について説明する。
なお、本実施の形態において、実施の形態１で説明した構成と同様の構成については同一の符号を付し、その説明を省略する。

画像処理装置１００ａでは、実施の形態１における選択部１３０と画像生成部１４０とに代わり、選択部１３０ａと画像生成部１４０ａとを機能構成として備える。すなわち、画像処理装置１００ａでは、位置検出部１３１と画像選択部１３２とに代わり、位置検出部１３１ａと画像選択部１３２ａとを機能構成として備える。本実施の形態では、画像処理装置１００ａの「部」の機能は、境界算出部１１０と、俯瞰生成部１２０と、位置検出部１３１ａと、画像選択部１３２ａと、画像生成部１４０ａとの機能である。

＊＊＊動作の説明＊＊＊
図１５を用いて、本実施の形態に係る画像処理装置１００ａの画像処理Ｓ１００ａについて説明する。本実施の形態では、領域画像生成処理Ｓ１５０ａが実施の形態１の領域画像生成処理Ｓ１５０とは異なる。すなわち、選択処理Ｓ１３０ａ及び画像生成処理Ｓ１４０ａが、実施の形態１の選択処理Ｓ１３０及び画像生成処理Ｓ１４０とは異なる。
領域画像生成処理Ｓ１５０ａでは、画像処理装置１００ａは、共通領域Ｒａｂ内のｎ個の立体物の視点変換後の立体物画像６０１，６０２，・・・，６０ｎについて、それぞれの画像の歪みを圧縮変形により補正する。

図１６を用いて、本実施の形態に係る領域画像生成処理Ｓ１５０ａについて詳しく説明する。
ステップＳ１５１において、位置検出部１３１ａは、記憶部１５０から比較画像１９０を読み出す。位置検出部１３１ａは、第１俯瞰画像３１１と第２俯瞰画像３２１と比較画像１９０とに基づいて、共通領域Ｒａｂに位置するｎ個の立体物の各々の立体物位置ｘｐｉ（ｉはｎ以下の自然数）を算出する。すなわち、位置検出部１３１ａは、立体物位置ｘｐ１，ｘｐ２，・・・，ｘｐｎを検出する。ステップＳ１５１の各立体物位置ｘｐｉの検出方法は実施の形態１で説明したステップＳ１３１と同様である。
ステップＳ１５２において、画像選択部１３２ａは、記憶部１５０から境界位置ｘｃを読み出す。ステップＳ１５２の処理は実施の形態１で説明したステップＳ１３２と同様である。
ステップＳ１５３において、画像選択部１３２ａは、境界位置ｘｃと、共通領域Ｒａｂに位置する立体物位置ｘｐｉとに基づいて、第１俯瞰画像３１１と第２俯瞰画像３２１とのうち、立体物画像６０ｉの歪みが小さい俯瞰画像を選択画像３３０として選択する。立体物画像６０ｉは処理対象の立体物画像である。画像選択部１３２ａは、立体物位置ｘｐｉが境界位置ｘｃより第１撮像装置２１０の側にある場合に第１俯瞰画像３１１を選択画像３３０として選択する（ステップＳ１５５）。また、画像選択部１３２ａは、立体物位置ｘｐｉが境界位置ｘｃより第２撮像装置２２０の側にある場合に第２俯瞰画像３２１を選択画像３３０として選択する（ステップＳ１５４）。ステップＳ１５３からステップＳ１５５の処理は実施の形態１で説明したステップＳ１３３からステップＳ１３５と同様である。

図１７は、本実施の形態に係る領域画像生成処理Ｓ１５０ａを説明するための図である。
具体例として、共通領域Ｒａｂに３つの立体物が位置するものとする。また、３つの立体物の各々の立体物位置ｘｐ１，ｘｐ２，ｘｐ３が検出されたものとする。図１７の（ａ）に示すように、立体物位置ｘｐ１，ｘｐ２は境界位置ｘｃより第１撮像装置２１０の側にある。また、図１７の（ｂ）に示すように、立体物位置ｘｐ３は境界位置ｘｃより第２撮像装置２２０の側にある。
よって、立体物位置ｘｐ１，ｘｐ２にある各々の立体物の俯瞰画像としては、第１俯瞰画像３１１が選択される。立体物位置ｘｐ１，ｘｐ２にある各々の立体物の俯瞰画像を、立体物画像６０１，６０２とする。立体物位置ｘｐ３にある立体物の俯瞰画像としては、第２俯瞰画像３２１が選択される。立体物位置ｘｐ３にある立体物の俯瞰画像を、立体物画像６０３とする。

また、図１７の（ａ）の３５ａは、第１撮像装置２１０の撮像素子中心３ａの座標位置を俯瞰画像変換後のＸＹ平面上にマッピングさせた位置を表す。図１７の（ｂ）の３５ｂは、第２撮像装置２２０の撮像素子中心３ｂの座標位置を俯瞰画像変換後のＸＹ平面上にマッピングさせた位置を表す。

ステップＳ１５６において、画像生成部１４０ａは、立体物位置ｘｐｉに基づいて、立体物画像６０ｉを圧縮変形させる際の変形度合いを決める画像変形係数Ｑｉを決定する。画像変形係数は変形率ともいう。画像生成部１４０ａは、画像変形係数Ｑｉを、撮像装置の撮像素子中心と立体物位置ｘｐｉ間の距離の長さに基づいて決定する。撮像装置の撮像素子中心と立体物位置ｘｐｉとの間の距離が長いほど、画像変形係数Ｑｉは大きくなる。
図１７の（ａ）（ｂ）の例では、撮像素子中心である３５ａと立体物位置ｘｐ１との距離Ｌ１よりも、３５ａと立体物位置ｘｐ２との距離Ｌ２の方が長い。よって、立体物画像６０２の画像変形係数Ｑ２は、立体物画像６０１の画像変形係数Ｑ１よりも大きな値に決定される。具体的には、立体物位置ｘｐを変数とする演算式が予め記憶部１５０に記憶されており、画像生成部１４０ａは記憶部１５０に記憶された演算式と立体物位置ｘｐｉとを用いて画像変形係数Ｑｉを算出する。または、立体物位置ｘｐをパラメータとした画像変形係数テーブルが予め記憶部１５０に記憶されており、画像生成部１４０ａは記憶部１５０に記憶された画像変形係数テーブルからｘｐｉに対応する値を画像変形係数Ｑｉとして読み込むようにしてもよい。

ステップＳ１５７において、画像生成部１４０ａは、選択画像３３０から立体物画像６０ｉを抽出する。具体的には、画像生成部１４０ａは、選択画像３３０の共通領域Ｒａｂ部分と比較画像１９０とを用いて、立体物画像６０ｉを抽出する。図１７の（ｃ）（ｄ）は、画像生成部１４０ａにより抽出された立体物画像６０１，６０２，６０３である。立体物画像６０１，６０２は選択画像３３０である第１俯瞰画像３１１から抽出される。また、立体物画像６０３は選択画像３３０である第２俯瞰画像３２１から抽出される。

ステップＳ１５８において、画像生成部１４０ａは、抽出された立体物画像６０ｉに対し、画像変形係数Ｑｉを用いて圧縮変形処理を行う。圧縮変形処理とは、立体物画像６０ｉに対し、画像変形係数Ｑｉを用いて圧縮変形を施すことにより立体物画像６０ｉの歪みを低減する補正を行う処理である。図１７の（ｅ）の立体物補正画像６０１ｐ，６０２ｐは、図１７の（ｃ）の立体物画像６０１，６０２の各々に対して圧縮変形処理を行った結果を表している。上述したように、立体物画像６０１に対する画像変形係数Ｑ１より、立体物画像６０２に対する画像変形係数Ｑ２の方が大きく決定される。
また、図１７の（ｆ）の立体物補正画像６０３ｐは、図１７の（ｄ）の立体物画像６０３に対して圧縮変形処理を行った結果を表している。
なお、立体物画像に対する圧縮変形は、撮像素子中心と俯瞰画像における立体物画像の中心とを結ぶ直線方向に行われることが望ましい。

ステップＳ１５９において、画像生成部１４０ａは、ｎ個の立体物のうち圧縮変形処理をしていない立体物が残っているかどうかを判定する。すなわち、画像生成部１４０ａは、共通領域Ｒａｂの全ての立体物について圧縮変形による補正が完了したか否かを判定する。
ステップＳ１５９において全ての立体物について補正が完了した場合、ステップＳ１６０進む。
ステップＳ１５９において補正が完了していない立体物が残っている場合、ステップＳ１５３に戻り、立体物画像６０ｉの次の立体物画像について処理を行う。

ステップＳ１６０において、画像生成部１４０ａは、圧縮変形処理を行った立体物補正画像６０１ｐ，６０２ｐ，・・・，６０ｎｐの各々を、比較画像１９０上の各立体物位置ｘｐ１，ｘｐ２，・・・，ｘｐｎに貼り付け、補正共通画像３６を生成する。図１７の（ｇ）は、比較画像１９０の立体物位置ｘｐ１，ｘｐ２，ｘｐ３に、立体物補正画像６０１ｐ，６０２ｐ，６０３ｐをそれぞれ張り付けた状態の補正共通画像３６を示している。
ステップＳ１６１において、画像生成部１４０ａは、第１俯瞰画像３１１における共通領域Ｒａｂ以外の画像と、第２俯瞰画像３２１における共通領域Ｒａｂ以外の画像と、補正共通画像３６とを用いて、全体領域Ｒの領域画像３４０を生成する。
ステップＳ１６２において、画像生成部１４０は、出力インタフェース９４０を介して、領域画像３４０をディスプレイなどの表示機器へ出力する。

以上で、本実施の形態に係る領域画像生成処理Ｓ１５０ａについての説明を終わる。

＊＊＊本実施の形態に係る効果の説明＊＊＊
以上のように、本実施の形態に係る画像処理装置によれば、共通領域に複数存在する立体物について、立体物位置と境界位置とに基づいて圧縮変形する立体物画像を選択し、選択した立体物画像を圧縮変形することができる。よって、本実施の形態に係る画像処理装置によれば、共通領域における立体物画像の歪みをさらに小さくすることができ、合成俯瞰画像の画像品質を向上させることができる。

また、本実施の形態に係る画像処理装置によれば、立体物画像を抽出し、抽出した立体物画像のみを圧縮変形させることにより、立体物ごとに個別に歪みを小さくできる。よって、本実施の形態に係る画像処理装置によれば、圧縮させる必要のない領域に補正による歪みが生じないため、合成俯瞰画像の品質をより向上させることができる。

以上、本発明の実施の形態１及び２について説明したが、これらの実施の形態の説明において「部」として説明するもののうち、いずれか１つのみを採用してもよいし、いくつかの任意の組合せを採用してもよい。つまり、画像処理装置の機能ブロックは、上記の実施の形態で説明した機能を実現することができれば、任意である。これらの機能ブロックを、どのような組合せ、あるいは任意のブロック構成で画像処理装置を構成しても構わない。また、画像処理装置は、１つの装置でなく、複数の装置から構成された画像処理システムでもよい。

また、実施の形態１及び２について説明したが、これらの２つの実施の形態のうち、複数を部分的に組合せて実施しても構わない。あるいは、これらの２つの実施の形態のうち、１つの実施の形態を部分的に実施しても構わない。その他、これらの２つの実施の形態を、全体としてあるいは部分的に、どのように組合せて実施しても構わない。
なお、上記の実施の形態は、本質的に好ましい例示であって、本発明、その適用物や用途の範囲を制限することを意図するものではなく、必要に応じて種々の変更が可能である。

３ａ，３ｂ撮像素子中心、１００，１００ａ画像処理装置、１１０境界算出部、１２０俯瞰生成部、１３０，１３０ａ選択部、１３１，１３１ａ位置検出部、１３２，１３２ａ画像選択部、１４０，１４０ａ画像生成部、１５０記憶部、１６０撮像装置情報、１６１第１装置情報、１６２第２装置情報、１７０被写体情報、１７１高さ情報、１８０境界位置、１９０比較画像、２１０第１撮像装置、２２０第２撮像装置、３１０第１画像、３２０第２画像、３１１第１俯瞰画像、３２１第２俯瞰画像、３３０選択画像、３４０領域画像、３０ａ，３０ｂ共通俯瞰画像、３１ａ，３１ｂ差分画像、３３合成画像、３６補正共通画像、５００地表、５１０画像処理方法、５２０画像処理プログラム、６００，６００ａ，６００ｂ立体物、６０ａ，６０ｂ，６０１，６０２，６０３，６０ｉ立体物画像、６０ａｂ立体物重畳部分、６０１ｐ，６０２ｐ，６０３ｐ，６０ｉｐ立体物補正画像、８００撮像空間、９０９処理回路、９１０プロセッサ、９２０記憶装置、９２１補助記憶装置、９２２メモリ、９３０入力インタフェース、９４０出力インタフェース、Ｅａ第１歪み度、Ｅｂ第２歪み度、Ｒ全体領域、Ｒ１，Ｒ２領域、Ｒａ第１領域、Ｒｂ第２領域、Ｒａｂ共通領域、Ｐ仮想視点、ｘｃ境界位置、ｘｐ，ｘｐｉ，ｘｐ１，ｘｐ２，ｘｐ３立体物位置、Ｑ，Ｑｉ，Ｑ１，Ｑ２，Ｑ３画像変形係数、Ｓ１００画像処理、Ｓ１１０境界算出処理、Ｓ１２０俯瞰生成処理、Ｓ１３０選択処理、Ｓ１４０画像生成処理、Ｓ１５０，Ｓ１５０ａ領域画像生成処理、Ｔ１交点。

Claims

立体物が位置する共通領域を含む第１領域を撮像する第１撮像装置の位置情報を含む第１装置情報と、前記共通領域を含む第２領域を撮像する第２撮像装置の位置情報を含む第２装置情報とを用いて、前記共通領域を前記第１撮像装置の側と前記第２撮像装置の側とに分ける基準となる境界位置を算出する境界算出部と、
前記境界位置と前記立体物の位置とに基づいて、前記第１撮像装置が前記第１領域を撮像した画像が視点変換された第１俯瞰画像であって前記立体物の画像が歪んでいる第１俯瞰画像と、前記第２撮像装置が前記第２領域を撮像した画像が視点変換された第２俯瞰画像であって前記立体物の画像が歪んでいる第２俯瞰画像とのうち、前記立体物の画像の歪みが小さい俯瞰画像を選択画像として選択する選択部と、
前記第１俯瞰画像における前記共通領域以外の前記第１領域の画像と、前記第２俯瞰画像における前記共通領域以外の前記第２領域の画像と、前記選択画像に含まれる前記共通領域の画像とに基づいて、前記第１領域と前記第２領域とからなる領域の領域画像を生成する画像生成部と
を備える画像処理装置。
前記選択部は、
前記立体物の位置が前記境界位置より前記第１撮像装置の側にある場合に前記第１俯瞰画像を前記選択画像として選択し、前記立体物が前記境界位置より前記第２撮像装置の側にある場合に前記第２俯瞰画像を前記選択画像として選択する請求項１に記載の画像処理装置。
前記境界算出部は、
前記第１俯瞰画像における歪みの度合いを表す第１歪み度であって前記第１装置情報と前記立体物の種類に基づいて定められた地表からの高さを表す高さ情報とを用いて求められる第１歪み度と、前記第２俯瞰画像における歪みの度合いを表す第２歪み度であって前記第２装置情報と前記高さ情報とを用いて求められる第２歪み度とを用いて、前記境界位置を算出する請求項１または２に記載の画像処理装置。
前記境界算出部は、
前記第１歪み度と前記第２歪み度との差分の絶対値が最小となる前記共通領域の位置を前記境界位置として算出する請求項３に記載の画像処理装置。
前記選択部は、
前記共通領域において立体物が存在しない比較画像と前記第１俯瞰画像に含まれる前記共通領域の画像と前記第２俯瞰画像に含まれる前記共通領域の画像とに基づいて、前記立体物の位置を検出する請求項１から４のいずれか１項に記載の画像処理装置。
前記画像生成部は、
前記選択画像に含まれる前記共通領域の画像の前記立体物の画像の歪みを補正し、歪みが補正された前記立体物の画像と前記比較画像とを合成し、合成して得られる合成画像と、前記第１俯瞰画像における前記共通領域以外の前記第１領域の画像と、前記第２俯瞰画像における前記共通領域以外の前記第２領域の画像とを用いて、前記領域画像を生成する請求項５に記載の画像処理装置。
前記画像生成部は、
前記選択部により検出された前記立体物の位置に基づいて画像変形係数を決定し、前記画像変形係数を用いて前記立体物の画像の歪みを補正する請求項６に記載の画像処理装置。
境界算出部が、立体物が位置する共通領域を含む第１領域を撮像する第１撮像装置の位置情報を含む第１装置情報と、前記共通領域を含む第２領域を撮像する第２撮像装置の位置情報を含む第２装置情報とを用いて、前記共通領域を前記第１撮像装置の側と前記第２撮像装置の側とに分ける基準となる境界位置を算出し、
選択部が、前記境界位置と前記立体物の位置とに基づいて、前記第１撮像装置が前記第１領域を撮像した画像が視点変換された第１俯瞰画像であって前記立体物の画像が歪んでいる第１俯瞰画像と、前記第２撮像装置が前記第２領域を撮像した画像が視点変換された第２俯瞰画像であって前記立体物の画像が歪んでいる第２俯瞰画像とのうち、前記立体物の画像の歪みが小さい俯瞰画像を選択画像として選択し、
画像生成部が、前記第１俯瞰画像における前記共通領域以外の前記第１領域の画像と、前記第２俯瞰画像における前記共通領域以外の前記第２領域の画像と、前記選択画像に含まれる前記共通領域の画像とに基づいて、前記第１領域と前記第２領域とからなる領域の領域画像を生成する画像処理方法。
立体物が位置する共通領域を含む第１領域を撮像する第１撮像装置の位置情報を含む第１装置情報と、前記共通領域を含む第２領域を撮像する第２撮像装置の位置情報を含む第２装置情報とを用いて、前記共通領域を前記第１撮像装置の側と前記第２撮像装置の側とに分ける基準となる境界位置を算出する境界算出処理と、
前記境界位置と前記立体物の位置とに基づいて、前記第１撮像装置が前記第１領域を撮像した画像が視点変換された第１俯瞰画像であって前記立体物の画像が歪んでいる第１俯瞰画像と、前記第２撮像装置が前記第２領域を撮像した画像が視点変換された第２俯瞰画像であって前記立体物の画像が歪んでいる第２俯瞰画像とのうち、前記立体物の画像の歪みが小さい俯瞰画像を選択画像として選択する選択処理と、
前記第１俯瞰画像における前記共通領域以外の前記第１領域の画像と、前記第２俯瞰画像における前記共通領域以外の前記第２領域の画像と、前記選択画像に含まれる前記共通領域の画像とに基づいて、前記第１領域と前記第２領域とからなる領域の領域画像を生成する画像生成処理とをコンピュータに実行させる画像処理プログラム。