JP6257798B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

この発明は、撮影装置が撮影したカメラ画像から俯瞰画像を作成する画像処理装置及び画像処理方法に関するものである。

カメラ画像を地面に投影することで、上方の仮想視点から見下ろした俯瞰画像を作成する技術がある。このようにして作成される俯瞰画像では、地面の高さにある物体は正常に表示される。だが一方で、立体的な物体は、地面に倒れ込むようにして伸びた状態となり、大きく歪んで表示される。
そこで、例えば特許文献１には、障害物が検出された方向を撮影するカメラによって撮影されたカメラ画像のうち、車両から見て当該障害物よりも遠方に位置する領域の画像の幅を、車両周辺画像（俯瞰画像）の中央方向に圧縮するようにして、車両周辺画像を作成する技術が記載されている。これにより、立体的な障害物が俯瞰画像で歪んで表示されるのを抑制している。また、障害物は、超音波センサ等のセンサを用いて検出される。

特許第５０５３０４３号公報

上記特許文献１によると、障害物よりも遠方に位置する領域は、その全体が圧縮対象となる。つまり、当該領域の中で、当該障害物よりも更に遠方に別の障害物があろうとなかろうと、当該領域は全体が圧縮される。このように特許文献１では、とある障害物よりも更に遠方にある別の障害物の存在については特に考慮されておらず、障害物に個別に対応して歪みを抑制しているわけではない。このため、障害物よりも遠方に位置する領域の中で障害物が無い部分の全て、つまり、圧縮する必要の無い部分の全てについても圧縮処理が施されてしまっていた。圧縮する必要の無い部分が圧縮された場合は、その部分に歪みが生じる。

この発明は、上記のような課題を解決するためになされたもので、物体ごとに個別に歪みを抑制できる画像処理装置及び画像処理方法を得ることを目的とする。

この発明に係る画像処理装置は、撮影装置が撮影した撮影画像を取得する画像取得部と、撮影装置に関しての撮影装置情報と、撮影装置が撮影する空間に関しての空間情報とに基づき、撮影画像を構成する画素データと空間との対応を算出して、撮影画像から俯瞰画像を作成する俯瞰画像作成部と、対応する空間情報を有しない物体の位置を検出する物体検出部と、物体の位置における投影面を算出する投影面算出部と、投影面に撮影画像を設定して、俯瞰画像の視点位置から見たときの物体の物体画像を作成する物体画像作成部と、俯瞰画像に物体画像を合成して画像を作成する表示画像作成部と、撮影装置情報と空間情報とに基づき、撮影装置が撮影した差分計算用画像を構成する画素データと空間との対応を算出して、差分計算用画像から差分計算用俯瞰画像を作成する差分計算用俯瞰画像作成部とを備え、俯瞰画像作成部は、複数の撮影装置がそれぞれ撮影した撮影画像からそれぞれ俯瞰画像を作成し、差分計算用俯瞰画像作成部は、複数の撮影装置がそれぞれ撮影した差分計算用画像からそれぞれ差分計算用俯瞰画像を作成し、物体検出部は、同一の撮影装置ごとの俯瞰画像と差分計算用俯瞰画像との差分から物体領域をそれぞれ求め、物体領域同士の重畳部分を、物体の位置として検出することを特徴とするものである。

この発明によれば、俯瞰画像の中に、個別に歪みが抑制された物体画像を作成することができる。

この発明の実施の形態１に係る画像処理装置の構成を示す図である。 この発明の実施の形態１に係る画像処理装置の処理を示すフローチャートである。 被写体位置の算出方法を説明する図である。 新たに定義される投影面を示す図である。 被写体位置の算出方法を説明する図である。 この発明の実施の形態２に係る画像処理装置の構成を示す図である。 この発明の実施の形態２に係る画像処理装置の処理を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１に、この発明の実施の形態１に係る画像処理装置１００の構成を示す。図１には、撮影装置１ａ〜１ｃと表示装置２についても示している。
画像処理装置１００は、画像取得部１０１と、撮影装置情報記憶部１０２と、施設情報記憶部１０３と、視点位置記憶部１０４と、俯瞰画像作成部１０５と、差分計算用画像記憶部１０６と、被写体検出部１０７と、投影面算出部１０８と、被写体画像作成部１０９と、表示画像作成部１１０とを備えている。

画像取得部１０１は、撮影装置１ａ〜１ｃから、それらが撮影したカメラ画像（撮影画像）を取得する。
撮影装置情報記憶部１０２は、撮影装置１ａ〜１ｃに関する情報を、撮影装置情報として記憶する。撮影装置情報には、例えば、撮影装置１ａ〜１ｃの設置位置、向き、レンズの焦点距離等が含まれる。
施設情報記憶部１０３は、撮影装置１ａ〜１ｃにより撮影されて監視対象となる空間に関する情報を、施設情報（空間情報）として記憶する。施設情報には、例えば、監視対象となる空間の広さ、壁の位置及び高さ、常時設置されている構造物の大きさ及び位置等が含まれる。
視点位置記憶部１０４は、俯瞰画像を作成する際の視点位置を、記憶する。

俯瞰画像作成部１０５は、撮影装置情報と施設情報とに基づき、画像取得部１０１が取得したカメラ画像から俯瞰画像を作成する。
差分計算用画像記憶部１０６は、撮影装置１ａ〜１ｃによりあらかじめ撮影されたカメラ画像を、差分計算用画像として記憶する。なお、差分計算用画像は、定期的に取得されて更新されるものとしてもよい。
被写体検出部１０７は、俯瞰画像作成部１０５が作成した俯瞰画像と、差分計算用画像とに基づき、被写体位置（物体の位置）を検出する。本発明での被写体とは、施設情報として記憶されている物体以外の物体、また、差分計算用画像に写っている物体以外の物体を指す。つまり、被写体とは、撮影装置１ａ〜１ｃが監視する空間内に存在していることを、画像処理装置１００があらかじめ知ることのできないものを指す。例えば、撮影装置１ａ〜１ｃが監視する空間内を一時的に通過する人等が、被写体にあたる。

投影面算出部１０８は、被写体検出部１０７が検出した被写体位置に新たに定義する投影面を、算出する。
被写体画像作成部１０９は、投影面算出部１０８が定義した投影面に、カメラ画像を投影するようにして設定して、被写体画像（物体画像）を作成する。
表示画像作成部１１０は、俯瞰画像作成部１０５が作成した俯瞰画像と、被写体画像作成部１０９が作成した被写体画像とを合成した画像を作成し、出力する。

画像取得部１０１は、撮影装置１ａ〜１ｃからカメラ画像を取得するインタフェース（例えば、ＵＳＢポート等）を備えている。
撮影装置情報記憶部１０２、施設情報記憶部１０３、視点位置記憶部１０４、差分計算用画像記憶部１０６は、例えばハードディスク等の各種の記憶装置で構成される。
俯瞰画像作成部１０５、被写体検出部１０７、投影面算出部１０８、被写体画像作成部１０９、表示画像作成部１１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を実装した半導体集積回路等で構成される。
撮影装置情報記憶部１０２、施設情報記憶部１０３、視点位置記憶部１０４、差分計算用画像記憶部１０６は、画像処理装置１００とは別個の記憶装置として画像処理装置１００の外部に置かれていてもよい。この場合、当該記憶装置と画像処理装置１００とは、電気的に接続されるようにする。

なお、画像処理装置１００がコンピュータで構成される場合は、撮影装置情報記憶部１０２、施設情報記憶部１０３、視点位置記憶部１０４、差分計算用画像記憶部１０６をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、画像取得部１０１、俯瞰画像作成部１０５、被写体検出部１０７、投影面算出部１０８、被写体画像作成部１０９、表示画像作成部１１０の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。

撮影装置１ａ〜１ｃは、カメラから成る。なお、その台数は図示した３台に限らない。
表示装置２は、表示画像作成部１１０が出力した画像を表示する。表示装置２は、例えば液晶ディスプレイである。

次に、画像処理装置１００による処理の一例について、図２に示すフローチャートを用いて説明する。
撮影装置情報記憶部１０２に、撮影装置情報が記憶される（ステップＳＴ１０１）。
続いて、視点位置記憶部１０４に、視点位置が記憶される（ステップＳＴ１０２）。
続いて、施設情報記憶部１０３に、施設情報が記憶される（ステップＳＴ１０３）。
続いて、差分計算用画像記憶部１０６に、差分計算用画像が記憶される（ステップＳＴ１０４）。
ステップＳＴ１０１〜ＳＴ１０４は、撮影装置１ａ〜１ｃのカメラ画像から俯瞰画像を作成する処理を行うにあたって、ユーザ等によりあらかじめ実施される処理である。

続いて、画像取得部１０１が、撮影装置１ａ〜１ｃが撮影したカメラ画像を取得する（ステップＳＴ１０５）。カメラ画像は、画素データ等から構成されている。
続いて、俯瞰画像作成部１０５が、撮影装置情報記憶部１０２に記憶されている撮影装置情報と、施設情報記憶部１０３に記憶されている施設情報とに基づき、画像取得部１０１が取得したカメラ画像から、視点位置記憶部１０４に記憶されている視点位置から見下ろした際の俯瞰画像を作成する（ステップＳＴ１０６）。

ここで、ステップＳＴ１０６における俯瞰画像の作成方法を以下に詳述する。
まず、俯瞰画像作成部１０５は、施設情報を基に、空間内の壁、常時設置されている構造物等をポリゴン化する。これにより、空間内の壁、常時設置されている構造物等は、作成された各ポリゴンの頂点の３次元位置を用いて定義される。
続いて、俯瞰画像作成部１０５は、各ポリゴンの頂点の３次元位置と撮影装置１ａの光学中心を結んだ直線と、撮影装置１ａの撮像素子平面との交点に基づき、各ポリゴンの頂点に対応する画素データの３次元位置Ｄ＝（ｄｉｓｔ_ｘ，ｄｉｓｔ_ｙ，ｄｉｓｔ_ｚ）^Ｔを求める。３次元位置Ｄは、ベクトルである。上付き文字Ｔは、転置を表す。また、撮像素子平面とは、撮像素子を構成する受光素子が２次元的に配置されている平面を指す。そして、画素データの３次元位置とは、当該画素データに対応する受光素子の３次元位置を意味する。

このとき、各ポリゴンの頂点Ｐ＝（Ｐ_ｘ，Ｐ_ｙ，Ｐ_ｚ）^Ｔの３次元位置と撮影装置１ａの光学中心Ｃ＝（Ｃ_ｘ，Ｃ_ｙ，Ｃ_ｚ）^Ｔを結んだ直線上の点Ｑについては、以下の式（１）によって表される。また、撮影装置１ａの撮像素子平面上の点Ｑ’については、以下の式（２）によって表される。
頂点Ｐ、光学中心Ｃ、点Ｑ、点Ｑ’はベクトルであり、式（１）及び式（２）中では太字で示す。

式（２）中のｕは撮像素子平面のｘ軸方向の単位ベクトル、ｖは当該ｘ軸方向に垂直な撮像素子平面のｙ軸方向の単位ベクトルを表している。式（２）中のＩは、撮像素子平面の中心座標を表すベクトルである。単位ベクトルｕ，ｖ、中心座標Ｉは、式（２）中では太字で示している。単位ベクトルｕ，ｖ、中心座標Ｉ及び式（１）中の光学中心Ｃは、撮影装置情報に基づき求められる。または、もともと撮影装置情報に含まれるようにしてもよい。

３次元位置Ｄは、式（１）で表される直線上かつ式（２）で表される平面上に存在するため、Ｑ＝Ｑ’として、式（１）及び式（２）を以下の式（３）にまとめることができる。

式（３）からａ，ｂ，ｔの各値が求まるので、３次元位置Ｄを求めることができる。

求めた３次元位置Ｄを、カメラ画像上での画素位置（ｉｍａｇｅ＿ｘ，ｉｍａｇｅ＿ｙ）に変換するには、以下の式（４）及び式（５）を用いる。
image_x＝a×camera_px_width＋camera_px_width／2 ・・・（４）
image_y＝b×camera_px_height＋camera_px_height／2 ・・・（５）
式（４）中のｃａｍｅｒａ＿ｐｘ＿ｗｉｄｔｈは、撮像素子平面のｘ軸方向に並ぶ受光素子の数（カメラ画像上のｘ軸方向の画素数）を表す。同様に、式（５）中のｃａｍｅｒａ＿ｐｘ＿ｈｅｉｇｈｔは、撮像素子平面のｙ軸方向に並ぶ受光素子の数（カメラ画像上のｙ軸方向の画素数）を表す。

以上のようにして求めた、各ポリゴンの頂点とカメラ画像上での画素位置との対応、つまり、各ポリゴンの頂点と画素データとの対応に基づき、３次元空間上にカメラ画像の画素データをマッピングし、視点位置記憶部１０４に記憶されている視点位置から見下ろした俯瞰画像を作成することができる。撮影装置１ｂ，１ｃが撮影したカメラ画像から俯瞰画像を作成する際の流れも、上記した撮影装置１ａの場合と同じである。
なお上記では、施設情報を基に、空間内の壁、常時設置されている構造物等をポリゴンとして定義する場合について説明したが、空間内の壁、常時設置されている構造物等の面を点群として定義してもよい。この場合も、上記の方法を用いることで、各点とカメラ画像上での画素位置との対応を、求めることができる。
以上、ステップＳＴ１０６の処理について詳述した。

続いて、被写体検出部１０７が、俯瞰画像作成部１０５が作成した撮影装置１ａ〜１ｃのカメラ画像に基づく計３つの俯瞰画像を重ね合わせ、２つ以上の俯瞰画像が重畳している領域（以下、重畳領域と称する）を求める（ステップＳＴ１０７）。重畳領域は、種々ある周知の画像処理技術等を用いて求めることが可能である。
続いて、被写体検出部１０７は、ステップＳＴ１０７で求めた重畳領域において、被写体が存在する位置（被写体位置）を求める（ステップＳＴ１０８）。

被写体位置を求める方法について、図３を用いて説明する。ここでは、撮影装置１ａ，１ｂと被写体３とが、図３（ａ）に示す位置関係にある場合を例に説明する。実際の被写体は人等であるが、説明の便宜上、ここでの被写体３は円柱形状であるとして説明する。
図３（ａ）に示す位置関係のもとで撮影装置１ａ，１ｂが撮影したカメラ画像は、上記したステップＳＴ１０５，ＳＴ１０６の処理によって、それぞれ俯瞰画像に変換される。そして、上記したステップＳＴ１０７の処理によって、俯瞰画像の重畳領域が求められる。

ステップＳＴ１０７に続くステップＳＴ１０８の処理として、被写体検出部１０７は、差分計算用画像記憶部１０６に記憶されている差分計算用画像のうち、撮影装置１ａ，１ｂが撮影した差分計算用画像を用いてそれぞれ俯瞰画像（差分計算用俯瞰画像）を作成する。差分計算用画像から俯瞰画像を作成する方法は、ステップＳＴ１０６の処理と同様である。差分計算用画像は、カメラ画像と同様に、画素データ等から構成されている。なお、ステップＳＴ１０８の処理に移る前に、俯瞰画像作成部１０５が差分計算用画像を用いて俯瞰画像を作成するようにしてもよい。いずれにせよ、差分計算用画像から差分計算用俯瞰画像を作成する被写体検出部１０７又は俯瞰画像作成部１０５が、差分計算用俯瞰画像作成部として機能する。

続いて、被写体検出部１０７は、差分計算用画像を用いて作成した俯瞰画像と、ステップＳＴ１０６の処理によって作成された俯瞰画像との差分を撮影装置ごとに取り、俯瞰画像内で被写体３が存在する領域（以下、被写体領域と称する。被写体領域は、物体領域ということもできる）を求める。図３（ｂ）には、撮影装置１ａに対応する俯瞰画像４ａ内で特定された被写体領域４１ａを示し、図３（ｃ）には、撮影装置１ｂに対応する俯瞰画像４ｂ内で特定された被写体領域４１ｂを示している。図３（ｂ）及び図３（ｃ）中には、ステップＳＴ１０７の処理によって求められた俯瞰画像４ａ，４ｂの重畳領域４２も示している。図３（ｂ）及び図３（ｃ）に示すように、被写体領域４１ａ，４１ｂは、被写体３が地面に倒れ込むようにして伸びた状態のものとなる。

続いて、被写体検出部１０７は、図３（ｄ）に示すように、重畳領域４２において被写体領域４１ａと被写体領域４１ｂとが重畳する部分を求め、被写体位置４３として特定する。被写体位置４３は、被写体３と地面との接触面にほぼ相当する。
以上、ステップＳＴ１０８の処理について詳述した。

続いて、投影面算出部１０８が、被写体検出部１０７が求めた被写体位置において、新たに仮想的な投影面を定義する（ステップＳＴ１０９）。投影面は、視点位置から見える面とする。図４（ａ）に示すように、投影面は、例えば、被写体位置４３を覆う程度の大きさを有した柱形状の投影面５として定義される。

続いて、被写体画像作成部１０９が、投影面算出部１０８が定義した投影面に、カメラ画像を投影する（ステップＳＴ１１０）。投影面算出部１０８が定義した投影面は、施設情報に含まれる空間内の壁、構造物等と同様に、ポリゴン又は点群として定義することができる。従って、ステップＳＴ１０６と同様に、投影面を構成する各点とカメラ画像上での画素位置との対応、つまり、各点と画素データとの対応を求めることができる。
被写体画像作成部１０９は、投影面を構成する各点と画素データとの対応を求めて、その対応関係に基づき、投影面にカメラ画像が投影されるように、投影面の各点に対応する画素データをマッピングしていく。なお、このとき、俯瞰画像内の被写体領域と対応している画素データ以外の画素データについてはマスク処理を施し、投影面へのマッピング処理の対象外とすることで、投影面に被写体以外の画像が含まれるのを防ぐことができる。

投影面には、複数のカメラ画像が投影される。例えば、図３のような重畳領域４２において求めた被写体位置４３に対して、図４（ａ）のように定義された投影面５には、撮影装置１ａ，１ｂのカメラ画像がそれぞれ投影される。
被写体画像作成部１０９は、投影面に投影されたカメラ画像を基に、被写体画像を作成する。被写体画像は、投影面に投影されたカメラ画像を、俯瞰画像を作成する際の視点位置から見たときの画像に変換することで作成される。

続いて、表示画像作成部１１０が、被写体画像作成部１０９が作成した被写体画像と、ステップＳＴ１０６で俯瞰画像作成部１０５が作成した俯瞰画像とを合成した画像を、表示装置２に出力する（ステップＳＴ１１１）。なお、このとき、俯瞰画像作成部１０５が作成した俯瞰画像から被写体領域内の画素データを省略した状態の俯瞰画像を、被写体画像と合成してもよい。このようにすることで、被写体が二重に表示される恐れを軽減できる。

なお、被写体の実際の形状が複雑な場合は、その実際の形状が投影面に反映されていないと、投影したカメラ画像が重複する部分がぶれて表示される恐れがある。こうした事態を避けるためには、図４（ａ）を例にして説明すると、撮影装置１ａ，１ｂの光学中心と投影面５の各点を結ぶベクトルと、俯瞰画像の視点位置と投影面５の各点を結ぶベクトルとを基に、撮影装置１ａ，１ｂのカメラ画像のうち、俯瞰画像の視点位置から見えるカメラ画像のみを被写体画像作成部１０９が投影面５に投影すればよい。あるいは、投影面算出部１０８が、被写体領域の形状等を基に、投影面５の形状を補正するようにしてもよい。
また、１つのカメラ画像のみを投影面に投影するのであれば、投影面算出部１０８は、当該カメラ画像を出力する撮影装置に正対する平面を、投影面として定義してもよい。図４（ｂ）は、撮影装置１ｂのカメラ画像のみを投影する際に定義される、平面状の投影面５１を示している。投影面５１は、地面に投影した際に例えば被写体位置４３を覆うように定義される。

また、上記では、重畳領域において被写体位置を特定する場合について示した。以下では、重畳領域以外の領域、または、撮影装置が撮影装置１ａしか設置されておらず、そもそも重畳領域が存在しない場合における被写体位置の特定方法を示す。ここでは、図５に示すように、撮影装置が撮影装置１ａしか設置されていない場合を例に説明する。

ステップＳＴ１０８の処理の一部に同じく、被写体検出部１０７は、撮影装置１ａが撮影した差分計算用画像を用いて作成した俯瞰画像と、ステップＳＴ１０６の処理によって撮影装置１ａが撮影したカメラ画像から作成された俯瞰画像との差分を取り、俯瞰画像内の被写体領域を求める。図５（ｂ）には、撮影装置１ａに対応する俯瞰画像４ａ内で特定された被写体３の被写体領域４１ａを示している。
そして、被写体検出部１０７は、被写体領域４１ａのうちの、撮影装置１ａの位置から最も近い位置を、被写体位置４４とする。または、被写体領域４１ａを複数に分割したうちの、撮影装置１ａの位置から最も近い部分を被写体位置４４としてもよい。
この被写体位置４４において投影面算出部１０８が定義する投影面は、撮影装置１ａに正対する平面状の投影面となる。

また、上記では、カメラ画像を構成する画素データ単位で処理を行う場合を示したが、カメラ画像に処理が施された場合等、撮影装置の画素数と異なる画素数に加工されたものを用いて上記した各処理を行ってもよい。

以上のように、この実施の形態１に係る画像処理装置１００によれば、被写体位置において新たに定義した投影面にカメラ画像を投影することで作成した被写体画像を、俯瞰画像と合成した画像が得られる。つまり、俯瞰画像の中に、個別に歪みが抑制された被写体画像を作成することができる。

また、上記のようにして被写体を検出する画像処理装置１００では、被写体を検出するために超音波センサ等のセンサ類を用意する必要がなく、構成が簡略化できる。
しかしながら、センサ類を設けることに関して特に制約が無いのであれば、被写体を検出するためのセンサ類を設けて被写体位置の検出に利用してもよく、この場合も、俯瞰画像の中に、個別に歪みが抑制された被写体画像を作成することができるという上記の効果を得ることが可能である。
例えば赤外線カメラを設け、赤外線カメラが撮影したカメラ画像を用いて被写体検出部１０７が被写体位置を検出する。このとき、上記したステップＳＴ１０８等で示した被写体検出部１０７の各処理のうち、差分を取る以外の処理を適宜用いてもよい。
このように、被写体位置の検出の仕方は種々考えられ、説明した以外にも周知の技術を適宜用いて被写体位置を検出してよい。

また、被写体検出部１０７は、カメラ画像から作成した俯瞰画像と、差分計算用画像から作成した俯瞰画像との差分を撮影装置ごとに取り、被写体領域同士の重畳部分を、被写体位置として検出することとした。このようにすることで、俯瞰画像作成部１０５が作成した俯瞰画像の重畳領域において、適切な被写体位置を算出することができる。

また、投影面算出部１０８は、俯瞰画像の視点位置に基づき、投影面を算出することとした。このような投影面を用いることで、被写体を適切に表示している被写体画像を、効率良く作成することができる。

実施の形態２．
実施の形態１では、ステップＳＴ１０５からステップＳＴ１１１までの１サイクルの処理が終わり、次に再びステップＳＴ１０５からステップＳＴ１１１までの１サイクルの処理が行われる際、俯瞰画像を作成する際の視点位置は、同じものが用いられる。つまり、画像処理装置１００で画像処理を行っている最中は、俯瞰画像の視点位置が固定されていた。実施の形態２では、俯瞰画像の視点位置を変更可能とした画像処理装置２００について説明する。

図６に、画像処理装置２００の構成を示す。画像処理装置２００は、画像取得部１０１と、撮影装置情報記憶部１０２と、施設情報記憶部１０３と、視点位置記憶部１０４と、俯瞰画像作成部１０５と、差分計算用画像記憶部１０６と、被写体検出部１０７と、投影面算出部１０８と、被写体画像作成部１０９と、表示画像作成部１１０とに加え、視点位置変更部２１１を備えている。

視点位置変更部２１１は、不図示の入力装置を介してユーザ操作を受け付け、視点位置記憶部１０４に記憶されている視点位置を、ユーザ所望の位置に変更する。このとき、例えば、視点位置変更部２１１が視点位置の候補を複数提示して、その候補の中から、ユーザが１つを選択できるようにする。または、候補を提示するのではなく、ユーザが任意の視点位置を指定できるようにしてもよい。

視点位置変更部２１１は、例えばＣＰＵを実装した半導体集積回路等で構成される。また、画像処理装置２００がコンピュータで構成される場合は、視点位置変更部２１１の処理内容を記述したプログラムが、コンピュータのメモリに格納される。
視点位置変更部２１１以外の構成については、図１と同一又は相当の部分については同一の符号を付し、その説明を省略又は簡略化する。

画像処理装置２００による処理の一例について、図７に示すフローチャートを用いて説明する。
ステップＳＴ１０１〜ＳＴ１０４については、実施の形態１で説明した処理と同様である。
ステップＳＴ１０４に続いて、視点位置変更部２１１が、視点位置記憶部１０４に、ユーザが選択又は指定した視点位置を上書きして記憶させる（ステップＳＴ２１２）。このときに視点位置記憶部１０４に記憶された視点位置を用いて、ステップＳＴ２１２以降の処理が行われる。
ステップＳＴ２１２に続くステップＳＴ１０５〜ＳＴ１１１については、実施の形態１で説明した処理と同様である。

図７に示すように、画像処理装置２００では、ステップＳＴ１０５からステップＳＴ１１１までの１サイクルの処理が終わり、次に再びステップＳＴ１０５からステップＳＴ１１１までの１サイクルの処理へ移る前に、視点位置変更部２１１によって視点位置が変更される。つまり、ステップＳＴ１０５からステップＳＴ１１１までの１サイクルの間の任意のタイミングで入力されたユーザ所望の視点位置が、次のサイクルの処理で用いられる。当然ながら、視点位置を変更するユーザ操作が行われていない場合は、次のサイクルの処理でも同じ視点位置が用いられる。このように、サイクルごとに異なる視点位置からの俯瞰画像を作成することが可能となる。
なお、ステップＳＴ１０１〜ＳＴ１０４を終えて初めてステップＳＴ２１２に移る場合、つまり、初回のサイクルである場合において、それまでに視点位置を変更するユーザ操作が行われていなければ、ステップＳＴ２１２は実質的に飛ばされてステップＳＴ１０５へ移る。

以上のように、実施の形態２に係る画像処理装置２００によれば、視点位置変更部２１１を備えたことで、実施の形態１で示した効果に加え、ユーザ所望の視点位置を随時反映して処理を行うことができるという効果を有する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態においての任意の構成要素の省略が可能である。

以上のように、この発明に係る画像処理装置及び画像処理方法は、俯瞰画像の中に、個別に歪みが抑制された被写体画像を作成することができる。このため、例えば、撮影装置と表示装置とを有して施設の監視を行う監視システムに組み入れて用いるのに適している。

１ａ〜１ｃ 撮影装置、２ 表示装置、３ 被写体（物体）、４ａ，４ｂ 俯瞰画像、５ 投影面、４１ａ，４１ｂ 被写体領域（物体領域）、４２ 重畳領域、４３，４４ 被写体位置（物体の位置）、５１ 投影面、１００ 画像処理装置、１０１ 画像取得部、１０２ 撮影装置情報記憶部、１０３ 施設情報記憶部、１０４ 視点位置記憶部、１０５ 俯瞰画像作成部、１０６ 差分計算用画像記憶部、１０７ 被写体検出部（物体検出部）、１０８ 投影面算出部、１０９ 被写体画像作成部（物体画像作成部）、１１０ 表示画像作成部、２００ 画像処理装置、２１１ 視点位置変更部。

Claims (3)

1. 撮影装置が撮影した撮影画像を取得する画像取得部と、
   前記撮影装置に関しての撮影装置情報と、前記撮影装置が撮影する空間に関しての空間情報とに基づき、前記撮影画像を構成する画素データと前記空間との対応を算出して、前記撮影画像から俯瞰画像を作成する俯瞰画像作成部と、
   対応する前記空間情報を有しない物体の位置を検出する物体検出部と、
   前記物体の位置における投影面を算出する投影面算出部と、
   前記投影面に前記撮影画像を設定して、前記俯瞰画像の視点位置から見たときの前記物体の物体画像を作成する物体画像作成部と、
   前記俯瞰画像に前記物体画像を合成して画像を作成する表示画像作成部と、
   前記撮影装置情報と前記空間情報とに基づき、前記撮影装置が撮影した差分計算用画像を構成する画素データと前記空間との対応を算出して、前記差分計算用画像から差分計算用俯瞰画像を作成する差分計算用俯瞰画像作成部とを備え、
   前記俯瞰画像作成部は、複数の前記撮影装置がそれぞれ撮影した前記撮影画像からそれぞれ前記俯瞰画像を作成し、
   前記差分計算用俯瞰画像作成部は、複数の前記撮影装置がそれぞれ撮影した前記差分計算用画像からそれぞれ前記差分計算用俯瞰画像を作成し、
   前記物体検出部は、同一の前記撮影装置ごとの前記俯瞰画像と前記差分計算用俯瞰画像との差分から物体領域をそれぞれ求め、前記物体領域同士の重畳部分を、前記物体の位置として検出することを特徴とする画像処理装置。
2. 前記投影面算出部は、前記俯瞰画像の視点位置に基づき、前記投影面を算出することを特徴とする請求項１記載の画像処理装置。
3. 画像取得部が、撮影装置が撮影した撮影画像を取得する画像取得ステップと、
   俯瞰画像作成部が、前記撮影装置に関しての撮影装置情報と、前記撮影装置が撮影する空間に関しての空間情報とに基づき、前記撮影画像を構成する画素データと前記空間との対応を算出して、前記撮影画像から俯瞰画像を作成する俯瞰画像作成ステップと、
   物体検出部が、対応する前記空間情報を有しない物体の位置を検出する物体検出ステップと、
   投影面算出部が、前記物体の位置における投影面を算出する投影面算出ステップと、
   物体画像作成部が、前記投影面に前記撮影画像を設定して、前記俯瞰画像の視点位置から見たときの前記物体の物体画像を作成する物体画像作成ステップと、
   表示画像作成部が、前記俯瞰画像に前記物体画像を合成して画像を作成する表示画像作成ステップと、
   差分計算用俯瞰画像作成部が、前記撮影装置情報と前記空間情報とに基づき、前記撮影装置が撮影した差分計算用画像を構成する画素データと前記空間との対応を算出して、前記差分計算用画像から差分計算用俯瞰画像を作成する差分計算用俯瞰画像作成ステップとを備え、
   前記俯瞰画像作成ステップにおいて、前記俯瞰画像作成部は、複数の前記撮影装置がそれぞれ撮影した前記撮影画像からそれぞれ前記俯瞰画像を作成し、
   前記差分計算用俯瞰画像作成ステップにおいて、前記差分計算用俯瞰画像作成部は、複数の前記撮影装置がそれぞれ撮影した前記差分計算用画像からそれぞれ前記差分計算用俯瞰画像を作成し、
   前記物体検出ステップにおいて、前記物体検出部は、同一の前記撮影装置ごとの前記俯瞰画像と前記差分計算用俯瞰画像との差分から物体領域をそれぞれ求め、前記物体領域同士の重畳部分を、前記物体の位置として検出することを特徴とする画像処理方法。

Images