JP6213106B2

JP6213106B2 - 画像処理装置

Info

Publication number: JP6213106B2
Application number: JP2013202616A
Authority: JP
Inventors: 規之望月
Original assignee: サクサ株式会社
Priority date: 2013-09-27
Filing date: 2013-09-27
Publication date: 2017-10-18
Anticipated expiration: 2033-09-27
Also published as: JP2015070437A

Description

本発明は、監視システムに用いて好適な画像処理装置に関し、さらに詳しくは、撮像装置からの画像データから、その設置パラメータ（高さ、画角）を取得する機能を備えた画像処理装置に関する。

近年、道路における交通量の計測、走行車両の特定、走行車両の速度計測、或いは所定の敷地内へ侵入した物体の特定等を目的として、テレビカメラに代表される撮像装置を用いた監視システムが提案されている。

このような監視システムにおいて、物体の特定等の精度を向上させるため、検出した物体の実際の大きさや移動速度を算出し、それらのデータによってフィルタリングすることが知られている（特許文献１）。

ここで、検出した物体の実際の大きさや移動速度を算出するには、監視エリアを撮影する撮像装置の設置パラメータである高さ、俯角、及び画角が必要であり、特許文献１に記載された発明では、距離計により設置高さを計測し、傾斜計により俯角を計測している。

しかしながら、特許文献１に記載された発明では、距離計及び傾斜計が必要であるため、その分、コストが高くなる。また、距離計及び傾斜計を撮像装置の適当な場所に取り付ける作業が必要となるため、手間がかかる。さらに、監視カメラに多用されているＣマウントの光学系ではバリフォーカルレンズを備えたものもあり、画角を求めることは困難である。

特開平８−１３６２５１号公報

本発明は、上記従来の問題に鑑みなされたものであって、その目的は、撮像装置からの画像データを処理することにより、撮像装置の設置高さを計測せずに把握できるようにすることである。

本発明に係る画像処理装置は、所定の高さ、所定の画角、及び所定の俯角で設置された撮像装置からの画像データを処理する画像処理装置であって、撮影した物体の垂直方向の長さ情報と、該物体を撮影して生成した該物体の画像の垂直方向の画素数情報とを、前記撮像装置の画角内の複数の垂直方向位置で取得する第１の情報取得手段と、該第１の情報取得手段で取得された情報に基づいて、前記所定の高さを示す設置高さ情報、及び前記画角内の任意の垂直方向位置に配置されている物体を撮影して生成した該物体の画像の垂直方向の画素数情報と該物体の垂直方向の長さとの対応関係を示す情報を生成する第１の情報生成手段と、撮像した物体の水平方向の長さ情報と、該物体を撮像して生成した該物体の画像の水平方向の画素数情報とを、前記撮像装置の画角内の複数の垂直方向位置で取得する第２の情報取得手段と、該第２の情報取得手段で取得された情報と、前記第１の情報生成手段で生成された設置高さ情報と、前記撮像装置の仕様情報とに基づいて、前記所定の画角を表す画角情報を生成する画角情報生成手段と、を有する画像処理装置である。

本発明によれば、撮像装置からの画像データを処理することにより、撮像装置の設置高さを計測せずに把握することができる。

本発明の実施形態に係る監視システムを示す図である。本発明の実施形態に係る画像処理装置の概略動作を示すフローチャートである。本発明の実施形態に係る監視システムにおいて、画像処理装置が撮像装置の設置パラメータを取得するときにユーザが実行する操作を説明するための図である。本発明の実施形態に係る監視システムにおいて、撮像装置が生成した画像データにより構成される画像の垂直方向の１画素と、監視エリアに配置されている物体の高さとの関係を説明するための図である。高さテーブルの算出例を示す図である。本発明の実施形態に係る監視システムにおいて、撮像装置が生成した画像データにより構成される画像の水平方向の１画素と、監視エリアに配置されている物体の幅との関係を説明するための図である。撮像装置の水平方向の画角を求める方法を説明するための図である。幅テーブルの算出例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。
〈画像処理装置を含む監視システム〉
図１は本発明の実施形態に係る監視システムを示す図である。この監視システムは、ＰＣ（パーソナルコンピュータ）１と、それぞれがＰＣ１に接続されたカメラ２、キーボード３、マウス４、及びモニタ５を備えている。

ここで、ＰＣ１が、本発明の実施形態に係る画像処理装置であり、カメラ２からの画像データを処理することで、カメラ２の設置パラメータである設置高さ情報及び画角情報を取得する。なお、設置パラメータのうち、俯角はほぼ０°である。

カメラ２は、ＰＣ１からの制御により、撮影視野の俯角、方位角、及び画角を変更する機能を有する撮像装置、例えばＰＴＺ（Pan-Tilt-Zoom）カメラであり、監視エリアに設置される。

キーボード３及びマウス４は、ユーザがＰＣ１に種々の指示を与えるための入力装置であり、モニタ３はカメラ２が監視エリアを撮影して生成した画像データに基づく監視エリアの画像などを表示する出力装置である。

ＰＣ１は、ＣＰＵ（Central Processing Unit）１１と、それぞれがＣＰＵ１１に接続された入力部１２、ＲＯＭ（Read Only Memory）１３、ＲＡＭ（Random Access Memory）１４、ストレージ１５、及び出力部１６を備えている。

入力部１２は、カメラ２、キーボード３、及びマウス４と通信を行うためのインタフェースであり、出力部１６はモニタ５と通信を行うためのインタフェースである。

ＣＰＵ１１はＰＣ１全体の動作を制御するプロセッサである。ＲＯＭ１３は、ＣＰＵ１１が実行するプログラムや固定データを記憶するメモリであり、ＲＡＭ１４は、ＣＰＵ１１のワークエリアとなるメモリである。ストレージ１５は、ハードディスクなどの大容量記憶装置からなり、カメラ２で生成され、ＣＰＵ１１で画像処理を受けた画像データ、ＣＰＵ１１が生成したデータ、監視動作に関するアプリケーションプログラムなどが記憶される。

ＣＰＵ１１は、ＲＯＭ１３やストレージ１５に記憶されているプログラムを実行することにより実現される機能ブロックとして、高さテーブル生成部１１ａ、幅テーブル生成部１１ｂ、及び奥行テーブル生成部１１ｃを備えている。

高さテーブル生成部１１ａは高さテーブルを生成する。高さテーブルは、カメラ２の画角内の任意の垂直方向位置の監視エリア内で垂直に配置されている物体の高さ（垂直方向の長さ）と、カメラ２でその物体を撮影して生成した画像データにより構成される上記物体の画像（以下、カメラ２でその物体を撮影して生成した上記物体の画像）の垂直方向の画素数との関係を示すテーブルである。

下記の表１に高さテーブルの一例を示す。

この表において、ｙ座標は、カメラ２からの画像データにより構成される画面の垂直方向の位置である。このｙ座標の基準は画面の上端である。この表より、下端のｙ座標が150、画面上の垂直方向の画素数が17の物体の高さは、「17[pixel]×0.10000[m/pixel]＝1.7m」となる。

後述するように、高さテーブルを表す関数の反比例の式の分子の係数がカメラ２の設置高さを表すので、高さテーブルを生成することで、カメラ２の設置高さ情報も生成されることなる。

幅テーブル生成部１１ｂは幅テーブルを生成する。幅テーブルは、カメラ２の画角内の任意の垂直方向位置の監視エリア内で垂直に配置されている物体の下端の幅（水平方向の長さ）と、カメラ２でその物体を撮影して生成したその物体の画像の下端の水平方向の画素数との関係を示すテーブルである。後述するように、幅テーブルを生成する過程で、カメラ２の画角が求められる。

下記の表２は幅テーブルの一例を示す。

この表より、下端のｙ座標が150、画面上の水平方向の画素数が10の物体の下端の幅は、「10[pixel]×0.10210[m/pixel]＝1.021m」となる。

奥行テーブル生成部１１ｃは奥行テーブルを生成する。奥行テーブルは、カメラ２の設置位置の真下の位置から、カメラ２の画角内の任意の垂直方向位置の監視エリア内で垂直に配置されている物体の下端の位置までの距離、即ち、カメラ２の設置位置の真下の位置を基準とした物体の下端の位置と、カメラ２からの画像データにより構成される画面上での前記物体の画像の下端の垂直方向位置（ｙ座標）との関係を示すテーブルである。後述するように、奥行テーブルは、高さテーブルの生成とともに生成されたカメラ２の設置高さ情報、及び幅テーブルの生成過程で生成されたカメラ２の画角を用いて生成される。

〈画像処理装置の概略動作〉
図２は本発明に係る画像処理装置であるＰＣ１が、高さテーブル、幅テーブル、及び奥行テーブルを生成するときの概略動作を示すフローチャートである。

ステップＳ１〜Ｓ４は、監視エリア内で垂直に配置されている物体、例えば監視エリア内に立っている人や、監視エリア内で垂直に保持されている板の寸法が、カメラ２で撮影された画像データに基づいて構成される画面上でどれくらいの大きさ（垂直方向の画素数、水平方向の画素数）になるのかをＰＣ１に教えるための処理、つまりＰＣ１を第１の情報取得手段及び第２の情報取得手段として機能させるための処理である。

図３はステップＳ１〜Ｓ４において、ユーザが実行する操作を説明するための図である。ここには３つの異なる操作が示されており、どれか１つを実行すればよい。以下、順番に説明する。

図３Ａに示す操作では、予め身長及び肩幅を測定しておいた人３１を監視エリアに立たせ、身長及び肩幅をキーボード３から入力する（ステップＳ１）。入力が終了したら（ステップＳ２：YES）、カメラ２からの画像データに基づいてモニタ５に表示している画面３０上で、マウス４を用いて人３１の外接矩形３２を描く（ステップＳ３）。

この操作を画面３０上の４箇所以上の垂直方向位置で実行する（ステップＳ４）。即ち、監視エリア内で人３１が立つ位置をカメラ２の画角内の４つ以上の異なる垂直方向位置とし、それぞれを撮影した画像データに基づいてモニタ５に表示している画面３０上で、マウス４を用いて人３１の外接矩形３２を描く。なお、４箇所以上の垂直方向位置に対応する水平方向位置は、同じでもよいし、異なっていてもよい。

図３Ｂに示す操作では、一定の長さ（既知）の棒３３を画面３０上で水平になるように、即ちカメラ２の画角内の水平方向に延びるように、監視エリア内に配置し、その上に予め身長を測定しておいた人３４を立たせ、棒３３の長さ及び人の身長をキーボード３から入力する（ステップＳ１）。入力が終了したら（ステップＳ２：YES）、カメラ２からの画像データに基づいてモニタ５に表示している画面３０上で、マウス４を用いて、人３４及び棒３３の外接矩形３５を描く（ステップＳ３）。この操作を画面３０上の４箇所以上の垂直方向位置で実行する（ステップＳ４）。

図３Ｃに示す操作では、平面視矩形の板状の物体、即ち縦及び横の寸法（既知）が一定の板状の物体３６を下端が画面３０と水平になるように監視エリア内の地面に垂直に立て、縦及び横の寸法キーボード３から入力する（ステップＳ１）。入力が終了したら（ステップＳ２：YES）、カメラ２からの画像データに基づいてモニタ５に表示している画面３０上で、マウス４を用いて、物体３６の外接矩形３７を描く（ステップＳ３）。この操作を画面３０上の４箇所以上の垂直方向位置で実行する（ステップＳ４）。

４箇所以上の矩形の入力が終了したら（ステップＳ４：YES）、高さテーブル生成部１１ａが高さテーブルの生成及びカメラ２の設置高さ情報の生成を行い（ステップＳ５）、幅テーブル生成部１１ｂが幅テーブルの生成及びカメラ２の画角情報の生成を行い（ステップＳ６）、奥行テーブル生成部１１ｃが奥行テーブルの生成を行う（ステップＳ７）。高さテーブル、設置高さ情報、幅テーブル、画角情報、及び奥行テーブルはストレージ１５に格納され、この図に示す処理が終了する。

以下、ステップＳ５〜Ｓ７の詳細について順番に説明する。
〈高さテーブル生成処理〉
まずステップＳ５の詳細について説明する。

図４は、カメラ２が生成した画像データにより構成される画像の垂直方向の１画素と、監視エリアに配置されている物体の高さとの関係を説明するための図である。ここで、図４Ａは監視エリアを側面から見た図であり、図４Ｂは図４Ａにおけるカメラ２が撮影した画像データにより構成される画面を示す図である。

図４Ａにおいて、垂直方向（鉛直線方向）の上向きをＹ軸のプラス方向、Ｙ軸と直交し、紙面から上に向かう方向をＸ軸のプラス方向、Ｙ軸及びＸ軸に直交し、カメラ２から遠ざかる方向をＺ軸のプラス方向とする実空間座標を設定した。ここで、カメラ２の視点Ｐ、即ちレンズの中心を３つの軸の原点とした。

また、図４Ｂにおいて、画面の水平方向（横方向）にｘ軸、垂直方向（縦方向）にｙ軸を有する画面座標を設定した。ここで、画面の左上端を座標の原点とし、右方、下方をそれぞれｘ軸、ｙ軸のプラス方向とした。

カメラ２は監視エリアの下面（地面、床など）４０からＨの高さに俯角０°で設置されている。ここで、高さＨはカメラ２の視点Ｐの高さである。また、俯角はカメラ２の光軸４１のＺ軸に対する角度である。

図４Ａに示すように、監視エリアの下面４０に垂直に配置されている板状の物体４４はその高さがΔｈである。また、図４Ｂに示すように、カメラ２が監視エリアを撮影して生成した画像データにより構成される画面３０（この画面はモニタ５に表示される）上では物体４４の画像（以下、物体画像）５１の高さが１画素となる。

図４Ａにおいて、直線４２はカメラ２の視点Ｐと物体４４の上端Ｊとを通るカメラ２の視線であり、直線４３はカメラ２の視点Ｐと物体４４の下端Ｆとを通るカメラ２の視線である。直線４３が光軸４１となす角度をθ_１、直線４２が光軸４１となす角度をθ_２とする。また、カメラ２の視点Ｐの真下の下面４０の点Ｅ（Ｘ＝０，Ｙ＝−Ｈ，Ｚ＝０）から物体４４の下端Ｆの中央までの距離をｄ_１、即ち物体４４の下端Ｆの中央の座標を（Ｘ＝０，Ｙ＝−Ｈ，Ｚ＝ｄ_１）とする。また、直線４２と底面４０との接点をＧとし、点Ｅから点Ｇまでの距離をｄ_２、即ちＧの座標を（Ｘ＝０，Ｙ＝−Ｈ，Ｚ＝ｄ_２）とする。

この場合、下記の式［１］〜［４］が成り立つ。
Ｈ／ｄ_１＝tanθ_１ …式［１］
Ｈ／ｄ_２＝tanθ_２ …式［２］
Δｈ＝（ｄ_２−ｄ_１）tanθ_２ …式［３］
Δｈ＝ｄ_１（tanθ_１−tanθ_２） …式［４］

式［２］と式［４］より、下記の式［５］が得られる。
Δｈ＝（Ｈ／tanθ_１）（tanθ_１−tanθ_２） …式［５］

ところで画像の垂直方向の中心からの画素数Δｙの位置に対応する角度をθとすると、tanθは、カメラ２の画角と画像サイズを使って書き直すことができる。即ち、カメラ２の垂直方向の画角をΘ、焦点距離をｆとすると、画像がＱＶＧＡの場合、垂直方向の画素数は２４０であるから、下記の式［６］が成り立つ。
tan(Θ／２)＝(２４０／２)／ｆ＝１２０／ｆ …式［６］

従って、tanθは、下記の式［７］で表される。
tanθ＝Δｙ／ｆ＝（Δｙ／１２０）tan(Θ／２) …式［７］

また、図４における角度θ＝θ_１、θ＝θ_２に対応する画素のｙ座標をそれぞれｙ_１、ｙ_２（＝ｙ_１−１）とし、式［７］を用いて式［５］を書き直すと、以下の式［８］が得られる。

この式［８］は、ｙ＝ｙ_１における高さテーブルの値を意味する。また、式［８］より、Δｈはｙ_１に反比例することがわかる。そこで、図２のステップＳ３で入力したデータに基づいて、最小自乗法により、下記の式［９］に示す反比例の一般式の係数ａ、ｂを求めることで、高さテーブルの近似式を算出する。
Δｈ（ｙ）＝ａ／（ｙ−ｂ） …式［９］

即ち、例えば図３Ａの外接矩形３２の下端のｙ座標と、人３１の身長を外接矩形３２の画素数で割った値を１組の（ｙ，Δｈ）とし、４組以上の（ｙ，Δｈ）を用い、最小自乗法により係数ａ、ｂを求める。

下記の表３は図２のステップＳ３で入力したデータを示し、表４、表５は最小自乗法により係数ａ、ｂを求めるためのデータを示す。ここで、表４は、ｙ座標、Δｈ、Δｗの値を文字で示しており、表５は、ｙ座標、Δｈの数値例を示している。

式［８］と式［９］より、係数ａがカメラ２の設置高さＨとなる。つまり、高さテーブルを生成することで、カメラ２の設置パラメータの１つである設置高さＨを示す情報を取得できたことになる。つまり、高さテーブル生成部１１ａは第１の情報生成手段として機能する。

なお、係数ｂは式［１４］により表される双曲線におけるｙ軸に平行な漸近線のｙ座標であり、撮影画像の消失線（水平線の画像）に対応する。本実施形態では俯角が０なので、ｂ＝１２０となる。図５に高さテーブルの算出例を示す。

〈幅テーブル生成処理、奥行テーブル生成処理〉
ここまで説明した手順により、高さテーブル及びカメラ２の設置高さ情報を取得することができた。しかし、幅テーブル、奥行テーブル、及びカメラ２の画角情報（垂直方向の画角Θを示す情報、及び水平方向の画角Φを示す情報）は取得できていない。次にこれらの情報を取得する手順であるステップＳ６、Ｓ７の詳細について説明する。

まず奥行テーブルについて説明する。図４における下面４０上の点ＥからのＺ軸方向の任意の位置までの距離ｄは、式［１］、式［２］、式［７］より、下記の式［１０］で表される。

この式は奥行テーブルを表す。ただし、垂直方向の画角（以下、垂直画角）Θが未知であるため、現段階では奥行テーブルを生成することはできない。幅テーブルの作成過程で算出した垂直画角情報を用いることで、奥行テーブルの生成が可能となる。

図６は、カメラ２が生成した画像データにより構成される画像の水平方向の１画素と、監視エリア内で下面４０に垂直に配置されている物体の下端の幅との関係を説明するための図である。この図において、図４と同一の部分には図４と同じ参照符号が付されている。また、この図における実空間座標は図４と同じである。この図は、監視エリアをカメラ２の視点Ｐの前方上方から見た斜視図である。

この図において、点Ｍ_１、Ｍ_２は、監視エリアの下面４０上でＸ軸に平行な直線（仮想直線）５１の両端を表す。また、点Ｍ_３は、カメラ２の正面方向、即ち、水平方向の画角の中心と、直線５１との交点である。また、点Ｍ_４は、直線５１上で点Ｍ_３から距離ｗだけ視点Ｐ側から見て右方に離れた位置である。

ここで、視点Ｐから点Ｍ_３までの距離をＬ、点Ｅから点Ｍ_３までの距離をｄとすると、下記の式［１１］が成り立つ。
Ｌ＝√（Ｈ^２＋ｄ^２） …式［１１］

また、カメラ２の正面方向（視点Ｐから点Ｍ_３に向かう視線）と、視点Ｐから点Ｍ_４に向かう視線とのなす角度をψとすると、下記の式［１２］が成り立つ。
ｗ＝Ｌtanψ …式［１２］

カメラ２の撮影画像がＱＶＧＡの場合、水平方向の画素数は３２０である。この場合、焦点距離をｆ、水平方向の画角（以下、水平画角）をΦとすると、式［７］と同様な式［１３］が成り立つ。そして、式［１３］を式［１２］に代入することで、式［１４］が得られる。
tanψ＝（Δｘ／１６０）tan(Φ／２) …式［１３］
ｗ＝Ｌ（Δｘ／１６０）tan(Φ／２) …式［１４］

また、図５において、直線５１上で点Ｍ_３からそれぞれ距離ｗ_１、ｗ_２だけ視点Ｐ側から見て右方に離れた位置における角度ψをψ_１、ψ_２とし、それぞれの位置に対応するｚｙ画面座標における画素のｘ座標をそれぞれｘ_１、ｘ_２（＝ｘ_１−１）として、式［１４］を用いてΔｗ（＝ｗ_１−ｗ_２）を計算すると、下記の式［１５］が得られる。

式［１０］、式［１１］を用いて式［１５］におけるＬとｄを消去すると、下記の式［１６］が得られる。

この式はｙにおける幅テーブルの値を表している。しかし、式を構成する垂直画角Θ、水平画角Φが未知であるため、現段階では幅テーブルを生成することはできない。そこで、下記の式［１７］の値を０とするΦとΘを求める。

ここで、カメラ２の仕様がＱＶＧＡであれば、水平画角Φ：垂直画角Θは４：３であることがわかっているので、その仕様の情報を利用する。また、式［１７］より、ｆ（Φ，Θ）の値はΦに対して単調増加することがわかるので、ステップＳ３で入力された（ｙ，Δｗ）の組の値を代入したときに、ｆ（Φ，Θ）＝０を満たすΦの値を求めることは容易である。図７は、水平画角Φを求める方法を説明するための図である。

ここで、入力された（ｙ，Δｗ）は４組あるので、同じ操作を４回行い、それぞれで求められたΦの平均値を利用してもよい。理想的には、全ての操作で同じ結果になるためである。

これで、Ｈ、Φ、Θが求められたので、ｙにおける幅テーブル、及び奥行テーブルを作成することができる。このとき、幅テーブル生成部１１ｂは画角情報生成手段及び第２の情報生成手段として機能し、奥行テーブル生成部１１ｃは第３の情報生成手段として機能する。図８に幅テーブルの算出例を示す。

以上、詳細に説明したように、本発明の実施形態の画像処理装置によれば、カメラからの画像データを処理することにより、下記（１）〜（５）の効果が得られる。
（１）俯角ほぼ０°で設置したカメラの設置高さを、距離計などの測定装置を用いずに算出することができる。
（２）バリフォーカルレンズを備えたカメラの画角を算出することができる。
（３）物体の高さと、その物体をカメラで撮影して生成したその物体の画像の垂直方向の画素数との関係を示すテーブルである高さテーブルを生成することができる。
（４）物体の幅と、その物体をカメラで撮影して生成したその物体の画像の水平方向の画素数との関係を示すテーブルである幅テーブルを生成することができる。
（５）カメラの設置位置を基準にした物体の位置と、その物体をカメラで撮影して生成したその物体の画像の画面座標上の垂直方向位置との関係を示すテーブルである奥行テーブルを生成することができる。

１…ＰＣ、２…カメラ、３…キーボード、４…マウス、５…モニタ、１１…ＣＰＵ、１２…入力部、１１ａ…高さテーブル生成部、１１ｂ…幅テーブル生成部、１１ｃ…奥行テーブル生成部。

Claims

所定の高さ、所定の画角、及び所定の俯角で設置された撮像装置からの画像データを処理する画像処理装置であって、
撮影した物体の垂直方向の長さ情報と、該物体を撮影して生成した該物体の画像の垂直方向の画素数情報とを、前記撮像装置の画角内の複数の垂直方向位置で取得する第１の情報取得手段と、
該第１の情報取得手段で取得された情報に基づいて、前記所定の高さを示す設置高さ情報、及び前記画角内の任意の垂直方向位置に配置されている物体を撮影して生成した該物体の画像の垂直方向の画素数情報と該物体の垂直方向の長さとの対応関係を示す情報を生成する第１の情報生成手段と、
撮像した物体の水平方向の長さ情報と、該物体を撮像して生成した該物体の画像の水平方向の画素数情報とを、前記撮像装置の画角内の複数の垂直方向位置で取得する第２の情報取得手段と、
該第２の情報取得手段で取得された情報と、前記第１の情報生成手段で生成された設置高さ情報と、前記撮像装置の仕様情報とに基づいて、前記所定の画角を表す画角情報を生成する画角情報生成手段と、
を有する画像処理装置。
請求項１に記載された画像処理装置において、
前記画角情報生成手段で生成された画角情報と、前記第１の情報生成手段で生成された設置高さ情報とに基づいて、前記画角内の任意の垂直方向位置に配置されている物体を撮像して生成した該物体の画像の水平方向の画素数情報と、該物体の水平方向の長さとの対応関係を示す情報を生成する第２の情報生成手段を有する画像処理装置。
請求項１に記載された画像処理装置において、
前記画角情報生成手段で生成された画角情報と、前記第１の情報生成手段で生成された設置高さ情報とに基づいて、前記画角内の任意の垂直方向位置に配置されている物体の位置と、該物体をカメラで撮影して生成した画像の垂直方向位置との関係を示す情報を生成する第３の情報生成手段を有する画像処理装置。