JP4972036B2 - 画像処理装置 - Google Patents

Description

この発明は、画像処理装置に関し、特に、共通視野を部分的に有する複数のカメラからそれぞれ出力された複数の被写界像に基づいて共通視野画像を含む合成被写界像を作成する、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、左前方の共通視野を部分的に捉える２個のカメラが、車両の前部および左側に設置される。これらのカメラからの出力画像は鳥瞰図画像に変換された後に互いに合成され、これによって共通視野画像を含む合成鳥瞰図画像が作成される。

共通視野画像の作成にあたっては、まず２つのカメラ画像の差分を表す差分画像が共通視野に注目して生成される。共通視野に立体物が存在する場合、立体物の位置や形状が差分画像から特定され、これによって２つのカメラのいずれが立体物をより上手く捉えているかが判明する。共通視野画像は、立体物をより上手く捉えるカメラ画像に基づいて作成される。
特開２００８−４８３４５号公報

しかし、背景技術では、共通視野画像の作成に用いるカメラを選択するにあたって、立体物の動き（カメラとの相対的な動きを含む）が考慮されることはない。このため、共通視野画像に現れる立体物の姿勢が立体物の動きに応じて変動するおそれがある。

それゆえに、この発明の主たる目的は、動的立体物の再現性を向上させることができる、画像処理装置を提供することである。

この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、共通視野を各々が部分的に有するＫ個（Ｋ：２以上の整数）のカメラを指定する指定手段(S13)、指定手段によって指定されたＫ個のカメラからそれぞれ出力されたＫ個の被写界像をＫ個のカメラの各々に割り当てられた重みを参照して合成する合成手段(S7)、動的立体物が共通視野に存在する否かを指定手段の指定処理に関連して判別する判別手段(S17, S27)、判別手段の判別結果が否定的であるときＫ個のカメラの重みを既定要領で制御する第１制御手段(S25, S41, S63, S67)、判別手段の判別結果が肯定的であるとき動的立体物までの距離の縮小量をＫ個のカメラの各々について算出する算出手段(S29~S35)、および算出手段によって算出された縮小量に基づいてＫ個のカメラの重みを制御する第２制御手段(S37~S41, S61, S65, S67)を備える。

指定手段は、共通視野を各々が部分的に有するＫ個（Ｋ：２以上の整数）のカメラを指定する。指定手段によって指定されたＫ個のカメラからそれぞれ出力されたＫ個の被写界像は、Ｋ個のカメラの各々に割り当てられた重みを参照して、合成手段によって合成される。判別手段は、動的立体物が共通視野に存在する否かを、指定手段の指定処理に関連して判別する。第１制御手段は、判別手段の判別結果が否定的であるとき、Ｋ個のカメラの重みを既定要領で制御する。算出手段は、判別手段の判別結果が肯定的であるとき、動的立体物までの距離の縮小量をＫ個のカメラの各々について算出する。第２制御手段は、算出手段によって算出された縮小量に基づいてＫ個のカメラの重みを制御する。

したがって、動的立体物が共通視野に存在するときは、動的立体物までの距離の縮小量がカメラ毎に算出され、算出された縮小量に基づいてカメラの重みが制御される。Ｋ個の被写界像は、こうして制御された重みを参照して合成される。これによって、動的立体物の再現性が向上する。

好ましくは、判別手段は立体物が共通視野に存在するか否かを判別する第１判別手段(S17)を含み、第１制御手段は第１判別手段の判別結果が否定的であるときＫ個のカメラの重みを既定値に設定する既定値設定手段(S25, S63)を含む。また、判別手段は立体物からＫ個のカメラの各々までの距離が変化したか否かを判別する第２判別手段(S27)を含み、第１制御手段は第２判別手段の判別結果が否定的であるときＫ個のカメラのうち既定カメラの重みを増大させる第１重み増大手段(S41, S67)を含む。

好ましくは、第２制御手段は、基準を上回る縮小量に対応する特定カメラの重みを増大させる第２重み増大手段(S37~41, S65, S67)を含む。基準は、好ましくは特定カメラと異なるカメラについて算出された縮小量に相当する。別の好ましい形態では、第２制御手段は、より大きな縮小量に対応する特定カメラの重みを増大させる第２重み増大手段(S37~41, S65, S67)を含む。

さらに好ましくは、重みは共通視野に設定される境界線の位置をパラメータとして含み、合成手段は境界線よりも外方の部分画像をＫ個の被写界像の各々から削除する削除手段(S53)を含み、第２重み増大手段は特定カメラからの被写界像に現れた動的立体物画像が残るように境界線の位置を定義する定義手段(S39, S41)を含む。

別の好ましい形態では、重みは立体物画像に対する重み付け量をパラメータとして含み、合成手段は、Ｋ個の被写界像からＫ個の立体物画像をそれぞれ抽出する抽出手段(S75)、および抽出手段によって抽出されたＫ個の立体物画像を重み付け量を参照して互いに加算する加算手段(S77)を含み、第２重み増大手段は特定カメラについて重み付け量を増大させる重み付け量増大手段(S65, S67)を含む。このとき、合成手段は、加算手段によって生成された立体物画像を用いて共通視野画像を作成する共通視野画像作成手段(S81)をさらに含んでもよい。

好ましくは、Ｋ個のカメラは固定された相対距離を有し、動的立体物はＫ個の固定カメラからの距離が相対的に変化する立体物に相当する。また、指定手段はＬ個（Ｌ：Ｋを上回る整数）のカメラの中からＫ個のカメラを指定し、指定手段の指定態様を繰り返し変更する変更手段(S45)をさらに備える。

この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(12p)に、共通視野を各々が部分的に有するＫ個（Ｋ：２以上の整数）のカメラを指定する指定ステップ(S13)、指定ステップによって指定されたＫ個のカメラからそれぞれ出力されたＫ個の被写界像をＫ個のカメラの各々に割り当てられた重みを参照して合成する合成ステップ(S7)、動的立体物が共通視野に存在する否かを指定ステップの指定処理に関連して判別する判別ステップ(S17, S27)、判別ステップの判別結果が否定的であるときＫ個のカメラの重みを既定要領で制御する第１制御ステップ(S25, S41, S63, S67)、判別ステップの判別結果が肯定的であるとき動的立体物までの距離の縮小量をＫ個のカメラの各々について算出する算出ステップ(S29~S35)、および算出ステップによって算出された縮小量に基づいてＫ個のカメラの重みを制御する第２制御ステップ(S37~S41, S61, S65, S67)を実行させるための、画像処理プログラムである。

この発明に従う画像処理方法は、画像処理装置(10)のプロセッサ(12p)によって実行される画像処理方法であって、共通視野を各々が部分的に有するＫ個（Ｋ：２以上の整数）のカメラを指定する指定ステップ(S13)、指定ステップによって指定されたＫ個のカメラからそれぞれ出力されたＫ個の被写界像をＫ個のカメラの各々に割り当てられた重みを参照して合成する合成ステップ(S7)、動的立体物が共通視野に存在する否かを指定ステップの指定処理に関連して判別する判別ステップ(S17, S27)、判別ステップの判別結果が否定的であるときＫ個のカメラの重みを既定要領で制御する第１制御ステップ(S25, S41, S63, S67)、判別ステップの判別結果が肯定的であるとき動的立体物までの距離の縮小量をＫ個のカメラの各々について算出する算出ステップ(S29~S35)、および算出ステップによって算出された縮小量に基づいてＫ個のカメラの重みを制御する第２制御ステップ(S37~S41, S61, S65, S67)を備える。

この発明によれば、動的立体物が共通視野に存在するときは、動的立体物までの距離の縮小量がカメラ毎に算出され、算出された縮小量に基づいてカメラの重みが制御される。Ｋ個の被写界像は、こうして制御された重みを参照して合成される。これによって、動的立体物の再現性が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１に示すこの実施例の視界支援装置１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１〜Ｃ＿４はそれぞれ、共通のタイミング信号に同期して被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２によって取り込まれる。

図２を参照して、カメラＣ＿１は、カメラＣ＿１の光軸が車両１００の前方斜め下向きに延びる姿勢で、車両１００の前部中央に設置される。カメラＣ＿２は、カメラＣ＿２の光軸が車両１００の右方斜め下向きに延びる姿勢で、車両１００の右側中央に設置される。カメラＣ＿３は、カメラＣ＿３の光軸が車両１００の後方斜め下向きに延びる姿勢で、車両１００の後部上方に設置される。カメラＣ＿４は、カメラＣ＿４の光軸が車両１００の左方斜め下向きに延びる姿勢で、車両１００の左側中央に設置される。

カメラＣ＿１は車両１００の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は車両１００の右方向を捉える視野ＶＷ＿２を有し、カメラＣ＿３は車両１００の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は車両１００の左方向を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。

図１に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、カメラＣ＿１から出力された被写界像Ｐ＿１に基づいて図３（Ａ）に示す鳥瞰図画像ＢＥＶ＿１を生成し、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて図３（Ｂ）に示す鳥瞰図画像ＢＥＶ＿２を生成する。ＣＰＵ１２ｐはまた、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて図３（Ｃ）に示す鳥瞰図画像ＢＥＶ＿３を生成し、カメラＣ＿４から出力された被写界像Ｐ＿４に基づいて図３（Ｄ）に示す鳥瞰図画像ＢＥＶ＿４を生成する。

鳥瞰図画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰図画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰図画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰図画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。

図３（Ａ）〜図３（Ｄ）によれば、鳥瞰図画像ＢＥＶ＿１は鳥瞰図座標系Ｘ１・Ｙ１を有し、鳥瞰図画像ＢＥＶ＿２は鳥瞰図座標系Ｘ２・Ｙ２を有し、鳥瞰図画像ＢＥＶ＿３は鳥瞰図座標系Ｘ３・Ｙ３を有し、そして鳥瞰図画像ＢＥＶ＿４は鳥瞰図座標系Ｘ４・Ｙ４を有する。このような鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４は、メモリ１２ｍのワークエリアＷ１に保持される。

ＣＰＵ１２ｐは続いて、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４の重み（換言すれば、カメラＣ＿１〜Ｃ＿４に割り当てられた重み）を制御する。より詳しくは、ＣＰＵ１２ｐは、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４に属する共通視野ＶＷ＿１２〜ＶＷ＿４１の画像の重みを制御する。重みの大きさは、共通視野ＶＷ＿１〜ＶＷ＿４に障害物（立体物）が存在するか否かによって相違し、障害物が存在するときにはこの障害物に動きがあるか否かによっても相違する。重みが決定されると、ＣＰＵ１４ｐは、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４に重みに応じた加工を施し、加工された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ４を座標変換によって互いに結合する。鳥瞰図画像ＢＥＶ＿２〜ＢＥＶ＿４は鳥瞰図画像ＢＥＶ＿１を基準として回転および／または移動し、この結果、図４に示す全周鳥瞰図画像がメモリ１２ｍのワークエリアＷ２内に得られる。

図４において、重複エリアＯＬ＿１２が共通視野ＶＷ＿１２を再現するエリアに相当し、重複エリアＯＬ＿２３が共通視野ＶＷ＿２３を再現するエリアに相当する。また、重複エリアＯＬ＿３４が共通視野ＶＷ＿３４を再現するエリアに相当し、そして重複エリアＯＬ＿４１が共通視野ＶＷ＿４１を再現するエリアに相当する。

運転席に設置された表示装置１６は、重複エリアＯＬ＿１２〜ＯＬ＿４１が四隅に位置する一部の画像Ｄ１をワークエリアＷ２上の全周鳥瞰図画像から抽出し、車両１００の上部を模した車両画像Ｄ２を抽出された画像Ｄ１の中央に貼り付ける。この結果、図５に示す運転支援画像がモニタ画面に表示される。

次に、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４の作成要領について説明する。ただし、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰図画像ＢＥＶ３の作成要領を説明する。

図６を参照して、カメラＣ＿３は車両１００の後部に後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図５に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。

図７は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。

カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。

世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏｗとして、地面と垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。

カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。

カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。

ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。

また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元地面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。

また、図３（Ｃ）に示す鳥瞰図画像ＢＥＶ＿３の座標系である鳥瞰図座標系Ｘ３・Ｙ３が定義される。鳥瞰図座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰図座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰図画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰図座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。

地面を表す二次元座標系Ｘｗ・Ｚｗから鳥瞰図座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰図座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。

さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰図座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。

撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰図画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰図画像ＢＥＶ＿３に変換される。

続いて、図８に示すように車両１００の左後方の共通視野ＶＷ＿３４に障害物（立体物）２００が存在する場合を想定して、共通視野ＶＷ＿１２〜ＶＷ＿４１を表す画像の重みを制御する動作、ならびに決定された重みを参照して全周鳥瞰図画像を作成する動作を説明する。

障害物２００は、カメラＣ＿３およびＣ＿４によって捉えられる。また、障害物２００を捉える視点はカメラＣ＿３およびＣ＿４の間で相違する。したがって、カメラＣ＿３の出力に基づく鳥瞰図画像ＢＥＶ＿３およびカメラＣ＿４の出力に基づく鳥瞰図画像ＢＥＶ＿４を均一の重みで合成すると、図９に示すように、障害物画像が運転支援画像上に二重に表示されてしまう。

また、共通視野ＶＷ＿３４を表す画像の一部を鳥瞰図画像ＢＥＶ＿３から削除する一方、共通視野ＶＷ＿３４を表す画像の他の一部を鳥瞰図画像ＢＥＶ＿３から削除し、削除後に残った鳥瞰図画像ＢＥＶ＿３およびＢＥＶ＿４を合成するようにすれば、障害物画像の二重表示の問題を解消できる可能性があるが、逆に障害物画像が運転支援画像上から消失してしまうおそれもある。

さらに、共通視野ＶＷ＿３４を表す画像を鳥瞰図画像ＢＥＶ＿３およびＢＥＶ＿４の一方から全て削除し、共通視野ＶＷ＿３４を表す画像を鳥瞰図画像ＢＥＶ＿３およびＢＥＶ＿４の他方に全て残すようにすれば、障害物画像の二重表示および消失の両方の問題を解消できるが、障害物画像の再現性が低下するおそれがある。たとえば、共通視野ＶＷ＿３４を表す画像を鳥瞰図画像ＢＥＶ＿３に残すようにした場合において、障害物２００がカメラＣ＿３よりもカメラＣ＿４に近い位置に存在したり、障害物２００がカメラＣ＿４に向かって移動したりすると、障害物画像の品質が低下してしまう。

そこで、この実施例では、障害物が存在するか否かを共通視野ＶＷ＿１〜ＶＷ＿４の各々について判別し、障害物が存在するときにはこの障害物に動きがあるか否かをも判別し、共通視野ＶＷ＿１２〜ＶＷ＿４１を表す画像の重み（つまりカメラＣ＿１〜Ｃ＿４に割り当てられる重み）をこれらの判別結果に応じて異なる要領で決定するようにしている。また、この実施例では、共通視野ＶＷ＿１２〜ＶＷ＿４１の各々に図１０〜図１２に示す要領で設定される境界線ＢＬの位置が、上述の重みを定義するパラメータとされる。

共通視野ＶＷ＿１２，ＶＷ＿２３およびＶＷ＿４１には障害物は存在しないため、共通視野ＶＷ＿１２を表す画像には図１０の左欄に示す要領で境界線ＢＬが設定され、共通視野ＶＷ＿２３またはＶＷ＿４１を表す画像には図１０の右欄に示す要領で境界線ＢＬが設定される。また、障害物２００が存在する共通視野ＶＷ＿３４については、障害物２００の動きを考慮して、図１１または図１２に示す要領で境界線ＢＬが設定される。

図１１および図１２を参照して、カメラＣ＿３およびＣ＿４はそれぞれ、主カメラおよび副カメラと定義される。また、主カメラによって捉えられた障害物２００の画像は“障害物画像ＯＢＪｍａｉｎ”と定義され、副カメラによって捉えられた障害物２００の画像は“障害物画ＯＢＪｓｕｂ”と定義される（図１１，図１２の左上段参照）。

まず、障害物画像ＯＢＪｍａｉｎおよびＯＢＪｓｕｂの各々のフレーム間差分が検出され、障害物２００の動きを示す動きベクトルＶＣがフレーム間差分に基づいて算出される（図１１，図１２の右上段参照）。さらに、主カメラに向かうベクトル成分ＶＣｍａｉｎおよび副カメラに向かうベクトル成分ＶＣｓｕｂが、動きベクトルＶＣから抽出される（図１１，図１２の左下段参照）。

続いて、主カメラから障害物２００までの距離の縮小の程度を表す縮小量ΔＤｍａｉｎが、ベクトル成分ＶＣｍａｉｎに基づいて算出される。また、副カメラから障害物までの距離の縮小の程度を表す縮小量ΔＤｓｕｂが、ベクトル成分ＶＣｓｕｂに基づいて算出される。縮小量ΔＤｍａｉｎは主カメラから障害物までの距離に対するパーセンテージで表され、縮小量ΔＤｓｕｂも副カメラから障害物までの距離に対するパーセンテージで表される。算出された縮小量ΔＤｍａｉｎおよびΔＤｓｕｂは互いに比較され、比較結果に応じて異なる態様で境界線ＢＬが設定される（図１１，図１２の右下段参照）。

障害物２００が図１１の右上段に示す要領で移動した場合、縮小量ΔＤｍａｉｎは縮小量ΔＤｓｕｂを上回る。境界線ＢＬは、図１１の右下段に示すように、障害物画像ＯＢＪｍａｉｎよりも副カメラ側に設定される。これに対して、障害物２００が図１２に示す要領で移動した場合、縮小量ΔＤｍａｉｎは縮小量ΔＤｓｕｂを下回る。境界線ＢＬは、図１２の右下段に示すように、障害物画像ＯＢＪｓｕｂよりも主カメラ側に設定される。つまり、境界線ＢＬは、より大きな縮小量に対応するカメラ或いは基準を上回る縮小量を有するカメラによって捉えられた障害物画像が残るように設定される。ここで、“基準”は他方の縮小量に相当する。

なお、縮小量ΔＤｍａｉｎが縮小量ΔＤｓｕｂに等しい場合や、障害物２００に動きがない場合、境界線ＢＬは、障害物画像ＯＢＪｓｕｂよりも主カメラ側に設定される。

こうして境界線ＢＬの設定が完了すると、全周鳥瞰図画像を作成するべく、境界線ＢＬよりも外方の画像が鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４の各々から削除される。鳥瞰図画像ＢＥＶ＿３は、図１１に示すような障害物２００の動きに対応して図１３の上段に示す要領で削除され、図１２に示すような障害物２００の動きに対応して図１４の上段に示す要領で削除される。

こうして加工された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４は図１３または図１４の左下段に示す要領で互いに結合され、これによって全周鳥瞰図画像が完成する。表示装置１６のモニタ画面には、図１３または図１４の右下段に示すような運転支援画像が表示される。

ＣＰＵ１４ｐは、具体的には図１５〜図１８に示すフロー図に従う処理を実行する。なお、これらのフロー図に対応する制御プログラムは、フラッシュメモリ１４（図１参照）に記憶される。

図１５に示すステップＳ１では、カメラＣ＿１〜Ｃ＿４から被写界像Ｐ＿１〜Ｐ＿４を取り込む。ステップＳ３では、取り込まれた被写界像Ｐ＿１〜Ｐ＿４に基づいて鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を作成する。作成された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４は、ワークエリアＷ１に確保される。ステップＳ５では、重み制御処理を実行する。この結果、境界線ＢＬが図１０〜図１２に示す要領で設定される。ステップＳ７では、ステップＳ３に作成された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４をステップＳ５で設定された境界線ＢＬを参照して合成し、全周鳥瞰図画像を作成する。作成された全周鳥瞰図画像は、ワークエリアＷ２に確保される。表示装置１６のモニタ画面には、ワークエリアＷ２に確保された全周鳥瞰図画像に基づく運転支援画像が表示される。ステップＳ７の処理が完了すると、ステップＳ１に戻る。

ステップＳ５に示す重み制御処理は、図１６〜図１７に示すサブルーチンに従う。まずステップＳ１１で変数ＭおよびＮをそれぞれ“１”および“２”に設定する。ここで、変数Ｍは“１”→“２”→“３”→“４”の順で更新される変数であり、変数Ｎは“２”→“３”→“４”→“１”の順で更新される変数である。

ステップＳ１３では、カメラＣ＿Ｍを主カメラとして指定し、カメラＣ＿Ｎを副カメラとして指定する。ステップＳ１５では、主カメラの出力に基づく鳥瞰図画像ＢＥＶ＿Ｍと副カメラの出力に基づく全周鳥瞰図画像ＢＥＶ＿Ｎとに基づいて、共通視野ＶＷ＿ＭＮにおける差分画像を作成する。ステップＳ１７では、共通視野ＶＷ＿ＭＮに障害物が存在するか否かを、ステップＳ１５で作成された差分画像に基づいて判別する。

作成された差分画像の大きさが無視できる程度のものであれば、共通視野ＶＷ＿ＭＮに障害物は存在しないとみなし、ステップＳ２５で共通視野ＶＷ＿ＭＮの対角線上に境界線ＢＬを設定してからステップＳ４３に進む。一方、作成された差分画像が無視できない大きさを有していれば、共通視野ＶＷ＿ＭＮに障害物が存在するとみなし、ステップＳ１９に進む。

ステップＳ１９では主カメラによって捉えられた障害物画像ＯＢＪｍａｉｎのフレーム間差分を検出し、ステップＳ２１では副カメラによって捉えられた障害物画像ＯＢＪｓｕｂのフレーム間差分を検出する。ステップＳ２３では、ステップＳ１９およびＳ２１で検出されたフレーム間差分に基づいて障害物の動きを示す動きベクトルＶＣを算出する。

ステップＳ２７では、共通視野ＶＷ＿ＭＮに存在する障害物に動きが生じたか否かを、動きベクトルＶＣに基づいて判別する。動きベクトルＶＣの量がほぼゼロであれば、障害物に動きはないと判断する一方、動きベクトルＶＣの量が無視できない大きさを示していれば、障害物に動きがあったと判断する。障害物に動きがなければステップＳ４１に進み、障害物に動きがあればステップＳ２９に進む。

ステップＳ２９では動きベクトルＶＣのうち主カメラに向かうベクトル成分ＶＣｍａｉｎを算出し、ステップＳ３１では動きベクトルＶＣのうち副カメラに向かうベクトル成分ＶＣｓｕｂを算出する。ステップＳ３３では主カメラから障害物までの距離の縮小の程度を示す縮小量ΔＤｍａｉｎをベクトル成分ＶＣｍａｉｎに基づいて算出し、ステップＳ３５では副カメラから障害物までの距離の縮小の程度を示す縮小量ΔＤｓｕｂをベクトル成分ＶＣｓｕｂに基づいて算出する。上述のように、縮小量ΔＤｍａｉｎは主カメラから障害物までの距離に対するパーセンテージで表され、縮小量ΔＤ２も副カメラから障害物までの距離に対するパーセンテージで表される。

ステップＳ３７では縮小量ΔＤｍａｉｎおよびΔＤｓｕｂの大小関係を判別し、縮小量ΔＤｍａｉｎが縮小量ΔＤｓｕｂを上回ればステップＳ３９に進む一方、縮小量ΔＤｍａｉｎが縮小量ΔＤｓｕｂ以下であればステップＳ４１に進む。

ステップＳ３９では、障害物画像ＯＢＪｍａｉｎよりも副カメラ側に境界線ＢＬを設定する。ステップＳ４１では、障害物画像ＯＢｓｕｂよりも主カメラ側に境界線ＢＬを設定する。ステップＳ３９またはＳ４１の処理が完了すると、変数Ｍが“４”を示すか否かをステップＳ４３で判別する。変数Ｍが“４”に満たなければ、変数ＭおよびＮをステップＳ４５で更新してからステップＳ１３に戻る。これに対して、変数Ｍが“４”であれば、上階層のルーチンに復帰する。このような重み制御処理によって、境界線ＢＬが図１０〜図１２に示す要領で設定される。

図１５に示すステップＳ７の全周鳥瞰図作成処理は、図１８に示すサブルーチンに従う。まずステップＳ５１で変数Ｍを“１”に設定する。上述と同様、変数Ｍは“１”→“２”→“３”→“４”の順で更新される変数である。ステップＳ５３では、境界線よりも外方の画像を鳥瞰図画像ＢＥＶ＿Ｍから削除し、ステップＳ５５では変数Ｍが“４”に達したか否かを判別する。変数Ｍが“４”に満たなければ、ステップＳ５７で変数Ｍを更新してからステップＳ５３に戻る。一方、変数Ｍが“４”を示していれば、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４の加工が完了したとみなしてステップＳ５９に進む。ステップＳ５９では、加工された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を座標変換によって互いに合成する。合成が完成すると、上階層のルーチンに復帰する。このような全周鳥瞰図画像作成処理によって、全周鳥瞰図画像が図１３に示す要領で作成される。

以上の説明から分かるように、ＣＰＵ１２ｐは、共通視野ＶＷ＿ＭＮを各々が部分的に有する主カメラおよび副カメラ（＝Ｋ個のカメラ；Ｋは２以上の整数）をカメラＣ＿１〜Ｃ＿４（＝Ｌ個のカメラ）の中から指定する(S13)。指定された主カメラおよび副カメラの出力に基づく鳥瞰図画像ＢＥＶ＿ＭおよびＢＥＶ＿Ｎは、主カメラおよび副カメラに割り当てられた境界線ＢＬの位置（＝重み）を参照して合成される(S7)。動的な障害物が共通視野ＶＷ＿ＭＮに存在する否かは、主カメラおよび副カメラの指定処理に関連して判別される(S17, S27)。判別結果が否定的であれば、主カメラおよび副カメラに割り当てる境界線ＢＬの位置が既定要領で制御される(S25, S41)。一方、判別結果が肯定的であれば、動的な障害物までの距離の縮小量ΔＤｍａｉｎおよびΔＤｓｕｂが主カメラおよび副カメラの各々について算出される(S29~S35)。主カメラおよび副カメラに割り当てる境界線ＢＬの位置は、算出された縮小量ΔＤｍａｉｎおよびΔＤｓｕｂに基づいて制御される(S37~S41)。

したがって、動的な障害物が共通視野ＶＷ＿ＭＮに存在するときは、この障害物までの距離の縮小量ΔＤｍａｉｎおよびΔＤｓｕｂが主カメラおよび副カメラの各々について算出され、算出された縮小量ΔＤｍａｉｎおよびΔＤｓｕｂに基づいて境界線ＢＬの位置が制御される。鳥瞰図画像ＢＥＶ＿ＭおよびＢＥＶ＿Ｎは、こうして制御された境界線ＢＬを参照して合成される。これによって、動的な障害物の再現性が向上する。

上述の実施例では、主カメラおよび副カメラの重みを定義するパラメータとして境界線ＢＬの位置を想定しているが、共通視野ＶＷ＿ＭＮの背景画像および障害物画像に対する重み付け量を主カメラおよび副カメラの重みを定義するパラメータとするようにしてもよい。この場合、重み付け量は以下の要領で制御される。

以下の説明では、主カメラによって捉えられた共通視野ＶＷ＿ＭＮの画像のうち障害物画像ＯＢＪｍａｉｎを除く画像を“背景画像ＢＫｍａｉｎ”と定義し、副カメラによって捉えられた共通視野ＶＷ＿ＭＮの画像のうち障害物画像ＯＢＪｓｕｂを除く画像を“背景画像ＢＫｓｕｂ”と定義する。

上述のように、共通視野ＶＷ＿１２，ＶＷ＿２３およびＶＷ＿４１には、障害物は存在しない。このとき、背景画像ＢＫｍａｉｎおよびＢＫｓｕｂは、図１９に示すように均一（＝０．５）の重み付け量で互いに合成される。これによって、共通視野ＶＷ＿１２，ＶＷ＿２３およびＶＷ＿４１の合成画像が完成する。

一方、共通視野ＶＷ＿３４には障害物２００が存在する。障害物２００が図１１の右上段に示す方向に移動した場合は、障害物画像ＯＢＪｍａｉｎおよびＯＢＪｓｕｂに重み付け量“１．０”および“０．０”がそれぞれ付与される。また、障害物２００が図１２の右上段に示す方向に移動した場合は、障害物画像ＯＢＪｍａｉｎおよびＯＢＪｓｕｂに重み付け量“０．０”および“１．０”がそれぞれ付与される。背景画像ＢＫｍａｉｎおよびＢＫｓｕｂに対する重み付け量は、いずれも“０．５”とされる。共通視野ＶＷ＿３４の合成画像は、図２０または図２１に示す要領で合成される。

まず、主カメラの出力に基づく共通視野ＶＷ＿３４の画像が背景画像ＢＫｍａｉｎと障害物画像ＯＢＪｍａｉｎとに分離され、副カメラの出力に基づく共通視野ＶＷ＿３４の画像が背景画像ＢＫｓｕｂと障害物画像ＯＢＪｓｕｂとに分離される（図２０，図２１の最上段参照）。次に、障害物画像ＯＢＪｍａｉｎおよびＯＢＪｓｕｂが指定重み付け量で互いに合成ないし加算され、背景画像ＢＫｍａｉｎおよびＢＫｓｕｂが指定重み付け量で互いに合成ないし加算される（図２０，図２１の第２〜第３段参照）。その後、合成障害物画像と合成背景画像とが互いに合成される（図２０，図２１の最下段参照）。こうして、共通視野ＶＷ＿３４の合成画像が完成する。

具体的には、ＣＰＵ１４ｐは、図１５に示すステップＳ５の重み制御処理を図２２〜図２３に示すサブルーチンに従って実行し、図１５に示すステップＳ７の全周鳥瞰図作成処理を図２４に示すサブルーチンに従って実行する。ただし、図２２〜図２３に示すサブルーチンは、以下の点を除き図１６〜図１７に示すサブルーチンと同じであるため、重複した説明は省略する。

図２２において、フラグＦ＿ＭＮを“０”に設定するステップＳ６３の処理を図１６に示すステップＳ２５の処理に代えて実行し、フラグＦ＿ＭＮを“１”に設定するステップＳ６１の処理をステップＳ１７およびＳ１９の間で実行する。また、図２３において、障害物画像ＯＢＪｍａｉｎおよびＯＢＪｓｕｂに重み付け量“１．０”および“０．０”をそれぞれ付与するステップＳ６５の処理を図１７に示すステップＳ３９の処理に代えて実行し、障害物画像ＯＢＪｍａｉｎおよびＯＢＪｓｕｂに重み付け量“０．０”および“１．０”をそれぞれ付与するステップＳ６７の処理を図１７に示すステップＳ４１の処理に代えて実行する。

図２４を参照して、ステップＳ７１では変数ＭおよびＮをそれぞれ“１”および“２”に設定する。上述と同様、変数Ｍは“１”→“２”→“３”→“４”の順で更新される変数であり、変数Ｎは“２”→“３”→“４”→“１”の順で更新される変数である。

ステップＳ７３では、フラグＦ＿ＭＮが“１”であるか否かを判別する。ここでＮＯであれば、共通視野ＶＷ＿ＭＮには障害物が存在しないとみなしてステップＳ８５に進む。ステップＳ８５では、主カメラＣ＿Ｍの出力に基づく共通視野ＶＷ＿ＭＮの画像と副カメラＣ＿Ｎに属する共通視野ＶＷ＿ＭＮの画像とを互いに合成する。合成する２つの画像の重み付け量は、いずれも“０．５”とされる。ステップＳ８５の処理が完了すると、ステップＳ８３に進む。

フラグＦ＿ＭＮが“１”であれば、ステップＳ７３からステップＳ７５に進む。ステップＳ７５では、主カメラＣ＿Ｍの出力に基づく共通視野ＶＷ＿ＭＮの画像を障害物画像ＯＢＪｍａｉｎと背景画像ＢＫｍａｉｎとに分離し、さらに副カメラＣ＿Ｎの出力に基づく共通視野ＶＷ＿ＭＮの画像を障害物画像ＯＢＪｓｕｂと背景画像ＢＫｓｕｂとに分離する。

ステップＳ７７では、ステップＳ７５で分離された２つの障害物画像ＯＢＪｍａｉｎおよびＯＢＪｓｕｂを図２３に示すステップＳ６５またはＳ６７で指定された重み付け量を参照して互いに合成する。ステップＳ７９では、ステップＳ７５で分離された２つの背景画像ＢＫｍａｉｎおよびＢＫｓｕｂを互いに合成する。背景画像ＢＫｍａｉｎおよびＢＫｓｕｂの重み付け量は、いずれも“０．５”とされる。ステップＳ８１では、ステップＳ７７で作成された障害物画像とステップＳ７９で作成された背景画像とに基づいて共通視野ＶＷ＿ＭＮの合成画像を作成する。

ステップＳ８３では変数Ｍが“４”に達したか否かを判別し、ＮＯであればステップＳ８７で変数ＭおよびＮを更新してからステップＳ７３に戻る一方、ＹＥＳであれば鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４の加工が完了したとみなしてステップＳ８９に進む。ステップＳ８９では、加工された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を座標変換によって互いに合成する。こうして全周鳥瞰図画像が完成すると、上階層のルーチンに復帰する。

この実施例によれば、ＣＰＵ１２ｐは、共通視野ＶＷ＿ＭＮを各々が部分的に有する主カメラおよび副カメラ（＝Ｋ個のカメラ；Ｋは２以上の整数）を指定する(S13)。指定された主カメラおよび副カメラの出力に基づく鳥瞰図画像ＢＥＶ＿ＭおよびＢＥＶ＿Ｎは、主カメラおよび副カメラに割り当てられた重み付け量（具体的には、障害物画像ＯＢＪｍａｉｎおよび背景画像ＢＫｍａｉｎの重み付け量と障害物画像ＯＢＪｓｕｂおよび背景画像ＢＫｓｕｂの重み付け量）を参照して合成される(S7)。動的な障害物が共通視野ＶＷ＿ＭＮに存在する否かは、主カメラおよび副カメラの指定処理に関連して判別される(S17, S27)。判別結果が否定的であれば、主カメラおよび副カメラに割り当てる重み付け量が既定要領で制御される(S63, S67)。一方、判別結果が肯定的であれば、動的な障害物までの距離の縮小量ΔＤｍａｉｎおよびΔＤｓｕｂが主カメラおよび副カメラの各々について算出される(S29~S35)。主カメラおよび副カメラに割り当てる重み付け量は、算出された縮小量ΔＤｍａｉｎおよびΔＤｓｕｂに基づいて制御される(S37, S65, S67)。

したがって、動的な障害物が共通視野ＶＷ＿ＭＮに存在するときは、この障害物までの距離の縮小量ΔＤｍａｉｎおよびΔＤｓｕｂが主カメラおよび副カメラの各々について算出され、算出された縮小量ΔＤｍａｉｎおよびΔＤｓｕｂに基づいて重み付け量が制御される。鳥瞰図画像ＢＥＶ＿ＭおよびＢＥＶ＿Ｎは、こうして制御された重み付け量を参照して合成される。これによって、動的な障害物の再現性が向上する。

なお、この実施例では、主カメラからの距離の縮小率および副カメラからの距離の縮小率を縮小量ΔＤｍａｉｎおよびΔＤｓｕｂとするようにしているが、これに代えて、主カメラに向かうベクトル成分ＶＣｍａｉｎおよび副カメラに向かうベクトル成分ＶＣｓｕｂを縮小量ΔＤｍａｉｎおよびΔＤｓｕｂとするようにしてもよい。

この発明の一実施例の構成を示すブロック図である。 車両に取り付けられた複数のカメラによって捉えられる視野を示す図解図である。 （Ａ）は前カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｂ）は右カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｃ）は左カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｄ）は後カメラの出力に基づく鳥瞰図画像の一例を示す図解図である。 図３（Ａ）〜図３（Ｄ）に示す鳥瞰図画像に基づく全周鳥瞰図画像の一例を示す図解図である。 表示装置によって表示される運転支援画像の一例を示す図解図である。 車両に取り付けられたカメラの角度を示す図解図である。 カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。 車両と障害物との関係の一例を示す図解図である。 表示装置によって表示される運転支援画像の他の一例を示す図解図である。 共通視野画像の対角上に設定された境界線の一例を示す図解図である。 （Ａ）は共通視野画像を作成する動作の一部を示す図解図であり、（Ｂ）は共通視野画像を作成する動作の他の一部を示す図解図であり、（Ｃ）は共通視野画像を作成する動作のその他の一部を示す図解図であり、（Ｄ）は共通視野画像を作成する動作のさらにその他の一部を示す図解図である。 （Ａ）は共通視野画像を作成する動作の一部を示す図解図であり、（Ｂ）は共通視野画像を作成する動作の他の一部を示す図解図であり、（Ｃ）は共通視野画像を作成する動作のその他の一部を示す図解図であり、（Ｄ）は共通視野画像を作成する動作のさらにその他の一部を示す図解図である。 全周鳥瞰図画像を作成する動作および運転支援画像を表示する動作の一例を示す図解図である。 全周鳥瞰図画像を作成する動作および運転支援画像を表示する動作の他の一例を示す図解図である。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 他の実施例において共通視野画像を作成する動作の一例を示す図解図である。 他の実施例において共通視野画像を作成する動作の他の一例を示す図解図である。 他の実施例において共通視野画像を作成する動作のその他の一例を示す図解図である。 他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 他の実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 他の実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。

符号の説明

１０ …画像処理装置
Ｃ１〜Ｃ４ …カメラ
１２ …画像処理回路
１２ｐ …ＣＰＵ
１２ｍ …メモリ
１４ …フラシュメモリ
１６ …表示装置
１００ …車両
２００ …障害物

Claims (13)

1. 共通視野を各々が部分的に有するＫ個（Ｋ：２以上の整数）のカメラを指定する指定手段、
   前記指定手段によって指定されたＫ個のカメラからそれぞれ出力されたＫ個の被写界像を前記Ｋ個のカメラの各々に割り当てられた重みを参照して合成する合成手段、
   動的立体物が前記共通視野に存在する否かを前記指定手段の指定処理に関連して判別する判別手段、
   前記判別手段の判別結果が否定的であるとき前記Ｋ個のカメラの重みを既定要領で制御する第１制御手段、
   前記判別手段の判別結果が肯定的であるとき前記動的立体物までの距離の縮小量を前記Ｋ個のカメラの各々について算出する算出手段、および
   前記算出手段によって算出された縮小量に基づいて前記Ｋ個のカメラの重みを制御する第２制御手段を備える、画像処理装置。
2. 前記判別手段は立体物が前記共通視野に存在するか否かを判別する第１判別手段を含み、
   前記第１制御手段は前記第１判別手段の判別結果が否定的であるとき前記Ｋ個のカメラの重みを既定値に設定する既定値設定手段を含む、請求項１記載の画像処理装置。
3. 前記判別手段は前記立体物から前記Ｋ個のカメラの各々までの距離が変化したか否かを判別する第２判別手段を含み、
   前記第１制御手段は前記第２判別手段の判別結果が否定的であるとき前記Ｋ個のカメラのうち既定カメラの重みを増大させる第１重み増大手段を含む、請求項１または２記載の画像処理装置。
4. 前記第２制御手段は基準を上回る縮小量に対応する特定カメラの重みを増大させる第２重み増大手段を含む、請求項１ないし３のいずれかに記載の画像処理装置。
5. 前記基準は前記特定カメラと異なるカメラについて算出された縮小量に相当する、請求項４記載の画像処理装置。
6. 前記第２制御手段はより大きな縮小量に対応する特定カメラの重みを増大させる第２重み増大手段を含む、請求項１ないし３のいずれかに記載の画像処理装置。
7. 前記重みは共通視野に設定される境界線の位置をパラメータとして含み、
   前記合成手段は前記境界線よりも外方の部分画像を前記Ｋ個の被写界像の各々から削除する削除手段を含み、
   前記第２重み増大手段は前記特定カメラからの被写界像に現れた動的立体物画像が残るように前記境界線の位置を定義する定義手段を含む、請求項４ないし６のいずれかに記載の画像処理装置。
8. 前記重みは立体物画像に対する重み付け量をパラメータとして含み、
   前記合成手段は、前記Ｋ個の被写界像からＫ個の立体物画像をそれぞれ抽出する抽出手段、および前記抽出手段によって抽出されたＫ個の立体物画像を前記重み付け量を参照して互いに加算する加算手段を含み、
   前記第２重み増大手段は前記特定カメラについて前記重み付け量を増大させる重み付け量増大手段を含む、請求項４ないし６のいずれかに記載の画像処理装置。
9. 前記合成手段は前記加算手段によって生成された立体物画像を用いて共通視野画像を作成する共通視野画像作成手段をさらに含む、請求項８記載の画像処理装置。
10. 前記Ｋ個のカメラは固定された相対距離を有し、
    前記動的立体物は前記Ｋ個の固定カメラからの距離が相対的に変化する立体物に相当する、請求項１ないし９のいずれかに記載の画像処理装置。
11. 前記指定手段はＬ個（Ｌ：Ｋを上回る整数）のカメラの中から前記Ｋ個のカメラを指定し、
    前記指定手段の指定態様を繰り返し変更する変更手段をさらに備える、請求項１ないし１０のいずれかに記載の画像処理装置。
12. 画像処理装置のプロセッサに、
    共通視野を各々が部分的に有するＫ個（Ｋ：２以上の整数）のカメラを指定する指定ステップ、
    前記指定ステップによって指定されたＫ個のカメラからそれぞれ出力されたＫ個の被写界像を前記Ｋ個のカメラの各々に割り当てられた重みを参照して合成する合成ステップ、
    動的立体物が前記共通視野に存在する否かを前記指定ステップの指定処理に関連して判別する判別ステップ、
    前記判別ステップの判別結果が否定的であるとき前記Ｋ個のカメラの重みを既定要領で制御する第１制御ステップ、
    前記判別ステップの判別結果が肯定的であるとき前記動的立体物までの距離の縮小量を前記Ｋ個のカメラの各々について算出する算出ステップ、および
    前記算出ステップによって算出された縮小量に基づいて前記Ｋ個のカメラの重みを制御する第２制御ステップを実行させるための、画像処理プログラム。
13. 画像処理装置のプロセッサによって実行される画像処理方法であって、
    共通視野を各々が部分的に有するＫ個（Ｋ：２以上の整数）のカメラを指定する指定ステップ、
    前記指定ステップによって指定されたＫ個のカメラからそれぞれ出力されたＫ個の被写界像を前記Ｋ個のカメラの各々に割り当てられた重みを参照して合成する合成ステップ、
    動的立体物が前記共通視野に存在する否かを前記指定ステップの指定処理に関連して判別する判別ステップ、
    前記判別ステップの判別結果が否定的であるとき前記Ｋ個のカメラの重みを既定要領で制御する第１制御ステップ、
    前記判別ステップの判別結果が肯定的であるとき前記動的立体物までの距離の縮小量を前記Ｋ個のカメラの各々について算出する算出ステップ、および
    前記算出ステップによって算出された縮小量に基づいて前記Ｋ個のカメラの重みを制御する第２制御ステップを備える、画像処理方法。

Images