JP7059740B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に、複数のカメラにより撮影された複数のフレームを処理する画像処理装置に関する。

自動車等の車両に搭載された複数のカメラを用いて、車両周辺の様子を表示するシステムが知られている。このシステムは、複数のカメラにより撮影された複数のフレームを合成した合成フレームを表示する。このシステムにより、車両の運転者は、車両周辺の様子を確認することができる。

このシステムは、合成フレームを生成する前に、複数のカメラにより撮影された複数のフレームの輝度レベル及びホワイトバランスを調整する。これにより、合成フレームにおけるフレームの境界を目立たなくすることができる。複数のフレームにおける輝度レベル及びホワイトバランスの調整は、例えば、特許文献１に開示されている。

特開２００９－１７４５７号公報

特許文献１に係る発明では、２台のカメラの一方により撮影された画像の輝度レベル及びホワイトバランスが、他方で撮影された画像の全範囲にわたる輝度レベル及びホワイトバランスと同じとなるように調整される。

輝度レベル及びホワイトバランスの調整は、特定の色の色味を２つの画像において一致させる処理ではない。輝度レベル及びホワイトバランスが同じとなるように調整された２つの画像を合成して合成画像を生成する場合を想定する。この場合、合成画像において、特定の色の物体は、２つの画像の一方に対応する領域と、他方に対応する領域とにおいて異なる色味で表現される。この結果、特定の色の物体が合成画像における画像境界を跨いで移動する場合などに、運転者が合成画像に対して違和感を覚えるという問題がある。

本発明は、上記問題点に鑑み、２つの画像を合成した合成画像における違和感を抑制することができる画像処理装置を提供することを課題とする。

上記課題を解決するために、第１の発明は、各々の撮影領域の少なくとも一部が互いに重複する第１カメラ及び第２カメラにより撮影されたフレームを処理する画像処理装置であって、第１カメラにより撮影された第１フレームを取得し、第２カメラにより撮影された第２フレームを取得する画像取得部と、画像取得部により取得された第１フレームから第１物体を検出し、画像取得部により取得された第２フレームから第２物体を検出する検出部と、第１物体と第２物体とが同じ物体であるか否かを判定する判定部と、判定部により第１物体と第２物体とが同じ物体であると判定された場合、第１物体が検出された第１フレームの領域と、第２物体が検出された第２フレームの領域とに基づいて、第１フレーム及び第２フレームに対して色味抽出領域を設定する領域設定部と、第１フレームで設定された色味抽出領域における色味と、第２フレームで設定された色味抽出領域における色味とに基づいて、第２フレームを補正する画像補正部と、第１フレームと、画像補正部により補正された第２フレームとを合成する画像合成部とを備え、検出部は、一の時刻に撮影された第１フレーム及び第２フレームを画像取得部から取得し、一の時刻に撮影された第１フレームから第１物体を検出し、一の時刻に撮影された第２フレームから第２物体を検出し、判定部は、一の時刻における第１物体の所定の座標系における位置と、一の時刻における第２物体の所定の座標系における位置を特定する位置特定部と、位置特定部により特定された一の時刻における第１物体及び第２物体の各々の位置に基づいて、一の時刻における第１物体と一の時刻における第２物体とが同じ物体であるか否かを判定する位置判定部とを含む。

第１の発明によれば、第１フレームから検出された第１物体と第２フレームから検出された第２物体とが同一物体である場合、第１フレームに設定された色味抽出領域の色味と、第２フレームに設定された色味抽出領域の色味とに基づいて、第２フレームの色味が補正される。この結果、物体が合成画像における第１フレームと第２フレームとの境界を跨いで移動する場合において、物体の色味の変化が抑制される。従って、合成画像における違和感を抑制することができる。

また上記構成によれば、第１フレームと第２フレームとが同一時刻に撮影される。第１フレームから検出された第１物体の所定の座標系における位置と、第２フレームから検出された第２物体の所定の座標系における位置とに基づいて、第１物体と第２物体とが同一物体であるか否かが判定される。つまり、第１物体の位置と第２物体の位置とを共通の座標系で比較することにより、第１物体と第２物体とが同一物体であるか否かが判定される。この結果、第１物体と第２物体とが同一の物体であるか否かの判定精度を向上させることができる。

また、第１カメラ及び第２カメラが同一時刻に同一物体を撮影しているため、第１フレームと第２フレームとの色味差をさらに小さくでき、合成画像の違和感をさらに抑制できる。

第２の発明は、第１発明であって、検出部は、一の時刻に撮影された第１フレームから検出された第１物体の種別を特定し、一の時刻に撮影された第２フレームから検出された第２物体の種別を特定する。判定部は、さらに、種別判定部と、最終判定部とを含む。種別判定部は、一の時刻における第１物体の種別と一の時刻における第２物体の種別とが一致する場合、一の時刻における第１物体と一の時刻における第２物体とが同じであると判定する。最終判定部は、位置判定部の判定結果と種別判定部の判定結果とに基づいて、一の時刻における第１物体と一の時刻における第２物体とが同じ物体であるか否かを判定する最終判定部とを含む。

第２の発明によれば、第１物体の種別と第２物体の種別との比較結果が、第１物体と第２物体が同一物体であるか否かの判定に反映される。従って、第１物体と第２物体とが同一の物体であるか否かの判定精度をさらに向上させることができる。

第３の発明は、各々の撮影領域の少なくとも一部が互いに重複する第１カメラ及び第２カメラにより撮影されたフレームを処理する画像処理装置であって、第１カメラにより撮影された第１フレームを取得し、第２カメラにより撮影された第２フレームを取得する画像取得部と、画像取得部により取得された第１フレームから第１物体を検出し、画像取得部により取得された第２フレームから第２物体を検出する検出部と、第１物体と第２物体とが同じ物体であるか否かを判定する判定部と、判定部により第１物体と第２物体とが同じ物体であると判定された場合、第１物体が検出された第１フレームの領域と、第２物体が検出された第２フレームの領域とに基づいて、第１フレーム及び第２フレームに対して色味抽出領域を設定する領域設定部と、第１フレームで設定された色味抽出領域における色味と、第２フレームで設定された色味抽出領域における色味とに基づいて、第２フレームを補正する画像補正部と、第１フレームと、画像補正部により補正された第２フレームとを合成する画像合成部とを備え、検出部は、一の時刻において撮影された第１フレームから第１物体を検出し、一の時刻よりも後の時刻において撮影された第２フレームから第２物体を検出し、判定部は、一の時刻における第１物体の所定の座標系における位置と、後の時刻における第２物体の所定の座標系における位置を特定する位置特定部と、検出部が後の時刻に撮影された第１フレームから第１物体を検出しなかった場合、後の時刻における第１物体の予測位置と位置特定部により特定された第２物体の位置とに基づいて、一の時刻における第１物体と後の時刻における第２物体とが同じであるか否かを判定する位置判定部と、を含む。

第３の発明によれば、第１フレームと第２フレームとが同一時刻に撮影され、かつ、第１フレームから物体が検出されなかった場合、第１物体と第２物体とが同一物体であるか否かの判定に、過去に撮影された第１フレームから検出された第１物体の予測位置が用いられる。同一時刻に撮影された第１フレーム及び第２フレームから同一物体を検出できない場合であっても、第２フレームの色味を調整することができる。

第４の発明は、第３の発明であって、検出部は、一の時刻に撮影された第１フレームから検出された第１物体の種別を特定し、後の時刻に撮影された第２フレームから検出された第２物体の種別を特定する。判定部は、さらに、種別判定部と、最終判定部とを含む。種別判定部は、一の時刻における第１物体の種別と後の時刻における第２物体の種別が一致する場合、一の時刻における第１物体と後の時刻における第２物体とが同じであると判定する。最終判定部は、位置判定部の判定結果と種別判定部の判定結果とに基づいて、一の時刻における第１物体と後の時刻における第２物体とが同じ物体であるか否かを判定する。

第４の発明によれば、第１物体の種別と第２物体の種別との比較結果が、第１物体と第２物体が同一物体であるか否かの判定に反映される。従って、第１物体と第２物体とが同一の物体であるか否かの判定精度をさらに向上させることができる。

第５の発明は、第１～第４のいずれかの発明であって、画像処理装置は、車両に搭載される。画像処理装置は、さらに、カメラ選択部を備える。カメラ選択部は、車両の進行方向に基づいて、車両に搭載される３台以上のカメラの中から第１カメラ及び第２カメラを選択する。

第５の発明によれば、３台以上のカメラにより撮影されたフレームのうち、車両の進行方向に向けられた２台のカメラにより撮影された２つのフレームを合成することができる。この結果、車両の運転者は、車両の進行方向の様子を容易に確認できる。

第６の発明は、各々の撮影領域の少なくとも一部が互いに重複する第１カメラ及び第２カメラにより撮影されたフレームを処理する画像処理装置であって、第１カメラにより撮影された第１フレームを取得し、第２カメラにより撮影された第２フレームを取得する画像取得部と、画像取得部により取得された第１フレームから第１物体を検出し、画像取得部により取得された第２フレームから第２物体を検出する検出部と、第１物体と第２物体とが同じ物体であるか否かを判定する判定部と、判定部により第１物体と第２物体とが同じ物体であると判定された場合、第１物体が検出された第１フレームの領域と、第２物体が検出された第２フレームの領域とに基づいて、第１フレーム及び第２フレームに対して色味抽出領域を設定する領域設定部と、第１フレームで設定された色味抽出領域における色味と、第２フレームで設定された色味抽出領域における色味とに基づいて、第２フレームを補正する画像補正部と、第１フレームと、画像補正部により補正された第２フレームとを合成する画像合成部と、画像処理装置を搭載する車両を駐車させる駐車領域を取得する駐車領域取得部と、駐車領域取得部により取得された駐車領域と車両の現在位置とに基づいて、第１～第Ｋカメラ（Ｋは３以上の自然数）が駐車領域と現在位置との間に位置する基準領域を撮影する順序を決定する順序設定部と、を備え、検出部は、車両が車両の現在位置から駐車領域取得部により取得された駐車領域に移動するまでの期間に第１～第Ｋカメラにより撮影された第１～第Ｋフレームの各々から物体を検出し、判定部は、第１～第Ｋフレームから検出された第１～第Ｋ物体の所定の座標系における位置を特定する位置特定部と、順序が１番目に設定された第Ｍ（Ｍは１以上Ｋ以下の自然数）カメラにより撮影された第Ｍフレームから検出された第Ｍ物体の所定の座標系における位置が基準領域内に位置するか否かを判定する第１位置判定部と、第Ｍ物体の所定の座標系における位置が基準領域内に位置する場合、第１～第Ｋ物体の所定の座標系における位置に基づいて、第１～第Ｋ物体が同じ物体であるか否かを判定する第２位置判定部と、を含み、領域設定部は、第１～第Ｋ物体が同一物体であると判定された場合、第１～第Ｋ物体が検出された第１～第Ｋフレームの領域に基づいて、第１～第Ｋフレームに対して色味抽出領域を設定し、画像補正部は、第１～第Ｋフレームに設定された色味抽出領域の色味に基づいて、車両が駐車領域に移動した後に第１～第Ｋカメラにより撮影された第１～第Ｋフレームのうち少なくとも１つのフレームの色味を補正し、画像合成部は、色味が補正されたフレームを含む第１～第Ｋのフレームを合成する。

第６の発明によれば、画像処理装置を搭載する車両を駐車させる際に、車両の駐車領域と車両の現在位置に基づいて、第１～第Ｋカメラの全てが撮影できる基準領域を設定し、基準領域を撮影できるカメラの順番に従って、第１～第Ｋカメラにより撮影された第１～第Ｋフレームの各々から物体を検出する。第１～第Ｋフレームの各々から検出された物体が同一物体である場合、第１～第Ｋフレームの少なくとも１つの色味を補正する。この結果、第１～第Ｋカメラが、撮影領域が互いに重複しない２台のカメラを含む場合であっても、これら２台のカメラの色味を補正して合成画像を生成することができる。

第７の発明は、第１～第６のいずれかの発明であって、画像補正部は、第１フレームに設定された色味抽出領域における色味と、第２フレームに設定された色味抽出領域における色味との差分を算出し、算出された差分に基づいて第２フレームの色味を補正する。

第７の発明によれば、第２フレームの色味が第１フレームの色味に合わせて調整される。第１フレームの色味を調整しなくてもよいため、画像補正部による色味補正処理を高速化することができる。

第８の発明は、第１～第６のいずれかの発明であって、画像補正部は、第１フレームに設定された色味抽出領域における色味と、第２フレームに設定された色味抽出領域における色味との統計値を算出し、算出された統計値に基づいて、第１フレームの色味と第２フレームの色味とを補正する。

第８の発明によれば、第１フレームの色味及び第２フレームの色味の両者が補正されるため、第１フレーム及び第２フレームの一方の色味が極端に変化することを抑制できる。

第９の発明は、第１～第８のいずれかの発明であって、画像補正部は、第２フレームの各画素に対応する０以上１以下の補正係数を設定する。各画素の補正係数は、各画素から、画像合成部により生成される合成フレームにおける第１フレームと第２フレームとの境界までの距離が長くなるにつれて、各画素の色味の変化量が小さくなるように設定される。
また、第１０の発明は、各々の撮影領域の少なくとも一部が互いに重複する第１カメラ及び第２カメラにより撮影されたフレームを処理する画像処理装置であって、第１カメラにより撮影された第１フレームを取得し、第２カメラにより撮影された第２フレームを取得する画像取得部と、画像取得部により取得された第１フレームから第１物体を検出し、画像取得部により取得された第２フレームから第２物体を検出する検出部と、第１物体と第２物体とが同じ物体であるか否かを判定する判定部と、判定部により第１物体と第２物体とが同じ物体であると判定された場合、第１物体が検出された第１フレームの領域と、第２物体が検出された第２フレームの領域とに基づいて、第１フレーム及び第２フレームに対して色味抽出領域を設定する領域設定部と、第１フレームで設定された色味抽出領域における色味と、第２フレームで設定された色味抽出領域における色味とに基づいて、第２フレームを補正する画像補正部と、第１フレームと、画像補正部により補正された第２フレームとを合成する画像合成部とを備え、画像補正部は、第２フレームの各画素に対応する０以上１以下の補正係数を設定し、各画素の補正係数は、各画素から、画像合成部により生成される合成フレームにおける第１フレームと第２フレームとの境界までの距離が長くなるにつれて、各画素の色味の変化量が小さくなるように設定される。

第９、１０の発明によれば、第２フレームにおける画素が、合成フレームにおける第１フレームと第２フレームとの境界から離れるにつれて、第２フレームにおける画素の補正後の色味は、補正前の色味に近くなる。従って、第２フレームの色味が極端に変化することを抑制できる。

本発明によれば、２つの画像を合成した合成画像における違和感を抑制することができる。

本発明の第１の実施の形態に係る画像表示システムの構成を示す機能ブロック図である。 図１に示す画像表示システムが搭載される車両におけるカメラの配置を示す図である。 図１に示す画像処理装置が備える判定部の構成を示す機能ブロック図である。 図１に示すカメラの撮影範囲の一例を示す模式図である。 図１に示すカメラにより撮影されるフレームの一例を示す図である。 図１に示す画像処理装置のフローチャートである。 図１に示す検出部により生成される検出データの一例を示す図である。 図６に示す時刻ｔの検出位置を用いた同一判定のフローチャートである。 図５に示す前方フレームから検出された物体と右方フレームから検出された物体との位置関係の一例を示す図である。 図５に示す前方フレームから検出された物体と右方フレームから検出された物体との位置関係の他の例を示す図である。 図４に示す履歴データの一例を示す図である。 図６に示す予測位置に基づく同一判定処理のフローチャートである。 図６に示す色味補正処理のフローチャートである。 図５に示すフレームの各画素に設定される補正係数の設定方法の一例を説明する図である。 図６に示す位置予測処理のフローチャートである。 本発明の第２の実施の形態に係る画像表示システムの構成を示す機能ブロック図である。 図１６に示す判定部の構成を示す機能ブロック図である。 図１６に示す画像処理装置により設定される駐車経路の一例を示す図である。 図１６に示す画像処理装置の動作を示すフローチャートである。 図１９に示す同一物体検出処理のフローチャートである。 ＣＰＵバス構成を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。

［第１の実施の形態］
｛１．画像表示システム１００の構成｝
図１は、本発明の第１の実施の形態に係る画像表示システム１００の構成を示す機能ブロック図である。

図１を参照して、画像表示システム１００は、自動車等の車両に搭載される。画像表示システム１００は、４台のカメラ５により撮影された４つのフレーム５１のうち少なくとも２つを合成した合成フレーム６０を、表示装置２に表示する。車両の運転者は、画像表示システム１００を利用することにより、車両の周辺の様子をほぼリアルタイムに把握することができる。

画像表示システム１００は、画像処理装置１と、表示装置２と、車速センサ３と、舵角センサ４と、４台のカメラ５とを備える。

画像処理装置１は、４台のカメラ５により撮影された４つのフレームの少なくとも２つから、合成フレーム６０を生成する。画像処理装置１は、その生成した合成フレーム６０を表示装置２に出力する。

表示装置２は、液晶ディスプレイ等の薄型の表示装置である。表示装置２は、画像処理装置１から合成フレーム６０を受け、その受けた合成フレーム６０を表示する。表示装置２は、車両の車室内において、運転者に見やすい位置に設置される。

車速センサ３は、車両の車速を検出し、その検出した車速を画像処理装置１に供給する。舵角センサ４は、車両の前輪舵角を検出し、その検出した前輪舵角を画像処理装置１に供給する。

４台のカメラ５は、レンズと撮像素子とを備える。４台のカメラ５は、車両の周辺を撮影して、複数のフレームを含む動画像を生成する。４台のカメラ５は、生成される動画像をフレーム単位で画像処理装置１に供給する。

４台のカメラ５は、具体的には、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び右サイドカメラ５Ｒである。フロントカメラ５Ｆは、車両の前方の景色を撮影して前方フレーム５１Ｆを生成し、その生成した前方フレーム５１Ｆを画像処理装置１に供給する。リアカメラ５Ｂは、車両の後方の景色を撮影して後方フレーム５１Ｂを生成し、その生成した後方フレーム５１Ｂを画像処理装置１に供給する。左サイドカメラ５Ｌは、車両の左サイド方向の景色を撮影して左方フレーム５１Ｌを生成し、その生成した左方フレーム５１Ｌを画像処理装置１に供給する。右サイドカメラ５Ｒは、車両の右サイド方向の景色を撮影して右方フレーム５１Ｒを生成し、その生成した右方フレーム５１Ｒを画像処理装置１に供給する。

以下の説明において、前方フレーム５１Ｆ、後方フレーム５１Ｂ、左方フレーム５１Ｌ、及び右方フレーム５１Ｒを総称する場合、「フレーム５１」と記載する。

図２は、４台のカメラ５の配置を示す図である。図２を参照して、フロントカメラ５Ｆは、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５Ｆａは車両９の直進方向に向けられている。リアカメラ５Ｂは、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５Ｂａは車両９の直進方向の逆方向に向けられている。これらフロントカメラ５Ｆ及びリアカメラ５Ｂの取付位置は、車両９の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

左サイドカメラ５Ｌは左のドアミラー９３に設けられ、その光軸５Ｌａは車両９の左右方向（直進方向に直交する方向）に沿って車両９の左方に向けられている。一方、右サイドカメラ５Ｒは右のドアミラー９３に設けられ、その光軸５Ｒａは車両９の左右方向に沿って車両９の右方に向けられている。

これら４台のカメラ５のレンズは、魚眼レンズなどが採用されており、４台のカメラ５は、１８０度以上の画角αを有している。このため、４台のカメラ５を利用することで、車両９の全周囲の撮影が可能となっている。

図３は、４台のカメラ５の撮影領域を模式的に示す図である。図３を参照して、各カメラの撮影領域を模式的に半楕円形状で示している。このため、図３に示す各カメラの撮影領域は、各カメラの実際の撮影領域を正確に反映したものではない。

図３において、２台のカメラの撮影領域が重複している領域をハッチングで示している。重複領域６１は、フロントカメラ５Ｆの撮影領域５２Ｆの一部と、左サイドカメラ５Ｌの撮影領域５２Ｌの一部とが重複した領域である。重複領域６２は、左サイドカメラ５Ｌの撮影領域５２Ｌの一部と、リアカメラ５Ｂの撮影領域５２Ｂの一部とが重複した領域である。重複領域６３は、リアカメラ５Ｂの撮影領域５２Ｂの一部と、右サイドカメラ５Ｒの撮影領域５２Ｒの一部とが重複した領域である。重複領域６４は、右サイドカメラ５Ｒの撮影領域５２Ｒの一部と、フロントカメラ５Ｆの撮影領域５２Ｆの一部とが重複した領域である。

｛２．画像処理装置１の構成｝
再び、図１を参照して、画像処理装置１の構成を説明する。画像処理装置１は、画像取得部１１と、検出部１２と、判定部１３と、領域設定部１４と、画像補正部１５と、画像合成部１６と、信号取得部１７と、カメラ選択部１８とを備える。

（画像取得部１１）
画像取得部１１は、４台のカメラ５からフレーム５１を取得する。具体的には、画像取得部１１は、前方フレーム５１Ｆと、後方フレーム５１Ｂと、左方フレーム５１Ｌと、右方フレーム５１Ｒとを取得する。

また、画像取得部１１は、カメラ選択部１８から供給されるカメラ選択データ３２を取得し、その取得したカメラ選択データ３２に基づいて、４台のカメラ５中から２台のカメラを選択する。選択される２台のカメラの撮影領域の一部は、重複している。カメラ選択データ３２の詳細については後述する。なお、以下の説明において、２台のカメラの一方を「第１カメラ」と、他方のカメラを「第２カメラ」と記載する場合がある。

画像取得部１１は、選択された２台のカメラにより撮影された２つのフレームを抽出し、その抽出した２つのフレームを検出部１２に出力する。以下の説明において、画像取得部１１により抽出される２つのフレームのうち、第１カメラにより撮影されたフレームを「第１フレーム」と、第２カメラにより撮影されたフレームを「第２フレーム」と記載する場合がある。

（検出部１２）
検出部１２は、画像取得部１１から２つのフレームを受け、その受けた２つのフレームから物体を検出する。すなわち、検出部１２は、第１フレームから物体を検出し、第２フレームから物体を検出する。以下の説明において、第１フレームから検出された物体を「第１物体」と、第２フレームから検出された物体を「第２物体」と記載する場合がある。

例えば、検出部１２は、機械学習による識別器を用いて、人物、自動車、自転車、カラーコーン等を検出する。この場合、検出部１２は、人物、自動車、自転車、カラーコーンの各々を検出するために最適化された複数の識別器を有する。AdaBoost識別器、多層パーセプトロン、サポートベクターマシンを各識別器として使用することができる。なお、各識別器で採用されるアルゴリズムは、上記に限定されない。

検出部１２は、第１フレームから第１物体を検出した場合、第１物体に対応する検出データ３１を生成し、生成した検出データ３１を判定部１３に供給する。検出部１２は、第２フレームから第２物体を検出した場合、第２物体に対応する検出データ３１を生成し、生成した検出データ３１を判定部１３に供給する。検出データ３１は、検出物体ごとに生成される。検出データ３１は、検出物体のＩＤと、検出物体の種別と、検出物体がフレームにおいて検出された領域を示すデータとを少なくとも含む。

（判定部１３）
判定部１３は、検出部１２から受けた検出データ３１に基づいて、第１物体と第２物体とが同一物体であるか否かを判定する。判定部１３は、第１物体と第２物体とが同一物体であると判定した場合、第１物体及び第２物体に対応する検出データ３１を領域設定部１４に出力する。

図４は、判定部１３の構成を示す機能ブロック図である。図４を参照して、判定部１３は、位置特定部１３１と、位置判定部１３２と、種別判定部１３３と、最終判定部１３４と、記憶部１３５を備える。

位置特定部１３１は、第１物体及び第２物体の各々に対応する検出データ３１を検出部１２から受ける。位置特定部１３１は、その受けた検出データ３１に基づいて、所定の座標系における第１物体の位置及び第２物体の位置を特定する。位置特定部１３１は、第１物体の所定の座標系における位置を、第１物体に対応する検出データ３１に追加する。位置特定部１３１は、第２物体の所定の座標系における位置を、第２物体に対応する検出データ３１に追加する。所定の座標系については、後述する。

位置判定部１３２は、所定の座標系における位置が追加された検出データ３１を、位置特定部１３１から受ける。位置判定部１３２は、位置特定部１３１により特定された第１物体の位置及び第２物体の位置に基づいて、第１物体と第２物体とが同一物体であるか否かを判断する。

種別判定部１３３は、第１物体及び第２物体に対応する検出データ３１を検出部１２から受ける。種別判定部１３３は、その受けた検出データ３１に記録された検出物体の種別に基づいて、第１物体と第２物体とが同一物体であるか否かを判定する。所定の座標系における第１物体及び第２物体の位置の比較に加えて、第１物体の種別を第２物体の種別と比較することで、第１物体と第２物体が同一物体であるか否かを判定する精度を、さらに向上させることができる。

最終判定部１３４は、位置判定部１３２及び種別判定部１３３の判定結果に基づいて、第１物体と第２物体とが同一物体であるか否かを最終的に判定する。具体的には、位置判定部１３２及び種別判定部１３３の両者が、第１物体と第２物体とが同一物体であると判定した場合、最終判定部１３４は、第１物体と第２物体とが同一物体であるとの最終判定を行う。位置判定部１３２及び種別判定部１３３の少なくとも一方が第１物体と第２物体とが異なる物体であると判定した場合、最終判定部１３４は、第１物体と第２物体とが同一物体でないとの最終判定を行う。最終判定部１３４は、第１物体と第２物体とが同一物体であると最終判定した場合、位置特定部１３１から受けた検出データ３１を領域設定部１４に出力する。

記憶部１３５は、書き換え可能な記憶装置であり、履歴データ３５を記憶する。記憶部１３５は、例えば、ＲＡＭ（Read Only Memory）等の揮発性記憶装置、あるいはフラッシュメモリ等の不揮発性記憶装置である。履歴データ３５は、検出部１２により検出された物体の位置の履歴を記録する。履歴データ３５に記録される位置は、所定の座標系に対応する。

（領域設定部１４）
領域設定部１４は、第１物体及び第２物体に対応する検出データ３１を判定部１３から受けた場合、その受けた検出データ３１に基づいて、第１フレーム及び第２フレームに対して、色味抽出領域を設定する。

第１フレームに設定される色味抽出領域は、第１物体が検出された第１フレームの領域に基づいて設定される。第２フレームに設定される色味抽出領域は、第２物体が検出された第２フレームの領域に基づいて設定される。

（画像補正部１５）
画像補正部１５は、第１フレーム及び第２フレームに設定された色味抽出領域を領域設定部１４から受け、第１フレーム及び第２フレームを画像取得部１１から受ける。画像補正部１５は、第１フレームで設定された色味抽出領域における色味と、第２フレームで設定された色味抽出領域における色味とに基づいて、第２フレームを補正する。なお、画像補正部１５は、第１フレーム及び第２フレームの少なくとも一方の色味を補正すればよい。

（画像合成部１６）
画像合成部１６は、第１フレームと、色味が補正された第２フレームを画像補正部１５から受ける。画像合成部１６は、その受けた第１フレームと第２フレームとを合成して合成フレーム６０を生成し、生成した合成フレーム６０を表示装置２に出力する。なお、第１フレーム及び第２フレームの両者の色味が補正された場合、画像合成部１６は、色味が補正された第１フレーム及び第２フレームを合成する。

（信号取得部１７）
信号取得部１７は、車速センサ３から車両９の車速を示す車速信号を定期的に取得し、取得した車速信号をカメラ選択部１８に出力する。信号取得部１７は、舵角センサ４から車両９の前輪舵角を示す舵角信号を定期的に取得し、取得した舵角信号をカメラ選択部１８に出力する。

（カメラ選択部１８）
カメラ選択部１８は、信号取得部１７から受けた車速信号及び舵角信号に基づいて、カメラ選択データ３２を生成する。具体的には、カメラ選択部１８は、４台のカメラ５の中から、物体検出の対象となる２台のカメラを選択し、選択した２台のカメラを示すデータをカメラ選択データ３２として生成する。

｛３．色味調整処理の概略｝
（色味調整処理の必要性）
図５は、４台のカメラ５により撮影されるフレーム５１の一例を示す図である。図５を参照して、人物４１が前方フレーム５１Ｆ及び右方フレーム５１Ｒに映っている。人物４１Ｆは、前方フレーム５１Ｆに映っている人物４１であり、人物４１Ｒは、右方フレーム５１Ｒに映っている人物４１である。

人物４１Ｆと人物４１Ｒとが同一人物であるにも関わらず、人物４１Ｆと人物４１Ｒとは、異なる色味で表現される場合がある。例としては、フロントカメラ５Ｆの機種と、右サイドカメラ５Ｒの機種とが異なる場合などが挙げられる。

２つのフレームを合成する場合、２つのフレームの境界を目立たなくするために、各フレームの色温度を変化させるホワイトバランスの調整が行われる。色温度の変化は、フレームの全領域にわたって行われる。つまり、ホワイトバランスの調整は、２つのフレームにおける特定の色（例えば、黄色）の色味を一致させる処理ではない。

従って、前方フレーム５１Ｆ及び右方フレーム５１Ｒのホワイトバランスを一致させてから、右方フレーム５１Ｒを前方フレーム５１Ｆと合成したとしても、合成フレーム６０における前方フレーム５１Ｆの領域と、合成フレーム６０における右方フレーム５１Ｒの領域とで、特定の色が異なる色味で表現されるという現象が生じる。

人物４１が、合成フレーム６０における前方フレーム５１Ｆと右方フレーム５１Ｒとの境界を横切るように移動した場合、合成フレーム６０における人物４１の色は、人物４１が境界を通過する時に変化する。車両９の運転者は、人物４１の色が合成フレーム６０の特定の領域で変化するため、違和感を覚える。

そこで、画像処理装置１は、第１フレーム及び第２フレームの２つのフレームを合成する際に、２つのフレームから物体を検出し、２つのフレームから検出された２つの物体が同じであるか否かを判断する。第１フレーム及び第２フレームは、撮影領域が重複する２台のカメラにより生成される。検出された２つの物体が同じである場合、画像処理装置１は、各フレームで物体が検出された領域を色味抽出領域に設定し、各フレームに設定された色味抽出領域の色味に基づいて、第２フレームの色味を調整する。これにより、物体が合成フレームにおける２つのフレームの境界を通過する際に生じる物体の色味の変化を抑制できるため、合成フレームに対する運転手の違和感を抑制することができる。

｛４．画像処理装置１の動作｝
図６は、図１に示す画像処理装置１の動作を示すフローチャートである。図６を参照しながら、画像処理装置１の動作について説明する。例えば、画像処理装置１は、車両９が停止状態から動き出した場合、図６に示す処理を開始して、合成フレーム６０をリアルタイムに表示装置２に出力する。

｛４．１．カメラの選択｝
最初に、カメラ選択部１８が、４台のカメラ５の中から、２台のカメラを選択する（ステップＳ１１）。具体的には、信号取得部１７は、車速信号を車速センサ３から定期的に取得し、舵角信号を舵角センサ４から定期的に取得する。信号取得部１７は、車速信号及び舵角信号を取得するたびに、その取得した車速信号及び舵角信号をカメラ選択部１８に出力する。

カメラ選択部１８は、信号取得部１７から受けた車速信号に基づいて、車両９の進行方向及び速さを特定する。車両９の速さは、合成フレーム６０を生成するか否かを判定するために用いられる。具体的には、車両９が所定値以下の速さで走行している場合、カメラ選択部１８は、合成フレーム６０を生成することを決定する。車両９の進行方向は、車両９が前進しているか後進しているかを示しており、フロントカメラ５Ｆ及びリアカメラ５Ｂのうちいずれ一方を選択するために用いられる。車両９が前進している場合、フロントカメラ５Ｆが選択される。車両９が後進している場合、リアカメラ５Ｂが選択される。

カメラ選択部１８は、信号取得部１７から受けた舵角信号に基づいて、車両９の前輪舵角を特定する。車両９の前輪舵角は、左サイドカメラ５Ｌ及び右サイドカメラ５Ｒのうちいずれ一方を選択するために用いられる。前輪が直進方向を基準として時計回りに回転している場合、右サイドカメラ５Ｒが選択される。前輪が反時計回りに旋回している場合、左サイドカメラ５Ｌが選択される。

つまり、カメラ選択部１８は、車両９の挙動に基づいて２台のカメラを選択する。例えば、後退駐車している車両９の出庫時において、車両９が右折する場合を想定する。この場合、カメラ選択部１８は、車両９の右前方の映像を表示装置２に表示させるために、フロントカメラ５Ｆ及び右サイドカメラ５Ｒを選択する。前方フレーム５１Ｆと右方フレーム５１Ｒとが合成された合成フレーム６０が表示装置２に表示されるため、運転者は、車両９の進行方向である右前方の様子を容易に確認できる。

｛４．２．物体検出｝
カメラ選択部１８は、ステップＳ１１で選択した２台のカメラを示すカメラ選択データ３２を生成し、生成したカメラ選択データ３２を検出部１２に供給する。検出部１２は、カメラ選択部１８から受けたカメラ選択データ３２に基づいて、ステップＳ１１で選択された２台のカメラにより撮影された２つのフレームを画像取得部１１から取得する（ステップＳ１２）。

ステップＳ１２で取得される２つのフレームは、検出タイミングに設定された一の時刻（時刻ｔ）に撮影されたフレームである。なお、２つのフレームの一方（第１フレーム）の撮影時刻と他方（第２フレーム）の撮影時刻とが完全に一致していなくてもよい。検出部１２は、画像取得部１１が取得した第１フレームのうち、時刻ｔに最も近い時刻に撮影された第１フレームを取得すればよい。時刻ｔに撮影された第２フレームの取得についても同様である。

検出部１２は、ステップＳ１２で取得した２つのフレームに対して物体検出処理を行う（ステップＳ１３）。検出部１２が複数種類の物体を検出する場合、検出部１２は、物体の種類に応じて、物体検出アルゴリズムを使い分けてもよい。検出部１２は、検出データ３１を検出物体ごとに生成する。つまり、検出部１２は、第１フレーム及び第２フレームの各々から物体を１つずつ検出した場合、２つの検出データ３１を生成する。

図７は、検出部１２により生成される検出データ３１の一例を示す図である。図７を参照して、検出データ３１は、フレーム識別番号、仮ＩＤ、検出時刻、窓位置、窓サイズ、種別、及び車両座標系における検出位置を記録する。車両座標系については後述する。

フレーム識別番号は、各カメラにより撮影されたフレームを一意に特定するために、フレームごとに付与される。フレーム識別番号を参照することにより、物体が検出されたフレーム、そのフレームを撮影したカメラを特定できる。仮ＩＤは、検出物体に割り当てられる一時的な識別番号である。検出時刻は、検出タイミングに設定された時刻ｔである。窓位置及び窓サイズは、物体検出時にフレームに設定されていた窓の中心位置及び窓のサイズを示す。種別は、検出物体の種類を示す。検出位置は、時刻ｔ（検出時刻）における検出物体の車両座標系での位置を示す。なお、検出位置は、位置特定部１３１によって特定されるため、検出データ３１が生成された時点で検出データ３１に記録されない。

｛４．３．位置特定｝
判定部１３において、位置特定部１３１は、検出部１２から検出データ３１を受けた場合、その受けた検出データ３１に記録されている検出物体の車両座標系における位置を特定する（ステップＳ１４）。

図２を参照して、車両座標系を説明する。車両座標系は、車両９の車両中心Ｏを原点とした２次元座標である。車両中心Ｏは、例えば、車両９の重心である。車両座標系において、Ｘ軸は、車両の直進方向に平行であり、かつ、車両中心Ｏを通過する直線である。Ｙ軸は、車両の左右方向に平行であり、かつ、車両中心Ｏを通過する直線である。なお、車両中心Ｏを、フロントカメラ５Ｆとリアカメラ５Ｂとを結ぶ直線と、左サイドカメラ５Ｌと右サイドカメラ５Ｒとを結ぶ直線との交点に設定してもよい。

位置特定部１３１は、検出データ３１に記録されている窓位置及び窓サイズに基づいて、車両座標系における検出物体の位置を特定する。車両座標系における検出物体の位置を特定する方法は、既知であるため、その詳細な説明を省略する。位置特定部１３１は、特定した検出物体の車両座標系における位置を、検出位置として検出データ３１に追加する。図７を参照して、ステップＳ１４を実行することにより、検出位置が検出データ３１に記録されていることが分かる。

｛４．４．同一判定方法の決定｝
位置判定部１３２は、検出位置が追加された検出データ３１を位置特定部１３１から受ける。位置判定部１３２は、位置特定部１３１から受けた検出データ３１に基づいて、時刻ｔにおける２つのフレームから物体が検出されたか否かを判定する（ステップＳ１５）。

位置判定部１３２は、時刻ｔにおける第１フレームから検出された第１物体の検出データ３１と、時刻ｔにおける第２フレームから検出された第２物体の検出データ３１とを受けた場合、時刻ｔにおける２つのフレームから物体が検出されたと判定する（ステップＳ１５においてＹｅｓ）。この場合、位置判定部１３２は、時刻ｔの検出位置を用いた同一判定を実行する（ステップＳ１６）。ステップＳ１６については後述する。

一方、２つのフレームの少なくとも一方から物体が検出されなかった場合（ステップＳ１５においてＮｏ）、位置判定部１３２は、予測位置を用いた同一判定を実行する（ステップＳ２３）。ステップＳ２３については後述する。

｛４．５．時刻ｔの検出位置に基づく同一判定｝
時刻ｔにおける２つのフレームから物体が検出されている場合（ステップＳ１５においてＹｅｓ）、位置判定部１３２は、時刻ｔの検出位置に基づく同一判定を実行する（ステップＳ１６）。

図８は、時刻ｔの検出位置に基づく同一判定（ステップＳ１６）のフローチャートである。図９は、前方フレーム５１Ｆから検出された物体と、右方フレーム５１Ｒから検出された物体との位置関係の一例を示す図である。図９に示す座標系は、車両座標系である。図８及び図９を参照しながら、ステップＳ１６を詳しく説明する。

位置判定部１３２は、第１物体と第２物体とが同一物体であるための第１条件が満たされるか否かを判定する（ステップＳ１６１）。第１条件は、時刻ｔにおいて、第１物体及び第２物体の両者が重複領域内にあることである。重複領域は、第１カメラの撮影領域と第２カメラの撮影領域とが重複する領域であり、車両座標系において定義される。

時刻ｔにおいて、第１物体及び第２物体の両者が重複領域内にある場合、位置判定部１３２は、第１条件が満たされていると判断する。図９に示す例において、前方フレーム５１Ｆから検出された物体ＤＦ１が位置Ｐ１２に存在し、右方フレーム５１Ｒから検出された物体ＤＲ１が位置Ｐ１３に存在すると仮定する。この場合、物体ＤＦ１及び物体ＤＲ１は重複領域６４内に存在する。フロントカメラ５Ｆ及び右サイドカメラ５Ｒの両者は、重複領域６４を撮影できる。位置Ｐ１２にある物体ＤＦ１と、位置Ｐ１３にある物体ＤＲ１とは、同一物体の可能性があるため、第１条件を満たす。

一方、時刻ｔにおいて、第１物体及び第２物体の少なくとも一方が、重複領域外にある場合、位置判定部１３２は、第１条件が満たされていないと判断する。図９に示す例において、物体ＤＦ１が位置Ｐ１１に存在し、物体ＤＲ１が位置Ｐ１３に存在すると仮定する。この場合、右サイドカメラ５Ｒは、位置Ｐ１１にある物体ＤＦ１を撮影することができない。位置Ｐ１１にある物体ＤＦ１と、位置Ｐ１３にある物体ＤＲ１とは、異なる物体であるため、第１条件を満たさない。

ステップＳ１６１の後に、位置判定部１３２は、時刻ｔにおける第１物体から第２物体までの距離を算出する（ステップＳ１６２）。

位置判定部１３２は、第１物体と第２物体とが同一物体であるための第２条件が満たされるか否かを判定する（ステップＳ１６３）。第２条件は、ステップＳ１６２で算出した距離が所定の距離以下であることである。所定の距離は、例えば、検出物体の車両座標系における位置について想定される最大誤差に基づいて決定される。第１物体の車両座標系における位置の誤差の最大範囲と、第２物体の車両座標系における位置の誤差の最大範囲とが重ならない場合、第１物体と第２物体とが同一物体である可能性は低いと考えられるためである。

図９に示す例では、物体ＤＦ１が位置Ｐ１２にあり、物体ＤＲ１が位置Ｐ１３にある場合、位置判定部１３２は、位置Ｐ１２から位置Ｐ１３までの距離Ｄ１を算出する。距離Ｄ１が所定の距離以下である場合、位置特定部１３１は、第２条件が満たされていると判定する。

次に、種別判定部１３３が、第１物体と第２物体とが同一物体であるための第３条件が満たされるか否かを判定する（ステップＳ１６４）。第３条件は、時刻ｔにおいて、第１物体の種別と第２物体の種別とが一致することである。種別判定部１３３は、検出部１２から取得した検出データ３１に記録された種別を比較して、第３条件が満たされているか否かを判定する。例えば、図９に示す物体ＤＦ１の種別と物体ＤＲ１の種別とがともに人物である場合、種別判定部１３３は、第３条件が満たされていると判定する。

最終判定部１３４は、位置判定部１３２による判定結果と、種別判定部１３３による判定結果とに基づいて、時刻ｔにおける第１物体と第２物体とが同一物体であるか否かの最終判定を行う（ステップＳ１６５）。具体的には、第１～第３条件の全てが満たされている場合、最終判定部１３４は、時刻ｔにおいて、第１物体と第２物体とが同一物体であると最終的に決定する。第１～第３条件の少なくとも１つが満たされていない場合、最終判定部１３４は、時刻ｔにおいて、第１物体と第２物体とが異なる物体であると最終的に決定する。

最終判定部１３４は、時刻ｔにおいて、第１物体と第２物体とが同一物体であると決定した場合、検出位置が追加された第１物体及び第２物体の検出データ３１を、領域設定部１４に出力する。

｛４．６．予測位置に基づく同一判定｝
再び、図６を参照する。時刻ｔにおける第１フレーム及び第２フレームの少なくとも一方から物体が検出されなかった場合（ステップＳ１５においてＮｏ）、判定部１３は、予測位置を用いた同一判定を実行する（ステップＳ２３）。

予測位置を用いた同一判定（ステップＳ２３）の説明では、第１フレームが前方フレーム５１Ｆであり、第２フレームが右方フレーム５１Ｒである場合を例に説明する。

図１０は、前方フレーム５１Ｆから検出された物体と、右方フレーム５１Ｒから検出された物体との位置関係の他の例を示す図である。図１０において、物体ＤＦ２は、前方フレーム５１Ｆから検出される。物体ＤＲ２は、右方フレーム５１Ｒから検出される。図１０に示す座標系は、車両座標系である。

物体ＤＲ１、ＤＲ２について以下のように想定する。物体ＤＲ１は、時刻ｔ－１の前方フレーム５１Ｆから検出されず、時刻ｔの前方フレーム５１Ｆから新たに検出される。物体ＤＲ２は、時刻ｔ－１の右方フレーム５１Ｒから検出され、時刻ｔの右方フレーム５１Ｒから検出されない。ここで、時刻ｔ－１は、時刻ｔの直前に設定された検出タイミングである。つまり、物体ＤＦ２は、一の時刻（時刻ｔ）において第１フレームから検出された第１物体に対応し、物体ＤＲ２は、時刻ｔよりも前の時刻（時刻ｔ－１）において第２フレームから検出された第２物体に対応する。

これらの想定の下において、位置判定部１３２は、時刻ｔにおける物体ＤＦ１の検出位置と、時刻ｔにおける物体ＤＲ２の予測位置とに基づいて、物体ＤＦ１と物体ＤＲ２とが同一物体であるか否かを判定する。

予測位置を用いた同一判定（ステップＳ２３）では、時刻ｔ－１におけるフレームから検出された検出物体の検出位置を記録する履歴データ３５が参照される。図１１は、履歴データ３５の一例を示す図である。図１１を参照して、履歴データ３５は、検出物体ごとに、物体ＩＤ、フレーム識別番号、時刻ｔ－１における検出位置、時刻ｔ－２における検出位置、予測位置、窓位置、窓サイズ、及び種別を記録する。ｔ－２は、時刻ｔ－１の直前に設定された検出タイミングである。

物体ＩＤは、時刻ｔ－１に検出された検出物体を一意に特定する識別番号であり、検出データ３１に記録される仮物体ＩＤと異なる。物体ＩＤ「１」の物体は、図１０に示す物体ＤＲ２に対応する。フレーム識別番号は、図７に示すフレーム識別番号と同じであり、各カメラにより撮影されたフレームを一意に特定する。例えば、図１１において、物体ＩＤ「１」が付与された物体ＤＲ２は、右方フレーム５１Ｒから検出されたことが分かる。

時刻ｔ－１及び時刻ｔ－２における検出位置は、検出物体の車両座標系における位置を示す。図１１において、物体ＩＤ「３」の時刻ｔ－２における検出位置が、履歴データ３５に記録されていない。この理由は、物体ＩＤ「３」の検出物体が時刻ｔ－２においてフレーム５１から検出されなかったためである。予測位置は、時刻ｔ－１に検出された検出物体が時刻ｔにおいて存在するであろう位置を示す。

窓位置及び窓サイズは、図７に示す窓位置及び窓サイズと同じであり、検出物体が検出されたときにフレームに設定されていた窓の中心位置及び窓のサイズである。種別は、検出データ３１に記録される種別と同じである。

図１２は、予測位置に基づく同一判定（ステップＳ２３）のフローチャートである。以下、図１０～図１２を参照しながら、時刻ｔにおける物体ＤＦ２の検出位置と、時刻ｔにおける物体ＤＲ２の予測位置とに基づいて、物体ＤＦ２と物体ＤＲ２とが同一物体であるか否かを判定する処理を詳しく説明する。

位置判定部１３２は、記憶部１３５から履歴データ３５を読み出す（ステップＳ２３１）。位置判定部１３２は、読み出した履歴データ３５を参照して、予測位置を用いた同一判定に利用可能な検出物体が記録されているか否かを判断する（ステップＳ２３２）。

上記の想定では、物体ＤＦ２が、一の時刻（時刻ｔ）において第１フレームから検出された第１物体に対応する。前方フレーム５１Ｆが第１フレームに対応するため、位置判定部１３２は、右方フレーム５１Ｒから検出され、かつ、予測位置が記録されている検出物体を、履歴データ３５から検索する。図１１に示すように、履歴データ３５において、物体ＤＲ２（ＩＤ「１」の検出物体）の予測位置が記録されており、物体ＤＲ２は、右方フレーム５１Ｒから検出されている。このため、位置判定部１３２は、履歴データ３５における物体ＤＲ２の記録を利用可能であると判断し（ステップＳ２３２においてＹｅｓ）、物体ＤＲ２の予測位置を取得する（ステップＳ２３３）。履歴データ３５に記録されている物体ＤＲ２が、時刻ｔ－１において第２フレームから検出された第２物体に対応する。

位置判定部１３２は、時刻ｔにおける物体ＤＦ１の検出位置から、時刻ｔにおける物体ＤＲ２の予測位置までの距離を算出する（ステップＳ２３４）。

一方、図１１に示す履歴データ３５が、時刻ｔにおける物体ＤＲ２の予測位置を記録していない場合、位置判定部１３２は、予測位置を用いた同一判定に利用可能な検出物体が記録されていないと判断する（ステップＳ２３２においてＮｏ）。この場合、位置判定部１３２は、予測位置に基づく同一判定が不可能であると判断し（ステップＳ２３８）、図１２に示す処理を終了する。

ステップＳ２３３の後、位置判定部１３２は、時刻ｔにおける物体ＤＦ２と時刻ｔ－１における物体ＤＲ２とが同一物体であるための第１条件が満たされているか否かを判断する（ステップＳ２３５）。第１条件は、ステップＳ２３４で算出した距離が所定の距離以下であることである。所定の距離は、例えば、時刻ｔにおける物体ＤＲ１の検出位置で想定される最大誤差と、時刻ｔにおける物体ＤＲ２の予測位置で想定される最大誤差に基づいて決定される。

図１０において、位置Ｐ２１は、時刻ｔにおける物体ＤＦ１の検出位置である。位置Ｐ２２は、時刻ｔ－１における物体ＤＲ２の検出位置である。位置Ｐ２３は、時刻ｔにおける物体ＤＲ２の予測位置である。つまり、物体ＤＲ２は、時刻ｔ－１から時刻ｔまでの期間において、位置Ｐ２２から位置Ｐ２３まで移動すると予測されている。位置Ｐ２１から位置Ｐ２３までの距離Ｄ２が所定の距離以下である場合、位置判定部１３２は、時刻ｔにおいて位置Ｐ２１にある物体ＤＦ１と、時刻ｔ－１において位置Ｐ２２にある物体ＤＲ２とが同一物体の可能性があると判定する。

次に、種別判定部１３３が、時刻ｔにおける物体ＤＦ２と時刻ｔ－１における物体ＤＲ２とが同一物体であるための第２条件が満たされるか否かを判定する（ステップＳ２３６）。第２条件は、時刻ｔにおける物体ＤＦ２の種別と時刻ｔ－１における物体ＤＲ２の種別とが一致することである。種別判定部１３３は、検出データ３１に記録されている物体ＤＦ２の種別と、履歴データ３５に記録されている物体ＤＲ２の種別とを比較して、第２条件が満たされているか否かを判定する。

最終判定部１３４は、位置判定部１３２による判定結果と、種別判定部１３３による判定結果とに基づいて、時刻ｔにおける物体ＤＦ２と時刻ｔ－１における物体ＤＲ２とが同一物体であるか否かの最終判定を行う（ステップＳ２３７）。具体的には、第１～第２条件の全てが満たされている場合、最終判定部１３４は、時刻ｔにおける物体ＤＦ２と時刻ｔ－１における物体ＤＲ２とが同一物体であると最終的に決定する。第１～第２条件の少なくとも１つが満たされていない場合、最終判定部１３４は、時刻ｔにおける物体ＤＦ２と時刻ｔ－１における物体ＤＲ２とが異なる物体であると最終的に決定する。

最終判定部１３４は、時刻ｔにおける物体ＤＦ２と、時刻ｔ－１における物体ＤＲ２とが同一物体であると決定した場合、時刻ｔにおける物体ＤＦ２の検出データ３１と、時刻ｔ－１における物体ＤＲ２の検出データ３１とを、領域設定部１４に出力する。

なお、時刻ｔにおいて右方フレーム５１Ｒから物体が検出され、時刻ｔ－１において前方フレーム５１Ｆから物体が検出された場合も、上記と同様に、これら２つの物体が同一の物体であるか否かを予測位置を用いて判定できる。また、カメラ選択部１８が、フロントカメラ５Ｆ及び右サイドカメラ５Ｒ以外の２台のカメラを選択した場合であっても、予測位置に基づく同一判定を同様に実行できる。

｛４．７．色味抽出領域設定｝
図６を参照して、第１フレームから検出された第１物体と、第２フレームから検出された第２物体とが同一物体であると判定された場合（ステップＳ１７においてＹｅｓ）、領域設定部１４は、第１フレーム及び第２フレームの両者に対して色味抽出領域を設定する（ステップＳ１８）。ただし、時刻ｔの検出位置に基づく同一判定（ステップＳ１６）が行われた場合と、予測位置に基づく同一判定（ステップＳ２３）が行われた場合とで、色味抽出領域が設定されるフレームが異なる。

（時刻ｔの検出位置に基づく同一判定が行われた場合）
時刻ｔの検出位置に基づく同一判定（ステップＳ１６）が行われた場合、領域設定部１４は、時刻ｔにおける第１フレーム及び第２フレームに対して色味抽出領域を設定する（ステップＳ１８）。

色味抽出領域を第１フレームに設定する場合を例に説明する。色味抽出領域は、第１フレームにおいて第１物体を検出した窓の位置及びサイズに基づいて決定される。色味抽出領域は、例えば、以下の第１～第４の方法のいずれか１つによって設定される。第１の方法は、第１物体の検出に用いられた窓の領域を色味抽出領域に設定する。

第２の方法は、第１物体が人物である場合に用いられる。具体的には、第１物体の検出に用いられた窓が、垂直方向に３分割される。窓を分割する方法は、特に限定されない。３等分された領域が、上から順に頭領域、上半身領域、及び下半身領域に設定される。領域設定部１４は、これら３つの領域の各々において代表色を特定し、これら領域の中で代表色の占める割合が最も大きい領域を、色味抽出領域に設定する。代表色は、３つの領域の各々において一番大きい面積を占める色である。

第３の方法は、第１物体が自動車である場合に用いられる。第１物体の検出に用いられた窓のうち、自動車のボディ部に相当する領域が色味抽出領域に設定される。この場合、第１物体が検出された窓に対してエッジ検出処理を行う。検出されたエッジの内側領域が自動車のボディ部に相当するため、色味抽出領域に設定される。

第４の方法は、第１物体の検出に用いられた窓において、最も多くの領域を占める色を特定し、この特定した色の領域を色味抽出領域として設定する。

第２フレームの色味抽出領域は、第１フレームにおける色味抽出領域の決定方法と同じ方法で設定される。

（予測位置に基づく同一判定が行われた場合）
予測位置に基づく同一判定が行われた場合、領域設定部１４は、検出物体が実際に検出されたフレームに対して色味抽出領域を設定する。例えば、時刻ｔにおける第１フレームから検出された第１物体と、時刻ｔ－１における第２フレームから検出された第２物体とが同一物体であると判定された場合、領域設定部１４は、時刻ｔにおける第１フレームと時刻ｔ－１における第２フレームに対して色味抽出領域を設定する。

時刻ｔにおける第１フレームと時刻ｔ－１における第２フレームに対して色味抽出領域を設定する方法は、上記と同じであるため、その説明を省略する。

｛４．８.色味補正｝
画像補正部１５は、第１フレーム及び第２フレームに対して設定された色味抽出領域を示すデータを領域設定部１４から受け、その受けた色味抽出領域を示すデータに基づいて、第１フレーム及び第２フレームを補正する（ステップＳ１９）。

（ＲＧＢ信号を用いる場合）
図１３は、画像補正部１５により実行される色味補正（ステップＳ１９）のフローチャートである。図１３を参照しながら、第１フレーム及び第２フレームの各画素の画素信号がＲＧＢ信号である場合を例にして、色味補正（ステップＳ１９）を説明する。

最初に、画像補正部１５は、画像取得部１１から、時刻ｔにおける第１フレーム及び第２フレームを取得し、取得した２つのフレームの少なくとも一方の色味を補正する。なお、予測位置に基づく同一判定が行われた場合、画像補正部１５は、さらに、時刻ｔ－１における第２フレームを取得する。

画像補正部１５は、ステップＳ１８で設定された第１フレームの色味抽出領域と第２フレームの色味抽出領域とから色味を抽出する（ステップＳ１９１）。色味は、同一判定が行われたフレームから抽出される。具体的には、時刻ｔの検出位置に基づく同一判定（図６に示すステップＳ１６）が行われた場合、時刻ｔにおける第１フレーム及び第２フレームから色味が抽出される。予測位置に基づく同一判定（図６に示すステップＳ２３）が行われた場合、時刻ｔにおける第１フレームと、時刻ｔ－１における第２フレームとから色味が抽出される。

色味の抽出を具体的に説明する。画像補正部１５は、第１フレームの色味抽出領域内の各画素の画素信号から、第１フレームの領域平均を算出する。領域平均は、色味抽出領域内の各画素のＲＧＢ信号を成分ごとに平均することにより得られる。第１フレームの領域平均が、第１フレームの色味抽出領域から抽出された色味に相当する。同様に、画像補正部１５は、第２フレームの領域平均を算出する。

画像補正部１５は、各フレームの色味抽出領域から抽出された色味を用いて、色味補正量を算出する（ステップＳ１９２）。具体的には、画像補正部１５は、第１フレームの領域平均と第２フレームの領域平均との差分を色味補正量として算出する。つまり、色味補正量は、ＲＧＢ信号であり、下記の式（１）～（３）によって算出される。

ΔＲ_１－２＝Ｒ_１－Ｒ_２ ・・・（１）
ΔＧ_１－２＝Ｇ_１－Ｇ_２ ・・・（２）
ΔＢ_１－２＝Ｂ_１－Ｂ_２ ・・・（３）

式（１）～（３）において、Ｒ_１、Ｇ_１、Ｂ_１は、第１フレームの領域平均におけるＲ成分、Ｇ成分、Ｂ成分である。Ｒ_２、Ｇ_２、Ｂ_２は、第２フレームの領域平均におけるＲ成分、Ｇ成分、Ｂ成分である。ΔＲ_１－２、ΔＧ_１－２、ΔＢ_１－２は、色味補正量のＲ成分、Ｇ成分、Ｂ成分である。

画像補正部１５は、ステップＳ１９２で算出した色味補正量を用いて、時刻ｔにおける第１フレーム及び第２フレームの少なくとも一方の色味を補正する（ステップＳ１９３）。

画像補正部１５は、式（１）～（３）により得られた色味補正量を第２フレームの各画素の画素信号に加算する。この結果、第２フレーム全体の色味が、第１フレームの色味抽出領域における色味と合うように調整される。この場合、第１フレームの色味をしなくてもよいため、色味補正に要する時間を短縮することができる。

あるいは、画像補正部１５は、第２フレームの各画素に設定された補正係数を色味補正量に乗じることにより乗算値を算出し、その乗算値を第２フレームの各画素の画素信号に加算する。補正係数は、第２フレームの各画素から、合成フレーム６０における第１フレームと第２フレームとの境界線までの距離に応じて設定される。補正係数の最大値は１であり、その最小値は０である。補正係数は、第２フレームの各画素から境界線までの距離が大きくなるにつれて小さくなる。

図１４は、前方フレーム５１Ｆと右方フレーム５１Ｒとを合成する場合における補正係数の設定方法を説明する図である。図１４において、合成フレーム６０は、前方フレーム５１Ｆと右方フレーム５１Ｒとを合成することにより生成される。このため、ハッチング領域における映像（左サイドカメラ５Ｌ及びリアカメラ５Ｂの映像）は、表示装置２に表示されない。境界線ＫＬは、合成フレーム６０における前方フレーム５１Ｆと右方フレーム５１Ｒとの境界を示す。

図１４において、画像補正部１５は、右方フレーム５１Ｒの色味を補正する場合、右方フレーム５１Ｒの画素Ｐの補正係数を、境界線ＫＬと画素Ｐとを結ぶ直線ＭＬの長さに基づいて設定する。補正係数は、直線ＭＬの長さが０に近づくほど１に近づき、直線ＭＬの長さが大きくなるにつれて０に近づく。この結果、右方フレーム５１Ｒの画素は、境界線ＫＬに近いほど、第１フレームの色味と合うように調整される。画素Ｐは、境界線ＫＬから遠ざかるにつれて、補正前の画素Ｐの色味に近づくため、色味が極端に変化することを抑制できる。

なお、画像補正部１５は、第１フレーム及び第２フレームの各々に対応する色味補正量を算出して、第１フレーム及び第２フレームの両者を補正してもよい。具体的には、画像補正部１５は、フレーム間平均を算出する。フレーム間平均は、第１フレームの領域平均と第２フレームの領域平均との平均である。第１フレームの色味補正量は、フレーム間平均と第１フレームの領域平均との差分である。第２フレームの色味補正量は、フレーム間平均と第２フレームの領域平均との差分である。第１フレーム及び第２フレームの色味は、上述した第２フレームの色味の補正と同様に補正される。この場合、補正前と補正後において、色味が極端に変化することを抑制できる。

（ＨＳＶ信号を用いる場合）
画像補正部１５は、ＨＳＶ信号を用いて、２つのフレームの一方の色味を補正してもよい。この場合、画像補正部１５は、第１フレーム及び第２フレームにおける色味抽出領域内の各画素のＲＧＢ信号をＨＳＶ信号に変換し、変換したＨＳＶ信号を用いて、第１フレーム及び第２フレームの領域平均を算出する。

画素信号がＲＧＢ信号である場合と同様に、画像補正部１５は、第１フレームの領域平均と第２フレームの領域平均との差分を、ＨＳＶ信号の成分ごとに算出する。画像補正部１５は、以下の式（４）～（６）を用いて、第２フレームの各画素の画素信号を補正する。式（４）～（６）が用いられる場合、第１フレームの色味は補正されない。

Ｈ_ｐ’＝Ｈ_ｐ＋ΔＨ_１－２ ・・・（４）
Ｓ_ｐ’＝（１＋ΔＳ_１－２／Ｓ_１）×Ｓ_ｐ ・・・（５）
Ｖ_ｐ’＝（１＋ΔＶ_１－２／Ｖ_１）×Ｖ_ｐ ・・・（６）

式（４）～（６）において、Ｓ_１、Ｖ_１は、第１フレームの領域平均のＳ成分、Ｖ成分である。Ｈ_ｐ，Ｓ_ｐ、Ｖ_ｐは、第２フレームの各画素における補正前の画素信号のＨ成分、Ｓ成分、Ｖ成分である。Ｈ_ｐ’，Ｓ_ｐ’、Ｖ_ｐ’は、第２フレームの各画素における補正後の画素信号のＨ成分、Ｓ成分、Ｖ成分である。ΔＨ_１－２、ΔＳ_１－２、ΔＶ_１－２は、第１フレームの領域平均と第２フレームの領域平均との差分値におけるＨ成分、Ｓ成分、Ｖ成分である。

式（４）は、第２フレームの色相を、第１フレームの色相に一致させることを示す。式（５）、（６）は、第２フレームの各画素の彩度、明度のゲインを、第１フレームの領域平均の彩度、明度を用いて調整することを示す。

画像補正部１５は、式（４）～（６）を用いて第２フレームの各画素のＨＳＶ信号を補正した後に、補正されたＨＳＶ信号をＲＧＢ信号に再び変換する。これにより、第２フレームにおける色味補正が終了する。

なお、画像補正部１５は、ＨＳＶ信号を用いて色味補正を行う場合においても、補正係数を用いてもよいし、第１フレーム及び第２フレームの両者の色味を補正してもよい。ＨＳＶ信号を用いて第１フレーム及び第２フレームの色味を補正する場合、画像補正部１５は、上記と同様に、フレーム間平均を用いて、第１フレーム及び第２フレームの色味を補正すればよい。

また、各フレームの色味を補正する際に、ＲＧＢ信号及びＨＳＶ信号以外の信号を用いてもよい。例えば、ＨＬＳ信号や、ＹＵＶ信号を用いて、各フレームの色味を補正してもよい。

また、各フレームの画素の画素信号は、ＲＧＢ信号でなくてもよく、特に限定されない。例えば、画素信号は、ＨＳＶ信号、ＨＬＳ信号、ＹＵＶ信号のいずれかでもよい。また、各フレームの色空間が互いに異なっていてもよい。例えば、第１フレームにおける色空間がＲＧＢであり、第２フレームにおける色空間がＹＵＶであってもよい。この場合、第１フレームから抽出される色味と、第２フレームから抽出される色味とを、第１フレーム及び第２フレームの一方の色空間に合わせればよい。

｛４．９．位置予測｝
再び、図６を参照する。画像補正部１５が第１フレーム及び第２フレームの少なくとも一方の色味を補正した（ステップＳ１９）後に、位置特定部１３１は、時刻ｔにおける検出物体の検出位置に基づいて、時刻ｔ＋１における検出物体の位置を予測する（ステップＳ２０）。

図１５は、図６に示す位置予測（ステップＳ２０）のフローチャートである。図１５を参照しながら、図１０に示す物体ＤＦ２が時刻ｔに撮影された前方フレーム５１Ｆから検出された場合を例にして、位置予測（ステップＳ２０）を詳しく説明する。この場合、位置特定部１３１は、時刻ｔ＋１における物体ＤＦ２の位置を予測する。

位置特定部１３１は、時刻ｔに検出された前方フレーム５１Ｆから検出された物体ＤＦ２に関して、予測位置に基づく同一判定処理（図６に示すステップＳ２３）が行われたか否かを判定する（ステップＳ２０１）。

予測位置に基づく同一判定処理が物体ＤＦ２に関して行われていた場合（ステップＳ２０１においてＹｅｓ）、位置特定部１３１は、物体ＤＦ２と同一物体と判定された物体の時刻ｔ－１における検出位置を、履歴データ３５から取得する（ステップＳ２０２）。具体的には、物体ＤＦ２が、図１１に示す履歴データ３５に記録された物体ＤＲ２と同一であるとステップＳ２３において判定されていた場合、位置特定部１３１は、物体ＤＲ２（物体ＩＤ「１」の検出物体）の時刻ｔ－１における検出位置を、履歴データ３５から取得する。

位置特定部１３１は、時刻ｔにおける物体ＤＦ２の検出位置と時刻ｔ－１における物体ＤＲ２の検出位置とに基づいて、時刻ｔ＋１における物体ＤＦ２の位置を予測する（ステップＳ２０３）。時刻ｔ＋１は、時刻ｔの次に設定される検出タイミングである。具体的には、位置特定部１３１は、時刻ｔ－１における物体ＤＲ２の検出位置から時刻ｔにおける物体ＤＦ２の検出位置へ移動するベクトルを算出する。位置特定部１３１は、その算出した移動ベクトルを平行移動して、移動ベクトルの起点を時刻ｔ－１における物体ＤＲ２の検出位置に設定する。位置特定部１３は、平行移動後の移動ベクトルの示す位置を、時刻ｔ＋１における物体ＤＦ２の予測位置として取得する。

位置特定部１３１は、履歴データ３５における物体ＤＲ２（物体ＩＤ「１」の物体）の記録を更新し（ステップＳ２０４）、図１５に示す処理を終了する。時刻ｔに検出された物体ＤＦ２と、時刻ｔ－１に検出された物体ＤＲ２とが同一物体であると判定されているためである。

具体的には、位置特定部１３１は、図１１に示す履歴データ３５において、物体ＩＤ「１」に対応するフレーム識別番号を、時刻ｔに撮影された前方フレーム５１Ｆのフレーム識別番号に書き換える。位置特定部１３１は、時刻ｔにおける物体ＤＦ２の検出位置を、物体ＩＤ「１」の時刻ｔにおける検出位置として履歴データ３５に追加する。位置特定部１３１は、物体ＩＤ「１」に対応する予測位置を、ステップＳ２０３で予測された時刻ｔ＋１における予測位置に書き換える。

次に、図９に示す物体ＤＦ１及びＤＦ２が、時刻ｔの検出位置に基づく同一判定（図６に示すステップＳ１６）により同一物体であると判定された場合における、物体ＤＦ１の位置予測について説明する。

物体ＤＦ１と物体ＤＲ１とが、時刻ｔの検出位置に基づく同一判定により同一物体であると判定されている（ステップＳ２０１においてＮｏ、ステップＳ２０５においてＹｅｓ）。この場合、物体ＤＦ１及び物体ＤＲ１の両者の位置を予測する必要がないため、位置特定部１３１は、物体ＤＲ１を位置予測の対象から外す（ステップＳ２０６）。

なお、図９に示す物体ＤＦ１及びＤＲ１が、時刻ｔの検出位置に基づく同一判定により同一物体でないと判定されている場合（ステップＳ２０５においてＮｏ）、位置特定部１３１は、物体ＤＦ１の位置予測と別に、物体ＤＲ１の位置を予測する。

位置特定部１３１は、物体ＤＦ１と同一の物体が履歴データ３５に記録されているか否かを判定する（ステップＳ２０７）。例えば、物体ＩＤ「２」の物体の時刻ｔ－１における検出位置が、物体ＤＦ１の時刻ｔにおける検出位置を中心とした所定の範囲内にあり、かつ、物体ＩＤ「２」の物体の種別が、物体ＤＦ１の種別と一致する場合、位置特定部１３１は、物体ＩＤ「２」の物体が物体ＤＦ１と同一物体であると判定する（ステップＳ２０７においてＹｅｓ）。

この場合、位置特定部１３１は、物体ＤＦ１の時刻ｔ＋１における位置を、物体ＤＦ１の時刻ｔにおける検出位置と、物体ＩＤ「２」の物体の時刻ｔ－１における検出位置とに基づいて予測する（ステップＳ２０３）。位置特定部１３１は、履歴データ３５における物体ＩＤ「２」の物体の記録を更新し（ステップＳ２０４）、図１５に示す処理を終了する。具体的には、位置特定部１３１は、物体ＩＤ「２」に対応するフレーム識別番号を、物体ＤＦ１が検出された前方フレーム５１Ｆのフレーム識別番号に書き換える。位置特定部１３１は、物体ＤＦ１の検出位置を、物体ＩＤ「２」の時刻ｔにおける検出位置として履歴データ３５に追加する。位置特定部１３１は、物体ＩＤ「２」に対応する予測位置を、ステップＳ２０３で予測された時刻ｔ＋１における予測位置に書き換える。

一方、物体ＤＦ１と同一の物体が履歴データ３５に記録されていない場合（ステップＳ２０７においてＮｏ）、位置特定部１３１は、物体ＤＦ１の時刻ｔ－１における位置を取得できないため、物体ＤＦ１の時刻ｔ＋１における位置を予測することができない。この場合、位置特定部１３１は、物体ＤＦ１に関するレコードを履歴データ３５に追加することを決定する（ステップＳ２０８）。

位置特定部１３１は、物体ＤＦ１に関するレコードを履歴データ３５に追加する。図１１に示す履歴データ３５に物体ＤＦ１に関するレコードを追加する場合、位置特定部１３１は、新たな物体ＩＤ「４」を発行し、物体ＩＤ「４」のレコードを履歴データ３５に追加する。位置特定部１３１は、物体ＩＤ「４」のフレーム識別番号として、物体ＤＦ１が検出された前方フレーム５１Ｆの識別番号を書き込む。物体ＤＦ１が検出された前方フレーム５１Ｆの識別番号は、物体ＤＦ１の検出データ３１から取得される。位置特定部１３１は、物体ＩＤ「４」の時刻ｔにおける検出位置として、物体ＤＦの検出位置を書き込む。時刻ｔよりも前の検出タイミングにおける物体ＩＤ「４」の検出位置は、履歴データ３５に記録されない。

｛４．１０．画像合成｝
図１を参照する。画像合成部１６は、画像補正部１５から第１フレーム及び第２フレームを取得する。画像補正部１５から取得される２つのフレームの少なくとも一方が、画像補正部１５により補正されている。画像合成部１６は、取得した第１フレームと第２フレームとを合成して、合成フレーム６０を生成する（図６に示すステップＳ２１）。合成フレーム６０は、公知の方法を用いることにより生成されるため、合成フレーム６０の生成についての説明を省略する。画像合成部１６は、合成フレーム６０を表示装置２に供給する。表示装置２は、画像合成部１６から受けた合成フレーム６０を表示する。

画像処理装置１は、画像合成を終了する場合（ステップＳ２２においてＹｅｓ）、図６に示す処理を終了する。画像処理装置１は、画像合成を継続する場合（ステップＳ２２においてＮｏ）、ステップＳ１２に戻る。

以上説明したように、画像処理装置１において、カメラ選択部１８は、４台のカメラ５のうち、車両９の進行方向に向けられた２台のカメラを選択する。検出部１２は、２台のカメラの一方により撮影された第１フレームから第１物体を検出し、他方により撮影された第２フレームから第２物体を検出する。第１物体と第２物体とが同一物体である場合、領域設定部１４は、第１フレームにおける第１物体の検出領域に基づいて第１フレームに色味抽出領域を設定し、第２フレームにおける第２物体の検出領域に基づいて第２フレームに色味抽出領域を設定する。画像補正部１５は、第１フレームの色味抽出領域における色味と、第２フレームの色味抽出領域における色味とに基づいて、第２フレームの色味を補正する。画像合成部１６は、第１フレームと、色味が補正された第２フレームとを合成する。これにより、物体が合成フレーム６０における第１フレームと第２フレームとの境界を通過する際に生じる当該物体の色味の変化が抑制されるため、運転者が合成フレーム６０に対して違和感を持つことを防ぐことができる。

時刻ｔに撮影された第１フレーム及び第２フレームから第１物体及び第２物体が検出されている場合、色味抽出領域は、一の時刻に撮影された第１フレーム及び第２フレームに対して設定される。この場合、２台のカメラが同一時刻に同一物体を撮影しているため、第１フレームと第２フレームとの色味差をさらに小さくできる。

第１物体が、時刻ｔ－１に撮影された第１フレームから検出され、時刻ｔに撮影された第１フレームから検出されなかった場合、判定部１３は、時刻ｔにおける第１物体の所定の座標系における予測位置と、時刻ｔにおける第２物体の所定の座標系における位置とに基づいて、第１物体と第２物体とが同一物体であるか否かを判定する。第１物体と第２物体とが同一物体である場合、領域設定部１４は、時刻ｔ－１に撮影された第１フレームに対して色味抽出領域を設定し、時刻ｔに撮影された第２フレームに対して色味抽出領域を設定する。この結果、実空間内を物体が移動することにより、同一時刻に撮影された第１フレーム及び第２フレームから同一物体を検出することができない場合であっても、画像処理装置１は、第１フレームの色味と第２フレームの色味とを合わせることができるため、合成フレーム６０に対する違和感を抑制することができる。

｛５．変形例｝
なお、第１の実施の形態において、判定部１３が、種別判定部１３３及び最終判定部１３４を備える例を説明したが、これに限られない。判定部１３は、種別判定部１３３及び最終判定部１３４を備えなくてもよい。つまり、判定部１３は、時刻ｔにおける検出位置に基づく同一判定（図８参照）において、ステップＳ１６４、Ｓ１６５を実行しなくてもよく、予測位置を用いた同一判定（図１２参照）において、ステップＳ２３６、Ｓ２３７を実行しなくてもよい。

また、時刻ｔにおける検出位置に基づく同一判定のステップＳ１６３において（図８参照）において、第１物体と第２物体が同一であるための第２条件が、第１物体から第２物体までの距離が所定の距離以下であることを説明したが、これに限られない。例えば、位置判定部１３２は、所定の座標系における第１物体及び第２物体の占有領域を特定する。判定部１３は、第１物体の占有領域が第２物体の占有領域と重複する場合に、第２条件が満たされると判定してもよい。あるいは、位置判定部１３２は、ステップＳ１６３を実行しなくてもよい。つまり、位置判定部１３２は、第１物体及び第２物体の両者が第１カメラの撮影領域と第２カメラの撮影領域との重複領域内に位置する場合、第１物体と第２物体とが同一物体であると判定してもよい。予測位置に基づく同一判定のステップＳ２３５（図１２参照）についても同様である。つまり、判定部１３は、第１物体の所定の座標系における検出位置と、第２物体の所定の座標系における検出位置とに基づいて、第１物体と第２物体とが同一物体であるか否かを判定すればよい。

｛第２の実施の形態｝
｛１．画像処理装置２の概略｝
図１６は、本発明の第２の実施の形態に係る画像表示システム２００の構成を示す機能ブロック図である。画像表示システム２００は、画像処理装置１に代えて画像処理装置２を備える点が画像表示システム１００と異なる。

画像処理装置２は、画像処理装置２を搭載する車両９が切り返しを伴う自動駐車を行う際に、４台のカメラ５により撮影された４つのフレームのうち少なくとも１つの色味を補正し、色味が補正されたフレームを含む４つのフレームを合成する。これにより、４台のカメラ５のいずれかにより撮影された物体が、合成フレーム６０におけるフレームの境界を跨いで移動する際に、この物体の色味が変化することを防ぐことができる。

｛２．画像処理装置２の構成｝
画像処理装置２は、画像取得部１１と、検出部２２と、判定部２３と、領域設定部２４と、画像補正部２５と、画像合成部１６と、駐車領域取得部２７と、順序決定部２８とを備える。

検出部２２は、第１～第Ｋカメラにより撮影された第１～第Ｋフレームから物体を検出する。Ｋは、３以上の自然数であり、本実施の形態において４である。判定部２３は、第１～第４フレームから検出された第１～第４物体が同一物体であるか否かを判定する。

領域設定部２４は、第１～第４物体が同一物体であると判定部２３により判定された場合、第１～第４フレームに対して色味抽出領域を設定する。画像補正部２５は、第１～第４フレームに設定された色味抽出領域から色味を抽出し、抽出した色味に基づいて、第１～第４フレームのうち少なくとも１つの色味を補正する。画像合成部１６は、色味が補正されたフレームを含む４つのフレームを合成して合成フレーム６０を生成する。

駐車領域取得部２７は、画像処理装置２が搭載された車両９の駐車領域を取得する。順序決定部２８は、駐車開始時における車両９の位置と、駐車領域取得部２７により取得された駐車領域に基づいて、駐車領域と車両９との間に位置する物体を撮影するカメラの順序を決定する。

図１７は、図１６に示す判定部２３の構成を示す機能ブロック図である。図１７を参照して、判定部２３は、位置特定部２３１と、第１位置判定部２３２と、第２位置判定部２３３とを備える。

位置特定部２３１は、第１～第４フレームから検出された第１～第４物体の所定の座標系における位置を特定する。

第１位置判定部２３２は、順序決定部２８により１番目のカメラに設定された第Ｍカメラが撮影した画像を第Ｍフレームとした場合、第Ｍフレームから検出された第Ｍ物体の所定の座標系における位置が、基準領域内に位置するか否かを判定する。Ｍは、１以上Ｋ以下の自然数である。基準領域は、所定の座標系において設定され、駐車開始時における車両９の位置と駐車領域取得部２７により設定された駐車領域とに基づいて設定される。第２位置判定部２３３は、第１～第４フレームから検出された第１～第４物体が同一物体であるか否かを、第１～第４物体の所定の座標系における位置に基づいて判定する。

｛３．画像処理装置２の動作｝
図１８は、画像処理装置２を搭載する車両９の駐車経路の一例を示す図である。図１９は、図１６に示す画像処理装置２の動作を示すフローチャートである。車両９が図１８に示す駐車領域ＲＰに駐車する場合を例にして、画像処理装置２の動作を詳しく説明する。

車両９の運転者が自動駐車を指示した場合、画像処理装置２は、図１９に示す処理を開始する。図１９に示すステップＳ５１～５４は、第１～第４フレームの色味を補正するための前段階の処理である。

駐車領域取得部２７は、運転者による自動駐車の指示に応じて、車両９の駐車領域ＲＰを設定する（ステップＳ５１）。例えば、表示装置２がタッチパネル式ディスプレイである場合、駐車領域取得部２７は、前方フレーム５１Ｆを表示装置２に表示する。駐車領域取得部２７は、タッチパネル式ディスプレイにおいて運転者がタッチした位置に基づいて駐車領域ＲＰを設定する。

駐車領域取得部２７は、車両９の現在位置と、ステップＳ５１で設定された駐車領域ＲＰとに基づいて、車両９の駐車経路を設定する（ステップＳ５２）。図１８に示す例では、位置Ｐ３０は、ステップＳ５１において駐車領域ＲＰが設定された時点における車両９の中心である。駐車領域取得部２７は、位置Ｐ３０から駐車領域ＲＰに達する経路として、位置Ｐ３１、位置Ｐ３２、位置Ｐ３３、位置Ｐ３４を通過する経路を設定する。位置Ｐ３０～Ｐ３４は、所定の座標系である駐車座標系により記述される。

駐車座標系は、運転者が自動駐車を指示した時点における車両９の中心Ｏ（図２参照）を原点とした車両座標系である。位置Ｐ３０は、駐車座標系の原点である。画像処理装置２は、車両９の移動に関係なく、駐車領域取得部２７により設定された駐車座標系を使用する。

駐車領域取得部２７は、ステップＳ５２で設定された駐車経路に基づいて基準領域ＲＳを設定する（ステップＳ５３）。具体的には、駐車領域取得部２７は、車両９がステップＳ５２で設定された駐車経路を移動する際に、４台のカメラ５の全てが撮影することができる領域を基準領域ＲＳとして設定する。図１８に示す車両９が位置Ｐ３０から駐車領域ＲＰへ移動する場合、４台のカメラ５は、車両９の現在位置（位置Ｐ３０）と駐車領域ＲＰとの間にあり、かつ、位置Ｐ３０から見て左前方に位置する領域を撮影することができる。このため、駐車領域取得部２７は、当該領域を基準領域ＲＳに設定する。

順序決定部２８は、ステップＳ５２で設定された駐車経路と、ステップＳ５３で設定された基準領域ＲＳとに基づいて、基準領域ＲＳを撮影するカメラの順序を決定する（ステップＳ５４）。図１８に示す駐車経路で車両９が移動する場合、フロントカメラ５Ｆは、位置Ｐ３０から位置Ｐ３１までの区間で基準領域ＲＳを撮影できる。左サイドカメラ５Ｌは、位置Ｐ３１から位置Ｐ３２までの区間で基準領域ＲＳを撮影できる。リアカメラ５Ｂは、位置Ｐ３２から位置Ｐ３３までの区間で基準領域ＲＳを撮影できる。右サイドカメラ５Ｒは、位置Ｐ３３から位置Ｐ３４までの区間で基準領域ＲＳを撮影できる。従って、順序決定部２８は、基準領域ＲＳを撮影するカメラの順序を、フロントカメラ５Ｆ、左サイドカメラ５Ｌ、リアカメラ５Ｂ、右サイドカメラ５Ｒに決定する。

なお、フロントカメラ５Ｆが基準領域ＲＳを撮影できる区間と、左サイドカメラ５Ｌが基準領域ＲＳを撮影できる区間とが重複していてもよい。他のカメラについても同様である。

以下、画像処理装置２は、ステップＳ５５～Ｓ５９を繰り返すことにより、４台のカメラ５を用いて基準領域ＲＳを撮影し、第１～第４フレームから検出された第１～第４物体が同一物体であるか否かを判定する。

最初に、順序決定部２８は、ステップＳ５４で決定した順序に従って、基準領域ＲＳを撮影する１番目のカメラとしてフロントカメラ５Ｆを指定する（ステップＳ５５）。画像処理装置２は、フロントカメラ５Ｆにより撮影された前方フレーム５１Ｆに対する同一物体検出処理を実行する（ステップＳ５６）。

図２０は、図１９に示す同一物体検出処理（ステップＳ５６）のフローチャートである。図２０を参照しながら、ステップＳ５５でフロントカメラ５Ｆが指定された場合における同一物体検出処理（ステップＳ５６）を説明する。

検出部２２は、フロントカメラ５Ｆにより撮影された前方フレーム５１Ｆを画像取得部１１から取得し、取得した前方フレーム５１Ｆから車両Ｃ１を検出する（ステップＳ５６１）。検出部１２は、前方フレーム５１Ｆから検出された車両Ｃ１の検出データ３１を位置特定部２３１に供給する。

位置特定部２３１は、前方フレーム５１Ｆから検出された車両Ｃ１の検出データ３１に基づいて、前方フレーム５１Ｆから検出された車両Ｃ１の駐車座標系における位置を特定する（ステップＳ５６２）。ステップＳ５６２は、図６に示すステップＳ１４と同じであるため、その説明を省略する。位置特定部２３１は、前方フレーム５１Ｆから検出された車両Ｃ１の駐車座標系における位置を追加した検出データ３１を、第１位置判定部２３２及び第２位置判定部２３３に供給する。

第１位置判定部２３２は、前方フレーム５１Ｆから検出された車両Ｃ１の検出データ３１を位置特定部２３１から受ける。第１位置判定部２３２は、その受けた検出データ３１と撮影順序とに基づいて、車両Ｃ１が検出されたフレームが１番目に指定されたカメラにより撮影されたか否かを判断する（ステップＳ５６３）。

具体的には、位置特定部２３１から受けた車両Ｃ１の検出データ３１は、前方フレーム５１Ｆのフレーム識別番号が記録されている。第１位置判定部２３２は、車両Ｃ１が検出されたフレームがステップ５４で一番目に指定されたフロントカメラ５Ｆにより撮影されたと判定し（ステップＳ５６３においてＹｅｓ）、ステップＳ５６４に進む。

第１位置判定部２３２は、位置特定部２３１から受けた検出データ３１に基づいて、前方フレーム５１Ｆから検出された車両Ｃ１が基準領域ＲＳ内にあるか否かを判定する（ステップＳ５６４）。

第１位置判定部２３２は、前方フレーム５１Ｆから検出された車両Ｃ１が基準領域ＲＳ内にある場合（ステップＳ５６４においてＹｅｓ）、前方フレーム５１Ｆから検出された車両Ｃ１を基準物体として登録する（ステップＳ５６５）。第１位置判定部２３２は、基準位置データ３６を第２位置判定部２３３に供給し、図２０に示す処理を終了する。基準位置データ３６は、前方フレーム５１Ｆから検出された車両Ｃ１の駐車座標系における位置を示す。

一方、前方フレーム５１Ｆから検出された車両Ｃ１が基準領域ＲＳ外にある場合（ステップＳ５６４においてＮｏ）、第１位置判定部２３２は、前方フレーム５１Ｆから基準物体を検出できなかったと判定し（ステップＳ５６６）、図２０に示す処理を終了する。

再び、図１９を参照する。第２位置判定部２３３は、第１位置判定部２３２から基準位置データ３６を受けた場合、基準物体を検出したと判定する（ステップＳ５７においてＹｅｓ）。第２位置判定部２３３は、位置特定部２３１から受けた車両Ｃ１の検出データ３１を領域設定部２４に供給する。一方、第２位置判定部２３３は、基準物体が検出されなかった場合（ステップ５７においてＮｏ）、車両Ｃ１の検出データ３１を領域設定部２４に供給しない。この場合、画像処理装置２は、ステップＳ５９に進む。

領域設定部２４は、車両Ｃ１の検出データ３１を第２位置判定部２３３から受けた場合、その受けた検出データ３１に基づいて、前方フレーム５１Ｆに対して色味抽出領域を設定する（ステップＳ５８）。ステップＳ５８は、図６に示すステップＳ１８と同じであるため、その説明を省略する。

図１９及び図２０に示していないが、画像処理装置２は、フロントカメラ５ＦがステップＳ５５において指定された場合、ステップＳ５６～Ｓ５８の処理を、基準物体が検出されるまで繰り返し実行する。車両９が図１８に示す位置Ｐ３１に移動した場合、画像処理装置２は、前方フレーム５１Ｆを対象としたステップＳ５６～Ｓ５８の処理を終了する。

順序決定部２８は、全てのカメラを指定したか否かを判定する（ステップＳ５９）。現時点において、２番目以降のカメラが指定されていないため（ステップＳ５９においてＮｏ）、順序決定部２８は、２番目のカメラとして、左サイドカメラ５Ｌを指定する。画像処理装置２は、左サイドカメラ５Ｌにより撮影された左方フレーム５１Ｌに対する物体検出を行う（ステップＳ５６）。

図２０を参照して、左方フレーム５１Ｌから物体が検出され（ステップＳ５６１）、左方フレーム５１Ｌから検出された物体の駐車座標系における位置が特定される（ステップＳ５６２）。左サイドカメラ５Ｌが２番目のカメラとして指定されているため（ステップＳ５６３においてＮｏ）、第２位置判定部２３３は、左方フレーム５１Ｌから検出された物体が基準物体と駐車座標系において同じ位置にあるか否かを判定する（ステップＳ５６７）。基準物体の位置と、左方フレーム５１Ｌから検出された物体の位置とは、完全に一致しなくてもよく、基準物体の位置と、左方フレーム５１Ｌから検出された物体の位置とのずれが所定の範囲内であればよい。所定の範囲とは、例えば、実空間における検出物体の位置と、検出物体の駐車座標系における位置との間で生じると想定される最大誤差に基づいて決定される。

左方フレーム５１Ｌから検出された物体が基準物体と同じ位置にある場合（ステップＳ５６７においてＹｅｓ）、第２位置判定部２３３は、左方フレーム５１Ｌから検出された物体が基準物体と同一物体であると判定する（ステップＳ５６８）。つまり、第２位置判定部２３３は、左方フレーム５１Ｌから検出された物体が車両Ｃ１であると判定し、左方フレーム５１Ｌから検出された物体の検出データ３１を領域設定部２４に供給する。

一方、左方フレーム５１Ｌから検出された物体が基準物体と同じ位置にない場合（ステップＳ５６７においてＮｏ）、第２位置判定部２３３は、左方フレーム５１Ｌから検出された物体が基準物体と同一物体でないと判定する（ステップＳ５６９）。つまり、第２位置判定部２３３は、左方フレーム５１Ｌから検出された物体が車両Ｃ１でないと判定する。

再び図１９を参照し、基準物体と同一物体が検出された場合（ステップＳ５７においてＹｅｓ）、領域設定部２４は、左方フレーム５１Ｌに対して色味抽出領域を設定する（ステップＳ５８）。基準物体と同一物体が検出されなかった場合（ステップＳ５７においてＮｏ）、色味抽出領域は、左方フレーム５１Ｌに対して設定されない。

画像処理装置２は、左サイドカメラ５ＬがステップＳ５５において指定された場合、ステップＳ５６～Ｓ５８の処理を、基準物体と同一の物体が左方フレーム５ｌＬから検出されるまで繰り返し実行する。車両９が図１８に示す位置Ｐ３２に移動した場合、画像処理装置２は、左方フレーム５１Ｌを対象としたステップＳ５６～Ｓ５８の処理を終了する。

順序決定部２８は、３番目のカメラとしてリアカメラ５Ｂを指定する（ステップＳ５９においてＮｏ、ステップＳ５５）。画像処理装置２は、リアカメラ５Ｂにより撮影された後方フレーム５１Ｂから基準物体と同一の物体を検出する（ステップＳ５６）。判定部２３が、後方フレーム５１Ｂから検出された物体が基準物体（車両Ｃ１）と同一であると判定した場合（ステップＳ５７においてＹｅｓ）、領域設定部２４は、後方フレーム５１Ｂに対して色味抽出領域を設定する（ステップＳ５８）。

画像処理装置２は、リアカメラ５ＢがステップＳ５５において指定された場合、ステップＳ５６～Ｓ５８の処理を、基準物体と同一の物体が後方フレーム５１Ｂから検出されるまで繰り返し実行する。車両９が図１８に示す位置Ｐ３３に移動した場合、画像処理装置２は、後方フレーム５１Ｂを対象としたステップＳ５６～Ｓ５８の処理を終了する。

順序決定部２８は、４番目のカメラとして右サイドカメラ５Ｒを指定する（ステップＳ５９においてＮｏ、ステップＳ５５）。画像処理装置２は、右サイドカメラ５Ｒにより撮影された右方フレーム５１Ｒから基準物体と同一物体を検出する（ステップＳ５６）。判定部２３が、基準物体（車両Ｃ１）と同一物体を右方フレーム５１Ｒから検出した場合（ステップＳ５７においてＹｅｓ）、領域設定部２４は、右方フレーム５１Ｒに対して色味抽出領域を設定する（ステップＳ５８）。

画像処理装置２は、右サイドカメラ５ＲがステップＳ５５において指定された場合、ステップＳ５６～Ｓ５８の処理を、基準物体と同一の物体が右方フレーム５１Ｒから検出されるまで繰り返し実行する。車両９が図１８に示す位置Ｐ３４に移動した場合、画像処理装置２は、右方フレーム５１Ｒを対象としたステップＳ５６～Ｓ５８の処理を終了する。

順序決定部２８が全てのカメラを指定した場合（ステップＳ５９においてＹｅｓ）、領域設定部２４は、各フレームに対して設定された色味抽出領域を画像補正部２５に供給する。画像補正部２５は、領域設定部２４から受けた色味抽出領域に基づいて、４台のカメラ５により撮影された４つのフレームの色味を補正する（ステップＳ６０）。

具体的には、画像補正部２５は、領域設定部２４から受けた色味抽出領域に基づいて、基準物体が検出されたフレームと、基準物体と同一物体が検出されたフレームとの各々から色味を抽出する。具体的には、色味抽出領域が設定されたフレームから、色味を抽出する。例えば、前方フレーム５１Ｆから基準物体が検出された場合、基準物体が最初に検出されたフレームから色味が抽出される。左方フレーム５１Ｌ、後方フレーム５１Ｂ、右方フレーム５１Ｒの各々については、基準物体と同一の物体が最初に検出されたフレームから色味が抽出される。色味の抽出方法は、上記第１の実施の形態と同じである。画像補正部２５は、各フレームから抽出された色味に基づいて、色味補正量を算出する。

画像補正部２５は、算出された色味補正量に基づいて、４つのカメラ５により同一時刻に撮影された４つのフレームのうち、少なくとも１つの色味を補正する。色味補正のための基準フレームが設定された場合、基準フレームを除くフレームの色味が補正される。４つのフレームの各々に対して色味補正量が算出された場合、各フレームの色味が補正される。

なお、色味が補正されるフレームは、順序決定部２８が全てのカメラを指定したと判定した後に４台のカメラ５によって撮影されるフレームである。つまり、車両９が駐車領域ＲＰに移動した後に、４台のカメラ５により撮影された４つのフレームの色味が補正される。車両９が図１８に示す経路を移動した後でなければ、４台のカメラ５は同一物体（車両Ｃ１）を撮影することができないためである。

４台のカメラ５により撮影された４つのフレームから基準物体が検出されなかった場合、画像補正部２５は、４つのフレームの色味を補正しない。また、画像補正部２５は、基準物体と同一の物体が検出されなかったフレームの色味を補正しない。

画像合成部１６は、色味補正が行われたフレームを用いて、合成フレーム６０を生成し（ステップＳ６０）、生成した合成フレーム６０を表示装置２に出力する。

以上説明したように、画像処理装置２は、車両９が位置Ｐ３０から駐車領域ＲＰに移動する場合、４台のカメラ５の全てが撮影できる基準領域ＲＳを設定し、４台のカメラ５により撮影された４つのフレームから、基準領域ＲＳに位置する物体を検出する。画像処理装置２は、４つのフレームにおける物体の検出領域に基づいて、４つのフレームに色味抽出領域を設定し、４つのフレームに設定された色味抽出領域に基づいて４つのフレームのうち少なくとも１つの色味を補正する。これにより、４台のカメラ５により撮影された物体が、合成フレーム６０における２つのフレームの境界を横切る際に、当該物体の色味が変化することを抑制でき、運転者の合成フレーム６０に対する違和感を小さくできる。

また、画像処理装置２は、撮影領域が重複しない２つのカメラにより撮影された色味のフレームを補正できるため、４台のカメラ５により撮影された４つのフレームを合成する場合においても、合成フレーム６０に対する運転手の違和感を小さくできる。

上記第２の実施の形態において、車両９が、車両９の左前方に位置する駐車領域ＲＰに、切り返しを伴う並列駐車を行う場合における画像処理装置２の動作を説明したが、これに限られない。車両９が、車両９の右前方に位置する駐車領域に、切り返しを伴う並列駐車をする場合においても、画像処理装置２は、第１～第４フレームの色味を調整することができる。例えば、図１８において、領域ＲＸに車両９を駐車させる場合、基準領域ＲＳは、車両Ｃ３が位置する領域であり、カメラの撮影順序は、フロントカメラ５Ｆ、右サイドカメラ５Ｒ、リアカメラ５Ｂ、左サイドカメラ５Ｌである。つまり、画像処理装置２は、切り返しを伴う並列駐車など、車両９が第１～第Ｋのカメラが同一物体を撮影できる経路を通過する場合に、第１～第Ｋカメラにより撮影された第１～第Ｋフレームの色味を調整することが可能である。従って、後退して駐車場に入場し、切り返しを伴う前進駐車の場合であっても、車両９の第１～第Ｋカメラは、同一物体を撮影できる。

また、車両９が自動駐車する場合に、画像処理装置２が第１～第４フレームの色味を調整する例を説明したが、これに限られない。画像処理装置２は、運転者がハンドル等を操作して車両９を駐車領域ＲＰに駐車させる場合に、第１～第４フレームの色味を調整してもよい。この場合、運転者は、ステップＳ５２で設定された経路に従って、車両９を移動させればよい。

また、画像処理装置２は、車両９が駐車領域ＲＰの外に移動する場合においても、４つのフレームに対する色味補正を継続してもよい。

また、第１及び第２の実施の形態において、所定の座標系は、車両９の中心Ｏを原点とした車両座標系でなくてもよい。例えば、所定の座標系は、緯度及び経度で表される世界座標系であってもよい。また、所定の座標系は、カメラの光軸を原点としたカメラ座標系であってもよい。

また、上記実施の形態で説明した画像処理装置において、各機能ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

また、上記各実施の形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

例えば、上記実施の形態（変形例を含む）の各機能ブロックを、ソフトウェアにより実現する場合、図２１に示したハードウェア構成（例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。

また、上記実施の形態における処理方法の実行順序は、必ずしも、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

１、２ 画像処理装置
１１ 画像取得部
１２、２２ 検出部
１３、２３ 判定部
１３１、２３１ 位置特定部
１３２ 位置判定部
１３３ 種別判定部
１３４ 最終判定部
１４、２４ 領域設定部
１５、２５ 画像補正部
１６ 画像合成部
２３２ 第１位置判定部
２３３ 第２位置判定部
２７ 駐車領域取得部
２８ 順序決定部

Claims (10)

1. 各々の撮影領域の少なくとも一部が互いに重複する第１カメラ及び第２カメラにより撮影されたフレームを処理する画像処理装置であって、
   前記第１カメラにより撮影された第１フレームを取得し、前記第２カメラにより撮影された第２フレームを取得する画像取得部と、
   前記画像取得部により取得された第１フレームから第１物体を検出し、前記画像取得部により取得された第２フレームから第２物体を検出する検出部と、
   前記第１物体と前記第２物体とが同じ物体であるか否かを判定する判定部と、
   前記判定部により前記第１物体と前記第２物体とが同じ物体であると判定された場合、前記第１物体が検出された前記第１フレームの領域と、前記第２物体が検出された前記第２フレームの領域とに基づいて、前記第１フレーム及び前記第２フレームに対して色味抽出領域を設定する領域設定部と、
   前記第１フレームで設定された色味抽出領域における色味と、前記第２フレームで設定された色味抽出領域における色味とに基づいて、第２フレームを補正する画像補正部と、
   前記第１フレームと、前記画像補正部により補正された第２フレームとを合成する画像合成部とを備え、
   前記検出部は、一の時刻に撮影された第１フレーム及び第２フレームを前記画像取得部から取得し、前記一の時刻に撮影された第１フレームから前記第１物体を検出し、前記一の時刻に撮影された第２フレームから前記第２物体を検出し、
   前記判定部は、
   前記一の時刻における第１物体の所定の座標系における位置と、前記一の時刻における第２物体の前記所定の座標系における位置を特定する位置特定部と、
   前記位置特定部により特定された前記一の時刻における第１物体及び第２物体の各々の位置に基づいて、前記一の時刻における第１物体と前記一の時刻における第２物体とが同じ物体であるか否かを判定する位置判定部とを含む、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記検出部は、前記一の時刻に撮影された第１フレームから検出された第１物体の種別を特定し、前記一の時刻に撮影された第２フレームから検出された第２物体の種別を特定し、
   前記判定部は、さらに、
   前記一の時刻における第１物体の種別と前記一の時刻における第２物体の種別とが一致する場合、前記一の時刻における第１物体と前記一の時刻における第２物体とが同じであると判定する種別判定部と、
   前記位置判定部の判定結果と前記種別判定部の判定結果とに基づいて、前記一の時刻における第１物体と前記一の時刻における第２物体とが同じ物体であるか否かを判定する最終判定部とを含む、画像処理装置。
3. 各々の撮影領域の少なくとも一部が互いに重複する第１カメラ及び第２カメラにより撮影されたフレームを処理する画像処理装置であって、
   前記第１カメラにより撮影された第１フレームを取得し、前記第２カメラにより撮影された第２フレームを取得する画像取得部と、
   前記画像取得部により取得された第１フレームから第１物体を検出し、前記画像取得部により取得された第２フレームから第２物体を検出する検出部と、
   前記第１物体と前記第２物体とが同じ物体であるか否かを判定する判定部と、
   前記判定部により前記第１物体と前記第２物体とが同じ物体であると判定された場合、前記第１物体が検出された前記第１フレームの領域と、前記第２物体が検出された前記第２フレームの領域とに基づいて、前記第１フレーム及び前記第２フレームに対して色味抽出領域を設定する領域設定部と、
   前記第１フレームで設定された色味抽出領域における色味と、前記第２フレームで設定された色味抽出領域における色味とに基づいて、第２フレームを補正する画像補正部と、
   前記第１フレームと、前記画像補正部により補正された第２フレームとを合成する画像合成部とを備え、
   前記検出部は、一の時刻において撮影された第１フレームから前記第１物体を検出し、前記一の時刻よりも後の時刻において撮影された第２フレームから前記第２物体を検出し、
   前記判定部は、
   前記一の時刻における第１物体の所定の座標系における位置と、前記後の時刻における第２物体の前記所定の座標系における位置を特定する位置特定部と、
   前記検出部が前記後の時刻に撮影された第１フレームから前記第１物体を検出しなかった場合、前記後の時刻における第１物体の予測位置と前記位置特定部により特定された第２物体の位置とに基づいて、前記一の時刻における第１物体と前記後の時刻における第２物体とが同じであるか否かを判定する位置判定部と、を含む画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記検出部は、前記一の時刻に撮影された第１フレームから検出された第１物体の種別を特定し、前記後の時刻に撮影された第２フレームから検出された第２物体の種別を特定し、
   前記判定部は、さらに、
   前記一の時刻における第１物体の種別と前記後の時刻における第２物体の種別が一致する場合、前記一の時刻における第１物体と前記後の時刻における第２物体とが同じであると判定する種別判定部と、
   前記位置判定部の判定結果と前記種別判定部の判定結果とに基づいて、前記一の時刻における第１物体と前記後の時刻における第２物体とが同じ物体であるか否かを判定する最終判定部と、を含む、画像処理装置。
5. 請求項１～４のいずれか１項に記載の画像処理装置であって、
   前記画像処理装置は、車両に搭載され、
   前記画像処理装置は、さらに、
   前記車両の進行方向に基づいて、前記車両に搭載される３台以上のカメラの中から前記第１カメラ及び前記第２カメラを選択するカメラ選択部、を備える画像処理装置。
6. 各々の撮影領域の少なくとも一部が互いに重複する第１カメラ及び第２カメラにより撮影されたフレームを処理する画像処理装置であって、
   前記第１カメラにより撮影された第１フレームを取得し、前記第２カメラにより撮影された第２フレームを取得する画像取得部と、
   前記画像取得部により取得された第１フレームから第１物体を検出し、前記画像取得部により取得された第２フレームから第２物体を検出する検出部と、
   前記第１物体と前記第２物体とが同じ物体であるか否かを判定する判定部と、
   前記判定部により前記第１物体と前記第２物体とが同じ物体であると判定された場合、前記第１物体が検出された前記第１フレームの領域と、前記第２物体が検出された前記第２フレームの領域とに基づいて、前記第１フレーム及び前記第２フレームに対して色味抽出領域を設定する領域設定部と、
   前記第１フレームで設定された色味抽出領域における色味と、前記第２フレームで設定された色味抽出領域における色味とに基づいて、第２フレームを補正する画像補正部と、
   前記第１フレームと、前記画像補正部により補正された第２フレームとを合成する画像合成部と、
   前記画像処理装置を搭載する車両を駐車させる駐車領域を取得する駐車領域取得部と、
   前記駐車領域取得部により取得された駐車領域と前記車両の現在位置とに基づいて、第１～第Ｋカメラ（Ｋは３以上の自然数）が前記駐車領域と前記現在位置との間に位置する基準領域を撮影する順序を決定する順序設定部と、を備え、
   前記検出部は、前記車両が前記車両の現在位置から前記駐車領域取得部により取得された駐車領域に移動するまでの期間に前記第１～第Ｋカメラにより撮影された第１～第Ｋフレームの各々から物体を検出し、
   前記判定部は、
   前記第１～第Ｋフレームから検出された第１～第Ｋ物体の所定の座標系における位置を特定する位置特定部と、
   前記順序が１番目に設定された第Ｍ（Ｍは１以上Ｋ以下の自然数）カメラにより撮影された第Ｍフレームから検出された第Ｍ物体の所定の座標系における位置が前記基準領域内に位置するか否かを判定する第１位置判定部と、
   前記第Ｍ物体の所定の座標系における位置が前記基準領域内に位置する場合、前記第１～第Ｋ物体の所定の座標系における位置に基づいて、第１～第Ｋ物体が同じ物体であるか否かを判定する第２位置判定部と、を含み、
   前記領域設定部は、第１～第Ｋ物体が同一物体であると判定された場合、前記第１～第Ｋ物体が検出された第１～第Ｋフレームの領域に基づいて、前記第１～第Ｋフレームに対して色味抽出領域を設定し、
   前記画像補正部は、前記第１～第Ｋフレームに設定された色味抽出領域の色味に基づいて、前記車両が前記駐車領域に移動した後に第１～第Ｋカメラにより撮影された第１～第Ｋフレームのうち少なくとも１つのフレームの色味を補正し、
   前記画像合成部は、色味が補正されたフレームを含む第１～第Ｋのフレームを合成する、画像処理装置。
7. 請求項１～６のいずれか１項に記載の画像処理装置であって、
   前記画像補正部は、前記第１フレームに設定された色味抽出領域における色味と、前記第２フレームに設定された色味抽出領域における色味との差分を算出し、算出された前記差分に基づいて前記第２フレームの色味を補正する、画像処理装置。
8. 請求項１～６のいずれか１項に記載の画像処理装置であって、
   前記画像補正部は、前記第１フレームに設定された色味抽出領域における色味と、前記第２フレームに設定された色味抽出領域における色味との統計値を算出し、算出された前記統計値に基づいて、前記第１フレームの色味と前記第２フレームの色味とを補正する、画像処理装置。
9. 請求項１～８のいずれか１項に記載の画像処理装置であって、
   前記画像補正部は、前記第２フレームの各画素に対応する０以上１以下の補正係数を設定し、
   各画素の補正係数は、各画素から、前記画像合成部により生成される合成フレームにおける第１フレームと第２フレームとの境界までの距離が長くなるにつれて、各画素の色味の変化量が小さくなるように設定される、画像処理装置。
10. 各々の撮影領域の少なくとも一部が互いに重複する第１カメラ及び第２カメラにより撮影されたフレームを処理する画像処理装置であって、
    前記第１カメラにより撮影された第１フレームを取得し、前記第２カメラにより撮影された第２フレームを取得する画像取得部と、
    前記画像取得部により取得された第１フレームから第１物体を検出し、前記画像取得部により取得された第２フレームから第２物体を検出する検出部と、
    前記第１物体と前記第２物体とが同じ物体であるか否かを判定する判定部と、
    前記判定部により前記第１物体と前記第２物体とが同じ物体であると判定された場合、前記第１物体が検出された前記第１フレームの領域と、前記第２物体が検出された前記第２フレームの領域とに基づいて、前記第１フレーム及び前記第２フレームに対して色味抽出領域を設定する領域設定部と、
    前記第１フレームで設定された色味抽出領域における色味と、前記第２フレームで設定された色味抽出領域における色味とに基づいて、第２フレームを補正する画像補正部と、
    前記第１フレームと、前記画像補正部により補正された第２フレームとを合成する画像合成部とを備え、
    前記画像補正部は、前記第２フレームの各画素に対応する０以上１以下の補正係数を設定し、
    各画素の補正係数は、各画素から、前記画像合成部により生成される合成フレームにおける第１フレームと第２フレームとの境界までの距離が長くなるにつれて、各画素の色味の変化量が小さくなるように設定される、画像処理装置。

Images