JP6327144B2 - 画像処理システム及び画像処理装置 - Google Patents

Description

本発明は、車両周辺を撮像するカメラにより撮像された撮像画像を画像処理する画像処理システムに関する。

従来、複数の車載カメラを用いて車両の周辺を撮像し、各カメラの画像を合成して一つの画像とし、その画像をモニタに出力する技術が知られている。
各カメラの撮像画像は、同一の対象物を撮像したものであっても輝度や色味が異なる場合がある。そこで、隣接する撮像画像同士の重複する領域の画素データを参照し、各画像の画素データの差違を小さくする技術が提案されている（特許文献１参照）。

特開２００２−３２４２３５号公報

しかしながら、上記特許文献１の技術では、カメラの撮像範囲が隣接せず、重複する領域が存在しない場合には、画像の補正を行うことができない。
本発明は、複数の撮像装置により撮像された車両の周辺画像の違和感を低減する技術を提供することを目的としている。

本発明の請求項１に係る画像処理システム（１）は、車両に搭載されるシステムであって、第１撮像手段（３ａ、３ｂ）及び第２撮像手段（３ａ、３ｂ）と、情報取得部（１３ｄ）と、処理決定部（１３ｅ）と、画像生成部（１３ｆ）と、を備える。

第１撮像手段は、車両の外部における第１の範囲を撮像する。第２撮像手段は少なくとも一部が上記第１の範囲と異なる第２の範囲を撮像する。
情報取得部は、第１時刻画像と、第２時刻画像と、のそれぞれにおける同一の撮像対象が表示される領域を構成する画素のパラメータの差に関する情報である差分情報を取得する。

上述した第１時刻画像とは、第１撮像手段により撮像された撮像画像及び該撮像画像に基づき生成された画像のいずれか一方である第１画像であって、上記第１撮像手段による撮像が第１のタイミングで行われた第１画像である。

また上述した第２時刻画像とは、第２撮像手段により撮像された撮像画像及び該撮像画像に基づき生成された画像のいずれか一方である第２画像であって、上記第２撮像手段による撮像が上記第１のタイミングよりも過去である第２のタイミングで行われ、上記第１時刻画像と同一の撮像対象が撮像された第２画像である。

処理決定部は、情報取得部により取得された差分情報に基づいて、第１時刻画像と第２時刻画像との上記パラメータの差を小さくすることができる画像処理であって、第１画像に対する画像処理、及び、第２画像に対する画像処理のうちの少なくともいずれか一方の画像処理を決定する。

画像生成部は、処理決定部により決定された画像処理を、第１画像及び第２画像のうちの少なくともいずれか一方に実行し、上記パラメータが補正された補正画像を生成する。
このように構成された画像処理システムでは、同一の撮像対象が撮像された、撮像タイミングの異なる２つの画像を利用して画素のパラメータの差の情報を取得し、その差を小さくするように各撮像手段による撮像に基づく画像を補正するため、各画像の視覚的な差異を低減でき、各画像を視認したときの違和感を低減することができる。

なお、上述した画素のパラメータとは特に限定されるものではなく、輝度や色の階調など、様々なパラメータを採用することができる。また上述した差分情報の具体的な内容は特に限定されない。例えば、画素の所定のパラメータに関して、第１時刻画像と第２時刻画像の画素のパラメータの差やパラメータの大小などの情報を含むものとすることができる。

また、本発明の請求項６に係る画像処理装置（７）は、第１取得手段（１３）と、第２取得手段（１３）と、情報取得部（１３ｄ）と、処理決定部（１３ｅ）と、画像生成部（１３ｆ）と、を備える。

第１取得手段は、車両に設けられて該車両の外部における第１の範囲を撮像する第１撮像手段により撮像された撮像画像を取得する。第２取得手段は、車両に設けられて少なくとも一部が上記第１の範囲と異なる第２の範囲を撮像する第２撮像手段により撮像された撮像画像を取得する。

また、情報取得部、処理決定部、画像生成部は、上述した画像処理システムと同様である。
このように構成された画像処理装置は、上述した請求項１に記載の画像処理システムと同様の作用、効果を奏することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

画像処理システムの構成を示すブロック図である。 図２（Ａ）はフロントカメラ３ａ及びリアカメラ３ｂの撮像範囲を説明する図であり、図２（Ｂ）は、所定の時間差で、フロントカメラ３ａ及びリアカメラ３ｂが同一の撮像対象を撮像することを説明する図であり、図２（Ｃ）はフロントカメラ３ａ及びリアカメラ３ｂの撮像範囲の距離を説明する図である。 画像表示処理の処理手順を説明するフローチャートである。 合成画像を模式的に説明する図であって、図４（Ａ）が後方画像を補正しない場合の模式図であり、図４（Ｂ）が後方画像を補正したときの模式図である。

以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．実施形態］
［１−１．構成］
画像処理システム１は自動車等の車両に搭載されて用いられるシステムであって、図１に示すように、フロントカメラ３ａと、リアカメラ３ｂと、モニタ５と、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）７と、を備えている。

画像処理システム１は、フロントカメラ３ａ及びリアカメラ３ｂにて撮像された車両外部の撮像画像と、これらのカメラにより過去に撮像された撮像画像と、を鳥瞰画像に変換した後に１つの画像に合成し、その合成画像をモニタ５に表示させるシステムである。

フロントカメラ３ａ及びリアカメラ３ｂは、車両に設けられた撮像装置であって、例えば公知のＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。
図２（Ａ）に示すように、フロントカメラ３ａは車両３１の前方に配置され、車両３１の前方の範囲、特に車両前方の道路を撮像する。リアカメラ３ｂは車両３１の後方に配置され、車両３１の後方、特に車両後方の道路を撮像する。フロントカメラ３ａ及びリアカメラ３ｂの撮像範囲は重複していない。各カメラは所定の時間間隔（一例として１／１５ｓ）で車両周辺を撮影し、撮影した撮影画像をＥＣＵ７に出力する。

説明を図１に戻る。モニタ５は、液晶や有機ＥＬなどの表示画面を有する表示装置である。モニタ５は、ＥＣＵ７から入力される信号に従って画像を表示する。
ＥＣＵ７は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭなどから構成されるマイクロコンピュータを有しており、カメラ入力信号処理部１１、車載ＬＡＮ入力信号処理部１２、画像処理部１３、出力信号処理部１４、メモリ１５、電源部１６として機能する。

カメラ入力信号処理部１１は、フロントカメラ３ａ及びリアカメラ３ｂから入力される撮像画像のアナログ信号をデジタル信号に変換して画像処理部１３に出力する。
車載ＬＡＮ入力信号処理部１２は、車載ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続される、図示しない各種ＥＣＵやセンサが出力する車両に関する情報である車両情報を車載ＬＡＮから抽出し、画像処理部１３に出力する。ここでは、シフトレンジ、車速、ステアリング操作量やヨーレートなどの情報を抽出する。

画像処理部１３は、鳥瞰変換部１３ａ、履歴合成部１３ｂ、輝度・色補正部１３ｃなどとして機能する。また輝度・色補正１３ｃは、より詳細には特定部１３ｄ、情報取得部１３ｅ、処理決定部１３ｆ、画像生成部１３ｇ、表示制御部１３ｈなどとして機能する。画像処理部１３による具体的な処理は後述する。

出力信号処理部１４は、画像処理部１３から出力された後述する合成画像のデジタル信号をアナログ信号に変換し、モニタ５に出力する。
メモリ１５は、データを記憶可能である記憶装置であって、画像処理部１３にて生成された鳥瞰画像を記憶する。なお、上述したＥＣＵ７のＲＡＭがこのメモリ１５の機能を有していてもよい。

電源部１６は、車両の図示しないバッテリから電力を入力して、ＥＣＵ７の各部に適当な電力に変換して出力する。
［１−２．処理］
ＥＣＵ７により実行される画像表示処理について、図３に示すフローチャートに基づいて説明する。本処理は、運転者が予め定められた操作を行ったとき（所定のスイッチ操作を行ったとき、シフトレバーを所定のシフトレンジに入れたとき、など）に開始される。

Ｓ１では、ＥＣＵ７はフロントカメラ３ａ及びリアカメラ３ｂにて撮影された撮影画像を、カメラ入力信号処理部１１を介して取得する。
Ｓ２では、ＥＣＵ７は、Ｓ１にて取得された各撮影画像から、それらの画像を所定の仮想視点から見た鳥瞰図に変更した鳥瞰画像を生成する。ＥＣＵ７により生成された鳥瞰画像は、メモリ１５に撮像時刻と対応付けて記憶される。

本実施形態における仮想視点は車両の真上である。ＥＣＵ７は、各カメラの搭載位置に応じた所定の変換式を用いて路面を鉛直に俯瞰した鳥瞰画像を生成する。鳥瞰画像の生成方法は公知であるが、例えば特開平１０−２１１８４９号に記載された手法を用いることができる。

図４（Ａ）に示す合成画像４１は、車両４２を中心として、フロントカメラ３ａにて撮像された撮像画像から生成した鳥瞰画像である前方画像４３と、リアカメラ３ｂにて撮像された撮像画像から生成した鳥瞰画像である後方画像４４と、車両４２の左側の左側画像４５及び右側の右側画像４６と、から構成される。

左側画像４５及び右側画像４６は、後述するが、前方画像４３に基づいて生成される画像であるため、前方画像４３と比較して輝度や色味の視覚的な差異は小さい。一方、後方画像４４は、前方画像４３とは異なるカメラで撮影された撮像画像に基づく画像であるため、左側画像４５及び右側画像４６と視覚的な差異が生じる恐れがある。そこで、以下のＳ３〜Ｓ７の処理によって後方画像４４の輝度や色味などを合わせる処理を行う。

なお、以下の説明において、リアカメラ３ｂにより撮像された撮像画像に基づき生成された鳥瞰画像を単に後方画像４４とも記載する。また、フロントカメラ３ａにより撮像された撮像画像に基づき生成された鳥瞰画像を単に前方画像４３とも記載する。

Ｓ３では、ＥＣＵ７は、フロントカメラ３ａとリアカメラ３ｂとが同一の撮像対象を撮像する時間差を、車速及びシフトの情報に基づき算出する。ＥＣＵ７はシフトの情報によって車両の走行方向を特定できる。なお、以下では車両が前方に走行している場合について説明する。

図２（Ｂ）において、車両３１は前方（図中、矢印方向）に走行している。時刻Ｔ１において、フロントカメラ３ａの撮像範囲に道路上の領域３３が含まれており、フロントカメラ３ａは領域３３を撮像している。車両３１が前方に走行し、時刻Ｔ２となったときに、リアカメラ３ｂの撮像範囲に領域３３が含まれており、リアカメラ３ｂは領域３３を撮像している。

各カメラが同一の撮像対象である領域３３を撮像する時間差（Ｔ２−Ｔ１）は、車両３１を基準とした各カメラの撮像範囲と車速とに基づいて算出できる。例えば、リアカメラ３ｂの撮像範囲における任意の位置である第１位置（図２（Ｃ）のＴ２における領域３３）と、フロントカメラ３ａの撮像範囲における任意の位置である第２位置（同図のＴ１における領域３３）と、の間の距離（同図のＬ）を車速で除算して求めることができる。

車両が前方に走行している場合、後方画像４４における第１位置が表示される領域には、上述した時間差（Ｔ２−Ｔ１）だけ過去に撮像された前方画像４３における第２位置が表示される領域と同じ撮像対象が撮像される。

なお、時刻Ｔ１から時刻Ｔ２までの車速の変化や、車両のロール、ピッチの状態などにより、第１位置と第２位置との間にズレが生じる可能性があるため、車両の状態からそれらのズレを補正するように構成してもよいし、そのような補正を行わない構成としてもよい。

説明を図３に戻る。Ｓ４では、ＥＣＵ７は、上述した後方画像４４の輝度及び色の補正を行うときに参照するリファレンス画像を特定する。Ｓ１にてリアカメラ３ｂで撮像された撮像画像の撮像タイミングを第１のタイミングとすると、リファレンス画像は、第１のタイミングよりもＳ３にて算出された時間差の分、過去のタイミングである第２のタイミングでフロントカメラ３ａにより撮像された撮像画像から生成された鳥瞰画像である。

言い換えると、図２（Ｂ）において時刻Ｔ２にてリアカメラ３ｂで撮像した撮像画像に基づく鳥瞰画像（後方画像４４）のリファレンス画像は、時刻Ｔ１にフロントカメラ３ａで撮像した撮像画像に基づく鳥瞰画像（前方画像４３）である。

このＳ４では、メモリ１５に記憶された前方画像４３の中から、上述した第２のタイミングで撮像された撮像画像に基づく前方画像４３を抽出し、リファレンス画像として特定する。

なお、以下の説明において、Ｓ１にてリアカメラ３ｂにより撮像された撮像画像から生成された鳥瞰画像（時刻Ｔ２の後方画像４４）を、単に第１時刻画像とも記載する。また、その第１時刻画像に対応するリファレンス画像（時刻Ｔ１の前方画像４３）を、単に第２時刻画像と記載する。

Ｓ５では、ＥＣＵ７は、第１時刻画像及び第２時刻画像のそれぞれにおける、上述した同一の撮像対象が表示される画像上の領域である対象領域を構成する画素のパラメータの差分情報を取得する。

ＥＣＵ７は、第１時刻画像及び第２時刻画像それぞれの対象領域を構成する画素の輝度の平均値と、色空間に対応する各色の階調値の平均値を算出する。そして、第１時刻画像及び第２時刻画像それぞれにおいて算出した輝度の平均値の大小比較及びその差と、各色の階調値の平均値の大小比較及びその差と、を差分情報として算出する。

なお上述した対象領域は、同一の撮像対象が表示されると計算上で想定される領域であればよく、厳密に撮像対象が一致しているか否かの判断を行う必要はない。また、対象領域の範囲の設定方法は特に限定されないが、例えば、各画像における同一の撮像対象が表示されると想定される領域上の一点を中心とする所定半径の円内を対象領域と設定することが考えられる。

Ｓ６では、ＥＣＵ７は、Ｓ５にて算出した差分情報に基づいて、Ｓ７において実行される画像処理の内容を決定する。この画像処理とは、第１時刻画像に当該画像処理を実行したときに、各画素のパラメータを第２時刻画像の各画素のパラメータと一致させることができる画像処理である。

Ｓ７では、ＥＣＵ７は、Ｓ６にて決定した画像処理を実行し、第１時刻画像の輝度や色を補正した補正画像を生成する。図４（Ｂ）に示す合成画像４１ａのように、このＳ７にて生成した補正画像４４ａを上述した後方画像４４に代えて用いることによって、画像全体の輝度や色味などを揃えることができる。

Ｓ８では、ＥＣＵ７は、メモリ１５に記憶された前方画像４３から、上述した左側画像４５及び右側画像４６を生成する。ここでは、ＥＣＵ７は、車速、及び、ステアリング操作量又はヨーレートに基づいて、左側画像４５及び右側画像４６として適切な過去の前方画像４３をメモリ１５に記憶された画像の中から抽出し、画像の向きや位置などを調整して左側画像４５及び右側画像４６を生成する。

Ｓ９では、ＥＣＵ７は、前方画像４３と、補正画像４４ａと、Ｓ８にて生成した左側画像４５及び右側画像４６と、を統合した合成画像４１ａを生成する。合成画像４１ａは、車両の真上から車両を撮影したように見える鳥瞰画像である。

Ｓ１０では、ＥＣＵ７は、Ｓ９にて生成した合成画像４１ａをモニタ５に出力する。その後本処理を終了する。本処理は例えば１／３０秒程度の短い時間間隔で実行され、モニタ５には車両周辺を撮影した鳥瞰画像が即時に表示される。

以上説明した画像表示処理のうち、Ｓ１の処理が画像処理部１３の処理であり、Ｓ２の処理が鳥瞰変換部１３ａの処理であり、Ｓ３及びＳ４の処理が画像特定部１３ｄの処理であり、Ｓ５の処理が情報取得部１３ｅの処理であり、Ｓ６の処理が処理決定部１３ｆの処理であり、Ｓ７の処理が画像生成部１３ｇの処理であり、Ｓ８及びＳ９の処理が履歴合成部１３ｂの処理であり、Ｓ１０の処理が表示制御部１３ｈの処理である。

［１−３．対応関係］
上述した実施形態において、ＥＣＵ７が本発明における画像処理装置の一例である。また、画像処理部１３が、本発明における第１取得手段、第２取得手段の一例である。また、メモリ１５が、本発明における記憶部の一例である。また、履歴合成部１３ｂが、本発明における画像合成部の一例である。

また、上述したように前方画像４３をリファレンスとして後方画像４４を補正する場合は、リアカメラ３ｂが本発明における第１撮像手段の一例であり、フロントカメラ３ａが本発明における第２撮像手段の一例であり、リアカメラ３ｂが撮影する車両後方の領域が本発明における第１の範囲の一例であり、フロントカメラ３ａが撮影する車両前方の範囲が、本発明における第２の範囲の一例である。

また、リアカメラ３ｂにより撮像された撮像画像に基づく鳥瞰画像が本発明における第１画像の一例であり、フロントカメラ３ａにより撮像された撮像画像に基づく鳥瞰画像が第２画像の一例である。

［１−４．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
［１Ａ］画像処理システム１は、後方画像４４を、同一の撮像対象が撮像される過去の前方画像４３との画素のパラメータの差が小さくなるように補正する。このパラメータとは、画素の輝度や色の階調のパラメータであるため、補正された補正画像と過去の前方画像４３とは視覚的な差異が低減される。ここで言う視覚的な差異とは、輝度や色味に関する差異であって、被写体の形状や位置関係などは含まない。

過去の前方画像４３と現在の前方画像４３とは、同じカメラで撮像された画像であるため視覚的な差異が小さい。よって、上記画像処理システム１は、輝度や色味の差によって生じる、前方画像４３と、該前方画像４３と同時に撮像された後方画像４４の補正画像と、の違和感を低減することができる。

［１Ｂ］フロントカメラ３ａは連続的に所定の範囲を撮像し、撮像された撮像画像に基づき生成された鳥瞰画像はメモリ１５に記憶される。そして、画像処理部１３の画像特定部１３ｄは、メモリ１５に記憶された鳥瞰画像の中からリファレンスとなる第２時刻画像を特定する。

このように、画像処理システム１では、第１時刻画像と第２時刻画像との撮像時間に時間差があるものの、リファレンスとなる第２時刻画像をメモリ１５に記憶された鳥瞰画像の中から探すことができるため、待ち時間を必要とせず迅速な処理を実現できる。

またＥＣＵ７がメモリ１５に記憶された鳥瞰画像の中から第２時刻画像を特定するにあたっては、車両の移動速度に基づいて各カメラが撮像対象を撮像する時間差を算出し、その時間差に基づいて第２時刻画像を特定するため、精度の高いリファレンスの特定を行うことができる。

［１Ｃ］画像処理システム１において、ＥＣＵ７は、リアカメラ３ｂにて撮像された撮像画像に基づく上述した補正画像と、フロントカメラ３ａにて撮像された撮像画像に基づく鳥瞰画像と、その鳥瞰画像に基づく右側画像及び左側画像と、を合成して合成画像を生成し、モニタ５に出力する。

補正画像は、過去にフロントカメラ３ａにて撮像された撮像画像に基づく鳥瞰画像をリファレンスとして補正されているため、輝度や色味がその鳥瞰画像と一致する可能性が高い。よって、ＥＣＵ７は全体として違和感のない見やすい合成画像を生成することができる。

［２．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。

［２Ａ］上記実施形態では、差分情報、即ち、補正を行う画素のパラメータとして、輝度及び色空間の各色の階調値を採用する構成を例示したが、差分情報はこれらに限定されるものではなく、様々なパラメータを用いることができる。また差分情報は輝度及び各色の階調値のうちいずれか一方のみであってもよい。

［２Ｂ］上記実施形態では、第１時刻画像の画素のパラメータを第２時刻画像の画素のパラメータに合わせた補正画像を構成する構成を例示したが、画素のパラメータの差分が小さくなるように補正画像を生成する構成であれば、パラメータを一致させる必要はない。パラメータの差を小さくすることで、画像の違和感を低減することができる。

［２Ｃ］上記実施形態では、各カメラにて撮像した画像をまずＳ２で鳥瞰画像に変換し、その後にＳ３以降の処理を実行する構成を例示したが、鳥瞰画像に変換するタイミングは特に限定されず、例えばＳ８の後、合成画像４１ａを生成する前であってもよい。

この場合には、情報取得部１３ｅは、差分情報を取得する対象となる画像として、各カメラにて撮像された撮像画像を用いることとなる。つまり、情報取得部１３ｅは、各カメラにて撮像された撮像画像と、その撮像画像に基づき生成された画像と、のいずれを用いて差分情報を取得してもよい。

［２Ｄ］上記実施形態では、撮像画像を鳥瞰画像に変換する構成を例示したが、鳥瞰画像以外に変換してもよいし、仮想的な視点を車の真上以外の位置に設定してもよい。
［２Ｅ］上記実施形態では、第１時刻画像に対して画像処理を実行することで、前方画像４３に対する視覚的な差異の低減された補正画像４４ａを生成する構成を例示したが、第１時刻画像以外の画像に対して視覚的な差異を低減する処理を行ってもよい。例えば、前方画像４３に対してパラメータの差を低減する画像処理を実行してもよい。

［２Ｆ］上記実施形態では、Ｓ１にて撮像画像を取得するごとにＥＣＵ７が差分情報を取得して画像処理の内容を決定する構成を例示した。しかしながら、一旦、画像処理の内容を決定すると、撮像画像を取得するごとに差分情報を取得して画像処理の内容を決定する処理を実行せず、一定期間は決定された画像処理を実行する構成としてもよい。

また、撮像画像を鳥瞰変換して合成画像を生成する第１の処理（Ｓ１，Ｓ２，Ｓ７〜Ｓ１０）と、差分情報を取得して画像処理内容を決定する第２の処理（Ｓ１〜Ｓ６）と、を別の処理とし、第２の処理については第１の処理よりも低い頻度で実行するように構成されていてもよい。

上記のように構成された画像処理システムであれば、撮像を実行するごとに画像処理の内容を決定する必要がなくなるため、ＥＣＵ７の処理負荷の低減を図ることができる。
［２Ｇ］上記実施形態では、リアカメラ３ｂとフロントカメラ３ａとが互いに重複しない撮像範囲を有する構成を例示したが、用いられる２つのカメラは、撮像範囲の一部が重複するものであってもよい。

［２Ｈ］リアカメラ３ｂとフロントカメラ３ａとは、車両の前後に配置される構成を例示したが、２つの撮像手段の配置は上述したものに限定されない。一方の撮像手段の撮像範囲は、車両が移動した結果、過去に他方の撮像手段が撮像を行っていた撮像範囲を撮像できるように設定されていればよい。

［２Ｉ］上記実施形態では、車両が前方に移動するときの画像表示処理を説明したが、車両が後方に移動するときにも同様の処理を行うことができる。その場合、リアカメラ３ｂの撮像画像とフロントカメラ３ａの撮像画像とを入れ替えて上述した画像表示処理を行うことが考えられる。

［２Ｊ］上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

［２Ｋ］上述した画像処理システム１の他、当該画像処理システム１を構成する画像処理装置（ＥＣＵ７）、画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体など、種々の形態で本発明を実現することもできる。

１…画像処理システム、３ａ…フロントカメラ、３ｂ…リアカメラ、５…モニタ、７…ＥＣＵ、１３…画像処理部、１３ａ…鳥瞰変換部、１３ｂ…履歴合成部、１３ｃ…輝度・色補正部、１３ｃ…輝度・色補正、１３ｄ…特定部、１３ｄ…画像特定部、１３ｅ…情報取得部、１３ｆ…処理決定部、１３ｇ…画像生成部、１３ｈ…表示制御部、１４…出力信号処理部、１５…メモリ

Claims (6)

1. 車両に搭載される画像処理システム（１）であって、
   前記車両の外部における第１の範囲を撮像する第１撮像手段（３ａ、３ｂ）と、
   少なくとも一部が前記第１の範囲と異なる第２の範囲を撮像する第２撮像手段（３ａ、３ｂ）と、
   前記第１撮像手段により撮像された撮像画像及び該撮像画像に基づき生成された画像のいずれか一方である第１画像であって、前記第１撮像手段による撮像が第１のタイミングで行われた前記第１画像である第１時刻画像と、前記第２撮像手段により撮像された撮像画像及び該撮像画像に基づき生成された画像のいずれか一方である第２画像であって、前記第２撮像手段による撮像が前記第１のタイミングよりも過去である第２のタイミングで行われ、前記第１時刻画像と同一の撮像対象が撮像された前記第２画像である第２時刻画像と、のそれぞれにおける前記撮像対象が表示される領域を構成する画素のパラメータの差に関する情報である差分情報を取得する情報取得部（１３ｄ）と、
   前記情報取得部により取得された差分情報に基づいて、前記第１時刻画像と前記第２時刻画像との前記パラメータの差を小さくすることができる画像処理であって、前記第１画像に対する画像処理、及び、前記第２画像に対する画像処理のうちの少なくともいずれか一方の画像処理を決定する処理決定部（１３ｅ）と、
   前記処理決定部により決定された前記画像処理を、前記第１画像及び前記第２画像のうちの少なくともいずれか一方に実行し、前記パラメータが補正された補正画像を生成する画像生成部（１３ｆ）と、を備える
   ことを特徴とする画像処理システム。
2. 前記第２撮像手段は、連続的に前記第２の範囲を撮像するものであって、
   前記第２画像を記憶する記憶部（１５）と、
   前記記憶部に記憶された前記第２画像の中から、前記第１時刻画像に対応する前記第２時刻画像を特定する画像特定部（１３ｄ）と、を備える
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記画像特定部は、前記車両の移動速度に基づいて、前記撮像対象を前記第１撮像手段及び前記第２撮像手段が撮像する時間差を算出し、該時間差に基づいて前記第２時刻画像を特定する
   ことを特徴とする請求項２に記載の画像処理システム。
4. 前記第１画像又は該第１画像から生成された前記補正画像と、前記第２画像又は該第２画像から生成された前記補正画像と、を合成した画像である合成画像を生成する画像合成部（１３ｂ）と、
   前記画像合成部により合成された前記合成画像を、画像を表示する表示装置に出力する表示制御部（１３）と、を備える
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理システム。
5. 前記第１撮像手段及び前記第２撮像手段により撮像された撮像画像に基づき、所定の仮想視点から見た鳥瞰画像を生成する鳥瞰変換部（１３ａ）を備え、
   前記第１画像及び前記第２画像は、前記第１撮像手段及び前記第２撮像手段により撮像された撮像画像に基づいて前記鳥瞰変換部により生成された前記鳥瞰画像である
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理システム。
6. 車両に設けられて該車両の外部における第１の範囲を撮像する第１撮像手段により撮像された撮像画像を取得する第１取得手段（１３）と、
   前記車両に設けられて少なくとも一部が前記第１の範囲と異なる第２の範囲を撮像する第２撮像手段により撮像された撮像画像を取得する第２取得手段（１３）と、
   前記第１撮像手段により撮像された撮像画像及び該撮像画像に基づき生成された画像のいずれか一方である第１画像であって、前記第１撮像手段による撮像が第１のタイミングで行われた前記第１画像である第１時刻画像と、前記第２撮像手段により撮像された撮像画像及び該撮像画像に基づき生成された画像のいずれか一方である第２画像であって、前記第２撮像手段による撮像が前記第１のタイミングよりも過去である第２のタイミングで行われ、前記第１時刻画像と同一の撮像対象が撮像された前記第２画像である第２時刻画像と、のそれぞれにおける前記撮像対象が表示される領域を構成する画素のパラメータの差に関する情報である差分情報を取得する情報取得部と、
   前記情報取得部により取得された差分情報に基づいて、前記第１時刻画像と前記第２時刻画像との前記パラメータの差を小さくすることができる画像処理であって、前記第１画像に対する画像処理、及び、前記第２画像に対する画像処理のうちの少なくともいずれか一方の画像処理を決定する処理決定部と、
   前記処理決定部により決定された前記画像処理を、前記第１画像及び前記第２画像のうちの少なくともいずれか一方に実行し、前記パラメータが補正された補正画像を生成する画像生成部と、を備える
   ことを特徴とする画像処理装置。