JP3300337B2 - 画像処理装置および監視システム - Google Patents

画像処理装置および監視システム

Info

Publication number
JP3300337B2
JP3300337B2 JP2001113976A JP2001113976A JP3300337B2 JP 3300337 B2 JP3300337 B2 JP 3300337B2 JP 2001113976 A JP2001113976 A JP 2001113976A JP 2001113976 A JP2001113976 A JP 2001113976A JP 3300337 B2 JP3300337 B2 JP 3300337B2
Authority
JP
Japan
Prior art keywords
image
vehicle
parameter
camera
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001113976A
Other languages
English (en)
Other versions
JP2002027448A (ja
Inventor
一生 登
雅通 中川
浩史 石井
修作 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2001113976A priority Critical patent/JP3300337B2/ja
Publication of JP2002027448A publication Critical patent/JP2002027448A/ja
Application granted granted Critical
Publication of JP3300337B2 publication Critical patent/JP3300337B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、複数のカメラによ
って撮像された画像を用いて合成画像を生成する画像処
理技術に関するものであり、特に、車両運転の際の安全
確認の補助などに利用される監視システムに有効な技術
に属する。
【０００２】
【従来の技術】近年、車載用のディスプレイ装置の普及
やカメラなどの映像機器の低価格化に伴い、カメラによ
って車両周辺を監視することによって安全運転を支援す
る装置が実用化され、普及しつつある。
【０００３】このような車両周辺監視装置の従来例とし
ては、運転者からは死角となる車両の後方などの領域を
映すようにカメラを設置し、カメラ画像をディスプレイ
から監視させるというような装置がある。
【０００４】例えば、特開昭５８−１１０３３４号公報
では、車両の周囲に複数台のカメラを設置し、撮影され
た複数のカメラ画像を用いて自車を中心として上方から
見た画像を変形合成し、車内の表示装置に表示する、と
いった構成が開示されている。このような車両周辺監視
装置を用いると、運転席からは直接見ることができない
死角領域を表示画面上で確認することができるので、事
故を回避したり、運転操作を容易にしたりすることが可
能になる。
【０００５】
【発明が解決しようとする課題】しかしながら、本願発
明者の実験などによる検討によって、従来の構成では、
次のような問題があることが分かった。
【０００６】図２２は車両が動いた場合の画像合成の例
を示す図である。インターレース走査のカメラを用いた
場合、車両が動くと、図２２（ａ）のような１水平ライ
ン毎に櫛状にずれた入力画像になる。この入力画像をそ
のままインターレース走査のディスプレイで観察した場
合には特に違和感はない。ところが、この入力画像を用
いて、変形を伴う合成処理を行うと、図２２（ｂ）に示
すように、櫛状のずれも画像変形とともに変形され、画
素によって撮像タイミングと表示タイミングの関係がず
れてしまうので、観察した場合に違和感のある画像にな
ってしまう。すなわち、いわゆるインターレースノイズ
が、合成画像上により顕著に現れることになる。
【０００７】一方、１フィールドの入力画像から１フィ
ールドの合成画像を生成する場合には、上述したような
不自然さはなくなる。ところが、フレームごとに合成す
る場合に比べて入力画像の解像度が低くなるため、図２
２（ｃ）のように、２フィールド分の画像をフレーム画
像として観察した場合に、画像が静止していても、座標
値の量子化誤差によって櫛状のずれが生じる。このた
め、車両が静止しているときに、特に、入力画像が合成
画像上で拡大されている領域の画質が悪くなる。
【０００８】すなわち、まず第１に、１フレーム（２フ
ィールド）の入力画像から１フレームの合成画像を生成
する場合は、車両が動いた場合や動きのある画像が映っ
ているときに不自然な合成画像となり、一方、１フィー
ルドの入力画像から１フィールドの合成画像を生成する
場合は、解像度が低い合成画像になる、という問題があ
る。
【０００９】第２に、カメラ画像の変形処理を行う場
合、合成画像の構図によっては入力画像の縮小を伴う場
合があることから、合成画像に部分的に折り返し歪みが
発生してしまう、という問題がある。
【００１０】また第３に、図２３（ａ）に示すように、
各カメラごとにホワイトバランスなどが行われるため
に、合成画像上において、入力画像のつなぎ目で輝度や
色合いが一致しなかったり、図２３（ｂ）に示すよう
に、画像合成の方法によっては、計算誤差や被写体位置
の誤検出などに起因して画像のつなぎ目がずれるなどと
いった、入力画像のつなぎ目が不自然になる、という問
題がある。
【００１１】このような問題に鑑み、本発明は、複数の
カメラ画像から合成画像を生成する画像処理装置とし
て、従来と比べてより自然な合成画像が生成可能になる
ようにすることを課題とする。
【００１２】
【課題を解決するための手段】前記の課題を解決するた
めに、請求項１の発明が講じた解決手段は、車両の周囲
を撮影する複数のカメラの撮像画像を入力とし、これら
のカメラ画像から合成画像を生成する画像処理装置とし
て、カメラ画像と合成画像との対応関係をそれぞれ表
し、かつ、空間的または時間的な解像度の関係が互いに
異なる複数の画像合成パラメタを生成可能に構成された
パラメタ生成部を備え、前記パラメタ生成部によって生
成された画像合成パラメタに従ってカメラ画像から合成
画像を生成するものであり、前記パラメタ生成部は、生
成する画像合成パラメタを、車両の動きを検出する車動
検出部の出力に応じて切り替えるものである。
【００１３】請求項１の発明によると、合成画像の生成
に用いられる画像合成パラメタは、車両の動きに応じて
切り替えられるので、車両が動いている場合や動きのあ
る物体を撮像したときの合成画像の不自然さを低減でき
るとともに、車両が静止している場合の合成画像の解像
度の低下を防ぐことができる。
【００１４】請求項２の発明は、前記請求項１の画像処
理装置におけるパラメタ生成部は、前記複数の画像合成
パラメタを記憶するパラメタ記憶部と、前記車動検出部
の出力に応じて、前記パラメタ記憶部が記憶する複数の
画像合成パラメタの中から少なくとも１つを選択するパ
ラメタ選択部とを備えたものとする。
【００１５】請求項３の発明では、前記請求項１の画像
処理装置におけるカメラ画像はインターレース画像であ
り、前記複数の画像合成パラメタは、少なくとも、フレ
ームベースの画像合成パラメタと、フィールドベースの
画像合成パラメタとを含むものとする。
【００１６】請求項４の発明では、前記請求項３の画像
処理装置におけるパラメタ生成部は、前記車動検出部に
よって検出された車両の動きが、相対的に速いときはフ
ィールドベースの画像合成パラメタを生成する一方、相
対的に遅いときはフレームベースの画像合成パラメタを
生成するものとする。
【００１７】請求項５の発明では、前記請求項１の画像
処理装置における車動検出部は、カメラ画像から車両の
動きを検出するものとする。
【００１８】請求項６の発明では、前記請求項１の画像
処理装置における複数のカメラは、入力された切替信号
に応じてその撮像パターンが切替可能に構成されてお
り、前記パラメタ生成部は、前記車動検出部の出力に応
じて、前記画像合成パラメタの生成とともに、前記各カ
メラに切替信号を送り各カメラの撮像パターンを切り替
えるものとする。
【００１９】請求項７の発明では、前記請求項６の画像
処理装置におけるパラメタ生成部は、前記車動検出部の
出力に加えて、車両周辺の明るさを検出する車両状況検
出部の出力を加味して、画像合成パラメタの選択や各カ
メラの撮像パターンの切替を行うものとする。
【００２０】請求項８の発明では、前記請求項１の画像
処理装置におけるパラメタ生成部は、前記車動検出部の
出力に加えて、車両乗員の操作または車両周辺の障害物
の有無などの車両状況を検出する車両状況検出部の出力
を加味して、画像合成パラメタの生成を行うものとす
る。
【００２１】そして、請求項９の発明は、前記請求項１
に係る画像処理装置を画像処理部として備えた監視シス
テムである。
【００２２】また、請求項１０の発明が講じた解決手段
は、車両の周囲を撮影する複数のカメラの撮像画像を入
力とし、これらのカメラ画像から合成画像を生成する画
像処理装置として、カメラ画像と合成画像との対応関係
を表す画像合成パラメタとこの画像合成パラメタに対応
するフィルタパラメタとの組を複数個記憶するパラメタ
記憶部と、車両の動きを検出する車動検出部の出力およ
び車両乗員の操作または車両周辺の障害物の有無などの
車両状況を検出する車両状況検出部の出力に応じて、前
記パラメタ記憶部が記憶する複数の画像合成パラメタお
よびフィルタパラメタの組の中から少なくとも１組を選
択するパラメタ選択部と、各カメラ画像に対し、前記パ
ラメタ選択部によって選択された組のフィルタパラメタ
に応じて周波数帯域制限フィルタ処理を行うフィルタ処
理部とを備え、前記パラメタ選択部によって選択された
組の画像合成パラメタに従って、前記フィルタ処理部に
よって処理されたカメラ画像から合成画像を生成するも
のである。
【００２３】請求項１０の発明によると、車両の動きや
車両の状況に応じて、フィルタパラメタが選択され、こ
の選択されたフィルタパラメタに応じて、各カメラ画像
に対して周波数帯域制限フィルタ処理が行われるので、
合成画像において、折り返し歪みを効果的に抑制するこ
とができる。
【００２４】請求項１１の発明では、前記請求項１０の
画像処理装置におけるフィルタパラメタは、カメラ画像
の画素位置毎にフィルタ処理の設定データが記述された
ものとする。
【００２５】そして、請求項１２の発明は、請求項１０
に係る画像処理装置を画像処理部として備えた監視シス
テムである。
【００２６】また、請求項１３の発明が講じた解決手段
は、車両の周囲を撮影する複数のカメラの撮像画像を入
力とし、これらのカメラ画像から合成画像を生成する画
像処理装置として、各カメラ画像の輝度や色あいを補正
するための輝度補正パラメタを算出する輝度補正パラメ
タ算出部と、前記輝度補正パラメタ算出部によって算出
された輝度補正パラメタを用いて各カメラ画像の輝度や
色合いを補正する輝度補正部とを備え、カメラ画像と合
成画像との対応関係を表す画像合成パラメタに従って、
前記輝度補正部によって輝度補正された複数のカメラ画
像から合成画像を生成するものであり、前記画像合成パ
ラメタは、合成画像上において複数のカメラの撮影範囲
が重複する重複領域について対応するカメラ画像の画素
座標を示す重複領域データを有し、前記輝度補正パラメ
タ算出部は、前記重複領域データを入力とし、この重複
領域データが示す前記重複領域に対応する各カメラ画像
の画素の輝度や色合いのデータを用いて、輝度補正パラ
メタを算出し、かつ、前記重複領域が複数個存在する場
合に、輝度補正パラメタ算出の際に考慮する重複領域の
優先順位を車両の動きを検出する車動検出部の出力に応
じて設定するものである。
【００２７】請求項１３の発明によると、合成画像上の
重複領域に対応するカメラ画像の輝度や色合いの情報を
用いて、輝度補正パラメタが算出され、この輝度補正パ
ラメタを用いて輝度補正が行われるので、合成画像上で
のつなぎ目の不自然さを低減することができる。
【００２８】請求項１４の発明では、前記請求項１３の
画像処理装置における輝度補正部は、各カメラに内蔵さ
れているものとする。
【００２９】また、請求項１５の発明が講じた解決手段
は、車両の周囲を撮影する複数のカメラの撮像画像を入
力とし、これらのカメラ画像から合成画像を生成する画
像処理装置として、合成画像上で複数のカメラの撮影範
囲が重複する重複領域において、この複数のカメラの画
像の中から、合成画像の生成に用いるカメラ画像を、車
両の動きを検出する車動検出部の出力または車両乗員の
操作若しくは車両周辺の障害物の有無などの車両状況を
検出する車両状況検出部の出力に応じて選択するもので
ある。
【００３０】また、請求項１６の発明が講じた解決手段
は、車両の周囲を撮影する複数のカメラの撮像画像を入
力とし、これらのカメラ画像から合成画像を生成する画
像処理装置として、合成画像上で複数のカメラの撮影範
囲が重複する重複領域において、この複数のカメラの画
像に対する重み付けを、車両の動きを検出する車動検出
部の出力または車両乗員の操作若しくは車両周辺の障害
物の有無などの車両状況を検出する車両状況検出部の出
力に応じて設定するものである。
【００３１】そして、請求項１７の発明は、前記請求項
１６の画像処理装置は、合成画像の画素とカメラ画像の
画素とを対応付ける画像合成パラメタと、重み参照番号
と重み情報の組み合わせとの対応関係を表すテーブルと
を備え、前記重複領域に係る画像合成パラメタは、前記
テーブルに示された重み参照番号の値のいずれかを保持
するものとする。
【００３２】そして、請求項１８の発明は、前記請求項
１５に係る画像処理装置を画像処理部として備えた監視
システムである。
【００３３】また、請求項１９の発明は、前記請求項１
６に係る画像処理装置を画像処理部として備えた監視シ
ステムである。
【００３４】また、請求項２０の発明が講じた解決手段
は、車両の周囲を撮影する複数のカメラの撮像画像を入
力とし、これらのカメラ画像から合成画像を生成する画
像処理装置として、合成画像の画素とカメラ画像の画素
とを対応付ける画像合成パラメタを備え、前記画像合成
パラメタは、合成画像上で複数のカメラの撮影範囲が重
複する重複領域におけるこの複数のカメラの画像に対す
る重み付けが、ディザ法によって、表されているもので
ある。
【００３５】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。
【００３６】（第１の実施形態） 図１は本発明の第１の実施形態に係る車両周辺監視シス
テムの構成を示す図である。図１において、１０１は画
像を取り込むカメラ、１０２はアナログ画像信号をデジ
タル化するＡ／Ｄ変換器、１０３はデジタル化された入
力画像を一時的に保持するフレームメモリである。フレ
ームメモリ１０３は、カメラ１０１から出力される画像
を常時連続して記憶し続けるとともに直前の１フレーム
分の画像データは一時的に記憶している，いわゆるダブ
ルバッファ構成のフレームメモリである。すなわち、フ
レームメモリ１０３は、画像合成部１０４からの読み出
し要求に応じて、直前の１フレーム分の画像の任意の画
素データの読み出しが可能なように構成されている。
【００３７】１０７は車両の動きを検出する車動検出
部、１０９はカメラ画像と合成画像との対応関係を表す
画像合成パラメタを予め複数記憶するパラメタ記憶部、
１０８は車動検出部１０７によって検出された車両の動
きに応じて、パラメタ記憶部１０９に記憶された複数の
画像合成パラメタの中からいずれか１つを選択して出力
するパラメタ選択部である。１０４はパラメタ選択部１
０８によって選択された画像合成パラメタに応じて、フ
レームメモリ１０３から画像を順次読み出して画像合成
を行い、合成画像として出力する画像合成部、１０５は
読み出された合成画像をアナログ信号に変換するＤ／Ａ
変換器、１０６はアナログ信号に変換された合成画像を
表示する表示部としてのディスプレイである。
【００３８】Ａ／Ｄ変換器１０２、フレームメモリ１０
３、画像合成部１０４、Ｄ／Ａ変換器１０５、パラメタ
選択部１０８およびパラメタ記憶部１０９によって、画
像処理装置または画像処理部が構成されている。また、
パラメタ選択部１０８およびパラメタ記憶部１０９によ
って、パラメタ生成部が構成されている。
【００３９】ここでは、カメラ１０１およびディスプレ
イ１０６によって扱われる画像は、一般的なインターレ
ース走査の画像であるものとする。また、車動検出部１
０７は、車両の車軸やシフトレバーなどに設置したセン
サの信号から、車輪の回転速度や進行方向などを車両の
動きとして検出するものとする。
【００４０】なお、車両状況検出部２００とその利用方
法については、後述する。
【００４１】図１のように構成された車両周辺監視装置
について、以下、その動作を説明する。
【００４２】図２は画像合成パラメタを用いた画像合成
を説明するための図である。同図中、（ａ）はカメラ画
像の例であり、図１５のように設置されたカメラ１の１
フレーム分の画像を示したものである。図２（ｂ）は４
枚のカメラ画像を変形合成して得られた１フレーム分の
合成画像の例である。
【００４３】図２（ｃ）は画像合成パラメタの例であ
る。画像合成パラメタの各座標は、合成画像の画素座標
と１対１に対応している。そして、各座標のパラメタと
して、その座標に対応する合成画像画素を生成するため
のカメラ画像のカメラ番号および画素座標を示す２次元
配列が、表現されている。図２（ｃ）の例では、画像合
成パラメタの座標（ｘｏ，ｙｏ）に『カメラ番号＝１、
座標（ｘｉ，ｙｉ）』という情報が格納されている。こ
れは、合成画像の座標（ｘｏ，ｙｏ）の画素は、カメラ
１の画像の座標（ｘｉ，ｙｉ）の画素によって生成され
る、ということを示している。図２（ｃ）のような構造
の合成画像パラメタを用いることによって、複数のカメ
ラ画像と合成画像との画素の対応関係を記述することが
できる。
【００４４】本実施形態では、パラメタ記憶部１０９
は、カメラ画像および合成画像のうちの少なくともいず
れか一方の空間解像度または時間解像度が互いに異なる
複数の画像合成パラメタを、記憶しているものとする。
【００４５】特にここでは、空間解像度または時間解像
度が互いに異なる複数の画像合成パラメタとして、パラ
メタ記憶部１０９に、合成画像の構図は同一の、フレー
ムベースの画像合成パラメタとフィールドベースの画像
合成パラメタとが、準備されているものとする。フレー
ムベースの画像合成パラメタとは、１フレームのカメラ
画像と１フレームの合成画像とを対応させる画像合成パ
ラメタのことをいい、フィールドベースの画像合成パラ
メタとは、カメラ画像の第１フィールドは合成画像の一
方のフィールドに対応させ、カメラ画像の第２フィール
ドは合成画像の他方のフィールドに対応させる画像合成
パラメタのことをいう。カメラ画像と合成画像とのフィ
ールド単位の対応関係は、合成画像とカメラ画像のＹ座
標同士がそれぞれ奇数は奇数に、偶数は偶数に対応する
ように制約を加えることによって、容易に記述すること
ができる。
【００４６】図３は本実施形態に係るパラメタ選択部１
０８の動作の一例を示す図である。図３に示すように、
パラメタ選択部１０８は、車動検出部１０７によって検
出された車両の速度に応じて、予め決められた基準に従
って、車両の動きが相対的に遅いとき例えば車速が１０
ｋｍ／ｈ未満のときは、フレームベースの画像合成パラ
メタを選択する一方、車両の動きが相対的に速いとき例
えば車速が１０ｋｍ／ｈ以上のときは、フィールドベー
スの画像合成パラメタを選択する。画像合成部１０４
は、パラメタ選択部１０８によって選択された画像合成
パラメタのカメラ番号および座標値に応じて、フレーム
メモリ１０３からカメラ画像の画素データを読み出し、
合成画像を生成する。生成された合成画像は、Ｄ／Ａ変
換器１０５によってアナログ信号に変換され、ディスプ
レイ１０６に表示される。
【００４７】このような動作によって、車両の速度が高
く、カメラ画像中の動きが大きい場合は、フィールドご
とに画像が合成されるため、櫛状のずれの無い自然な合
成画像が生成される一方、車両の速度が低い場合は、フ
レームごとに画像が合成されるため、解像度が高いきれ
いな合成画像が生成される。すなわち、車両の動きに応
じた画像合成を行うことによって、車両が動いている場
合の合成画像の不自然さを低減するとともに、車両がほ
ぼ静止している場合の合成画像の解像度の低下を防ぐこ
とができる。
【００４８】なお、上記の実施形態では、車動検出部１
０７は車軸やシフトレバーなどに設置したセンサの信号
から車輪の回転速度や進行方向などの車両の動きを検出
するものとしたが、その代わりに、カメラ画像から車の
動きを検出する構成としてもよい。
【００４９】この場合、車動検出部１０７は、カメラ１
０１によって撮像された画像をフレームメモリ１０３か
ら連続して読み出し、時間的に連続した複数フレームま
たは複数フィールド分の画像から、画像中の動きベクト
ルを算出する。そして、算出した動きベクトルと、予め
計測しておいたカメラ１０１の設置位置や向き、および
焦点距離などのカメラパラメタとを基にして、画像中の
路面部分の動きの方向や速度を求め、これを車両の速度
として出力する。
【００５０】このように、カメラ画像から車両の動きを
検出する車動検出部１０７を設けることによって、車軸
やシフトレバーに設置したセンサの信号など，画像以外
の入力が不要になるので、簡潔な構成のシステムを実現
することができる。
【００５１】また、カメラ１０１が、入力された切替信
号に応じて、その撮像パターンが切替可能に構成されて
いる場合には、パラメタ選択部１０８は、車動検出部１
０７によって検出された車両の動きに応じて、上述した
ような画像合成パラメタの選択とともに、各カメラ１０
１の撮像パターンを切り替えるようにしてもよい。
【００５２】図４はこのような場合のパラメタ選択部１
０８の動作の一例を示す図である。ここでは、各カメラ
１０１は、切替信号に応じて、インターレース撮像（１
／６０秒ごとに１フィールド）またはノンインターレー
ス撮像（１／３０秒ごとに１フレーム）の切り替えと、
シャッタースピード（露光時間が１／３０秒、１／６０
秒、１／１２０秒）の切り替えが可能であるものとす
る。
【００５３】図４に示すように、パラメタ選択部１０８
は、車動検出部１０７によって検出された車両の速度に
応じて、予め決められた基準に従って、画像合成パラメ
タを選択するとともに、各カメラ１０１の撮像パターン
を切り替える。具体的には、車速が１０ｋｍ／ｈ未満の
ときはフレームベースの画像合成パラメタを選択する一
方、車速が１０ｋｍ／ｈ以上のときはフィールドベース
の画像合成パラメタを選択する。これとともに、カメラ
１０１の撮像パターンを、車速が１０ｋｍ／ｈ未満のと
きはノンインターレース撮像かつ露光時間１／３０秒と
し、車速が１０ｋｍ／ｈ以上３０ｋｍ／ｈ未満のときは
インターレース撮像かつ露光時間１／６０秒とし、車速
が３０ｋｍ／ｈ以上のときはインターレース撮像かつ露
光時間１／１２０秒とする。
【００５４】このような動作によって、合成画像は、車
両の速度が１０ｋｍ／ｈ未満のときは、ノンインターレ
ース撮像されかつフレームベースで画像合成されるた
め、解像度が高くなる一方、車両の速度が１０ｋｍ／ｈ
以上のときは、インターレース撮像されかつフィールド
ベースで画像合成されるため、解像度は低くなるが、動
きが自然な画像になる。さらに、車両の速度に応じて露
光時間を切り替えることによって、合成画像は、動きに
よるぼけ量が少ない自然な画像になる。すなわち、車両
の動きに応じて、画像合成パラメタの選択と撮像パター
ンの切り替えとを行うことによって、車両の動きに応じ
た最適な画質の合成画像を生成することができる。
【００５５】また、図１の構成は、車両の状況を検出す
る車両状況検出部２００を備えている。この車両状況検
出部２００の出力を用いて、画像合成パラメタの選択や
各カメラの撮像パターンの切替を実行することによっ
て、合成画像の画質をさらに向上させることができる。
ここでは、車両状況検出部２００は、車両に設置された
光学センサなどによって構成されており、車両周辺の明
るさを検出する手段２１０と、運転者のスイッチ操作を
検出する手段２２０と、車両周辺の障害物を検出する手
段２３０とを備えている。
【００５６】図５は明るさ検出手段２１０の出力を利用
したパラメタ選択部１０８の動作の一例を示す図であ
る。ここで一般的に、１フレームを撮像するときの露光
時間は、インターレース撮像ではノンインターレース撮
像の半分になる。また、露光時間が長いときは、動きの
ある画像はぼける反面明るい画像を得ることができる一
方、露光時間が短いときは、動きのある画像のぼけは少
なくなる反面画像は暗くなる、という性質がある。そこ
で、パラメタ選択部１０８は、図５に示すように、車動
検出部１０７によって検出された車両の速度に加え、明
るさ検出手段２１０によって検出された車両周辺の明る
さに応じて、画像合成パラメタの選択と各カメラ１０１
の撮像パターンの切替とを行う。これにより、車両周辺
の明るさと車両の速度に応じた最適な画質の合成画像を
生成することができる。
【００５７】図６はスイッチ検出手段２２０および障害
物検出手段２３０の出力を利用したパラメタ選択部１０
８の動作の一例を示す図である。ここでは、図７
（ａ），（ｂ）に示すような２種類の構図についてそれ
ぞれ、フレームベースとフィールドベースの画像合成パ
ラメタが、パラメタ記憶部１０９に準備されているもの
とする。そして、運転者は画像合成の構図について「構
図Ａ」「構図Ｂ」「自動」の３種類のうちいずれかをス
イッチ操作によって選択できるものとする。スイッチ検
出手段２２０は運転者のスイッチ操作を検出する。ま
た、障害物検出手段２３０は、車両に設置された超音波
による障害物センサによって障害物までの距離を計測
し、出力する。
【００５８】パラメタ選択部１０８は、図６に示すよう
に、検出された車両の状況、すなわち運転者の選択およ
び障害物までの距離と、車動検出部１０７によって検出
された車両の速度とに応じて、画像合成パラメタの選択
を行う。
【００５９】ここで、図７（ａ）の構図Ａでは、自車の
周辺が遠くまで映っているのに対して、図７（ｂ）の構
図Ｂでは、自車の周辺の近くがより大きく映されてい
る。このため、車両の速度が同じ場合には、構図Ａの合
成画像よりも構図Ｂの合成画像の方が、発生する櫛状の
ずれが大きくなる。そこで、図６に示すように、合成画
像パラメタをフレームベースからフィールドベースに切
り替える速度を、車両の動きや車両の状況に応じて変え
ることによって、より最適な画質の合成画像を生成する
ことが可能になる。
【００６０】なお、運転者の操作として、シフトレバー
やウィンカーなどの操作を車両状況検出部２００によっ
て検出するようにしてもかまわない。
【００６１】また、本実施形態では、フィールドベース
とフレームベースの画像合成パラメタを例にとって説明
したが、空間的または時間的な解像度の関係が互いに異
なる他の種類の画像合成パラメタを用いてもかまわな
い。例えば、１フレームのカメラ画像が異なる撮像時間
で撮影された複数の画像によって構成されるような場合
には、空間的または時間的な解像度の組み合わせが異な
る複数の画像合成パラメタを用いることによって、本実
施形態と同様の効果を得ることができる。
【００６２】また、本実施形態において、図３〜図６ま
たは図１０に示したパラメタ選択の規則は、あくまでも
一例に過ぎず、これら以外の規則に従って、車両の動き
や車両の状況に応じてパラメタ選択を行ってもかまわな
いことはいうまでもない。
【００６３】また、本実施形態では、フィールドベース
とフレームベースの画像合成パラメタをそれぞれ準備し
ておくものとしたが、フレームベースの画像合成パラメ
タのみを準備しておいても、本実施形態と同様の動作は
実現可能である。すなわち、フィールドベースの画像合
成パラメタは、フレームベースの画像合成パラメタのＹ
座標値Ｙ０のフィールドに応じてカメラ画像のＹ座標値
Ｙｉを奇数または偶数に丸めることによって、生成する
ことが可能である。このため、パラメタ記憶部１０９に
はフレームベースの画像合成パラメタのみを記憶してお
き、パラメタ選択部１０８は、フレームベースの画像合
成パラメタが必要なときはパラメタ記憶部１０９からそ
のまま読み出し、フィールドベースの画像合成パラメタ
が必要なときはパラメタ記憶部１０９に記憶されたフレ
ームベースの画像合成パラメタを上述した方法によって
変換するようにすればよい。
【００６４】（第２の実施形態） 図８は本発明の第２の実施形態に係る車両周辺監視シス
テムの構成を示す図である。図１の構成と異なるのは、
Ａ／Ｄ変換器１０２とフレームメモリ１０３との間に、
各カメラ画像に対してフィルタ処理を行うフィルタ処理
部３１０を設けた点である。そしてパラメタ記憶部３３
０は、カメラ画像と合成画像との対応関係を表す画像合
成パラメタとこの画像合成パラメタに対応するフィルタ
パラメタとの組を複数個記憶しており、パラメタ選択部
３２０は、車動検出部１０７によって検出された車両の
動きと車両状況検出部２００によって検出された車両状
況とに応じて、パラメタ記憶部３３０から画像合成パラ
メタとフィルタパラメタの組を選択する。フィルタ処理
部３１０はパラメタ選択部３２０によって選択された組
のフィルタパラメタに応じて、各カメラ画像に対し、周
波数帯域制限フィルタ処理を行う。
【００６５】図９はフィルタパラメタの一例を示す図で
ある。図９に示すフィルタパラメタは、各カメラに対し
てそれぞれ、カットオフ周波数を指定している。フィル
タ処理部３１０は、Ａ／Ｄ変換器１０２から出力される
デジタル化された画像データに対して、フィルタパラメ
タが指定するカットオフ周波数の低域通過型のフィルタ
処理を行う。
【００６６】ここでは、画素クロックｆｓに対してカッ
トオフ周波数を与えるものとし、画像データ入力をその
まま出力するときは「１／２ｆｓ」と、カットオフ周波
数１／４ｆｓのフィルタをかけるときは「１／４ｆｓ」
と指定する。カットオフ周波数は、画像合成パラメタに
従った画像合成の際に、そのカメラ画像が最も縮小され
る部分の縮小率に応じて、サンプリング定理によって予
め算出しておく。例えば、カメラ１の画像が画像合成の
際に最も縮小される部分の縮小率が長さ比で１／２であ
るとき、カメラ１のカットオフ周波数は１／４ｆｓとす
る。
【００６７】カメラ画像の縮小率は、画像合成パラメタ
に含まれるカメラ画像の座標値を用いて求めることがで
きる。例えば、画像合成パラメタの座標（ｘ０，ｙ０）
における要素が『カメラ番号＝１、座標（ｘ１，ｙ
１）』であり、画像合成パラメタの座標（ｘ０＋１，ｙ
０）における要素が『カメラ番号＝１、座標（ｘ２，ｙ
２）』であったとする。このとき、座標（ｘ１，ｙ１）
と（ｘ２，ｙ２）との距離をＤとすると、カメラ番号１
のカメラ画像において、座標（ｘ１，ｙ１）または（ｘ
２，ｙ２）の近辺は、合成画像上で１／Ｄに縮小されて
いるといえる。このようにして、各カメラ画像のある画
素周辺における縮小率を求めることができる。そして、
各カメラ画像の縮小率の最小値が、最も縮小される部分
の縮小率といえる。
【００６８】パラメタ選択部３２０は、車動検出部１０
７によって検出された車両の速度や車両状況検出部２０
０によって検出された車両の状況に応じて、例えば図１
０に示すように、画像合成パラメタおよびフィルタパラ
メタを選択する。他の動作は第１の実施形態と同様であ
る。
【００６９】ここで、課題の項で述べたように、画像の
縮小を伴う変形では、縮小率に応じた高域の周波数成分
の除去を行わないと、折り返し歪みが発生する。本実施
形態では、フィルタパラメタに応じた低域通過フィルタ
処理によって、折り返し歪みを除去できる上に、図７の
ように合成画像の構図を切り替える場合、フィルタパラ
メタも併せて切り替えることによって、合成画像の構図
に適したフィルタ処理が可能になる。したがって、車両
の状況と車両の速度に応じた，折り返し歪みの少ない最
適な画質の合成画像を生成することができる。
【００７０】図１１はフィルタパラメタの他の構成の例
を示す図である。図１１（ｂ）に示すフィルタパラメタ
は、１フレーム分のカメラ画像の各画素座標に１対１に
対応した要素を有しており、各要素は、各カメラ画像に
対するフィルタ処理のカットオフ周波数を記述してい
る。すなわち、このフィルタパラメタは、カメラ画像の
画素位置毎に、フィルタ処理の設定データが記述された
ものである。
【００７１】パラメタ選択部３２０は、車動検出部１０
７によって検出された車両の速度や車両状況検出部２０
０によって検出された車両の状況に応じて、画像合成パ
ラメタおよびフィルタパラメタを選択し、順次走査しな
がらそのデータを出力する。フィルタ処理部３１０は、
パラメタ選択部３２０から出力されたフィルタパラメタ
のカットオフ周波数の情報から、Ａ／Ｄ変換器１０２か
ら出力されるデジタル化された画像データに対して、フ
ィルタパラメタに応じた低域通過型のフィルタ処理を行
う。
【００７２】ここで、図９に示すようなフィルタパラメ
タを用いる場合、１個のカメラ画像に対し１種類のカッ
トオフ周波数しか与えることができない。これは、カメ
ラ画像上の位置によって縮小率が異なるような画像合成
を行う場合には、あまり好ましくない。そこで、図１１
（ｂ）に示すようなフィルタパラメタを用いることによ
って、カメラ画像上の位置によってカットオフ周波数を
変えることができるため、入力画像の縮小されない部分
がぼけるのを防ぐことができる。
【００７３】なお、図１１（ｂ）のフィルタパラメタ
は、１フレーム分のカメラ画像の各画素座標に１対１に
対応したフィルタ処理の設定データを保持する構成とな
っている。一般的に、近傍画素のフィルタパラメタはよ
く似た値になることが多いので、例えば（８×８）画素
の矩形領域毎にフィルタ処理の設定データを保持する
等、近傍の複数画素について共通の設定データを保持す
るようにしてもかまわない。これにより、縮小されない
部分の画像がぼけるのを防ぐことができる上に、フィル
タ処理の設定データを画素毎に保持する場合に比べて、
フィルタパラメタのデータ量を少なくすることができる
という効果が得られる。
【００７４】また、第１の実施形態と第２の実施形態と
を組み合わせて実行することによって、より顕著な効果
を得ることができる。すなわち、第１の実施形態に係る
技術的特徴によって、インターレースノイズを除去する
ことができ、これとともに、第２の実施形態に係る技術
的特徴によって、折り返し歪みを除去することができる
ので、車両が高速走行する場合であっても、画質の良い
合成画像を生成することができる。
【００７５】（第３の実施形態） 図１２は本発明の第３の実施形態に係る車両周辺監視シ
ステムの構成を示す図である。図１の構成と異なるの
は、フレームメモリ１０３と画像合成部１０４との間
に、各カメラ画像の輝度や色合いを補正する輝度補正部
４１０を設けた点である。また、輝度補正部４１０が用
いる輝度補正パラメタを算出する輝度補正パラメタ算出
部４２０も、設けられている。
【００７６】図１３は複数のカメラ画像から合成画像を
生成するための画像合成パラメタの例を示す図である。
同図中、（ａ），（ｂ）は車両の後方に設置された２台
のカメラで撮像された画像の例であり、この例では、車
両の真後ろの領域はカメラ１とカメラ２の両方によって
重複して撮影されている。図１３（ｃ）は合成画像の
例、図１３（ｄ）は画像合成パラメタの例である。
【００７７】図１３（ｄ）の例では、画像合成パラメタ
の座標（ｘｏ，ｙｏ）の要素は、カメラ１の画像の（Ｘ
ｉ１，Ｙｉ１）の画素と、カメラ２の画像の（Ｘｉ２，
Ｙｉ２）の画素を、重み０．７：０．３で重み付けして
合成すればよいことを示している。画像合成部１０４
は、このような画像合成パラメタに従って、各カメラ画
像を重み付けして加算し、順次合成画像として出力す
る。これにより、合成画像の画素を１個のカメラ画像の
単一画素から生成する場合に比べて、カメラ画像の輝度
や色合いの違いによるつなぎ目が目立たない、滑らかな
合成画像を生成することができる。
【００７８】さらに、本実施形態では、合成画像におけ
る重複領域の情報を用いて、輝度補正パラメタの算出を
行う。
【００７９】すなわち、パラメタ記憶部１０９が記憶す
る画像合成パラメタは、合成画像上の重複領域につい
て、対応するカメラ画像の画素座標を示す重複領域デー
タを有しており、輝度補正パラメタ算出部４２０は、画
像合成パラメタが有する重複領域データを入力とし、こ
の重複領域データが示す重複領域に対応する各カメラ画
像の画素の，輝度や色合いのデータを用いて、輝度補正
パラメタを算出する。
【００８０】図１４は重複領域を有する合成画像とその
画像合成パラメタの例を示す図である。図１４（ａ）に
示す合成画像において、斜線部はそれぞれ、カメラ１の
撮影範囲とカメラ２の撮影範囲を表しており、車両後方
部分にカメラ１の撮影範囲とカメラ２の撮影範囲とが重
複した重複領域が形成されている。図１４（ｂ）の画像
合成パラメタには、重複領域に対応するカメラ画像の画
素座標を示す重複領域データの一部が示されている。す
なわち、重複領域の座標（ｘｏ，ｙｏ）に、カメラ１の
画像の座標（Ｘｉ１，Ｙｉ１）の画素と、カメラ２の画
像の（Ｘｉ２，Ｙｉ２）の画素とが対応することが、重
複領域データとして示されている。
【００８１】ここで、重みの情報が「１：０」かそれ以
外の値であるかによって、非重複領域であるか重複領域
であるかを判別することができる。または、有効なカメ
ラ番号が２個以上指定されていれば重複領域であり、有
効なカメラ番号が１個以下しか指定されていなければ非
重複領域であると判別してもよい。
【００８２】パラメタ選択部１０８は、車動検出部１０
７によって検出された車両の速度や車両状況検出部２０
０によって検出された車両の状況に応じて、予め決めら
れた基準に従って画像合成パラメタを選択し、インター
レース走査によって順次読み出し、画像合成部１０４に
出力する。パラメタ選択部１０８から出力された画像合
成パラメタが有する重複領域データは、輝度補正パラメ
タ算出部４２０にも出力される。
【００８３】輝度補正パラメタ算出部４２０は、パラメ
タ選択部１０８から出力される重複領域データと、画像
合成部１０４がフレームメモリ１０３から読み出した画
素値から、重複領域における各カメラ画像の輝度や色あ
いの分布を求め、これらの分布が重複領域においてほぼ
一致するような輝度補正パラメタを算出する。
【００８４】輝度補正部４１０は、画像合成部１０４が
フレームメモリ１０３から読み出した画素値に対し、輝
度補正パラメタ算出部４２０によって算出された輝度補
正パラメタに従って輝度補正を行い、画像合成部１０４
に出力する。画像合成部１０４は、パラメタ選択部１０
８から出力された画像合成パラメタに従って、輝度補正
部４１０によって輝度補正されたカメラ画像から、合成
画像を生成する。
【００８５】輝度補正パラメタの算出の手順について、
具体例を挙げて説明する。
【００８６】例えば、輝度補正パラメタ算出部４２０
は、重複領域における各カメラ画像の輝度の平均と分散
が一致するような、ゲイン係数およびオフセット係数を
輝度補正パラメタとして出力するものとする。そして、
輝度補正部４１０は各カメラ画像の画素値に対し、輝度
補正パラメタであるゲイン係数およびオフセット係数を
用いた１次式によって補正をかけるものとする。
【００８７】ここで、重複領域が複数個存在するものと
する。例えば４種類の重複領域すなわち、カメラ１とカ
メラ２の第１の重複領域、カメラ１とカメラ３の第２の
重複領域、カメラ２とカメラ４の第３の重複領域、およ
びカメラ３とカメラ４の第４の重複領域が存在するもの
とする。
【００８８】輝度補正パラメタ算出部４２０は、まず、
第１の重複領域に着目し、画像合成部１０４がフレーム
メモリ１０３から読み出したカメラ１とカメラ２の画像
をそれぞれ１フレーム分累積し、第１の重複領域におけ
るカメラ１とカメラ２の画像の輝度の平均と分散をそれ
ぞれ求める。同様に、他の第２〜第４の重複領域につい
ても、その重複領域に対応するカメラ画像の輝度の平均
と分散を求める。
【００８９】次に、第１の重複領域のカメラ１とカメラ
２の画像の輝度の平均と分散が一致するように、輝度補
正パラメタとしてゲインとオフセットを求める。例え
ば、第１の重複領域において、カメラ１の画像の輝度の
平均が１００、分散が１０であり、カメラ２の画像の輝
度の平均が１２１、分散が１１であったとすると、カメ
ラ１の画像に対するゲインを１、オフセットを０とし、
カメラ２の画像に対するゲインを１０／１１、オフセッ
トを−１０とすると、カメラ１とカメラ２の画像の輝度
の平均と分散が一致する。
【００９０】次に、第１の重複領域から求めた輝度補正
パラメタを用いて、第２の重複領域におけるカメラ１の
画像の輝度の平均と分散を修正する。ただし上記の例で
は、カメラ１の画像に対するゲインは１、オフセットは
０であるので、カメラ１の画像の輝度の平均と分散を修
正する必要はない。そして、第２の重複領域においてカ
メラ１とカメラ３の画像の輝度の平均と分散が一致する
ように、カメラ３の画像に対する輝度補正パラメタを求
める。同様に、第１の重複領域から求めた輝度補正パラ
メタを用いて、第３の重複領域におけるカメラ２の画像
の輝度の平均と分散を修正する。そして、第３の重複領
域においてカメラ２とカメラ４の画像の輝度の平均と分
散が一致するように、カメラ４の画像に対する輝度補正
パラメタを求める。
【００９１】ただし、このような算出手順では、第４の
重複領域においては必ずしも適切に輝度補正はなされな
い可能性がある。したがって、上述した以外の算出手順
として、例えば、各重複領域から輝度補正パラメタを一
旦算出し、複数の重複領域に対応するカメラ画像につい
ては、一旦算出した輝度補正パラメタの平均値を最終的
な輝度補正パラメタとして求めてもよい。この場合、各
重複領域において輝度や色合いは完全には一致しない
が、合成画像全体としては、輝度や色合いが大きくずれ
た重複領域がなくなることが期待できる。
【００９２】また、重複領域が複数個存在する場合に
は、輝度補正パラメタ算出の際に考慮する重複領域の優
先順位を、車動検出部１０７によって検出された車両の
動きに応じて設定してもかまわない。
【００９３】例えば、車両が後退している場合は、合成
画像上で車両後方に位置する重複領域を優先的に考慮す
ればよい。一方、車両が前進している場合は、合成画像
上で車両前方に位置する重複領域を優先的に考慮すれば
よい。一般的に、運転者は、車両が後退している場合は
車両の後方に注目する傾向にあり、車両が前進している
場合は車両の前方に注目する傾向にある。したがって、
一部の重複領域の輝度や色合いは一致しなくても、運転
者が注目しやすい位置にある重複領域では輝度や色合い
は一致しているので、運転者からみてより自然な合成画
像になる。
【００９４】以上のように、本実施形態によると、重複
領域に対応する各カメラ画像の画素の輝度や色合いのデ
ータを用いて、輝度補正パラメタを算出し、輝度補正を
行うので、カメラ画像の輝度や色合いの相違に起因する
つなぎ目が目立たない、滑らかな合成画像を得ることが
できる。
【００９５】なお、図１２の構成では、輝度補正部４１
０を設けているが、カメラ１０１が、輝度補正部４１０
に相当する機能を内蔵している場合には、その機能を利
用することによって、輝度補正部４１０を省くことがで
き、システムの構成を簡略化することができる。
【００９６】なお、輝度補正の手法は、本実施形態に示
したものに限られるものではなく、重複領域の輝度や色
合いが近くなるような処理であれば、他の手法を用いて
も、本実施形態と同様の効果を得ることができる。
【００９７】なお、本実施形態では、重複領域を判別す
るために、画像合成パラメタ中の重みの情報を用いるも
のとしたが、重み情報の代わりに、重複領域であるか否
かを示す専用の情報を画像合成パラメタ中に設けるよう
にしてもかまわないことはいうまでもない。
【００９８】（第４の実施形態） 本発明の第４の実施形態は、合成画像上で複数のカメラ
の撮影範囲が重複する重複領域において、画像合成に用
いるカメラ画像の選択や、各カメラ画像の重み付けの設
定を、適宜切り替えるものである。
【００９９】本実施形態に係る車両周辺監視システムの
構成は、図１に示す構成と同様である。ただし、パラメ
タ記憶部１０９が、構図は同一であるが、重複領域にお
いて画像合成に用いるカメラ画像の選択が互いに異なる
複数の画像合成パラメタを有している点が異なる。
【０１００】図１５は本実施形態におけるカメラおよび
障害物検出手段２３０としての障害物センサの設置位置
を示す図である。図１５に示すように、カメラ１および
カメラ２は車両後方のピラーに設置されており、カメラ
１は車両左後方を撮影し、カメラ２は車両右後方を撮影
している。カメラ１とカメラ２の撮影範囲は、車両後方
において重複している。また、車両後方に２個の障害物
センサが設置されており、この障害物センサによって、
車両後方の障害物を検出することができる。
【０１０１】図１６は合成画像とこの合成画像を生成す
るための画像合成パラメタの例を示す図である。同図
中、（ａ）は合成画像、（ｂ），（ｃ）は（ａ）の合成
画像を生成するための２種類の画像合成パラメタであ
る。画像合成パラメタＡ（ｂ）と画像合成パラメタＢ
（ｃ）はいずれも同一の構図の合成画像（ａ）を生成す
るための画像合成パラメタであるが、車両後方部分の重
複領域において、画像合成のために用いるカメラ画像が
異なっている。重複領域において、画像合成パラメタＡ
はカメラ１の画像を用いており、画像合成パラメタＢは
カメラ２の画像を用いている。
【０１０２】本実施形態に係る車両走行監視システムの
動作を説明する。
【０１０３】障害物検出手段２３０は、車両後方の左右
いずれかに障害物がある場合、その検出位置をパラメタ
選択部１０８に出力する。パラメタ選択部１０８は、検
出された障害物の位置やユーザーのスイッチ操作に応じ
て画像合成パラメタを選択して出力する。
【０１０４】例えば、車両の左後方に障害物がある場合
は画像合成パラメタＡを、車両の右後方に障害物がある
場合は画像合成パラメタＢを選択して出力する。画像合
成部１０４は、選択された画像合成パラメタに従って、
フレームメモリ１０３からカメラ画像を読み出し、合成
画像を生成する。
【０１０５】このような動作によって、例えば図１７
（ａ）に示すように、車両の左後方に障害物例えば他の
車両がある場合、画像合成パラメタＡを選択することに
よって、図１７（ｂ）に示すように、合成画像上でカメ
ラ画像のつなぎ目が目立たなくなる。もし、このときに
画像合成パラメタＢを選択すると、図１７（ｃ）に示す
ように、合成画像上でのカメラ画像のつなぎ目が他の車
両の画像にかかり、これによって、つなぎ目が不自然に
なってしまう。すなわち、障害物の位置に応じて画像合
成パラメタを選択して画像合成を行うことによって、合
成画像上でつなぎ目の位置を目立たないところに変える
ことができるので、見た目が自然な合成画像を生成する
ことができる。
【０１０６】また、パラメタ選択部１０８は、車両状況
検出部２００の出力の代わりに、車動検出部１０７によ
って検出された車両の動きに応じて、画像合成パラメタ
を切り替えてもよい。これにより、重複領域において画
像合成に用いるカメラ画像を、車両の進む向きや速度に
応じて、切り替えることができる。これにより、例え
ば、撮影範囲が車両の進行方向により近いカメラの画像
を選択することによって、運転者が注視しやすい領域付
近でのつなぎ目を少なくすることができるので、運転の
しやすい合成画像の表示が可能になる。もちろん、車両
状況検出部２００の出力と車動検出部１０７の出力とを
併せて用いてもかまわない。
【０１０７】図１８は本実施形態に係る画像合成パラメ
タの他の例を示す図である。図１８の画像合成パラメタ
は、合成画像上の重複領域について、各カメラ画像に対
する重み付けの情報を複数個有している。例えば図１８
において、画像合成パラメタの座標（ｘ０，ｙ０）は、
カメラ１の画像の（Ｘｉ１，Ｙｉ１）の画素とカメラ２
の画像の（Ｘｉ２，Ｙｉ２）の画素とが重複した領域で
あり、合成時の重み付けについて、重み情報Ａ（０．
７：０．３）と重み情報Ｂ（０．２：０．８）との２組
が準備されている。
【０１０８】この場合、パラメタ選択部１０８は、車両
状況検出部２００の出力に応じて、画像合成パラメタが
有する複数の重み付け情報のいずれかを選択する。例え
ば、車両の左後方に障害物があるときは、重み情報Ａ
を、車両の右後方に障害物があるときは、重み情報Ｂを
選択する。
【０１０９】このように重み情報を選択して画像合成を
行うことによって、図１７に示す場合と同様に、障害物
の位置に応じて、合成画像上のカメラ画像のつなぎ目の
不自然さを低減することができ、つなぎ目がより滑らか
な合成画像を生成することができる。
【０１１０】図１９は本実施形態に係る画像合成パラメ
タの他の例を示す図である。図１９の画像合成パラメタ
は、図１８の画像合成パラメタと等価であり、異なる点
は、各画素毎にそれぞれ重み情報を持つ代わりに、重み
情報の組み合わせを示す１つの重み参照番号を有する点
である。
【０１１１】図１９の例では、画像合成パラメタの座標
（ｘ０，ｙ０）の重み参照番号は「３」である。そして
別のテーブルから、重み参照番号「３」は、各画素の合
成時の重み付けが、０．７：０．３である（重み情報
Ａ）か、０．２：０．８である（重み情報Ｂ）ことを示
している。
【０１１２】ここで、図１８の画像合成パラメタは、重
みに関して各座標毎に４つの値を保持する必要があるの
に対して、図１９の画像合成パラメタは、１個の重み参
照情報の値を保持するだけですむ。このため、画像合成
パラメタの画素数が多く、重み情報の組み合わせの数が
少ないほど、図１９の画像合成パラメタの方が、データ
量がより少なくなるといえる。
【０１１３】このように、合成画像パラメタの各座標毎
に複数の重み情報を保持する代わりに、複数の重み情報
の組み合わせを表す重み参照番号を保持することによっ
て、画像合成パラメタのデータ量を少なくすることがで
きる。
【０１１４】図２０は本実施形態に係る画像合成パラメ
タの他の例を示す図である。図２０の画像合成パラメタ
は、図１８の画像合成パラメタを基に、ディザ法を用い
て生成されたものである。
【０１１５】図２０（ａ）の画像合成パラメタＡは、図
１８の画像合成パラメタの各画素に対応するカメラ番号
と重み情報Ａを基に、着目画素の近傍における各カメラ
画像の画素数の比率が重みと近くなるよう、着目画素の
いずれか一方のカメラ画像を選択する、いわゆるディザ
法によって生成されたものである。同様に、図２０
（ｂ）の画像合成パラメタＢは、図１８の画像合成パラ
メタの各画素に対応するカメラ番号と重み情報Ｂを基に
して生成されたものである。
【０１１６】例えば図１８の画像合成パラメタの重み情
報Ａでは、座標（ｘ０，ｙ０）において、カメラ１が
０．７、カメラ２が０．３の重みであることを示してい
る。図２０（ａ）の画像合成パラメタＡでは、座標（ｘ
０，ｙ０）の近傍画素のカメラ１の画素数とカメラ２の
画素数の比率が０．７：０．３に近くなるように、カメ
ラ番号が選択されている。図２０（ａ）の例では、座標
（ｘ０，ｙ０）ではカメラ１が選択されているが、周辺
の画素におけるカメラ１とカメラ２の画素比率がほぼ
０．７：０．３になっている。
【０１１７】上記のディザ法は、「テレビション画像情
報工学ハンドブック」（映像情報メディア学会編／オー
ム社）等に開示されており、広く一般に知られた方法で
あるため、カメラ画像の選択方法についての詳細な説明
は、ここでは省略する。
【０１１８】パラメタ選択部１０８は、車両状況検出部
２００の出力に応じて、画像合成パラメタＡまたは画像
合成パラメタＢのいずれかを選択する。
【０１１９】このようにディザ処理された複数の画像合
成パラメタを選択して画像合成することによって、図１
８の画像合成パラメタを用いた場合と同様に、障害物の
位置に応じて、画像合成上のつなぎ目の不自然さを低減
することができ、つなぎ目の滑らかな合成画像を生成す
ることができる。
【０１２０】また、図２０（ａ）の画像合成パラメタＡ
と図２０（ｂ）の画像合成パラメタＢとを合わせたデー
タ量は、図１８の画像合成パラメタのデータ量に対し
て、重みの情報分だけデータ量が少ないといえる。
【０１２１】さらに、図２０（ａ）の画像合成パラメタ
Ａまたは図２０（ｂ）の画像合成パラメタＢを用いて画
像合成を行う場合、図１８の重み付き画像合成パラメタ
を用いて画像合成を行う場合に対して、画像合成部１０
４がフレームメモリ１０３から読み出す画素数、および
画像合成部１０４での重み付け加算分の演算量が少ない
といえる。
【０１２２】このように画像合成パラメタとして、ディ
ザ法によって生成された画像合成パラメタを用いること
によって、重み情報を用いた画像合成パラメタを用いる
場合に比べて、画像合成パラメタのデータ量が少なくな
る上に、画像合成の処理量が少なくなるという効果があ
る。
【０１２３】なお、上述した各実施形態では、ディスプ
レイ１０６はインターレース走査の画像を表示するもの
とし、パラメタ選択部１０８，３２０はインターレース
走査によって画像合成パラメタを読み出すものとした
が、いずれもノンインターレース走査を用いても、各実
施形態と同様の効果を得ることができる。
【０１２４】また、上述した各実施形態では、画像合成
パラメタは、カメラ画像と合成画像との座標の対応関係
を示すテーブル状のデータであるものとしたが、カメラ
画像と合成画像との対応関係を示すものであれば、他の
形式、例えば変数を含む数式やプログラムによって記述
したものであってもかまわない。この場合、画像合成部
は、変数を含む数式やプログラムによって記述された画
像合成パラメタを用いて、座標の対応を求める構成とす
ればよい。なお、このような変数を含む数式やプログラ
ムによって記述された画像合成パラメタを導出する方法
は、特願平１０−２１７２６１などに開示されている。
【０１２５】なお、上述した各実施形態では、画像合成
パラメタは、１フレーム分の合成画像の画素座標と１対
１に対応した要素を含み、合成画像とサイズが同一であ
るものとしたが、画像合成パラメタのサイズは合成画像
と同一である必要は必ずしもない。例えば、合成画像よ
りもサイズが大きい画像合成パラメタを準備しておき、
ここの画像合成パラメタから、合成画像と同じサイズの
範囲を切り出して、画像合成を行うようにしてもかまわ
ない。
【０１２６】なお、以上の説明では、本発明に係る監視
システムや画像処理装置は、車両に適用するものとした
が、車両以外の移動体、例えば飛行機や船舶などであっ
ても、同様に適用することができる。また、移動体以外
の監視対象、例えば店舗、住居、ショールームなどにカ
メラを設置してもよい。
【０１２７】また、複数のカメラの設置位置や台数は、
ここで示したものに限られるものではない。
【０１２８】また、本発明に係る画像処理装置の機能
は、その全部または一部を、専用のハードウェアを用い
て実現してもかまわないし、ソフトウェアによって実現
してもかまわない。また、本発明に係る画像処理装置の
機能の全部または一部をコンピュータに実行させるため
のプログラムを格納した記録媒体や伝送媒体を、利用す
ることも可能である。例えば、図２１に示すようなコン
ピュータを用いた構成において、画像合成部やパラメタ
選択部などの各処理手段を、ＣＰＵ５１０によって実行
されるソフトウェアによって実現し、ＲＯＭ５２０また
はＲＡＭ５３０に格納しておいてもかまわない。
【０１２９】
【発明の効果】以上のように本発明によると、合成画像
について、車両が動いている場合の不自然さを低減でき
るとともに、車両が静止している場合の解像度の低下を
防ぐことができる。また、合成画像上で、折り返し歪み
を効果的に抑制することができる。さらに、合成画像上
で、カメラ画像のつなぎ目の不自然さを低減することが
できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る車両周辺監視シ
ステムの構成図である。
【図２】画像合成パラメタを用いた画像合成を説明する
ための図である。
【図３】本発明の第１の実施形態に係る画像合成パラメ
タの選択の一例である。
【図４】本発明の第１の実施形態に係る，画像合成パラ
メタと撮像パターンの選択の一例である。
【図５】本発明の第１の実施形態に係る，明るさ検出手
段の出力を利用した画像合成パラメタと撮像パターンの
選択の一例である。
【図６】本発明の第１の実施形態に係る，スイッチ検出
手段および障害物検出手段の出力を利用した画像合成パ
ラメタの選択の一例である。
【図７】合成画像の構図の例である。
【図８】本発明の第２の実施形態に係る車両周辺監視シ
ステムの構成図である。
【図９】フィルタパラメタの一例を示す図である。
【図１０】本発明の第２の実施形態に係る画像合成パラ
メタおよびフィルタパラメタの選択の一例である。
【図１１】フィルタパラメタの一例を示す図である。
【図１２】本発明の第３の実施形態に係る車両周辺監視
システムの構成図である。
【図１３】複数のカメラ画像から合成画像を生成するた
めの画像合成パラメタの例を示す図である。
【図１４】重複領域を有する合成画像とその画像合成パ
ラメタの例を示す図である。
【図１５】本発明の第４の実施形態におけるカメラおよ
び障害物センサの設置位置を示す図である。
【図１６】合成画像とこの合成画像を生成するための画
像合成パラメタの例を示す図である。
【図１７】本発明の第４の実施形態に係る画像合成パラ
メタの選択の例を示す図である。
【図１８】本発明の第４の実施形態に係る画像合成パラ
メタの他の例を示す図である。
【図１９】本発明の第４の実施形態に係る画像合成パラ
メタの他の例を示す図である。
【図２０】本発明の第４の実施形態に係る画像合成パラ
メタの他の例を示す図である。
【図２１】本発明を実現するための構成の他の例を示す
図である。
【図２２】従来の課題を説明するための図である。
【図２３】従来の課題を説明するための図である。
【符号の説明】
１０１ カメラ １０６ ディスプレイ（表示部） １０７ 車動検出部 １０８ パラメタ選択部 １０９ パラメタ記憶部 ２００ 車両状況検出部 ３１０ フィルタ処理部 ３２０ パラメタ選択部 ３３０ パラメタ記憶部 ４１０ 輝度補正部 ４２０ 輝度補正パラメタ算出部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ (72)発明者 岡本 修作 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平８−48198（ＪＰ，Ａ) 特開 平３−99952（ＪＰ，Ａ) 特開2000−92306（ＪＰ，Ａ) 特公 平５−10869（ＪＰ，Ｂ２) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/18 B60R 1/00 B60R 21/00 G06T 1/00 G08G 1/16

Claims (20)

    (57)【特許請求の範囲】
  1. 【請求項１】 車両の周囲を撮影する複数のカメラの撮
    像画像を入力とし、これらのカメラ画像から合成画像を
    生成する画像処理装置であって、 カメラ画像と合成画像との対応関係をそれぞれ表し、か
    つ、空間的または時間的な解像度の関係が互いに異なる
    複数の画像合成パラメタを生成可能に構成されたパラメ
    タ生成部を備え、 前記パラメタ生成部によって生成された画像合成パラメ
    タに従って、カメラ画像から合成画像を生成するもので
    あり、 前記パラメタ生成部は、生成する画像合成パラメタを、
    車両の動きを検出する車動検出部の出力に応じて、切り
    替える ことを特徴とする画像処理装置。
  2. 【請求項２】 請求項１記載の画像処理装置において、 前記パラメタ生成部は、 前記複数の画像合成パラメタを記憶するパラメタ記憶部
    と、 前記車動検出部の出力に応じて、前記パラメタ記憶部が
    記憶する複数の画像合成パラメタの中から、少なくとも
    １つを選択するパラメタ選択部とを備えたものである ことを特徴とする画像処理装置。
  3. 【請求項３】 請求項１記載の画像処理装置において、 前記カメラ画像は、インターレース画像であり、 前記複数の画像合成パラメタは、少なくとも、フレーム
    ベースの画像合成パラメタと、フィールドベースの画像
    合成パラメタとを含む ことを特徴とする画像処理装置。
  4. 【請求項４】 請求項３記載の画像処理装置において、 前記パラメタ生成部は、 前記車動検出部によって検出された車両の動きが、相対
    的に速いときは、フィールドベースの画像合成パラメタ
    を生成する一方、相対的に遅いときは、フレームベース
    の画像合成パラメタを生成するものである ことを特徴とする画像処理装置。
  5. 【請求項５】 請求項１記載の画像処理装置において、 前記車動検出部は、カメラ画像から、車両の動きを検出
    するものである ことを特徴とする画像処理装置。
  6. 【請求項６】 請求項１記載の画像処理装置において、 前記複数のカメラは、入力された切替信号に応じて、そ
    の撮像パターンが切替可能に構成されており、 前記パラメタ生成部は、 前記車動検出部の出力に応じて、前記画像合成パラメタ
    の生成とともに、前記各カメラに切替信号を送り、各カ
    メラの撮像パターンを切り替える ことを特徴とする画像処理装置。
  7. 【請求項７】 請求項６記載の画像処理装置において、 前記パラメタ生成部は、 前記車動検出部の出力に加えて、車両周辺の明るさを検
    出する車両状況検出部の出力を加味して、画像合成パラ
    メタの選択や、各カメラの撮像パターンの切替を行う ことを特徴とする画像処理装置。
  8. 【請求項８】 請求項１記載の画像処理装置において、 前記パラメタ生成部は、 前記車動検出部の出力に加えて、車両乗員の操作または
    車両周辺の障害物の有無などの車両状況を検出する車両
    状況検出部の出力を加味して、画像合成パラメタの生成
    を行う ことを特徴とする画像処理装置。
  9. 【請求項９】 車両の周囲を撮影する複数のカメラと、 前記複数のカメラの撮像画像を入力とし、これらのカメ
    ラ画像から合成画像を生成する画像処理部と、 前記画像処理部によって生成された合成画像を表示する
    表示部とを備え、前記画像処理部は、 カメラ画像と合成画像との対応関係をそれぞれ表し、か
    つ、空間的または時間的な解像度の関係が互いに異なる
    複数の画像合成パラメタを生成可能に構成されたパラメ
    タ生成部を備え、 前記パラメタ生成部によって生成された画像合成パラメ
    タに従って、カメラ画像から合成画像を生成するもので
    あり、 前記パラメタ生成部は、生成する画像合成パラメタを、
    車両の動きを検出する車動検出部の出力に応じて、切り
    替える ことを特徴とする監視システム。
  10. 【請求項１０】 車両の周囲を撮影する複数のカメラの
    撮像画像を入力とし、これらのカメラ画像から合成画像
    を生成する画像処理装置であって、 カメラ画像と合成画像との対応関係を表す画像合成パラ
    メタと、この画像合成パラメタに対応するフィルタパラ
    メタとの組を、複数個、記憶するパラメタ記憶部と、 車両の動きを検出する車動検出部の出力、および、車両
    乗員の操作または車両周辺の障害物の有無などの車両状
    況を検出する車両状況検出部の出力に応じて、前記パラ
    メタ記憶部が記憶する複数の画像合成パラメタおよびフ
    ィルタパラメタの組の中から、少なくとも１組を選択す
    るパラメタ選択部と、 各カメラ画像に対し、前記パラメタ選択部によって選択
    された組のフィルタパラメタに応じて、周波数帯域制限
    フィルタ処理を行うフィルタ処理部とを備え、 前記パラメタ選択部によって選択された組の画像合成パ
    ラメタに従って、前記フィルタ処理部によって処理され
    たカメラ画像から、合成画像を生成する ことを特徴とする画像処理装置。
  11. 【請求項１１】 請求項１０記載の画像処理装置におい
    て、 前記フィルタパラメタは、カメラ画像の画素位置毎に、
    フィルタ処理の設定データが記述されたものである ことを特徴とする画像処理装置。
  12. 【請求項１２】 車両の周囲を撮影する複数のカメラ
    と、 前記複数のカメラの撮像画像を入力とし、これらのカメ
    ラ画像から合成画像を生成する画像処理部と、 前記画像処理部によって生成された合成画像を表示する
    表示部とを備え、 前記画像処理部は、 カメラ画像と合成画像との対応関係を表す画像合成パラ
    メタと、この画像合成パラメタに対応するフィルタパラ
    メタとの組を、複数個、記憶するパラメタ記憶部と、 車両の動きを検出する車動検出部の出力、および、車両
    乗員の操作または車両周辺の障害物の有無などの車両状
    況を検出する車両状況検出部の出力に応じて、前記パラ
    メタ記憶部が記憶する複数の画像合成パラメタおよびフ
    ィルタパラメタの組の中から、少なくとも１組を選択す
    るパラメタ選択部と、 各カメラ画像に対し、前記パラメタ選択部によって選択
    された組のフィルタパラメタに応じて、周波数帯域制限
    フィルタ処理を行うフィルタ処理部とを備え、 前記パラメタ選択部によって選択された組の画像合成パ
    ラメタに従って、前記フィルタ処理部によって処理され
    たカメラ画像から、合成画像を生成するものである ことを特徴とする監視システム。
  13. 【請求項１３】 車両の周囲を撮影する複数のカメラの
    撮像画像を入力とし、これらのカメラ画像から合成画像
    を生成する画像処理装置であって、 各カメラ画像の輝度や色あいを補正するための輝度補正
    パラメタを算出する輝度補正パラメタ算出部と、 前記輝度補正パラメタ算出部によって算出された輝度補
    正パラメタを用いて、各カメラ画像の輝度や色合いを補
    正する輝度補正部とを備え、 カメラ画像と合成画像との対応関係を表す画像合成パラ
    メタに従って、前記輝度補正部によって輝度補正された
    複数のカメラ画像から、合成画像を生成するものであ
    り、 前記画像合成パラメタは、合成画像上において複数のカ
    メラの撮影範囲が重複する重複領域について、対応する
    カメラ画像の画素座標を示す重複領域データを有し、 前記輝度補正パラメタ算出部は、 前記重複領域データを入力とし、この重複領域データが
    示す前記重複領域に対応する各カメラ画像の画素の，輝
    度や色合いのデータを用いて、輝度補正パラメタを算出
    し、かつ、 前記重複領域が複数個存在する場合に、輝度補正パラメ
    タ算出の際に考慮する重複領域の優先順位を、車両の動
    きを検出する車動検出部の出力に応じて設定するもので
    ある ことを特徴とする画像処理装置。
  14. 【請求項１４】 請求項１３記載の画像処理装置におい
    て、 前記輝度補正部は、各カメラに内蔵されている ことを特徴とする画像処理装置。
  15. 【請求項１５】 車両の周囲を撮影する複数のカメラの
    撮像画像を入力とし、これらのカメラ画像から合成画像
    を生成する画像処理装置であって、 合成画像上で複数のカメラの撮影範囲が重複する重複領
    域において、この複数のカメラの画像の中から、合成画
    像の生成に用いるカメラ画像を、車両の動きを検出する
    車動検出部の出力、または、車両乗員の操作若しくは車
    両周辺の障害物の有無などの車両状況を検出する車両状
    況検出部の出力に応じて、選択する ことを特徴とする画像処理装置。
  16. 【請求項１６】 車両の周囲を撮影する複数のカメラの
    撮像画像を入力とし、これらのカメラ画像から合成画像
    を生成する画像処理装置であって、 合成画像上で複数のカメラの撮影範囲が重複する重複領
    域において、この複数のカメラの画像に対する重み付け
    を、車両の動きを検出する車動検出部の出力、または、
    車両乗員の操作若しくは車両周辺の障害物の有無などの
    車両状況を検出する車両状況検出部の出力に応じて、設
    定する ことを特徴とする画像処理装置。
  17. 【請求項１７】 請求項１６記載の画像処理装置におい
    て、 合成画像の画素とカメラ画像の画素とを対応付ける画像
    合成パラメタと、 重み参照番号と重み情報の組み合わせとの対応関係を表
    すテーブルとを備え、 前記重複領域に係る画像合成パラメタは、 前記テーブルに示された重み参照番号の値のいずれかを
    保持するものである ことを特徴とする画像処理装置。
  18. 【請求項１８】 車両の周囲を撮影する複数のカメラ
    と、 前記複数のカメラの撮像画像を入力とし、これらのカメ
    ラ画像から合成画像を生成する画像処理部と、 前記画像処理部によって生成された合成画像を表示する
    表示部とを備え、 前記画像処理部は、 合成画像上で複数のカメラの撮影範囲が重複する重複領
    域において、この複数のカメラの画像の中から、合成画
    像の生成に用いるカメラ画像を、車両の動きを検出する
    車動検出部の出力、または、車両乗員の操作若しくは車
    両周辺の障害物の有無などの車両状況を検出する車両状
    況検出部の出力に応じて、選択するものである ことを特徴とする監視システム。
  19. 【請求項１９】 車両の周囲を撮影する複数のカメラ
    と、 前記複数のカメラの撮像画像を入力とし、これらのカメ
    ラ画像から合成画像を生成する画像処理部と、 前記画像処理部によって生成された合成画像を表示する
    表示部とを備え、 前記画像処理部は、 合成画像上で複数のカメラの撮影範囲が重複する重複領
    域において、この複数のカメラの画像に対する重み付け
    を、車両の動きを検出する車動検出部の出力、または、
    車両乗員の操作若しくは車両周辺の障害物の有無などの
    車両状況を検出する車両状況検出部の出力に応じて、設
    定するものである ことを特徴とする監視システム。
  20. 【請求項２０】 車両の周囲を撮影する複数のカメラの
    撮像画像を入力とし、これらのカメラ画像から合成画像
    を生成する画像処理装置であって、 合成画像の画素とカメラ画像の画素とを対応付ける画像
    合成パラメタを備え、前記画像合成パラメタは、 合成画像上で複数のカメラの撮影範囲が重複する重複領
    域における，この複数のカメラの画像に対する重み付け
    が、ディザ法によって、表されているものである ことを特徴とする画像処理装置。
JP2001113976A 2000-04-28 2001-04-12 画像処理装置および監視システム Expired - Lifetime JP3300337B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001113976A JP3300337B2 (ja) 2000-04-28 2001-04-12 画像処理装置および監視システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000130171 2000-04-28
JP2000-130171 2000-04-28
JP2001113976A JP3300337B2 (ja) 2000-04-28 2001-04-12 画像処理装置および監視システム

Publications (2)

Publication Number Publication Date
JP2002027448A JP2002027448A (ja) 2002-01-25
JP3300337B2 true JP3300337B2 (ja) 2002-07-08

Family

ID=26591170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001113976A Expired - Lifetime JP3300337B2 (ja) 2000-04-28 2001-04-12 画像処理装置および監視システム

Country Status (1)

Country Link
JP (1) JP3300337B2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3932127B2 (ja) * 2004-01-28 2007-06-20 マツダ株式会社 車両用画像表示装置
WO2005125208A1 (ja) * 2004-06-15 2005-12-29 Matsushita Electric Industrial Co., Ltd. 監視装置および車両周辺監視装置
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4830380B2 (ja) * 2005-07-13 2011-12-07 日産自動車株式会社 車両周辺監視装置及び車両周辺監視方法
JP4899367B2 (ja) * 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2007124609A (ja) 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
JP4735339B2 (ja) * 2006-03-03 2011-07-27 日産自動車株式会社 映像表示装置
JP4802769B2 (ja) * 2006-03-07 2011-10-26 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4982127B2 (ja) * 2006-07-19 2012-07-25 クラリオン株式会社 画像表示システム
JP4801549B2 (ja) * 2006-09-25 2011-10-26 パナソニック株式会社 合成映像表示装置および集積回路
JP4916269B2 (ja) * 2006-10-02 2012-04-11 パナソニック株式会社 映像合成装置および集積回路
JP5017646B2 (ja) * 2007-02-23 2012-09-05 国立大学法人長岡技術科学大学 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム
JP2009070367A (ja) * 2007-09-13 2009-04-02 Korea Electronics Telecommun 車両走行状況警告方法および装置
JP2009080724A (ja) * 2007-09-27 2009-04-16 Panasonic Corp 画像処理装置
JP2009302715A (ja) * 2008-06-11 2009-12-24 Alpine Electronics Inc 画像処理装置およびこれを適用した車両周辺監視装置
JP5195592B2 (ja) 2009-03-31 2013-05-08 富士通株式会社 映像処理装置
JP5476216B2 (ja) * 2010-06-01 2014-04-23 クラリオン株式会社 車両用周囲監視装置
KR101316433B1 (ko) * 2011-09-14 2013-10-08 현대자동차주식회사 차량 주변정보 제공 시스템 및 그 방법
WO2013046593A1 (ja) * 2011-09-30 2013-04-04 パナソニック株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
EP2892230A4 (en) 2012-08-30 2015-09-02 Fujitsu Ltd IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
TWI578271B (zh) 2012-10-23 2017-04-11 義晶科技股份有限公司 動態影像處理方法以及動態影像處理系統
JP6429452B2 (ja) * 2013-11-22 2018-11-28 ルネサスエレクトロニクス株式会社 車載用画像処理装置及び半導体装置
EP3076655B1 (en) 2013-11-27 2020-06-17 Kyocera Corporation Imaging settings changing device, imaging system, and imaging settings changing method
JP6277904B2 (ja) * 2014-07-30 2018-02-14 株式会社デンソー 制御情報検出装置および制御情報検出方法
JP6361931B2 (ja) * 2015-04-23 2018-07-25 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
JP2017028595A (ja) * 2015-07-27 2017-02-02 株式会社 日立産業制御ソリューションズ 画像合成装置および画像合成方法
US9609176B2 (en) * 2015-08-27 2017-03-28 Nokia Technologies Oy Method and apparatus for modifying a multi-frame image based upon anchor frames
CN110942023A (zh) * 2019-11-25 2020-03-31 鹰驾科技（深圳）有限公司 车辆视觉盲区的指示方法、装置、设备及存储介质
JP7469083B2 (ja) 2020-03-10 2024-04-16 住友重機械工業株式会社 画像処理装置、画像処理方法、及び画像処理システム

Also Published As

Publication number Publication date
JP2002027448A (ja) 2002-01-25

Similar Documents

Publication Publication Date Title
JP3300337B2 (ja) 画像処理装置および監視システム
KR100737655B1 (ko) 화상처리장치 및 감시시스템
WO2011013642A1 (ja) 車両用周辺監視装置および車両用周辺画像表示方法
JP2931520B2 (ja) 単板式カラービデオカメラの色分離回路
JP4976685B2 (ja) 画像処理装置
EP2629506A1 (en) Two-step brightness adjustment in around-view systems
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
WO2011048716A1 (ja) 映像変換装置及び撮像装置
JP2001218197A (ja) 車両用周辺表示装置
WO2002089484A1 (fr) Procede et appareil de synthese et d'affichage d'images issues de cameras disposees dans un vehicule
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
US7932934B2 (en) Image processing method and imaging apparatus using the same
JP2008301091A (ja) 車両用周辺監視装置
JP5195841B2 (ja) 車載カメラ装置および車両
JP4862321B2 (ja) 車載カメラ装置
JP5020792B2 (ja) 合成画像生成装置および合成画像生成方法
US7970227B2 (en) Image processing apparatus, image processing method, and computer program
JP4791222B2 (ja) 表示制御装置
US7899273B2 (en) Image processing apparatus, image processing method, and computer program
JP2007266703A5 (ja)
JP4814752B2 (ja) 表示制御装置
JPH11266391A (ja) 撮像装置
JP2011181019A (ja) 俯瞰画像生成装置
JP5606774B2 (ja) 映像表示装置及び映像表示方法
JPH08186802A (ja) 飛び越し走査画像の補間画素作成方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3300337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080419

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090419

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100419

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110419

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120419

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130419

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130419

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140419

Year of fee payment: 12

EXPY Cancellation because of completion of term