JP3599639B2

JP3599639B2 - 画像処理装置

Info

Publication number: JP3599639B2
Application number: JP2000155898A
Authority: JP
Inventors: 修作岡本; 雅通中川; 浩史石井; 一生登; 森村　　淳
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2000-05-26
Filing date: 2000-05-26
Publication date: 2004-12-08
Anticipated expiration: 2020-05-26
Also published as: KR20010107775A; CN1325802A; EP1157890A1; DE60100525D1; US20020039136A1; JP2001334870A; DE60100525T2; EP1157890B1; CN1224539C; US6912001B2

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に設置した複数のカメラの撮像画像を用いて合成画像を生成する画像処理技術に関するものであり、特に、車両運転の際の安全確認の補助などに利用される監視システムに有効な技術に属する。
【０００２】
【従来の技術】
従来、車両の周囲をカメラを用いて監視する装置として、特開平１１−７８６９２号公報に記載の車両用映像提供装置が知られている。この装置では、車両用映像提供のための複数のカメラを車両の周囲に取り付け、各カメラによって撮影された画像を変形し、境界の連続性を保ちながら合成して新たな画像を作成し、モニタに表示している。
【０００３】
【発明が解決しようとする課題】
上述したような車両周囲監視システムでは、一旦設置したカメラは、通常、その設置位置や向きは変化しない、ということを前提にして、画像処理が実行されている、と考えられる。なぜなら、合成画像を生成する画像処理を、カメラの設置位置や向きをその都度考慮しながらリアルタイムで行うことは、処理時間や装置規模の面からみて、実用上極めて困難であるからである。
【０００４】
一方、車両の空力面やデザイン面などを考慮すると、このような監視システムに用いられるカメラが、ドアミラー取り付け部付近や、トランク、ボンネットなどのような可動部分に設置される可能性は、十分にあり得る。
【０００５】
このとき、次のような問題が生じる。
【０００６】
すなわち、カメラが取り付けられた可動部分の状態変化が、カメラの撮像画像に影響を与え、合成画像にずれなどを生じさせる可能性がある。例えば、カメラがドアミラー付近に取り付けらた場合、ドアを開けたとき、カメラの向きが変わるので、合成画像上でそのカメラ画像を用いた部分のみにずれが生じる。この結果、表示画面上、利用者に違和感を与えることになる。
【０００７】
また、カメラが固定部分にとりつけられた場合でも、同様の問題が生じる。例えばドアが開いたことによって、特定のカメラの撮像画像にそのドアが映り込んだ場合には、合成画像上でそのカメラ画像を用いた部分のみにずれが生じる。合成画像上のずれは、結果として、利用者に違和感を与えることになり、好ましくない。
【０００８】
前記の問題に鑑み、本発明は、車両に設置された複数のカメラの撮像画像を用いて合成画像を生成する画像処理装置として、車両の可動部分の状態変化によってカメラの撮像画像が影響を受けた場合でも、表示画像上、利用者に違和感を与えないようにすることを課題とする。
【０００９】
【課題を解決するための手段】
前記の課題を解決するために、請求項１の発明が講じた解決手段は、画像処理装置として、車両に設置され、当該車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの撮像画像から合成画像を生成し、表示装置に出力する画像処理部を備え、前記画像処理部は、前記車両の可動部分の状態変化に起因して、前記複数のカメラのうちの少なくとも１つの設置位置または向きが変化し、前記合成画像が正常でなくなるとき、前記合成画像の表示態様を通常モードから異常モードに切り替え、異常モードにおいて、設置位置または向きが変化したカメラの撮像画像を用いないで合成画像を生成するものである。
【００１０】
また、請求項２の発明が講じた解決手段は、画像処理装置として、車両に設置され、当該車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの撮像画像から合成画像を生成し、表示装置に出力する画像処理部を備え、前記画像処理部は、前記車両の可動部分の状態変化に起因して、前記複数のカメラのうちの少なくとも１つの設置位置または向きが変化し、前記合成画像が正常でなくなるとき、前記合成画像の表示態様を通常モードから異常モードに切り替え、異常モードにおいて、設置位置または向きが変化したカメラの撮像画像を用いないで、合成画像を生成するものである。
【００１１】
請求項１または２の発明によると、車両の可動部分の状態に応じて合成画像の表示態様が切り替わるので、車両の可動部分の状態変化に起因して合成画像に異常が生じた場合であっても、利用者に違和感を与えるような画像が表示されることを回避することができる。
【００１２】
また、請求項３の発明が講じた解決手段は、画像処理装置として、車両に設置され、当該車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの撮像画像から合成画像を生成し、表示装置に出力する画像処理部を備え、前記画像処理部は、前記車両の可動部分の状態変化に起因して、前記複数のカメラのうちの少なくとも１つの撮像画像において前記可動部分が占める領域が変化し、前記合成画像が正常でなくなるとき、前記合成画像の表示態様を、通常モードから異常モードに切り替えるものである。
【００１３】
請求項３の発明によると、車両の可動部分の状態に応じて合成画像の表示態様が切り替わるので、車両の可動部分の状態変化に起因して合成画像に異常が生じた場合であっても、利用者に違和感を与えるような画像が表示されることを回避することができる。また、合成画像の表示態様の切替によって、可動部分の状態が、例えば車両の走行に望ましくない状態であることを、利用者に素早く的確に知らしめることも可能になる。
【００１４】
そして、請求項４の発明では、前記請求項３の画像処理装置における画像処理部は、異常モードにおいて、撮像画像において前記可動部分が占める領域が変化したカメラの撮像画像を用いないで、合成画像を生成するものとする。
【００１５】
また、請求項５の発明では、前記請求項３の画像処理装置における画像処理部は、異常モードにおいて、合成画像を出力しないものとする。
【００１６】
また、請求項６の発明では、前記請求項３の画像処理装置における画像処理部は、異常モードにおいて、合成画像に代えてまたは合成画像とともにメッセージを出力するものとする。
【００１７】
請求項６の発明によると、利用者は合成画像の異常をメッセージによって知ることができる。また、可動部分の具体的な状態変化を示すメッセージを出力する場合には、利用者は、車両の状況も素早く的確に知ることができる。
【００１８】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１９】
（第１の実施形態）
図１は本発明の第１の実施形態に係る監視システムの構成を示すブロック図である。図１に示す監視システムにおいて、画像処理部２は、撮像部１から出力された複数のカメラ画像を入力とし、これらを合成して新たな画像を生成する。この合成画像は、表示装置３によって表示される。画像処理部２によって、本発明に係る画像処理装置が構成される。
【００２０】
図２は本実施形態におけるカメラ配置の例、図３は各カメラの撮像画像の例を示す図である。ここでは、８台のカメラが、図２および図３のように配置されているものとする。なお、図２および図３のカメラ配置においては、周囲の死角をなるべくなくすために、互いに隣り合うカメラの画像においてオーバーラップする領域ができるように、各カメラの位置・向きを決めるのが好ましい。
【００２１】
画像処理部２は、図３に示す８枚のカメラ画像を変形・合成し、例えば、車両上方から鉛直下方に見下ろしたような合成画像を生成する。合成画像の生成のためには、画像変形処理や、変形された部分画像の合成処理（境界処理を含む）が必要になるが、図１の構成では、マッピングテーブル参照部２２を備え、撮像画像の加工を一つの工程で行うために、マッピングテーブルＭＰＴを利用する。マッピングテーブルについては後述する。
【００２２】
マッピングテーブル選択部４１は、合成画像の表示内容を選択し、選択した表示内容に応じたマッピングテーブルＭＰＴを指示する。この選択は、人為的に行ってもよいし、ギア位置、ハンドル舵角またはウィンカーなどの車両の状態に応じて自動的に行うようにしてもよい。マッピングテーブルＭＰＴを選択する信号は、マッピングテーブル参照部２２とともに、メッセージ出力部２６におくられる。
【００２３】
表示切替部２３は、車両の可動部分の状態を示す状態信号Ｓ１を受けて、合成画像の表示態様を切り替える。例えば、可動部分の状態変化に起因して複数のカメラのいずれかの設置位置または向きが変化し、合成画像が正常でなくなるときは、合成画像の表示態様を、通常モードから異常モードに切り替える。異常モードにおいては、例えば、設置位置または向きが変化したカメラの撮像画像を用いないで、合成画像を生成する。
【００２４】
図４は車両の可動部分の状態変化に起因して正常でなくなった合成画像の一例である。図４の合成画像を見ると分かるように、車両の右ドアが開状態になったことに起因してカメラ１およびカメラ２の撮像画像が変化したため、カメラ１およびカメラ２の撮像画像を用いた部分にずれが生じている。
【００２５】
そこで、本実施形態では、車両の可動部分の状態として、カメラが設置された右ドア、左ドア、トランクおよびボンネットの開閉状態を用いる。すなわち、表示切替部２３には、状態信号Ｓ１によって、例えば「右ドアが開いている」「ボンネットが閉じている」などの情報が入力される。表示切替部２３は、図５に示すような車両の可動部分とカメラ番号との対応関係を示すデータを予め有しており、この対応関係と状態信号Ｓ１が示す情報とを用いて、合成画像の表示態様の切替を行う。
【００２６】
図６は本発明に係る合成画像の表示態様の切替の例を示す図である。同図中、（ａ）は通常モードにおける合成画像である。車両の可動部分が全て閉状態であるときは、合成画像は正常になるので図６（ａ）のように表示する。図６（ｂ）は異常モードにおける合成画像の例であり、車両の右ドアが開状態になったときを想定している。図６（ｂ）の合成画像では、右ドアに設置されたカメラ１およびカメラ２の撮像画像を画像合成に用いず、代わりに、所定の色で塗りつぶしている。なお、所定の色で塗りつぶす代わりに、他の模様を用いたり、また、適当な時間間隔で色を切り換えたりしてもかまわない。
【００２７】
本実施形態では、このような合成画像の表示態様の切替を、マッピングテーブルＭＰＴのマッピングデータを書き換えることによって、実現する。
【００２８】
また、異常モードでは、合成画像の出力自体を中止したり、メッセージ出力部２６がメッセージを出力したりしてもよい。
【００２９】
図６（ｃ）では、異常モードにおいて、合成画像を出力せずに、右ドアが開状態であることを示すメッセージのみを出力している。さらに、図６（ｄ）では、図６（ｂ）に示す合成画像を表示し、かつ、図６（ｃ）と同じメッセージを併せて出力している。図６（ｄ）のように、可動部分の状態変化の影響を受けたカメラ画像を合成画像の生成に用いないだけでなく、その原因となる可動部分の状態変化（例えばドアが開いているなど）を利用者に知らせるメッセージを併せて出力することによって、運転者など自車の状態をより素早く的確に知ることが可能となる。
【００３０】
メッセージ出力部２６は、表示すべきメッセージを例えば画像の形式で予め蓄えておき、車両の可動部分の状態を示す状態信号Ｓ１と、マッピッングテーブル選択部４１から出力されたマッピングテーブルＭＰＴを選択する信号とを受けて、合成画像に表示すべきメッセージ画像を選択し、映像信号生成部２４に送る。
【００３１】
図７はメッセージ出力部２６が蓄えているメッセージ画像の例を示す図である。図７の例では、メッセージの部分が白色（ＲＧＢ各２５６階調で表現したときは（２５５，２５５，２５５））、それ以外の部分が黒色（０，０，０）で表されている。メッセージ画像のサイズは合成画像のサイズと同一にしておく。
【００３２】
メッセージ画像におけるメッセージの内容および表示位置は、合成画像の生成に用いられるマッピングテーブルや、状態変化が生じた可動部分の種類によって、異なる。このため、想定される各条件に対してそれぞれメッセージ画像を準備しておき、状況に応じてメッセージ画像を選択して利用できることが望ましい。
【００３３】
図８は合成画像に用いるマッピングテーブルおよび車両の可動部分の状態と、表示すべきメッセージ画像との対応関係を示す図である。例えば、図８の２行目は、現在選択されているマッピングテーブルが「見下ろし」画像生成用のものであり、かつ、車両の可動部分のうち「右ドア」が開いている場合には、メッセージ画像として、１番の画像を選択することを意味している。図７（ａ）は１番のメッセージ画像の例である。マッピングテーブルが「見下ろし」であり、「右ドア」が開状態のときは、右ドア部に設置されたカメラの撮像画像は画像合成に用いられないので、合成画像上で右ドア部に設置されたカメラ画像が用いられるはずの位置に、「右ドアが開いている」旨のメッセージが表示される。
【００３４】
メッセージ出力部２６は、図８に示すような情報を予め記憶しておき、車両の可動部分の状態を示す状態信号Ｓ１と、マッピングテーブルＭＰＴを選択する信号とを受けて、表示すべきメッセージ画像を選択し、出力する。映像信号生成部２４は、メッセージ出力部２６から出力されたメッセージ画像を受け取り、画素合成部２１から出力された合成画像に重ねて表示する。
【００３５】
メッセージ画像の重ね合わせには、例えば、各画素について、合成画像およびメッセージ画像におけるＲＧＢ値をそれぞれ取り出し、値の大きい方を出力する、などの方法を用いればよい。例えばこの方法を図７（ａ）のメッセージ画像に適用すると、メッセージ画像の黒画素の部分については合成画像のＲＧＢ値が用いられる一方、メッセージ画像の白画素の部分については必ずメッセージ画像のＲＧＢ値が用いられることになり、この結果、メッセージの部分だけが合成画像に重ね合わさった画像を得ることができる。この場合、白色のメッセージが重ね合わせた結果見づらくならないように、合成画像上でカメラ画像を用いない部分は、暗い色で塗りつぶすことが望ましい。
【００３６】
また、この重ね合わせ方法を用いて、いずれの可動部分も閉じている状態（すなわち通常モード）の合成画像を表示する場合には、メッセージ画像として、図７（ｂ）に示すような全体を黒（０，０，０）で塗りつぶした画像を準備すればよい。すなわち、図８の最下行に示した７番目のメッセージ画像として、図７（ｂ）に示すような画像を準備すればよい。もちろん、通常モードにおいては、メッセージ出力部２６がメッセージ画像を出力しないようにしてもかまわない。
【００３７】
さらに、複数箇所の可動部分が開状態である場合には、次のように対応することができる。例えば、マッピングテーブルとして「見下ろし」が選択されており、かつ、右ドアと左ドアの両方が開いている場合には、メッセージ出力部２６は、まず、それぞれの条件に対応したメッセージ画像として１番（例えば図７（ａ））および２番（例えば図７（ｃ））の画像を選択する。そして、各画素について、１番の画像および２番の画像におけるＲＧＢ値をそれぞれ取り出し、値の大きい方を選択することによって、新たなメッセージ画像（例えば図７（ｄ））を生成し、これを映像信号生成部２４に送ればよい。
【００３８】
なおここでは、メッセージとして文字を利用するものとしたが、文字に限らず、例えば簡略図やイラストなどをメッセージとして用いてもかまわない。また、異常モードにおいてメッセージ出力を行わない場合には、メッセージ出力部２６を省いて良いことはいうまでもない。
【００３９】
以下、マッピングデータの書き換えについて、詳細に説明する。
【００４０】
「マッピングテーブル」とは、合成画像の画素と、各カメラ画像の画素データとの対応関係が記述されたテーブルのことをいい、合成画像の生成処理を高速に行うために用いられる。
【００４１】
カメラ画像の画素と合成画像の画素とは、１対１に対応する場合もあるし、複数対１に対応する場合もある。１対１に対応するか、または複数対１に対応するかは、カメラの設置位置や、生成する合成画像の種類などに依存する。例えば、カメラ画像の境界部において境界処理が行われる場合には、カメラ画像の画素と合成画像の画素とは複数対１に対応することが多い。
【００４２】
図９はマッピングテーブルの一例を示す模式図である。図９に示すマッピングテーブルでは、合成画像の各画素座標（ｉ，ｊ）に対応して、マッピングデータがそれぞれ設けられている。
【００４３】
例えば、画素座標（ｉ１，ｊ１）に対応して、マッピングデータＭＰ１が設けられている。このマッピングデータＭＰ１は、合成画像の座標（ｉ１，ｊ１）の画素の生成のために、カメラ１の撮像画像の座標（１２，４５）の画素データのみが用いられることを表している。また、必要度が「１」であるので、この場合は、合成画像の座標（ｉ１，ｊ１）の画素値として、カメラ１の撮影画像の座標（１２，４５）の画素データがそのまま用いられる。
【００４４】
また、画素座標（ｉ２，ｊ２）に対応して、マッピングデータＭＰ２が設けられている。このマッピングデータＭＰ２は、合成画像の座標（ｉ２，ｊ２）の画素の生成のために、カメラ１の撮影画像の座標（１０，１０）の画素データと、カメラ０の撮影画像の座標（５６，８０）の画素データとが用いられることを表している。この場合、合成画像の座標（ｉ２，ｊ２）の画素値は、必要度に応じて、例えば、
画素値＝｛（カメラ１の座標（５６，８０）の画素値）×０．５＋（カメラ０の座標（１０，１０）の画素値）×０．３｝／（０．５＋０．３）
のように決めることができる。
【００４５】
このようなマッピングテーブルを、予め幾何変換等を用いた計算または手作業などによって予め作成しておくことによって、所望の合成画像、例えば車両の周囲の全体や後方または側方を表すような合成画像を、高速に生成することができる。そして、合成画像生成に用いるマッピングテーブルを切り替えることによって、合成画像の表示モードを容易に切り替えることができる。この表示モードの切替は、手動によっても可能であり、また車両の走行状態に応じて自動的に行うことも可能である。
【００４６】
マッピングテーブルは具体的には、例えばＲＯＭ（ＥＥＰＲＯＭ等の書き込み・消去可能なＲＯＭを含む）またはＲＡＭに格納されている。マッピングテーブルの格納は、例えば、画像処理部内のプロセッサが計算で求めたマッピングデータをＲＯＭまたはＲＡＭに書き込むことによって実現してもよいし、ファームウェアとして提供されるマッピングテーブルデータを、通信回線やディスクドライブ等のデータ転送手段を用いてＲＡＭまたはＲＯＭに書き込むようにしてもよい。
【００４７】
次に、マッピングテーブルＭＰＴおよび表示切替部２３を用いて、合成画像を生成する動作について、説明する。
【００４８】
図１０は本実施形態に係る画像合成動作の全体の流れを示すフローチャートである。まず、ステップＳ１１において、撮像部１のフレームメモリ１２ａ，１２ｂの切替を行う。タイミング生成部２５は、合成画像の動画系列を生成するためのタイミング信号を生成する。タイミング生成部２５から出力されたフレーム開始のタイミング信号によって、撮像部１は、各カメラ１１の撮像画像を書き込むフレームメモリと、画像処理部２から参照されるフレームメモリとを切り替える。これは、後述するように、画像処理部２から参照されるカメラ画像の画素の位置が、カメラ１１からの書き込みの順序とは無関係に飛び飛びになるので、書き込みと参照とが干渉しないようにするためである。
【００４９】
次に、ステップＳ１２において、タイミング生成部２５は、合成出力のタイミングに合わせて、出力すべき合成画像の画素を設定する。
【００５０】
そして、ステップＳ１３において、マッピングテーブル参照部２２は、タイミング生成部２５によって設定された画素に対応するマッピングデータを、設定されたマッピングテーブルＭＰＴから読み出し、表示切替部２３に出力する。ステップＳ２０において、表示切換部２３は、状態信号Ｓ１を受けて、必要に応じて、マッピングテーブル参照部２２から読み出されたマッピングデータを書き換える。そして、画素合成部２１に出力する。ステップＳ２０の詳細については後述する。
【００５１】
ステップＳ３０において、画素合成部２１は、入力されたマッピングデータに応じて、タイミング生成部２５によって設定された画素の値を合成し、映像信号生成部２４に出力する。そして、ステップＳ１４において、映像信号生成部２４は、タイミング生成部２５からのタイミング信号に応じて、入力された合成画像の画素の値を映像信号に変換し、表示装置３に出力する。
【００５２】
タイミング生成部２５は、ステップＳ１２以下の処理を、フレームの全画素について実行し（Ｓ１５，Ｓ１６）、フレームの最終画素の処理が終われば、次のフレームの処理を開始する。
【００５３】
もちろん、フィールド単位の処理を実行してもかまわない。
【００５４】
図１１は図１０に示すフローのステップＳ２０における表示切替部２３の動作を示すフローチャートである。
【００５５】
まずステップＳ２１において、入力した状態信号Ｓ１から、車両の可動部分のいずれか、すなわち右ドア、左ドア、トランクまたはボンネットのうちのいずれかの開閉状態を読み出す。そして、可動部分が開状態のとき（Ｓ２２でＹＥＳ）はステップＳ２３にすすみ、図５に示すような予め有しているデータから、その可動部分に設置されているカメラの番号を得る。一方、閉状態のとき（Ｓ２２でＮＯ）は、他の可動部分の開閉状態の読み出しを行う（Ｓ２７，Ｓ２１）。
【００５６】
ステップＳ２５では、ステップＳ２３で得たカメラ番号と、マッピングデータに書かれたカメラ番号とが一致するか否かを調べる。一致するとき（Ｓ２５でＹＥＳ）はステップＳ２６にすすみ、マッピングデータにおけるそのカメラ番号に関するデータを、カメラ使用不可状態を表す内容に書き換える。図１１の例では、カメラ番号、Ｘ座標およびＹ座標の値を全て「−１」に書き換えている。一方、カメラ番号が一致しないとき（Ｓ２５でＮＯ）は、他の可動部分の開閉状態の読み出しを行う（Ｓ２７，Ｓ２１）。
【００５７】
全ての可動部分について、上述の処理が終了したとき（Ｓ２７でＹＥＳ）はステップＳ２８にすすみ、マッピングデータの必要度を再計算し、処理を終了する。
【００５８】
ステップＳ２０における表示切替部２３の動作を、図９に示すマッピングデータＭＰ２が表示切換部２３に入力された場合を例にとって、具体的に説明する。なおここでは、説明のために、車両の右ドアのみが、開状態であるものとする。
【００５９】
まず、車両の右ドアが開状態であると分かるので（Ｓ２１，Ｓ２２）、図５に示す対応関係を参照し、右ドアに設置されたカメラのカメラ番号として「１」および「２」を得る（Ｓ２３）。
【００６０】
次に、カメラ番号「１」および「２」が、マッピングデータＭＰ２に記述されたカメラ番号と一致するか否かを調べる（Ｓ２５）。カメラ番号「１」はマッピングデータＭＰ２に記述されているので、カメラ１に関するデータをカメラ使用不可状態を表す内容に書き換える（Ｓ２６）。一方、カメラ番号「２」については、マッピングデータＭＰ２に記述されていないので、書き換えは行わない。
【００６１】
他の可動部分については全て閉状態であるので、ステップＳ２８に進み、必要度の再計算を行う。ここでは、使用不可になったカメラ１についてその必要度を「０」にするとともに、カメラ０についての必要度を「１」にする。
【００６２】
図１２は図１０に示すフローにおけるステップＳ３０における画素合成処理の詳細を示すフローチャートである。
【００６３】
まず、ステップＳ３１において、合成する画素の値を「０」に初期化する。
【００６４】
そしてステップＳ３２において、対応するマッピングデータからカメラ番号、画素のＸ，Ｙ座標および必要度を読み出す。読み出したカメラ番号が使用可能であるときは、該当するカメラ画像が格納されたフレームメモリから、Ｘ，Ｙ座標に対応する画素値を読み出し保持する（Ｓ３４）。一方、読み出したカメラ番号が使用不可であるときは、カメラ使用不可を示す所定の画素値（例えば黒）を保持し、出力する（Ｓ３５，Ｓ３９）。
【００６５】
ステップＳ３６において、保持した画素値に必要度で重み付けし、合成する画素の値に加算する。
【００６６】
上述した処理を、マッピングデータに記述された全てのカメラ番号について、繰り返し実行し（Ｓ３７，Ｓ３８）、処理が終了すると（Ｓ３７でＹＥＳ）、合成する画素の値を出力する（Ｓ３９）。
【００６７】
以上のように、合成画像の表示態様を切り替えることによって、車両の可動部分の状態が変化し、合成画像が正常でなくなるときでも、利用者に違和感を与えることを回避することができる。
【００６８】
（第２の実施形態）
図１３は本発明の第２の実施形態に係る監視システムの構成を示すブロック図である。図１３では、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明を省略する。
【００６９】
図１３の構成は、表示切換部２３Ａが、撮像部１から画素合成部２１Ａへのカメラ画像の入力の有無を、状態信号Ｓ１に応じて切り替えることによって、合成画像の表示態様の切替を実現することを特徴とする。すなわち、画素合成部２１Ａのカメラ画像入力側にスイッチ３１が設けられており、表示切替部２３Ａは、状態信号Ｓ１によって可動部分のいずれかが開状態であることを認識すると、図５に示すような情報から、合成画像生成に使用できないカメラを特定し、そのカメラの撮像画像が画素合成部２１Ａに入力されないように、スイッチ３１を切替制御する。
【００７０】
このため、本実施形態では、第１の実施形態と同様にマッピングテーブルを用いて画像合成を行うが、図１０に示すフローにおいてマッピングデータを変更する処理Ｓ２０が省略される点が、第１の実施の形態と異なる。すなわち、カメラの撮像画像の入力を物理的に中止するので、可動部分の状態に応じてマッピングデータを変更する処理Ｓ２０は、当然のことながら不要になる。そして、これに伴い、図１２のフローにおけるステップＳ３３，Ｓ３５も省略される。
【００７１】
なお、この第２の実施形態の構成は、マッピングテーブルを用いない構成の画像処理部についても、容易に適用することができる。
【００７２】
なお、上述した各実施形態において、表示装置３は、典型的には液晶ディスプレイであるが、プラズマディスプレイ等の他の表示デバイスを用いてもかまわない。また、車両搭載型のＧＰＳ端末ディスプレイ、いわゆるカーナビゲーションシステムのディスプレイと共用してもかまわない。また、撮像部１に用いるカメラ１１は、典型的にはＣＣＤ，ＣＭＯＳデバイス等の固体撮像素子を有するカラーまたはモノクロのデジタルカメラであるが、他の撮像デバイスを用いてもかまわない。
【００７３】
なお、上述した各実施形態では、ドアやボンネットのような可動部分の状態変化に起因してカメラの設置位置や向きが変化し、これによって合成画像が正常でなくなる場合を想定している。ところがこれ以外でも、可動部分の状態変化に起因してカメラの撮像画像において可動部分が占める領域が変化し、これによって合成画像が正常でなくなるような場合もあり得る。例えば、ドアを開けたときに、その開けたドアがあるカメラの撮像画像内に映り込むような場合である。
【００７４】
このような場合でも、図５に示すようなデータの代わりに、可動部分と、その可動部分の状態変化が撮像画像に影響を与えるカメラとの対応関係を示すデータを予め表示切替部に準備しておけば、上述した各実施形態と同様の処理によって同様の効果を得ることができる。
【００７５】
なお、開閉状態という二値情報の代わりに、例えば、開き具合のような情報を利用することも可能である。例えば、ドアの開き具合が微小なときは通常モードを保ち、開き具合が所定のしきい値を超えたときに、通常モードから異常モードに切り替えるようにしてもよい。また、可動部分は、ドア、ボンネットおよびトランクに限られるものではなく、タイヤ、アンテナ、可動式ミラーやライトなどが考えられる。例えば、タイヤが合成画像に影響を与える場合には、タイヤの舵角に応じて、表示態様を切り替えるようにしても良い。
【００７６】
また、本発明において、車両とは、普通自動車、軽自動車、貨物自動車、バス等を含む。また、本発明の技術思想が適用されうるものであれば、クレーン車、シャベルカー等の特殊車両も本発明の車両とすることができる。
【００７７】
なお、以上の説明では、本発明に係る監視システムや画像処理装置は、車両に適用するものとしたが、車両以外の移動体、例えば飛行機や船舶などであっても、同様に適用することができる。また、移動体以外の監視対象、例えば店舗、住居、ショールームなどにカメラを設置してもよい。
【００７８】
また、複数のカメラの設置位置や台数は、ここで示したものに限られるものではない。
【００７９】
また、本発明に係る画像処理装置の機能は、その全部または一部を、専用のハードウェアを用いて実現してもかまわないし、ソフトウェアによって実現してもかまわない。また、本発明に係る画像処理装置の機能の全部または一部をコンピュータに実行させるためのプログラムを格納した記録媒体や伝送媒体を、利用することも可能である。
【００８０】
【発明の効果】
以上のように本発明によると、車両の可動部分の状態変化に起因して合成画像に異常が生じた場合であっても、利用者に違和感を与えるような画像が表示されることを回避することができる。また、合成画像の表示態様の切替によって、可動部分が例えば車両の走行に望ましくない状態であることを、利用者に素早く的確に知らしめることも可能になる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る監視システムの構成を示すブロック図である。
【図２】本発明の第１の実施形態におけるカメラ配置の例である。
【図３】本発明の第１の実施形態におけるカメラ配置と各カメラの撮像画像の例を示す図である。
【図４】車両可動部分の状態変化に起因して正常でなくなった合成画像の一例である。
【図５】表示切替部が有する，車両可動部分とカメラとの対応関係を示すデータである。
【図６】本発明に係る合成画像の表示態様の切替の例を示す図である。
【図７】メッセージ画像の例を示す図である。
【図８】マッピングテーブルおよび車両の可動部分の状態と、表示すべきメッセージ画像との対応関係を示す図である。
【図９】マッピングテーブルの一例を示す模式図である。
【図１０】画像合成動作の全体の流れを示すフローチャートである。
【図１１】図１０に示すフローにおけるステップＳ２０の詳細を示すフローチャートである。
【図１２】図１０に示すフローにおけるステップＳ３０の詳細を示すフローチャートである。
【図１３】本発明の第２の実施形態に係る監視システムの構成を示すブロック図である。
【符号の説明】
２画像処理部
３表示装置
１１カメラ

Claims

車両に設置され、当該車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの撮像画像から合成画像を生成し、表示装置に出力する画像処理部を備え、
前記画像処理部は、
前記車両の可動部分の状態変化に起因して、前記複数のカメラのうちの少なくとも１つの設置位置または向きが変化し、前記合成画像が正常でなくなるとき、前記合成画像の表示態様を、通常モードから異常モードに切り替え、
異常モードにおいて、設置位置または向きが変化したカメラの撮像画像を用いないで、合成画像を生成する
ことを特徴とする画像処理装置。
車両に設置され、当該車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの撮像画像から合成画像を生成し、表示装置に出力する画像処理部を備え、
前記画像処理部は、
前記車両の可動部分の状態変化に起因して、前記複数のカメラのうちの少なくとも１つの設置位置または向きが変化し、前記合成画像が正常でなくなるとき、前記合成画像の表示態様を、通常モードから異常モードに切り替え、
異常モードにおいて、合成画像を出力しない
ことを特徴とする画像処理装置。
車両に設置され、当該車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらの撮像画像から合成画像を生成し、表示装置に出力する画像処理部を備え、
前記画像処理部は、
前記車両の可動部分の状態変化に起因して、前記複数のカメラのうちの少なくとも１つの撮像画像において前記可動部分が占める領域が変化し、前記合成画像が正常でなくなるとき、前記合成画像の表示態様を、通常モードから異常モードに切り替える
ことを特徴とする画像処理装置。
請求項３記載の画像処理装置において、
前記画像処理部は、
異常モードにおいて、撮像画像において前記可動部分が占める領域が変化したカメラの撮像画像を用いないで、合成画像を生成する
ことを特徴とする画像処理装置。
請求項３記載の画像処理装置において、
前記画像処理部は、
異常モードにおいて、合成画像を出力しない
ことを特徴とする画像処理装置。
請求項３記載の画像処理装置において、
前記画像処理部は、
異常モードにおいて、合成画像に代えて、または、合成画像とともに、メッセージを出力する
ことを特徴とする画像処理装置。