JP3269056B2 - 監視システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のカメラによ
って撮影された画像を変形・統合等の処理によって合成
する画像処理技術に関するものであり、特に、車両の運
転操作などを支援する監視システムに有効な技術に属す
る。

【０００２】

【従来の技術】近年、車載用のディスプレイ装置の普及
やカメラなどの映像機器の低価格化に伴い、カメラによ
って車両周辺を監視することによって安全運転を支援す
る装置が実用化され、普及しつつある。

【０００３】このような車両周辺監視装置の例として、
車両に設置された複数のカメラからの画像を利用し、車
両の真上に設置されたカメラであたかも撮像されたかの
ような画像を合成し、運転者に表示するシステムが提案
されている（例えば特願平１０−２１７２６１参照）。

【０００４】図１９はこのシステムの構成例を示す図で
ある。カメラ部４０内の複数のカメラ４０１から１フィ
ールドまたは１フレームの画像信号が出力され、出力さ
れた画像信号は伝送線４５を介して伝送され、画像処理
部５０のバッファメモリ５０１に記憶される。画像合成
部５０３は、仮想視点からみた合成画像と実際の各カメ
ラ４０１の画像との関係を記述したマッピングテーブル
５０２のデータに従って、バッファメモリ５０１に記憶
された画像信号から合成画像を生成し、表示装置６０に
表示する。図１９に示すシステムを利用することによっ
て、運転者は、実際のカメラ設置位置を考慮することな
く、合成画像によって自車と周囲の位置関係を的確に把
握することができ、例えば駐車操作などを安全に行うこ
とができる。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
たシステムでは、次のような問題がある。

【０００６】図１９から分かるように、伝送線４５はカ
メラ毎に設けられており、各カメラ４０１と画像処理部
５０との間にそれぞれ配される。各カメラ４０１は通
常、合成画像の生成のために車両周囲の様々な箇所に設
置されるので、伝送線４５も、車両の各部に張り巡らせ
る必要がある。このため、このシステムを車両に設置す
るために煩雑な作業が必要になり、また、故障などに対
する保守作業も多大なものとなる。

【０００７】システムの設置や保守を容易にするために
は、伝送線をカメラ同士で共有化し、その本数を削減す
ることが望ましい。ところが、各カメラの画像データを
全て伝送するためには大きな伝送容量が必要になり、こ
のため、伝送線の本数の削減が困難になっている。すな
わち、伝送線の本数を減らすためには、伝送される画像
データ量を低減することが必須となる。

【０００８】また、画像処理部５０においても、各カメ
ラからの１フィールドや１フレームの画像データを記憶
する必要があるので、バッファメモリ５０１として多く
のメモリ容量を必要とする。

【０００９】一方、カメラ画像は、画像合成のために全
ての領域が利用されるわけでなく、画像合成に不必要な
部分も含んでいる。また、画像合成に必要な領域内で
も、合成画像の生成に必要となる解像度は、部分ごとに
異なっている。したがって、カメラ画像の画像データを
そのまま全て画像処理部に伝送する必要は、必ずしもな
い。

【００１０】前記の問題に鑑み、本発明は、複数のカメ
ラと、これらのカメラの撮像画像から合成画像を生成す
る画像処理部とを備えた監視システムとして、合成画像
の品質を下げることなく、伝送されるカメラ画像のデー
タ量を大幅に削減することを課題とする。

【００１１】

【課題を解決するための手段】前記の課題を解決するた
めに、請求項１の発明が講じた解決手段は、監視システ
ムとして、複数のカメラを有するカメラ部と、前記カメ
ラ部から出力されたカメラ画像の画像データを伝送する
伝送経路と、前記伝送経路を介して伝送された各カメラ
画像の画像データを入力とし、これらの画像データから
合成画像を生成する画像処理部とを備え、前記カメラ部
は、前記伝送経路に出力する画像データ量を削減するた
めの画像データ削減手段を備え、前記カメラ部または画
像処理部は、前記画像データ削減手段に対し、前記合成
画像と各カメラ画像との対応関係に従って、画像合成に
用いるカメラ画像のデータ量削減態様を指定する削減態
様指定手段を備えているものである。

【００１２】請求項１の発明によると、カメラ部に設け
られた画像データ削減手段は、削減態様指定手段によっ
て指定されたカメラ画像のデータ量削減態様に応じて、
伝送経路に出力する画像データ量を削減する。そして、
削減態様指定手段は、合成画像とカメラ画像との対応関
係に従って、画像合成に用いるカメラ画像のデータ量削
減態様を指定する。このため、伝送経路には、合成画像
とカメラ画像との対応関係に従って指定された態様に応
じて削減されたカメラ画像の画像データが、伝送される
ことになる。これにより、伝送されるカメラ画像のデー
タ量が大幅に削減され、しかも、合成画像の品質が低下
することはない。この結果、伝送経路の伝送容量が少な
くてすむので、安価で本数の少ない伝送線や無線によっ
て伝送経路を実現することが可能になり、車両への設置
や保守の作業が大幅に簡易化される。また、画像処理部
に必要となるバッファメモリの記憶容量を大幅に削減す
ることができる。

【００１３】そして、請求項２の発明では、前記請求項
１の監視システムにおいて、前記画像処理部は、複数種
類の合成画像が生成可能でありかつ生成する合成画像の
種類を切り替え可能に構成されており、前記削減態様指
定手段は、前記画像処理部が生成する合成画像の種類に
応じて、指定するデータ量削減態様を切り替えるものと
する。

【００１４】また、請求項３の発明では、前記請求項１
の監視システムにおいて、前記削減態様指定手段は、画
像合成に用いるカメラ画像の各領域について、合成画像
生成のために必要と想定される解像度をそれぞれ指定す
る解像度指定部を有し、前記画像データ削減手段は、画
像合成に用いるカメラ画像の画像データを前記解像度指
定部によって指定された解像度に従って圧縮するものと
する。

【００１５】請求項３の発明によると、伝送されるカメ
ラ画像のデータ量が、画像合成に必要となる解像度に応
じた圧縮によって、大幅に削減されるので、伝送経路の
伝送容量が少なくてすむ。また、折り返し歪みの発生も
抑えることができ、合成画像の画質を良好にすることが
できる。

【００１６】そして、請求項４の発明では、前記請求項
３の監視システムにおける画像データ削減手段は、ＤＣ
Ｔ変換を用いて画像データの圧縮を行うものとする。

【００１７】また、請求項５の発明では、前記請求項１
の監視システムにおいて、前記削減態様指定手段は、画
像合成に用いるカメラ画像について合成画像生成のため
に必要と想定される領域を指定する領域指定部を有し、
前記画像データ削減手段は、画像合成に用いるカメラ画
像の画像データから、前記領域指定部によって指定され
た領域以外の領域の画像データを削除するものとする。

【００１８】請求項５の発明によると、伝送されるカメ
ラ画像のデータ量が、画像合成に必要となる領域以外の
領域の画像データの削除によって、大幅に削減されるの
で、伝送経路の伝送容量が少なくてすむ。

【００１９】また、請求項６の発明では、前記請求項１
の監視システムにおいて、前記各カメラは、画像データ
の読み出し順序がその外部から制御可能に構成されてお
り、前記カメラ部または画像処理部は、画像合成に用い
るカメラの画像データの読み出し順序を、前記削減態様
指定手段によって指定されたデータ量削減態様に応じて
制御する読出制御部を備えているものとする。

【００２０】請求項６の発明によると、画像合成に用い
るカメラの画像データの読み出し順序が、指定されたデ
ータ量削減態様に応じて制御されるので、伝送経路を伝
送されるデータ量の時間的集中を防ぐことができ、逆
に、データ量の時間的な分散が可能になる。

【００２１】また、請求項７の発明では、前記請求項１
の監視システムにおける複数のカメラは、車両に設置さ
れ、当該車両の周囲を撮影するものとする。

【００２２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。

【００２３】（第１の実施形態）図１は本発明の第１の
実施形態に係る監視システムの構成を示すブロック図で
ある。図１に示す監視システムは、車両に搭載され、駐
車時等の運転操作の補助を用途とするものとして想定さ
れている。すなわち、このシステムは、車両に設置され
た複数のカメラからの画像を利用して、例えば、車両上
方に設置されたカメラで撮像されたかのような合成画像
を生成し、運転者に表示する。運転者は、表示された合
成画像を見ることによって、自分の車両と周囲の状況と
の関係を的確に把握することができるので、駐車操作等
を安全に行うことができる。

【００２４】図１において、カメラ部１０はＸ台のカメ
ラ（カメラ１〜カメラＸ）１１０を有しており、各カメ
ラ１１０には、カメラ画像を圧縮するための圧縮部１２
０および伝送アダプタ１３０が一体化されている。カメ
ラ部１０から出力された各カメラ画像の画像データは、
カメラ部１０と画像処理部２０とをつなぐ伝送経路とし
ての伝送線１５を介して、画像処理部２０に入力され
る。画像処理部２０は各カメラ画像の画像データに対し
て変形・統合等の処理を行い、合成画像を生成し、表示
装置３０に表示する。

【００２５】図２は本実施形態に係るカメラ設置位置の
一例である。図２の例では、６台のカメラ１〜カメラ６
が車両の周囲に配置されている。また、図３は合成画像
の仮想視点の位置の一例である。画像処理部２０は例え
ば、カメラ１〜カメラ６の撮像画像から図３に示すよう
な仮想視点から見た合成画像を生成する。

【００２６】画像処理部２０は、合成画像と各カメラ画
像との対応関係を記述したマッピングテーブル２２０
と、マッピングテーブル２２０を用いて合成画像の生成
を行う画像合成部２１０と、伝送アダプタ２５０を介し
て入力された，圧縮された画像データを復元する復元部
２４０と、復元した画像データを一時記憶するバッファ
メモリ２３０とを備えている。また、マッピングテーブ
ル２２０に記述された合成画像と各カメラ画像との対応
関係に従って、各カメラ画像の各領域について、合成画
像生成のために必要と想定される解像度をそれぞれ指定
する，削減態様指定手段としての解像度指定部２６０も
備えている。

【００２７】図４はカメラ画像と合成画像との対応関係
の一例を示す図であり、図２のように設置された６台の
カメラ１〜カメラ６の撮像画像から、図３に示す仮想視
点１からみた合成画像を生成する場合を想定している。
図４（ａ）において、ＣＡ１〜ＣＡ６はそれぞれ、合成
画像上においてカメラ１〜カメラ６の撮像画像が占める
領域である。また、図４（ｂ）において、ＣＡ１’〜Ｃ
Ａ６’はそれぞれ、合成画像上の領域ＣＡ１〜ＣＡ６に
対応する、各カメラ画像上の領域である。

【００２８】マッピングテーブル２２０には、図４
（ａ）に示すような合成画像と各カメラ画像との対応関
係がデータ化されている。すなわち、マッピングテーブ
ル２２０には、仮想視点からみた合成画像の全ての座標
について、対応するカメラ画像のデータが記述されてい
る。画像合成部２１０は、マッピングテーブル２２０の
データに従って、仮想視点からみた合成画像を生成す
る。

【００２９】例えば、合成画像上の点Ｐ１については、
カメラ１，６の撮影領域ＣＡ１，ＣＡ６がオーバーラッ
プした領域ＯＡにあるので、カメラ１の画像上の領域Ｃ
Ａ１’内の点Ｐ１に対応する画素データとカメラ６の画
像上の領域ＣＡ６’内の点Ｐ１に対応する画素データと
を用いて、画素データを得る。また、合成画像上の点Ｐ
２については、カメラ１の撮影領域ＣＡ１にあるので、
カメラ１の画像上の領域ＣＡ１’内の点Ｐ２に対応する
画素データを用いて、画素データを得る。

【００３０】また、解像度指定部２６０は、マッピング
テーブル２２０に記述された合成画像と各カメラ画像と
の対応関係に従って、各カメラ画像の各領域について、
画像合成に必要な解像度を求める。求めた解像度のデー
タは、伝送アダプタ２５０から伝送線１５を介して、各
圧縮部１２０に伝送される。各圧縮部１２０は、伝送さ
れた解像度のデータに従って、各カメラ画像の画像デー
タを圧縮する。圧縮された画像データは、伝送アダプタ
１３０から伝送線１５を介して画像処理部２０に伝送さ
れ、復元部２４０によって復元されてバッファメモリ２
３０に記憶される。

【００３１】また、マッピングテーブル２２０は、図３
に示すような複数の仮想視点に対応したマッピングテー
ブルデータをそれぞれ記憶しており、外部から与えられ
る切替信号によって、画像合成に用いるマッピングテー
ブルデータが切替可能に構成されている。これにより、
画像処理部２０は、複数種類の合成画像が生成可能であ
り、生成する合成画像の種類を切り替えることができ
る。切替信号は、例えば車両のギアの状態や走行速度等
に応じて与えられる。

【００３２】切替信号が入力されると、マッピングテー
ブル２２０が出力するマッピングテーブルデータが切り
替わり、これによって、生成される合成画像の種類が切
り替えられる。解像度指定部２６０は、切り替えられた
新たなマッピングテーブルデータに応じて、各カメラ画
像の各領域について、画像合成に必要な解像度を改めて
求める。求めた解像度のデータは、伝送線１５を介して
各圧縮部１２０に伝送され、各圧縮部１２０は伝送され
た解像度データに応じて、圧縮処理の内容を切り替え
る。

【００３３】＜圧縮処理＞ここでは、各圧縮部１２０
は、ＤＣＴ変換を用いてカメラ画像データの圧縮を行う
ものとする。

【００３４】まず、カメラ画像（４８０ｘ７２０）を
（８ｘ８）画素のブロックに分割する。この分割によっ
て、カメラ画像の座標（ｉ，ｊ）のデータは（ｉ＝１〜
４８０，ｊ＝１〜７２０）、Ｓ１（Ｋ，Ｌ，ｉ’，
ｊ’）と表すことができる。ここで、Ｋ，Ｌは各ブロッ
クを示す水平・垂直のアドレス番号であり、Ｋ＝１〜６
０、Ｌ＝１〜９０である。また、ｉ’＝１〜８，ｊ’＝
１〜８である。

【００３５】そして、各画素データＳ１（Ｋ，Ｌ，
ｉ’，ｊ’）は、次式に示すＤＣＴ変換によって、各周
波数成分の信号ｇ１（Ｋ，Ｌ，ｍ，ｎ）に変換される。

【００３６】

【数１】

【００３７】上式において、ｍまたはｎの値が大きい成
分は、それぞれ、ブロック内における水平方向または垂
直方向の高周波成分を表している。高周波成分のデータ
を削除することによって、低解像度のデータを容易に生
成することができ、カメラ画像を少ないデータ量で送る
ことができる。また、合成画像の種類によっては、水平
方向と垂直方向とで必要となる解像度が異なる場合があ
るが、この場合でも、データを削除するｍまたはｎの値
を個別に設定することによって、水平方向と垂直方向と
でそれぞれ独立に、必要となる解像度を制御することが
できる。

【００３８】図５は合成画像とカメラ１の画像との対応
関係を概念的に示す図である。同図中、（ａ）は合成画
像上におけるカメラ１のマップテーブルを、（ｂ）はカ
メラ１の画像上における合成画像のマップテーブルを、
それぞれ示しており、点Ａと点Ａ’、点Ｂと点Ｂ’がそ
れぞれ対応している。図５（ａ）において、カメラ１の
マップテーブルの格子が密の部分（例えば点Ａ）では、
カメラ１の画像データにさほど高い解像度は要求されな
いが、格子が粗の部分（例えば点Ｂ）では、高い解像度
の画像データが必要になる。すなわち図５（ｂ）におい
て、合成画像のマップテーブルの格子が密の部分（例え
ば点Ｂに対応する点Ｂ’）では、高い解像度の画像デー
タが必要になるが、粗の部分（例えば点Ａに対応する点
Ａ’）では、低い解像度の画像データで済む。また、合
成画像のマップテーブルの格子が形成されていない部分
の画像データは、合成画像を生成するためには必要な
い。

【００３９】すなわち、カメラ１の画像データは例えば
図６に示すように、３種類のブロックＢＬ１，ＢＬ２，
ＢＬ３に分けられる。ＢＬ１は合成画像の生成に不必要
な部分のブロック、ＢＬ２は高い解像度の画像データが
必要となる部分のブロック、そしてＢＬ３は低い解像度
の画像データですむ部分のブロックである。

【００４０】解像度指定部２６０はマッピングテーブル
２２０のデータから、各ブロックについて、必要となる
解像度のデータＲｘｖ（Ｋ，Ｌ），Ｒｘｈ（Ｋ，Ｌ）を
算出する。ここで、ｘはカメラ番号（１≦ｘ≦Ｘ）、添
字ｈ，ｖは水平または垂直方向を示す。解像度データＲ
ｘｖ（Ｋ，Ｌ），Ｒｘｈ（Ｋ，Ｌ）の算出方法につい
て、その一例を図７を用いて具体的に説明する。

【００４１】まず、マッピングテーブル２２０のデータ
から、各カメラ画像の各ブロックについて、合成画像の
座標のいずれかに対応する点があるか否かを判定する。
合成画像の座標に対応する点を含まないブロックすなわ
ちブロックＢＬ１は、合成画像の生成には不必要である
ので、解像度データＲｘｖ（Ｋ，Ｌ），Ｒｘｈ（Ｋ，
Ｌ）はそれぞれ“０”とする。

【００４２】合成画像の座標（ｉ，ｊ）（図７（ａ））
に対応する点（ｉ’，ｊ’）がブロック内に存在すると
き、さらに、合成画像上の３個の点（ｉ＋１，ｊ），
（ｉ＋１，ｊ＋１），（ｉ＋１，ｊ）に対応する点をそ
れぞれ求める。そして、この３点と点（ｉ’，ｊ’）と
で囲まれた領域ＩＭ１（図７（ｂ））を定める。そし
て、図７（ｃ）に示すような領域ＩＭ１の垂直・水平方
向の大きさＬｖ，Ｌｈ（ただし整数とする）を用いて、
次式に従って、解像度データＲｘｖ（Ｋ，Ｌ），Ｒｘｈ
（Ｋ，Ｌ）をそれぞれ算出する。ただし、余りは切り上
げる。 Ｒｘｖ（Ｋ，Ｌ） ＝ ８／Ｌｖ Ｒｘｈ（Ｋ，Ｌ） ＝ ８／Ｌｈ 解像度指定部２６０は、このようにして算出した解像度
データＲ１ｖ（Ｋ，Ｌ），Ｒ１ｈ（Ｋ，Ｌ）〜ＲＸｖ
（Ｋ，Ｌ），ＲＸｈ（Ｋ，Ｌ）を、伝送線１５を介して
各カメラの圧縮部１２０に伝送する。

【００４３】なお、厳密には、合成画像の座標（ｉ，
ｊ）の画素がカメラ画像上で占める領域は、領域ＩＭ１
ではなく、合成画像の座標（ｉ−０．５，ｊ−０．
５），（ｉ−０．５，ｊ＋０．５），（ｉ＋０．５，ｊ
−０．５），（ｉ＋０．５，ｊ＋０．５）にそれぞれ対
応する４個の点で囲まれた領域に相当する。ただし、こ
の領域と上述した領域ＩＭ１とはほぼ同一形状であり、
また、合成画像上の点（ｉ，ｊ），（ｉ＋１，ｊ），
（ｉ＋１，ｊ＋１），（ｉ＋１，ｊ）に対応する点はマ
ッピングテーブル２２０から容易に求めることができ
る。このため、ここでは、解像度データＲｘｖ（Ｋ，
Ｌ），Ｒｘｈ（Ｋ，Ｌ）を領域ＩＭ１の大きさから算出
している。

【００４４】各圧縮部１２０は、伝送された解像度デー
タＲｘｖ（Ｋ，Ｌ），Ｒｘｈ（Ｋ，Ｌ）に従って、各カ
メラの各ブロックについて各周波数の信号ｇｘ（Ｋ，
Ｌ，ｍ，ｎ）のうち不必要な成分を削除し、必要な成分
のみを画像処理部２０に伝送する。具体的には、ｍの値
がＲｘｖ（Ｋ，Ｌ）よりも大きい成分と、ｎの値がＲｘ
ｈ（Ｋ，Ｌ）よりも大きい成分とを削除する。このと
き、ブロックＢＬ１については、解像度データＲｘｖ
（Ｋ，Ｌ），Ｒｘｈ（Ｋ，Ｌ）はともに“０”であるの
で、全ての成分が削除される。

【００４５】図８は圧縮部１２０の内部構成の一例を示
す図である。図８では、カメラ１に対して設けられた圧
縮部１２０を示している。圧縮部１２０には３個の８ラ
インメモリ１２１ａ，１２１ｂ，１２１ｃが設けられて
おり、計２４（＝８・３）ライン分の画像信号が記憶可
能になっている。

【００４６】解像度データＲ１ｖ（Ｋ，Ｌ），Ｒ１ｈ
（Ｋ，Ｌ）〜ＲＸｖ（Ｋ，Ｌ），ＲＸｈ（Ｋ，Ｌ）が伝
送線１５を介して伝送されると、伝送アダプタ１３０
は、対応するカメラに関する解像度データ（この例では
カメラ１に対応する解像度データＲ１ｖ（Ｋ，Ｌ），Ｒ
１ｈ（Ｋ，Ｌ））を受け取り、解像度データメモリ１２
４に記憶する。

【００４７】一方、カメラ１１０からは、画像信号がテ
レビジョン信号のように走査線に従って時系列で送られ
てくる。したがって、画面中のある座標（ｉ，ｊ）の信
号が入力される時間ｔは次式のように定まる。ただし、
Ｔpix は１画素当たりの時間、Ｂｈは水平のブランキン
グ画素数である。 ｔ＝Ｔpix ・（ｉ・（７２０＋Ｂｈ）＋ｊ） カメラ１１０から送られた画像信号は、各８ラインメモ
リ１２１ａ，１２１ｂ，１２１ｃに順次記憶される。こ
のとき、第ｉラインの画像信号はｍｏｄ（ｉ，２４）番
目のラインに記憶される（ｍｏｄ（Ｋ，Ｌ）はＫをＬで
除したときの余りを表す。）。

【００４８】第１の８ラインメモリ１２１ａに第８ライ
ンまで画像信号が記憶されると、第９ライン以降の画像
信号は第２の８ラインメモリ１２１ｂに記憶され始め
る。その一方で、ＤＳＰ１２２は第１の８ラインメモリ
１２１ａから、（８ｘ７２０）画素の画像信号を９０個
の８ｘ８画素ブロック信号Ｓ１（１，Ｌ，ｉ’ｊ’）
（Ｌ＝１〜９０，ｉ’＝１〜８，ｊ’＝１〜８）として
読み込み、各ブロックについて、上述のようにＤＣＴ変
換を行い、ｇ１（１，Ｌ，ｍ，ｎ）を算出する。ＤＳＰ
１２２はさらに、解像度データメモリ１２４に記憶され
たデータＲ１ｖ（１，Ｌ），Ｒ１ｈ（１，Ｌ）を用い、
ｇ１（１，Ｌ，ｍ，ｎ）から、ｍがＲ１ｖ（１，Ｌ）よ
りも大きい成分と、ｎがＲ１ｈ（１，Ｌ）よりも大きい
成分とを削除する。

【００４９】したがって、第１の８ラインメモリ１２１
ａに記憶された画像信号Ｓ１（ｉ，ｊ）（ｉ＝１〜８，
ｊ＝１〜７２０）は、この時点で、次のようなブロック
毎にデータ数の異なるデータ列になる。 ｇ１（Ｋ＝１，Ｌ＝１〜９０） （Ｌ＝１） ：ｄ１，ｄ２，…，ｄｍｎ （Ｌ＝２） ：ｄ１，ｄ２，…，ｄｍｎ’ ・ ・ ・ （Ｌ＝９０）：ｄ１，ｄ２，…，ｄｍｎ” （ｍｎ ＝Ｒ１ｖ（１，１）・Ｒ１ｈ（１，１） ｍｎ’＝Ｒ１ｖ（１，２）・Ｒ１ｈ（１，２） ｍｎ”＝Ｒ１ｖ（１，９０）・Ｒ１ｈ（１，９０）） すなわち、第１の８ラインメモリ１２１ａに記憶された
画像信号は、各ブロックについて（Ｒ１ｖ（１，Ｌ）・
Ｒ１ｈ（１，Ｌ））個のデータをそれぞれ有するデータ
列に変換される。このデータ列は、ＤＣＴデータバッフ
ァメモリ１２３に一旦記憶され、伝送アダプタ１３０は
ＤＣＴデータバッファメモリ１２３に記憶されたデータ
列を、伝送線１５を介して画像処理部２０に伝送する。

【００５０】復元部２４０は、伝送されたデータ列を逆
ＤＣＴ変換して画像信号Ｓ１’（１，Ｌ，ｉ’，ｊ’）
を復元し、バッファメモリ２３０に記憶する。復元され
た信号Ｓ１’（１，Ｌ，ｉ’，ｊ’）は、ＤＣＴ変換時
に高周波成分が削除されているので、元の信号Ｓ１
（１，Ｌ，ｉ’，ｊ’）にＬＰＦ処理がなされた信号に
相当する。

【００５１】次に、第２の８ラインメモリ１２１ｂに第
１６ラインまで画像信号が記憶されると、第１７ライン
以降の画像信号は第３の８ラインメモリ１２１ｃに記憶
され始める。その一方で、ＤＳＰ１２２は第２の８ライ
ンメモリ１２１ｂから、（８ｘ７２０）画素の画像信号
を９０個の８ｘ８画素ブロック信号Ｓ１（２，Ｌ，ｉ’
ｊ’）（Ｌ＝１〜９０，ｉ’＝１〜８，ｊ’＝１〜８）
として読み込み、各ブロックについて、上述のようにＤ
ＣＴ変換を行い、ｇ１（２，Ｌ，ｍ，ｎ）を算出する。
ＤＳＰ１２２はさらに、解像度データメモリ１２４に記
憶されたデータＲ１ｖ（２，Ｌ），Ｒ１ｈ（２，Ｌ）を
用い、ｇ１（２，Ｌ，ｍ，ｎ）から、ｍがＲ１ｖ（２，
Ｌ）よりも大きい成分と、ｎがＲ１ｈ（２，Ｌ）よりも
大きい成分とを削除する。

【００５２】したがって、第２の８ラインメモリ１２１
ｂに記憶された画像信号は、この時点で、次のようなブ
ロック毎にデータ数の異なるデータ列になる。 ｇ１（Ｋ＝２，Ｌ＝１〜９０） （Ｌ＝１） ：ｄ１，ｄ２，…，ｄｍｎ （Ｌ＝２） ：ｄ１，ｄ２，…，ｄｍｎ’ ・ ・ ・ （Ｌ＝９０）：ｄ１，ｄ２，…，ｄｍｎ” （ｍｎ ＝Ｒ１ｖ（２，１）・Ｒ１ｈ（２，１） ｍｎ’＝Ｒ１ｖ（２，２）・Ｒ１ｈ（２，２） ｍｎ”＝Ｒ１ｖ（２，９０）・Ｒ１ｈ（２，９０）） すなわち、第２の８ラインメモリ１２１ｂに記憶された
画像信号は、各ブロックについて（Ｒ１ｖ（２，Ｌ）・
Ｒ１ｈ（２，Ｌ））個のデータをそれぞれ有するデータ
列に変換される。このデータ列は、上述したのと同様に
伝送線１５を介して画像処理部２０に伝送され、復元部
２４０によって画像信号Ｓ１’（２，Ｌ，ｉ’，ｊ’）
に復元される。

【００５３】同様の動作がＫ＝６０まで繰り返され、こ
れにより１画面分の画像信号Ｓ１’（Ｋ，Ｌ，ｉ’，
ｊ’）が復元され、バッファメモリ２３０に記憶され
る。

【００５４】また、他のカメラ１１０の圧縮部１２０か
らも同様に、圧縮された画像データが復元部２４０に伝
送され、画像信号Ｓｘ’（Ｋ，Ｌ，ｉ’，ｊ’）（ｘ＝
２〜Ｘ）が復元され、バッファメモリ２３０に記憶され
る。バッファメモリ２３０に記憶された各カメラ画像デ
ータから、従来と同様に、合成画像が生成される。

【００５５】以上のように本実施形態によると、マッピ
ングテーブル２２０に記述された合成画像と各カメラ画
像との対応関係に従って、各カメラの画像信号のうち必
要な解像度のデータのみを圧縮して伝送するので、伝送
線１５の伝送容量は、従来よりも少なくてすむ。このた
め、より安定して伝送できる装置が実現でき、かつ、よ
り安価な伝送線を用いることも可能になる。

【００５６】すなわち、図２に示すように、伝送線１５
を１本に統合することが容易になり、伝送線１５の車両
への設置や保守が大幅に簡素化できる。あるいは、図９
に示すように、カメラ設置位置によっては、伝送線１５
を２本に分けるなどフレキシブルな対応が可能になり、
車両への設置や保守がさらに簡素化できる。

【００５７】なお、伝送線１５の代わりに、伝送経路を
無線によって構成してもかまわない。この場合でも、本
実施形態によって得られる，伝送容量が少なくてすむと
いう効果は大きく、より安価な部品による伝送経路の実
現が可能になる。また、有線に比べて、車両への設置や
保守の作業がさらに大幅に削減できる。

【００５８】また、図６（ｂ）のブロックＢＬ１に示す
ような合成画像の生成に不必要な部分については、必要
となる解像度のデータＲｘｖ（Ｋ，Ｌ），Ｒｘｈ（Ｋ，
Ｌ）は（０，０）であるので、この部分のブロックのデ
ータ数は０となる。したがって、伝送線１５を介して伝
送するデータ量を大幅に削減することができる。

【００５９】また、画像処理部２０では、各カメラ画像
のうち必要な解像度のデータのみがバッファメモリ２３
０に格納されるので、従来よりも、メモリ容量を大幅に
削減することができる。

【００６０】また、圧縮部１２０において、各８ライン
メモリ１２１ａ，１２１ｂ，１２１ｃにカメラ画像信号
が記憶された直後から、ＤＣＴ変換と伝送が行われるの
で、圧縮伝送に伴う信号遅延は、最小限度に抑えること
ができる。

【００６１】また、画像処理部２０が生成する合成画像
の種類に応じて、各カメラ画像の圧縮動作を切り替える
ことも可能である。この場合、画像合成に用いるマッピ
ングテーブルが切り替えられる毎に、解像度指定部２６
０が、解像度データＲｘｖ（Ｋ，Ｌ），Ｒｘｈ（Ｋ，
Ｌ）を算出し、このデータを伝送線１５を介して各カメ
ラの圧縮部１２０に伝送するように構成すればよい。

【００６２】あるいは、各マッピングテーブルに対応し
た解像度データを、解像度指定部２６０に予めＲＯＭな
どによって保持させておいてもよい。この場合には、切
替信号を解像度指定部２６０にも入力させ、マッピング
テーブルの切替とともに、解像度データの切替を解像度
指定部２６０に実行させればよい。これにより、マッピ
ングテーブルの切替のたびに解像度データを算出する処
理が不要になる。

【００６３】さらに、圧縮部１２０にメモリを設けて、
このメモリに、各マッピングテーブルに対応した解像度
データを予め記憶させておいてもよい。この場合には、
画像処理部２０は、マッピングテーブルの切替の毎に、
そのマッピングテーブルを表すＩＤのみを各圧縮部１２
０に伝送するだけですむ。あるいは、マッピングテーブ
ルを表すＩＤを画像処理部２０から伝送する代わりに、
切替信号をカメラ部１０の各圧縮部１２０にも入力させ
て、マッピングテーブルの切替とともに、解像度データ
の切替を各圧縮部１２０に実行させればよい。

【００６４】なお、本実施形態では、画像データの圧縮
のためにＤＣＴ変換を用いるものとしたが、ＪＰＥＧの
ように、ＤＣＴ変換後のデータにさらに量子化を行って
もよい。また、ＤＣＴ変換以外でも、ウェーブレット変
換やフーリエ変換等によって同様な効果を得ることがで
きる。

【００６５】＜折り返し歪み解消の効果＞また、本実施
形態によると、折り返し歪みに起因する合成画像の画質
劣化を容易に回避することができる。

【００６６】例えば図７において、合成画像の座標
（ｉ，ｊ）に対応するカメラ画像上の領域ＩＭ１は、カ
メラ画像の１画素よりもサイズが大きく、複数個の画素
を含んでいる。光学的に正確な合成画像を得るために
は、領域ＩＭ１に含まれる複数画素のデータの加重平均
値を、座標（ｉ，ｊ）に対応する画素データとして得な
ければならない。すなわち、次式のように、合成画像の
画素データＳ（ｉ，ｊ）を求める必要がある。 Ｓ（ｉ，ｊ）＝Σγ_p ・（Ｓ１（ｉ_p ，ｊ_p ）） ただし、Ｓ１（ｉ_p ，ｊ_p ）はカメラの画素データ、ｐ
はカメラ画素の番号、γ _p は領域ＩＭ１に含まれる割合
を加味した係数である。ところがこの場合、合成画像の
１画素の信号を得るために、複数画素の信号をバッファ
メモリ２３０から読み出して計算を行う必要がある。こ
れは、画像合成部２１０で必要となる計算処理が膨大に
なり、実用的ではない。

【００６７】そこで、上記の計算を近似的に省略したも
のとして、従来からニアレスト法が用いられている。ニ
アレスト法とは、座標（ｉ，ｊ）に対応する領域ＩＭ１
の中心に最も近い１個の画素の信号のみを用いるもので
ある。

【００６８】ところが、ニアレスト法を用いた場合に
は、高いサンプリング周波数の信号を、高周波成分をカ
ットせずに、低いサンプリング周波数でサブサンプリン
グした場合に特有の折り返し歪みが発生する。すなわ
ち、高解像度の画像信号をそのまま用いて、ニアレスト
法による簡単な画像合成を行った場合には、解像度が低
くてよい部分に周波数的に折り返し歪みが生じ、合成画
像の画質が劣化するおそれがある。

【００６９】このような折り返し歪みを防ぐために、例
えば図１０に示すように、各カメラの画像信号に対し予
めローパスフィルタ（ＬＰＦ）５１による処理を行い、
不要な高周波成分をカットするという方法が考えられ
る。

【００７０】ただしこの場合、カメラ画像において必要
となる解像度は部分毎に異なるので、ＬＰＦとして、そ
の周波数特性が画像の部分毎に適応的に設定可能に構成
されたものが必要になる。このため、回路構成が相当に
複雑になるという問題がある。また、周波数特性が均一
のＬＰＦを用いる場合には、回路構成は簡易になるもの
の、高い解像度を必要とする部分についても高周波成分
がカットされてしまうので、合成画像において十分に必
要な解像度が得られない。

【００７１】これに対して本実施形態によると、圧縮部
１２０によって、折り返し歪みが発生しやすい低解像度
の画像部分については、領域ＩＭ１の大きさに対応した
特性ですでに高周波成分が除去されているので、折り返
し歪みが発生しにくくなる。すなわち、復元部２４０に
よって復元されたカメラ画像信号は、元の信号に対し
て、必要な解像度に応じて適応的にＬＰＦ処理を施した
ものに相当する。したがって、複雑な構成のＬＰＦを設
けなくても、折り返し歪みの発生を抑制することがで
き、この結果、合成画像の画質を大幅に改善することが
できる。

【００７２】ここではニアレスト法を用いた実施例を述
べたが、これ以外の方法でも適用できる。例えば、バイ
リニア法（座標（ｉ，ｊ）に対応する領域ＩＭ１の中心
を囲む４点の画素の信号を用い、線形補間する方法）に
も明らかに適用できる。

【００７３】＜圧縮処理の他の例＞また上述の説明で
は、解像度指定部２６０は解像度データＲｘｖ（Ｋ，
Ｌ），Ｒｘｈ（Ｋ，Ｌ）を図７に示す領域ＩＭ１の水平
・垂直方向の大きさＬｈ，Ｌｖから算出するものとした
が、これらを他の方法によって求めてもかまわない。

【００７４】図１１（ａ）は図７（ｂ）と同様に、合成
画像の１画素がカメラ画像上で占める領域ＩＭ１を示し
ている。ここでは図１１（ｂ）に示すように、（８ｘ
８）ブロックの中心に領域ＩＭ１をおき、各画素につい
て、領域ＩＭ１に含まれる割合を加味した係数γ_p を求
める。この係数γ_p は、光学的に正確な合成画像を得る
ために、カメラ画像の複数画素の加重平均値を用いる場
合に、各画素の重み付けのために用いられる係数に相当
する。

【００７５】係数ｒ（ｉ’，ｊ’）を、領域ＩＭ１の中
心を（ｉ’，ｊ’）＝（１，１）として、８ｘ８ブロッ
クの係数に展開する。そして、画像信号と同様にＤＣＴ
変換し、変換係数ｈ（Ｋ，Ｌ，ｍ，ｎ）を得る。この変
換係数ｈ（Ｋ，Ｌ，ｍ，ｎ）は、係数γ_p が示すＬＰＦ
特性をＤＣＴ変換係数で示したものとなり、高域成分が
小さくなる。

【００７６】そこで、変換係数ｈ（ｋ，Ｌ，ｍ，ｎ）が
所定の閾値以上の値を持つｍ、ｎの上限を、解像度デー
タＲｘｖ（Ｋ，Ｌ），Ｒｘｈ（Ｋ，Ｌ）の値として定め
るものとする。解像度指定部２６０は解像度データＲｘ
ｖ（Ｋ，Ｌ），Ｒｘｈ（Ｋ，Ｌ）を伝送するとともに、
所定の閾値以上の値を持つ変換係数ｈ（Ｋ，Ｌ，ｍ，
ｎ）もこれに併せて圧縮部１２０に伝送する。

【００７７】圧縮部１２０は、画像信号のＤＣＴ変換デ
ータｇｘ（Ｋ，Ｌ，ｍ，ｎ）について、解像度データＲ
ｘｖ（Ｋ，Ｌ），Ｒｘｈ（Ｋ，Ｌ）を用いて高周波成分
を削除する。そして、残ったＤＣＴ変換データｇｘ
（Ｋ，Ｌ，ｍ，ｎ）に変換係数ｈｘ（Ｋ，Ｌ，ｍ，ｎ）
を乗じて、復元部２４０に送る。

【００７８】この方法の場合、復元部２４０が逆ＤＣＴ
処理によって復元した信号は、近似的に、元の信号に対
して係数γ_p を用いてＬＰＦ処理を施したものが得られ
る。したがって、上述した実施形態に比べて、光学的に
より正確な合成画像を得ることができる。

【００７９】なお、領域ＩＭ１を用いないで、解像度デ
ータＲｘｖ（Ｋ，Ｌ），Ｒｘｈ（Ｋ，Ｌ）を定めること
も可能である。例えば、画像合成に用いない部分のブロ
ックについては解像度データＲｘｖ（Ｋ，Ｌ），Ｒｘｈ
（Ｋ，Ｌ）を“０”とし、画像合成に用いる部分のブロ
ックについては、解像度データＲｘｖ（Ｋ，Ｌ），Ｒｘ
ｈ（Ｋ，Ｌ）を“０”以外の均一の値に設定してもよ
い。

【００８０】（第２の実施形態）図１２は本発明の第２
の実施形態に係る監視システムの構成を示すブロック図
である。図１２に示す監視システムは、基本的には、図
１に示す第１の実施形態に係る構成と同様である。図１
と共通の構成要素には、図１と同一の符号を付してお
り、ここではその詳細な説明を省略する。

【００８１】図１２において、図１の構成と異なるの
は、画像処理部２０Ａが、各カメラ１１０Ａの読み出し
制御信号を解像度指定部２６０の出力に応じて生成する
読出制御部２７０と、各カメラ１１０Ａの同期信号を生
成する同期信号生成部２８０とを備えた点である。読出
制御部２７０および同期信号生成部２８０から出力され
た読み出し制御信号と同期信号は、伝送アダプタ２５０
から伝送線１５を介してカメラ部１０Ａに伝送される。
伝送された読み出し制御信号および同期信号は、伝送ア
ダプタ１３０を介して圧縮部１２０Ａとカメラ１１０Ａ
に送られる。

【００８２】各カメラ１１０Ａは、伝送された同期信号
に従って同一のタイミングでフレーム画像を撮影する。
ここでは、各カメラ１１０Ａは、（７２０ｘ４８０）画
素の画像データを１／６０秒毎に撮影するものとする。

【００８３】図１３はカメラ１１０Ａおよび圧縮部１２
０Ａの内部構成の一例を示す図である。図１３に示すよ
うに、カメラ１１０Ａは主に、撮像素子（ここではＣＣ
Ｄ）１１１、光学系レンズ１１２、読出・同期制御部１
１３、および撮像素子１１１の出力をＡＤ変換した後に
色分離などの信号処理を行うＡＤ変換処理部１１４によ
って構成される。

【００８４】撮像素子１１１は、１画面分の撮像面と１
画面分の蓄積系を有している。まず、光学系レンズ１１
２を通して撮像面に光強度信号が得られ、各画素のフォ
トトランジスタがこの光強度信号を電荷信号に変換す
る。変換された電荷信号は、１フレーム期間（ここでは
１／６０秒）蓄積された後、画像信号として蓄積系に伝
送される。

【００８５】通常のＣＣＤでは、蓄積系に蓄積された画
像信号は、画面の左上端から走査線に従って読み出され
る。その間、撮像面では、新たな光強度信号が電荷信号
に変換され、次フレームの画像信号として蓄積されてい
る。ただし、本実施形態ではこれとは異なり、撮像素子
１１１は、画像信号が、画面の左上端からでも左下端か
らでも読み出し可能なように構成されているものとす
る。そして、いずれの順序で画像信号を読み出すかは、
読出・同期制御部１１３によって制御されるものとす
る。

【００８６】本実施形態では、画像処理部２０Ａが、合
成画像と各カメラ画像との対応関係に従って、各カメラ
１１０Ａの画像データの読み出し順序を制御する。

【００８７】図１４は各カメラ１１０Ａからの画像信号
の読み出し順序の一例を示す図である。図１４におい
て、各カメラ画像の領域ＣＡ１’〜ＣＡ６’は図４
（ｂ）で示したものと同一であり、合成画像の生成のた
めに必要な領域である。図１４から分かるように、各カ
メラ画像とも、画像合成に必要な領域は画面の下部を占
めており、画面の上部は画像合成に必要な領域から外れ
ている。

【００８８】ここでは、読出制御部２７０は、図１４に
おいて矢印で示すように、カメラ１，３，５については
画面左上端から画像信号が読み出され、カメラ２，４，
６については画面左下端から画像信号が読み出されるよ
うに、読み出し制御信号を生成するものとする。各カメ
ラ１１０Ａの読出・同期制御部１１３は、伝送された読
み出し制御信号に従って撮像素子１１１を制御する。撮
像素子１１１の出力はＡＤ変換処理部１１４によってＡ
Ｄ変換された後、色分離などの信号処理を施され、画像
信号として圧縮部１２０Ａの８ラインメモリ１２１に順
次送られる。

【００８９】カメラ１，３，５については、第１の実施
形態と同様に、画面中のある座標（ｉ，ｊ）の信号は、
次式の時刻ｔに送られる。 ｔ＝Ｔpix ・（ｉ・（７２０＋Ｂｈ）＋ｊ） 一方、カメラ２，４，６については、画面中左下から走
査されるので、第１の実施形態とは異なり、画面中のあ
る座標（ｉ，ｊ）の信号は、次式の時刻ｔに送られる。 ｔ＝Ｔpix ・（（４８０−ｉ）・（７２０＋Ｂｈ）＋
ｊ） ただし、Ｔpix は１画素当たりの時間、Ｂｈは水平のブ
ランキング画素数である。

【００９０】したがって、カメラ１については、最初の
画像信号は、第１の実施形態と同様に、次のようなブロ
ック毎にデータ数の異なるデータ列に変換され伝送され
るのに対し、 ｇ１（Ｋ＝１，Ｌ＝１〜９０） （Ｌ＝１） ：ｄ１，ｄ２，…，ｄｍｎ （Ｌ＝２） ：ｄ１，ｄ２，…，ｄｍｎ’ ・ ・ ・ （Ｌ＝９０）：ｄ１，ｄ２，…，ｄｍｎ” （ｍｎ ＝Ｒ１ｖ（１，１）・Ｒ１ｈ（１，１） ｍｎ’＝Ｒ１ｖ（１，２）・Ｒ１ｈ（１，２） ｍｎ”＝Ｒ１ｖ（１，９０）・Ｒ１ｈ（１，９０）） カメラ２については、最初の画像信号は、次のようなブ
ロック毎にデータ数の異なるデータ列に変換され伝送さ
れる。 ｇ２（Ｋ＝６０，Ｌ＝１〜９０） （Ｌ＝１） ：ｄ１，ｄ２，…，ｄｍｎ （Ｌ＝２） ：ｄ１，ｄ２，…，ｄｍｎ’ ・ ・ ・ （Ｌ＝９０）：ｄ１，ｄ２，…，ｄｍｎ” （ｍｎ ＝Ｒ２ｖ（６０，１）・Ｒ２ｈ（６０，１） ｍｎ’＝Ｒ２ｖ（６０，２）・Ｒ２ｈ（６０，２） ｍｎ”＝Ｒ２ｖ（６０，９０）・Ｒ２ｈ（６０，９０））

【００９１】ここで、各カメラ１１０Ａから圧縮された
画像信号が伝送されるときの、伝送線１５における伝送
データ量について、考える。

【００９２】画面の最初の８ラインの画像信号について
は、カメラ１，３，５からは、ｍｎ〜ｍｎ”がほとんど
０になり、データ量がほとんどないに等しいデータしか
伝送されないが、一方、カメラ２，４，６からは、画像
合成に必要な相当量のデータが伝送される。逆に、画面
の最後の８ラインの画像信号については、カメラ２，
４，６からは、ｍｎ〜ｍｎ”がほとんど０になり、デー
タ量がほとんどないに等しいデータしか伝送されない
が、一方、カメラ１，３，５からは、画像合成に必要な
相当量のデータが伝送される。

【００９３】このように、カメラ１，３，５とカメラ
２，４，６からの画像信号の読み出し順序を逆にするこ
とによって、伝送線１５における伝送データ量を、時間
的に分散することができる。これにより、伝送線１５と
して、伝送容量がより小さいものを利用することが可能
になる。

【００９４】なお、第１の実施形態の場合でも、伝送線
１５における伝送データ量を時間的に分散することは可
能である。例えば、圧縮部１２０のＤＣＴデータバッフ
ァメモリ１２３の容量を十分大きなものにしておき、デ
ータ伝送を、ＤＣＴデータバッファメモリ１２３の出力
側で制御すれば、伝送データ量を時間的に分散させるこ
とができる。

【００９５】ところがこの場合、ＤＣＴデータバッファ
メモリ１２３に一時的に大量のデータを格納する必要が
あるため、カメラ１１０から画像処理部２０へのデータ
伝送における遅延時間が長くなる。運転者は合成画像を
見ながら車両を運転するので、合成画像出力のレスポン
スを考慮すると、このような遅延時間は短い方が好まし
い。この点で、本実施形態の方がより有効である。

【００９６】以上のように本実施形態によると、各カメ
ラの画像信号の読み出し順序を、合成画像と各カメラ画
像との対応関係に応じて制御することによって、合成画
像出力のレスポンスを下げることなく、伝送データ量を
時間的に分散することができる。

【００９７】なお、図１４に示す画像信号の読み出し順
序の制御はあくまでも一例であり、例えば、カメラ１，
２，３については画面の左上端から、カメラ４，５，６
については画面の左下端から、画像信号を読み出すよう
に制御してもかまわない。また、合成画像とカメラ画像
との対応関係が変われば、それに応じて画像信号の読み
出し順序も変更すればよい。さらに、ここでは撮像素子
１１１は２種類の読み出し順序を実現可能に構成されて
いるものとしたが、３種類以上の読み出し順序を実現可
能に構成されていれば、合成画像と各カメラ画像との対
応関係に応じて、適当な読み出し順序を選択すればよ
い。

【００９８】なお、ここでは、撮像素子としてＣＣＤを
用いるものとしたが、この代わりに、ＣＭＯＳ素子を用
いてもかまわない。ＣＣＤ素子を用いたカメラが画面全
体の信号を走査線に従って出力するのに対し、ＣＭＯＳ
素子を用いたカメラでは、画面の一部（例えば矩形領
域）の信号のみを出力することができる。このため、各
カメラの画像信号の読み出し順序をきめ細かく制御する
ことができるので、より効率よく、伝送データ量を時間
的に分散させることができる。

【００９９】（第３の実施形態）図１５は本発明の第３
の実施形態に係る監視システムの構成を示すブロック図
である。図１５に示す監視システムは、基本的には、図
１に示す第１の実施形態に係る構成と同様である。

【０１００】本実施形態が第１の実施形態と異なるの
は、各カメラ画像の画像データを削減するために、画像
データを圧縮する代わりに、合成画像生成のために不要
と想定される領域の画像データを削除する点である。す
なわち、画像処理部２０Ｂは、解像度指定部２６０の代
わりに、各カメラ画像について合成画像生成のために必
要と想定される領域を指定する領域指定部２９０を削減
態様指定手段として備えており、カメラ部１０Ｂは、圧
縮部１２０の代わりに、領域指定部２９０によって指定
された領域以外の領域の画像データを削除する選択部１
４０を備えている。また、画像圧縮を行わないので、画
像処理部２０Ｂでは復元部２４０が省かれている。

【０１０１】領域指定部２９０は、マッピングテーブル
２２０にデータ化された合成画像と各カメラ画像との対
応関係に従って、各カメラ画像のうち画像合成に必要な
領域を指定する。指定された領域の情報は、伝送アダプ
タ２５０から伝送線１５を介してカメラ部１０Ｂの各選
択部１４０に伝送される。

【０１０２】選択部１４０は伝送された領域情報に応じ
て、各カメラ画像のうち必要な領域のデータのみを出力
する。出力された画像データは、伝送アダプタ１３０か
ら伝送線１５を介して画像処理部２０Ｂに伝送される。
画像処理部２０Ｂでは、伝送された画像データがバッフ
ァメモリ２３０に格納され、画像合成部２１０は、マッ
ピングテーブル２２０のデータに従って、バッファメモ
リ２３０に格納された画像データから合成画像を生成す
る。

【０１０３】図１６はカメラ１の画像と画像合成に必要
な領域ＡＮＥとの関係を概念的に示す図である。すなわ
ち、図１６（ａ）に示すカメラ１の画像上の合成画像の
マップテーブルの位置から、図１６（ｂ）に示すよう
に、合成画像の生成に必要な領域ＡＮＥを得ることがで
きる。領域指定部２９０は例えば図１７（ａ）に示すよ
うに、この領域ＡＮＥを含む矩形の領域ＡＮ１を求め、
領域ＡＮ１を示す情報として、矩形の左上端の座標（Ｉ
ｓ，Ｊｓ）および右下端の座標（Ｉｅ，Ｊｅ）を出力す
る。領域指定部２９０は、他のカメラについても同様
に、合成画像の生成に必要な領域を含む矩形領域を決定
し、その左上端および右下端の座標を出力する。

【０１０４】図１８は選択部１４０の内部構成の一例を
示す図である。図１８を参照して、選択部１４０の動作
を説明する。

【０１０５】カメラ１１０から出力された画像信号は、
３個のラインメモリ１４１に順次書き込まれる。一方、
伝送アダプタ１３０は、伝送線１５を介して送られる領
域データのうち自己のカメラに対応した領域データのみ
を読み込み、領域データメモリ１４４に記憶させる。

【０１０６】ＤＳＰ１４２は、あるラインメモリに画像
データが書き込まれると、そのラインメモリから画像デ
ータを読み出し、その中から領域データメモリ１４４に
記憶された矩形領域に含まれる画像データのみを選択
し、データバッファメモリ１４３に記憶させる。データ
バッファメモリ１４３に記憶された画像データは、次の
ようにカメラ番号、ライン番号およびデータ数を示すヘ
ッダが付加され、伝送アダプタ１３０から伝送線１５を
介して画像処理部２０Ｂに伝送される。 （カメラ番号１）（ライン番号１）（データ数Ｍ１）：ｄ１，…，ｄＭ１ （カメラ番号１）（ライン番号２）（データ数Ｍ２）：ｄ１，…，ｄＭ２ ・ ・ ・ （カメラ番号１）（ライン番号480）（データ数Ｍ480）：ｄ１，…，ｄＭ480

【０１０７】ラインｉのデータ数Ｍｉは、次のようにな
る。 Ｉｓ≦ｉ≦Ｉｅのとき Ｍｉ＝Ｊｅ−Ｊｓ＋１ これ以外のとき Ｍｉ＝０ すなわち、伝送線を介して伝送されるデータ量は、画像
データを全て伝送する従来例に比べて、大幅に削減され
る。

【０１０８】なおここでは、領域指定部２９０は、合成
画像生成に必要な領域ＡＮＥを含む矩形領域ＡＮ１を決
定し、この矩形領域ＡＮ１を示す座標情報を各選択部１
４０に伝送するものとしたが、本発明はこれに限られる
ものではない。例えば、図１７（ｂ）に示すように、画
像合成に必要な領域ＡＮＥを“１”、不必要な領域ＡＵ
Ｎを“０”として２値化し、これを水平走査線に従って
スキャンしたランレングスデータを伝送してもかまわな
い。この場合、各選択部１４０は、伝送されたランレン
グスデータに応じて、各カメラ画像のうち領域ＡＮＥの
画像データのみを画像処理部２０Ｂに伝送する。

【０１０９】また、第１の実施形態と同様に、画像処理
部２０Ｂが生成する合成画像の種類に応じて、各カメラ
画像の選択動作を切り替えることも可能である。この場
合、画像合成に用いるマッピングテーブルが切り替えら
れる毎に、領域指定部２６０が、画像合成に必要な領域
を示す領域データを算出し、このデータを伝送線１５を
介して各カメラの選択部１４０に伝送するように構成す
ればよい。

【０１１０】あるいは、各マッピングテーブルに対応し
た領域データを、領域指定部２９０に予めＲＯＭなどに
よって保持させておいてもよい。この場合には、切替信
号を解像度指定部２９０にも入力させ、マッピングテー
ブルの切替とともに、領域データの切替を領域指定部２
９０に実行させればよい。これにより、マッピングテー
ブルの切替のたびに領域データを求める処理が不要にな
る。

【０１１１】さらに、選択部１４０にメモリを設けて、
このメモリに、各マッピングテーブルに対応した領域デ
ータを予め記憶させておいてもよい。この場合には、画
像処理部２０Ｂは、マッピングテーブルの切替の毎に、
そのマッピングテーブルを表すＩＤのみを各選択部１４
０に伝送するだけですむ。あるいは、マッピングテーブ
ルを表すＩＤを画像処理部２０Ｂから伝送する代わり
に、切替信号をカメラ部１０Ｂの各選択部１４０にも入
力させて、マッピングテーブルの切替とともに、領域デ
ータの切替を各選択部１４０に実行させればよい。

【０１１２】なお、第２の実施形態を第３の実施形態と
併せて実現してもよい。すなわち、図１５に示す画像処
理部２０Ｂに、第２の実施形態に係る読出制御部２７０
および同期信号生成部２８０を設けて、カメラ画像の読
み出し順序を同様に制御してもかまわない。

【０１１３】なお、第１〜３の実施形態では、解像度指
定部２６０または領域指定部２９０を画像処理部２０，
２０Ａ，２０Ｂに設ける構成としたが、この代わりに、
解像度指定部２６０と同等の手段をカメラ部１０，１０
Ａに設けたり、領域指定部２９０と同等の手段をカメラ
部１０Ｂに設けたりしてもよい。

【０１１４】この場合、画像処理部２０，２０Ａ，２０
Ｂは、合成画像の種類を切り替える毎に、マッピングテ
ーブル２２０のデータを伝送アダプタ２５０から伝送線
１５を介してカメラ部１０，１０Ａ，１０Ｂに伝送すれ
ばよい。あるいは、カメラ部１０，１０Ａ，１０Ｂにメ
モリを設けて、このメモリに、各マッピングテーブルに
対応した解像度データまたは領域データを予め記憶させ
ておけば、画像処理部２０，２０Ａ，２０Ｂは、合成画
像の種類を切り替える毎に、用いるマッピングテーブル
を表すＩＤのみをカメラ部１０，１０Ａ，１０Ｂに伝送
するだけですむ。またこのとき、マッピングテーブルを
表すＩＤを画像処理部２０，２０Ａ，２０Ｂから伝送す
る代わりに、切替信号をカメラ部１０，１０Ａ，１０Ｂ
にも入力させて、解像度データまたは領域データの切替
を実行させてもよい。

【０１１５】さらに、第２の実施形態に係る読出制御部
２７０および同期信号生成部２８０も、解像度指定部２
６０や領域指定部２９０と同様に、カメラ部１０Ａに設
けてもかまわない。

【０１１６】また、第１〜第３の実施形態では、画像合
成のために全てのカメラのカメラ画像が用いられるもの
としたが、一部のカメラのみが画像合成に用いられる場
合もあり得る。このような場合には、解像度指定や領域
指定のようなデータ量削減態様の指定は、画像合成に用
いるその一部のカメラについてのみ行えばよい。

【０１１７】また、第１〜第３の実施形態では、画像デ
ータ削減手段としての圧縮部１２０や選択部１４０は、
全てのカメラについて設けられているものとしたが、一
部のカメラにのみ設けた構成としてもかまわない。すな
わち、圧縮部１２０や選択部１４０を有するカメラと、
圧縮部１２０や選択部１４０を有しないカメラとを併せ
て設けてもかまわない。この場合には、解像度指定や領
域指定のようなデータ量削減態様の指定は、圧縮部１２
０や選択部１４０を有し、かつ画像合成に用いるカメラ
についてのみ、行えばよい。

【０１１８】なお、以上の説明では、本発明に係る監視
システムは車両に適用するものとしたが、車両以外の移
動体、例えば飛行機や船舶などであっても、同様に適用
することができる。また、移動体以外の監視対象、例え
ば店舗、住居、ショールームなどにカメラを設置しても
よい。また、複数のカメラの設置位置や台数は、ここで
示したものに限られるものではない。

【０１１９】また、本発明に係る監視システムの機能
は、その全部または一部を、専用のハードウェアを用い
て実現してもかまわないし、ソフトウェアによって実現
してもかまわない。また、本発明に係る画像処理装置の
機能の全部または一部をコンピュータに実行させるため
のプログラムを格納した記録媒体や伝送媒体を、利用す
ることも可能である。

【０１２０】

【発明の効果】以上のように本発明によると、複数のカ
メラと画像処理部との間の伝送経路には、合成画像と各
カメラ画像との対応関係に従って指定された態様に応じ
て削減されたカメラ画像の画像データが、伝送される。
したがって、合成画像の品質を下げることなく、伝送さ
れるカメラ画像のデータ量を大幅に削減することができ
る。これにより、安価で本数の少ない伝送線や無線によ
って伝送経路を実現することが可能になり、車両への設
置や保守の作業が大幅に簡易化される。また、画像処理
部に必要となるバッファメモリの記憶容量も大幅に削減
される。画像データの削減は、画像合成に必要となる解
像度に応じた圧縮や、画像合成に必要となる領域以外の
画像データの削除によって、実現される。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る監視システムの
構成を示すブロック図である。

【図２】カメラ設置位置の一例を示す図である。

【図３】合成画像の仮想視点の位置の一例である。

【図４】カメラ画像と合成画像との対応関係の一例を示
す図である。

【図５】合成画像とカメラ画像との対応関係を概念的に
示す図である。

【図６】カメラ画像領域の解像度による分類の一例を示
す図である。

【図７】解像度データの算出手法の一例を説明するため
の図である。

【図８】本発明の第１の実施形態における圧縮部の内部
構成の一例を示す図である。

【図９】カメラ設置位置の他の例を示す図である。

【図１０】比較例として、ＬＰＦを有する画像処理部を
備えた構成を示す図である。

【図１１】解像度データの算出手法の他の例を説明する
ための図である。

【図１２】本発明の第２の実施形態に係る監視システム
の構成を示すブロック図である。

【図１３】本発明の第２の実施形態におけるカメラおよ
び圧縮部の内部構成の一例を示す図である。

【図１４】各カメラからの画像信号の読み出し順序の一
例を示す図である。

【図１５】本発明の第３の実施形態に係る監視システム
の構成を示すブロック図である。

【図１６】画像合成に必要な領域を示す図である。

【図１７】画像合成に必要な領域を指定する方法を示す
図である。

【図１８】本発明の第３の実施形態における選択部の内
部構成の一例を示す図である。

【図１９】従来の監視システムの構成を示す図である。

【符号の説明】

１０，１０Ａ，１０Ｂ カメラ部 １５ 伝送経路 ２０，２０Ａ，２０Ｂ 画像処理部 １１０，１１０Ａ カメラ １２０，１２０Ａ 圧縮部（画像データ削減手段） １４０ 選択部（画像データ削減手段） ２６０ 解像度指定部（削減態様指定手段） ２７０ 読出制御部 ２９０ 領域指定部（削減態様指定手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 登 一生 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (72)発明者 森村 淳 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平８−138057（ＪＰ，Ａ) 国際公開00／7373（ＷＯ，Ａ１) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/18 B60R 1/00 B60R 21/00 G08G 1/16 G06T 1/00

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 複数のカメラを有するカメラ部と、 前記カメラ部から出力されたカメラ画像の画像データを
   伝送する伝送経路と、 前記伝送経路を介して伝送されたカメラ画像の画像デー
   タを入力とし、これらの画像データから、合成画像を生
   成する画像処理部とを備え、 前記カメラ部は、 前記伝送経路に出力する画像データ量を削減するための
   画像データ削減手段を備え、 前記カメラ部または画像処理部は、 前記画像データ削減手段に対し、前記合成画像とカメラ
   画像との対応関係に従って、画像合成に用いるカメラ画
   像のデータ量削減態様を、指定する削減態様指定手段を
   備えていることを特徴とする監視システム。
2. 【請求項２】 請求項１記載の監視システムにおいて、 前記画像処理部は、 複数種類の合成画像が生成可能であり、かつ、生成する
   合成画像の種類を切り替え可能に構成されており、 前記削減態様指定手段は、 前記画像処理部が生成する合成画像の種類に応じて、指
   定するデータ量削減態様を、切り替えるものであること
   を特徴とする監視システム。
3. 【請求項３】 請求項１記載の監視システムにおいて、 前記削減態様指定手段は、 画像合成に用いるカメラ画像の各領域について、合成画
   像生成のために必要と想定される解像度をそれぞれ指定
   する解像度指定部を有し、 前記画像データ削減手段は、 画像合成に用いるカメラ画像の画像データを、前記解像
   度指定部によって指定された解像度に従って、圧縮する
   ことを特徴とする監視システム。
4. 【請求項４】 請求項３記載の監視システムにおいて、 前記画像データ削減手段は、 ＤＣＴ変換を用いて、画像データの圧縮を行うものであ
   ることを特徴とする監視システム。
5. 【請求項５】 請求項１記載の監視システムにおいて、 前記削減態様指定手段は、 画像合成に用いるカメラ画像について、合成画像生成の
   ために必要と想定される領域を指定する領域指定部を有
   し、 前記画像データ削減手段は、 画像合成に用いるカメラ画像の画像データから、前記領
   域指定部によって指定された領域以外の領域の画像デー
   タを、削除することを特徴とする監視システム。
6. 【請求項６】 請求項１記載の監視システムにおいて、 前記各カメラは、画像データの読み出し順序が、制御可
   能に構成されており、 前記カメラ部または画像処理部は、 画像合成に用いるカメラの画像データの読み出し順序
   を、前記削減態様指定手段によって指定されたデータ量
   削減態様に応じて、制御する読出制御部を備えているこ
   とを特徴とする監視システム。
7. 【請求項７】 請求項１記載の監視システムにおいて、 前記複数のカメラは、 車両に設置され、当該車両の周囲を撮影するものである
   ことを特徴とする監視システム。