JP5195841B2 - 車載カメラ装置および車両 - Google Patents

Description

本発明は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子を用いたカメラ装置と車両に関し、特に視点変換と低解像度画像の映像伝送信号への変換とをカメラ装置内で行うものである。

カメラモジュールを搭載した車載カメラ（装置）においては、ブラインドコーナー用として左右両方の画像を撮像するために２台必要であった。これを改善するため、最近では車載カメラ装置にプリズムを介して左右両方の画像を表示する方法が特許文献１（特開２００１−２１９７８３号公報）に開示されている。しかしながら、カメラモジュールを構成する固体撮像素子の画素数が２５万画素と少ないことがあり、画像の解像度に問題や、プリズムを介して撮像するカメラ装置であるため用途が限定されたり、カメラ装置の外形サイズが大きくなったりする等の問題があった。
また、特許文献２（特開２００４−２９７４０５号公報）においては、１台のカメラ装置で車両前方及び左右を撮像可能にした撮像装置（撮像システム）が開示されている。広角レンズとプリズムを組み合わせ、撮像素子をリニアモータ装置により移動させることで車両の走行状況に応じて適した画像を表示できるようにしている。
ただしモータを使うことにより制御が複雑になり、メカ駆動部を有するため高い信頼性が求められ高コスト、形状（大きさ）の増加が避けられない。

特開２００１−２１９７８３号公報 特開２００４−２９７４０５号公報 特開２００４−８０５４５号公報

従来、歪み補正の処理部をカメラ信号処理ＬＳＩに内蔵できなかった問題点は、既存の歪み補正方法では、あまりにも回路規模が膨大になってしまうという事である。
それに対して、特許文献３（特開２００４−８０５４５号公報）では、アルゴリズムとアーキテクチャの工夫により画質を維持しつつ適性回路規模まで縮小することを可能とすることが開示されている。
また、従来技術において解決が難しかった理由は、車載カメラの映像伝送はＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式が用いられていて、従来の車載カメラ装置からの映像出力（ＮＴＳＣ信号）を後段の処理ブロックにてＡＤ（アナログ・ディジタル）変換した後、ディジタル信号処理により歪み補正を行い、更にＤＡ（ディジタル・アナログ）変換してＮＴＳＣ方式のアナログ信号に変換を行いＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタに表示していたことである。
以上のような処理では一度アナログ信号のＮＴＳＣ方式に変換した後に歪み補正を行うため画質はＮＴＳＣ信号の帯域制限により劣化する。また、ＡＤ変換、ＤＡ変換を繰り返すことにより、画質が劣化してしまう問題点がある。

本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、高画質、高解像度の映像を出力するためには、４つのカメラ装置のそれぞれで画像（映像）の一部を切り出して視点変換し、視点変換後の低解像度画像を帯域制限された映像伝送信号により出力し、カメラ（装置）外部の処理装置で４つの低解像度画像を合成することにより、上述したＮＴＳＣ信号の帯域制限のための画像劣化は生じない車載カメラ装置と車両を提供することにある。

本発明の車載カメラ装置は、車両の前後左右にそれぞれ備え付けられ、前後左右の車両周囲の状況を撮影し、撮像で得られた高解像度画像の一部を切り出して視点変換し、視点変換後の低解像度画像を帯域制限された映像伝送信号によりそれぞれ出力する４つのカメラ装置と、前記車両内に載置されて前記４つのカメラ装置に接続され、前記４つのカメラ装置から出力される４つの前記低解像度画像を合成する電子制御ユニットと、前記車両内に載置され、前記電子制御ユニットの合成画像を表示するモニタと、を有し、前記電子制御ユニットは、前記車両の上面視外形を中心に画面の上下左右に対応した位置に前記前後左右の４つの低解像度画像が配置された１つの全方位画像を合成し、該全方位画像を前記モニタに出力することが可能に構成されている。

本発明における車載カメラ装置は、高画質を実現するとともに、カメラ装置の外部に設けられ、このカメラ装置の出力に接続された処理ブロックであるＥＣＵ（Ｅｌｅｃｔｒｉｃａｌ Ｃｏｎｔｒｏｌ Ｕｎｉｔ；電子制御ユニット）の負荷を軽減することができる。カメラ装置内で画像の視点を変換することができ、またカメラ装置からの画像を合成して鳥瞰図などが出力できる。
従来はカメラ装置からの出力をＮＴＳＣ方式等のアナログ信号として伝送し、後段の処理部（ＥＣＵ）でＡＤ変換を行った後、ディジタル信号としてカメラ装置の歪みを補正し、更にＤＡ変換しアナログ信号のＮＴＳＣ方式に変換していた。ＮＴＳＣ信号に帯域制限があることと画像データに関しＡＤ変換、ＤＡ変換を繰り返すことにより画質が劣化していたが、カメラ装置内部でしかもディジタル的に画像歪み補正することにより、高画質化を実現した。
たとえば、画像の切り出し場所の選択、ズーム範囲、視点の変換、ＰＡＮ／ＴＩＬＴ動作などのモードを外部端子で選択することができる。勿論、通信でモードを変更することも可能である。
また、カメラ装置の出力をアナログ信号出力に加えて、ディジタル信号出力にも対応するようにしたため種々のディジタル処理に適応できる。

カメラ装置のブロック構成を示した図である。 ＥＣＵ（電子制御ユニット）のブロック構成を示した図である。 カメラ信号処理部のブロック構成を示した図である。 歪み補正回路のブロック構成を示した図である。 カメラ装置を車両に搭載したときの撮像範囲と補正画像の鳥瞰図である。 車載カメラ装置の画像歪み補正した図である。 他の車載カメラ装置の画像歪み補正した図である。 他の車載カメラ装置の画像歪み補正した図である。 カメラ装置の電子的パン動作とチルト動作を説明するための図である。

図１に実施形態例であるカメラ装置（モジュール）１０のブロック構成を示す。
カメラ装置（モジュール）１０は、例えば、広角レンズ１１、センサ（受光素子）１２とカメラ信号処理部２０で構成されている。
また、カメラ信号処理部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算装置）２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、カメラ信号処理回路２３、歪み補正回路２４、ＮＴＳＣエンコーダ２５などで構成されている。
たとえば車載用カメラ装置としては、図１に示すカメラ装置（モジュール）１０が複数台搭載され、必要に応じて、車両の前方、左右あるいは後方などに任意に備えることができる。
カメラ信号処理部２０の（カメラ）信号処理回路２３は、ＣＤＳ（相関二重サンプリング）やプリアンプなどを有する前処理部、Ａ／Ｄ（アナログ／ディジタル）変換器、補正処理部（回路）、輝度信号処理部と色信号処理部などで構成される。

広角レンズ１１は、被写体（図示せず）の画像（光信号）をセンサ１２の撮像面上に投写する。このとき視野角がたとえば１８０度の場合、画像の周辺部で歪が生じる。そのため、補正する必要がある。
センサ１２は、例えば、ＣＣＤやＣＭＯＳなどからなり、従来の２５万画素に対して１３０万画素などの多画素で構成され、広角レンズ１１を透過した画像光信号を電気信号に変換し、画像信号としてＣＤＳ（相関二重サンプリング）やプリアンプなどを有するカメラ信号処理回路２３に供給する。
センサ１２を多画素にすることにより、画像の一部領域を拡大しても画質が劣化されることがなく、画像周辺部の歪み補正後の拡大表示するときに高解像度が得られ高画質を維持することができる。
歪み補正回路２４は、カメラ信号処理回路２３でディジタル的に信号処理されて出力された、Ｙ（輝度）信号ディジタルデータ（以後、輝度（Ｙ）データと称する）とクロマ（Ｃ；色）信号ディジタルデータ（以後、色（Ｃ）データと称する）が供給され、リアルタイムの画像歪み補正の信号処理が行われる。この動作に関する説明は後述する。
歪み補正回路２４から出力されたＹデータとＣ（色）データはたとえばＮＴＳＣエンコーダ２５に入力され、同期信号と合成されたアナログコンポジット信号またはコンポーネント信号が出力される。
これ以外に、歪み補正回路２４から、ディジタル信号のＹデータとＣデータを直接出力し、後段でディジタル信号処理できるようにしている。
また、カメラ装置（１０）内部のメモリに予め歪み補正データを記憶することができるため、コマンド通信を行うことは不必要となり、ディジタル信号処理装置（ＤＳＰ）の外部端子の選択で所望のモードに遷移することができる。カメラ装置（１０）にＣＰＵを備えているので、このＣＰＵによりコマンド通信できることは勿論のことである。

図２にＥＣＵ（Ｅｌｅｃｔｒｉｃａｌ Ｃｏｎｔｒｏｌ Ｕｎｉｔ；電子制御ユニット）５０のブロック構成を示す。このＥＣＵ５０はカメラ装置（モジュール）１０の外部に備えられ、カメラ装置１０の出力端子に接続されている。たとえば車載カメラ装置（システム）の場合、カメラ装置１０を車両のフロントに備え、ケーブルなどを介して車内に備えられたＥＣＵ５０に接続し、ＥＣＵ５０で処理された画像をモニタを介して表示するようにしている。
ＥＣＵ５０は、カメラインターフェース５１、画像ＡＳＩＣ５２、ＣＰＵ５４、画像メモリ５５、データメモリ５６、モニタインターフェース５３などで構成される。
カメラインターフェース５１は上述したカメラ装置１０の出力に接続され、また不図示の複数のカメラ装置（カメラ１〜カメラＮ）の出力とも接続できるようにされていて、複数の画像信号が任意に取り入れられる。
このカメラインターフェース５１の入力端子には、ディジタル信号の場合は図３に示すカメラ後処理ユニット１４０のディジタルＩ／Ｆ１４５からディジタルデータが供給され、アナログ信号の場合はＤ／Ａ変換器１４４でアナログ信号に変換されたアナログコンポジット信号が供給される。
そして、カメラ（装置）１，・・・，カメラＮからの画像が切り替えられ、または任意に複数台選択されて後段の画像ＡＳＩＣ５２に出力される。
画像ＡＳＩＣ５２で画像処理するとき、ＣＰＵ５４で制御して画像メモリ５５に画像データを記憶し、記憶した画像データあるいはその他のデータを読出し、またデータメモリ５６へのデータの書込み、読み出しも行う。画像ＡＳＩＣ５２は、ＣＰＵ５４の制御によりこれらのデータを用いて、画像の切り出し、合成、文字情報のスーパーインポーズなどの画像処理を行う。
例えば、カメラ（装置）１，・・・，カメラＮの中で選択されたカメラ１からの画像データがカメラインターフェース５１を介して画像ＡＳＩＣ５２に入力されると、ＣＰＵ５４でその入力された画像データを画像メモリ５５に記憶し、この画像データとデータメモリ５６から文字、または図形データを読み出し合成する。具体例として、車両のリアに備えつけられたカメラ装置で撮影した画像をカメラ信号処理部２０で歪み補正し画像メモリ５５に記憶し、この画像に対してデータメモリ５６から読み出した車両の後退（バック）軌跡のデータや文字情報を画像ＡＳＩＣ５２で合成して、モニタインターフェース５３を介して車内前方のモニタに表示する。したがって、車両の後退方向を車両内に備え付けられたモニタの表示画像で確認できるので車の安全運転に寄与できる。

図３にカメラ信号処理部２０（１００）に関する詳細なブロック図を示す。
カメラ信号処理部１００は、カメラ前処理ユニット１１０、歪み補正ユニット（回路）１３０、カメラ後処理ユニット１４０、同期分離ユニット１５０、クロック発生回路１６１、ＣＰＵ１６２などで構成されている。
ここでは歪み補正ユニット１３０はカメラ後処理ユニット１４０の周波数変換回路１４１の前に構成されているが後でもよく、その接続位置は図３の構成に限定されない。

センサ１２から出力された画素信号はサンプルホールドされて必要な画素信号が取り出され、この画素信号は適正なレベルに合わせるためにゲインコントロール（ＡＧＣ）が行われ、Ａ／Ｄ変換器に供給される。
不図示のＡ／Ｄ変換器は、画素信号を取り扱うため、１０〜１２Ｂｉｔｓ精度のものが採用され、アナログ信号からディジタル信号に変換し、ディジタル信号を後段のカメラ前処理ユニット１１０に出力する。

カメラ前処理ユニット１１０は、ディジタルＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ；自動利得制御）１１１、シェーディング補正１１２、画素の欠陥補正１１３、光学黒レベル検出１１４で構成される前処理部と、Ｙ−ＬＰＦ（輝度信号ローパスフィルタ）／クランプ１１５、輪郭補正１１６、ガンマ（γ）補正１１７で構成される輝度信号処理部と、Ｃ−ＬＰＦ（クロマローパスフィルタ）／クランプ（処理部）１１８、ＲＧＢ Ｍａｔｒｉｘ（ＲＧＢマトリックス）１１９、ホワイトバランス（ＷＢ）／ガンマ（γ）補正１２０、Ｈｕｅ／Ｇａｉｎ調整１２１、Ｃｒ／Ｃｂ（色差信号）生成（回路）１２２で構成される色信号処理部の３つのブロックで構成され、かつディジタル信号処理が行われる。以後各処理部で取り扱うディジタル信号を単にデータと称することとする。

前処理部では、光学黒レベルの検出、ディジタルゲイン調整（Ｄｉｇｉｔａｌ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、広角レンズ１１で生じるシェーディングの補正や遅延線を用いて画素欠陥の補正を行う。
輝度信号処理部はＹ（輝度）信号の垂直・水平（方向）輪郭補正（ＶＨアパーチャーコントロール）、Ｙ輝度信号と垂直・水平輪郭補正信号のＭｉｘ（混合；加算）処理、γ（ガンマ）補正などの種々の画像処理を行う。
色信号処理部は、色分離やクランプ処理、色信号のノイズや色偽信号の除去、ＲＧＢマトリックス（Ｍａｔｒｉｘ）処理、Ｒ，Ｇ，Ｂの各色の係数を可変するホワイトバランス（ＷＢ）調整、γ（ガンマ）補正、Ｒ−Ｇ／Ｂ−Ｇ変換、色偽信号の抑圧処理、Ｈｕｅ／Ｇａｉｎ調整、色差信号（Ｃｒ／Ｃｂ）の生成などを行う。
また、ＣＰＵ１６２により、カメラ前処理ユニット１１０のホワイトバランス調整、Ｈｕｅ／Ｇａｉｎ調整、ガンマ補正の設定、歪み補正回路１３０の画像の切り出し領域、メモリのコントロールやカメラ後処理ユニット１４０のアナログコンポジット信号出力とディジタルＲＧＢ信号（等）出力の切り替え、周波数変換の周波数設定などをバス（Ｂ１〜Ｂ７）を介して制御するようにしている。
ＣＰＵ１６２は、歪み補正回路１３０に制御信号を供給して、通常の画像の歪み補正の制御を行う以外に歪み補正した画像の任意の領域を切り出し、また任意の領域をズーム処理して拡大画像を生成して、歪み補正できるようにしている。さらに広角レンズで取り入れられた後、歪み補正された画像を基にＰＡＮ／ＴＩＬＴ処理を電子的に処理できるようにしている。このＣＰＵ１６２は入出力端子によりＵＡＲＴ通信や、メモリ（ＥＥＰＲＯＭ）やセンサＩ／Ｆとのデータの授受を行う。

図３に本発明の実施形態例であるカメラ前処理ユニット１１０、歪み補正回路１３０、カメラ後処理ユニット１４０のブロック構成を示す。カメラ前処理ユニット１１０において、光学黒レベル（ＯＢ；Ｏｐｔｉｃａｌ Ｂｌａｃｋ）検出器１１４はＡ／Ｄ変換器から出力されたデータ（ＡＤｏｕｔ）を用いて、入力データ（信号）の黒レベルを計算し、クランプレベルを計算するためのデータを出力する。
不図示の加算器で、入力データ（ＡＤｏｕｔ）から黒レベルを減算処理し、黒レベルを基準とした（黒レベルにクランプされた）新たな画素データを生成する。
ディジタルゲイン調整（ＡＧＣ）１１１は、加算器から出力された黒レベルにクランプされたデータのレベルをディジタル的に可変して明るさを調整している。
シェーディング補正１１２は、広角レンズ１１の口径により画像の中心部に対して周辺部は輝度の差（ムラ）があり、この輝度ムラを補正するようにしている。
欠陥補正１１３は、遅延線と演算（加算・減算）器を用いて、例えば入力データを遅延させ、この遅延した画素値を用いて欠陥画素の前後の平均化した値を求め、欠陥画素と置換して、画素の欠陥補正を行っている。

欠陥補正１１３で欠陥補正され、さらに輝度信号と色信号に分離されたデータはそれぞれ輝度信号処理部（Ｙ−ブロック）と色信号処理部（Ｃ−ブロック）に供給される。

輝度信号処理部（Ｙ−ブロック）において、Ｙ−ＬＰＦ／クランプ１１５は、輝度データを加算演算処理して、等価的にノイズを除去している。また輝度データの黒レベルを所定のレベルにクランプする。
輪郭補正（垂直・水平輪郭補正；ＶＨアパーチャーコントロール）１１６は、遅延素子と加算・減算処理する演算器を用いて、画像の水平方向の輪郭部を強調するパルスを生成し、また画像の垂直方向の輪郭部を強調するパルスも生成する。
不図示の輪郭補正加算器で、垂直・水平輪郭補正（１１６）から出力された水平方向の輪郭補正パルスと垂直方向の輪郭補正パルスと、Ｙ−ＬＰＦ（１１５）から供給された輝度データが供給され、加算処理がされて輪郭が強調された輝度データが出力される。
ガンマ（γ）補正１１７は、たとえば表示装置をＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ；受像管）とすると、このＣＲＴのγ特性が２．２であるので、あらかじめ撮像側で１／γ＝０．４５と入出力特性のカーブを補正して、ＣＲＴ側で画像の階調が正しく再現されるようにし、正しい再生画像が得られるようにしている。このガンマ補正された輝度データ（Ｙ）は後段の歪み補正回路１３０に出力される。

次に色信号処理部（Ｃ−ブロック）について説明する。
色信号処理部は、色（クロマ）信号ローパスフィルタ（Ｃ−ＬＰＦ）／クランプ１１８、ＲＧＢ Ｍａｔｒｉｘ（ＲＧＢマトリックス）１１９、ホワイトバランス（ＷＢ）調整／ガンマ（γ）補正１２０、Ｈｕｅ（色相制御）／Ｇａｉｎ（ゲイン）調整１２１、Ｃｒ／Ｃｂ生成（回路）１２２などで構成される。
欠陥補正１１３から出力された画像信号（データ）は色信号処理部のＣ−ＬＰＦ／クランプ１１８に供給される。
Ｃ−ＬＰＦ／クランプ１１８のクロマ信号ローパスフィルタ（Ｃ−ＬＰＦ）は、たとえばディジタルローパスフィルタで構成され、色分離された信号の偽色信号やノイズの除去を行っている。また色データはクランプ（１１８）で所定の値にクランプされる。
ＲＧＢ Ｍａｔｒｉｘ（ＲＧＢマトリックス）１１９は、Ｃ−ＬＰＦ／クランプ１１８からの出力データを演算処理してＲ，Ｇ，Ｂの３原色データを求め、ホワイトバランス（ＷＢ）調整／γ補正１２０に出力する。
ホワイトバランス（ＷＢ）調整（１２０）は、Ｒ（赤），Ｇ（緑），Ｂ（青）の色信号（データ）に所定の係数を掛けて、目標の色温度に対する白色を設定するようにしている。ホワイトバランスのとれた色データをガンマ補正（１２０）に出力し、そこで表示装置に応じた入出力特性に変換される。
Ｈｕｅ／Ｇａｉｎ調整１２１は、色相を可変しまた利得を可変して色データの調整を行う。
Ｃｒ／Ｃｂ生成１２２は、Ｈｕｅ／Ｇａｉｎ１２１で色相と利得が調整された色データからＲ−ＹとＢ−Ｙの色差信号を発生する。ここで、Ｃｒ＝Ｒ−Ｙ，Ｃｂ＝Ｂ−Ｙ（Ｙは輝度信号）である。この色差信号（Ｃ）が次段の歪み補正回路１３０に出力される。

色信号処理部に色データが入力されると、Ｃ−ＬＰＦ／クランプ１１８で、色データより高域の周波数成分を除去し、ノイズと色偽信号を除去する。
ノイズと色偽信号が除去された色データはＲＧＢマトリックス１１９でＲ，Ｇ，Ｂの３原色信号が求められ、ホワイトバランス（ＷＢ）調整／γ補正１２０でホワイトバランス調整し、ガンマ補正（１２０）で色信号に関するガンマ（γ）補正を行う。またホワイトバランス（ＷＢ）調整（１２０）から出力されたデータは不図示の色信号オプティカルディテクタに出力され、そこで色データのレベルが検出される。この検出された色データを不図示のＡＥ（自動露光）／ＡＷＢ（自動ホワイトバランス調整）に供給してコンピュータまたは演算装置でソフトウエアー処理により、色信号（データ）に対する色温度を求め、また目標（白）色温度に対する各色の補正係数を計算し、そのデータをホワイトバランス（ＷＢ）調整（１２０）にフィードバックして自動的にホワイトバランスの調整を行う。

ホワイトバランス調整された色データがガンマ補正され、さらにＨｕｅ／Ｇａｉｎ調整される。次に、不図示のＲ−Ｇ／Ｂ−Ｇ変換回路でＲ，Ｇ，Ｂの色データからＲ−Ｇ／Ｂ−Ｇの変換を行い、また色偽信号の抑圧処理を行う。そして、Ｃｒ／Ｃｂ生成１２２でＲ−Ｇ／Ｂ−Ｇ変換で発生されたＲ−ＧとＢ−Ｇデータを用いてＣｒ＝Ｒ−ＹとＣｂ＝Ｂ−Ｙの色差信号の色データを生成する。
輝度Ｙデータは、
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・（１）
と表されるので、
Ｃｒ＝Ｒ−Ｙ＝０．７０（Ｒ−Ｇ）−０．１１（Ｂ−Ｇ）・・・（２）
Ｃｂ＝Ｂ−Ｙ＝０．８９（Ｂ−Ｇ）−０．３０（Ｒ−Ｇ）・・・（３）
と変形できる。すなわち、Ｃｒ，Ｃｂの色差信号は、Ｒ−ＧとＢ−Ｇの色データを用いて式（２），（３）から求めることができる。そして、この色差信号が輝度信号Ｙと共に歪み補正回路１３０に出力される。

次に、図２の歪み補正回路１３０のブロック構成を図４に示す。
歪み補正回路２００は、水平方向変換回路２０１、垂直方向変換回路２０２、水平処理用の画像メモリ（フィールドメモリ）２０３、歪み補正パラメータデコーダ２０５、歪み補正パラメータエンコーダ２０６、垂直処理用の画像メモリ（ＦＩＦＯ；ファイフォメモリ）２０４、垂直方向の歪み補正パラメータデコーダ２０７、垂直方向の歪み補正パラメータエンコーダ２０８などで構成されている。
水平方向変換回路２０１は、不図示のデータ書込み部、データ取得部、補完位相・入力データ座標計算部、補正係数生成部、データ補間計算部や、ラインメモリと、ラインメモリの出力ノードに直列接続されたレジスタと、各レジスタから出力されたデータと対応する補間係数とを乗算する乗算回路と、この乗算回路により得られたデータを加算する加算回路などで構成される。
水平方向変換回路２０１に入力された画像データは書き込み制御信号と共に画像メモリ（フィールドメモリ）２０３へ書き込まれる。
読み出し制御信号を水平処理用の画像メモリ２０３へ供給することにより、歪み補正パラメータデコーダ２０５から供給されるｘ方向用の補正量パラメータ（Ｘｍ）に応じて、水平方向に並ぶ画像データを補間用データ（補正前の画像データ）として取得する。
そして、補間係数生成部から供給される補間係数を用いて水平方向の１次元補間演算を実行し、画像メモリ２０４にこの演算結果が格納される。
画像メモリ（フィールドメモリ）２０３は、水平方向変換回路２０１を介して輝度データや色データで構成される入力画素が供給され、水平方向の歪みを補正するために用いられる。
画像メモリ（ＦＩＦＯメモリ）２０４は、水平方向の歪み補正された画像データが供給され、垂直方向変換回路２０２で歪み補正演算するために用いられる。この画像メモリ２０４は垂直方向の歪みを補正するために必要な最小限ライン数に渡るデータを記憶できる容量が必要であり、また後段に設けられるバッファ容量に供給される出力同期信号の周波数に応じて決定される。

歪み補正パラメータデコーダ２０５（２０７）は、補正パラメータの水平方向変換回路２０１への読出しに必要な格子を決定し、水平方向変換回路２０１から供給された座標をこの格子に応じて正規化する。この格子を用いて歪み補正パラメータエンコーダ２０６から供給された補正ベクトルを水平方向変換回路２０１（垂直方向変換回路２０２）へ供給する。
歪み補正パラメータエンコーダ２０６（２０８）は、広角レンズ１１の歪曲収差に関するデータなどから、全画素の各位置に応じた補正ベクトルを予め計算する。
また、全画素点の補正ベクトルを区分毎に分割するための格子線を決定する。格子分割方法には、所定の領域をｘ方向及びｙ方向において均等に分割する均等分割方法と、各格子の幅が２のべき乗となるように分割するべき乗分割方法と、最適分割位置において分割する最適分割方法とがある。また、ユーザインターフェースから格子分割方法を指定するとともに格子分割数を指定し、指定された分割方法に従って表示画像を指定された分割数に分割する。
垂直方向変換回路２０２、歪み補正パラメータデコーダ２０７や歪み補正パラメータエンコーダ２０８も水平方向に関する機能と同様である。

歪み補正回路２００の動作について説明する。
水平方向変換回路２０１へ入力された画像データは、水平方向変換回路２０１のデータ書き込み制御部によって書き込み制御信号と共に画像メモリ（フィールドメモリ）２０３へ供給され、この書き込み制御信号に応じて画像メモリ２０３に書き込まれる。
このとき、水平方向変換回路２０１のデータ取得部は読み出し制御信号を水平処理用の画像メモリ２０３へ供給することにより、歪み補正パラメータデコーダ２０５から供給されるｘ方向用の補正量パラメータ（Ｘｍ）に応じて、画像メモリ２０３から水平方向に並ぶ画像データを補間用データ（補正前の画像データ）として取得する。
そして、水平方向変換回路２０１のデータ補間計算部で補間係数生成部から供給された補間係数を用いて水平方向の１次元補間演算を実行し、垂直方向変換回路２０２を介して垂直処理用の画像メモリ２０４にこの演算結果を格納する。
たとえば補正後の画像において、ｘ座標が２．０の点に位置するデータの補正量パラメータＸｍを１．２５とする。その結果、補正前の画像における該点の対応点のｘ座標は、この２．０に補正量パラメータＸｍを加算して３．２５と求められる。このとき、ｘ座標（３．２５）の整数成分（３）が補正前の画像における該データのアドレスを示し、０．２５が補間位相を示す。従って、補正後の画像におけるｘ座標が２．０の点の輝度信号は、補正前の画像において３近傍のｘアドレスを有する複数の連続データを対象とし、水平補間フィルタの位相を０．２５とした１次元補間演算により求められることになる。

次に、垂直方向変換部２０２では、データ取得部が歪み補正パラメータデコーダ２０７から供給されるｙ方向用の補正量パラメータＹｍに応じて、垂直処理用の画像メモリ（ＦＩＦＯメモリ）２０４から垂直方向に並ぶ画像データを補間用データ（補正前の画像データ）として取得する。そして、補間係数生成部から供給された補間係数を用いて垂直方向の１次元補間演算を実行し、出力データバッファを介して出力同期信号に応じてこの演算結果を出力する。
なお、上記のように、水平方向変換回路２０１及び垂直方向変換回路２０２により実行される補間演算は１次元補間演算の簡易な回路により実現されるため、２次元補間演算では難しい高次タップのフィルタによる演算が容易に実現できることから、より高画質な画像を得ることができる。

すなわち、歪みを持った原画像を補正する歪み補正回路は、水平方向の歪み補正で、原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて原画像に対し１次元補間演算を施すことにより、原画像の水平方向における歪みを補正する。
また垂直方向歪み補正は水平方向の歪み補正により得られた画像を用いて、原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた１次元補間演算を施すことにより、原画像の垂直方向における歪みを補正するようにした。
したがって、歪み補正回路は、水平方向の歪み補正では原画像の水平方向に１次元補間演算を施し、垂直補正手段は該原画像の垂直方向に１次元補間演算を施すため、低コストでリアルタイムに原画像の歪みを補正することができる。

また、上記においては、水平方向の１次元補間演算を実行した後に垂直方向の１次元補間演算を実行する実施の形態を説明したが、逆に垂直方向の１次元補間演算を先に実行し、その後に水平方向の１次元補間演算を実行するようにしても良い。

次に、図３に示すカメラ後処理ユニット１４０は周波数変換回路１４１、フィルタ（Ｆｉｌｔｅｒ）１４２、ディジタルエンコーダ１４３、Ｄ／Ａ（ディジタル／アナログ）変換器１４４とディジタルＩ／Ｆ（インターフェース）１４５などで構成されている。
周波数変換回路１４１は、歪み補正回路１３０などで信号処理に用いられた動作クロックを後段の映像信号の動作クロックに変換する。たとえばＮＴＳＣ信号の場合、歪み補正回路１３０で演算処理動作に用いられた動作クロックを４ｆｓｃ（クロマ周波数の４倍のクロック周波数）に変換し、後段の画像処理と同じクロック周波数にしてＥＣＵなどのシステムに適応するようにしている。
フィルタ（Ｆｉｌｔｅｒ）１４２は、周波数変換回路１４１で周波数を可変（下げた）したので、その際に生じる高調波成分を除去する。
ディジタルエンコーダ１４３は、輝度データと色データ（色差信号）を用いて、同期信号などを付加してたとえばＮＴＳＣ方式のディジタルコンポジット信号を生成する。勿論、ＰＡＬ、ＳＥＣＡＭ方式の映像信号にエンコードしても良い。
Ｄ／Ａ（ディジタル／アナログ）変換器１４４は、ディジタルコンポジット信号をアナログコンポジット信号に変換して、アナログ表示装置と接続して画像表できるようにしている。
ディジタルＩ／Ｆ（インターフェース）１４５は、ディジタルＲ，Ｇ，Ｂデータなどを出力し、後段でディジタル信号処理などを行うためのインターフェースを行う。
歪み補正された輝度データと色データが後処理ユニットに供給されると、ＣＰＵ１６２で設定されたクロック周波数を用いて、ＥＣＵに出力するための後処理が行われる。

次にカメラ後処理ユニットの動作を説明する。ＣＰＵ１６２からバスＢ７，Ｂ１，Ｂ６などを介して制御信号（またはデータ）が周波数変換回路１４１に供給されると、その制御信号（またはデータ）に応じて入力画像データ（Ｙ、Ｃデータ）の駆動（クロック）周波数が設定され、入力された輝度データや色データが新たに設定されたクロックで駆動される。画像データを周波数変換することによって発生した基本クロック周波数以外のたとえば高調波がシステムに対する妨害波となりシステムに悪影響を及ぼすのでフィルタ１４２で除去する。
ディジタル輝度データと色データがディジタルエンコーダ１４３で演算処理され、同期信号などを付加したコンポジットディジタル信号が発生し、Ｄ／Ａ変換器１４４でアナログ信号に変換されてたとえば後段のＥＣＵなどに出力される。また、フィルタ１４２から出力されるディジタル輝度データと色データはディジタルＩ／Ｆ（インターフェース）を介してディジタルＲ（赤），Ｇ（緑），Ｂ（青）データや、その他ディジタル信号Ｙ／Ｃｒ／Ｃｂ（ＩＴＵ−ＲＢＴ６５６／６０１標準フォーマット）が出力される。

次に、他の実施形態例である車載カメラ装置（システム）３００を図５に示す。
図５（Ａ）の車載カメラ装置３００は、車両３０１のフロント（前方）にカメラ（装置）１、左右にカメラ２，３さらにリア（後方）にカメラ４が備えてある。
カメラ（装置）１の出力は車両３０１の内部、たとえば運転席前部に備え付けられたＥＣＵ３０２（５０）のカメラインターフェース５０１入力に接続され、またこれ以外のカメラ２〜カメラ４も同様にＥＣＵ３０２のカメラインターフェース５０１に接続される。
カメラ（装置）１〜カメラ４は、たとえば図１に示した構成であって、広角レンズ１１を用い、たとえば１８０度の視野角の映像（画像）を取り込み、この広角レンズ１１による画像歪みを補正してＥＣＵ３０２に出力する。
車両３０１のフロントに備え付けられたカメラ（装置）１の画像取り込み角度はａで示す範囲であり、広角のため画像の周辺部は歪む。同様にカメラ２はｂの角度、カメラ３はｃの角度そしてカメラ４はｄの角度の範囲の画像をそれぞれ取り込み、これらの取り込んだ画像をＥＣＵ３０２に出力する。この結果、車両３０１の前方、左右、後方の３６０度（全方位）の画像をＥＣＵに３０２取り込むことができる。広角レンズ１１を用いているため、（狭角）レンズあるいはプリズムなどを機械的に駆動して移動、回転などを行う必要がない。
各カメラ（装置）１〜カメラ４は上述したように歪み補正回路を内蔵したので、画像の周辺領域などを補正し正視した場合の画像が得られる。この歪み補正した画像がＥＣＵ３０２に転送され、必要に応じてこれらの画像を選択して、またはこれらの画像全てを用いて合成する。そして、この合成された画像を車両内のモニタに表示する。

図５（Ｂ）に各カメラ（装置）１〜カメラ４で撮影した画像を車両内のモニタに表示した例を示す。図５（Ｂ）の補正画像１は図５（Ａ）に示したカメラ１で撮影した画像に対応し、広角レンズ１１による画像歪みが補正された補正後の画像が表示され、以下同様にカメラ２は補正画像２、カメラ３は補正画像３そしてカメラ４は補正画像４にそれぞれ対応している。
このように、車両３０１を基準に全方位の画像をあたかも正面からみたようにモニタで１度に表示する、いわゆる鳥瞰図を生成することにより全方位を確認することができ、しかも従来画像の周辺部が歪んで見にくいことを解消できる。また歪み補正回路を各カメラ（装置）１〜カメラ４に内蔵し、カメラ装置の外部のＥＣＵ３０２内に構成しないので、ＥＣＵ回路構成を簡素にすることができこれに伴ってコストを削減することができる。

図６に他の実施形態例を示す。従来２台カメラ装置を用いてあるいは１台のカメラ装置でプリズムを用いて車両の前方（左前、右前）を表示していた。これに対して、上述したように広角レンズと歪み補正回路を有する１台のカメラ装置を車両のフロントに備えた例を図６に示す。
カメラ装置で撮影された歪み補正する前の画像を模式的に図６（Ａ）に示す。広角レンズを用いているため、破線で囲んである画像の左右周辺領域ｅとｆは歪んでいる。この領域ｅ，ｆについてカメラ装置内に設けた信号処理部の歪み補正回路で画像ひずみ補正して、それぞれの画像を抜き出し、ＥＣＵで合成または別々に表示した例を図６（Ｂ），（Ｃ）に示す。
このように１台のカメラ装置で車両の左右前方をあたかも正視した画像として表示することができる。また、センサ１２にたとえば１３０万画素の多画素のもの用いることにより撮影した画像の一部領域を拡大表示しても画素数が多いと画質が劣化することはない。その結果、従来見にくかった領域をさらに見易くすることができる。

図７に他の実施形態例である車載カメラ装置について示す。
図７の車載カメラ装置は、車両の左（右）サイドに１台のカメラ装置が設置され、しかもカメラ（装置）にズーム機構と歪み補正の機能を有している。
図７（Ａ）はズームなしのとき広角レンズから取り込んだ画像を示す。図７（Ａ）の左周辺部（リア；左後方）とフロント（左前方）の画像は歪んでいて、しかも対象物である車両の形状などが小さく表示されている。図７（Ｂ）では、広角レンズを用いて、リア（左後）方向にズームして左周辺部の車両の位置を拡大し、その画像を歪み補正した図である。また図７（Ｃ）も同様に、車両の左前方（フロント）をズーム拡大して撮影した画像の一部を歪み補正した図である。
図７（Ａ）でリア方向の小さくしかも左周辺部の歪んで見にくかった画像が、図７（Ｂ）に示す拡大されさらに画像歪が補正された画像として表示されている。そのため、対象物や距離間をズーム前の画像と比較してより正確に把握できる。
また、図７（Ｃ）に示すように、車両の左前方のフロント部が大きく、歪みのない画像が得られるので対象物をより正確に把握することができ、また車両と対象物間の距離を従来と比較してより正確に把握することができる。
このように、カメラに広角レンズとズーム機構を備えかつ画像歪み補正を備えることにより、たとえば車載とした場合、１台のカメラで車両の前後を正確に撮像できる。

図８に他の実施形態例である車載カメラ装置の例を示す。
車両のリアに広角レンズと歪み補正処理機能を有するカメラ装置を取り付けたときの画像例を示す。図８（Ａ）にカメラ装置で撮影した車両の後方画像を歪み補正（変換）した例を示す。これに対して、後方画像の歪み変換で視点を変換した場合の画像を図８（Ｂ）に示す。
図８（Ｂ）に示すように、画像歪み補正処理処のとき画像の視点を変換することにより、任意の方向から見た画像が得られる。その結果、運転者の後方に対する認知性を１台のカメラ装置で高めることができる。

図９に他の実施形態例を示す。広角レンズと画像歪み補正回路を有するカメラ装置（システム）において、広角レンズで撮影した画像を歪み補正回路で補正した画像の全体を図９に示す。
画像の一部Ｎ１を所定時間表示し、次に領域Ｎ２を所定時間表示し、・・・、最後に領域Ｎｎを表示する。表示部Ｎ１とＮ２、Ｎ２とＮ３、・・・、Ｎｎ−１とＮｎ間の間隔とそれぞれの表示部の表示時間を調整して電子的にＰＡＮ（パン；回転）動作を滑らかに行うことができる。また同様に、垂直方向にも、電子的にＴＩＬＴ（チルト）動作を行うことができる。

さらに、他の実施形態例として従来の監視カメラ装置等の分野において、広角レンズと歪み補正機能を備えたカメラ装置を用いると、広角に撮影した画像の歪みを補正して出力することができる。また、広角レンズを用いても画像を歪み補正してモニタに表示するため、カメラ装置を回転、移動などメカ的に駆動する必要がなくコストを削減できる。

以上のべたように、本発明の画像処理回路およびこれを用いたカメラ装置と車載カメラ装置は、高画質を実現するとともにカメラ装置後段の処理ブロックであるＥＣＵの負荷を軽減することができる。
歪み補正をカメラ装置のＤＳＰ（ディジタル信号処理装置）で行うことにより画像の視点を変換した画像を表示し、またカメラ装置外部のＥＣＵで複数のカメラ装置から出力された歪み補正画像を任意に取り入れ鳥瞰図などの合成画像を表示することができる。
従来はカメラ装置からの出力をＮＴＳＣ方式等のアナログ信号として伝送し後段の処理部（ＥＣＵ部）でＡＤ変換を行った後、ディジタル信号として画像の歪みを補正し、更にＤＡ変換しＮＴＳＣ方式に変換していたため、ＮＴＳＣ信号に帯域制限があることとＡＤ変換、ＤＡ変換を繰り返すことにより画像の劣化があったが、本発明はカメラ装置内部でしかもディジタル的に画像歪み補正することにより、高画質化を実現した。
カメラ装置内部のメモリに予め歪み補正データを記憶することができるため、コマンド通信を行うことは不必要となり、ＤＳＰの外部端子の選択で所望のモードに遷移することができる。
また、カメラ（装置）出力を、アナログ信号出力に加えて、ディジタル信号出力にも対応するようにしたため種々のディジタル処理領域に適応できる。

１０…カメラ装置、１１…広角レンズ、１２…センサ（受光素子）、２０…カメラ信号処理部、２３，１００…カメラ信号処理回路、２４，１３０，２００…歪み補正回路、２５…ＮＴＳＣエンコーダ、５０…ＥＣＵ（電子制御ユニット）、５１…カメラインターフェース、５２…画像ＡＳＩＣ、５３…モニタインターフェース、５５，２０３，２０４…画像メモリ、５６…データメモリ、１１０…カメラ前処理ユニット、１１１…ディジタルＡＧＣ（ゲイン調整）、１１２…シェーディング補正、１１３…欠陥補正、１１４…黒レベル検出、１１５…輝度信号ローパスフィルタ（Ｙ−ＬＰＦ）／クランプ、１１６…輪郭補正、１１７…ガンマ（γ）補正、１１８…Ｃ−ＬＰＦ／クランプ処理部、１１９…ＲＧＢマトリックス、１２０…ホワイトバランス（ＷＢ）調整／γ補正、１２１…Ｈｕｅ／Ｇａｉｎ調整、１２２…Ｃｒ／Ｃｂ（色差信号）生成（回路）、２０１…水平方向変換回路、２０２…垂直方向変換回路、２０５，２０７…歪み補正パラメータデコーダ、２０６，２０８…歪み補正パラメータエンコーダ。

Claims (12)

1. 車両の前後左右にそれぞれ備え付けられ、前後左右の車両周囲の状況を撮影し、撮像で得られた高解像度画像の一部を切り出して視点変換し、視点変換後の低解像度画像を帯域制限された映像伝送信号によりそれぞれ出力する４つのカメラ装置と、
   前記車両内に載置されて前記４つのカメラ装置に接続され、前記４つのカメラ装置から出力される４つの前記低解像度画像を合成する電子制御ユニットと、
   前記車両内に載置され、前記電子制御ユニットの合成画像を表示するモニタと、
   を有し、
   前記電子制御ユニットは、前記車両の上面視外形を中心に画面の上下左右に対応した位置に前記前後左右の４つの低解像度画像が配置された１つの全方位画像を合成し、該全方位画像を前記モニタに出力することが可能に構成されている、
   車載カメラ装置。
2. 前記４つのカメラ装置の各々は、
   光信号を入力する広角レンズと、
   前記広角レンズを介して入力された光信号を電気信号に変換するセンサと、
   前記電気信号からなる入力画像の信号に対し、前記広角レンズによる画像歪みの補正と、前記入力画像の視点変換を行う画像処理回路と、
   前記歪み補正と前記視点変換が行われた入力画像を前記映像伝送信号にエンコードし、該映像伝送信号を前記電子制御ユニットへ出力するエンコーダと、
   を有する請求項１に記載の車載カメラ装置。
3. 前記４つのカメラ装置の各々は、
   複数の歪み補正データを記憶する記憶装置を有し、
   前記画像処理回路の制御端子の選択によって前記入力画像の視点変換を伴う処理の処理モードを可変する、
   請求項２記載の車載カメラ装置。
4. 前記４つのカメラ装置の各々は、歪み補正された画像の任意の領域を電子的に左右または上下に移動させて左右または上下の回転画像を発生することが可能に構成された、
   請求項３に記載の車載カメラ装置。
5. 前記４つのカメラ装置の各々は、エンコード前の画像信号を出力することが可能に構成された、
   請求項２から４の何れか一項に記載の車載カメラ装置。
6. 前記画像処理回路は歪み補正手段を有し、
   前記歪み補正手段は、
   前記入力画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて前記入力画像に対し１次元補間演算を施すことにより、前記入力画像の水平方向における歪みを補正し、
   該補正により得られた画像に対し、前記入力画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた１次元補間演算を施すことにより、前記入力画像の垂直方向における歪みを補正する、
   請求項５に記載の車載カメラ装置。
7. 車体と、
   前記車体の前後左右にそれぞれ備え付けられ、前後左右の車両周囲の状況を撮影し、撮像で得られた高解像度画像の一部を切り出して視点変換し、視点変換後の低解像度画像を帯域制限された映像伝送信号によりそれぞれ出力する４つのカメラ装置と、
   前記車体内に載置されて前記４つのカメラ装置に接続され、前記４つのカメラ装置から出力される４つの前記低解像度画像を合成する電子制御ユニットと、
   前記車体内に載置され、前記電子制御ユニットの合成画像を表示するモニタと、
   を有し、
   前記電子制御ユニットは、前記車体の上面視外形を中心に画面の上下左右に対応した位置に前記前後左右の４つの低解像度画像が配置された１つの全方位画像を合成し、該全方位画像を前記モニタに出力することが可能に構成されている、
   車両。
8. 前記４つのカメラ装置の各々は、
   光信号を入力する広角レンズと、
   前記広角レンズを介して入力された光信号を電気信号に変換するセンサと、
   前記電気信号からなる入力画像の信号に対し、前記広角レンズによる画像歪みの補正と、前記入力画像の視点変換を行う画像処理回路と、
   前記歪み補正と前記視点変換が行われた入力画像を前記映像伝送信号にエンコードし、該映像伝送信号を前記電子制御ユニットへ出力するエンコーダと、
   を有する請求項７に記載の車両。
9. 前記４つのカメラ装置の各々は、
   複数の歪み補正データを記憶する記憶装置を有し、
   前記画像処理回路の制御端子の選択によって前記入力画像の視点変換を伴う処理の処理モードを可変する、
   請求項８に記載の車両。
10. 前記４つのカメラ装置の各々は、歪み補正された画像の任意の領域を電子的に左右または上下に移動させて左右または上下の回転画像を発生することが可能に構成された、
    請求項９に記載の車両。
11. 前記４つのカメラ装置の各々は、エンコード前の画像信号を出力することが可能に構成された、
    請求項８から１０の何れか一項に記載の車両。
12. 前記画像処理回路は歪み補正手段を有し、
    前記歪み補正手段は、
    前記入力画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて前記入力画像に対し１次元補間演算を施すことにより、前記入力画像の水平方向における歪みを補正し、
    該補正により得られた画像に対し、前記入力画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた１次元補間演算を施すことにより、前記入力画像の垂直方向における歪みを補正する、
    請求項１１に記載の車両。

Images