JP4862321B2 - 車載カメラ装置 - Google Patents
車載カメラ装置 Download PDFInfo
- Publication number
- JP4862321B2 JP4862321B2 JP2005250098A JP2005250098A JP4862321B2 JP 4862321 B2 JP4862321 B2 JP 4862321B2 JP 2005250098 A JP2005250098 A JP 2005250098A JP 2005250098 A JP2005250098 A JP 2005250098A JP 4862321 B2 JP4862321 B2 JP 4862321B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- distortion
- camera
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 claims description 132
- 238000012545 processing Methods 0.000 claims description 80
- 238000006243 chemical reaction Methods 0.000 claims description 51
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 239000002131 composite material Substances 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 238000003705 background correction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
また、特許文献2(特開2004−297405号公報)においては、1台のカメラ装置で車両前方及び左右を撮像可能にした撮像装置(撮像システム)が開示されている。広角レンズとプリズムを組み合わせ、撮像素子をリニアモータ装置により移動させることで車両の走行状況に応じて適した画像を表示できるようにしている。
ただしモータを使うことにより制御が複雑になり、メカ駆動部を有するため高い信頼性が求められ高コスト、形状(大きさ)の増加が避けられない。
それに対して、特許文献3(特開2004−80545号公報)では、アルゴリズムとアーキテクチャの工夫により画質を維持しつつ適性回路規模まで縮小することを可能とすることが開示されている。
また、従来技術において解決が難しかった理由は、車載カメラの映像伝送はNTSC(National Television System Committee)方式が用いられていて、従来の車載カメラ装置からの映像出力(NTSC信号)を後段の処理ブロックにてAD(アナログ・ディジタル)変換した後、ディジタル信号処理により歪み補正を行い、更にDA(ディジタル・アナログ)変換してNTSC方式のアナログ信号に変換を行いLCD(Liquid Crystal Display)モニタに表示していたことである。
以上のような処理では一度アナログ信号のNTSC方式に変換した後に歪み補正を行うため画質はNTSC信号の帯域制限により劣化する。また、AD変換、DA変換を繰り返すことにより、画質が劣化してしまう問題点がある。
画像の歪み補正をカメラ装置内のDSP(Digital Signal Processor;ディジタル信号処理装置)で行うことにより、画像の視点を変換することができ、またカメラ装置からの歪み補正された画像を合成して鳥瞰図などが出力できる。
従来はカメラ装置からの出力をNTSC方式等のアナログ信号として伝送し、後段の処理部(ECU)でAD変換を行った後、ディジタル信号としてカメラ装置の歪みを補正し、更にDA変換しアナログ信号のNTSC方式に変換していた。NTSC信号に帯域制限があることと画像データに関しAD変換、DA変換を繰り返すことにより画質が劣化していたが、本発明では、カメラ装置内部でしかもディジタル的に画像歪み補正することにより、高画質化を実現した。
カメラ装置内部のメモリに予め歪み補正データを記憶することができるため、コマンド通信を行うことは不必要となり、DSPの外部端子の選択で所望のモードに遷移することができる。たとえば、画像の切り出し場所の選択、ズーム範囲、視点の変換、PAN/TILT動作などのモードを外部端子で選択することができる。勿論、通信でモードを変更することも可能である。
また、カメラ装置の出力をアナログ信号出力に加えて、ディジタル信号出力にも対応するようにしたため種々のディジタル処理に適応できる。
カメラ装置(モジュール)10は、例えば、広角レンズ11、センサ(受光素子)12とカメラ信号処理部20で構成されている。
また、カメラ信号処理部20は、CPU(Central Processing Unit;中央演算装置)21、ROM(Read Only Memory)22、カメラ信号処理回路23、歪み補正回路24、NTSCエンコーダ25などで構成されている。
たとえば車載用カメラ装置としては、図1に示すカメラ装置(モジュール)10が複数台搭載され、必要に応じて、車両の前方、左右あるいは後方などに任意に備えることができる。
カメラ信号処理部20の(カメラ)信号処理回路23は、CDS(相関二重サンプリング)やプリアンプなどを有する前処理部、A/D(アナログ/ディジタル)変換器、補正処理部(回路)、輝度信号処理部と色信号処理部などで構成される。
センサ12は、例えば、CCDやCMOSなどからなり、従来の25万画素に対して130万画素などの多画素で構成され、広角レンズ11を透過した画像光信号を電気信号に変換し、画像信号としてCDS(相関二重サンプリング)やプリアンプなどを有するカメラ信号処理回路23に供給する。
センサ12を多画素にすることにより、画像の一部領域を拡大しても画質が劣化されることがなく、画像周辺部の歪み補正後の拡大表示するときに高解像度が得られ高画質を維持することができる。
歪み補正回路24は、カメラ信号処理回路23でディジタル的に信号処理されて出力された、Y(輝度)信号ディジタルデータ(以後、輝度(Y)データと称する)とクロマ(C;色)信号ディジタルデータ(以後、色(C)データと称する)が供給され、リアルタイムの画像歪み補正の信号処理が行われる。この動作に関する説明は後述する。
歪み補正回路24から出力されたYデータとC(色)データはたとえばNTSCエンコーダ25に入力され、同期信号と合成されたアナログコンポジット信号またはコンポーネント信号が出力される。
これ以外に、歪み補正回路24から、ディジタル信号のYデータとCデータを直接出力し、後段でディジタル信号処理できるようにしている。
また、カメラ装置(10)内部のメモリに予め歪み補正データを記憶することができるため、コマンド通信を行うことは不必要となり、ディジタル信号処理装置(DSP)の外部端子の選択で所望のモードに遷移することができる。カメラ装置(10)にCPUを備えているので、このCPUによりコマンド通信できることは勿論のことである。
ECU50は、カメラインターフェース51、画像ASIC52、CPU54、画像メモリ55、データメモリ56、モニタインターフェース53などで構成される。
カメラインターフェース51は上述したカメラ装置10の出力に接続され、また不図示の複数のカメラ装置(カメラ1〜カメラN)の出力とも接続できるようにされていて、複数の画像信号が任意に取り入れられる。
このカメラインターフェース51の入力端子には、ディジタル信号の場合は図3に示すカメラ後処理ユニット140のディジタルI/F145からディジタルデータが供給され、アナログ信号の場合はD/A変換器144でアナログ信号に変換されたアナログコンポジット信号が供給される。
そして、カメラ(装置)1,・・・,カメラNからの画像が切り替えられ、または任意に複数台選択されて後段の画像ASIC52に出力される。
画像ASIC52で画像処理するとき、CPU54で制御して画像メモリ55に画像データを記憶し、記憶した画像データあるいはその他のデータを読出し、またデータメモリ56へのデータの書込み、読み出しも行う。画像ASIC52は、CPU54の制御によりこれらのデータを用いて、画像の切り出し、合成、文字情報のスーパーインポーズなどの画像処理を行う。
例えば、カメラ(装置)1,・・・,カメラNの中で選択されたカメラ1からの画像データがカメラインターフェース51を介して画像ASIC52に入力されると、CPU54でその入力された画像データを画像メモリ55に記憶し、この画像データとデータメモリ56から文字、または図形データを読み出し合成する。具体例として、車両のリアに備えつけられたカメラ装置で撮影した画像をカメラ信号処理部20で歪み補正し画像メモリ55に記憶し、この画像に対してデータメモリ56から読み出した車両の後退(バック)軌跡のデータや文字情報を画像ASIC52で合成して、モニタインターフェース53を介して車内前方のモニタに表示する。したがって、車両の後退方向を車両内に備え付けられたモニタの表示画像で確認できるので車の安全運転に寄与できる。
カメラ信号処理部100は、カメラ前処理ユニット110、歪み補正ユニット(回路)130、カメラ後処理ユニット140、同期分離ユニット150、クロック発生回路161、CPU162などで構成されている。
ここでは歪み補正ユニット130はカメラ後処理ユニット140の周波数変換回路141の前に構成されているが後でもよく、その接続位置は図3の構成に限定されない。
不図示のA/D変換器は、画素信号を取り扱うため、10〜12Bits精度のものが採用され、アナログ信号からディジタル信号に変換し、ディジタル信号を後段のカメラ前処理ユニット110に出力する。
輝度信号処理部はY(輝度)信号の垂直・水平(方向)輪郭補正(VHアパーチャーコントロール)、Y輝度信号と垂直・水平輪郭補正信号のMix(混合;加算)処理、γ(ガンマ)補正などの種々の画像処理を行う。
色信号処理部は、色分離やクランプ処理、色信号のノイズや色偽信号の除去、RGBマトリックス(Matrix)処理、R,G,Bの各色の係数を可変するホワイトバランス(WB)調整、γ(ガンマ)補正、R−G/B−G変換、色偽信号の抑圧処理、Hue/Gain調整、色差信号(Cr/Cb)の生成などを行う。
また、CPU162により、カメラ前処理ユニット110のホワイトバランス調整、Hue/Gain調整、ガンマ補正の設定、歪み補正回路130の画像の切り出し領域、メモリのコントロールやカメラ後処理ユニット140のアナログコンポジット信号出力とディジタルRGB信号(等)出力の切り替え、周波数変換の周波数設定などをバス(B1〜B7)を介して制御するようにしている。
CPU162は、歪み補正回路130に制御信号を供給して、通常の画像の歪み補正の制御を行う以外に歪み補正した画像の任意の領域を切り出し、また任意の領域をズーム処理して拡大画像を生成して、歪み補正できるようにしている。さらに広角レンズで取り入れられた後、歪み補正された画像を基にPAN/TILT処理を電子的に処理できるようにしている。このCPU162は入出力端子によりUART通信や、メモリ(EEPROM)やセンサI/Fとのデータの授受を行う。
不図示の加算器で、入力データ(ADout)から黒レベルを減算処理し、黒レベルを基準とした(黒レベルにクランプされた)新たな画素データを生成する。
ディジタルゲイン調整(AGC)111は、加算器から出力された黒レベルにクランプされたデータのレベルをディジタル的に可変して明るさを調整している。
シェーディング補正112は、広角レンズ11の口径により画像の中心部に対して周辺部は輝度の差(ムラ)があり、この輝度ムラを補正するようにしている。
欠陥補正113は、遅延線と演算(加算・減算)器を用いて、例えば入力データを遅延させ、この遅延した画素値を用いて欠陥画素の前後の平均化した値を求め、欠陥画素と置換して、画素の欠陥補正を行っている。
輪郭補正(垂直・水平輪郭補正;VHアパーチャーコントロール)116は、遅延素子と加算・減算処理する演算器を用いて、画像の水平方向の輪郭部を強調するパルスを生成し、また画像の垂直方向の輪郭部を強調するパルスも生成する。
不図示の輪郭補正加算器で、垂直・水平輪郭補正(116)から出力された水平方向の輪郭補正パルスと垂直方向の輪郭補正パルスと、Y−LPF(115)から供給された輝度データが供給され、加算処理がされて輪郭が強調された輝度データが出力される。
ガンマ(γ)補正117は、たとえば表示装置をCRT(Cathode Ray Tube;受像管)とすると、このCRTのγ特性が2.2であるので、あらかじめ撮像側で1/γ=0.45と入出力特性のカーブを補正して、CRT側で画像の階調が正しく再現されるようにし、正しい再生画像が得られるようにしている。このガンマ補正された輝度データ(Y)は後段の歪み補正回路130に出力される。
色信号処理部は、色(クロマ)信号ローパスフィルタ(C−LPF)/クランプ118、RGB Matrix(RGBマトリックス)119、ホワイトバランス(WB)調整/ガンマ(γ)補正120、Hue(色相制御)/Gain(ゲイン)調整121、Cr/Cb生成(回路)122などで構成される。
欠陥補正113から出力された画像信号(データ)は色信号処理部のC−LPF/クランプ118に供給される。
C−LPF/クランプ118のクロマ信号ローパスフィルタ(C−LPF)は、たとえばディジタルローパスフィルタで構成され、色分離された信号の偽色信号やノイズの除去を行っている。また色データはクランプ(118)で所定の値にクランプされる。
RGB Matrix(RGBマトリックス)119は、C−LPF/クランプ118からの出力データを演算処理してR,G,Bの3原色データを求め、ホワイトバランス(WB)調整/γ補正120に出力する。
ホワイトバランス(WB)調整(120)は、R(赤),G(緑),B(青)の色信号(データ)に所定の係数を掛けて、目標の色温度に対する白色を設定するようにしている。ホワイトバランスのとれた色データをガンマ補正(120)に出力し、そこで表示装置に応じた入出力特性に変換される。
Hue/Gain調整121は、色相を可変しまた利得を可変して色データの調整を行う。
Cr/Cb生成122は、Hue/Gain121で色相と利得が調整された色データからR−YとB−Yの色差信号を発生する。ここで、Cr=R−Y,Cb=B−Y(Yは輝度信号)である。この色差信号(C)が次段の歪み補正回路130に出力される。
ノイズと色偽信号が除去された色データはRGBマトリックス119でR,G,Bの3原色信号が求められ、ホワイトバランス(WB)調整/γ補正120でホワイトバランス調整し、ガンマ補正(120)で色信号に関するガンマ(γ)補正を行う。またホワイトバランス(WB)調整(120)から出力されたデータは不図示の色信号オプティカルディテクタに出力され、そこで色データのレベルが検出される。この検出された色データを不図示のAE(自動露光)/AWB(自動ホワイトバランス調整)に供給してコンピュータまたは演算装置でソフトウエアー処理により、色信号(データ)に対する色温度を求め、また目標(白)色温度に対する各色の補正係数を計算し、そのデータをホワイトバランス(WB)調整(120)にフィードバックして自動的にホワイトバランスの調整を行う。
輝度Yデータは、
Y=0.30R+0.59G+0.11B ・・・(1)
と表されるので、
Cr=R−Y=0.70(R−G)−0.11(B−G)・・・(2)
Cb=B−Y=0.89(B−G)−0.30(R−G)・・・(3)
と変形できる。すなわち、Cr,Cbの色差信号は、R−GとB−Gの色データを用いて式(2),(3)から求めることができる。そして、この色差信号が輝度信号Yと共に歪み補正回路130に出力される。
歪み補正回路200は、水平方向変換回路201、垂直方向変換回路202、水平処理用の画像メモリ(フィールドメモリ)203、歪み補正パラメータデコーダ205、歪み補正パラメータエンコーダ206、垂直処理用の画像メモリ(FIFO;ファイフォメモリ)204、垂直方向の歪み補正パラメータデコーダ207、垂直方向の歪み補正パラメータエンコーダ208などで構成されている。
水平方向変換回路201は、不図示のデータ書込み部、データ取得部、補完位相・入力データ座標計算部、補正係数生成部、データ補間計算部や、ラインメモリと、ラインメモリの出力ノードに直列接続されたレジスタと、各レジスタから出力されたデータと対応する補間係数とを乗算する乗算回路と、この乗算回路により得られたデータを加算する加算回路などで構成される。
水平方向変換回路201に入力された画像データは書き込み制御信号と共に画像メモリ(フィールドメモリ)203へ書き込まれる。
読み出し制御信号を水平処理用の画像メモリ203へ供給することにより、歪み補正パラメータデコーダ205から供給されるx方向用の補正量パラメータ(Xm)に応じて、水平方向に並ぶ画像データを補間用データ(補正前の画像データ)として取得する。
そして、補間係数生成部から供給される補間係数を用いて水平方向の1次元補間演算を実行し、画像メモリ204にこの演算結果が格納される。
画像メモリ(フィールドメモリ)203は、水平方向変換回路201を介して輝度データや色データで構成される入力画素が供給され、水平方向の歪みを補正するために用いられる。
画像メモリ(FIFOメモリ)204は、水平方向の歪み補正された画像データが供給され、垂直方向変換回路202で歪み補正演算するために用いられる。この画像メモリ204は垂直方向の歪みを補正するために必要な最小限ライン数に渡るデータを記憶できる容量が必要であり、また後段に設けられるバッファ容量に供給される出力同期信号の周波数に応じて決定される。
歪み補正パラメータエンコーダ206(208)は、広角レンズ11の歪曲収差に関するデータなどから、全画素の各位置に応じた補正ベクトルを予め計算する。
また、全画素点の補正ベクトルを区分毎に分割するための格子線を決定する。格子分割方法には、所定の領域をx方向及びy方向において均等に分割する均等分割方法と、各格子の幅が2のべき乗となるように分割するべき乗分割方法と、最適分割位置において分割する最適分割方法とがある。また、ユーザインターフェースから格子分割方法を指定するとともに格子分割数を指定し、指定された分割方法に従って表示画像を指定された分割数に分割する。
垂直方向変換回路202、歪み補正パラメータデコーダ207や歪み補正パラメータエンコーダ208も水平方向に関する機能と同様である。
水平方向変換回路201へ入力された画像データは、水平方向変換回路201のデータ書き込み制御部によって書き込み制御信号と共に画像メモリ(フィールドメモリ)203へ供給され、この書き込み制御信号に応じて画像メモリ203に書き込まれる。
このとき、水平方向変換回路201のデータ取得部は読み出し制御信号を水平処理用の画像メモリ203へ供給することにより、歪み補正パラメータデコーダ205から供給されるx方向用の補正量パラメータ(Xm)に応じて、画像メモリ203から水平方向に並ぶ画像データを補間用データ(補正前の画像データ)として取得する。
そして、水平方向変換回路201のデータ補間計算部で補間係数生成部から供給された補間係数を用いて水平方向の1次元補間演算を実行し、垂直方向変換回路202を介して垂直処理用の画像メモリ204にこの演算結果を格納する。
たとえば補正後の画像において、x座標が2.0の点に位置するデータの補正量パラメータXmを1.25とする。その結果、補正前の画像における該点の対応点のx座標は、この2.0に補正量パラメータXmを加算して3.25と求められる。このとき、x座標(3.25)の整数成分(3)が補正前の画像における該データのアドレスを示し、0.25が補間位相を示す。従って、補正後の画像におけるx座標が2.0の点の輝度信号は、補正前の画像において3近傍のxアドレスを有する複数の連続データを対象とし、水平補間フィルタの位相を0.25とした1次元補間演算により求められることになる。
なお、上記のように、水平方向変換回路201及び垂直方向変換回路202により実行される補間演算は1次元補間演算の簡易な回路により実現されるため、2次元補間演算では難しい高次タップのフィルタによる演算が容易に実現できることから、より高画質な画像を得ることができる。
また垂直方向歪み補正は水平方向の歪み補正により得られた画像を用いて、原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた1次元補間演算を施すことにより、原画像の垂直方向における歪みを補正するようにした。
したがって、歪み補正回路は、水平方向の歪み補正では原画像の水平方向に1次元補間演算を施し、垂直補正手段は該原画像の垂直方向に1次元補間演算を施すため、低コストでリアルタイムに原画像の歪みを補正することができる。
周波数変換回路141は、歪み補正回路130などで信号処理に用いられた動作クロックを後段の映像信号の動作クロックに変換する。たとえばNTSC信号の場合、歪み補正回路130で演算処理動作に用いられた動作クロックを4fsc(クロマ周波数の4倍のクロック周波数)に変換し、後段の画像処理と同じクロック周波数にしてECUなどのシステムに適応するようにしている。
フィルタ(Filter)142は、周波数変換回路141で周波数を可変(下げた)したので、その際に生じる高調波成分を除去する。
ディジタルエンコーダ143は、輝度データと色データ(色差信号)を用いて、同期信号などを付加してたとえばNTSC方式のディジタルコンポジット信号を生成する。勿論、PAL、SECAM方式の映像信号にエンコードしても良い。
D/A(ディジタル/アナログ)変換器144は、ディジタルコンポジット信号をアナログコンポジット信号に変換して、アナログ表示装置と接続して画像表できるようにしている。
ディジタルI/F(インターフェース)145は、ディジタルR,G,Bデータなどを出力し、後段でディジタル信号処理などを行うためのインターフェースを行う。
歪み補正された輝度データと色データが後処理ユニットに供給されると、CPU162で設定されたクロック周波数を用いて、ECUに出力するための後処理が行われる。
ディジタル輝度データと色データがディジタルエンコーダ143で演算処理され、同期信号などを付加したコンポジットディジタル信号が発生し、D/A変換器144でアナログ信号に変換されてたとえば後段のECUなどに出力される。また、フィルタ142から出力されるディジタル輝度データと色データはディジタルI/F(インターフェース)を介してディジタルR(赤),G(緑),B(青)データや、その他ディジタル信号Y/Cr/Cb(ITU−RBT656/601標準フォーマット)が出力される。
図5(A)の車載カメラ装置300は、車両301のフロント(前方)にカメラ(装置)1、左右にカメラ2,3さらにリア(後方)にカメラ4が備えてある。
カメラ(装置)1の出力は車両301の内部、たとえば運転席前部に備え付けられたECU302(50)のカメラインターフェース501入力に接続され、またこれ以外のカメラ2〜カメラ4も同様にECU302のカメラインターフェース501に接続される。
カメラ(装置)1〜カメラ4は、たとえば図1に示した構成であって、広角レンズ11を用い、たとえば180度の視野角の映像(画像)を取り込み、この広角レンズ11による画像歪みを補正してECU302に出力する。
車両301のフロントに備え付けられたカメラ(装置)1の画像取り込み角度はaで示す範囲であり、広角のため画像の周辺部は歪む。同様にカメラ2はbの角度、カメラ3はcの角度そしてカメラ4はdの角度の範囲の画像をそれぞれ取り込み、これらの取り込んだ画像をECU302に出力する。この結果、車両301の前方、左右、後方の360度(全方位)の画像をECUに302取り込むことができる。広角レンズ11を用いているため、(狭角)レンズあるいはプリズムなどを機械的に駆動して移動、回転などを行う必要がない。
各カメラ(装置)1〜カメラ4は上述したように歪み補正回路を内蔵したので、画像の周辺領域などを補正し正視した場合の画像が得られる。この歪み補正した画像がECU302に転送され、必要に応じてこれらの画像を選択して、またはこれらの画像全てを用いて合成する。そして、この合成された画像を車両内のモニタに表示する。
このように、車両301を基準に全方位の画像をあたかも正面からみたようにモニタで1度に表示する、いわゆる鳥瞰図を生成することにより全方位を確認することができ、しかも従来画像の周辺部が歪んで見にくいことを解消できる。また歪み補正回路を各カメラ(装置)1〜カメラ4に内蔵し、カメラ装置の外部のECU302内に構成しないので、ECU回路構成を簡素にすることができこれに伴ってコストを削減することができる。
カメラ装置で撮影された歪み補正する前の画像を模式的に図6(A)に示す。広角レンズを用いているため、破線で囲んである画像の左右周辺領域eとfは歪んでいる。この領域e,fについてカメラ装置内に設けた信号処理部の歪み補正回路で画像ひずみ補正して、それぞれの画像を抜き出し、ECUで合成または別々に表示した例を図6(B),(C)に示す。
このように1台のカメラ装置で車両の左右前方をあたかも正視した画像として表示することができる。また、センサ12にたとえば130万画素の多画素のもの用いることにより撮影した画像の一部領域を拡大表示しても画素数が多いと画質が劣化することはない。その結果、従来見にくかった領域をさらに見易くすることができる。
図7の車載カメラ装置は、車両の左(右)サイドに1台のカメラ装置が設置され、しかもカメラ(装置)にズーム機構と歪み補正の機能を有している。
図7(A)はズームなしのとき広角レンズから取り込んだ画像を示す。図7(A)の左周辺部(リア;左後方)とフロント(左前方)の画像は歪んでいて、しかも対象物である車両の形状などが小さく表示されている。図7(B)では、広角レンズを用いて、リア(左後)方向にズームして左周辺部の車両の位置を拡大し、その画像を歪み補正した図である。また図7(C)も同様に、車両の左前方(フロント)をズーム拡大して撮影した画像の一部を歪み補正した図である。
図7(A)でリア方向の小さくしかも左周辺部の歪んで見にくかった画像が、図7(B)に示す拡大されさらに画像歪が補正された画像として表示されている。そのため、対象物や距離間をズーム前の画像と比較してより正確に把握できる。
また、図7(C)に示すように、車両の左前方のフロント部が大きく、歪みのない画像が得られるので対象物をより正確に把握することができ、また車両と対象物間の距離を従来と比較してより正確に把握することができる。
このように、カメラに広角レンズとズーム機構を備えかつ画像歪み補正を備えることにより、たとえば車載とした場合、1台のカメラで車両の前後を正確に撮像できる。
車両のリアに広角レンズと歪み補正処理機能を有するカメラ装置を取り付けたときの画像例を示す。図8(A)にカメラ装置で撮影した車両の後方画像を歪み補正(変換)した例を示す。これに対して、後方画像の歪み変換で視点を変換した場合の画像を図8(B)に示す。
図8(B)に示すように、画像歪み補正処理処のとき画像の視点を変換することにより、任意の方向から見た画像が得られる。その結果、運転者の後方に対する認知性を1台のカメラ装置で高めることができる。
画像の一部N1を所定時間表示し、次に領域N2を所定時間表示し、・・・、最後に領域Nnを表示する。表示部N1とN2、N2とN3、・・・、Nn−1とNn間の間隔とそれぞれの表示部の表示時間を調整して電子的にPAN(パン;回転)動作を滑らかに行うことができる。また同様に、垂直方向にも、電子的にTILT(チルト)動作を行うことができる。
歪み補正をカメラ装置のDSP(ディジタル信号処理装置)で行うことにより画像の視点を変換した画像を表示し、またカメラ装置外部のECUで複数のカメラ装置から出力された歪み補正画像を任意に取り入れ鳥瞰図などの合成画像を表示することができる。
従来はカメラ装置からの出力をNTSC方式等のアナログ信号として伝送し後段の処理部(ECU部)でAD変換を行った後、ディジタル信号として画像の歪みを補正し、更にDA変換しNTSC方式に変換していたため、NTSC信号に帯域制限があることとAD変換、DA変換を繰り返すことにより画像の劣化があったが、本発明はカメラ装置内部でしかもディジタル的に画像歪み補正することにより、高画質化を実現した。
カメラ装置内部のメモリに予め歪み補正データを記憶することができるため、コマンド通信を行うことは不必要となり、DSPの外部端子の選択で所望のモードに遷移することができる。
また、カメラ(装置)出力を、アナログ信号出力に加えて、ディジタル信号出力にも対応するようにしたため種々のディジタル処理領域に適応できる。
Claims (7)
- 広角レンズを有し、該広角レンズを介して入力された光信号をセンサで電気信号に変換して入力画像の信号を生成し、該入力画像に対し画像処理回路で、前記広角レンズによる画像歪みの補正と、高解像度の前記入力画像の一部を切り出して行う視点変換とを実行し、該視点変換により得られる低解像度画像の信号を、帯域制限された映像伝送信号にエンコードし、該映像伝送信号を、車両内に載置されモニタ表示の前に処理する電子制御ユニットに出力するカメラ装置が、該車両に搭載可能に構成された
車載カメラ装置。 - 前記カメラ装置は、前記車両の前後左右の各部のいずれかに備え付けることが可能であり、かつ、歪み補正後に画像処理が行われる前記電子制御ユニットに対し前記映像伝送信号を供給可能に構成された
請求項1に記載の車載カメラ装置。 - 前記カメラ装置を複数有し、
該複数のカメラ装置の各々は、前記車両の前後左右の各部の何れかにそれぞれ備え付けることが可能であり、かつ、歪み補正後に画像合成を含む画像処理が行われる前記電子制御ユニットに対し、それぞれ前記映像伝送信号を供給可能に構成された
請求項2に記載の車載カメラ装置。 - 前記カメラ装置は、複数の歪み補正データを記憶する記憶装置を有し、前記画像処理回路の制御端子の選択によって前記入力画像の視点変換を伴う処理の処理モードを可変する
請求項1または2に記載の車載カメラ装置。 - 前記カメラ装置は、歪み補正された画像の任意の領域を電子的に左右または上下に移動させて左右または上下の回転画像を発生することが可能に構成された
請求項4に記載の車載カメラ装置。 - エンコード前の画像信号を出力することが可能に構成された
請求項1から5の何れか一項に記載の車載カメラ装置。 - 前記画像処理回路は歪み補正手段を有し、
前記歪み補正手段は、前記入力画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて前記入力画像に対し1次元補間演算を施すことにより、前記入力画像の水平方向における歪みを補正し、該補正により得られた画像に対し、前記入力画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた1次元補間演算を施すことにより、前記入力画像の垂直方向における歪みを補正する
請求項6に記載の車載カメラ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005250098A JP4862321B2 (ja) | 2005-08-30 | 2005-08-30 | 車載カメラ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005250098A JP4862321B2 (ja) | 2005-08-30 | 2005-08-30 | 車載カメラ装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010181654A Division JP5195841B2 (ja) | 2010-08-16 | 2010-08-16 | 車載カメラ装置および車両 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007067714A JP2007067714A (ja) | 2007-03-15 |
JP4862321B2 true JP4862321B2 (ja) | 2012-01-25 |
Family
ID=37929413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005250098A Expired - Fee Related JP4862321B2 (ja) | 2005-08-30 | 2005-08-30 | 車載カメラ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4862321B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11854169B2 (en) | 2019-03-01 | 2023-12-26 | Panasonic Intellectual Property Management Co., Ltd. | Image correction device, image generation device, camera system, and vehicle |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8233045B2 (en) * | 2007-07-16 | 2012-07-31 | Trw Automotive U.S. Llc | Method and apparatus for distortion correction and image enhancing of a vehicle rear viewing system |
JP5107671B2 (ja) * | 2007-10-31 | 2012-12-26 | アイホン株式会社 | インターホン装置 |
JP4929232B2 (ja) * | 2008-05-26 | 2012-05-09 | パナソニック株式会社 | 車載用撮像装置 |
JP5451497B2 (ja) * | 2010-04-08 | 2014-03-26 | パナソニック株式会社 | 運転支援表示装置 |
KR101147327B1 (ko) * | 2010-06-24 | 2012-05-22 | 삼성전기주식회사 | 카메라모듈 및 이를 구비한 감시장치 |
JP7183562B2 (ja) * | 2018-04-03 | 2022-12-06 | 株式会社アイシン | 画像処理装置 |
JP6896030B2 (ja) * | 2019-08-20 | 2021-06-30 | 三菱電機株式会社 | 車載カメラ装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001187582A (ja) * | 1999-12-28 | 2001-07-10 | Koyo Seiko Co Ltd | パワーステアリング装置 |
JP3943363B2 (ja) * | 2001-10-18 | 2007-07-11 | クラリオン株式会社 | 駐車支援装置 |
JP2003267171A (ja) * | 2002-03-13 | 2003-09-25 | Nissan Motor Co Ltd | 車両後方監視装置 |
JP2003304529A (ja) * | 2002-04-09 | 2003-10-24 | Sumitomo Electric Ind Ltd | ネットワークシステム及び画像処理装置 |
JP4144292B2 (ja) * | 2002-08-20 | 2008-09-03 | ソニー株式会社 | 画像処理装置と画像処理システム及び画像処理方法 |
JP4231423B2 (ja) * | 2004-01-19 | 2009-02-25 | トヨタ自動車株式会社 | 車両の操舵装置 |
-
2005
- 2005-08-30 JP JP2005250098A patent/JP4862321B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11854169B2 (en) | 2019-03-01 | 2023-12-26 | Panasonic Intellectual Property Management Co., Ltd. | Image correction device, image generation device, camera system, and vehicle |
Also Published As
Publication number | Publication date |
---|---|
JP2007067714A (ja) | 2007-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5195841B2 (ja) | 車載カメラ装置および車両 | |
US9392241B2 (en) | Image processing apparatus and image processing method | |
US6778216B1 (en) | Method and apparatus for digital camera real-time image correction in preview mode | |
US7529424B2 (en) | Correction of optical distortion by image processing | |
JP4862321B2 (ja) | 車載カメラ装置 | |
US8457433B2 (en) | Methods and systems for image noise filtering | |
JP4911628B2 (ja) | 画像処理方法、画像処理装置及び画像撮像装置 | |
WO2011013642A1 (ja) | 車両用周辺監視装置および車両用周辺画像表示方法 | |
KR100745386B1 (ko) | 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체 | |
US7932934B2 (en) | Image processing method and imaging apparatus using the same | |
EP2091231B1 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
KR100956228B1 (ko) | 왜곡 영상 보정 기능을 갖는 영상처리 장치 | |
JP5569042B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2007096588A (ja) | 画像撮影装置および画像表示方法 | |
JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
KR20120069543A (ko) | 화상 처리 장치, 화상 처리 방법 및 촬상 장치 | |
KR20180040469A (ko) | 이미지 정합 방법 및 장치 | |
JP4689243B2 (ja) | 画像処理装置、画像処理方法、及びデジタルカメラ | |
JP2011061588A (ja) | 画像処理装置、画像処理方法及び車載カメラ装置 | |
JP5606774B2 (ja) | 映像表示装置及び映像表示方法 | |
US9013606B2 (en) | Image processing apparatus and control method thereof | |
JP2008301395A (ja) | 映像信号処理回路および固体撮像装置 | |
JP4567279B2 (ja) | ディジタルカメラ | |
JPH11239294A (ja) | ビデオカメラ | |
JP4261666B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110224 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110714 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111011 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111024 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |