JP3797251B2 - Image processing apparatus for vehicle and image processing method for vehicle - Google Patents

Image processing apparatus for vehicle and image processing method for vehicle Download PDF

Info

Publication number
JP3797251B2
JP3797251B2 JP2002055726A JP2002055726A JP3797251B2 JP 3797251 B2 JP3797251 B2 JP 3797251B2 JP 2002055726 A JP2002055726 A JP 2002055726A JP 2002055726 A JP2002055726 A JP 2002055726A JP 3797251 B2 JP3797251 B2 JP 3797251B2
Authority
JP
Japan
Prior art keywords
vehicle
compression
image data
decompression
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002055726A
Other languages
Japanese (ja)
Other versions
JP2003259354A (en
Inventor
宏 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2002055726A priority Critical patent/JP3797251B2/en
Publication of JP2003259354A publication Critical patent/JP2003259354A/en
Application granted granted Critical
Publication of JP3797251B2 publication Critical patent/JP3797251B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、車両用画像処理装置および車両用画像処理方法に関する。
【０００２】
【従来の技術】
従来技術として、特開平１１−１５０７２６号公報に記載された車両用動画像処理方法および車両用動画像処理装置がある。
この従来技術では、できるだけＣＰＵ（Central Processing Unit：中央演算処理装置）等のハードウェアに計算負荷を与えずに、車両から撮影した進行方向の動画像を適切に圧縮するための圧縮方法および装置を提案している。
図１１は、従来例を説明する図である。
１はＣＣＤ（Charge Coupled Device：電荷結合素子）カメラ、２は圧縮装置、３は解凍装置、４は画像処理装置、５は車両制御装置、６はブレーキアクチュエータ、７はステアリングアクチュエータ、８はスロットルアクチュエータ、９は変速アクチュエータ、２１は撮像部、２２は伝送部、２３は画像処理部、２４はＣＰＵである。
すなわち、具体的には、図１１に示す構成図のように、ＣＣＤカメラ１で撮影した画像データを、圧縮装置２にて圧縮符号化するに際し、車両の移動に伴う画像の変化度合いに応じて、変化の小さい第１領域と、変化の大きい第２領域とに分割し、それぞれの領域に適合する圧縮方式で圧縮符号化する。例えば、第１領域は、静止画像に適合した圧縮方式により、第２領域は、動画像に適合した圧縮方式によりそれぞれ圧縮符号化する。
【０００３】
【発明が解決しようとする課題】
上記の従来例の構成においては、撮像した画像を元に分割領域や圧縮方式を設定する構成になっているため、画像情報を逐次、解析し、道路部分の解析や、好ましい圧縮方式を選択するための画像全体の解析を行う必要がある。また、道路側壁の位置や前方車両の車の位置などは、画像上において、おおむね、その出現場所が予想できるため、その予想に合わせて、分割領域と圧縮方式を設定することもできる。しかし、道路形状や道路側壁状態の不連続性や外乱混入の可能性を考慮すると、定期的に画像全体の構成を確認する必要がある。また、確認するためのきっかけが特になければ、ランダムな時刻に全体の画像構成を探索するような構成にする必要がある。このことは、すばやく状況を判断するためには、頻繁に画像全体の位置関係を確認する必要があり、このことがＣＰＵ２４の負担を増加させる。前記全体画像に対する探索周期を伸ばせば、ＣＰＵ２４の負担は軽減するが、物体の検知などの発見が遅れたり、必要な部分の画像が劣化するなどの問題を包含している。
また、圧縮方式の選択が、車両制御装置５の制御周期の情報に基づいて変更する構成になっていないため、画像系処理と自動車制御系処理を同一のコンピュータのＣＰＵ２４で構成しようとするとき、演算に関する処理を効率的に分散することができず、必要以上に性能が高いＣＰＵ２４が必要となり、システム全体のコストを上昇させる原因となる。
【０００４】
本発明の目的は、撮像画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる車両用画像処理装置および車両用画像処理方法を提供することにある。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明においては特許請求の範囲に記載するような構成をとる。
すなわち、請求項１記載の車両用画像処理装置は、車両周囲を撮像する撮像手段と、前記撮像手段により撮像された画像データを圧縮する圧縮手段と、前記圧縮手段によって圧縮された画像データを解凍する解凍手段と、前記解凍手段から得られる画像データの画像処理を行う画像処理手段と、前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する特性決定手段と、を有することを特徴とする。
また、請求項２記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記特性決定手段は、道路属性を検出する道路属性検出手段を含み、該道路属性検出手段により高速道路であると検出した場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、非高速道路であると検出した場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、請求項３記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記特性決定手段は、車両の周囲の交通量密度を検出する交通量密度検出手段を含み、該交通量密度検出手段により検出された交通量密度が小さい場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、交通量密度が大きい場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、請求項４記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記特性決定手段は、車両制御装置の制御周期を検出する制御周期検出手段を含み、該制御周期検出手段により検出された制御周期が短い場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、請求項５記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、請求項６記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、高速道路を走行中である場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、高速道路を走行中でない場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、請求項７記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両の周囲の交通量密度が小さい場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、車両の周囲の交通量密度が大きい場合には、時空間的な間引き量が小さくなるように画像デ ータを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、請求項８記載の車両用画像処理方法は、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両制御の制御周期が短い場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【発明の効果】
請求項１の車両用画像処理装置によれば、撮像部の圧縮装置により時空間的に圧縮し、撮像部から画像処理部へ伝送し、画像処理部の解凍装置により解凍して、元画像に近い情報に復元し、その画像情報に対して画像処理装置により画像処理を行う構成において、前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する構成とすることにより、撮像装置からの取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項２の車両用画像処理装置によれば、請求項１の特性を決定する具体的な条件として、ナビゲーションシステムなどにより取得される道路属性を用い、高速道路と市街地等の非高速道路の判断からフィードフォーワード的に圧縮装置と解凍装置の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項３の車両用画像処理装置によれば、請求項１の特性を決定する具体的な条件として、レーザレーダやインフラ（infrastructure）から得られる交通密度に関する情報からフィードフォーワード的に圧縮装置と解凍装置の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項４の車両用画像処理装置によれば、請求項１の特性を決定する具体的な条件として、走行速度等の自車両に関する情報からフィードフォーワード的に圧縮装置と解凍装置の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項５の車両用画像処理方法によれば、撮像された画像情報を時空間的に圧縮し、解凍して、元画像に近い情報に復元し、その画像情報に対して画像処理を行う構成において、車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定する構成とすることにより、撮像画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項６の車両用画像処理方法によれば、特性を決定する具体的な条件として、ナビゲーションシステムなどにより取得される道路属性を用い、高速道路と市街地等の非高速道路の判断からフィードフォーワード的に圧縮と解凍の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項７の車両用画像処理方法によれば、特性を決定する具体的な条件として、レーザレーダやインフラから得られる交通密度に関する情報からフィードフォーワード的に圧縮と解凍の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
請求項８の車両用画像処理方法によれば、特性を決定する具体的な条件として、走行速度等の自車両に関する情報からフィードフォーワード的に圧縮と解凍の特性を決定する構成とすることにより、取得画像を観察することなく、状況に応じた適切な画像圧縮・解凍を行うことができる。このことは、それぞれの道路において、最適な物体検知率を実現することができる。また、制御系と画像処理系のＣＰＵを同一にする場合、効率的なＣＰＵの作業分担をすることができる。
【０００６】
【発明の実施の形態】
実施の形態１
図１は、本発明の実施の形態１の車両用画像処理装置の構成を示すブロック図である。
１はＣＣＤカメラ（電子式のカメラ）、２は圧縮装置、３は解凍装置、４は画像処理装置、５は車両制御装置、６はブレーキアクチュエータ、７はステアリングアクチュエータ、８はスロットルアクチュエータ、９は変速アクチュエータ、１０はレーダ、２１は撮像部、２２は伝送部、２３は画像処理部、２４はＣＰＵ、２５は特性変更装置、１１は道路属性検出装置、１２はナビゲーション装置である。
図１に示すように、本実施の形態１では、発明の前提とする基本的な構成として、撮像装置である例えばＣＣＤカメラ１（およびそのドライバ、シャッタ制御を含む）、ＣＣＤカメラ１による撮像情報を時空間的に変換する圧縮装置２、ＣＣＤカメラ１と圧縮装置２からなる撮像部２１と画像処理部２２とを接続する伝送部２２、圧縮装置２からの信号が入力され、ＣＣＤカメラ１で撮像した情報に復元する解凍装置３、解凍後の情報を処理する画像処理装置４、画像処理装置４によって得られた車両の周囲情報に関する処理結果に基づき、作用する車両制御装置５、画像処理装置４と車両制御装置５を含むＣＰＵ２４、車両制御装置５からの信号送信により具体的に駆動される車両のブレーキアクチュエータ６、ステアリングアクチュエータ７、スロットルアクチュエータ８、変速アクチュエータ９、車両の前方を監視し、前方車両との車間距離等を知らせる信号を車両制御装置５に入力するレーダ１０が存在する。
上記の基本的な構成のほかに、本発明のポイントであるナビゲーション装置１２を含む道路属性検出装置１１を有する特性変更装置２５が存在し、その出力は、圧縮装置２と解凍装置３とに接続されている。道路属性検出装置１１の具体的なシステムは、本実施の形態１では、ＧＰＳ（Global Positioning System：汎世界測位システム）付きのナビゲーション装置１２などであり、ＧＰＳなどにより自車両の場所を検出し、その場所をナビゲーション内に具備する地図を参照する。そして、地図に記載された道路属性情報を取得し、「自動車専用道路」「高速道路」「一般国道」「市街地」などの道路属性を圧縮装置２と解凍装置３とに伝達する。以下の説明では、「高速道路」「自動車専用道路」を「高速道路」とし、それ以外の道路を「非高速道路」として２種類に分けて説明する。
【０００７】
図２は、本実施の形態１において、空間的圧縮比特性を説明する図である。
【０００８】
まず、道路属性検出装置１１により「高速道路」と判断された場合、この信号は、圧縮装置２に入力される。ここでは、図２に示すように、圧縮時の上限とする空間周波数を低めに設定し、空間的な周波数の高い細かい情報を圧縮段階で欠落させる。一般的に、高速道路では、人間や細い物体の存在は、障害物検出にあまり考慮する必要がないため、大きな車両のみに着目する。よって、空間的な周波数が低い物体のみに着目すれば、ＡＣＣ（Adaptive Cruise Control：自車両の設定速度よりも遅い先行車が存在すると、設定速度を落して追従走行するシステム）やブレーキ制御にはおおむね利用できる。この信号は、解凍装置３にも同期して入力され（必ずしも同期して入力させなくてもよい）、解凍するときの上限周波数を考慮して圧縮信号が解凍される。解凍画像については、空間周波数の高い成分が欠落した画像になるが、高速道路上の存在物の都合上から、空間周波数の高い成分が欠落していても大きな問題にならない。また、画像処理装置４においても、高い周波数を含んだ画像でないならば、ウインドの大きさや移動量を変更し、画像処理自体の演算量を低減することができる。
【０００９】
空間的な周波数を低めに抑えたときの解凍画像においては、現画像に比較して、基本的に、車などの大きな物体に付いての圧縮・解凍による情報欠落はほとんどない。多少、輪郭部分がぼける場合がある。一方、現画像で細い物体や輝度が頻繁に変化する物体に対しては、解凍したときに細かく復元できていない。しかし、高速道路においては、それでも大きな問題はない。
【００１０】
道路属性検出装置１１により「非高速道路」と判定された場合、一般的に、歩行者や自転車などが多数存在する一般道路であり、この場合、高い空間周波数を含んだ情報は、重要な情報となる。そこで、圧縮装置２および解凍装置３においても、高い空間周波数を制限しない特性とし、解凍後の復元画像の劣化が小さいものとなる。細かい部分まで、復元後も見ることができる。前述の空間的な周波数を低めに抑えたときの復元画像に対して、高い空間周波数を制限しない場合の復元画像のほうが細かい物体表現が可能となる。この復元画像を入力し、画像処理装置４では、細かい対象物の検出を行うことができる。ただし、画像処理に対する演算量は、高い周波数を制限した復元像に対してよりも、大きくなる。
【００１１】
次に、本実施の形態１のフローを図３、図４に示す。
【００１２】
まず、３０１において、前方の道路画像を撮像する。３０２では、自車両が現在走行している道路の属性をナビゲーション装置１２を備えた道路属性検出装置１１により検出する。３０３において、その道路属性が高速道路である場合、３０５へ、そうでない場合３０４へ進む。高速道路である場合、３０５で、高い空間周波数を制限して圧縮する（すなわち、特性変更装置２５が、時空間的な間引き量を大きくする特性の変更を指示する）。一方、高速道路でない場合、３０４で、高い空間周波数を制限しないで圧縮する（すなわち、特性変更装置２５が、時空間的な間引き量を小さくする特性の変更を指示する）。
【００１３】
次に、図３のＡ以降は、圧縮した画像を復元する処理を示す。３０６において、３０５、３０４に対応して、高速道路なら、３０８で、高い空間周波数を制限した形で解凍する。高速道路でない一般道路である場合、３０７で、普通の解凍をする。すなわち、この場合の解凍においては、あえて高い周波数成分を考慮する必要が無いため、Ａからの流れは、３０７を介して３０９へ進む。
【００１４】
３０９で、制御のための一般的な画像処理を行う。３１０では、例えば、撮影画像から取得した対象物との距離に応じた各種アクチュエータ（ブレーキアクチュエータ６、ステアリングアクチュエータ７、スロットルアクチュエータ８、変速アクチュエータ９）に出力指令値を算定する（この手法は、公知）。３１２で、制御オン／オフを判断し、オフの場合は処理を終了し、オンの場合は、Ｂ、すなわち、３０１へ戻る（ここでは、特に、制御の内容に言及しない）。
【００１５】
次に、効果について説明する。ここでは、レーンキープ装置やＡＣＣ装置などに着目する。周囲の状況を認識して、その結果に基づき、車両の各種アクチュエータを制御するというＩＴＳ（Intelligent Transport System：高度道路交通システム）においては、ＣＰＵを画像処理用と制御用に共用して利用することが好ましい。それにより、システムコストを低減することができる。一般的に、高速道路を走行するとき、ＩＴＳ制御コントローラとしては、高速走行している車両の操舵や加減速度をアクチュエータによって制御する場合、比較的短い制御周期で細かい操作量を制御する必要がある。なぜなら、車両が高速で走行しているため、微妙な操舵制御や加減速制御をしないと、不適切な車両挙動となり、ドライバに違和感として感じられる。この場合は、制御負荷は大きくなる。
【００１６】
一方、市街地走行の場合、一般的に時速４０ｋｍ以下ならば、車両挙動制御にとって、さほど微妙な制御周期や制御量を要求しないため、制御負荷は大きくない。この制御にかかわる制御負荷の関係と上記の画像処理装置の関係を平行して考える。一般的なシステム構成としては、撮像装置であるＣＣＤカメラ１と圧縮装置２は、バックミラー上などに設置され、個別のＣＰＵなどを有するシステムとして設置される。圧縮装置２からの信号は、シリアル通信などを介して解凍装置３、画像処理装置４、車両制御装置５からなるコントローラ（画像処理部２３）に入力される。
【００１７】
この後者のコントローラにおいて、ＣＰＵを共用し、システムのコストを低減することを考える。
【００１８】
前述のように、高速道路では、高い空間周波数成分が制限された復元像を処理するため、画像処理の処理負担は小さい。一方、非高速道路では、高い周波数を有する細かい画像を処理するため、画像処理の演算負担は大きい。
【００１９】
以上のように、高速道路では、画像処理の負担が小さいが、制御のための演算負担が大きい。非高速道路では、画像処理の負担が大きいが、制御のための演算負担が小さい。この関係から、ＣＰＵの演算能力を的確にバランスよく利用することができ、必要以上なＣＰＵ能力を用意する必要がない。すなわち、圧縮の特性を変更する際に用いる条件は、画像系の負荷が大きいときは、制御系の負荷が小さく、画像系の負荷が小さいときは、制御系の負荷が大きくなる特徴があるため、ＣＰＵを効率的に作動させることができる。
【００２０】
なお、本実施の形態１は、特許請求の範囲の請求項１の車両用画像処理装置に対応する。すなわち、車両周囲を撮像する撮像手段（ＣＣＤカメラ１）と、前記撮像手段により撮像された画像データを圧縮する圧縮手段（圧縮装置２）と、前記圧縮手段によって圧縮された画像データを解凍する解凍手段（解凍装置３）と、前記解凍手段から得られる画像データの画像処理を行う画像処理手段（画像処理装置４）と、前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する特性決定手段（特性変更装置２５）と、を有することを特徴とする。すなわち、上記従来例のように、画像の更新周期の早い、遅いで分割し、圧縮方法を変えるのではなく、車両制御上、必要最低限な画像情報が確保できる程度に圧縮の特性（圧縮率）を決定する。したがって、車両制御上、不要な情報（細かい画像）は削除される。
また、本実施の形態１は、特許請求の範囲の請求項２の車両用画像処理装置に対応する。すなわち、前記特性決定手段は、道路属性を検出する道路属性検出手段（道路属性検出装置１１）を含み、該道路属性検出手段により高速道路であると検出した場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、非高速道路であると検出した場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、本実施の形態１は、特許請求の範囲の請求項５の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
また、本実施の形態１は、特許請求の範囲の請求項６の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、高速道路を走行中である場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、高速道路を走行中でない場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【００２１】
実施の形態２
実施の形態１では、高速道路か非高速道路かを、道路属性判断手段（道路属性検出装置１１）によって決定した。この判別手段の本質的な機能としては、低い空間周波数への圧縮変換により、解凍するときに、高い空間周波数を削除してしまっても画像処理に支障をきたさない場面において、その圧縮手法を適用することにある。実施の形態１では、その場面を高速道路か非高速道路かで分類した。本実施の形態２では、その判断を車両の周囲の交通量密度とした。
【００２２】
具体的には、図５に示すように、図１の実施の形態１において、ナビゲーション装置１２を有する道路属性検出装置１１のほかに、ＶＩＣＳ装置（Vehicle Information and Communication System：道路交通情報通信システム）１３が追加されている。前述のように、高速道路であっても一般道路であっても、道路が込んでいる場合、自車両に対する周囲車両との距離は短くなるので、周囲の障害物は、大きな映像となる。この場合、高い空間周波数までを含まない圧縮・解凍機能で対応できる。一方、渋滞でない場合、結果的に周囲車両の像は小さくなるため、細かい像として周囲対象を捉える必要がある。そこで、この場合は、高い空間周波数まで含めた圧縮・解凍を行う。ただし、後述するように、渋滞でない場合は、実施の形態１と同じ判断によって圧縮・解凍特性が決定される。なお、上記の判断は、道路属性検出装置１１内のアルゴリズムにより、好ましい圧縮時の制限空間周波数が決定される。
【００２３】
この場合、ＶＩＣＳなどのインフラ情報として得られる渋滞情報と自車両位置、および、自車両走行場所から自車両周囲の渋滞の程度を判断し、上述の関係で圧縮・解凍の空間周波数を決定する。
【００２４】
次に、本実施の形態２の場合における、制御手法との関係について説明する。渋滞する場合、ＡＣＣやレーンキープ・サポートシステム（道路の白線内を自動的に走行するシステム）といった高速走行時に利用する装置は使用できない。よって、インチング装置（渋滞時に、先行車に自動的に追従走行する装置）のように自車両近傍車両との接触関係を検出する必要がある。この制御では、多少違和感があっても、周囲車両との接触を回避するために、すばやくブレーキをかける必要があり、センシングで軽減されたＣＰＵ画像処理負荷を制御側のアルゴリズムに使われることになる。一方、渋滞していない場合は、実施の形態１のシステムを起動し、道路属性で圧縮・解凍特性を変化させる。
【００２５】
次に、本実施の形態２のフローを図６、図７に示す。
【００２６】
６０１で、前方の道路画像を撮像する。６０２において自車両が走行しているところの道路属性をナビゲーション装置１２を備えた道路属性検出装置１１により検出する。高速道路である場合、６０３へ移行し、ＶＩＣＳ装置１３からのＶＩＣＳ信号で渋滞している道路上に自車両が存在しないかを判定する。渋滞していない場合、６０４にて、高速走行しているものと考え、高い空間周波数を制限した圧縮を行う。
【００２７】
一方、６０２で、高速でない場合や、６０３で、高速でも渋滞している場合は、高速走行していないものと判断し、６０５で、高い空間周波数を制限しない通常の圧縮を行う。
【００２８】
図６のＡ以降は、圧縮した画像を復元する処理を示す。６０６において、６０４、６０５に対応して、高い空間周波数を制限した場合は、６０８で、高い空間周波数を制限した形で解凍する。高い空間周波数を制限しない場合は、普通の解凍をする。すなわち、この場合の解凍においては、あえて高い周波数成分を考慮する必要が無いため、Ａからの流れは、６０７を介して６０９へ進む。
【００２９】
６０９で、制御のための一般的な画像処理を行う。６１０では、例えば、撮影画像から取得した対象物との距離に応じた各種アクチュエータに出力指令値を算定する（この手法は、公知）。６１２で、制御オン／オフを判断し、オフの場合は処理を終了し、オンの場合は、Ｂ、すなわち、６０１へ戻る（ここでは、特に、制御の内容に言及しない）。
【００３０】
なお、本実施の形態２は、特許請求の範囲の請求項３の車両用画像処理装置に対応する。すなわち、前記特性決定手段（特性変更装置２５）は、車両の周囲の交通量密度を検出する交通量密度検出手段（ＶＩＣＳ装置１３）を含み、該交通量密度検出手段により検出された交通量密度が小さい場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、交通量密度が大きい場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、本実施の形態２は、特許請求の範囲の請求項７の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両の周囲の交通量密度が小さい場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、車両の周囲の交通量密度が大きい場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【００３１】
実施の形態３
実施の形態３の構成を図８に示す。
本実施の形態３は、前述の画像処理系（画像処理装置４）のＣＰＵ２４の演算量と制御系（車両制御装置５）のＣＰＵ２４の演算量のバランスに着目した実施の形態である。本実施の形態３の場合、制御系の制御周期が短く、かつ、微少量の出力になったとき、制御系のＣＰＵ２４の負荷が増大する。本実施の形態３では、このＣＰＵ２４の負荷状態を検出するＣＰＵモニタ１４が備えられており、このＣＰＵモニタ１４により制御系のＣＰＵ２４の負荷が増大したときに、画像処理系に対して、高い空間周波数を制限した圧縮・解凍の指示を出す。逆に、制御系の制御周期や操作量に大きな変化がなく、制御系のＣＰＵ２４の負荷が軽減しているとき、できるだけ精度よく検出することを目標として、画像処理系に対して、高い空間周波数も含んだ圧縮・解凍の指示を出す。
【００３２】
制御の負荷は、例えば、ブレーキ動作中や、白線を見失い、白線を検索中などのときは負荷が大きい。一方、ブレーキアクチュエータ制御などを行わず、白線などもトラッキングしている場合は、制御負荷が軽いと考える。
【００３３】
本実施の形態３の制御フローを図９、図１０に示す。
【００３４】
まず、９０１にて前方道路画像を撮像する。一方、９０２において、ＣＰＵモニタ１４により車両制御を行うルーチンのＣＰＵ２４の負荷をモニタする。９０３において、ＣＰＵ２４の負荷があらかじめ設定された所定の値よりも大きければ、制御へのＣＰＵ２４の負荷を、画像処理によりさらに大きくしないように、９０５で、高周波数を制限した圧縮を行う。一方、ＣＰＵ負荷が小さい場合は、９０４で、高周波数を制限しない通常の圧縮を行う。
【００３５】
図９のＡ以降は、圧縮した画像を復元する処理を示す。９０５、９０４に対応して、高い空間周波数を制限した場合は、９０８で、高い空間周波数を制限した形で復元する。高い空間周波数を制限した場合は、９０７で普通の解凍をする。すなわち、この場合の解凍においては、あえて高い周波数成分を考慮する必要が無いため、Ａからの流れは、９０７を介して９０９へ進む。
【００３６】
９０９で、制御のための一般的な画像処理を行う。９１０では、例えば、撮影画像から取得した対象物との距離に応じた各種アクチュエータに出力指令値を算定する（この手法は、公知）。９１２で、制御オン／オフを判断し、オフの場合は処理を終了し、オンの場合は、Ｂ、すなわち、９０１へ戻る（ここでは、特に、制御の内容に言及しない）。
【００３７】
なお、本実施の形態３は、特許請求の範囲の請求項４の車両用画像処理装置に対応する。すなわち、前記特性決定手段（特性変更装置２５）は、車両制御装置の制御周期を検出する制御周期検出手段（ＣＰＵモニタ１４）を含み、該制御周期検出手段により検出された制御周期が短い場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする。
また、本実施の形態３は、特許請求の範囲の請求項８の車両用画像処理方法に対応する。すなわち、車両周囲を撮像するステップと、撮像された車両周囲の画像データを圧縮するステップと、圧縮された画像データを解凍するステップと、解凍された画像データの画像処理を行うステップと、車両周囲を撮像する際に、車両制御の制御周期が短い場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、を有することを特徴とする。
【図面の簡単な説明】
【図１】本発明の実施の形態１の構成図
【図２】空間的圧縮比特性を説明する図
【図３】本発明の実施の形態１のフローチャート
【図４】本発明の実施の形態１のフローチャート
【図５】本発明の実施の形態２の構成図
【図６】本発明の実施の形態２のフローチャート
【図７】本発明の実施の形態２のフローチャート
【図８】本発明の実施の形態３の構成図
【図９】本発明の実施の形態３のフローチャート
【図１０】本発明の実施の形態３のフローチャート
【図１１】従来技術を説明する図
【符号の説明】
１：ＣＣＤカメラ
２：圧縮装置
３：解凍装置（復元装置）
４：画像処理装置
５：車両制御装置
６：ブレーキアクチュエータ
７：ステアリングアクチュエータ
８：スロットルアクチュエータ
９：変速アクチュエータ
１０：レーダ
１１：道路属性検出装置
１２：ナビゲーション装置
１３：ＶＩＣＳ装置
１４：ＣＰＵモニタ
２１：撮像部
２２：伝送部
２３：画像処理部
２４：ＣＰＵ
２５：特性変更装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle image processing apparatus and a vehicle image processing method.
[0002]
[Prior art]
As a conventional technique, there is a vehicular moving image processing method and a vehicular moving image processing apparatus described in JP-A-11-150726.
In this prior art, there is provided a compression method and apparatus for appropriately compressing a moving image taken in a traveling direction photographed from a vehicle without giving a calculation load to hardware such as a CPU (Central Processing Unit) as much as possible. is suggesting.
FIG. 11 is a diagram for explaining a conventional example.
1 is a CCD (Charge Coupled Device) camera, 2 is a compression device, 3 is a decompression device, 4 is an image processing device, 5 is a vehicle control device, 6 is a brake actuator, 7 is a steering actuator, and 8 is a throttle actuator. , 9 is a speed change actuator, 21 is an imaging unit, 22 is a transmission unit, 23 is an image processing unit, and 24 is a CPU.
Specifically, as shown in the configuration diagram of FIG. 11, the image data captured by the CCD camera 1 is compressed and encoded by the compression device 2 according to the degree of change in the image accompanying the movement of the vehicle. The first region having a small change and the second region having a large change are divided, and compression encoding is performed using a compression method suitable for each region. For example, the first area is compression-encoded by a compression method suitable for a still image, and the second area is compression-encoded by a compression method suitable for a moving image.
[0003]
[Problems to be solved by the invention]
In the configuration of the above-described conventional example, the division region and the compression method are set based on the captured image, so the image information is sequentially analyzed to analyze the road portion and select a preferable compression method. Therefore, it is necessary to analyze the entire image. Further, since the position of the road side wall, the position of the vehicle in front of the vehicle, and the like can generally be predicted on the image, the divided areas and the compression method can be set according to the prediction. However, considering the discontinuity of the road shape and road side wall and the possibility of disturbance, it is necessary to periodically check the entire image configuration. Further, if there is no particular trigger for confirmation, the entire image configuration must be searched at a random time. This means that in order to quickly determine the situation, it is necessary to frequently confirm the positional relationship of the entire image, which increases the burden on the CPU 24. If the search cycle for the whole image is extended, the burden on the CPU 24 is reduced, but it involves problems such as discovery of an object being detected or a necessary portion of the image is deteriorated.
Further, since the selection of the compression method is not configured to be changed based on the control cycle information of the vehicle control device 5, when trying to configure the image processing and the vehicle control processing by the CPU 24 of the same computer, Processing related to computation cannot be efficiently distributed, and a CPU 24 with higher performance than necessary is required, which increases the cost of the entire system.
[0004]
An object of the present invention is to provide a vehicle image processing apparatus and a vehicle image processing method capable of performing appropriate image compression / decompression according to the situation without observing a captured image.
[0005]
[Means for Solving the Problems]
  In order to solve the above problems, the present invention adopts a configuration as described in the claims.
  That is, the image processing apparatus for a vehicle according to claim 1Imaging means for imaging the surroundings of the vehicle, compression means for compressing the image data captured by the imaging means, decompression means for decompressing the image data compressed by the compression means, and image data obtained from the decompression means Based on the image processing means for performing image processing and the vehicle control situation or the vehicle surrounding situation when the imaging means has taken an image, the compression characteristics of the compression means and the decompression characteristics of the decompression means are determined and determined. Characteristic compression means and characteristic determining means for indicating the compression characteristics and the decompression characteristics to the compression means and the decompression means, respectively.It is characterized by that.
  The vehicle image processing device according to claim 2 is the vehicle image processing device according to claim 1,The characteristic determining meansIncludes road attribute detection means for detecting road attributes, and when the road attribute detection means detects a highway,The characteristic determining meansIs the spatiotemporal thinning amountDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so thatSpatio-temporal thinning amount when it is detected as a non-highwayDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so that theIt is characterized by doing.
  The vehicle image processing device according to claim 3 is the vehicle image processing device according to claim 1,The characteristic determining meansIncludes traffic density detection means for detecting the traffic density around the vehicle, and when the traffic density detected by the traffic density detection means is small,The characteristic determining meansIs the spatiotemporal thinning amountDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so thatSpatiotemporal thinning amount when traffic density is highDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so that theIt is characterized by doing.
  The vehicle image processing device according to claim 4 is the vehicle image processing device according to claim 1,The characteristic determining meansIncludes control cycle detection means for detecting the control cycle of the vehicle control device, and when the control cycle detected by the control cycle detection means is short,The characteristic determining meansIs the spatiotemporal thinning amountDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so thatSpatio-temporal thinning amount when the control cycle is longDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so that theIt is characterized by doing.
  The image processing method for a vehicle according to claim 5 is:Imaging a vehicle periphery, compressing captured image data around the vehicle, decompressing the compressed image data, performing image processing on the decompressed image data, and capturing the vehicle periphery Determining a compression characteristic when compressing image data and a decompression characteristic when decompressing the compressed image data based on a vehicle control situation or a vehicle surrounding situation whenIt is characterized by that.
  According to a sixth aspect of the present invention, there is provided a vehicle image processing method.Imaging a vehicle periphery, compressing captured image data around the vehicle, decompressing the compressed image data, performing image processing on the decompressed image data, and capturing the vehicle periphery If you are driving on an expressway, determine the compression characteristics when compressing the image data and the decompression characteristics when decompressing the image data so that the spatiotemporal thinning amount increases. Determining the compression characteristics when compressing the image data and the decompression characteristics when decompressing the image data so as to reduce the spatiotemporal thinning amount when not traveling on the expressway; HaveIt is characterized by that.
  The image processing method for a vehicle according to claim 7 is:Imaging a vehicle periphery, compressing captured image data around the vehicle, decompressing the compressed image data, performing image processing on the decompressed image data, and capturing the vehicle periphery When the traffic density around the vehicle is small, the compression characteristics when compressing image data and the decompression characteristics when decompressing image data are set so that the spatiotemporal thinning amount increases. If the traffic density around the vehicle is high, the image data is reduced so that the spatiotemporal thinning amount becomes small. Determining compression characteristics when compressing data and decompression characteristics when decompressing image data.It is characterized by that.
  The image processing method for a vehicle according to claim 8 comprises:Imaging a vehicle periphery, compressing captured image data around the vehicle, decompressing the compressed image data, performing image processing on the decompressed image data, and capturing the vehicle periphery When the vehicle control cycle is short, the compression characteristics when compressing image data and the decompression characteristics when decompressing image data are determined so that the spatiotemporal thinning amount increases. Determining a compression characteristic when compressing image data and a decompression characteristic when decompressing image data so that the spatiotemporal thinning amount is reduced when the control cycle is longIt is characterized by that.
【The invention's effect】
  According to the vehicle image processing device of claim 1, the image processing unit compresses the image in time and space, transmits the image from the image capturing unit to the image processing unit, decompresses the image processing unit using the decompression device, and restores the original image. In a configuration in which information is restored to near information and image processing is performed on the image information by an image processing device,The compression characteristics of the compression means and the decompression characteristics of the decompression means are determined based on the vehicle control situation or the vehicle surrounding situation when the imaging means captures the image, and the determined compression characteristics and the decompression characteristics are determined. Instruct the compression means and the decompression means respectively.With the configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing an acquired image from the imaging apparatus. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
  According to the vehicular image processing apparatus of claim 2, the characteristic of claim 1 is obtained.DecisionAs a specific condition, the characteristics of the compression device and decompression device are determined in a feedforward manner based on the judgment of a highway and a non-highway such as an urban area using road attributes acquired by a navigation system or the like.DecisionBy adopting such a configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the acquired image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
  According to the vehicular image processing apparatus of claim 3, the characteristics of claim 1 are obtained.DecisionAs a specific condition, the characteristics of the compressor and decompressor are feedforwardly determined from the information on the traffic density obtained from laser radar and infrastructure.DecisionBy adopting such a configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the acquired image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
  According to the vehicle image processing apparatus of claim 4, the characteristics of claim 1 are obtained.DecisionAs a specific condition, the characteristics of the compression device and the decompression device are feedforwardly determined from information on the vehicle such as the traveling speed.DecisionBy adopting such a configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the acquired image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
  According to the vehicle image processing method of claim 5, the captured image information is compressed in space and time, decompressed, restored to information close to the original image, and image processing is performed on the image information. InA compression characteristic when compressing image data and a decompression characteristic when decompressing the compressed image data are determined on the basis of the vehicle control situation or the vehicle surrounding situation when imaging the surroundings of the vehicle.With the configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the captured image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
  According to the vehicle image processing method of claim 6., SpecialSexDecisionAs a specific condition, the compression and decompression characteristics are fed-forward in a feedforward manner based on the judgment of highways and non-highways such as urban areas using road attributes acquired by a navigation system.DecisionBy adopting such a configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the acquired image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
  According to the vehicle image processing method of claim 7., SpecialSexDecisionAs a specific condition, the compression and decompression characteristics are fed forward from the information on traffic density obtained from laser radar and infrastructure.DecisionBy adopting such a configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the acquired image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
  According to the vehicle image processing method of claim 8., SpecialAs a specific condition for determining the characteristics, the compression and decompression characteristics are fed forward based on information about the vehicle such as the traveling speed.DecisionBy adopting such a configuration, it is possible to perform appropriate image compression / decompression according to the situation without observing the acquired image. This can realize an optimal object detection rate on each road. Further, when the CPUs of the control system and the image processing system are the same, efficient CPU work sharing can be performed.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1
FIG. 1 is a block diagram showing the configuration of the vehicle image processing apparatus according to Embodiment 1 of the present invention.
1 is a CCD camera (electronic camera), 2 is a compression device, 3 is a decompression device, 4 is an image processing device, 5 is a vehicle control device, 6 is a brake actuator, 7 is a steering actuator, 8 is a throttle actuator, 9 is A speed change actuator, 10 is a radar, 21 is an imaging unit, 22 is a transmission unit, 23 is an image processing unit, 24 is a CPU, 25 is a characteristic change device, 11 is a road attribute detection device, and 12 is a navigation device.
As shown in FIG. 1, in the first embodiment, as a basic configuration as a premise of the invention, for example, a CCD camera 1 (including its driver and shutter control) that is an imaging device, imaging information by the CCD camera 1 The signal from the compression device 2 is input to the compression device 2 that converts the space-time and the space from the compression device 2, the transmission unit 22 that connects the imaging unit 21 and the image processing unit 22, and the CCD camera 1. Decompression apparatus 3 that restores the captured information, image processing apparatus 4 that processes the information after decompression, vehicle control apparatus 5 that operates based on the processing results regarding the surrounding information of the vehicle obtained by the image processing apparatus 4, and image processing apparatus 4 and a CPU 24 including a vehicle control device 5, a brake actuator 6 for a vehicle specifically driven by signal transmission from the vehicle control device 5, and a steering actuator 7, a throttle actuator 8, the shift actuator 9, to monitor the front of the vehicle, there is a radar 10 which outputs signals for indicating the inter-vehicle distance or the like of the preceding vehicle to the vehicle control device 5.
In addition to the above basic configuration, there is a characteristic changing device 25 having a road attribute detecting device 11 including a navigation device 12 which is the point of the present invention, and its output is connected to the compressing device 2 and the decompressing device 3. Has been. In the first embodiment, a specific system of the road attribute detection device 11 is a navigation device 12 with a GPS (Global Positioning System), and detects the location of the host vehicle by GPS or the like. Refer to the map that includes the location in the navigation. Then, the road attribute information described in the map is acquired, and road attributes such as “automobile road”, “highway”, “general national road”, and “urban area” are transmitted to the compression device 2 and the decompression device 3. In the following description, “highway” and “automobile road” are described as “highway”, and other roads are described as “non-highway”.
[0007]
FIG. 2 is a diagram for explaining the spatial compression ratio characteristics in the first embodiment.
[0008]
First, when the road attribute detection device 11 determines “highway”, this signal is input to the compression device 2. Here, as shown in FIG. 2, the spatial frequency that is the upper limit at the time of compression is set low, and fine information with a high spatial frequency is lost in the compression stage. In general, on highways, the presence of humans and thin objects does not need to be considered much in detecting obstacles, so only attention is paid to large vehicles. Therefore, if we focus only on objects with a low spatial frequency, ACC (Adaptive Cruise Control: a system that lowers the set speed when there is a preceding vehicle slower than the set speed of the host vehicle) and brake control Generally available. This signal is also input to the decompression device 3 in synchronization (it is not always necessary to input it in synchronization), and the compressed signal is decompressed in consideration of the upper limit frequency when decompressing. The decompressed image is an image in which a component with a high spatial frequency is missing. However, due to the existence of an object on the expressway, even if a component with a high spatial frequency is missing, it does not become a big problem. Also, in the image processing apparatus 4, if the image does not include a high frequency, the size of the window and the movement amount can be changed to reduce the calculation amount of the image processing itself.
[0009]
In a decompressed image when the spatial frequency is suppressed to a low level, there is basically no information loss due to compression / decompression on a large object such as a car as compared with the current image. Some contours may be blurred. On the other hand, a thin object or an object whose luminance frequently changes in the current image cannot be finely restored when decompressed. However, there is still no major problem on the highway.
[0010]
When the road attribute detection device 11 determines that the road is a “non-highway”, it is generally a general road with many pedestrians and bicycles. In this case, information including a high spatial frequency is important information. It becomes. Therefore, the compression device 2 and the decompression device 3 also have characteristics that do not limit a high spatial frequency, and the degradation of the restored image after decompression is small. You can see the details even after restoration. In contrast to the restored image obtained when the spatial frequency is suppressed to a low level, the restored image obtained when the high spatial frequency is not limited enables finer object expression. By inputting the restored image, the image processing apparatus 4 can detect a fine object. However, the amount of calculation for image processing is larger than that for a restored image in which a high frequency is limited.
[0011]
Next, the flow of the first embodiment is shown in FIGS.
[0012]
First, at 301, a road image ahead is captured. In 302, the attribute of the road on which the host vehicle is currently traveling is detected by the road attribute detection device 11 including the navigation device 12. In 303, if the road attribute is a highway, go to 305, otherwise go to 304. In the case of a highway, the high spatial frequency is limited and compressed at 305 (that is, the characteristic changing device 25 instructs changing the characteristic to increase the spatiotemporal thinning amount). On the other hand, if it is not a highway, compression is performed without limiting a high spatial frequency at 304 (that is, the characteristic changing device 25 instructs changing the characteristic to reduce the spatiotemporal thinning amount).
[0013]
Next, the process after A in FIG. 3 shows a process of restoring a compressed image. In 306, if it is an expressway corresponding to 305 and 304, it decompress | decompresses in the form which restricted the high spatial frequency in 308. If the road is a general road that is not an expressway, normal decompression is performed at 307. That is, in the decompression in this case, since it is not necessary to consider a high frequency component, the flow from A proceeds to 309 via 307.
[0014]
At 309, general image processing for control is performed. In 310, for example, output command values are calculated for various actuators (brake actuator 6, steering actuator 7, throttle actuator 8, and shift actuator 9) according to the distance from the object acquired from the captured image (this method is publicly known). ). In 312, control ON / OFF is determined. If it is OFF, the process ends. If it is ON, the process returns to B, that is, 301 (here, the contents of control are not particularly mentioned).
[0015]
Next, the effect will be described. Here, attention is paid to a lane keeping device, an ACC device, and the like. In ITS (Intelligent Transport System), which recognizes the surrounding situation and controls various actuators of the vehicle based on the result, the CPU is shared for image processing and control. Is preferred. Thereby, the system cost can be reduced. In general, when traveling on a highway, an ITS control controller needs to control a small amount of operation with a relatively short control cycle when the steering or acceleration / deceleration of a vehicle traveling at high speed is controlled by an actuator. . This is because the vehicle is traveling at a high speed, and unless the steering control or acceleration / deceleration control is delicate, the vehicle behavior becomes inappropriate and the driver feels uncomfortable. In this case, the control load increases.
[0016]
On the other hand, in the case of traveling in an urban area, generally, if the speed is 40 km / h or less, the control load is not large because the vehicle behavior control does not require a very delicate control cycle or control amount. The relationship between the control loads related to this control and the relationship between the image processing apparatuses are considered in parallel. As a general system configuration, the CCD camera 1 and the compression device 2 that are imaging devices are installed on a rearview mirror or the like, and are installed as a system having individual CPUs. A signal from the compression device 2 is input to a controller (image processing unit 23) including the decompression device 3, the image processing device 4, and the vehicle control device 5 through serial communication or the like.
[0017]
In this latter controller, it is considered to share the CPU and reduce the cost of the system.
[0018]
As described above, on a highway, since a restored image in which a high spatial frequency component is limited is processed, the processing load of image processing is small. On the other hand, on non-highways, since a fine image having a high frequency is processed, the calculation burden of image processing is large.
[0019]
As described above, on highways, the image processing burden is small, but the computation burden for control is large. On non-highways, the image processing burden is large, but the computational burden for control is small. From this relationship, it is possible to use the computing power of the CPU accurately and in a balanced manner, and there is no need to prepare more CPU capacity than necessary. That is, the conditions used when changing the compression characteristics are characterized in that the load on the control system is small when the load on the image system is large, and the load on the control system is large when the load on the image system is small. CPU can be operated efficiently.
[0020]
  The first embodiment corresponds to the vehicle image processing apparatus according to claim 1 of the claims. That is,An image pickup means (CCD camera 1) for picking up an image around the vehicle, a compression means (compressor 2) for compressing image data picked up by the image pickup means, and a decompression means (decompressing means) for decompressing the image data compressed by the compression means Based on the decompression device 3), the image processing means (image processing device 4) that performs image processing of the image data obtained from the decompression means, and the vehicle control situation or the vehicle surrounding situation when the imaging means captures the image, Characteristic determining means (characteristic changing device 25) for determining the compression characteristics of the compression means and the decompression characteristics of the decompression means, and instructing the compression characteristics and the decompression characteristics to the compression means and the decompression means, respectively. And havingIt is characterized by that. In other words, as in the above-described conventional example, the compression characteristics (compression rate) are such that the minimum necessary image information can be ensured for vehicle control, instead of dividing the image at a fast or slow update cycle and changing the compression method. )DecisionTo do. Therefore, unnecessary information (fine image) is deleted in vehicle control.
  The first embodiment corresponds to the vehicular image processing apparatus according to claim 2 of the claims. That is,The characteristic determining meansIncludes road attribute detection means (road attribute detection device 11) for detecting road attributes, and when the road attribute detection means detects that the road is an expressway,The characteristic determining meansIs the spatiotemporal thinning amountDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so thatSpatio-temporal thinning amount when it is detected as a non-highwayDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so that theIt is characterized by doing.
  The first embodiment corresponds to the image processing method for a vehicle according to claim 5 of the claims. That is,Imaging a vehicle periphery, compressing captured image data around the vehicle, decompressing the compressed image data, performing image processing on the decompressed image data, and capturing the vehicle periphery Determining a compression characteristic when compressing image data and a decompression characteristic when decompressing the compressed image data based on a vehicle control situation or a vehicle surrounding situation whenIt is characterized by that.
  The first embodiment corresponds to the vehicle image processing method according to claim 6 of the claims. That is,Imaging a vehicle periphery, compressing captured image data around the vehicle, decompressing the compressed image data, performing image processing on the decompressed image data, and capturing the vehicle periphery If you are driving on an expressway, determine the compression characteristics when compressing the image data and the decompression characteristics when decompressing the image data so that the spatiotemporal thinning amount increases. Determining the compression characteristics when compressing the image data and the decompression characteristics when decompressing the image data so as to reduce the spatiotemporal thinning amount when not traveling on the expressway; HaveIt is characterized by that.
[0021]
Embodiment 2
In Embodiment 1, it is determined by the road attribute determination means (road attribute detection device 11) whether it is a highway or a non-highway. As an essential function of this discriminating means, the compression technique is applied to scenes that do not interfere with image processing even if high spatial frequencies are deleted when decompressing by compression conversion to low spatial frequencies. There is to do. In the first embodiment, the scenes are classified as highways or non-highways. In the second embodiment, the determination is made based on the traffic density around the vehicle.
[0022]
Specifically, as shown in FIG. 5, in the first embodiment shown in FIG. 1, in addition to the road attribute detection device 11 having the navigation device 12, a VICS device (Vehicle Information and Communication System). 13 has been added. As described above, when the road is crowded, whether it is an expressway or a general road, the distance between the host vehicle and the surrounding vehicle is shortened, and the surrounding obstacle becomes a large image. In this case, a compression / decompression function that does not include even a high spatial frequency can be used. On the other hand, when the traffic is not congested, the image of the surrounding vehicle becomes small as a result. Therefore, it is necessary to capture the surrounding object as a fine image. Therefore, in this case, compression / decompression including a high spatial frequency is performed. However, as will be described later, when there is no traffic jam, the compression / decompression characteristics are determined by the same determination as in the first embodiment. In the above determination, a preferable limited spatial frequency at the time of compression is determined by an algorithm in the road attribute detection device 11.
[0023]
In this case, the degree of traffic congestion around the host vehicle is determined from the traffic jam information obtained as infrastructure information such as VICS, the host vehicle position, and the host vehicle travel location, and the compression / decompression spatial frequency is determined based on the above-described relationship.
[0024]
Next, the relationship with the control method in the case of this Embodiment 2 is demonstrated. When traffic is congested, devices that are used during high-speed driving such as ACC and lane keeping support systems (systems that automatically drive in the white line of the road) cannot be used. Therefore, it is necessary to detect a contact relationship with a vehicle in the vicinity of the host vehicle, such as an inching device (a device that automatically follows a preceding vehicle in a traffic jam). In this control, even if there is some sense of incongruity, it is necessary to apply the brake quickly in order to avoid contact with surrounding vehicles, and the CPU image processing load reduced by sensing is used for the algorithm on the control side. . On the other hand, when there is no traffic jam, the system according to the first embodiment is activated and the compression / decompression characteristics are changed according to the road attributes.
[0025]
Next, the flow of the second embodiment is shown in FIGS.
[0026]
At 601, a forward road image is captured. In 602, the road attribute where the vehicle is traveling is detected by the road attribute detection device 11 including the navigation device 12. If it is an expressway, the process proceeds to 603, and it is determined whether or not the host vehicle is present on the congested road by the VICS signal from the VICS device 13. If there is no traffic jam, at 604, it is considered that the vehicle is traveling at high speed, and compression is performed with a high spatial frequency limited.
[0027]
On the other hand, when the speed is not high at 602 or when there is traffic congestion at high speed at 603, it is determined that the vehicle is not traveling at high speed, and at 605, normal compression that does not limit the high spatial frequency is performed.
[0028]
In FIG. 6A and subsequent figures, processing for restoring a compressed image is shown. If a high spatial frequency is limited in 606 corresponding to 604 and 605, decompression is performed in a form in which the high spatial frequency is limited in 608. If you do not limit high spatial frequencies, use normal thawing. That is, in the decompression in this case, since it is not necessary to consider a high frequency component, the flow from A proceeds to 609 via 607.
[0029]
At 609, general image processing for control is performed. In 610, for example, output command values are calculated for various actuators according to the distance from the object acquired from the captured image (this method is publicly known). At 612, control on / off is determined. If it is off, the process is terminated. If it is on, the process returns to B, that is, 601 (here, the contents of control are not particularly mentioned).
[0030]
  The second embodiment corresponds to the vehicular image processing apparatus according to claim 3 of the claims. That is,The characteristic determining means(Characteristic change device 25) includes traffic density detection means (VICS device 13) for detecting the traffic density around the vehicle, and when the traffic density detected by the traffic density detection means is small,The characteristic determining meansIs the spatiotemporal thinning amountDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so thatSpatiotemporal thinning amount when traffic density is highDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so that theIt is characterized by doing.
  The second embodiment corresponds to the vehicle image processing method according to claim 7 of the claims. That is,Imaging a vehicle periphery, compressing captured image data around the vehicle, decompressing the compressed image data, performing image processing on the decompressed image data, and capturing the vehicle periphery When the traffic density around the vehicle is small, the compression characteristics when compressing image data and the decompression characteristics when decompressing image data are set so that the spatiotemporal thinning amount increases. Determine the compression characteristics when compressing image data and the decompression characteristics when decompressing image data so that the spatio-temporal thinning amount decreases when the traffic density around the vehicle is large And having a step ofIt is characterized by that.
[0031]
Embodiment 3
A configuration of the third embodiment is shown in FIG.
In the third embodiment, attention is paid to the balance between the calculation amount of the CPU 24 of the image processing system (image processing apparatus 4) and the calculation amount of the CPU 24 of the control system (vehicle control apparatus 5). In the case of the third embodiment, when the control cycle of the control system is short and the output is a very small amount, the load on the CPU 24 of the control system increases. In the third embodiment, a CPU monitor 14 for detecting the load state of the CPU 24 is provided. When the load of the CPU 24 of the control system is increased by the CPU monitor 14, a high space is required for the image processing system. Give compression / decompression instructions with limited frequency. Conversely, when there is no significant change in the control cycle or operation amount of the control system, and the load on the CPU 24 of the control system is reduced, the aim is to detect as accurately as possible with a high spatial frequency for the image processing system. Give instructions for compression / decompression including.
[0032]
The load of control is large when, for example, the brake operation is being performed, the white line is lost, or the white line is being searched. On the other hand, when the brake actuator control or the like is not performed and a white line or the like is tracked, the control load is considered light.
[0033]
The control flow of the third embodiment is shown in FIGS.
[0034]
First, a front road image is imaged at 901. On the other hand, at 902, the CPU monitor 14 monitors the load of the CPU 24 in the routine for performing vehicle control. In 903, if the load on the CPU 24 is larger than a predetermined value set in advance, compression is performed in 905 to limit the high frequency so that the load on the CPU 24 for control is not further increased by image processing. On the other hand, when the CPU load is small, at 904, normal compression that does not limit the high frequency is performed.
[0035]
In FIG. 9A and subsequent figures, processing for restoring a compressed image is shown. When a high spatial frequency is limited corresponding to 905 and 904, the high spatial frequency is restored in 908 in a limited form. If a high spatial frequency is restricted, normal decompression is performed at 907. That is, in the decompression in this case, since it is not necessary to consider a high frequency component, the flow from A proceeds to 909 via 907.
[0036]
At 909, general image processing for control is performed. In 910, for example, output command values are calculated for various actuators according to the distance from the object acquired from the captured image (this method is publicly known). At 912, control on / off is determined. If it is off, the process is terminated, and if it is on, the process returns to B, that is, 901 (here, the contents of control are not particularly mentioned).
[0037]
  The third embodiment corresponds to the vehicle image processing apparatus according to claim 4 of the claims. That is,The characteristic determining means(Characteristic change device 25) includes control cycle detection means (CPU monitor 14) for detecting the control cycle of the vehicle control device, and when the control cycle detected by the control cycle detection means is short,The characteristic determining meansIs the spatiotemporal thinning amountDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so thatSpatio-temporal thinning amount when the control cycle is longDetermine the compression characteristics of the compression means and the decompression characteristics of the decompression means so that theIt is characterized by doing.
  The third embodiment corresponds to the vehicle image processing method according to claim 8 of the claims. That is,Imaging a vehicle periphery, compressing captured image data around the vehicle, decompressing the compressed image data, performing image processing on the decompressed image data, and capturing the vehicle periphery When the vehicle control cycle is short, the compression characteristics when compressing image data and the decompression characteristics when decompressing image data are determined so that the spatiotemporal thinning amount increases. Determining a compression characteristic when compressing image data and a decompression characteristic when decompressing image data so that the spatiotemporal thinning amount is reduced when the control cycle is longIt is characterized by that.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a first embodiment of the present invention.
FIG. 2 is a diagram for explaining spatial compression ratio characteristics.
FIG. 3 is a flowchart according to the first embodiment of the present invention.
FIG. 4 is a flowchart according to the first embodiment of the present invention.
FIG. 5 is a configuration diagram of a second embodiment of the present invention.
FIG. 6 is a flowchart according to the second embodiment of the present invention.
FIG. 7 is a flowchart according to the second embodiment of the present invention.
FIG. 8 is a configuration diagram of Embodiment 3 of the present invention.
FIG. 9 is a flowchart according to the third embodiment of the present invention.
FIG. 10 is a flowchart according to the third embodiment of the present invention.
FIG. 11 is a diagram for explaining the prior art
[Explanation of symbols]
1: CCD camera
2: Compression device
3: Defrosting device (restoring device)
4: Image processing device
5: Vehicle control device
6: Brake actuator
7: Steering actuator
8: Throttle actuator
9: Variable speed actuator
10: Radar
11: Road attribute detection device
12: Navigation device
13: VICS equipment
14: CPU monitor
21: Imaging unit
22: Transmission unit
23: Image processing unit
24: CPU
25: Characteristic changing device

Claims (8)

車両周囲を撮像する撮像手段と、Imaging means for imaging the surroundings of the vehicle;
前記撮像手段により撮像された画像データを圧縮する圧縮手段と、  Compression means for compressing image data picked up by the image pickup means;
前記圧縮手段によって圧縮された画像データを解凍する解凍手段と、  Decompression means for decompressing the image data compressed by the compression means;
前記解凍手段から得られる画像データの画像処理を行う画像処理手段と、  Image processing means for performing image processing of image data obtained from the decompression means;
前記撮像手段が撮像した際の車両制御状況又は車両周囲状況に基づいて、前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、該決定した圧縮の特性及び該解凍の特性をそれぞれ該圧縮手段及び該解凍手段に指示する特性決定手段と、  The compression characteristics of the compression means and the decompression characteristics of the decompression means are determined based on the vehicle control situation or the vehicle surrounding situation when the imaging means captures the image, and the determined compression characteristics and the decompression characteristics are determined. Characteristic determining means for instructing the compression means and the decompression means respectively;
を有することを特徴とする車両用画像処理装置。A vehicular image processing apparatus characterized by comprising: 前記特性決定手段は、道路属性を検出する道路属性検出手段を含み、該道路属性検出手段により高速道路であると検出した場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、非高速道路であると検出した場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする請求項１に記載の車両用画像処理装置。 The characterization means comprises a road attribute detecting means for detecting a road attribute, when it detects that a highway by the road attribute detector means, the characteristic determining means, when spatial decimation amount increases In this way, the compression characteristics of the compression means and the decompression characteristics of the decompression means are determined, and if it is detected that the road is a non-highway, the compression means of the compression means is reduced so that the spatiotemporal thinning amount is reduced. The vehicular image processing apparatus according to claim 1, wherein a characteristic and a thawing characteristic of the thawing means are determined . 前記特性決定手段は、車両の周囲の交通量密度を検出する交通量密度検出手段を含み、該交通量密度検出手段により検出された交通量密度が小さい場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、交通量密度が大きい場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする請求項１に記載の車両用画像処理装置。 The characteristic determining means includes a traffic density detecting means for detecting a traffic density around the vehicle. When the traffic density detected by the traffic density detecting means is small , the characteristic determining means The compression characteristics of the compression means and the decompression characteristics of the decompression means are determined so as to increase the spatial thinning amount. When the traffic density is large, the spatial and temporal thinning amount is reduced. 2. The vehicular image processing apparatus according to claim 1, wherein a compression characteristic of the compression means and a decompression characteristic of the decompression means are determined . 前記特性決定手段は、車両制御装置の制御周期を検出する制御周期検出手段を含み、該制御周期検出手段により検出された制御周期が短い場合には、該特性決定手段は、時空間的な間引き量が大きくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように前記圧縮手段の圧縮の特性及び前記解凍手段の解凍の特性を決定することを特徴とする請求項１に記載の車両用画像処理装置。 The characteristic determining means includes a control period detecting means for detecting a control period of the vehicle control device, and when the control period detected by the control period detecting means is short , the characteristic determining means The compression characteristics of the compression means and the decompression characteristics of the decompression means are determined so as to increase the amount, and when the control period is long , the compression of the compression means is reduced so that the spatiotemporal thinning amount becomes small. The vehicular image processing apparatus according to claim 1, wherein a characteristic and a thawing characteristic of the thawing means are determined . 車両周囲を撮像するステップと、Imaging the surroundings of the vehicle;
撮像された車両周囲の画像データを圧縮するステップと、  Compressing imaged image data around the vehicle;
圧縮された画像データを解凍するステップと、  Decompressing the compressed image data;
解凍された画像データの画像処理を行うステップと、  Performing image processing of the decompressed image data;
車両周囲を撮像する際の車両制御状況又は車両周囲状況に基づいて、画像データを圧縮する際の圧縮の特性及び該圧縮された画像データを解凍する際の解凍の特性を決定するステップと、  Determining a compression characteristic when compressing image data and a decompression characteristic when decompressing the compressed image data based on a vehicle control situation or a vehicle ambient situation when imaging the vehicle periphery; and
を有することを特徴とする車両用画像処理方法。An image processing method for a vehicle, comprising: 車両周囲を撮像するステップと、Imaging the surroundings of the vehicle;
撮像された車両周囲の画像データを圧縮するステップと、  Compressing imaged image data around the vehicle;
圧縮された画像データを解凍するステップと、  Decompressing the compressed image data;
解凍された画像データの画像処理を行うステップと、  Performing image processing of the decompressed image data;
車両周囲を撮像する際に、高速道路を走行中である場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、高速道路を走行中でない場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、  When capturing images of the surroundings of a vehicle, if the vehicle is traveling on a highway, the compression characteristics when compressing image data so that the spatiotemporal thinning amount increases, and the decompression when decompressing image data Determine the characteristics, and when not driving on the highway, determine the compression characteristics when compressing the image data and the decompression characteristics when decompressing the image data so that the spatiotemporal thinning amount is reduced. Steps,
を有することを特徴とする車両用画像処理方法。An image processing method for a vehicle, comprising: 車両周囲を撮像するステップと、Imaging the surroundings of the vehicle;
撮像された車両周囲の画像データを圧縮するステップと、  Compressing imaged image data around the vehicle;
圧縮された画像データを解凍するステップと、  Decompressing the compressed image data;
解凍された画像データの画像処理を行うステップと、  Performing image processing of the decompressed image data;
車両周囲を撮像する際に、車両の周囲の交通量密度が小さい場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、車両の周囲の交通量密度が大きい場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、  When imaging the surroundings of the vehicle, if the traffic density around the vehicle is small, the compression characteristics when compressing the image data so that the spatiotemporal thinning amount becomes large and the decompression of the image data When the decompression characteristics are determined and the traffic density around the vehicle is large, the compression characteristics when compressing the image data and the decompression when decompressing the image data so that the spatiotemporal thinning amount decreases. Determining the characteristics of
を有することを特徴とする車両用画像処理方法。An image processing method for a vehicle, comprising: 車両周囲を撮像するステップと、Imaging the surroundings of the vehicle;
撮像された車両周囲の画像データを圧縮するステップと、  Compressing imaged image data around the vehicle;
圧縮された画像データを解凍するステップと、  Decompressing the compressed image data;
解凍された画像データの画像処理を行うステップと、  Performing image processing of the decompressed image data;
車両周囲を撮像する際に、車両制御の制御周期が短い場合には、時空間的な間引き量が大きくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定し、制御周期が長い場合には、時空間的な間引き量が小さくなるように画像データを圧縮する際の圧縮の特性及び画像データを解凍する際の解凍の特性を決定するステップと、  When taking a picture of the surroundings of the vehicle, if the control period of the vehicle control is short, the compression characteristics when compressing the image data so that the spatiotemporal thinning amount becomes large and the decompression when decompressing the image data Determining the characteristics, and when the control cycle is long, determining the compression characteristics when compressing the image data and the decompression characteristics when decompressing the image data so as to reduce the spatiotemporal thinning amount; ,
を有することを特徴とする車両用画像処理方法。An image processing method for a vehicle, comprising:
JP2002055726A 2002-03-01 2002-03-01 Image processing apparatus for vehicle and image processing method for vehicle Expired - Fee Related JP3797251B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002055726A JP3797251B2 (en) 2002-03-01 2002-03-01 Image processing apparatus for vehicle and image processing method for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002055726A JP3797251B2 (en) 2002-03-01 2002-03-01 Image processing apparatus for vehicle and image processing method for vehicle

Publications (2)

Publication Number Publication Date
JP2003259354A JP2003259354A (en) 2003-09-12
JP3797251B2 true JP3797251B2 (en) 2006-07-12

Family

ID=28666496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002055726A Expired - Fee Related JP3797251B2 (en) 2002-03-01 2002-03-01 Image processing apparatus for vehicle and image processing method for vehicle

Country Status (1)

Country Link
JP (1) JP3797251B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4735339B2 (en) * 2006-03-03 2011-07-27 日産自動車株式会社 Video display device
KR20070091931A (en) * 2006-03-08 2007-09-12 주식회사 현대오토넷 Vehicles automatic parking system and the control method to use distance sensor and camera
JP2011518383A (en) * 2008-04-18 2011-06-23 テレ アトラス ベスローテン フエンノートシャップ Method for generating a selective compression mask using a collection of laser scanned points
JP2013051522A (en) * 2011-08-30 2013-03-14 Honda Elesys Co Ltd Image compression device, image compression method, and image compression program
JP2017183914A (en) 2016-03-29 2017-10-05 パナソニックＩｐマネジメント株式会社 Image processing apparatus
US11794816B2 (en) 2017-06-16 2023-10-24 Honda Motor Co., Ltd. Automated driving vehicle
DE112018003028T5 (en) 2017-06-16 2020-03-12 Honda Motor Co., Ltd. EVENT VEHICLE SENDING DEVICE, EVENT VEHICLE SENDING PROCEDURE, PROGRAM AND MANAGEMENT SYSTEM
JPWO2018230678A1 (en) * 2017-06-16 2020-06-25 本田技研工業株式会社 In-vehicle production device, in-vehicle production system, in-vehicle production method, program and instruction measuring device
CN110741422A (en) 2017-06-16 2020-01-31 本田技研工业株式会社 Vehicle and service management device

Also Published As

Publication number Publication date
JP2003259354A (en) 2003-09-12

Similar Documents

Publication Publication Date Title
US10745006B2 (en) Managing automated driving complexity of the forward path using perception system measures
CN111263293B (en) Dynamic data compression system and method for use with vehicle data
US20210368109A1 (en) High-speed image readout and processing
US11756345B2 (en) Partial sensor data sharing for connected vehicles
WO2020188928A1 (en) System which carries out decision-making on basis of data communication
CN111038387B (en) Image processing device for vehicle, image processing method, and storage medium
JP3797251B2 (en) Image processing apparatus for vehicle and image processing method for vehicle
US11655893B1 (en) Efficient automatic gear shift using computer vision
US11257193B2 (en) Image processing apparatus
KR20210092319A (en) Detection of sensor occlusion by compressed image data
CN111731318A (en) Vehicle control device, vehicle control method, vehicle, and storage medium
JP7163077B2 (en) PARKING ASSIST DEVICE AND PARKING ASSIST METHOD
US20230035747A1 (en) Systems, Apparatus, and Methods For Transmitting Image Data
JP2024515761A (en) Data-driven dynamically reconstructed disparity maps
US20220048509A1 (en) Vehicular control system with traffic jam assist
WO2021200004A1 (en) Information processing device, and information processing method
US10701369B2 (en) Data transfer circuit and data transfer method
WO2024021083A1 (en) Sensor data transfer with self adaptive configurations for autonomous driving vehicle
US11546503B1 (en) Dynamic image compression for multiple cameras of autonomous vehicles
US20230324529A1 (en) Temporally and spectrally adaptive sonar for autonomous vehicle navigation
JP2019194810A (en) Remote drive management apparatus and program
WO2023079665A1 (en) Drive control system
US20240080571A1 (en) Managing Efficiency of Image Processing
WO2024031333A1 (en) Scalable video compression accelerator for autonomous driving
CN116552561A (en) Vehicle, control device and control method thereof, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060224

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060410

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees