JP7614352B2 - 画像処理システム、画像処理装置、及び画像処理方法 - Google Patents

Description

本発明は、伝送線を介して伝送されるカメラからの画像データを補正する画像処理システム、画像処理装置、及び画像処理方法に関する。

近年、車載カメラ装置の普及により、安全運転や自動運転に向けた各種認識機能への要求が高まってきている。なかでも、ステレオカメラ装置は、画像による視覚的な情報と、対象物への距離情報を同時に計測するため、自動車周辺の様々な対象物（人、車、立体物、路面、路面標識、看板標識など）を詳細に把握でき、運転支援時の安全性の向上にも寄与するとされている。

しかしながら、カメラに使用するＣＭＯＳイメージセンサの解像度が増大するにつれ、画像処理を行うマイコンの発熱量が増加し、ＣＭＯＳイメージセンサと画像処理用マイコンを同一の筐体内に収めることが難しくなっている。そのため、カメラと画像処理用マイコンを搭載する画像処理基板を別体とし、カメラからの画像データを伝送線を介して伝送する構成が考えられる。その場合、伝送線上でのノイズが問題となる。

本技術分野の背景技術として、例えば、特許文献１がある。特許文献１には、車載カメラ装置において、２つの撮像部から送信される画像データ信号やクロック信号、画像の同期信号を画像処理部へ伝送する時に発生する大きな不要輻射ノイズを低減することが記載されている。

特開２０１２－１８６５７４号公報

特許文献１は、２つの撮像部から送信する信号を時間的にずらして信号線上のノイズ量を低減しているが、外部ノイズによる通信エラーの低減については考慮されていない。

本発明は上記課題に鑑み、画像データの伝送線上での外部ノイズによる通信エラーの低減が可能な画像処理システム、画像処理装置、及び画像処理方法を提供することを目的とする。

本発明は、その一例を挙げるならば、外界情報を取得する車載カメラと、車載カメラとは別体で設置され車載カメラで取得した画像データを処理する画像処理装置と、車載カメラと画像処理装置をつなぎ画像データを伝送する伝送線からなる画像処理システムであって、画像処理装置は、伝送線でのノイズを低減するノイズ低減フィルタと、処理プロセッサを有し、処理プロセッサは、伝送線に対するノイズ源としてあらかじめ登録された対象物が画像データに含まれるか否かを判定するノイズ源検知処理部と、画像データにノイズ源が含まれる場合に、あらかじめ登録されたノイズ源の周波数またはノイズレベルに応じて、ノイズ低減フィルタのパラメータを変更するノイズ低減パラメータ決定部を有する。

本発明によれば、画像データの伝送線上での外部ノイズによる通信エラーの低減が可能な画像処理システム、画像処理装置、及び画像処理方法を提供できる。

実施例１の前提となる従来の画像処理システムの構成ブロック図である。 実施例１における画像処理システムの機能構成ブロック図である。 実施例２における画像処理システムの機能構成ブロック図である。

以下、本発明を実施例について図面を参照して説明する。

本実施例では、自動車に搭載する車載カメラによる画像処理システムを例にして説明する。そして、車載カメラを構成するＣＭＯＳイメージセンサから取得した画像データを、シリアルデータとパラレルデータを相互変換する回路であるＳｅｒｄｅｓ（Serializer/Deserializer）などの通信ＩＣを使用して、伝送線を介してデータをシリアル伝送する構成を前提に説明する。

図１は、本実施例の前提となる従来の画像処理システムのハードウェアをイメージした構成ブロック図である。図１において、画像処理システム１００は、カメラ１０１と画像処理装置１０２と、それらをつなぐ伝送線１０３で構成されている。

カメラ１０１は、ＣＭＯＳイメージセンサ１０１１、通信ＩＣ（Ｔｘ）１０１２、コネクタ部（Ｔｘ）１０１３で構成される。

また、画像処理装置１０２は、コネクタ部（Ｒｘ）１０２１、通信ＩＣ（Ｒｘ）１０２２、マイコン１０２４で構成される。なお、マイコン１０２４は、一般的なＣＰＵ（Central Processing Unit）等の処理プロセッサと記憶装置で構成され、処理プロセッサが、記憶装置からそれぞれの機能を実現するプログラムや情報を読み出して、例えばカメラで撮像した対象物の認識処理をソフトウェア処理することにより実行し、その認識結果に応じて車両制御を行う。

Ｓｅｒｄｅｓを使用した通信手法では、そのままでは、基板、コネクタ、伝送線をはじめとした通信経路上の損失などで信号が劣化し、正常な通信を行うことが難しい。そのため既存技術では、受信側の通信ＩＣである通信ＩＣ（Ｒｘ）１０２２に、通信品質の確保のためContinuous Time Linear Equalizer（以下、ＣＴＬＥ）、Decision Feedback Equalizer（以下、ＤＦＥ）などの等化器の機能が搭載されており、この機能を使用して信号波形が劣化した場合に波形の補正を行っている。なお、図１では、通信ＩＣ（Ｒｘ）１０２２内のＤＦＥをノイズ低減フィルタ１０４としている。

通常の補正であればＣＴＬＥで対応可能であるが、ＣＴＬＥはノイズ成分も増幅する可能性が有るため、高速通信ではＣＴＬＥに加えてＤＦＥを併用する傾向にある。ＤＦＥはフィードバック制御を用いた補正を行うが、車両の周囲に電波塔や無線通信エリアなどがある場合、また近傍で無線通信が行われた場合等、短時間に大きな外部ノイズを受ける場合がある。この外部ノイズが等化器の補正可能範囲を超えた場合、等化器による補正制御が間に合わず通信エラーが発生する可能性が有る。

そこで、本実施例では、外界情報からノイズ源を確認することで、ノイズ源に応じたノイズ低減フィルタのパラメータを変更することで信頼性の高い通信処理を可能とする。以下、本実施例の詳細について説明する。

図２は本実施例における画像処理システムの機能構成ブロック図である。図２において、図１と同じ機能は同じ符号を付し、その説明は省略する。図２において、図１と異なる点は、ステレオカメラを用いた構成としておりカメラと伝送線とノイズ低減フィルタが２系統ある点と、信号補正処理部１０２５を有している点である。

図２において、画像処理システム１００は、近方の車両検知手段としてステレオカメラを用いた視差画像の処理による立体物検知を行う画像処理システムである。なお、例えば単眼カメラのみや、単眼カメラとレーダを組み合わせた立体物検知などによっても実施可能である。また、３つ以上の複数のカメラを用いてもよい。

ステレオ画像は、カメラ１０１およびカメラ１０９によって撮像される。画像処理装置１０２は伝送線１０３および１１０を経由して画像データを受け取る。撮像された画像データは、ノイズ低減フィルタ１０４および１１１を通して認識処理部１０２６に送られ、視差画像の処理による対象物との距離情報の算出、及び対象物の認識処理を行う。

一方、撮像された画像データの補正を行うノイズ低減フィルタ１０４および１１１は、信号補正処理部１０２５によって補正量を制御される。すなわち、ノイズ低減フィルタ１０４および１１１からの撮像された画像データは、外界情報としてノイズ源検知処理部１０５に送られる。ノイズ源検知処理部１０５では、外界情報と、あらかじめ記憶領域１０７に収められたノイズ源情報保存部１０８に登録された対象物の画像とを参照して、外界情報の画像データ内にノイズ源となる対象物が含まれるか否かを判定する。そして、対象物が含まれる場合、ノイズ源検知処理部１０５は、ノイズ源情報保存部１０８に登録された、その対象物に対応した周波数やノイズレベルなどのノイズ源の詳細情報を取得する。

カメラで取得する外界情報としては、例えば、鉄塔、雷、携帯電話基地局、パンタグラフや、無線通信を行うタクシー、中継車両、軍用車両、また、高圧送電などの標識等の画像であり、ノイズ源検知処理部１０５は、それらをノイズ源とする情報を取得する。

取得したノイズ源の詳細情報と、認識処理部１０２６で算出したノイズ源までの距離情報は、ノイズ低減パラメータ決定部１０６に送られる。ノイズ低減パラメータ決定部１０６では、この送られた情報から、ノイズ低減フィルタの補正量を決定し、ノイズ低減フィルタのパラメータを補正する。すなわち、ノイズ低減フィルタのパラメータをフィードフォワード制御により補正する。

このように、信号補正処理部１０２５は、まず撮像された画像を確認し、画像内にノイズ源となる対象を確認した場合、フィルタの補正を開始する。なお、撮像された画像にノイズ源が確認されなければフィルタの補正処理は実施しない。そして、ノイズ源の周波数やノイズレベルを外界情報の画像から特定し、周波数、ノイズレベル、ノイズ源までの距離情報の何れか１つ、または複数の情報によって、ノイズ低減フィルタの補正量と補正タイミングを変更するよう信号を送信し、外部ノイズによる通信エラーを抑制する。

なお、ノイズ低減フィルタの補正は、例えばＳｅｒｄｅｓ内のイコライザを用いて実施する。通常Ｓｅｒｄｅｓは、フィルタ補正用としてＣＴＬＥとＤＦＥの２種のイコライザをもつ。またＤＦＥのノイズ補正パラメータは、レジスタ設定を変更することで、ノイズの補正量を設定することができる。例えば、ノイズ補正量を設定するレジスタ領域を、Ｉ２Ｃ（Inter-Integrated Circuit）などのＳｅｒｄｅｓが備えるインターフェースを用いて書き換えることで、あらかじめ設定した補正量を一定の範囲でリアルタイムに補正することができる。

このように、本実施例によれば、外界情報である撮像した画像からノイズ源を判別し、ノイズ源に応じてノイズ低減フィルタのパラメータを変更することで通信エラーの発生を抑制し、信頼性の高い通信処理が可能となる。これにより、画像データの伝送線上での外部ノイズによる通信エラーの低減が可能な画像処理システム、画像処理装置、及び画像処理方法を提供できる。

図３は本実施例における画像処理システムの機能構成ブロック図である。図３において、図２と同じ機能は同じ符号を付し、その説明は省略する。図３において、図２と異なる点は、ノイズ低減パラメータ決定部１０６への入力として、車速情報１１２を設けた点である。

車速が早いと単位時間当たりの移動距離が大きくなる。そのために、図３に示すように、ノイズ低減パラメータ決定部１０６において、車速情報により車速が早い場合は、ノイズ低減フィルタの補正タイミングの間隔を短くする等の処理を行う。

このように、本実施例によれば、実施例１の効果に加えて、より最適なノイズ低減フィルタの補正タイミングでノイズ低減フィルタのパラメータを変更することができ、より信頼性の高い通信処理が可能となる。

以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例では画像データの伝送におけるノイズ低減について説明したが、画像データに限定するものではなく、音声データについても適用可能である。また、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

１００：画像処理システム、１０１、１０９：カメラ、１０２：画像処理装置、１０３、１１０：伝送線、１０４、１１１：ノイズ低減フィルタ、１０５：ノイズ源検知処理部、１０６：ノイズ低減パラメータ決定部、１０７：記憶領域、１０８：ノイズ源情報保存部、１１２：車速情報、１０１１：ＣＭＯＳイメージセンサ、１０１２：通信ＩＣ（Ｔｘ）、１０１３：コネクタ部（Ｔｘ）、１０２１：コネクタ部（Ｒｘ）、１０２２：通信ＩＣ（Ｒｘ）、１０２４：マイコン、１０２５：信号補正処理部、１０２６認識処理部

Claims (10)

1. 外界情報を取得する車載カメラと、前記車載カメラとは別体で設置され前記車載カメラで取得した画像データを処理する画像処理装置と、前記車載カメラと前記画像処理装置をつなぎ前記画像データを伝送する伝送線からなる画像処理システムであって、
   前記画像処理装置は、前記伝送線でのノイズを低減するノイズ低減フィルタと、処理プロセッサを有し、
   前記処理プロセッサは、
   前記伝送線に対するノイズ源としてあらかじめ登録された対象物が前記画像データに含まれるか否かを判定するノイズ源検知処理部と、
   前記画像データに前記ノイズ源が含まれる場合に、あらかじめ登録された前記ノイズ源の周波数またはノイズレベルに応じて、前記ノイズ低減フィルタのパラメータを変更するノイズ低減パラメータ決定部を有することを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムにおいて、
   前記車載カメラは複数であって、複数の前記車載カメラからのそれぞれの画像データを伝送する複数の伝送線を有し、
   前記複数の伝送線からのそれぞれの画像データのノイズを低減する複数の前記ノイズ低減フィルタを有し、
   前記処理プロセッサは、
   複数の前記車載カメラからの視差画像の処理による対象物との距離情報を算出し、
   前記ノイズ低減パラメータ決定部は、前記対象物との距離情報に応じて、複数の前記ノイズ低減フィルタのそれぞれのパラメータを補正することを特徴とする画像処理システム。
3. 請求項１に記載の画像処理システムにおいて、
   前記ノイズ低減パラメータ決定部は、車速情報を用いて前記ノイズ低減フィルタのパラメータの補正タイミングを決定することを特徴とする画像処理システム。
4. 請求項１に記載の画像処理システムにおいて、
   前記画像データの伝送は、Ｓｅｒｄｅｓを用いたシリアル伝送であって、
   前記ノイズ低減フィルタは、通信ＩＣ内の等化器であることを特徴とする画像処理システム。
5. 外界情報を取得する車載カメラからの画像データを伝送線を介して入力し処理する画像処理装置であって、
   前記伝送線でのノイズを低減するノイズ低減フィルタと、処理プロセッサを有し、
   前記処理プロセッサは、
   前記伝送線に対するノイズ源としてあらかじめ登録された対象物が前記画像データに含まれるか否かを判定するノイズ源検知処理部と、
   前記画像データに前記ノイズ源が含まれる場合に、あらかじめ登録された前記ノイズ源の周波数またはノイズレベルに応じて、前記ノイズ低減フィルタのパラメータを変更するノイズ低減パラメータ決定部を有することを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記車載カメラは複数であって、それぞれの前記車載カメラからの画像データを伝送する複数の伝送線からのそれぞれの画像データのノイズを低減する複数の前記ノイズ低減フィルタを有し、
   前記処理プロセッサは、
   複数の前記車載カメラからの視差画像の処理による対象物との距離情報を算出し、
   前記ノイズ低減パラメータ決定部は、前記対象物との距離情報に応じて、複数の前記ノイズ低減フィルタのそれぞれのパラメータを補正することを特徴とする画像処理装置。
7. 請求項５に記載の画像処理装置において、
   前記ノイズ低減パラメータ決定部は、車速情報を用いて前記ノイズ低減フィルタのパラメータの補正タイミングを決定することを特徴とする画像処理装置。
8. 外界情報を取得する車載カメラからの画像データを伝送線を介して入力し処理する画像処理方法であって、
   前記伝送線に対するノイズ源としてあらかじめ登録された対象物が前記画像データに含まれるか否かを判定し、
   前記画像データに前記ノイズ源が含まれる場合に、あらかじめ登録された前記ノイズ源の周波数またはノイズレベルに応じて、前記伝送線でのノイズを低減するノイズ低減フィルタのパラメータを変更することを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法において、
   前記車載カメラおよび伝送線は複数であって、
   複数の前記車載カメラからの視差画像の処理による対象物との距離情報を算出し、
   前記画像データに前記ノイズ源が含まれる場合に、前記対象物との距離情報に応じて、複数の前記伝送線からのそれぞれの画像データのノイズを低減する複数の前記ノイズ低減フィルタのそれぞれのパラメータを補正することを特徴とする画像処理方法。
10. 請求項８に記載の画像処理方法において、
    前記画像データに前記ノイズ源が含まれる場合に、車速情報を用いて前記ノイズ低減フィルタのパラメータの補正タイミングを決定することを特徴とする画像処理方法。

Images