JP6035842B2 - 撮像装置、撮像処理方法、画像処理装置および撮像処理システム - Google Patents

Description

本技術は、撮像装置、撮像処理方法、画像処理装置および撮像処理システムに関し、特に、車載カメラ等に適用して好適な撮像装置等に関する。

従来、車両の後部等に配設して車両周辺の撮像画像を得るため車載カメラが知られている（特許文献１等参照）。この車載カメラは、例えば、目視画像データに相当する広角画像データを出力するものであり、俯瞰変換画像データ、縮小画面画像データなどの特殊な画像データを得ることは、後段のカメラＥＣＵ等で行われており、カメラＥＣＵの処理負荷が大きくなっている。

特開２００２−３３０４２８号公報

本技術の目的は、カメラＥＣＵの処理の便宜を図ることにある。

本技術の概念は、
イメージセンサと、
上記イメージセンサで得られる撮像信号に対して、連続した所定数のフレームで互いに異なる処理を施すことを繰り返して各フレームの画像データを得る信号処理部と、
上記各フレームの画像データを順次出力する画像データ出力部とを備える
撮像装置にある。

本技術において、イメージセンサにより、撮像が行われて、撮像信号が得られる。信号処理部により、撮像信号に対して、連続した所定数のフレームで互いに異なる処理を施すことが繰り返えされて各フレームの画像データが得られる。そして、画像データ出力部により、各フレームの画像データが出力される。

例えば、信号処理部は、イメージセンサで得られる撮像信号の連続する２つのフレームのうち、第１のフレームで第１の処理を施して第１のフレーム画像データを得ると共に、第２のフレームで第２の処理を施して第２のフレーム画像データを得る、ようにされてもよい。この場合、例えば、第１のフレーム画像データは目視画像データであり、第２のフレーム画像データは俯瞰変換された画像データであってもよい。そして、この場合、俯瞰変換された画像データは、輝度信号にクロマエッジ信号が重畳されて得られた画像データであってもよい。

また、この場合、第１の画像データは通常の画像データであり、第２のフレーム画像データは輝度信号にクロマエッジ信号が重畳されて得られた画像データであってもよい。また、この場合、第１の画像データは通常の画像データであり、第２の画像データは電子シャッタや露光蓄積方式違いのセンサ画像データであってもよい。また、この場合、第１のフレーム画像データは全画面の画像データであり、第２のフレーム画像データは縮小画面の画像データであってもよい。さらに、この場合、第１のフレーム画像データはカラー画像データであり、第２のフレーム画像データは白黒画像データであってもよい。また、上記画像データは、交互の繰り返しではなく連続したフレームの一部フレームにランダムに施される事でもよい。

このように本技術においては、所定数、例えば２つの異なる処理を施して得られたフレーム画像データを順次出力できる。そのため、例えば、後段のカメラＥＣＵでは、カメラ俯瞰変換画像データ、縮小画面画像データなどの特殊な画像データを得る処理を行うことなく、これらの画像データを取得することが可能となる。従って、カメラＥＣＵの処理負荷を軽減でき、処理の便宜を図ることができる。

なお、本技術において、例えば、信号処理部で得られる各フレームの画像データに、少なくとも所定数のフレームのいずれのフレームであるかを識別する識別情報を含むヘッダを付加するヘッダ付加部をさらに備える、ようにされてもよい。このように各フレームの画像データにヘッダが付加されることで、例えば、後段のカメラＥＣＵでは、各フレームの画像データが如何なる処理が施されたものであるかを取り込み処理開始時点で、これから取り込もうとするフレームの情報を的確かつ容易に判別できるため、適宜選択的に取り込み処理を施せる。

この場合、例えば、ヘッダ付加部は、ヘッダを各フレームの有効画像領域外あるいは有効画像領域内に付加する、ようにされる。ヘッダを有効画像領域内に付加することで、例えば、後段のカメラＥＣＵが有効画像領域のみを取り込む構成であった場合にあっても、このカメラＥＣＵにヘッダ情報を適切に供給できる。例えば、ヘッダを各フレームの有効画像領域内に付加する場合、所定数の画素データのそれぞれ一部のビットを利用して付加する、ようにされてもよい。これにより、有効画像領域内にヘッダが付加されることによる画像データへの影響を抑制できる。

また、本技術の他の概念は、
イメージセンサと、
上記イメージセンサで得られた撮像信号の信号処理に応じ、特異な設定および処理の情報を該当フレームのヘッダ部に識別判別情報として付与する情報付与部とを備える
撮像装置にある。

また、本技術の他の概念は、
イメージセンサと画像処理部を備え、
上記画像処理部は、上記イメージセンサで得られる撮像画像の一部画像に対し、クロマエッジ信号を抽出し、同一方角の輝度信号境界が無い輝度信号に対して、該クロマエッジ信号を重畳する
撮像装置にある。

また、本技術の他の概念は、
画像データを入力する画像データ入力部を備え、
上記画像データは、連続した所定数のフレームで互い、またはランダムに異なる処理を施すことが繰り返されて得られたものであり、各フレームの画像データに少なくとも上記所定数のフレームのいずれのフレームであるかを識別する識別情報を含むヘッダが付加されており、
上記入力された各フレームの画像データを、上記付加されているヘッダに基づいて適応的に処理する処理部をさらに備える
画像処理装置にある。

また、本技術の他の概念は、
撮像装置と画像処理装置とからなり、
上記撮像装置は、
イメージセンサと、
上記イメージセンサで得られる撮像信号に対して、連続した所定数のフレームで互いに異なる処理を施すことを繰り返して各フレームの画像データを得る信号処理部と、
上記各フレームの画像データに、少なくとも上記所定数のフレームのいずれのフレームであるかを識別する識別情報を含むヘッダを付加するヘッダ付加部と、
上記各フレームの画像データを出力する画像データ出力部とを備え、
上記画像処理装置は、
上記画像データを入力する画像データ入力部と、
上記入力された各フレームの画像データを、上記付加されているヘッダに基づいて適応的に処理する処理部とを備える
撮像処理システムにある。

なお、本技術において、ヘッダには、センサ電子シャッタ、センサ・アンプ・ゲイン、レンズ絞り情報、レンズ・フィルタ情報、温度情報、画像微分成分調整パラメータ値、画像諧調調整パラメータ、画像解像度調整パラメータ、フレーム間処理調整パラメータ、照明推定情報、環境推定情報、カメラAE調整情報、カメラWB調整情報、画像変換有無情報、画像ヒストグラム情報、画像変換設定情報、画像切出し座標情報の何れか一つ以上の情報が含まれていてもよい。

また、本技術の他の概念は、
撮像装置と画像処理装置とからなり、
上記撮像装置よりフレーム毎に画像を出力する手段と、
固有フレーム識別する手段を上記出力される画像のヘッダに付与する手段と、
上記画像ヘッダに応じて、上記出力される画像を適応的に固有メモリ・アドレスに振り分ける選択手段を備える
撮像処理システムにある。

本技術によれば、カメラＥＣＵの処理の便宜を図ることができる。

実施の形態としての撮像処理システムの構成例を示すブロック図である。 １フレームの画像データとこれに付加されるヘッダの位置関係を概略的に示すと共に、ヘッダが付加される画素データ部分の構成例を示す図である。 目視画像（通常広角カメラ画像）Ｉａのフレーム画像データと、俯瞰変換画像Ｉｂのフレーム画像データとを、交互に出力する例を示す図である。 撮像処理システムを構成する車載カメラの処理手順の一例を示すフローチャートである。 全画面の一部である路面域の画像データから俯瞰画像変換を行って俯瞰変換画像の画像データを得る例を示す図である。 クロマエッジ信号を輝度信号に重畳する処理を説明するためのフレーム画像（重畳前）の一例である。 所定領域７の画像にクロマエッジ信号を輝度信号に重畳する処理を説明するためのフレーム画像（重畳後）の一例である。 撮像処理システムを構成するカメラＥＣＵの処理手順の一例を示すフローチャートである。 撮像処理システムを構成するカメラＥＣＵの処理手順の他の一例を示すフローチャートである。 車両周辺の通常広角画像に車両後部近傍の俯瞰変換画像が挿入されたピクチャ・イン・ピクチャ画像の一例を示す図である。 全画面Ｉｃのフレーム画像データと、縮小画面Ｉｄのフレーム画像データとを、交互に出力する例を示す図である。 撮像処理システムを構成する車載カメラの処理手順の一例を示すフローチャートである。 撮像処理システムを構成するカメラＥＣＵの処理手順の一例を示すフローチャートである。 カラー画像Ｉcrのフレーム画像データと、白黒画像Ｉwbのフレーム画像データとを交互に出力する例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［撮像処理システムの構成例］
図１は、実施の形態としての撮像処理システム１０の構成例を示している。この撮像処理システム１０は、車両の後部等に配設されて車両周辺の画像を撮像する車載カメラ１００と、画像処理機能を持つカメラＥＣＵ（電子制御ユニット）２００と、モニタ３００とを有している。

車載カメラ１００は、撮像装置を構成する。この車載カメラ１００は、制御部１０１と、レンズ部１０２と、センサ部１０３と、撮像信号処理部１０４と、ポスト処理部１０５と、出力部１０６を有している。車載カメラ１００とカメラＥＣＵ２００は、ケーブル４００によって接続されている。制御部１０１は、車載カメラ１００の各部の動作を制御する。

レンズ部１０２は、被写体像をセンサ部１０３の撮像面に結像する。センサ部１０３は、撮像面に結像された被写体像に基づいて撮像信号を得る。撮像信号処理部１０４は、センサ部１０３で得られる撮像信号に対してＡＥ（Automatic Exposure）調整、ＡＷＢ（Auto White Balance）調整などを行って、撮像画像データを得る。ポスト処理部１０５は、撮像信号処理部１０４で得られた撮像画像データに対して種々の処理を行って、カメラＥＣＵ２００に伝送すべき画像データを得る。出力部１０６は、ポスト処理部１０５で得られた画像データをケーブル４００に送出する。

ポスト処理部１０５は、各フレームの画像データに、車載カメラ１００の各部の設定（調整）情報や環境情報などを含むヘッダを付加する。ここで、環境情報は、環境光情報、環境温度などの情報である。この場合、ポスト処理部１０５は、このヘッダを、ブランキング期間などの有効画像領域外、あるいは有効画像領域内のいずれかに付加する。以下、この実施の形態では、有効画像領域内に付加するものとして説明する。このように、ヘッダを有効画像領域内に付加することで、例えば、後段のカメラＥＣＵ２００が有効画像領域のみを取り込む場合にあっても、このカメラＥＣＵ２００にヘッダ情報を適切に供給できる。

図２（ａ）は、１フレームの画像データと、これに付加されるヘッダの位置関係を概略的に示している。ヘッダは、画像データの先頭に付加される。図示の例は、最初のラインの前半に付加された例を示している。なお、１ラインの全て、さらには数ラインに渡って付加されてもよい。図２（ｂ）は、ヘッダが付加される画素データ部分の構成例を示している。この例に示すように、画素データがＮビットで構成される場合、例えば、下位Ｍビットのみをヘッダに割り当てるようにされてもよい。これにより、有効画像領域内にヘッダが付加されることによる画像データへの影響を抑制できる。

上述したように、ヘッダには車載カメラ１００の各部の個別フレームの特異な各種設定（調整）情報が含まれる。なお、設定（調整）情報の全てが含まれる必要はなく、少なくとも、後段のカメラＥＣＵ２００で必要とされる情報が含まれていればよい。レンズ部１０２の設定（調整）情報には、例えば、絞り設定情報、フィルタ設定情報などがある。

また、センサ部１０３の設定（調整）情報には、例えば、電子シャッタ情報、読み出し操作設定情報、加算設定情報、アンプゲイン設定情報、フィルタ配列情報、感度バラツキ情報、レンズ搭載ずれ情報等がある。また、撮像信号処理部１０４の設定（調整）情報には、例えば、ＡＥ調整情報、ＡＷＢ調整情報、環境推定情報、出力画サイズ情報、画像切出し座標情報、画像変換情報、画像左右上下反転情報、画像強調処理適用値情報、適用ノイズ低減処理情報、画像ヒストグラム情報等がある。

また、ポスト処理部１０５は、撮像信号処理部１０２で得られる各画像データに対して、連続した所定数のフレームで互いに異なる処理を施すことを繰り返して、伝送すべき各フレームの画像データを得る。この実施の形態においては、連続する２つのフレームのうち、第１のフレームで第１の処理を施して第１のフレーム画像データを得ると共に、第２のフレームで第２処理を施して第２のフレームの画像データを得る。

各フレームに付加される上述のヘッダには、そのフレームがいずれのフレームであるかを識別する識別情報も含まれる。第１の処理、第２の処理の具体例については後述する。本実施の形態では画像を第１のフレームと第２のフレームで交互に処理を施す例を説明するが、第2の処理はカメラから連続出力される画像に対してランダムで行われても良く、また異なる処理の組み合わせ処理でも良い。

カメラＥＣＵ２００は、制御部２０１と、入力部２０２と、画像信号処理部２０３を有している。制御部２０１は、カメラＥＣＵ２００の各部の動作を制御する。入力部２０２は、車載カメラ１００から送られてくる画像データを、ケーブル４００から取り込む。画像信号処理部２０３は、各フレームの画像データを、それに付加されているヘッダに基づいて、適応的に処理し、表示用の画像データ等を得る。表示用の画像データは、モニタ３００に供給される。この画像信号処理部２０３の処理の具体例については後述する。

図１に示す撮像処理システム１０の動作を簡単に説明する。車載カメラ１００において、センサ部１０３で得られる撮像信号は撮像信号処理部１０４に供給される。この撮像信号処理部１０４では、撮像信号に対してＡＥ調整、ＡＷＢ調整などが行われて、撮像画像データが得られる。この撮像画像データは、ポスト処理部１０５に供給される。ポスト処理部１０５では、撮像画像データに対して種々の処理が行われて、カメラＥＣＵ２００に伝送すべき画像データが得られる。この画像データは、出力部１０６からケーブル４００に送出される。

ここで、ポスト処理部１０５では、各フレームの画像データに、車載カメラ１００の各部の設定（調整）情報や環境情報などを含むヘッダが付加される。また、ポスト処理部１０５では、連続する２つのフレームのうち、第１のフレームで第２の処理が施されて第１のフレーム画像データが得られ、第２のフレームで第２処理が施されて第２のフレームの画像データが得られる。各フレームに付加されるヘッダには、そのフレームがいずれのフレームであるかを識別する識別情報も含まれる。本実施の形態では２フレーム交互出力を例に実施例を示しているが、より多くのフレームを繰り返すことでも良い、また散発的なランダムな特異処理を施す構成でもよい。

カメラＥＣＵ２００において、入力部２０２では、車載カメラ１００から送られてくる画像データがケーブル４００から取り込まれる。この画像データは、画像信号処理部２０３に供給される。画像信号処理部２０３では、各フレームの画像データが、それに付加されているヘッダに基づいて、制御部２０１を介さずとも選択回路を介して適応的に処理され、表示用の画像データ等が得られる。表示用の画像データはモニタ３００に供給され、モニタ３００には所定の画像データが表示される。この場合、画像ヘッダに応じて、各フレームの画像データが、適応的に、固有メモリ・アドレスに振り分けられて、処理される。

［車載カメラ、カメラＥＣＵの処理の具体例］
「具体例１」
この例は、車載カメラ１００が、図３に示すように、目視画像（通常広角カメラ画像）Iａのフレーム画像データと、俯瞰変換画像Ｉｂのフレーム画像データとを、交互に出力する例である。

図４のフローチャートは、車載カメラ１００の処理手順の一例を示している。車載カメラ１００は、ステップＳＴ１において、処理を開始する。次に、ステップＳＴ２において、センサ部１０３は、フレーム交互に、切り出し領域を変更し、フラグを付与して、撮像信号を出力する。例えば、奇数フレームの切り出し領域は全画面とされ、偶数フレームの切り出し領域は路面域とされる。例えば、図５（ａ）は全画面を示し、図５（ｂ）の破線内は路面域の一例を示している。

次に、ステップＳＴ３において、撮像信号処理部１０４は、センサ部１０３から撮像信号を取り込む。撮像信号処理部１０４は、ステップＳＴ４において、付与されているフラグから、切り出し領域が全画面の奇数フレームであるか、切り出し領域が路面域である偶数フレームであるかを判断する。

切り出し領域が全画面の奇数フレームであるとき、撮像信号処理部１０４は、ステップＳＴ５において、通常目視カメラ向けのＡＥ／ＡＷＢ等のＩＳＰ処理をする。そして、ポスト処理部１０５は、ステップＳＴ６において、コントラスト強調等の視認性を向上する画質改善処理をする。また、ポスト処理部１０５は、ステップＳＴ７において、ヘッダに、このフレーム画像データが目視画像であることを示す識別情報を含める。

また、ステップＳＴ４で切り出し領域が路面域の偶数フレームであるとき、ステップＳＴ８において、撮像信号処理部１０４は、センサ部１０３から取り込んだ撮像信号に所定の処理を施してポスト処理部１０５に送り、ポスト処理部１０５はクロマエッジ信号を輝度信号に重畳する処理をする。

画像認識処理で多くの場合カラー画像で行う計算量に対する精度向上の効果が限定的であることから、輝度信号のみを用いた検出方式が多い。しかし、走行中の白線認識の用途では、コンクリート道路上に描かれる黄色の追い越し禁止車線マークを濃淡画像にしてしまうと、コンクリートに対する輝度差異が小さく、車線境界線として認識が出来ない問題が発生する。

ポスト処理部１０５は、例えば、輝度色差信号の画像信号から、クロマ信号である色差信号の微分変化成分を抽出して輝度信号へ重畳する。これにより、輝度信号に境界を持たせることができ、輝度信号の解析のみから画像認識の処理を実現できるようになる。

ここで、クロマエッジ信号を輝度信号に重畳する処理を、図６に示すフレーム画像を参照して説明する。フレーム画像において、１，２，３で示す部分は、コンクリート道路上に描かれた黄色の追い越し車線マークを示している。また、４，５，６で示す部分は、コンクリート道路上に描かれた白線を示している。ポスト処理部１０５は、図７に破線で囲んで示すように、認識で用いる領域のみに対し、クロマ信号に対して境界検出フィルタを通し、その出力値を輝度信号に重畳させて、８に示す出力を行う。この場合、クロマエッジ信号が抽出され、同一方角の輝度信号境界が無い輝度信号に対して、このクロマエッジ信号が重畳される。

図４に戻って、ポスト処理部１０５は、ステップＳＴ８でクロマエッジ信号を輝度信号に重畳する処理を行った後、ステップＳＴ９において、俯瞰画像変換を行う。この場合、ポスト処理部１０５は、図５（ｂ）に示す路面域の画像データから、俯瞰画像変換を行って、図５（ｃ）に示すような、俯瞰変換画像の画像データを得る。この俯瞰変換画像の生成手法の詳細は、例えば、電気学会論文IP-08-21 IIS-08-46に記載されている。次に、ポスト処理部１０５は、ステップＳＴ１０において、ヘッダに、このフレーム画像データが俯瞰変換画像であることを示す識別情報を含める。この場合、ヘッダには、クロマエッジ信号を輝度信号に重畳した、認識で用いる領域の領域情報も含める。

次に、ステップＳＴ１１において、出力部１０６は、２つのフレームを統合して、ケーブル４００に出力する。すなわち、奇数フレームであるときは、ポスト処理部１０５で得られる目視画像の画像データを出力し、一方、偶数フレームであるときは、ポスト処理部１０５で得られる俯瞰変換画像の画像データを出力する。

次に、車載カメラ１００は、ステップＳＴ１２において、終了か否かを判定する。終了でないときは、ステップＳＴ２の処理に戻って上述したと同様の処理を繰り返し、終了であるときは、ステップＳＴ１３において、直ちに処理を終了する。

図８のフローチャートは、カメラＥＣＵ２００の処理手順の一例を示している。このフローチャートは、１つのフレーム画像データに対する処理手順を示している。カメラＥＣＵ２００は、ステップＳＴ２１において、処理を開始する。次に、ステップＳＴ２２において、入力部２０２は、車載カメラ１００から送られてくる画像データを１フレーム分取り込む。

次に、ステップＳＴ２３において、画像信号処理部２０３は、画像データの同期信号に続くヘッダを抽出する。そして、画像信号処理部２０３は、ステップＳＴ２４において、ヘッダに含まれるフレーム情報から、そのフレームが目視画像フレームか俯瞰変換画像フレームかを判断する。

目視画像フレームでない、つまり俯瞰変換画像フレームであるとき、画像信号処理部２０３は、ステップＳＴ２５において、フレーム画像データの輝度値のみの画像情報に対して白線認識処理を適応的に施し、ステップＳＴ２６において、白線座標を抽出する。そして、画像信号処理部２０３は、ステップＳＴ２７において、抽出した白線座標のデータを、タイムスタンプ付きで、車両制御ＥＣＵ（図１には図示していない）に引き渡す。

ここで、画像信号処理部２０３は、ヘッダに含まれる認識領域情報や環境光等の事前情報を用いることで、白線探索領域を事前に推測し、夜間・日中等の認識に適した探索処理を施すことができ、探索時間の短縮精度向上を図ることができる。

次に、カメラＥＣＵ２００は、ステップＳＴ２９で終了か否かを判断する。終了でないときは、ステップＳＴ２２に戻り、次の１フレーム分の処理に移る。一方、終了であるときは、ステップＳＴ３０において、処理を終了する。

一方、目視画像フレームであるとき、画像信号処理部２０３は、ステップＳＴ２８において、フレーム画像データに対して、コントラスト強調処理、エッジ強調処理などの視認性改善処理を施して、モニタ３００に出力する。これにより、モニタ３００には、車載カメラ１００で撮像された車両周辺の通常広角カメラ画像が表示される。上述していないが、モニタ３００としては、例えば、ナビゲーションシステムのモニタなどが兼用される。

上述したように、車載カメラ１００から目視目的の画像（目視画像）と白線認識目的の画像（俯瞰変換画像）の画像データが交互に出力される。そのため、後段のカメラＥＣＵ２００では、制御部２０１が切り替判定に介在することなく俯瞰変換画像の画像データに対して選択的に白線認識処理を施すことができ、制御部２０１の画像処理先判別が不要となり、その処理負荷を大幅に軽減できる。

図９のフローチャートは、カメラＥＣＵ２００の他の処理手順の一例を示している。このフローチャートは、１つのフレーム画像データに対する処理手順を示している。カメラＥＣＵ２００は、ステップＳＴ６１において、処理を開始する。次に、ステップＳＴ６２において、入力部２０２は、車載カメラ１００から送られてくる画像データを１フレーム分取り込む。

次に、ステップＳＴ６３において、画像信号処理部２０３は、画像データの同期信号に続くヘッダを抽出する。そして、画像信号処理部２０３は、ステップＳＴ６４において、ヘッダに含まれるフレーム情報から、そのフレームが目視画像フレームか俯瞰変換画像フレームかを判断する。

目視画像フレームであるとき、ステップＳＴ６５において、画像信号処理部２０３は、表示メモリのモニタ全体表示設定領域（後述するP in P領域を除く）に、画像データを書き込む。一方、俯瞰変換画像フレームであるとき、ステップＳＴ６６において、画像処理部２０３は、表示メモリのピクチャ・イン・ピクチャ（P in P）領域に、俯瞰変換画像の画像データを、必要に応じてダウンスケーリングの処理を施して書き込む。そして、画像信号処理部２０３は、ステップＳＴ６７において、表示メモリ内の画像データをモニタ３００に出力する。

次に、カメラＥＣＵ２００は、ステップＳＴ６８で終了か否かを判断する。終了でないときは、ステップＳＴ６２に戻り、次の１フレーム分の処理に移る。一方、終了であるときは、ステップＳＴ６９において、処理を終了する。

図９のフローチャートの処理により、モニタ３００に、車両周辺の通常広角画像に、車両後部近傍の俯瞰変換画像が挿入されたピクチャ・イン・ピクチャ画像が表示される。例えば、図１０（ａ）が通常広角画像であり、図１０（ｂ）が俯瞰変換画像であるとき、モニタ３００には、図１０（ｃ）に示すような、ピクチャ・イン・ピクチャ画像が表示される。

このように、車載カメラ１００から目視目的の画像（目視画像）と白線認識目的の画像（俯瞰変換画像）の画像データが交互に出力されことから、後段のカメラＥＣＵ２００では、双方の画像データを用いたピクチャ・イン・ピクチャ画像の表示が可能となる。

「具体例２」
この例は、車載カメラ１００が、図１１に示すように、全画面Iｄのフレーム画像データと、縮小画面Ｉｃのフレーム画像データとを、交互に出力する例である。この例において、縮小画面Ｉｃのフレーム画像データは、例えば、感度優先のために隣接画素加算を行って得られた１／４画素縮小画面である。

図１２のフローチャートは、車載カメラ１００の処理手順の一例を示している。車載カメラ１００は、ステップＳＴ３１において、処理を開始する。次に、ステップＳＴ３２において、センサ部１０３は、フレーム交互に、全画面あるいは縮小画面に変更し、フラグを付与して、撮像信号を出力する。例えば、奇数フレームは全画面とされ、偶数フレームは１／４縮小画面とされる。

次に、ステップＳＴ３３において、撮像信号処理部１０４は、センサ部１０３から撮像信号を取り込む。撮像信号処理部１０４は、ステップＳＴ３４において、付与されているフラグから、全画面の奇数フレームであるか、１／４縮小画面の偶数フレームであるかを判断する。

全画面の奇数フレームであるとき、撮像信号処理部１０４は、ステップＳＴ３５において、センサ部１０３から取り込んだ撮像信号に所定の処理を施してポスト処理部１０５に送り、ポスト処理部１０５は、日中解像度優先の画質改善処理をする。また、ポスト処理部１０５は、ステップＳＴ３６において、ヘッダに、このフレーム画像データが全画面であることを示す識別情報を含める。

また、ステップＳＴ３４で１／４縮小画面の偶数フレームであるとき、ステップＳＴ３７において、撮像信号処理部１０４は、縮小メモリ割り当て（４フレーム巡回割り当て）をする。そして、ステップＳＴ３８において、撮像信号処理部１０４およびポスト処理部１０５は、暗時感度優先処理を行う。例えば、メモリ領域を有効利用してフレーム加算、３次元ノイズ低減処理をする。

また、ポスト処理部１０５は、ステップＳＴ３９において、ヘッダに、このフレーム画像データが１／４縮小画面であることを示す識別情報を含める。なお、この場合、ヘッダには、さらに、環境光情報として夜間であるか日中であるかを識別する識別情報やフレームカウントなども含める。

次に、ステップＳＴ４０において、出力部１０６は、２つのフレームを統合して、ケーブル４００に出力する。すなわち、奇数フレームであるときは、ポスト処理部１０５で得られる全画面の画像データを出力し、偶数フレームであるときは、一方、偶数フレームであるときは、ポスト処理部１０５で得られる１／４縮小画面の画像データを出力する。

次に、車載カメラ１００は、ステップＳＴ４１において、終了か否かを判定する。終了でないときは、ステップＳＴ３２の処理に戻って上述したと同様の処理を繰り返し、終了であるときは、ステップＳＴ４２において、直ちに処理を終了する。

図１３のフローチャートは、カメラＥＣＵ２００の処理手順の一例を示している。このフローチャートは、１つのフレーム画像データに対する処理手順を示している。カメラＥＣＵ２００は、ステップＳＴ５１において、処理を開始する。次に、ステップＳＴ５２において、入力部２０２は、車載カメラ１００から送られてくる画像データを１フレーム分取り込む。

次に、ステップＳＴ５３において、画像信号処理部２０３は、画像データの同期信号に続くヘッダを抽出する。そして、画像信号処理部２０３は、ステップＳＴ５４において、ヘッダに含まれるフレーム情報から、そのフレームが全画面フレームか１／４縮小画面フレームかを判断する。

全画面フレームでない、つまり１／４縮小画面フレームであるとき、画像信号処理部２０３は、ステップＳＴ５５において、１／４縮小画面の画像データに基づいて、画像認識処理をする。この場合、環境光情報に基づいて、夜間であるか中間であるかに応じて、最適な検出フィルタを用いる。また、上述したように、１／４縮小画面の画像データは、フレーム加算、３次元ノイズ低減処理が行われていることから、画像信号処理部２０３は、低解像度画像用の認識処理を行う。

次に、画像信号処理部２０３は、ステップＳＴ５６において、認識された画像の座標情報を、全画面座標に補正処理する。また、全画面フレームでるとき、画像信号処理部２０３は、ステップＳＴ５７において、全画面の画像データに基づいて、画像認識処理をする。そして、画像信号処理部２０３は、ステップＳＴ５８において、上述のステップＳＴ５６およびステップＳＴ５７で得られた画像認識結果、すなわち認識された画像の座標情報を、タイムスタンプ付きで、車両制御ＥＣＵ（図１には図示していない）に引き渡す。

次に、カメラＥＣＵ２００は、ステップＳＴ５９で終了か否かを判断する。終了でないときは、ステップＳＴ５２に戻り、次の１フレーム分の処理に移る。一方、終了であるときは、ステップＳＴ６０において、処理を終了する。

上述したように、車載カメラ１００から全画面と１／４縮小画面の画像データが交互に出力される。そのため、後段のカメラＥＣＵ２００では、双方の画面をそれぞれ用いた画像認識処理を適応的に行うことができ、認識精度を高めることができる。また、ヘッダに環境光情報が含められているので、カメラＥＣＵ２００では、夜間であるか中間であるかに応じて、検出フィルタのパラメータを適応調整でき、認識精度を高めることができる。

上述したように、図１に示す撮像処理システム１０においては、車載カメラ１００は、所定数、例えば２つの異なる処理を施して得られたフレーム画像データを順次出力できる。そのため、例えば、後段のカメラＥＣＵ２００では、カメラ俯瞰変換画像データ、縮小画面画像データなどの特殊な画像データを得る処理を行うことなく、これらの画像データを取得することが可能となる。従って、カメラＥＣＵの処理負荷を軽減でき、処理の便宜を図ることができる。

また、図１に示す撮像処理システム１０においては、車載カメラ１００から出力される各フレームの画像データに、少なくとも所定数のフレームのいずれのフレームであるかを識別する識別情報を含むヘッダが付加される。そのため、後段のカメラＥＣＵ２００では、各フレームの画像データが如何なる処理が施されたものであるかを、的確かつ容易に判別でき、適切な処理を行うことができる。

また、図１に示す撮像処理システム１０においては、車載カメラ１００から出力される各フレームの画像データに付加されるヘッダに、環境光情報なども含むので、後段のカメラＥＣＵ２００ではその情報をも使用して最適な処理を選択的に行うことができる。

＜２．変形例＞
なお、上述実施の形態においては、車載カメラ１００から、車載カメラ１００から目視画像（通常広角カメラ画像）と俯瞰変換画像のフレーム画像データが交互に出力される例と、全画面と縮小画面のフレーム画像データが交互に出力される例を示した。しかし、本技術は、これに限定されるものではなく、その他の異なる処理が施されたフレーム画像データを交互に、または不定期に出力ようにされてもよい。例えば、図１４に示すように、カラー画像Ｉcrのフレーム画像データと、白黒画像Ｉwbのフレーム画像データとを交互に出力する例なども考えられる。

また、本技術は、以下のような構成をとることもできる。
（１）イメージセンサと、
上記イメージセンサで得られる撮像信号に対して、連続した所定数のフレームで互いに異なる処理を施すことを繰り返し、または不定期に各フレームの画像データを得る信号処理部と、
上記各フレームの画像データを順次出力する画像データ出力部とを備える
撮像装置。
（２）上記信号処理部で得られる各フレームの画像データに、少なくとも上記所定数のフレームのいずれのフレームであるかを識別する識別情報を含むヘッダを付加するヘッダ付加部をさらに備える
前記（１）に記載の撮像装置。
（３）上記ヘッダ付加部は、
上記ヘッダを各フレームの有効画像領域外あるいは有効画像領域内に付加する
前記（２）に記載の撮像装置。
（４）上記ヘッダ付加部は、
上記ヘッダを上記各フレームの有効画像領域内に付加する場合、所定数の画素データのそれぞれ一部のビットを利用して付加する
前記（３）に記載の撮像装置。
（５）上記信号処理部は、
上記イメージセンサで得られる撮像信号の連続する２つのフレームのうち、第１のフレームで第１の処理を施して第１のフレーム画像データを得ると共に、第２のフレームで第２の処理を施して第２のフレーム画像データを得る
前記（１）から（４）のいずれかに記載の撮像装置。
（６）上記第１のフレーム画像データは目視画像データであり、上記第２のフレーム画像データは画像変換された画像データである
前記（５）に記載の撮像装置。
（７）上記第２のフレーム画像データは、俯瞰変換された画像データである
前記（６）に記載の撮像装置。
（８）上記俯瞰変換された画像データは、輝度信号にクロマエッジ信号が重畳されて得られた画像データである
前記（６）に記載の撮像装置。
（９）上記第１の画像データは通常の画像データであり、上記第２のフレーム画像データは輝度信号にクロマエッジ信号が重畳されて得られた画像データである
前記（５）に記載の撮像装置。
（１０）上記第１のフレーム画像データは全画面の画像データであり、上記第２のフレーム画像データは縮小画面の画像データである
前記（５）に記載の撮像装置。
（１１）上記第１のフレーム画像データはカラー画像データであり、上記第２のフレーム画像データは白黒画像データである
前記（５）に記載の撮像装置。
（１２）イメージセンサで撮像信号を得るステップと、
上記撮像信号に対して、連続した所定数のフレームで互いに異なる処理を施すことを繰り返して各フレームの画像データを得るステップと、
上記得られた各フレームの画像データを順次出力するステップを備える
撮像処理方法。
（１３）上記イメージセンサで撮像信号を得るステップでは、フレーム別に異なる露光処理を施すことで広い範囲の照度で被写体を撮像する
前記（１２）に記載の撮像処理方法。
（１４）イメージセンサと、
上記イメージセンサで得られた撮像信号の信号処理に応じ、特異な設定および処理の情報を該当フレームのヘッダ部に識別判別情報として付与する情報付与部とを備える
撮像装置。
（１５）イメージセンサと画像処理部を備え、
上記画像処理部は、上記イメージセンサで得られる撮像画像の一部画像に対し、クロマエッジ信号を抽出し、同一方角の輝度信号境界が無い輝度信号に対して、該クロマエッジ信号を重畳する
撮像装置。
（１６）画像データを入力する画像データ入力部を備え、
上記画像データは、連続した所定数のフレームで互いに異なる処理を施すことが繰り返されて得られたものであり、各フレームの画像データに少なくとも上記所定数のフレームのいずれのフレームであるかを識別する識別情報を含むヘッダが付加されており、
上記入力された各フレームの画像データを、上記付加されているヘッダに基づいて適応的に処理する処理部をさらに備える
画像処理装置。
（１７）撮像装置と画像処理装置とからなり、
上記撮像装置は、
イメージセンサと、
上記イメージセンサで得られる撮像信号に対して、連続した所定数のフレームで互いに異なる処理を施すことを繰り返して各フレームの画像データを得る信号処理部と、
上記各フレームの画像データに、少なくとも上記所定数のフレームのいずれのフレームであるかを識別する識別情報を含むヘッダを付加するヘッダ付加部と、
上記各フレームの画像データを出力する画像データ出力部とを備え、
上記画像処理装置は、
上記画像データを入力する画像データ入力部と、
上記入力された各フレームの画像データを、上記付加されているヘッダに基づいて適応的に処理する処理部とを備える
撮像処理システム。
（１８）上記ヘッダには、センサ電子シャッタ、センサ・アンプ・ゲイン、レンズ絞り情報、レンズ・フィルタ情報、温度情報、画像微分成分調整パラメータ値、画像諧調調整パラメータ、画像解像度調整パラメータ、フレーム間処理調整パラメータ、照明推定情報、環境推定情報、カメラＡＥ調整情報、カメラＷＢ調整情報、画像変換有無情報、画像ヒストグラム情報、画像変換設定情報、画像切出し座標情報の何れか一つ以上の情報が含まれる
前記（１７）に記載の撮像処理システム。
（１９）撮像装置と画像処理装置とからなり、
上記撮像装置よりフレーム毎に画像を出力する手段と、
固有フレーム識別する手段を上記出力される画像のヘッダに付与する手段と、
上記画像ヘッダに応じて、上記出力される画像を適応的に固有メモリ・アドレスに振り分ける選択手段を備える
撮像処理システム。

１０・・・撮像処理システム
１００・・・車載カメラ
１０１・・・制御部
１０２・・・レンズ部
１０３・・・センサ部
１０４・・・撮像信号処理部
１０５・・・ポスト処理部
１０６・・・出力部
２００・・・カメラＥＣＵ
２０１・・・制御部
２０２・・・入力部
２０３・・・画像信号処理部

Claims (10)

1. イメージセンサと、
   上記イメージセンサで得られる撮像信号に対して、連続する２つのフレームで互いに異なる処理を施すことを繰り返して各フレームの画像データを得る信号処理部と、
   上記各フレームの画像データを画像処理装置へ順次出力する画像データ出力部とを備え、
   上記信号処理部は、上記イメージセンサで得られる撮像信号の連続する２つのフレームのうち、第１のフレームで俯瞰変換処理を含まない画像処理を施して所定領域の目視画像データを得ると共に、第２のフレームで上記所定領域の一部の領域を切り出し、切り出した領域に対する俯瞰変換処理を施して俯瞰画像データを得、
   上記俯瞰画像データに付加されたヘッダ部に白線認識領域情報および環境光情報を挿入する情報挿入部をさらに備え、
   上記画像処理装置は、上記俯瞰画像データに対して、上記ヘッダ部に挿入されている白線認識領域情報および環境光情報に基づいて白線認識処理を行う
   撮像装置。
2. 上記信号処理部は、上記切り出した領域に対してクロマエッジ信号を輝度信号に重畳する処理を施した後に上記俯瞰変換処理を施して上記俯瞰画像データを得る
   請求項１に記載の撮像装置。
3. 上記俯瞰画像データに付加されたヘッダ部は、上記第２のフレームの有効画像領域内に存在する
   請求項１に記載の撮像装置。
4. 上記情報挿入部は、上記俯瞰画像データに付加されたヘッダ部に俯瞰画像データであることを示す識別情報をさらに挿入し、
   上記画像処理装置は、上記ヘッダ部に挿入された上記識別情報に基づいて上記俯瞰画像データであることを認識して上記白線認識処理を行う
   請求項１に記載の撮像装置。
5. イメージセンサで撮像信号を得る撮像ステップと、
   上記撮像信号に対して、連続する２つのフレームで互いに異なる処理を施すことを繰り返して各フレームの画像データを得る信号処理ステップと、
   上記各フレームの画像データを画像処理装置へ順次出力する画像データ出力ステップを有し、
   上記信号処理ステップでは、上記撮像信号の連続する２つのフレームのうち、第１のフレームで俯瞰変換処理を含まない画像処理を施して所定領域の目視画像データを得ると共に、第２のフレームで上記所定領域の一部の領域を切り出し、切り出した領域に対する俯瞰変換処理を施して俯瞰画像データを得、
   上記俯瞰画像データに付加されたヘッダ部に白線認識領域情報および環境光情報を挿入する情報挿入ステップをさらに有し、
   上記画像処理装置は、上記俯瞰画像データに対して、上記ヘッダ部に挿入されている白線認識領域情報および環境光情報に基づいて白線認識処理を行う
   撮像処理方法。
6. 画像データを入力する画像データ入力部を備え、
   上記画像データは、連続する２つのフレームで互いに異なる処理を施すことが繰り返されて得られたものであり、第１のフレームの画像データは俯瞰変換処理を含まない画像処理を施して得られた所定領域の目視画像データであり、第２のフレームの画像データは上記所定領域の一部の領域を切り出し、切り出した領域に対する俯瞰変換処理を施して得られた俯瞰画像データであり、
   上記俯瞰画像データに付加されたヘッダ部に白線認識領域情報および環境光情報が挿入されており、
   上記俯瞰画像データに対して、上記ヘッダ部に挿入されている白線認識領域情報および環境光情報に基づいて白線認識処理を行う処理部をさらに備える
   画像処理装置。
7. 上記俯瞰画像データは、上記切り出した領域に対してクロマエッジ信号を輝度信号に重畳する処理を施した後に上記俯瞰変換処理を施して得られたものである
   請求項６に記載の画像処理装置。
8. 上記俯瞰画像データに付加されたヘッダ部は、上記第２のフレームの有効画像領域内に存在する
   請求項６に記載の画像処理装置。
9. 上記俯瞰画像データに付加されたヘッダ部に俯瞰画像データであることを示す識別情報がさらに挿入されており、
   上記処理部は、上記ヘッダ部に挿入された上記識別情報に基づいて上記俯瞰画像データであることを認識して上記白線認識処理を行う
   請求項６に記載の画像処理装置。
10. 撮像装置と画像処理装置とからなり、
    上記撮像装置は、
    イメージセンサと、
    上記イメージセンサで得られる撮像信号に対して、連続する２つのフレームで互いに異なる処理を施すことを繰り返して各フレームの画像データを得る信号処理部と、
    上記各フレームの画像データを上記画像処理装置へ順次出力する画像データ出力部とを備え、
    上記信号処理部は、上記イメージセンサで得られる撮像信号の連続する２つのフレームのうち、第１のフレームで俯瞰変換処理を含まない画像処理を施して所定領域の目視画像データを得ると共に、第２のフレームで上記所定領域の一部の領域を切り出し、切り出した領域に対する俯瞰変換処理を施して俯瞰画像データを得、
    上記俯瞰画像データに付加されたヘッダ部に白線認識領域情報および環境光情報を挿入する情報挿入部をさらに備え、
    上記画像処理装置は、
    上記各フレームの画像データを入力する画像データ入力部と、
    上記俯瞰画像データに対して、上記ヘッダ部に挿入されている白線認識領域情報および環境光情報に基づいて白線認識処理を行う処理部とをさらに備える
    画像処理システム。