JP7151234B2 - カメラシステムおよびイベント記録システム - Google Patents

Description

本開示は、カメラシステムおよびイベント記録システムに関する。

近年、車両の運転支援システムが実用化されつつある。運転支援システムでは、例えば、障害物や他車を認識するために、車両に備えられたカメラが用いられる（特許文献１参照）。また、近年では、車両の前方や後方の風景を撮像して記録する装置としてダッシュカムやドライブレコーダと呼ばれる装置が広く利用されている。風景に限らず、車両で発生した種々のイベントを記録する技術も提案されている（特許文献２参照）。

米国特許第８７１０９６９号明細書 米国特許第９３６５１６２号明細書

運転支援などの車両制御や各種データの記録を実現するためには、様々な装置が車両に搭載される。そのため、車両の構成が複雑化し、車両の重量が増加する傾向があった。

本開示は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

本開示の一形態によれば、車両に搭載されるカメラシステム（１００）が提供される。このカメラシステムは、予め定められた周期内において複数のフレーム画像を撮像する撮像部（１１０）と；前記撮像部から前記複数のフレーム画像を取得し、前記複数のフレーム画像から、画像認識に用いられる認識用フレーム画像と、記録装置（１６０）において保存に用いられる保存用フレーム画像と、を個別に出力する画像処理部（１２４）と；を備え、前記画像処理部は、前記複数のフレーム画像を、前記認識用フレーム画像として出力するとともに、前記認識用フレーム画像のうちの少なくとも一部を、前記保存用フレーム画像としても出力し、前記画像処理部は、前記フレーム画像に映像補正を施して前記認識用フレーム画像として出力し、前記映像補正が施された前記認識用フレーム画像に対して色変換処理を施して前記保存用フレーム画像として出力する。

この形態の制御装置によれば、撮像部によって認識用フレーム画像と保存用フレーム画像との両方を撮像することができるので、車両構成の複雑化が抑制され、車両の重量増加を抑制できる。

本開示の他の形態によれば、イベント記録システム（２０）が提供される。このイベント記録システムは、上記形態のカメラシステム（１００）と；前記認識用フレーム画像を用いて画像認識を行い、前記画像認識の結果に応じて前記車両の制御を行う車両制御システム（１３０）と；前記車両の挙動をセンシングするセンシングシステム（１４０）と；前記センシングシステムによって前記挙動に関するイベントが発生したことを検出した場合、または、他車にイベントが発生したことを表す通知を外部から受信した場合に、事象の記録が行われている外部機器（３０）から、前記イベントの発生前の事象を表すプリイベントデータと、前記イベントの発生以降の事象を表すポストイベントデータと、の少なくとも一方を含む外部データを取得する通信部（１５０）と；前記イベントと、前記保存用フレーム画像と、前記外部データと、を関連付けて記録する記録装置（１６０）と；を備える。

この形態のイベント記録システムによれば、カメラシステムによって撮像した認識用フレーム画像を用いて車両制御を行うことができ、また、車両の挙動に関するイベントが発生した場合に、そのカメラシステムによって撮像した保存用フレーム画像をそのイベントに対応付けて記録することができる。そのため、車両構成の複雑化が抑制され、車両の重量増加を抑制できる。

本開示は、カメラシステムおよびイベント記録システム以外の種々の形態で実現することも可能である。例えば、カメラシステムあるいはイベント記録システムの制御方法や、それらの方法を実行するためのコンピュータプログラム、コンピュータプログラムを記憶した一時的でない有形の記録媒体等の形態で実現できる。

第１実施形態における車両の概略構成を示すブロック図。 カメラシステムによる撮像方式を示す説明図。 記録部によって記録されるデータを示す説明図。 第２実施形態におけるカメラシステムによる撮像方式を示す説明図。 認識用フレーム画像と保存用フレーム画像の画像特性を示す説明図。 第３実施形態における色調補正処理の説明図。 第４実施形態における車両の概略構成を示すブロック図。 第４実施形態におけるフリッカ抑制機能の説明図。 第４実施形態における画像補正処理の説明図。 カメラシステムとＥＣＵの第１の接続態様を示す図。 カメラシステムとＥＣＵの第２の接続態様を示す図。 カメラシステムとＥＣＵの第３の接続態様を示す図。 カメラシステムとＥＣＵの第４の接続態様を示す図。 カメラシステムとＥＣＵの第５の接続態様を示す図。 カメラシステムとＥＣＵの第６の接続態様を示す図。 カメラシステムとＥＣＵの第７の接続態様を示す図。 カメラシステムとＥＣＵの第８の接続態様を示す図。 カメラシステムとＥＣＵの第９の接続態様を示す図。 カメラシステムとＥＣＵの第１０の接続態様を示す図。 カメラシステムとＥＣＵの第１１の接続態様を示す図。

Ａ．第１実施形態：
図１に示すように、第１実施形態における車両１０は、イベント記録システム２０を備える。イベント記録システム２０は、カメラシステム１００と、車両制御システム１３０と、センシングシステム１４０と、通信部１５０と、記録装置１６０と、を備える。

カメラシステム１００は、車両１０に搭載され、車両１０の周囲の映像を撮像する装置である。本実施形態のカメラシステム１００は、車両１０の前方の映像を撮像する。カメラシステム１００は、撮像部１１０と認識処理チップ１２０とを備える。

撮像部１１０は、内部に備えられた撮像素子１１２を用いて、予め定められた周期内において複数のフレーム画像をそれぞれ異なるタイミングで撮像する。撮像部１１０は、車載向けであることが好ましく、例えば、１０～６０フレーム／秒のフレームレートでフレーム画像を撮像することが好ましい。本実施形態では、例えば、撮像部１１０は、１秒間に４０枚のフレーム画像を等間隔、すなわち、２５ｍｓ間隔で撮像する。

認識処理チップ１２０は、露光制御部１２２と、画像処理部１２４と、認識処理部１２６とを備える。露光制御部１２２は、撮像素子１１２の露光制御を行う。画像処理部１２４は、撮像部１１０から複数のフレーム画像を取得し、複数のフレーム画像のうちの少なくとも一部のフレーム画像を、画像認識に用いられる認識用フレーム画像として出力する。また、画像処理部１２４は、複数のフレーム画像のうちの一部のフレーム画像を、記録装置１６０において保存される保存用フレーム画像として、認識用フレーム画像とは別個に出力する。つまり、画像処理部１２４は、撮像部１１０から複数のフレーム画像を取得し、それら複数のフレーム画像から、画像認識に用いられる認識用フレーム画像と、記録装置１６０において保存に用いられる保存用フレーム画像と、を個別に出力する。認識処理部１２６は、画像処理部１２４から出力された認識用フレーム画像を用いて、撮像部１１０の撮像範囲における物体や標識の認識を行う。認識処理部１２６による認識結果は、保存用フレーム画像に付加されて、車両制御システム１３０や記録装置１６０に出力される。

車両制御システム１３０は、認識処理部１２６における物体や標識の認識結果に応じて、車両１０の加速や制動、操舵を支援する運転支援制御を行う。なお、車両制御システム１３０は、カメラシステム１００に加えて、ＬｉＤＡＲ（Light Detection and Ranging）やミリ波レーダから取得される情報も用いて、あるいは、フュージョンさせて上述した支援を行ってもよい。

センシングシステム１４０は、車両１０の挙動をセンシングする装置である。センシングシステム１４０には、例えば、加速度センサ、ジャイロセンサ、車速センサ、測位センサ、蛇角センサ、ヨーレートセンサ、温度センサ、ドアの施解錠を検出するセンサなどが含まれる。

通信部１５０は、外部機器３０と無線による通信を行う装置である。外部機器３０には、例えば、インターネットを介して接続されるサーバ装置や、車車間通信によって通信が行われる他車両に備えられた装置、路車間通信によって通信が行われる装置、歩行者が持つスマートフォン等の携帯端末が含まれる。外部機器３０には、様々な事象の記録が行われている。

記録装置１６０は、カメラシステム１００から出力された保存用フレーム画像の記録を行うドライブレコーダとしての機能を有する。また、記録装置１６０は、センシングシステム１４０によってセンシングされた車両１０の挙動を表す情報を記録するイベントデータレコーダとしての機能を有する。本実施形態では、記録装置１６０は、通信部１５０を通じて取得された各種データを、保存用フレーム画像および車両１０の挙動を表す情報とともに記録可能である。記録装置１６０は、内部に備えられた記録媒体にこれらの情報を記録してもよいし、通信部１５０を通じて無線接続された外部機器３０に対して記録を行ってもよい。記録装置１６０によって記録された保存用フレーム画像は、画像再生装置によって閲覧することが可能である。画像再生装置とは、例えば、車両１０あるいは記録装置１６０自体に備えられたモニタや、記録装置１６０から抜き取った記録媒体から保存用フレーム画像を読み込んで表示することのできる端末装置である。

図２を用いてカメラシステム１００の撮像方式を説明する。図２の最上段には、予め定められた周期の間に、５枚の画像（画像ＤＲ、画像Ａ１、画像ＤＲ、画像Ａ２、画像ＤＲ、画像Ａ３）が撮像されることが例示されている。これらの画像のうち、３つの画像ＤＲは、記録装置１６０に出力される保存用フレーム画像である。これに対して、画像Ａ１，Ａ２，Ａ３は、認識処理部１２６による画像認識に用いられる認識用フレーム画像である。つまり、本実施形態では、撮像部１１０によって１周期のうちに撮像された複数のフレーム画像の一部のフレーム画像が認識用フレーム画像として用いられ、他の一部のフレーム画像が保存用フレーム画像として用いられる。本実施形態では、保存用フレーム画像は、認識用フレーム画像が撮像される間のタイミングで撮像される。

認識用フレーム画像Ａ１は、例えば、認識処理部１２６において、走路を認識するために用いられる。そのため、夜間でも走路を認識できるように、露光制御部１２２によって露光時間が長く設定される。認識用フレーム画像Ａ２は、例えば、認識処理部１２６において、標識の文字を認識するために用いられる。そのため、露光制御部１２２によって文字認識に適した短い露光時間が設定される。認識用フレーム画像Ａ３は、認識処理部１２６において、物体の検出のために用いられる。そのため、昼夜を問わず認識可能なように、露光制御部１２２によって露光時間が長く設定される。認識用フレーム画像Ａ１，Ａ２，Ａ３の撮像時には、それぞれ、前の周期において撮像された同種の認識用フレーム画像の明るさに応じて、それぞれの露光時間が露光制御部１２２によって適切に調整される。

図３を用いて、記録装置１６０によって記録されるデータの例を説明する。記録装置１６０は、車両１０の挙動に関するイベントを表す情報と、イベント発生時に自車で取得する情報（例えば、保存用フレーム画像）と、イベント発生時に外部機器３０から取得する情報と、を関連付けて記録する機能を備える。

例えば、記録装置１６０は、センシングシステム１４０に含まれる加速度センサによって、停車中に車両１０に振動が生じたことが検知された場合に、振動が検出されたことを示すイベント情報を記録すると共に、自車で取得する情報として、振動が検出された際にカメラシステム１００によって撮像された保存用フレーム画像（前方画像）や、測位センサによって取得された位置情報、時刻、温度センサによって取得された温度、カメラシステム１００の露光条件、車両情報を、記録する。車両情報には、例えば、蛇角、車速、加速度が含まれる。また、車両１０にミリ波レーダやソナー、照度計が備えられている場合には、それらの装置から取得された情報が車両情報に含まれてもよい。また、車両１０は、振動が検出されたことを示すイベント情報を記録すると共に、外部機器３０から取得する情報として、自車近くのセキュリティカメラの映像データをポストイベントデータとして記録する。車両１０は、例えば、振動を検出した際に、通信部１５０を用いて路車間通信を行うことにより、そのような映像データを取得することが可能である。ポストイベントデータとは、イベントが検出された後の種々の事象のデータである。記録装置１６０が、振動発生時にこれらの情報を記録することにより、例えば、車両１０が盗難される様子や状況を、記録装置１６０に記録された情報を基に解析することが可能である。

その他、記録装置１６０は、センシングシステム１４０に含まれる加速度センサによって、車両１０が障害物に衝突したことが検知された場合に、自車が衝突したことを示すイベント情報を記録すると共に、自車で取得する情報として、振動検出時と同様の情報を記録する。また、記録装置１６０は、外部機器３０から取得する情報として、外部サーバとの通信や、路車間通信、車車間通信によって取得された情報を、プリイベントデータとして記録する。プリイベントデータとは、イベントが発生する前の事象を表すデータである。車両１０は、衝突を検出すると、外部サーバから衝突発生前の天候情報や渋滞情報を取得してそれらを記録する。また、車両１０は、衝突を検出すると、路車間通信を通じて、外部機器３０から、衝突発生前の信号機の状態を表す情報や交差点に設置されたカメラの映像データを取得してそれらを記録する。また、車両１０は、衝突を検出すると、車車間通信を通じて、自車の周囲に存在する他車両から、衝突発生前に、他車で撮影された画像データを取得して記録する。また、車両１０は、外部機器３０から取得する情報として、衝突発生後に、自車の周辺に設置されたカメラで撮影された画像データを通信部１５０を用いて取得し、ポストイベントデータとして記録する。ポストイベントデータとは、イベントの発生以降の事象を表すデータである。記録装置１６０が、衝突発生の検出に伴ってこれらの情報を記録することにより、自車で取得された情報だけではなく、自車の外部から取得された種々の情報を用いて衝突の原因等を素早く解析することができる。なお、外部機器３０から取得するプリイベントデータとポストイベントデータとの少なくとも一方のことを、外部データともいう。

上述した各種のイベントは、外部から何らかの通信手段で通知されてもよい。例えば、記録装置１６０は、車両の挙動に関するイベント（例えば、衝突）が他車に発生したこと表す通知を、車車間通信や路車間通信を用いて受信した場合に、上述した種々の情報と同様の情報を記録してもよい。この場合、そのイベントが発生した車両の識別番号を、例えばポストイベントデータに関係づけて記録する。記録装置１６０が、他車が衝突した際にも種々の情報を記録することにより、例えば、その他車が、自己の情報だけでは得られない客観的な証拠を収集することが可能になる。また、その他車が大破してその他車が備える記録装置の記録内容が破壊された場合であっても、車両１０に記録された情報に基づき、その他車の衝突原因を解析することが可能である。

また、記録装置１６０は、交差点やカーブに設置された定点カメラに接続された装置が衝突の予測を行った場合に、その装置（定点カメラ）から路車間通信を通じて衝突が発生する虞がある旨の信号を受信し、上述した種々の情報の記録を開始してもよい。こうすることにより、記録装置１６０によって記録されるプリイベントデータの情報量が増えるため、衝突が発生した場合に、その衝突が発生するまでの詳細な状況を解析することが可能である。

以上で説明した本実施形態によれば、撮像部１１０によって、認識処理に用いられる認識用フレーム画像と、記録装置１６０によって記録される保存用フレーム画像との両方を撮像することができるので、車両１０の構成が複雑化することを抑制することができ、車両１０の重量が増加することを抑制できる。

また、本実施形態では、カメラシステム１００によって撮像した認識用フレーム画像を用いて運転支援を行うことができ、また、車両１０の挙動に関するイベントが発生した場合に、そのカメラシステム１００によって撮像した保存用フレーム画像をそのイベントに対応付けて記録することができる。そのため、車両１０の構成が複雑化することを抑制することができ、車両１０の重量が増加することも抑制できる。

なお、本実施形態において、カメラシステム１００による画像の撮像および記録装置１６０における各種データの記録は、車両１０のスタートスイッチがオンされているかオフされているかに関わらず、常時、行ってもよい。ただし、カメラシステム１００や記録装置１６０の電力源であるバッテリーの残量が所定量以下になった場合には、画像の撮像およびデータの記録を停止してもよい。

また、カメラシステム１００による画像の撮像および記録装置１６０における各種データの記録は、車両１０のスタートスイッチがオフにされている場合には、実行しなくてもよい。この場合、カメラシステム１００がセンシングシステム１４０からウェイクアップ信号を受信し場合に、通常のスタートスイッチオンの場合と同様の起動処理によって車両１０を起動させてカメラシステム１００による画像の撮像および記録装置１６０における各種データの記録を開始してもよい。また、ウェイクアップ信号を受信した後、通常の起動処理よりも起動時間を短縮した起動モードで車両１０を起動させてカメラシステム１００による画像の撮像および記録装置１６０における各種データの記録を開始してもよい。起動時間を短縮したモードでは、例えば、車両１０あるいは車両１０に備えられた各種補機の機能安全等の故障検出処理がスキップされる。なお、センシングシステム１４０からは、例えば、車両の振動が加速度センサにより検出された場合や、車両１０の鍵が正規の方法以外の方法で解錠された場合などにウェイクアップ信号が送信される。

カメラシステム１００による画像の撮像および記録装置１６０における各種データの記録は、温度センサによって検出された温度が所定温度以上の高温であった場合に、各デバイスを保護するために停止させてもよい。また、そのような高温時には、処理負荷の大きい認識処理部１２６による画像認識を停止させ、保存用フレーム画像の出力のみを行わせてもよい。

以下で説明する第２実施形態以降では、上述した第１実施形態における各構成要素に対応する構成要素には、同じ符号を付して説明を行う。

Ｂ．第２実施形態：
上述した第１実施形態では、図２に示したように、保存用フレーム画像ＤＲは、認識用フレーム画像Ａ１，Ａ２，Ａ３が撮像される間のタイミングで撮像される。これに対して、第２実施形態では、図４に示すように、１周期の間に撮像される複数のフレーム画像を、認識用フレーム画像として出力するとともに、それら認識用フレーム画像のうちの一部を、保存用フレーム画像としても出力する。つまり、本実施形態では、一部の認識用フレーム画像を、保存用フレーム画像としても出力することにより、認識用フレーム画像と保存用フレーム画像との共用を行う。こうすることによっても、撮像部１１０によって認識用フレーム画像と保存用フレーム画像との両方を撮像することができるので、車両１０の構成が複雑化することを抑制することができ、車両１０の重量が増加することも抑制できる。なお、第２実施形態の車両１０およびカメラシステム１００の構成は、第１実施形態と同じである。

Ｃ．第３実施形態：
第３実施形態では、画像処理部１２４は、認識用フレーム画像と保存用フレーム画像とに対して異なる色調補正を施す。第３実施形態の車両１０およびカメラシステム１００の構成は、第１実施形態と同じであり、認識用フレーム画像と保存用フレーム画像の撮像方式は第２実施形態と同じである。すなわち、本実施形態においても、画像処理部１２４は、第２実施形態と同様に、一部の認識用フレーム画像を、保存用フレーム画像としても出力する。

図５を用いて認識用フレーム画像と保存用フレーム画像の画像特性を示す。本実施形態では、図５に示すように、認識用フレーム画像に対して、保存用フレーム画像よりも、低輝度領域の明度を持ち上げる処理を行う。認識用フレーム画像は、画像認識に用いられるため、暗い領域を明るく補正した方が、認識精度が高まるためである。また、保存用フレーム画像に対して低輝度領域の明度を持ち上げると、現実の色調とは乖離した画質になるため、閲覧や解析の用途には適さない可能性がある。そのため、本実施形態では、画像処理部１２４は、認識用フレーム画像と保存用フレーム画像とに対して異なる色調補正を施す。

図６には、図５に示した画像特性を実現するためのフローを示している。比較例として挙げた色調補正処理では、画像処理部１２４は、撮像部１１０によって撮像された原フレーム画像に対して、認識用フレーム画像用のガンマ補正を行って、図５に示した特性の認識用フレーム画像を生成した後に、逆ガンマ補正を実施して、原フレーム画像の色調に一旦、色調を戻した上で、保存用フレーム画像生成用のガンマ補正を行い、図５に示した特性の保存用フレーム画像を生成する。これに対して、本実施形態では、原フレーム画像に対して認識用フレーム画像用のガンマ補正を行って、図５に示した特性の認識用フレーム画像を生成した後に、そのガンマ補正後の認識用フレーム画像に対して、変換式による色変換処理を行うことで、直接的に、図５に示した特性の保存用フレーム画像を生成する。変換式は、例えば、同一シーンの原フレーム画像から、理想的な認識用フレーム画像と理想的な保存用フレーム画像とをそれぞれ事前に作成し、それらの色調の差分を埋める変換式を予め算出しておくことで内部データとして記憶しておく。こうした変換式を露光条件に応じて複数種類作成しておき、画像処理部１２４が、原フレーム画像を撮像した際の露光条件に応じて、適切な変換式に切り替えてもよい。なお、本実施形態では、原フレーム画像から認識用フレーム画像を生成するために、ガンマ補正を施しているが、ガンマ補正に限らず、原フレーム画像に対して明度補正やコントラスト補正等の他の映像補正を施して認識用フレーム画像を生成してもよい。また、１種類の映像補正ではなく、複数種類の映像補正を行って認識用フレーム画像を生成してもよい。

以上で説明した第３実施形態における色調補正処理によれば、認識用フレーム画像を生成した後に、その画像に逆ガンマ補正を施して、再度、原画像フレーム画像を再現する処理が不要になる。そのため、画像処理部１２４における処理負荷を低減できる。

なお、本実施形態において、画像処理部１２４は、例えば、原フレーム画像を撮像するための自動露出処理による昼夜判定結果に基づき、保存用フレーム画像を生成するための変換式を切り替えてもよい。また、画像処理部１２４は、自動ホワイトバランス処理を行い、その処理における路面色温度の検出結果に応じて、保存用フレーム画像の色再現処理を行ってもよい。

そのほか、画像処理部１２４は、認識用フレーム画像を生成する際には、カラーマトリクス処理を行わず、保存用フレーム画像を生成する場合には、カラーマトリクス処理を行うものとしてもよい。こうすることにより、保存用フレーム画像の色再現性を向上させつつ、カラーマトリクス処理に伴って発生するノイズの影響が、認識処理部１２６による画像認識に影響することを抑制できる。

Ｄ．第４実施形態：
図７に示すように、第４実施形態では、撮像部１１０が、高感度画素１１４と、高感度画素１１４よりも感度の低い低感度画素１１６とを備えている。高感度画素１１４の光の受光面積は、低感度画素１１６の光の受光面積よりも大きく設定されている。本実施形態のカメラシステム１００は、これら高感度画素１１４と低感度画素１１６とを用いることにより、撮像画像のＨＤＲ（ハイダイナミックレンジ）化とフリッカ抑制処理とを行う。ＨＤＲ化とは、画像のダイナミックレンジを拡張することをいう。

図８に示したタイミングチャートを用いて、本実施形態における撮像方式について説明する。まず、本実施形態では、道路上に設置されている信号機が、点灯状態において、１０ｍｓ、デューティ比５０％の周期で点滅を繰り返してしるものとし、撮像部１１０による撮影間隔が２５ｍｓ（４０ｆｐｓ）とする。信号機の光源は、例えば、発光ダイオードである。図８に示した撮像方式では、撮像部１１０の撮影周期が、信号機の点滅周期の整数倍とは異なるため、これらの周期は非同期となる。なお、撮像部１１０による撮影周期は、３６．７ｍｓ（２７．５ｆｐｓ）など、信号機の点滅周期とより同期しにくい周期であってもよい。

図８において比較例として示した撮像方式は、第１実施形態に示した撮像部１１０によってＨＤＲ化を行う方式を示している。比較例における撮像方式では、撮像部１１０は、撮像素子１１２を１種類のみ備えているため、まず、露光時間を長く設定して明るい画像の撮像を行い、続いて露光時間を短くして暗い画像の撮像を行い、それぞれのタイミングで撮像した画像を合成することによりＨＤＲ化を行う。しかし、このような方式の場合、図８に示すように、信号機がオフのタイミングで露光が行われる場合があり得る。そのため、信号機が点灯している状態において撮像されているにもかかわらず、実際に撮像された画像では、信号機が消灯しているように撮像される場合がある。このような現象のことをフリッカという。

本実施形態では、撮像部１１０が高感度画素１１４と低感度画素１１６とを備えている。そこで、撮像部１１０は、高感度画素１１４および低感度画素１１６を用いて、信号機の１周期に相当する時間、同時に露光を行う。そして、高感度画素１１４を用いて撮像された画像と、低感度画素１１６を用いて撮像された画像とを合成することにより、ＨＤＲ化された画像を画像処理部１２４に出力する。本実施形態では、このように、高感度画素１１４と低感度画素１１６とを同時に用いることで、撮影画像のＨＤＲ化が可能になる。また、本実施形態では、高感度画素１１４と低感度画素１１６とを用いて、信号機の１周期に相当する時間、露光を継続するため、フリッカの発生を抑制することもできる。つまり、撮像部１１０は、フリッカ抑制機能を備えている。

本実施形態において、画像処理部１２４は、撮像部１１０においてＨＤＲ化された画像に対して、図９に示す色調補正を行う。具体的には、撮影された画像の画素値（輝度値）に応じて、異なる色調補正を行う。例えば、画素値が０から２５５までの値を取り得る場合では、０～１２７までの画素値と、１２８～２５５までの画素値とで、画素値を同じように強調する。こうすることにより、例えば、夜に撮影された画像に対しては、暗い部分の明度が大きく強調される。そのため、撮影時間帯にかかわらず、画像認識に適した色調に撮影画像を補正することができる。

なお、本実施形態におけるＨＤＲ化処理において、撮像部１１０は、例えば、撮影周期内で露光時間を細かく分割して撮像を行うことにより、色の飽和を防ぐことが可能である。また、露光時間を長くしても飽和が発生しないように、撮像部１１０内にコンデンサが設けられてもよい。

本実施形態では、信号機の点滅周期と画像の撮像周期とを非同期としたが、上記のように、本実施形態では、高感度画素１１４と低感度画素１１６とを用いて信号機の点滅周期に相当する時間、露光を継続するため、これらが同期している場合であっても、フリッカの発生を抑制可能である。ただし、撮像部１１０の露光時間を信号機の点滅周期よりも短くした場合において、信号機の点滅周期と画像の撮像周期とを非同期とすれば、フリッカが発生する確率を低減することが可能である。なお、信号機の点滅周期と画像の撮像周期とを非同期とすることによりフリッカの発生を抑制する機能は、第１～第３実施形態のカメラシステム１００にも適用可能である。

Ｅ．他の実施形態：
図１０～２０には、カメラシステム１００とＥＣＵ１７０との種々の接続態様を示している。図１０～２０に示したＥＣＵ１７０とは、電子制御ユニットである。ＥＣＵ１７０は、例えば、図１に示した車両制御システム１３０やセンシングシステム１４０、記録装置１６０に備えられており、これらの制御に用いられる。以下に示す種々の接続態様により、カメラシステム１００はＥＣＵ１７０に対して、例えば、０．５～１０ギガビット／秒の転送レートで認識用フレーム画像や保存用フレーム画像を出力することが好ましい。

図１０に示した第１の接続態様では、カメラシステム１００とＥＣＵ１７０とは、１組のＬＶＤＳ（小振幅差動信号方式）送信機１７１およびＬＶＤＳ受信機１７２によって接続されている。そして、画像処理部１２４と認識処理部１２６との間に、映像分岐回路１２５が設けられている。第１の接続態様では、画像処理部１２４から出力された画像を、認識処理部１２６に入力される前に、映像分岐回路１２５によって分岐させて、ＬＶＤＳ送信機１７１を通じてＥＣＵ１７０に出力することができる。

図１１に示した第２の接続態様では、カメラシステム１００とＥＣＵ１７０とが、１組のＮＩＣ（ネットワークインタフェースコントローラ）１７３，１７４によって接続されている。そして、映像分岐回路１２５とＮＩＣ１７３との間には、圧縮回路１２７が設けられている。図１１に示した例では、圧縮回路１２７によって、画像処理部１２４から出力された画像を圧縮してＥＣＵ１７０に出力することができる。

以上で説明した第１の接続形態および第２の接続形態では、画像処理部１２４で処理した画像を分岐させてカメラシステム１００から出力することができるので、記録に適した画作りを行いやすくなる。そのため、例えば、撮像素子１１２の仕様が変更された場合でも、同じ画質になるように画作りしやすくなる。また、撮像された画像の中から、特定のフレームを選別して出力することができるので、例えば、撮影は１２０ｆｐｓで行い、出力は３０ｆｐｓで行うことができる。また、認識処理部１２６による画像認識結果を画像に付与して出力することができる。また、例えば、映像分岐回路１２５や圧縮回路１２７において、画像の暗号化や画像に対する署名を行うことにより、出力される画像の真正性を担保することができる。

図１２に示した第３の接続形態では、図１０に示した第１の接続形態に対して、画像処理部１２４と映像分岐回路１２５の配置を入れ替えた構成となっている。また、図１３に示した第４の接続形態では、図１１に示した第２の接続形態に対して、画像処理部１２４と映像分岐回路１２５との配置を入れ替えた構成となっている。これらの構成によっても、例えば、撮像された画像の中から、特定のフレームを選別して出力することができ、また、認識処理部１２６による画像認識結果を画像に付与して出力することができる。

図１４～１６には、撮像部１１０が複数備えられたカメラシステム１００を示している。図１４に示した第５の接続態様では、複数の撮像部１１０によって撮像された画像が、映像分岐回路１２５を通じて、複数系統のＬＶＤＳ送信機１７１およびＬＶＤＳ受信機１７２により、単一のＥＣＵ１７０に出力される。また、図１５に示した第６の接続態様では、１つのＬＶＤＳ送信機１７１において、複数の撮像部１１０で撮像された画像が多重化されてＥＣＵ１７０に出力される。また、図１６に示した第７の接続態様では、複数の撮像部１１０で撮像された画像が、それぞれ圧縮回路によって圧縮され、１組のＮＩＣ１７３、１７４によってそれぞれＥＣＵ１７０に出力される。図１４～１６に示したカメラシステム１００の構成では、例えば、２つの撮像部１１０でシャッタータイミングをあわせて撮像を行うことにより、それぞれの画像をパノラマ合成してＥＣＵ１７０に出力することができる。なお、図１４～１６には、映像分岐回路１２５が画像処理部１２４と認識処理部１２６の間に配置されている例を示しているが、映像分岐回路１２５は、撮像部１１０と画像処理部１２４との間に配置されてもよい。

図１７～図２０には、カメラシステム１００に対して複数のＥＣＵ１７０が接続された例を示している。図１７に示した第８の接続態様では、複数のＥＣＵ１７０ａ，１７０ｂが、ディジーチェーン接続に対応したＬＶＤＳ受信機１７２によって、直列的に接続されている。また、図１８に示した第９の接続形態では、カメラシステム１００と複数のＥＣＵ１７０ａ，１７０ｂとの間にスイッチングハブ１９０が配置されており、カメラシステム１００のＮＩＣ１７３と、ＥＣＵ１７０ａのＮＩＣ１７４ａと、ＥＣＵ１７０ｂのＮＩＣ１７４ｂとが、スイッチングハブ１９０によって接続されている。

図１９に示した第１０の接続形態と、図２０に示した第１１の接続形態とでは、カメラシステム１００に対して、複数のＥＣＵ１７０ａ，１７０ｂが、複数組のＬＶＤＳ送信機１７１ａ，１７１ｂおよびＬＶＤＳ受信機１７２ａ，１７２ｂを介して、並列的に接続されている。図１９では、映像分岐回路１２５が画像処理部１２４と認識処理部１２６との間に配置され、図２０では、映像分岐回路１２５が、撮像部１１０と画像処理部１２４との間に配置されている。図１９および図２０では、映像分岐回路１２５から映像信号が分岐されて、複数のＬＶＤＳ送信機１７１ａ，１７１ｂに並列的に入力される。

図１７～図２０に示すように、１つのカメラシステム１００から複数のＥＣＵ１７０に画像を送信すれば、同じ画像を用いて複数のＥＣＵ１７０において、それぞれ異なる処理を行うことが可能である。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、各実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０ 車両、２０ イベント記録システム、３０ 外部機器、１００ カメラシステム、１１０ 撮像部、１１２ 撮像素子、１１４ 高感度画素、１１６ 低感度画素、１２０ 認識処理チップ、１２２ 露光制御部、１２４ 画像処理部、１２５ 映像分岐回路、１２６ 認識処理部、１２７ 圧縮回路、１３０ 車両制御システム、１４０ センシングシステム、１５０ 通信部、１６０ 記録装置、１７０ ＥＣＵ、１７１ ＬＶＤＳ送信機、１７２ ＬＶＤＳ受信機、１７３，１７４ ＮＩＣ、１９０ スイッチングハブ

Claims (7)

1. 車両（１０）に搭載されるカメラシステム（１００）であって、
   予め定められた周期内において複数のフレーム画像を撮像する撮像部（１１０）と、
   前記撮像部から前記複数のフレーム画像を取得し、前記複数のフレーム画像から、画像認識に用いられる認識用フレーム画像と、記録装置（１６０）において保存に用いられる保存用フレーム画像と、を個別に出力する画像処理部（１２４）と、
   を備え、
   前記画像処理部は、前記複数のフレーム画像を、前記認識用フレーム画像として出力するとともに、前記認識用フレーム画像のうちの少なくとも一部を、前記保存用フレーム画像としても出力し、
   前記画像処理部は、前記フレーム画像に映像補正を施して前記認識用フレーム画像として出力し、前記映像補正が施された前記認識用フレーム画像に対して色変換処理を施して前記保存用フレーム画像として出力する、
   カメラシステム（１００）。
2. 請求項１に記載のカメラシステムであって、
   前記映像補正は、ガンマ補正である、カメラシステム。
3. 請求項１または請求項２に記載のカメラシステムであって、
   前記撮像部は、フリッカ抑制機能を備える、カメラシステム。
4. 請求項３に記載のカメラシステムであって、
   前記撮像部は、前記フリッカ抑制機能として、信号機の点灯状態における点滅周期の整数倍とは異なる前記周期により、前記複数のフレーム画像を撮像する機能を備える、カメラシステム。
5. 請求項１から請求項４までのいずれか一項に記載のカメラシステムであって、
   前記撮像部は、高感度画素（１１４）と、前記高感度画素よりも感度の低い低感度画素（１１６）とを有し、前記高感度画素と前記低感度画素とを用いて同時に撮像された画像を合成することによって前記フレーム画像を生成する、カメラシステム。
6. 請求項１から請求項５までのいずれか一項に記載のカメラシステムであって、
   前記撮像部は、１０～６０フレーム／秒のフレームレートで前記フレーム画像を撮像し、
   前記カメラシステムは、０．５～１０ギガビット／秒の転送レートで前記認識用フレーム画像および前記保存用フレーム画像を出力する、カメラシステム。
7. イベント記録システム（２０）であって、
   請求項１から請求項６までのいずれか一項に記載のカメラシステム（１００）と、
   前記認識用フレーム画像を用いて画像認識を行い、前記画像認識の結果に応じて前記車両の制御を行う車両制御システム（１３０）と、
   前記車両の挙動をセンシングするセンシングシステム（１４０）と、
   前記センシングシステムによって前記挙動に関するイベントが発生したことを検出した場合、または、他車にイベントが発生したことを表す通知を外部から受信した場合に、事象の記録が行われている外部機器（３０）から、前記イベントの発生前の事象を表すプリイベントデータと、前記イベントの発生以降の事象を表すポストイベントデータと、の少なくとも一方を含む外部データを取得する通信部（１５０）と、
   前記イベントと、前記保存用フレーム画像と、前記外部データと、を関連付けて記録する記録装置（１６０）と、
   を備えるイベント記録システム（２０）。

Images