JPWO2020189081A1

JPWO2020189081A1 - カメラシステムの評価装置及び評価方法

Info

Publication number: JPWO2020189081A1
Application number: JP2021506232A
Authority: JP
Inventors: 隆良千代田; 中田　啓明; 道雄森岡; 雅之金井
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-03-19
Filing date: 2020-02-07
Publication date: 2021-10-28
Anticipated expiration: 2040-02-07
Also published as: WO2020189081A1; DE112020000836T5; JP7245318B2; US20220101500A1

Abstract

評価対象が必要とする明るさや歪みなどの光学的な画像処理を行った仮想映像を用いて評価を行う、外界を撮像するカメラを含むカメラシステムの評価装置であって、前記カメラが撮影する外界の映像を模擬するシミュレーション用映像を生成する映像生成部と、前記カメラから出力される映像を模擬するための光学的な画像処理を、前記シミュレーション用映像に行う光学フィルタ部と、前記画像処理された後の映像を用いて認識処理を行って、車両制御用の信号を生成するカメラ画像処理部とを備える。

Description

本発明は、車両が道路を走行する状態をシミュレートして、該車両に搭載されたカメラシステムを評価する評価装置に関する。

近年、安全かつ快適な車社会を実現するために運転支援システムや自動運転システムが研究されている。今後、自動運転のレベルが向上するに従って、高速道路の合流地点や交差点における右左折など、周辺環境を含めた複雑な制御ロジックの開発が必要になる。また、これらの機能の複雑な制御ロジックを検証し、評価するために膨大なテストケースが必要になると予想されている。現状の検証・評価は、実車走行評価を中心に実施されているが、今後テスト工数が膨大になり、実車を走行させるだけでは評価が困難であり、シミュレータの活用が一般的である。

このようなシミュレータとしてのＨＩＬＳ（ＨａｒｄｗａｒｅＩｎｔｈｅＬｏｏｐＳｉｍｕｌａｔｏｒ）は、評価対象には実物を用い、それ以外の車両要素をモデル化して、これらを組み合わせて評価装置を構築することによって、実際の制御システムを仮想的に評価するツールである。このようなシミュレータとしては、例えば特許文献１に記載のものが知られている。

特開２０１０−２６８４５号公報

各種センサ情報に基づいて演算処理を実行する評価対象を用いてＨＩＬＳを構築する場合、評価対象が要求するタイミングでセンサ情報を提供する必要がある。例えば、評価対象であるカメラがシャッタを切るタイミングで、評価対象に映像を入力する必要がある。ＨＩＬＳでは、実際の映像を評価対象に入力できないため、ＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）で作成した仮想的な外界の映像を入力する。本来、評価対象はレンズや撮像素子に対して時々刻々と明るさなどを調整しており、評価対象に入力される仮想映像も評価対象からの指示に基づいて変化させることが望まれている。

前述した特許文献１（特開２０１０−２６８４５号）では、評価対象（カメラ制御ＥＣＵ）からカメラモデルにタイミング信号をフィードバックする機能が無いため、評価対象の制御に従って必要な映像を入力できず、評価対象が映像を正しく認識したり認識結果に基づく車両の制御が不可能となる問題がある。

以上のことから、本発明の目的は、ＣＧ映像を用いたＨＩＬＳ環境で評価対象を評価する際に、評価対象から出力された情報を用い、評価対象が必要とする明るさや歪みなどの光学的な画像処理を行った仮想映像を用いて評価を行うことである。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、外界を撮像するカメラを含むカメラシステムの評価装置であって、前記カメラが撮影する外界の映像を模擬するシミュレーション用映像を生成する映像生成部と、前記カメラから出力される映像を模擬するための光学的な画像処理を、前記シミュレーション用映像に行う光学フィルタ部と、前記画像処理された後の映像を用いて認識処理を行って、車両制御用の信号を生成するカメラ画像処理部とを備える。

本発明の一態様によれば、評価対象が必要とする明るさや歪みなどの光学的な画像処理を行った仮想映像を用いてカメラ画像処理部を適切に評価できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

本発明の実施例に係る光学フィルタ機能を用いたＨＩＬＳの構成例を示す図である。実施例１に係る車両挙動シミュレータの構成を示す図である。実施例１に係る視点映像生成機能の構成を示す図である。実施例１に係る光学フィルタ機能の構成を示す図である。実施例１に係るゲイン調整部の概念図である。実施例１に係るカメラフォーマット変換機能の構成を示す図である。実施例１に係るステレオカメラＥＣＵの構成を示す図である。実施例１に係るＨＩＬＳを構成する各機能の動作を示すシーケンス図である。実施例２に係る光学フィルタ機能を映像生成機能に統轄したＨＩＬＳの構成例を示す図である。実施例２に係る光学フィルタ機能を含む視点映像生成機能の構成を示す図である。実施例２に係るＨＩＬＳを構成する各機能の動作を示すシーケンス図である。実施例３に係る光学フィルタ機能を用いたＳＩＬＳの構成例を示す図である。実施例４に係る単眼カメラのＨＩＬＳの構成例を示す図である。実施例５に係る視点映像ＣＧ映像部の構成を示す図である。実施例５に係るゲイン調整処理部の構成を示す図である。

以下、本発明の実施例を図面を用いて説明する。

［実施例１］
図１は、本発明の実施例に係る光学フィルタ機能を用いたＨＩＬＳの構成例を示す図である。ＣＧ映像Ｓ７が入力されるステレオカメラＥＣＵ６を評価する評価環境は、車両挙動シミュレータ１と、左視点映像生成機能２と、右視点映像生成機能３と、光学フィルタ機能４と、カメラフォーマット変換機能５とから構成される。

車両挙動シミュレータ１は、所定の時間（例えば、１ミリ秒）間隔で車両の挙動を計算し、シミュレーション空間内にいる自車両の左右のカメラ座標と姿勢を計算する。計算されるカメラ座標と姿勢は、ある時間における座標と姿勢角の相対的な変化量でも、所定の位置や方向を基準とした絶対的な座標と絶対的な姿勢角でもよい。また、車両の挙動は、アクセル、ブレーキ、ステアリングをドライバーが操作する情報の他に、ステレオカメラＥＣＵ６から入力されるアクセル、ブレーキ、舵角などの車両制御情報Ｓ１０を用いて計算する。計算された左視点座標・姿勢Ｓ１を左視点映像生成機能２に送信し、右視点座標・姿勢Ｓ２を右視点映像生成機能３に送信する。また、車速などの車両情報Ｓ１１をステレオカメラＥＣＵ６に送信する。

左視点映像生成機能２は、車両挙動シミュレータ１によって計算された左視点座標・姿勢Ｓ１から左視点映像Ｓ３を生成し、光学フィルタ機能４に送信する。

右視点映像生成機能３は、車両挙動シミュレータ１によって計算された右視点座標・姿勢Ｓ２から右視点映像Ｓ４を生成し、光学フィルタ機能４に送信する。

光学フィルタ機能４は、ステレオカメラＥＣＵ６から出力された光学処理情報Ｓ８に従って、左右の視点映像Ｓ３、Ｓ４に明るさやノイズなどの光学的な画像処理を行った左視点映像Ｓ５、右視点映像Ｓ６を生成し、シャッタ信号Ｓ９のタイミングでカメラフォーマット変換機能５に送信する。

カメラフォーマット変換機能５は、入力された光学処理後の左視点映像Ｓ５と右視点映像Ｓ６とを、ステレオカメラＥＣＵ６が受信できるハード的かつソフト的カメラＩ／Ｆに適合したＣＧ映像Ｓ７に変換する。

ステレオカメラＥＣＵ６は、カメラＩ／Ｆに適合したＣＧ映像Ｓ７と、車速などの車両情報Ｓ１１の入力を受け、アクセル、ブレーキ、舵角などの車両制御情報Ｓ１０を必要に応じて車両挙動シミュレータ１に出力する。また、ステレオカメラＥＣＵ６は、ステレオカメラＥＣＵ６が要求する露光情報などを含む光学処理情報Ｓ８と、映像を要求するタイミングを示すシャッタ信号Ｓ９とを、映像を要求するタイミングで光学フィルタ機能４に出力する。また、シャッタ信号Ｓ９は、車両挙動シミュレータ１にも出力される。

以下の説明において、左右ともに同じ動作をする場合は、左映像について説明する。右映像についての説明は省略するが、左映像と同様の処理が行われる。

図２は、本実施例に係る車両挙動シミュレータ１の構成を示す図である。

車両挙動シミュレータ１は、シミュレーションモデル１０１と、視点情報Ｉ／Ｆ１０５と、ＣＡＮＩ／Ｆ１０６とから構成される。また、シミュレーションモデル１０１は、センサモデル１０２と、環境モデル１０３と、車両モデル１０４とを有する。

シミュレーションモデル１０１は、所定の時間（例えば、１ミリ秒）間隔で車両の挙動（位置及び姿勢）を計算し、計算された左右の視点座標・姿勢Ｓ１、Ｓ２をシャッタ信号Ｓ９のタイミングで出力する。環境モデル１０３が持つ仮想道路上を車両モデル１０４が走行することによって、実車両と同等の車両の挙動を計算する。車両モデル１０４は、ステレオカメラＥＣＵ６から入力されるアクセル、ブレーキ、舵角などの車両制御情報Ｓ１０をＣＡＮＩ／Ｆ１０６を介して取得し、車両挙動に反映する。また、車両モデル１０４で模擬した車両情報Ｓ１１はＣＡＮＩ／Ｆ１０６で変換され、ステレオカメラＥＵＣ６に送信される。

センサモデル１０２は、車両モデル１０４が模擬する車両に搭載されている外界認識センサの設定を行っており、本実施例ではステレオカメラの車両への取り付け位置が設定される。この外界認識センサの設定は、左右の視点座標・姿勢Ｓ１、Ｓ２の計算に用いられる。計算された左右の視点座標・姿勢Ｓ１、Ｓ２は、視点情報Ｉ／Ｆ１０５を介し、左右それぞれの視点映像生成機能２、３に送信される。

ここで、本実施例の評価環境を構成する計算機の物理的な構成を説明する。

本実施例の評価環境は、プロセッサ（ＣＰＵ）、メモリ、補助記憶装置及び通信インターフェースを有する計算機によって構成される。評価環境は、入力インターフェース及び出力インターフェースを有してもよい。

プロセッサは、メモリに格納されたプログラムを実行する演算装置である。プロセッサが、各種プログラムを実行することによって、評価環境の各部（例えば、車両挙動シミュレータ１、左視点映像生成機能２、右視点映像生成機能３、光学フィルタ機能４、カメラフォーマット変換機能５など）による機能が実現される。なお、プロセッサがプログラムを実行して行う処理の一部を、他の演算装置（例えば、ＡＳＩＣ、ＦＰＧＡ等のハードウエアウェア）で実行してもよい。

メモリは、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、プロセッサが実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

補助記憶装置は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置である。また、補助記憶装置は、プロセッサがプログラムの実行時に使用するデータ、及びプロセッサが実行するプログラムを格納する。すなわち、プログラムは、補助記憶装置から読み出されて、メモリにロードされて、プロセッサによって実行されることによって、評価環境の各機能を実現する。

通信インターフェースは、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。

入力インターフェースは、キーボードやマウスなどの入力装置が接続され、オペレータからの入力を受けるインターフェースである。出力インターフェースは、ディスプレイ装置やプリンタ（図示省略）などの出力装置が接続され、プログラムの実行結果をオペレータが視認可能な形式で出力するインターフェースである。なお、評価環境にネットワークを介して接続されたユーザ端末が入力装置及び出力装置を提供してもよい。この場合、評価環境がウェブサーバの機能を有し、ユーザ端末が評価環境に所定のプロトコルでアクセスしてもよい。

プロセッサが実行するプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介して評価環境に提供され、非一時的記憶媒体である不揮発性の補助記憶装置に格納される。このため、評価環境は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

評価環境は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。例えば、車両挙動シミュレータ１、左視点映像生成機能２、右視点映像生成機能３、光学フィルタ機能４及びカメラフォーマット変換機能５は、各々別個の物理的又は論理的計算機上で動作するものでも、複数が組み合わされて一つの物理的又は論理的計算機上で動作するものでもよい。

図３は、本実施例に係る視点映像生成機能２、３の構成を示す図である。なお、図３には、左視点映像生成機能２の構成を示すが、右視点映像生成機能３も同じ構成である。

左視点映像生成機能２は、ＣＧ環境情報２０１と、座標情報受信部２０２と、視点映像ＣＧ生成部２０３と、ＣＧ映像送信部２０４とから構成される。座標情報受信部２０２は、車両挙動シミュレータ１によって計算された視点座標・姿勢Ｓ１を、視点映像ＣＧ生成部２０３が処理できる形式に変換し、視点映像ＣＧ生成部２０３に送信する。

視点映像ＣＧ生成部２０３は、ＣＧ環境情報２０１で指定された仮想空間上において、座標情報受信部２０２で変換された視点座標・姿勢Ｓ１に応じたＣＧ映像を生成し、ＣＧ映像送信部２０４に送信する。

ＣＧ映像送信部２０４は、視点映像ＣＧ生成部２０３によって生成された映像を受信すると、すぐに光学フィルタ機能４に左視点映像Ｓ３を送信する。ＣＧ映像送信部２０４は、映像を格納するバッファを有してもよい。

図４は、本実施例に係る光学フィルタ機能４の構成を示す図である。

光学フィルタ機能４は、ＣＧ映像受信部４０１と、ゲイン調整部４０２と、ぼかし処理部４０３と、ノイズ処理部４０４と、歪み処理部４０５と、ＣＧ映像送信部４０６とから構成される。ＣＧ映像受信部４０１は、左視点映像Ｓ３又は右視点映像Ｓ４を受信し、ゲイン調整部４０２、ぼかし処理部４０３、ノイズ処理部４０４、歪み処理部４０５に送信する。ＣＧ映像受信部４０１は、受信した映像を格納するバッファを有してもよい。なお、光学フィルタ機能４は、ゲイン調整調整部４０２と、ぼかし処理４０３と、ノイズ処理４０４と、歪み処理４０５を任意の順に変更する構成であってもよい。

ゲイン調整部４０２、ぼかし処理部４０３、ノイズ処理部４０４、歪み処理部４０５は、ステレオカメラＥＣＵ６から入力される光学処理情報Ｓ８に基づいてカメラの光学系を模擬する処理を行う。これらの処理は、模擬される光学系（レンズ及び撮像素子）の特性に応じて、一つ以上が選択的に実行されればよい。具体的には、ゲイン調整部４０２は、カメラの撮像素子のゲイン調整により映像の明るさを模擬するための処理である。ぼかし処理部４０３は、レンズが固有に有する光学的なボケを模擬するための処理である。ノイズ処理部４０４は、カメラが撮影した映像に含まれるノイズを模擬するための処理である。歪み処理部４０５は、レンズが固有に有する光学的な歪みを模擬するための処理である。

そして、光学フィルタ機能４は、光学的な画像処理を行った視点映像をＣＧ映像送信部４０６に格納し、シャッタ信号Ｓ９のタイミングで、左右の視点映像Ｓ５、Ｓ６をカメラフォーマット変換機能５に送信する。ＣＧ映像送信部４０６は、映像を格納するバッファを有してもよい。

図５は、本実施例に係るゲイン調整部４０２の概念図である。

左視点映像生成機能２で生成される左視点映像Ｓ３は、複数画素の集合から構成されている。例えば、各画素をＲＧＢの各値で表した場合、ＲＧＢの各値に明度情報が含まれることから、ＲＧＢの各値を決定する。ステレオカメラＥＣＵ６は、周辺の明るさに応じてカメラの露光時間を調整しており、光学処理情報Ｓ８を出力する。この光学処理情報Ｓ８に含まれる露光情報が全体を１／２の明るさにする指令である場合、各画素の明度を１／２にする処理を行う。これにより、実際のレンズなどの光学系を通過して撮像素子で撮影された映像と同等の映像を生成できる。

図６は、本実施例に係るカメラフォーマット変換機能５の構成を示す図である。

カメラフォーマット変換機能５は、データ情報である左右の視点映像Ｓ５、Ｓ６を、ハードウェアと接続するためのインターフェースであり、ＣＧ映像受信部５０１と、カラーフィルタ変換部５０２と、伝送形式変換部５０３と、ＣＧ映像送信Ｉ／Ｆ５０４とから構成される。

ＣＧ映像受信部５０１は、光学フィルタ機能４によって光学処理された左右の視点映像Ｓ５、Ｓ６を入力し、カメラＥＣＵが認識できるＲＧＧＢ形式やＲＣＣ形式などのカラーパターンへ変換するカラーフィルタ変換部５０２に送信する。

カラーフィルタ変換部５０２は、ステレオカメラＥＣＵ６に適したカラーパターン（例えば、撮像素子から出力されるものと同じ形式（ＲＧＧＢなど）の）に変換されたＣＧ映像を、カメラへの送信Ｉ／Ｆに従った映像形式に変更をする伝送形式変換部５０３に送信する。

ＣＧ映像送信Ｉ／Ｆ５０４は、伝送形式変換部５０３によってカメラフォーマットに従った形式に変換されたＣＧ映像Ｓ７を、ステレオカメラＥＣＵ６に出力する。

図７は、本実施例に係るステレオカメラＥＣＵ６の構成を示す図である。

ステレオカメラＥＣＵ６は、ＣＧ映像受信Ｉ／Ｆ６０１と、画像認識部６０２と、車両制御部６０３とから構成される。

ＣＧ映像受信Ｉ／Ｆ６０１は、カメラフォーマットで入力されるＣＧ映像を受信し、画像認識部６０２に送信する。

画像認識部６０２は、入力されるＣＧ映像を用いて外界認識処理を実行し、認識された物体の速度や距離などの認識結果を出力する。

車両制御部６０３は、車両制御情報Ｓ１０を出力する。車両制御情報Ｓ１０は、画像認識部６０２による認識結果と、車両情報Ｓ１１とに基づいて生成される、車両制御のための制御フィードバック情報であるアクセル、ブレーキ、舵角などを含む。また、車両制御部６０３は、映像の明るさを決める露光時間などのステレオカメラＥＣＵ６が要求する光学処理情報Ｓ８と、ステレオカメラＥＣＵ６が映像を要求するタイミングを示すシャッタ信号Ｓ９を出力する。

図８は、本実施例に係るＨＩＬＳを構成する各機能の動作を示すシーケンス図である。なお、図８には左視点映像を生成する処理を示すが、右視点映像も同様の処理で生成される。

ステレオカメラＥＵＣ６は、映像を要求するタイミング毎にシャッタ信号Ｓ９と光学処理情報Ｓ８とを送信する。車両挙動シミュレータ１は、シャッタ信号Ｓ９を受信すると、受信したタイミングのカメラ視点座標・姿勢Ｓ１を計算し、視点映像生成機能２、３に通知する。視点映像生成機能２、３は、カメラ視点座標・姿勢Ｓ１が通知されると、通知されたカメラ視点座標・姿勢Ｓ１のＣＧ映像Ｓ３を生成し、光学フィルタ機能４へ送信する。光学フィルタ機能４は、ステレオカメラＥＣＵ６から受信する光学処理情報Ｓ８に従って、受信したＣＧ映像Ｓ３に、ステレオカメラＥＣＵ６に出力するための光学的な画像処理を行い、画像処理された映像を保持する。光学フィルタ機能４は、ステレオカメラＥＣＵ６が次のシャッタ信号Ｓ９で要求するタイミングにおいて、光学処理された映像Ｓ５をステレオカメラＥＣＵ６が処理可能な信号形式にカメラフォーマット変換機能５に送信する。カメラフォーマット変換機能５は、受信した光学処理後の映像Ｓ５をカメラフォーマットに変換し、ステレオカメラＥＣＵ６に映像を送信する。

シャッタタイミング内で左右カメラの処理を終え、次のシャッタタイミングでデータを送信することによって、左右でずれがない光学処理を含んだＣＧ映像を提供することが可能となる。

以上に説明したように実施例１によると、カメラが撮影する外界の映像を模擬するシミュレーション用映像を生成する映像生成機能２、３と、カメラから出力される映像を模擬するための光学的な画像処理をシミュレーション用映像に行う光学フィルタ機能４と、画像処理された後の映像を用いて認識処理を行って、車両制御用の信号を生成するカメラ画像処理部（ステレオカメラＥＣＵ６、ステレオカメラモデル７）とを備えるので、評価対象が必要とする明るさや歪みなどの光学的な画像処理を行った仮想映像を用いてカメラ画像処理部を適切に評価できる。

すなわち、ステレオカメラＥＣＵ６からの情報に基づいて明るさを変更したＣＧ映像を描画するとシステムの負荷が高くなることから、映像生成機能２、３が生成したシミュレーション用映像に、光学フィルタ機能４が光学的な画像処理を行うことによって、システム負荷を抑制しつつ、ステレオカメラＥＣＵ６の要求に従ったシミュレーション用映像を生成できる。

また、ステレオカメラＥＣＵ６は明るさによって動作が異なる場合があり、ステレオカメラＥＣＵ６の学習時に、明るさだけが異なる同一被写体の映像が有効である。しかし、実写映像や指定された条件で生成されたＣＧ映像は一つの明るさでしかなく、異なる明るさ状態での学習が困難である。しかし、本実施例ではＣＧ環境によって映像を生成するので、異なる条件で同一被写体の映像を生成でき、実写映像より細かな明るさ指定によって、ステレオカメラＥＣＵ６に十分な学習をさせることができる。

また、カメラが搭載される車両の挙動及び周辺環境を模擬する車両挙動シミュレータ１を有し、映像生成機能２、３が車両挙動シミュレータ１の出力に基づいてＣＧ映像を生成するので、車両の走行に合わせたＣＧ映像を生成できる。

また、光学フィルタ機能４によって画像処理された映像をステレオカメラＥＣＵ６への入力に適する形式の映像にデータフォーマットを変換するカメラフォーマット変換機能５を有するので、実車搭載時にステレオカメラＥＣＵ６に入力されるフォーマットの映像データ（例えば、撮像素子が出力するＲＧＧＢの画素データ）をステレオカメラＥＣＵ６に入力でき、ステレオカメラＥＣＵ６を適切に評価できる。

また、実施例１では、カメラは少なくとも左視点映像と右視点映像とを撮影する複眼カメラであって、実施例４では、カメラは一つの映像とを撮影する単眼カメラとしたので、様々な数のカメラ（撮像素子）にも対応できる。

また、光学フィルタ機能４は、ゲイン調整処理と、ぼかし処理と、ノイズ処理と、歪み処理との少なくとも一つの処理を実行するので、実際のレンズなどの光学系を通過して撮像素子で撮影された映像と同等の映像を生成できる。

［実施例２］
図９は、本発明に係る一実施例として光学フィルタ機能４を映像生成機能に統轄したＨＩＬＳの構成例を示す図である。実施例２では、左視点映像生成機能２及び右視点映像生成機能３が、ＣＧ映像を生成する際に光学的な画像処理を実行する。以下の実施例２の説明において、実施例１と異なる箇所を主に説明し、実施例１と同じ機能の構成には同じ符号を付し、それらの説明は省略する。

ＣＧ映像Ｓ７が入力されるステレオカメラＥＣＵ６を評価する評価環境は、車両挙動シミュレータ１と、左視点映像生成機能２と、右視点映像生成機能３と、カメラフォーマット変換機能５とから構成される。

車両挙動シミュレータ１は、所定の時間（例えば、１ミリ秒）間隔で車両の挙動を計算し、シミュレーション空間内にいる自車両の左右のカメラ座標と姿勢を計算する。また、車両の挙動は、ドライバーが操作する情報の他に、ステレオカメラＥＣＵ６から入力されるアクセル、ブレーキ、舵角などの車両制御情報Ｓ１０を用いて計算する。計算された左視点座標・姿勢Ｓ１を左視点映像生成機能２に送信し、右視点座標・姿勢Ｓ２を右視点映像生成機能３に送信する。また、車速などの車両情報Ｓ１１をステレオカメラＥＣＵ６に送信する。

左視点映像生成機能２は、車両挙動シミュレータ１によって計算された左視点座標・姿勢Ｓ１と、ステレオカメラＥＣＵ６から出力された光学処理情報Ｓ８とから、光学処理された左視点の映像Ｓ５を生成し、シャッタ信号Ｓ９が入力されたタイミングでカメラフォーマット変換機能５に送信する。

右視点映像生成機能３は、車両挙動シミュレータ１によって計算された右視点座標・姿勢Ｓ２と、ステレオカメラＥＣＵ６から出力された光学処理情報Ｓ８とから、光学処理された右視点の映像Ｓ６を生成し、シャッタ信号Ｓ９が入力されたタイミングでカメラフォーマット変換機能５に送信する。

ステレオカメラＥＣＵ６は、カメラＩ／Ｆに適合したＣＧ映像Ｓ７と、車速などの車両情報Ｓ１１の入力を受け、アクセル、ブレーキ、舵角などの車両制御情報Ｓ１０を必要に応じて車両挙動シミュレータ１に出力する。また、ステレオカメラＥＣＵ６は、ステレオカメラＥＣＵ６が要求する露光情報などを含む光学処理情報Ｓ８を、左視点映像生成機能２と右視点映像生成機能３とに出力する。また、ステレオカメラＥＣＵ６は、映像を要求するタイミングを制御し、映像を要求するタイミングを示すシャッタ信号Ｓ９を、左視点映像生成機能２と右視点映像生成機能３と車両挙動シミュレータ１とに出力する。

図１０は、本実施例に係る光学フィルタ機能４を含む視点映像生成機能２、３の構成を示す図である。なお、図１０には、左視点映像生成機能２の構成を示すが、右視点映像生成機能３も同じ構成である。

左視点映像生成機能２は、ＣＧ環境情報２０１と、座標情報受信部２０２と、視点映像ＣＧ生成部２０３と、ＣＧ映像送信部２０４とから構成される。視点映像ＣＧ生成部２０３は、光学フィルタ機能４を有し、光学処理情報Ｓ８に基づいてゲイン調整部４０２と、ぼかし処理４０３部と、ノイズ処理４０４部と、歪み処理４０５部とで画像処理を行って、ＣＧ映像を生成する。

座標情報受信部２０２は、車両挙動シミュレータ１によって計算された視点座標・姿勢Ｓ１を受信すると視点映像ＣＧ生成部２０３に送信する。

視点映像ＣＧ生成部２０３は、ＣＧ環境情報２０１で指定された仮想空間上において、座標情報受信部２０２で変換された視点座標・姿勢Ｓ１に応じたＣＧ映像を生成し、ステレオカメラＥＣＵ６から入力された光学処理情報Ｓ８に基づいて、ゲイン調整部４０２と、ぼかし処理部４０３と、ノイズ処理部４０４と、歪み処理部４０５とで処理を行って、光学処理を行ったＣＧ映像を生成し、ＣＧ映像送信部２０４に送信する。ＣＧ映像送信部２０４は、映像を格納するバッファを有してもよい。

ＣＧ映像送信部２０４は、ステレオカメラＥＣＵ６から入力されるシャッタ信号Ｓ９のタイミングで、光学的な画像処理後の左視点映像Ｓ５をカメラフォーマット変換機能５に送信する。

図１１は、本実施例に係るＨＩＬＳを構成する各機能の動作を示すシーケンス図である。

ステレオカメラＥＣＵ６は、映像を要求するタイミング毎にシャッタ信号Ｓ９と光学処理情報Ｓ８とを送信する。車両挙動シミュレータ１は、シャッタ信号Ｓ９を受信すると、受信したタイミングのカメラ視点座標・姿勢Ｓ１を計算し、視点映像生成機能２、３に送信する。視点映像生成機能２、３は、カメラ視点座標・姿勢Ｓ１が通知されると、通知されたカメラ視点座標・姿勢Ｓ１のＣＧ映像を生成し、ステレオカメラＥＵＣ６から受信する光学処理情報Ｓ８に従って、受信したＣＧ映像Ｓ３に、ステレオカメラＥＣＵ６に出力するための光学的な画像処理を行ったＣＧ映像Ｓ５を生成する。生成された映像は視点映像生成機能２、３で保持される。視点映像生成機能２、３は、ステレオカメラＥＣＵ６が次のシャッタ信号Ｓ９で要求するタイミングにおいて、光学処理された映像Ｓ５をステレオカメラＥＣＵ６が処理可能な信号形式にカメラフォーマット変換機能５に送信する。カメラフォーマット変換機能５は、受信した光学処理後の映像Ｓ５をカメラフォーマットに変換し、ステレオカメラＥＣＵ６に映像を送信する。

以上に説明したように実施例２によると、光学フィルタ機能４を映像生成機能２、３に設けたので、実施例１と比べてＣＧ映像を生成する処理の時間が長くなるが、バッファへの入出力やデータ転送などの映像生成の周辺の処理回数を低減できる。このため、ステレオカメラＥＣＵ６を短時間で評価できる。

［実施例３］
図１２は、本実施例に係る一構成例として光学フィルタ機能４を用いたＳＩＬＳの構成例を示す図である。実施例３では、実施例１のステレオカメラＥＣＵ６の機能をソフトウェアで構成されたステレオカメラモデル７が実行するので、ステレオカメラモデル７に入力されるデータは形式を変換する必要がなく、カメラフォーマット変換機能５が不要となる。以下の実施例３の説明において、実施例１と異なる箇所を主に説明し、実施例１と同じ機能の構成には同じ符号を付し、それらの説明は省略する。

ＣＧ映像Ｓ７が入力されるステレオカメラモデル７を評価する評価環境は、車両挙動シミュレータ１と、左視点映像生成機能２と、右視点映像生成機能３と、光学フィルタ機能４とから構成される。

車両挙動シミュレータ１は、所定の時間（例えば、１ミリ秒）間隔で車両の挙動を計算し、シミュレーション空間内にいる自車両の左右のカメラ座標と姿勢を計算する。また、車両の挙動は、ドライバーが操作する情報の他に、ステレオカメラＥＣＵ６から入力されるアクセル、ブレーキ、舵角などの車両制御情報Ｓ１０を用いて計算する。計算された左視点座標・姿勢Ｓ１を左視点映像生成機能２に送信し、右視点座標・姿勢Ｓ２を右視点映像生成機能３に送信する。また、車速などの車両情報Ｓ１１をステレオカメラＥＣＵ６に送信している。

ステレオカメラモデル７は、光学処理された左右の視点映像Ｓ５、Ｓ６と、車速などの車両情報Ｓ１１が入力され、アクセル、ブレーキ、舵角などの車両制御情報Ｓ１０を必要に応じて車両挙動シミュレータ１に出力する。また、ステレオカメラモデル７は、ステレオカメラＥＣＵ６が要求する露光情報などを含む光学処理情報Ｓ８と、映像を要求するタイミングを示すシャッタ信号Ｓ９とを、映像を要求するタイミングで光学フィルタ機能４に出力する。また、シャッタ信号Ｓ９は、車両挙動シミュレータ１にも出力される。

すなわち、外界認識センサの一つであるステレオカメラを模擬する構成は、実施例１、２のようにハードウェア（ＨｉＬＳ）で構成しても、実施例３のようにソフトウェア（ＳｉＬＳ）で構成してもよい。

以上に説明したように実施例３によると、ハードウェアで構成されるステレオカメラＥＣＵをソフトウェアで模擬するので、ステレオカメラＥＣＵのハードウェア的な仕様（例えば、信号レベル）に左右されることなく、ステレオカメラＥＣＵの制御ロジックを検証できる。

［実施例４］
図１３は、本実施例に係る一構成例として単眼カメラのＨＩＬＳの構成例を示す図である。以下の実施例４の説明において、実施例１と異なる箇所を主に説明し、実施例１と同じ機能の構成には同じ符号を付し、それらの説明は省略する。

ＣＧ映像Ｓ７が入力されるステレオカメラＥＣＵ６を評価する評価環境は、車両挙動シミュレータ１と、視点映像生成機能２と、光学フィルタ機能４と、カメラフォーマット変換機能５から構成される。各機能の処理は前述した実施例１と同じである。

すなわち、外界認識センサの一つであるカメラは、実施例１〜３のように複眼カメラ（例えばステレオカメラ）でも、実施例４のように単眼カメラでもよく、本発明はカメラの撮像素子の数を限定するものではない。また、３眼以上の複眼カメラ（上方から見下ろす視点で周囲映像を生成するシステム）にも、本発明を適用できる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

[実施例５]
図１４は、実施例の一例として視点映像ＣＧ映像部を示す。本実施例では、実際のレンズのようにＣＧ映像を作成する場合、仮想空間上に存在する光源からＲＧＢ映像を描画する。光源が発する光の情報として輝度情報があり、光学処理情報Ｓ８に含まれる。作成するＲＧＢ映像には色深度が存在し、複数の色情報を有している。この色深度は任意に設定可能であり、Ｘｂｉｔとする。また、この色深度の情報は、輝度情報から関連付けられ、輝度情報と色深度の設定は任意に設定可能とし、１次元や２次元などの引数参照も可能とする。

図１５は、ＣＧ映像を光学処理するゲイン調整処理部４０２を示す。図１４に示すＲＧＢデータを受領し、実際のカメラのようなＣＭＯＳ特性を考慮した光学処理を行う。ゲイン調整処理部４０２は、ＲＧＢデータを受領しＣＭＯＳ特性などを考慮したゲイン調整を行う。このゲイン調整は１次元や２次元などの引数参照も可能とする。このことで実際のＣＭＯＳ特性を再現するものである。
すなわち本実施例は、映像生成部がカメラ画像処理部からの輝度情報に基づいて、任意の映像データを作成する。
また、輝度情報から映像データへの生成は、任意に設定可能な変数により変換する。
また、映像生成部で作成された映像データから、光学センサを模擬した映像データに変換する。
また、映像生成部で作成された映像データは、任意に設定可能な変数を用いて光学センサを模擬した映像データへ変換する。

１：車両挙動シミュレータ
２：左視点映像生成機能
３：右視点映像生成機能
４：光学フィルタ機能
５：カメラフォーマット変換機能
６：ステレオカメラＥＣＵ
７：ステレオカメラモデル
１０１：シミュレーションモデル
１０２：センサモデル
１０３：環境モデル
１０４：車両モデル
１０５：視点情報Ｉ／Ｆ
１０６：ＣＡＮＩ／Ｆ
２０１：ＣＧ環境情報
２０２：座標情報受信部
２０３：視点映像用ＣＧ生成部
２０４：ＣＧ映像送信部
４０１：ＣＧ映像受信部
４０２：ゲイン調整処理部
４０３：ぼかし処理部
４０４：ノイズ処理部
４０５：歪み処理部
４０６：ＣＧ映像送信部
５０１：ＣＧ映像受信部
５０２：カラーフィルタ変換部
５０３：映像形式変換部
５０４：ＣＧ映像送信Ｉ／Ｆ
６０１：ＣＧ映像受信Ｉ／Ｆ
６０２：画像認識部
６０３：車両制御部
Ｓ１：左視点座標・姿勢
Ｓ２：右視点座標・姿勢
Ｓ３：左視点映像
Ｓ４：右視点映像
Ｓ５：光学処理後の左視点映像
Ｓ６：光学処理後の右視点映像
Ｓ７：カメラＩ／Ｆに適合した視点映像
Ｓ８：光学処理情報
Ｓ９：シャッタ信号
Ｓ１０：アクセル、ブレーキ、舵角などの車両制御情報
Ｓ１１：車両情報

Claims

外界を撮像するカメラを含むカメラシステムの評価装置であって、
前記カメラが撮影する外界の映像を模擬するシミュレーション用映像を生成する映像生成部と、
前記カメラから出力される映像を模擬するための光学的な画像処理を、前記シミュレーション用映像に行う光学フィルタ部と、
前記画像処理された後の映像を用いて認識処理を行って、車両制御用の信号を生成するカメラ画像処理部とを備える評価装置。
請求項１に記載の評価装置であって、
前記カメラが搭載される車両の挙動及び周辺環境を模擬するシミュレータと、
映像の形式を変換する変換部とを備え、
前記映像生成部は、前記シミュレータの出力に基づいて、前記シミュレーション用映像を生成し、
前記変換部は、前記画像処理された映像を前記カメラ画像処理部への入力に適する形式の映像に変換し、
前記カメラ画像処理部は、前記画像処理された後に、前記形式が変換された映像を用いて認識処理を行って、車両制御用の信号を生成することを特徴とする評価装置。
請求項２に記載の評価装置であって、
前記光学フィルタ部は、前記映像生成部に設けられることを特徴とする評価装置。
請求項２に記載の評価装置であって、
前記カメラは、少なくとも左視点映像と右視点映像とを撮影する複眼カメラであって、
前記映像生成部は、前記シミュレータの出力に基づいて、左視点シミュレーション用映像と右視点シミュレーション用映像とを生成し、
前記光学フィルタ部は、前記カメラ画像処理部からの出力に基づいて、前記左視点シミュレーション用映像と前記右視点シミュレーション用映像とのそれぞれに前記光学的な画像処理を行い、前記カメラ画像処理部からのタイミング信号に従って前記光学処理された左視点シミュレーション用映像と右視点シミュレーション用映像とを同期して出力し、
前記変換部は、前記画像処理された左視点シミュレーション用映像と右視点シミュレーション用映像とを前記カメラ画像処理部に入力可能な形式の映像に変換し、
前記カメラ画像処理部は、前記画像処理された後に、前記形式が変換された映像を用いて認識処理を行って、車両制御用の信号を生成することを特徴とする評価装置。
請求項４に記載の評価装置であって、
前記光学フィルタ部は、前記映像生成部に設けられることを特徴とする評価装置。
請求項１から５のいずれか一つに記載の評価装置であって、
前記光学フィルタ部は、ゲイン調整処理と、ぼかし処理と、ノイズ処理と、歪み処理との少なくとも一つの処理を行うことを特徴とする評価装置。
請求項１から５のいずれか一つに記載の評価装置であって、
前記カメラ画像処理部は、前記カメラシステムに実装される電子制御装置であることを特徴とする評価装置。
請求項１から５のいずれか一つに記載の評価装置であって、
前記カメラ画像処理部は、ソフトウェアによるカメラ機能シミュレータであることを特徴とする評価装置。
外界を撮像するカメラを含むカメラシステムの評価を演算装置が行う方法であって、
前記演算装置が、前記カメラが撮影する外界の映像を模擬するシミュレーション用映像を生成する映像生成手順と、
前記演算装置が、前記カメラから出力される映像を模擬するための光学的な画像処理を、前記シミュレーション用映像に行う光学フィルタ手順と、
前記演算装置が、前記画像処理された後の映像を用いて認識処理を行って、車両制御用の信号を生成するカメラ画像処理手順とを備える方法。
請求項１から５のいずれか一つに記載の評価装置であって、
前記光学フィルタ部は、ゲイン調整処理と、ぼかし処理と、ノイズ処理と、歪み処理を任意の順に変更することを特徴とする評価装置。
請求項２に記載の評価装置であって、
前記映像生成部は、前記カメラ画像処理部からの輝度情報に基づいて、任意の映像データを作成する評価装置。
請求項１１に記載の評価装置であって、
前記輝度情報から前記映像データへの生成は、任意に設定可能な変数により変換することを特徴とする評価装置。
請求項６に記載の評価装置であって、
前記映像生成部で作成された映像データから、光学センサを模擬した映像データに変換することを特徴とする評価装置。
請求項１３に記載の評価装置であって、
前記映像生成部で作成された映像データは、任意に設定可能な変数を用いて光学センサを模擬した映像データへ変換することを特徴とする評価装置。