JP5439949B2

JP5439949B2 - ステレオ測定システムおよび動画再生システム

Info

Publication number: JP5439949B2
Application number: JP2009124080A
Authority: JP
Inventors: 伸一堀田
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2009-05-22
Filing date: 2009-05-22
Publication date: 2014-03-12
Anticipated expiration: 2029-05-22
Also published as: JP2010273178A

Description

本発明は、ステレオ測定システムおよび動画再生システムに関し、特に車載に適したステレオ測定システムおよび動画再生システムに関する。

近年、自動車業界では、安全性を高める動きが活発化しており、カメラによる画像センサやレーダ等を利用した危険回避システムの導入が進んでいる。よく知られているシステムとしては、画像センサやレーダ等を利用することで自車両周辺の距離情報を取得することで危険回避を行うシステムがある。

一方、タクシー業界では、ドライブレコーダの導入が進んでいる。ドライブレコーダは、事故が起きた前後の画像を記録する装置で、事故の原因解析に用いることができる。例えば、車同士の衝突事故時に記録された映像を見ることで、自車に責任があるのか、それとも他車に責任があるのかを、ある程度見極めることができる。

例えば、特許文献１には、画像情報を圧縮してランダムアクセス可能な記録手段に記録することで、長時間の画像を記録できるとともに、所望の画像を迅速に再生することができる方法が示されている。

さらに、特許文献２には、ドライブレコーダ等の画像を運転者等の研修に利用する運行管理装置において、事故画像等の再生時に、走行データが危険水準に達した場合、画像の再生をスロー再生に切り替えることで事故時の状況を把握しやすくする方法が示されている。

これらの画像取得において、ステレオ画像を用いて距離情報を取得することは、非常に有効である。例えば、特許文献３には、ステレオカメラで時系列的に撮像した一対の画像を用いて、監視領域内に存在する立体物を抽出し、立体物の３次元的な動きを算出して監視領域内の移動物体を検出する方法が示されている。ただし、特許文献３の目的は、自車の前方の移動物体を検出することで移動物体との衝突を回避することであり、上述したドライブレコーダのように画像を記録することには言及されていない。

一方、特許文献４には、走行中の車両の周辺を撮像する撮像装置により得られた画像を記録するようにした車両走行状態記憶装置において、画像内に設けたウインドウ領域に対象物がある場合に、ステレオ測定によりウインドウ毎の距離計算を行い、計算された距離を画像上に表示し、画像情報とともに記憶する方法が示されている。

特許第３２５４９４６号公報特開２００８−６５３６１号公報特開２００６−１３４０３５号公報特許第２６０８９９６号公報

しかしながら、特許文献４の方法では、記憶されるのは画像上に表示された距離と画像情報との合成画像であり、記憶された合成画像から個々の情報を分離することはできない。また、ウインドウ領域に対象物がある場合の距離と画像情報との合成画像を全て記憶すると、膨大なデータ量となり、記憶時間が制限される、あるいは、記憶装置に非常に大きな容量が要求される。かといって、単純に記憶する画像数を削減すると、情報が欠落し、事故等の万一の場合の状況把握に困難が生じる。

本発明は、上記事情に鑑みてなされたもので、状況把握に必要な情報を確保しながら、保存するデータ量を削減したステレオ測定システムおよび動画再生システムを提供することを目的とする。

本発明の目的は、下記構成により達成することができる。

１．ステレオ画像の基準画像を撮像する基準カメラと、ステレオ画像の参照画像を撮像する参照カメラとの少なくとも２台のカメラを有するカメラ部と、
前記カメラ部で撮像された画像データを、保存データとして記録する記録部と、
前記カメラ部および前記記録部の動作を制御する制御部とを備え、
車両に搭載されて、前記車両の周辺のステレオ画像を取得するステレオ測定システムにおいて、
前記記録部に記録する前記保存データのフレームレートを決定するフレームレート決定部と、
前記基準画像に、前記フレームレート決定部で決定された第１フレームレートに基づいてデータ量削減処理を施して視認用画像データを生成する視認用画像データ生成部と、
前記フレームレート決定部で決定された第２フレームレートに同期したタイミングで、撮像された前記基準画像と前記参照画像との組に基づいて、測定対象の３次元状態を把握するための３次元状態把握画像データを生成する３次元状態把握画像データ生成部とを備え、
前記基準画像は、所定のフレームレートで前記基準カメラから出力され、
前記第１のフレームレートは、前記所定のフレームレートのレートより低く、
前記第２フレームレートは、
前記フレームレート決定部によって、前記カメラ部の撮像時における前記車両および前記車両の周辺の状況に依存して前記第１フレームレートのレート以下になるように動的に決定され、
前記記録部は、
前記視認用画像データ生成部で生成された前記視認用画像データと、前記３次元状態把握画像データ生成部で生成された前記３次元状態把握画像データとを、前記保存データとして記録することを特徴とするステレオ測定システム。

２．前記フレームレート決定部は、以下の条件の何れか１つまたは複数の条件の組み合わせに依存して、前記第２フレームレートを動的に決定することを特徴とする前記１に記載のステレオ測定システム。

条件
１）前記車両の速度
２）前記車両のハンドルの操作状況
３）前記カメラ部の少なくとも何れか１台のカメラでのオプティカルフローの変化量
４）前記基準カメラと前記参照カメラとの視差の時間的な変化量
３．前記データ量削減処理は、圧縮処理であることを特徴とする前記１または２に記載のステレオ測定システム。

４．前記データ量削減処理は、画像サイズの縮小処理であることを特徴とする前記１または２に記載のステレオ測定システム。

５．前記３次元状態把握画像データは、前記測定対象に対する前記基準カメラと前記参照カメラとの視差を示す視差情報を含む画像であることを特徴とする前記１から４の何れか１項に記載のステレオ測定システム。

６．前記３次元状態把握画像データは、前記測定対象の前記視認用画像データの上での位置を示す座標と、前記基準画像と前記参照画像とから演算された距離データとを含む距離画像であることを特徴とする前記１から４の何れか１項に記載のステレオ測定システム。

７．前記３次元状態把握画像データは、前記測定対象の前記視認用画像データの上での位置を示す座標と、前記基準画像と前記参照画像とから演算された３次元座標と、測定対象特定処理に基づいて前記測定対象を特定したモデル画像とを含む３次元画像であることを特徴とする前記１から４の何れか１項に記載のステレオ測定システム。

８．画像情報表示部と、
３次元情報表示部とを備え、
前記画像情報表示部に、前記１から７の何れか１項に記載のステレオ測定システムで記録された前記視認用画像データを表示し、
前記３次元情報表示部に、前記画像情報表示部に表示された前記視認用画像データに連動して、前記１から７の何れか１項に記載のステレオ測定システムで記録された前記３次元状態把握画像データに基づく３次元情報を表示することを特徴とする動画再生システム。

本発明によれば、基準カメラで撮像された基準画像に第１フレームレートに基づいてデータ量削減処理を施して視認用画像データを生成し、基準画像と参照カメラで撮像された参照画像とから第２フレームレートに基づいて３次元状態把握画像データを生成し、視認用画像データと３次元状態把握画像データとを保存データとして保存することで、状況把握に必要な情報を確保しながら、保存するデータ量を削減したステレオ測定システムを提供することができ、視認用画像データに連動して３次元状態把握画像データに基づく３次元情報を表示する動画再生システムを提供することができる。

ステレオ測定システムの第１の実施の形態の構成を示すブロック図である。フレームレート決定部の構成を示すブロック図である。視認用画像データ生成部の構成と動作を示す模式図である。３次元状態把握画像データ生成部の構成を示すブロック図である。３次元状態把握画像データの生成方法を示す模式図である。ステレオ測定システムの第２の実施の形態における３次元状態把握画像データの生成方法を示す模式図である。動画再生システムの実施の形態を示す模式図である。

以下、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限らない。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略する。

最初に、本発明におけるステレオ測定システムの第１の実施の形態の構成について、図１を用いて説明する、図１は、本発明におけるステレオ測定システムの第１の実施の形態の構成を示すブロック図である。

図１において、ステレオ測定システム１は、カメラ部１１、記録部１３、制御部１５、センサ部１７およびデータ生成部１９等で構成されている。

カメラ部１１は、基準カメラ１１１と参照カメラ１１２との少なくとも２台のカメラ等で構成されている。基準カメラ１１１と参照カメラ１１２とは、所定の基線長Ｄだけ離して配置され、ステレオ画像から距離情報が取得可能となっている。後述するカメラ制御部１５１からのカメラ制御信号ＣＣＳに同期して、所定のフレームレートＦＲ０で、基準カメラ１１１からは基準画像Ｉｂが出力され、参照カメラ１１２からは参照画像Ｉｒが出力される。

記録部１３は、例えばハードディスクや半導体メモリ等で構成され、後述する記録制御部１５２からの記録制御信号ＲＣＳに従って、後述する視認用画像データＤｓと３次元状態把握画像データＤｄとを、保存データとして記録する。

制御部１５は、カメラ制御部１５１、記録制御部１５２およびフレームレート決定部１５３等で構成されている。制御部１３の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。

カメラ制御部１５１は、基準カメラ１１１の撮像動作と参照カメラ１１２の撮像動作とを同期させるためのカメラ制御信号ＣＣＳを出力する。

記録制御部１５２は、後述するフレームレート決定部１５３で決定されるフレームレートに従って記録制御信号ＲＣＳを出力して、記録部１３の記録動作を制御する。

フレームレート決定部１５３は、カメラ制御部１５１からのカメラ制御信号ＣＣＳに同期して、所定のフレームレートＦＲ０で基準カメラ１１１で撮像された基準画像Ｉｂから、視認用画像データＤｓを生成して記録するための第１フレームレートＦＲ１を決定して、データ生成部１９に出力する。

同様に、フレームレート決定部１５３は、カメラ制御部１５１からのカメラ制御信号ＣＣＳに同期して所定のフレームレートＦＲ０で基準カメラ１１１で撮像された基準画像Ｉｂと、同様にして参照カメラ１１２で撮像された参照画像Ｉｒとから、３次元状態把握画像データＤｄを生成して記録するための第２フレームレートＦＲ２を決定して、データ生成部１９に出力する。第１フレームレートＦＲ１および第２フレームレートＦＲ２の決定方法は、図２で詳述する。

センサ部１７は、ステレオ測定システム１を搭載した車両（以下、自車と言う）の速度を検知する車速センサ１７１や、自車のハンドルの操作状況を検知する操舵角センサ１７２等のセンサで構成されている。車速センサ１７１の出力である車速信号ＳＳ、および操舵角センサ１７２の出力である操舵角信号ＨＳは、フレームレート決定部１５３に入力されて、第２フレームレートＦＲ２の決定に反映される。操舵角センサ１７２の代わりに、加速度センサを用いて、自車の進行方向に垂直な方向の加速度を検出することで、自車のハンドルの操作状況を検知してもよい。

データ生成部１９は、視認用画像データ生成部１９１および３次元状態把握画像データ生成部１９２等で構成される。データ生成部１９の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。

視認用画像データ生成部１９１は、基準カメラ１１１の基準画像Ｉｂを第１フレームレートＦＲ１で間引きした基準間引き画像Ｉｂ１に、圧縮処理あるいは画像サイズの縮小等のデータ量削減処理を施して、視認用画像データＤｓを生成し、記録部１３に出力する。視認用画像データ生成部１９１に入力された基準画像Ｉｂの内、第１フレームレートＦＲ１で間引かれた画像は廃棄される。詳細は図３で後述する。

同様に、３次元状態把握画像データ生成部１９２は、第２フレームレートＦＲ２に同期して撮像された基準カメラ１１１の基準画像Ｉｂと参照カメラ１１２の参照画像Ｉｒとに３次元処理を施して、３次元状態把握画像データＤｄを生成し、記録部１３に出力する。３次元状態把握画像データ生成部１９２に入力された基準画像Ｉｂおよび参照画像Ｉｒの内、第２フレームレートＦＲ２に同期していない画像は廃棄される。詳細は図４および図５で後述する。

次に、上述した第１の実施の形態における、フレームレート決定部１５３での第１フレームレートＦＲ１および第２フレームレートＦＲ２の決定方法について、図２を用いて説明する。図２は、フレームレート決定部１５３の構成を示すブロック図である。

図２において、フレームレート決定部１５３は、第１フレームレート決定部１５３１、第２フレームレート決定部１５３２、視差変化量演算部１５３３およびオプティカルフロー変化量演算部１５３４等で構成される。フレームレート決定部１５３の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。

第１フレームレート決定部１５３１は、第１フレームレートＦＲ１を決定する。第１フレームレートＦＲ１は、自車および自車の周辺の状況には依存せずに所定の値に決定され、自車および自車の周辺の状況に変化が生じても変更されない。例えば、基準カメラ１１１が、所定のフレームレートＦＲ０＝３０フレーム／秒（以下、ｆｐｓと言う）で撮像を行っているとした場合、第１フレームレートＦＲ１がその１／２の１５ｆｐｓに決定される。これによって、基準カメラ１１１で撮像された基準画像Ｉｂの２フレームに１フレームが視認用画像データＤｓの生成に用いられ、残りの１フレームは廃棄される。

一方、第２フレームレート決定部１５３２は、第２フレームレートＦＲ２を決定する。第２フレームレートＦＲ２は、第１フレームレートＦＲ１と同じまたは第１フレームレートＦＲ１よりも低いレートで、自車および自車の周辺の状況に依存して決定され、自車および自車の周辺の状況に変化が生じると、動的に変更される。

なお、第２フレームレートＦＲ２は、第１フレームレートＦＲ１よりも高いレートであってもよいが、第１フレームレートＦＲ１と同じまたは第１フレームレートＦＲ１よりも低いレートとすることで、後述するように、状況把握に必要な情報を確保しながら、保存するデータ量を削減することができる。

第２フレームレート決定部１５３２には、自車の状況を示す、車速センサ１７１の出力である車速信号ＳＳ、および操舵角センサ１７２の出力である操舵角信号ＨＳが入力される。

また、基準画像Ｉｂおよび参照画像Ｉｒが視差変化量演算部１５３３に入力され、視差変化量演算部１５３３で視差の変化量が演算されて、視差変化量信号Ｐｒが第２フレームレート決定部１５３２に入力される。

同様に、基準画像Ｉｂおよび参照画像Ｉｒがオプティカルフロー変化量演算部１５３４に入力され、オプティカルフロー変化量演算部１５３４でオプティカルフローの変化量が演算されて、オプティカルフロー変化量信号Ｏｆが第２フレームレート決定部１５３２に入力される。視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆは、自車の周辺の状況を示す信号である。

第２フレームレート決定部１５３２は、上述した車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号の何れか１つまたは複数の信号の組み合わせに基づいて、第２フレームレートＦＲ２を決定し、動的に変更する。

ここで、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆについて説明する。まず、視差変化量信号Ｐｒについて説明する。視差とは、三角測量の原理に基づく、同一の注目する被写体（以下、測定対象Ｏｓと言う）が存在する基準画像Ｉｂ上と参照画像Ｉｒ上との画面上の位置のズレ量のことで、視差は測定対象Ｏｓとの距離の逆数に比例し、視差が大きいほど測定対象Ｏｓとの距離が近く、視差が小さいほど遠い。

基準カメラ１１１と参照カメラ１１２との基線長Ｄ、基準カメラ１１１および参照カメラ１１２の撮像レンズの焦点距離、および視差の値から、測定対象Ｏｓまでの距離を演算することができる。

視差変化量とは上述した視差の時間的な変化量で、視差の変化が０（ゼロ）または小さい場合は、測定対象Ｏｓとの距離に変化がないか変化が小さい。視差が大きくなる方向に変化している場合は測定対象Ｏｓとの距離が近くなっており、視差が小さくなる方向に変化している場合は測定対象Ｏｓとの距離が遠くなっている。

従って、視差の変化が０（ゼロ）または小さい、あるいは視差が小さくなる方向に変化している場合は、測定対象Ｏｓ、即ち前方の車両や人、障害物等までの距離が変わらない、あるいは遠ざかっている、つまり測定対象Ｏｓへの衝突の可能性は低いということになる。逆に、視差が大きくなる方向に変化している場合は、測定対象Ｏｓまでの距離が近づいている、つまり測定対象Ｏｓへの衝突の危険が迫っているということになる。このように、視差変化量信号Ｐｒを用いることで、自車と測定対象Ｏｓとの距離の変化を知ることができる。

次に、オプティカルフロー変化量信号Ｏｆについて説明する。オプティカルフローとは、撮像された画像の中で測定対象Ｏｓの位置が時間的にどう変化したかを示すベクトルのことを言う。ステレオ画像を用いて前方の車両等の測定対象Ｏｓのオプティカルフローを演算することで、３次元オプティカルフローを得ることができ、３次元オプティカルフローの延長線と自車の進行方向とが交差する場合には、衝突の危険性があると判断できる。

従って、３次元オプティカルフローを用いることで、上述した視差変化量が示す測定対象Ｏｓとの距離のような自車の進行方向の変化だけでなく、例えば横の車線からの割り込みのような自車の進行方向に垂直な方向の変化を含む自車の周辺の状況の変化についても検出が可能となり、自車の周辺の状況の変化をより反映することができる。

第２フレームレート決定部１５３２に戻って、第２フレームレート決定部１５３２は、上述した車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号の何れか１つまたは複数の信号の組み合わせに基づいて、第２フレームレートＦＲ２を決定し、動的に変更する。

ここでは、自車および自車の周辺の状況を、通常状態ＣＳ１と要記録状態ＣＳ２との２つの状態に分類し、それぞれの状態で第２フレームレートＦＲ２を決定する。

（通常状態ＣＳ１）
車速信号ＳＳ：定速走行あるいは所定範囲内の加減速
操舵角信号ＨＳ：直進あるいは所定範囲内の操舵角
視差変化量信号Ｐｒ：０（ゼロ）または小さい、あるいは視差が小さくなる方向に変化
オプティカルフロー変化量信号Ｏｆ：衝突の危険性なし
以上の４条件を全て満足している場合には、衝突の危険性は低いと判断し、第２フレームレートＦＲ２を低レートに設定する。例えば、基準カメラ１１１および参照カメラ１１２がＦＲ０＝３０ｆｐｓで撮像を行っており、第１フレームレートＦＲ１＝１５ｆｐｓの場合、第２フレームレートＦＲ２をその１／２の７．５ｆｐｓに設定する。これによって、基準画像Ｉｂおよび参照画像Ｉｒの４フレームに１フレームが３次元状態把握画像データＤｄの生成に用いられ、残りの３フレームは廃棄される。

（要記録状態ＣＳ２）
車速信号ＳＳ：所定範囲を越える加減速
操舵角信号ＨＳ：所定範囲を越える操舵角
視差変化量信号Ｐｒ：視差が大きくなる方向に変化
オプティカルフロー変化量信号Ｏｆ：衝突の危険性あり
以上の４条件の内の１つでも当てはまる場合には、衝突の危険性があると判断し、第２フレームレートＦＲ２を高レートに設定する。例えば、基準カメラ１１１および参照カメラ１１２がＦＲ０＝３０ｆｐｓで撮像を行っており、第１フレームレートＦＲ１＝１５ｆｐｓの場合、第２フレームレートＦＲ２を第１フレームレートＦＲ１と同じ１５ｆｐｓに設定する。これによって、視認用画像データＤｓと同様に、基準画像Ｉｂおよび参照画像Ｉｒの２フレームに１フレームが３次元状態把握画像データＤｄの生成に用いられ、残りの１フレームは廃棄される。

なお、上述した自車および自車の周辺の状況の判定には、車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号全てを用いることが望ましいが、４つの信号の何れか１つまたは複数の組み合わせを用いることも可能である。例えば車速信号ＳＳのみを用いて、車速信号ＳＳが定速走行あるいは所定範囲内の加減速を示している場合は通常状態ＣＳ１と判定し、所定範囲を越える加減速を示している場合は要記録状態ＣＳ２と判定することもできる。

次に、データ生成部１９の視認用画像データ生成部１９１での視認用画像データＤｓの生成方法について、図３を用いて説明する。図３は、視認用画像データ生成部１９１の構成と動作を示す模式図で、図３（ａ）は視認用画像データ生成部１９１の構成を示すブロック図、図３（ｂ）は視認用画像データＤｓの生成過程を示す模式図である。

図３（ａ）において、視認用画像データ生成部１９１は、間引き部１９１１およびデータ量削減処理部１９１２等で構成される。視認用画像データ生成部１９１の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。

基準カメラ１１１で所定のフレームレートＦＲ０（例えば３０ｆｐｓ）で撮像された基準画像Ｉｂが、間引き部１９１１に入力される。間引き部１９１１は、フレームレート決定部１５３で決定された第１フレームレートＦＲ１（例えば１５ｆｐｓ）に従って基準画像Ｉｂを間引きして基準間引き画像Ｉｂ１を生成し、出力する。基準間引き画像Ｉｂ１の生成に用いられなかったフレームの画像は廃棄される。

基準間引き画像Ｉｂ１は、データ量削減処理部１９１２でデータ量削減処理が施されて、視認用画像データ生成部１９１から視認用画像データＤｓとして出力される。データ量削減処理としては、例えば画像の圧縮処理や、画像サイズの縮小処理、あるいは画像の圧縮処理と画像サイズの縮小処理との両方等が考えられる。

視認用画像データＤｓは、撮像時の自車の周辺状況の把握に必要最低限の情報が得られればよいので、圧縮率あるいは縮小率を高くして、視認用画像データＤｓのデータ量の削減率を高くすることができる。

次に、視認用画像データＤｓの生成過程について、図３（ｂ）を用いて説明する。なお、図３（ｂ）では、図の左から右に示した時間軸ｔに従って、時系列的に撮像が進行しているものとする。また、第１フレームレートＦＲ１は所定のフレームレートＦＲ０の１／２に設定されるものとする。さらに、破線で示した画像は、間引き部１９１１での間引きの結果、廃棄された画像を示している。

図３（ｂ）において、基準カメラ１１１からは、所定のフレームレートＦＲ０で基準画像Ｉｂが出力されている。基準画像Ｉｂは、間引き部１９１１で第１フレームレートＦＲ１で間引きされて、基準間引き画像Ｉｂ１が生成され、データ量削減処理部１９１２で圧縮処理や画像サイズの縮小処理等のデータ量削減処理が施されて、視認用画像データＤｓとして記録部１３に記録される。

次に、データ生成部１９の３次元状態把握画像データ生成部１９２での３次元状態把握画像データＤｄの生成方法について、図４および図５を用いて説明する。図４は、３次元状態把握画像データ生成部１９２の構成を示すブロック図であり、図５は、３次元状態把握画像データＤｄの生成方法を示す模式図である。

図４において、３次元状態把握画像データ生成部１９２は、画像選択部１９２１、視差計算部１９２２、３次元座標計算部１９２３および測定対象特定処理部１９２４等で構成される。３次元状態把握画像データ生成部１９２の各部は、ハードウェアで構成されてもよいし、マイクロコンピュータとソフトウエアとを用いて、その機能を実現してもよい。

基準カメラ１１１で所定のフレームレートＦＲ０（例えば３０ｆｐｓ）で撮像された基準画像Ｉｂと、参照カメラ１１２で所定のフレームレートＦＲ０で撮像された参照画像Ｉｒとが、画像選択部１９２１に入力される。

画像選択部１９２１は、入力された基準画像Ｉｂおよび参照画像Ｉｒの内で、フレームレート決定部１５３で決定された第２フレームレートＦＲ２（例えば７．５ｆｐｓあるいは１５ｆｐｓ）に同期して撮像された基準画像Ｉｂと参照画像Ｉｒとの組を、選択基準画像Ｉｂ２と選択参照画像Ｉｒ１との組として、視差計算部１９２２に向けて出力する。画像選択部１９２１に入力された基準画像Ｉｂおよび参照画像Ｉｒの内、第２フレームレートＦＲ２に同期していない画像は廃棄される。

視差計算部１９２２は、入力された選択基準画像Ｉｂ２と選択参照画像Ｉｒ１との組から、上述したフレームレート決定部１５３の視差変化量演算部１５３３と同様にして、前方の車両や障害物、人等の測定対象Ｏｓまでの距離を示す視差信号Ｐｓを計算し、３次元座標計算部１９２３に向けて出力する。視差計算部１９２２と視差変化量演算部１５３３とを兼用あるいは部分的に兼用してもよい。

３次元座標計算部１９２３は、入力された視差信号Ｐｓと、選択基準画像Ｉｂ２と選択参照画像Ｉｒ１との組とから、測定対象Ｏｓの存在する位置を示す視認用画像データＤｓ上の位置座標と、測定対象Ｏｓまでの距離とを示す３次元座標信号Ｃｓを計算し、測定対象特定処理部１９２４に向けて出力する。視認用画像データＤｓは、基準画像Ｉｂに間引き処理とデータ量削減処理を施した画像データであるから、視認用画像データＤｓ上の測定対象Ｏｓの位置座標は、選択基準画像Ｉｂ２上の測定対象Ｏｓの位置座標から簡単に求めることができる。

測定対象特定処理部１９２４は、３次元座標計算部１９２３で計算された測定対象Ｏｓの視認用画像データＤｓ上の位置座標と距離とを示す３次元座標信号Ｃｓに基づいて、測定対象Ｏｓを特定し、特定した測定対象Ｏｓをモデル化して表現した測定対象特定画像Ｉｏｓを生成し、選択基準画像Ｉｂ２と選択参照画像Ｉｒ１との組とともに、３次元状態把握画像データＤｄとして出力する。モデル化の具体例は図７で詳述する。

なお、図４の例では、３次元状態把握画像データＤｄとして、測定対象特定画像Ｉｏｓと選択基準画像Ｉｂ２と選択参照画像Ｉｒ１との組とを出力する例を示したが、３次元状態把握画像データ生成部１９２の処理能力の制約等から、測定対象特定画像Ｉｏｓの生成までの処理を行えない場合等には、可能な範囲で上述した３次元状態把握画像データ生成部１９２の各部の処理を行い、その出力を３次元状態把握画像データＤｄとして出力してもよい。

例えば、画像選択部１９２１の出力である選択基準画像Ｉｂ２と選択参照画像Ｉｒ１との組を３次元状態把握画像データＤｄとして出力してもよいし、視差計算部１９２２の出力である視差信号Ｐｓと、選択基準画像Ｉｂ２と選択参照画像Ｉｒ１との組とを３次元状態把握画像データＤｄとして出力してもよい。また、３次元座標計算部１９２３の出力である測定対象Ｏｓの視認用画像データＤｓ上の位置座標と距離とを示す３次元座標信号Ｃｓと、選択基準画像Ｉｂ２と選択参照画像Ｉｒ１との組とを３次元状態把握画像データＤｄとして出力してもよい。

次に、３次元状態把握画像データＤｄの生成方法について、図５を用いて説明する。図５は、上述した通常状態ＣＳ１から要記録状態ＣＳ２を経て再度通常状態ＣＳ１に戻る場合の３次元状態把握画像データＤｄとの形成過程を示す。

なお、図５および後述する図６では、図の左から右に示した時間軸ｔに従って、時系列的に撮像が進行しているものとする。また、第１フレームレートＦＲ１は所定のフレームレートＦＲ０の１／２に、第２フレームレートＦＲ２は、通常状態ＣＳ１では第１フレームレートＦＲ１の１／２に、要記録状態ＣＳ２では第１フレームレートＦＲ１に等しく設定されるものとする。さらに、破線で示した画像は、画像選択部１９２１で廃棄された画像を示している。

図５において、時間ｔ１のタイミングまでは、上述した通常状態ＣＳ１である。この状態では、所定のフレームレートＦＲ０（例えば３０ｆｐｓ）で撮像された基準カメラ１１１の基準画像Ｉｂと参照カメラ１１２の参照画像Ｉｒとの組の内で、通常状態ＣＳ１での低レートの第２フレームレートＦＲ２（例えば７．５ｆｐｓ）に同期して撮像された画像の組が選択基準画像Ｉｂ２と選択参照画像Ｉｒ１との組として選択される。

選択された選択基準画像Ｉｂ２と選択参照画像Ｉｒ１との組に、上述した視差計算部１９２２、３次元座標計算部１９２３および測定対象特定処理部１９２４の各部での処理が施され、３次元状態把握画像データＤｄが出力されて、通常状態ＣＳ１での低レートの第２フレームレートＦＲ２で記録される。

時間ｔ１のタイミングで、上述した車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号の何れか１つが要記録状態ＣＳ２の判定条件に当てはまったために、自車および自車の周辺の状況を示す状態が、通常状態ＣＳ１から要記録状態ＣＳ２に切り替えられる。

この状態では、所定のフレームレートＦＲ０（例えば３０ｆｐｓ）で撮像された基準カメラ１１１の基準画像Ｉｂと参照カメラ１１２の参照画像Ｉｒとの組の内で、要記録状態ＣＳ２での高レートの第２フレームレートＦＲ２（例えば１５ｆｐｓ）に同期して撮像された画像の組が選択基準画像Ｉｂ２と選択参照画像Ｉｒ１との組として選択される。

選択された選択基準画像Ｉｂ２と選択参照画像Ｉｒ１との組に、上述した視差計算部１９２２、３次元座標計算部１９２３および測定対象特定処理部１９２４の各部での処理が施され、３次元状態把握画像データＤｄが出力されて、要記録状態ＣＳ２での高レートの第２フレームレートＦＲ２で記録される。

この状態は時間ｔ２まで継続され、その間は３次元状態把握画像データＤｄが高レートの第２フレームレートＦＲ２で記録され続ける。従って、もし追突事故等が発生した場合、第１フレームレートＦＲ１で記録された視認用画像データＤｓと、要記録状態ＣＳ２での高レートの第２フレームレートＦＲ２（ここでは第１フレームレートＦＲ１に等しい）で記録された３次元状態把握画像データＤｄとに基づいて、より精度の高い事故原因の解析等を行うことができる。

時間ｔ２のタイミングで、上述した４つの信号が全て通常状態ＣＳ１の条件に戻ったために、要記録状態ＣＳ２の状態から、再度通常状態ＣＳ１の状態に戻り、通常状態ＣＳ１での低レートの第２フレームレートＦＲ２で３次元状態把握画像データＤｄの記録が行われる。

なお、上述した通常状態ＣＳ１から要記録状態ＣＳ２を経て再度通常状態ＣＳ１に戻る全ての状態において、図３（ｂ）に示したように、基準画像Ｉｂから生成された視認用画像データＤｓの記録部１３への記録も行われている。

上述したように、第１の実施の形態によれば、自車および自車の周辺の状況を示す、車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号に基づいて、３次元状態把握画像データＤｄを記録する第２フレームレートＦＲ２を動的に決定して、衝突の危険がある場合等に３次元状態把握画像データＤｄを高フレームレートで生成して記録することで、より精度の高い事故原因の解析等に繋げることができるとともに、それ以外の場合には、３次元状態把握画像データＤｄを低フレームレートで生成して記録することにより、記録時間の延長が図れ、ハードディスクや半導体メモリ等の記録媒体の小容量化が図れ、装置の小型化、低コスト化が図れる。

次に、ステレオ測定システムの第２の実施の形態について、図６を用いて説明する。第２の実施の形態では、第１の実施の形態とは異なり、自車および自車の周辺の状況が通常状態ＣＳ１にある場合には３次元状態把握画像データＤｄの生成および記録を行わず、要記録状態ＣＳ２の場合のみ、３次元状態把握画像データＤｄの生成と記録部１３への記録とを行う。

この時の３次元状態把握画像データＤｄの形成過程を、図６に示す。図６は、第２の実施の形態における３次元状態把握画像データＤｄの生成方法を示す模式図で、図５と同様の、通常状態ＣＳ１から要記録状態ＣＳ２を経て再度通常状態ＣＳ１に戻る場合の３次元状態把握画像データＤｄの形成過程を示す。

図６において、時間ｔ１のタイミングまでは、上述した通常状態ＣＳ１であり、基準カメラ１１１は所定のフレームレートＦＲ０で基準画像Ｉｂの撮像を行い、参照カメラ１１２も所定のフレームレートＦＲ０で参照画像Ｉｒの撮像を行っているが、３次元状態把握画像データＤｄの生成と記録は行っていない。

時間ｔ１のタイミングで、上述した車速信号ＳＳ、操舵角信号ＨＳ、視差変化量信号Ｐｒおよびオプティカルフロー変化量信号Ｏｆの４つの信号の何れか１つが要記録状態ＣＳ２の判定条件に当てはまったために、上述した通常状態ＣＳ１の状態から要記録状態ＣＳ２の状態に切り替えられる。

時間ｔ２のタイミングで、上述した４つの信号が全て通常状態ＣＳ１の条件に戻ったために、要記録状態ＣＳ２の状態から、再度通常状態ＣＳ１の状態に戻り、基準カメラ１１１も参照カメラ１１２も、撮像は行うが３次元状態把握画像データＤｄの生成および記録は行わない状態となる。

上述したように、第２の実施の形態によれば、自車および自車の周辺の状況を示す、車速信号、操舵角信号、視差変化量信号およびオプティカルフロー変化量信号の４つの信号に基づいて、３次元状態把握画像データを記録する第２フレームレートを動的に決定して、衝突の危険がある場合等のみに３次元状態把握画像データを高フレームレートで生成し記録することで、より精度の高い事故原因の解析等に繋げることができるとともに、危険のない場合には３次元状態把握画像データの生成および記録を行わないことで、記録時間の延長が図れ、ハードディスクや半導体メモリ等の記録媒体の小容量化が図れ、装置の小型化、低コスト化が図れる。

次に、本発明における動画再生システムについて、図７を用いて説明する。図７は、本発明における動画再生システム２を示す模式図で、図７（ａ）は第１の表示例を、図７（ｂ）は第２の表示例を示す。

図７（ａ）および（ｂ）において、動画再生システム２は、画像情報表示部２１、３次元情報表示部２３および再生制御部２５等で構成される。

画像情報表示部２１は、再生制御部２５に連動して、ステレオ測定システム１の記録部１３に記録された視認用画像データＤｓを再生表示する。

３次元情報表示部２３は、画像情報表示部２１に表示された視認用画像データＤｓに連動して、ステレオ測定システム１の記録部１３に記録された３次元状態把握画像データＤｄに基づく３次元情報を再生表示する。

再生制御部２５は、再生釦２５１およびスライダ２５３等で構成されている。再生釦２５１が押されることで、図３（ｂ）の時間軸ｔに従って、視認用画像データＤｓが順次画像情報表示部２１に再生表示される。またスライダ２５３を図の左右にスライドさせることで、時間軸ｔの任意の時間の視認用画像データＤｓを、画像情報表示部２１に再生表示することもできる。

図７（ａ）の第１の表示例では、測定対象Ｏｓに関する３次元情報の内、画像情報表示部２１に再生表示されている視認用画像データＤｓの撮像タイミングから所定フレーム数前までのフレームにある３次元状態把握画像データＤｄに基づく３次元情報のみが、３次元情報表示部２３に表示される。撮像タイミングから所定フレーム数前までのフレームに、３次元状態把握画像データＤｄに基づく３次元情報が存在しない場合は、３次元情報表示部２３には何も表示しない。

図７（ｂ）の第２の表示例では、３次元状態把握画像データＤｄに基づく測定対象Ｏｓに関する３次元情報の全てが３次元情報表示部２３に表示される。そして、画像情報表示部２１に再生表示されている視認用画像データＤｓの撮像タイミングから所定フレーム数前までのフレームにある３次元状態把握画像データＤｄに基づく３次元情報が、測定対象Ｏｓをモデル化して表現した測定対象特定画像Ｉｏｓ（ここでは、破線で表示された直方体）を用いて強調表示される。撮像タイミングから所定フレーム数前までのフレームに、３次元状態把握画像データＤｄに基づく３次元情報が存在しない場合は、上述した測定対象特定画像Ｉｏｓによる強調表示は行わない。

上述したように、本発明における動画再生システムによれば、画像情報表示部に再生表示された視認用画像データに連動して、３次元情報表示部に３次元状態把握画像データに基づく３次元情報を再生表示することで、データ量を削減した保存データを用いても、状況把握に必要な情報が確保され、衝突等の場合に、より精度の高い事故原因の解析等に繋げることができる動画再生システムを提供することができる。

以上に述べたように、本発明によれば、基準カメラで撮像された基準画像に第１フレームレートに基づいてデータ量削減処理を施して視認用画像データを生成し、基準画像と参照カメラで撮像された参照画像とから第２フレームレートに基づいて３次元状態把握画像データを生成し、視認用画像データと３次元状態把握画像データとを保存データとして保存することで、状況把握に必要な情報を確保しながら、保存するデータ量を削減したステレオ測定システムを提供することができ、視認用画像データに連動して３次元状態把握画像データに基づく３次元情報を表示する動画再生システムを提供することができる。

なお、本発明に係るステレオ測定システムおよび動画再生システムを構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

１ステレオ測定システム
１１カメラ部
１１１基準カメラ
１１２参照カメラ
１３記録部
１５制御部
１５１カメラ制御部
１５２記録制御部
１５３フレームレート決定部
１５３１第１フレームレート決定部
１５３２第２フレームレート決定部
１５３３視差変化量演算部
１５３４オプティカルフロー変化量演算部
１７センサ部
１７１車速センサ
１７２操舵角センサ
１９データ生成部
１９１視認用画像データ生成部
１９１１間引き部
１９１２データ量削減処理部
１９２３次元状態把握画像データ生成部
１９２１画像選択部
１９２２視差計算部
１９２３３次元座標計算部
１９２４測定対象特定処理部
２動画再生システム
２１画像情報表示部
２３３次元情報表示部
２５再生制御部
２５１再生釦
２５３スライダ
ＣＣＳカメラ制御信号
Ｃｓ３次元座標信号
ＣＳ１通常状態
ＣＳ２要記録状態
Ｄ基線長
Ｄｄ３次元状態把握画像データ
Ｄｓ視認用画像データ
ＦＲ０所定のフレームレート
ＦＲ１第１フレームレート
ＦＲ２第２フレームレート
ＨＳ操舵角信号
Ｉｂ基準画像
Ｉｂ１基準間引き画像
Ｉｂ２選択基準画像
Ｉｏｓ測定対象特定画像
Ｉｒ参照画像
Ｉｒ１選択参照画像
Ｏｆオプティカルフロー変化量信号
Ｏｓ測定対象
Ｐｒ視差変化量信号
Ｐｓ視差信号
ＳＳ車速信号

Claims

ステレオ画像の基準画像を撮像する基準カメラと、ステレオ画像の参照画像を撮像する参照カメラとの少なくとも２台のカメラを有するカメラ部と、
前記カメラ部で撮像された画像データを、保存データとして記録する記録部と、
前記カメラ部および前記記録部の動作を制御する制御部とを備え、
車両に搭載されて、前記車両の周辺のステレオ画像を取得するステレオ測定システムにおいて、
前記記録部に記録する前記保存データのフレームレートを決定するフレームレート決定部と、
前記基準画像に、前記フレームレート決定部で決定された第１フレームレートに基づいてデータ量削減処理を施して視認用画像データを生成する視認用画像データ生成部と、
前記フレームレート決定部で決定された第２フレームレートに同期したタイミングで、撮像された前記基準画像と前記参照画像との組に基づいて、測定対象の３次元状態を把握するための３次元状態把握画像データを生成する３次元状態把握画像データ生成部とを備え、
前記基準画像は、所定のフレームレートで前記基準カメラから出力され、
前記第１のフレームレートは、前記所定のフレームレートのレートより低く、
前記第２フレームレートは、
前記フレームレート決定部によって、前記カメラ部の撮像時における前記車両および前記車両の周辺の状況に依存して前記第１フレームレートのレート以下になるように動的に決定され、
前記記録部は、
前記視認用画像データ生成部で生成された前記視認用画像データと、前記３次元状態把握画像データ生成部で生成された前記３次元状態把握画像データとを、前記保存データとして記録することを特徴とするステレオ測定システム。
前記フレームレート決定部は、以下の条件の何れか１つまたは複数の条件の組み合わせに依存して、前記第２フレームレートを動的に決定することを特徴とする請求項１に記載のステレオ測定システム。
条件
１）前記車両の速度
２）前記車両のハンドルの操作状況
３）前記カメラ部の少なくとも何れか１台のカメラでのオプティカルフローの変化量
４）前記基準カメラと前記参照カメラとの視差の時間的な変化量
前記データ量削減処理は、圧縮処理であることを特徴とする請求項１または請求項２に記載のステレオ測定システム。
前記データ量削減処理は、画像サイズの縮小処理であることを特徴とする請求項１または請求項２に記載のステレオ測定システム。
前記３次元状態把握画像データは、前記測定対象に対する前記基準カメラと前記参照カメラとの視差を示す視差情報を含む画像であることを特徴とする請求項１から４の何れか１項に記載のステレオ測定システム。
前記３次元状態把握画像データは、前記測定対象の前記視認用画像データの上での位置を示す座標と、前記基準画像と前記参照画像とから演算された距離データとを含む距離画像であることを特徴とする請求項１から４の何れか１項に記載のステレオ測定システム。
前記３次元状態把握画像データは、前記測定対象の前記視認用画像データの上での位置を示す座標と、前記基準画像と前記参照画像とから演算された３次元座標と、測定対象特定処理に基づいて前記測定対象を特定したモデル画像とを含む３次元画像であることを特徴とする請求項１から４の何れか１項に記載のステレオ測定システム。
画像情報表示部と、
３次元情報表示部とを備え、
前記画像情報表示部に、請求項１から７の何れか１項に記載のステレオ測定システムで記録された前記視認用画像データを表示し、
前記３次元情報表示部に、前記画像情報表示部に表示された前記視認用画像データに連動して、請求項１から７の何れか１項に記載のステレオ測定システムで記録された前記３次元状態把握画像データに基づく３次元情報を表示することを特徴とする動画再生システム。