JP5799631B2 - 車両用画像生成装置及び車両用画像生成方法 - Google Patents
車両用画像生成装置及び車両用画像生成方法 Download PDFInfo
- Publication number
- JP5799631B2 JP5799631B2 JP2011158970A JP2011158970A JP5799631B2 JP 5799631 B2 JP5799631 B2 JP 5799631B2 JP 2011158970 A JP2011158970 A JP 2011158970A JP 2011158970 A JP2011158970 A JP 2011158970A JP 5799631 B2 JP5799631 B2 JP 5799631B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- information
- blind spot
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、上記のような点に着目したもので、車両周囲画像に含まれる他車両の任意視点から見た画像を、より正確に生成することを目的としている。
(構成)
まず、車両用画像生成装置の構成について説明する。
図1は本発明の実施形態に係る車両用画像生成装置の概要構成図である。
車両周囲撮影部11は、撮像装置11Aと、撮像装置11Bと、撮像装置11Cと、撮像装置11Dと、を備える。
撮像装置11Aは、自車両1の前端部中央に設けられ、撮像装置11Bは、自車両1の左端部中央に設けられる。撮像装置11Cは、自車両1の右端部中央のルーフ側部に設けられ、撮像装置11Dは、自車両1の後端部中央に設けられる。このようにして設置された撮像装置11A〜11Dは、それぞれの撮影範囲内に含まれる領域を撮影し、撮影した画像データをCPU10に送信する。
ここで、カメラの撮影画像は2次元構造(X、Y)となる。3次元構造を有する車両周囲画像を生成するためには、カメラの撮影画像に加えて、撮影領域内に存在する被写体(物体)の3次元座標情報(X、Y、Z)を検出する必要がある。なお、本実施形態では、図2に示すように、車両の幅方向をX軸とし、高さ方向をY軸とし、車両の前後方向をZ軸とする。3次元座標情報を得るためには、例えば、基準位置から物体までの距離情報を得る必要がある。この距離情報を得るためには、例えば、モーションステレオ法を用いた距離測定方法、ステレオ画像法を用いた距離測定方法、レンジファインダによる距離測定方法等を用いることが可能である。これらの距離測定方法は、いずれも公知技術である。
図3(a)は、モーションステレオ法を用いる場合の撮像装置11Aの構成例を示す図である。モーションステレオ法は、時系列に撮影された連続画像における、被写体の「画面上の動き」と「撮影位置の変位量」とに基づき、被写体までの距離を測定する技術である。モーションステレオ法を用いる場合、撮像装置11Aは、図3(a)に示すように、1台のCCDカメラ(CMOSカメラ等の他のカメラでも可能)から構成される。なお、CCDカメラは、広角(例えば画角100°)レンズを備え、比較的広範囲の領域を撮影することが可能となっている。また、CCDカメラは、カラーフィルタを備え、カラー画像の撮影が可能となっている。
図4(a)〜(c)は、図3(a)〜(c)の各構成に対応した撮影範囲及び測距範囲の例を示す図である。なお、図4(a)〜(c)中の自車両1に付された矢印は、自車両1の向きを示す。
図1に戻って、ROM12は、後述する車両周囲画像生成機能を実現するための専用プログラムや、プログラムの実行に必要な各種データが格納されている。ROM12は、CPU10からの要求に応じて格納された各種データを読み出してCPU10に入力する。
操作部14は、ユーザによって操作され、後述する仮想視点情報の入力等を行う際に使用される。
HDD(Hard disk drive)16は、複数種類の車両の3次元構造を有する全体画像(3Dモデル)が記憶された車両画像データベース300を記憶する。
車速センサ17は、自車両1の車速を検出するセンサである。車速センサ17は、検出した自車速をCPU10に送信する。
図5は、車両用画像生成装置100の機能構成の一例を示すブロック図である。
図5に示すように、車両用画像生成機能構成部120は、画像情報入力部20と、座標情報検出部21と、投影画像生成部22と、車両周囲画像生成部23と、車両画像検出部24と、死角情報推測部25と、画像補完部26とを備える。
画像情報入力部20は、撮像装置11A〜11Dの各2つの撮像ユニットによって車両周囲の領域を撮影して得られる4組(8枚)の撮影画像データを予め設定されたサンプリング周期で順次取得する。画像情報入力部20は、取得した4組の撮影画像データを座標情報検出部21及び投影画像生成部22にそれぞれ入力する。
また、上記光レーダ法を用いる場合は、画像情報入力部20は、CCDカメラ110A〜110Dによって車両周囲の領域を撮影して得られる4枚の撮影画像データを予め設定されたサンプリング周期で順次取得する。加えて、画像情報入力部20は、レーザレンジファインダ111A〜111Dによって車両周囲の領域に存在する被写体までの距離を測定して得られる測距データを、予め設定されたサンプリング周期で順次取得する。画像情報入力部20は、取得した4枚の撮影画像データと、この4枚の撮影画像データに対応する測距データとを投影画像生成部22に入力する。
XL=f・(X+b)/Z,YL=f・Y/Z ・・・(1)
XR=f・(X−b)/Z,YR=f・Y/Z ・・・(2)
座標情報検出部21は、各組の撮影画像データの全画素に対して上記探索及び3次元座標値の算出を行う。座標情報検出部21は、このようにして得られた3次元座標情報を、投影画像生成部22に入力する。
なお、レーザレンジファインダ111A〜111Dが、レーザ照射ユニットとその反射光を受光する受光ユニットのみを備える構成としてもよい。この場合は、レーザレンジファインダ111A〜111Dの測定結果を座標情報検出部21に入力する。そして、座標情報検出部21において、測定結果を用いた測距処理を行って、3次元座標情報を検出する。
具体的に、投影画像生成部22は、各撮影画像データに対応する3次元座標情報から、各撮影画像データに含まれる物体の形状を認識する。更に、投影画像生成部22は、認識した形状に対応する投影面を設定する。そして、設定した投影面に、各撮影画像データの対応する物体の画像を投影する。このようにして、各撮影画像データに対応する投影画像(3次元構造を有する画像)データを生成する。本実施形態では、投影画像データの生成に、公知の透視変換(透視投影変換とも呼ばれる)を用いる。投影画像生成部22は、生成した各物体の投影画像データを、車両周囲画像生成部23に入力する。また、投影画像生成部22は、認識した各物体の撮影画像データにおける座標情報を、各撮影画像データに対応付けてRAM13に記憶する。
ここで、可視画像部分は、撮像装置11A〜11Dの撮影画像によって構成される他車両の画像部分である。また、他車両の死角部位は、撮像装置11A〜11Dの撮影範囲外となる他車両の部位である。また、死角部位の情報は、可視画像部分データから推測される、死角部位の形状や色などの情報である。
また、死角情報推測部25は、走行状態判定部30の判定結果に基づき、他車両が走行状態であると判定すると、反対側の側面のドア部の形状を推測可能と判断する。一方、停車状態であると判定すると、反対側の側面のドア部の形状を推測不可能と判断する。
死角情報推測部25は、可視画像部分データ及び座標情報と、推測した死角部位の情報と、推測可能と判断した情報(以下、推測可能情報と称す)と、推測不可能と判断した情報(以下、推測不可情報と称す)とを含む死角情報を、画像補完部26に入力する。
例えば、可視画像部分に可視側面画像が含まれる場合に、死角情報に含まれる死角部位の形状情報に基づき、死角部位が、可視側面画像の形状と左右対称であると判定したとする。この場合、画像補完部26は、まず、可視側面画像を左右反転させる。加えて、画像補完部26は、反転させた可視側面画像における前輪の舵角を反転(前輪の画像を左右反転)させて補完画像データを生成する。そして、画像補完部26は、生成した補完画像データによって、死角部位の画像を補完する。
なお、画像補完部26は、死角情報推測部25において死角部位の推測が不可能であったと判定すると、可視画像部分データを検索情報として、HDD16に記憶された車両画像データベース300から、他車両と同車種の3次元CGモデルを検索する。そして、この検索によって、同車種の3次元CGモデルが索出されると、そのデータを用いて補完画像データを生成する。画像補完部26は、生成した補完画像データを用いて、他車両の死角部位の画像を補完する。なお、本実施形態では、車両画像データベース300を利用した死角部位の補完よりも、可視画像部分を利用した補完を優先して実行する。
仮想視点設定部27は、ユーザの操作部14の操作に応じて入力される仮想視点情報を受け付ける。仮想視点設定部27は、受け付けた仮想視点情報を、画像再構成部28に入力する。本実施形態において、仮想視点情報は、予め設定可能な複数の仮想視点を決めておき、ユーザが、操作部14を介して、複数の仮想視点のなかから任意の仮想視点を選択して入力する構成となっている。また、操作部14を介して、視点を固定したまま画像を回転・拡大等することも可能である。
画像表示部29は、画像再構成部28から入力される車両周囲画像を、ディスプレイ15に表示する。
次に、車両用画像生成機能構成部120で行われる車両周囲画像生成処理の処理手順について説明する。
図6は、車両周囲画像生成処理の処理手順の一例を示すフローチャートである。
電源がON(イグニッションON)され、CPU10において専用のプログラムが実行されると、図6に示すように、まずステップS100に移行する。
ステップS100では、CPU10において、以降の処理の実行に使用するタイマーやカウンタ、フラグを初期設定する初期化の処理を実行して、ステップS102に移行する。
ステップS104に移行した場合は、画像情報入力部20において、撮像装置11A〜11Dから送信される測定データ(撮影画像データ、又は撮影画像データ及び測距データの組)を取得する。更に、車速センサ17から、自車両1の車速情報を取得する。そして、取得した測定データ及び車速情報を撮影時間情報と対応付けてRAM13に記憶すると共に、測定データを座標情報検出部21及び投影画像生成部22にそれぞれ入力して、ステップS106に移行する。なお、光レーダ法を用いた場合は、撮影画像データ及び測距データ共に、投影画像生成部22に入力する。
ステップS108では、投影画像生成部22において、画像情報入力部20から入力された撮影画像データと、座標情報検出部21から入力された3次元座標情報とに基づき、各撮影画像データに対応する投影画像データを生成する。そして、生成した投影画像データを、車両周囲画像生成部23に入力して、ステップS110に移行する。
ステップS116では、画像補完部26において、死角情報推測部25からの死角情報に基づき、他車両の死角部位の画像を補完する画像補完処理を実行する。そして、画像補完処理によって補完された車両周囲画像データを、撮影時間情報と対応付けてRAM13に記憶すると共に、画像再構成部28に入力して、ステップS118に移行する。
ステップS124では、CPU10において、操作部14を介したユーザからの終了指示があったか否かを判定し、終了指示があったと判定した場合(Yes)は、一連の処理を終了する。一方、終了指示が無いと判定した場合(Yes)は、ステップS104に移行する。
ステップS128では、画像表示部29において、画像再構成部28から入力された再構成後の車両周囲画像データの画像をディスプレイ15に表示して、ステップS124に移行する。
次に、死角情報推測処理の処理手順について説明する。
図7は、ステップS114において、死角情報推測部25によって行われる死角情報推測処理の処理手順の一例を示すフローチャートである。
ステップS114において、死角情報推測処理が実行されると、図7に示すように、まず、ステップS200に移行する。
ステップS200では、死角情報推測部25において、車両画像検出部24からの情報に基づき、車両周囲画像から他車両の可視画像部分が検出されたか否かを判定する。そして、他車両の可視画像部分が検出されたと判定した場合(Yes)は、ステップS202に移行し、そうでないと判定した場合(No)は、一連の処理を終了して元の処理に復帰させる。
ステップS204に移行した場合は、死角情報推測部25において、可視側面画像から死角部位の形状を推測して、ステップS206に移行する。例えば、死角部位の形状が左右対称であり、かつ可視画像部分と共に箱形を形成すると推測する。
ステップS208では、死角情報推測部25において、可視画像部分にウィンカーランプ部等の照明部位が含まれるか否かを判定し、照明部位が含まれると判定した場合(Yes)は、ステップS210に移行し、そうでないと判定した場合(No)は、ステップS212に移行する。
ステップS212では、死角情報推測部25において、走行状態判定部30からの判定結果に基づき、該当の他車両は、走行状態か否かを判定する。そして、走行状態であると判定した場合(Yes)は、ステップS214に移行し、そうでないと判定した場合(No)は、ステップS216に移行する。
一方、ステップS216に移行した場合は、死角情報推測部25において、反対側のドア部は推測不可能であると判断し、ドア部に対する推測不可能情報を生成して、ステップS220に移行する。つまり、他車両が停車している場合、反対側のドアは開いている場合があるので、推測不可能と判断する。
ステップS220では、死角情報推測部25において、可視画像部分データ及び座標情報と、死角部位の情報とを画像補完部26に入力して、一連の処理を終了し元の処理に復帰させる。ここで、可視画像部分が可視側面画像を含む場合は、死角部位の形状、色の情報、照明部位を含む場合の推測不可能情報、走行状態時のドア部の推測可能情報、停車時のドア部の推測不可能情報等の死角部位の情報が画像補完部26に入力される。また、可視画像部分が可視側面画像を含む場合は、死角部位に対する推測不可能情報が画像補完部26に入力される。
次に、画像補完処理の処理手順について説明する。
図8は、ステップS116において、画像補完部26によって行われる画像補完処理の処理手順の一例を示すフローチャートである。
ステップS116において、画像補完処理が実行されると、図8に示すように、まず、ステップS300に移行する。
ステップS300では、画像補完部26において、死角情報推測部25からの情報に基づき、車両周囲画像から他車両の可視画像部分が検出されたか否かを判定する。そして、他車両の可視画像部分が検出されたと判定した場合(Yes)は、RAM13から、対象の車両周囲画像データを読み出して、ステップS302に移行する。一方、そうでないと判定した場合(No)は、一連の処理を終了して元の処理に復帰させる。
ステップS304に移行した場合は、画像補完部26において、可視側面画像を反転した反転画像を生成して、ステップS306に移行する。
ステップS306では、画像補完部26において、反転画像における前輪部分を反転し、他車両の反対側の側面の補完画像データを生成して、ステップS308に移行する。
ステップS308では、画像補完部26において、ステップS306で生成した補完画像データによって、他車両の反対側の側面の画像を補完して、ステップS310に移行する。
ステップS312では、画像補完部26において、描画補完した死角部位を推測した色に着色して、ステップS314に移行する。
ステップS314では、画像補完部26において、死角情報推測部25からの情報に基づき、照明部位は推測不可能か否かを判定し、推測不可能であると判定した場合(Yes)は、ステップS316に移行し、そうでないと判定した場合(No)は、ステップS318に移行する。
ステップS318では、画像補完部26において、死角情報推測部25からの情報に基づき、ドア部は推測不可能か否かを判定し、推測不可能であると判定した場合(Yes)は、ステップS320に移行し、そうでないと判定した場合(No)は、一連の処理を終了して元の処理に復帰させる。
ステップS320に移行した場合は、画像補完部26において、反対側の側面の補完画像におけるドア部の色を灰色に着色(変更)して、一連の処理を終了して元の処理に復帰させる。
ステップS324では、画像補完部26において、ステップS322の検索処理によって、他車両と同種の車両が索出されたか否かを判定する。そして、同種の車両が索出されたと判定した場合(Yes)は、ステップS326に移行し、そうでないと判定した場合(No)は、一連の処理を終了して元の処理に復帰させる。
ステップS326に移行した場合は、画像補完部26において、索出した車両の3次元CGデータを用いて、他車両の死角部位の補完画像データを生成して、ステップS328に移行する。
ステップS330では、画像補完部26において、死角情報推測部25からの情報に基づき、別の他車両があるか否かを判定し、あると判定した場合(Yes)は、ステップS302に移行し、そうでないと判定した場合(No)は、一連の処理を終了して元の処理に復帰させる。
次に、本実施形態の車両用画像生成装置100の動作を説明する。
図9は、車両周囲の領域を撮影時における自車両と他車両との位置関係の一例を示す図である。図10は、図9の仮想視点とは反対側の視点から見た場合の他車両の撮影範囲の一例を示す図である。図11は、図9の仮想視点から見た場合の、他車両の死角部位を含む非撮影範囲の一例を示す図である。図12(a)〜(d)は、他車両が走行状態時の画像補完処理の流れの一例を示す図である。図13(a)は、他車両が走行状態時の画像補完後の図9の仮想視点から見た画像を示す図であり、(b)は、他車両が停車状態時の画像補完後の図9の仮想視点から見た画像を示す図である。図14は、他車両が停車状態時の画像補完処理の流れの一例を示す図である。
なお、本実施形態において、ステレオカメラ11A〜11Dは、デジタルビデオカメラであり、各ステレオカメラにおいて、30[fps]のフレームレートで撮影が行われる。画像情報入力部20は、この撮影画像データのうち、予め設定されたサンプリング周期に対応するタイミングで撮影された撮影画像データを取得する。
以下、図9に示す位置関係で、自車両1に搭載されたステレオカメラ11A〜11Dによって、他車両2を撮影した場合を例に挙げて説明する。
これにより、側面画像から、オープンカーや荷台のあるトラック等のような特殊な形状や、セダンやワンボックスカーのような一般によく見られる箱形の形状等を推測する。
更に、死角情報推測部25は、可視側面画像データに基づき、左側面部の色を解析する。例えば、各色の画素数を計数する。図12(a)の例では、他車両2のボディカラーが白色であるため、白色の画素数が最も多くなる。従って、死角情報推測部25は、死角部位の色が白色であると推測する(S206)。
画像補完部26は、死角情報推測部25から上記死角情報を取得すると、死角情報の内容から、他車両が検出されたと判定し、RAM13から対象の車両周囲画像データを読み出す(S300のYes)。更に、画像補完部26は、死角情報の内容に基づき、死角部位の情報が推測可能であると判定する(S302のYes)。
引き続き、画像補完部26は、形状情報から、他車両2が箱形であること判定する。これにより、画像補完部26は、図12(c)の点線部に示すように、可視画像部分200と、補完画像部分である反転側面画像220T+との間の死角部位を、補間計算による補間描画によって補完する(S310)。これが、図12(c)に示す、補完(2)の描画補完処理となる。なお、図12(c)における斜線部は、描画補完によって補完された部分(面が形成された部分)であり、色が不明となっている。
そして、画像補完部26は、死角部位を補完後の車両周囲画像データを、対応する撮影画像データの撮影時間情報に対応付けてRAM13に記憶する。更に、画像補完部26は、補完後の車両周囲画像データを、画像再構成部28に入力する。
なお、透視変換によって構成される画像を、仮想視点から見た画像に再構成する技術は公知であるので説明を省略する。
このようにして表示された、車両周囲画像における図9の仮想視点に対応する画像は、図13(a)に示すように、他車両2の死角部位が、反転側面画像220T+によって補完され、かつ推測不可能と判断された照明部位が灰色に着色されたものとなる。
死角情報推測部25は、他車両2が停車状態であると判断すると、ドア部についての推測不可能情報を生成する(S216)。
なお、その他の死角情報は、上記他車両2が走行状態であった場合と同じとする。
画像補完部26は、死角情報推測部25から上記死角情報を取得すると、死角情報の内容から、他車両が検出されたと判定し、RAM13から対象の車両周囲画像データを読み出す(S300のYes)。更に、画像補完部26は、死角情報の内容に基づき、死角部位の情報が推測可能であると判定する(S302のYes)。
画像補完部26は、死角情報に含まれる色情報から、他車両2の死角部位の色が白色であると判定する。これにより、画像補完部26は、図14(d)に示すように、色が不明となっていた図14(c)の斜線部を白色に着色する(S312)。加えて、画像補完部26は、死角情報に含まれる照明部位の推測不可能情報から、反転側面画像220T+における照明部位が推測不可能であると判定する(S314のYes)。これにより、画像補完部26は、補完部分である反転側面画像220T+における照明部位の画像部分を灰色に着色する(S316)。加えて、画像補完部26は、死角情報に含まれるドア部の推測不可情報から、反転側面画像220T+におけるドア部が推測不可能であると判定する(S318のYes)。つまり、他車両2は停車状態であるため、死角側のドア部が開いている状態の場合もあるため、ドア部の形状について推測ができない。この場合に、画像補完部26は、反転側面画像220T+におけるドア部を灰色に着色する(S320)。これが図14(d)に示す、補完(3)の着色補完処理となる。
画像再構成部28は、基準視点から見た補完後の車両周囲画像を、図9に示す仮想視点(XVL,YVL,ZVL)から見た画像へと再構成する。そして、画像再構成部28は、再構成後の車両周囲画像データを、画像表示部29に入力する(S120)。
このようにして表示された、車両周囲画像における図9に対応する画像は、図13(b)に示すように、他車両2の死角部位が、反転側面画像220T+によって補完され、かつ推測不可能と判断された照明部位及びドア部が灰色に着色されたものとなる。
死角情報推測部25は、可視画像部分に可視側面画像が無いと判定すると(S202のNo)、死角部位の情報が推測不可能であると判断する。死角情報推測部25は、死角部位の情報が推測不可能であると判断すると、死角部位の情報についての推測不可能情報を生成する(S218)。そして、死角情報推測部25は、可視画像部分データ及び座標情報と、死角部位についての推測不可能情報を含む死角情報とを、画像補完部26に入力する(S220)。
画像再構成部28は、基準視点から見た補完後の車両周囲画像を、仮想視点から見た画像へと再構成する。そして、画像再構成部28は、再構成後の車両周囲画像データを、画像表示部29に入力する(S120)。
ここで、上記説明において、画像情報入力部20は、画像入力手段を構成する。座標情報検出部21は、座標情報検出手段を構成する。投影画像生成部22は、投影画像生成手段を構成する。車両周囲画像生成部23は、車両周囲画像生成手段を構成する。車両画像検出部24は、車両画像検出手段を構成する。死角情報推測部25は、死角情報推測手段を構成する。画像補完部26は、画像補完手段を構成する。仮想視点設定部27は、仮想視点情報設定手段を構成する。画像再構成部28は、画像再構成手段を構成する。走行状態判定部30は、走行状態判定手段を構成する。
本実施形態は、次のような効果を奏する。
(1)画像情報入力部20が、車両に搭載された複数のカメラにより車両周囲の領域を撮影して得られる複数の画像を入力する。座標情報検出部21が、画像入力手段によって入力された複数の画像に含まれる各物体の3次元座標情報を検出する。投影画像生成部22が、座標情報検出手段で検出した各物体の3次元座標情報に基づき構成される各物体の投影面に、複数の画像に含まれる各物体に対応する画像を投影して複数の投影画像を生成する。車両周囲画像生成部23が、投影画像生成部22によって生成された複数の投影画像を合成して、3次元構造を有する車両周囲画像を生成する。車両画像検出部24が、車両周囲画像に含まれる、複数のカメラにより撮影された画像に基づき構成される他車両の可視画像部分を検出する。死角情報推測部25が、車両画像検出手段の検出結果に基づき、車両周囲画像に他車両の可視画像部分が含まれると判定すると、可視画像部分の画像情報に基づき、複数のカメラの撮影範囲外となる前記他車両の死角部位の情報を推測する。画像補完部26が、死角情報推測部25で推測した情報に基づき、可視画像部分の画像情報を用いて、車両周囲画像に含まれる他車両の死角部位の画像を補完する。仮想視点設定部27が、仮想視点情報を設定する。画像再構成部28が、画像補完部26で補完された車両周囲画像を、仮想視点設定部27で設定された仮想視点情報の示す仮想視点から見た画像に再構成する。
車両の形状は、例えば、車両前後方向の中心線等に対して対称形状であることが多く、かつ1台の車両に同じ形状のパーツが複数存在する。従って、可視画像部分の内容によっては、例えば、可視部分と対となる死角部位の形状を推測することが可能である。このようにして推測した形状に基づき、可視画像部分から生成した補完画像を用いて死角部位の画像を補完するようにしたので、死角部位の画像を適切に補完することが可能となる。
可視画像部分に他車両の側面の画像が含まれる場合に、車両形状の対称性から左右対称と推測し、可視側面画像を左右反転した補完画像によって、他車両の死角部位の一部である反対側の側面の画像を補完するようにした。これにより、死角部位の画像を適切に補完することが可能となる。
可視側面画像を反転させて補完画像を生成した場合に、前輪の舵角によっては、前輪の向きが逆向きになった画像が生成される。上記(4)の構成であれば、前輪の画像部分を舵角を反転した画像に修正することができるので、より正確な補完画像を生成することが可能となる。
車両は、例えば、オープンカー等の特殊な形状の車両を除いて、多くが対称形状かつ箱形となる。従って、例えば、補完画像を含めて他車両の両側面の画像を形成できれば、両側面間を補間計算による補間描画によって補完することが可能となる。このような描画補完を行うようにしたので、より信頼性の置ける補完画像を生成することが可能となる。
車両のボディカラーは、単色であることが多いので、例えば、車両側面のパーツに使用されている色が可視側面画像から解れば、ルーフ部分等の死角部位の色も同じ色であると推測することが可能である。このようにして、死角部位の色を補完することで、より信頼性の置ける補完画像を生成することが可能となる。
例えば、他車両の可視画像部分が少なくて、形状や色などを推測するには情報が不足している場合は、死角部位の情報を推測することが不可能となる。また、他車両の走行状態によって形状や状態が変わる可能性のある死角部位などは、情報の推測が不可能となる。このような場合に、推測不可能であることを画像補完部26に通知するようにした。加えて、画像補完部26は、推測不可能と判定された死角部分を、予め設定された内容で描画するようにした。例えば、推測不可能な部位を推測不可能であることを明示できる色で着色する等することで、推測不可能な部位をユーザに対して明示することが可能となる。これによって、不明確な情報の表示を防ぐことができ、ユーザが補完画像を見て誤った判断をすること等を防ぐことが可能となる。
他車両が走行している状態であれば、当該他車両のドアが全て閉まっている状態であると推測することができる。一方、他車両が停止している状態であると、死角部位となるドアが閉まっている状態であるとは限らない。このような状況を考慮して、他車両が停止している状態のときは、死角部位のドア部を推測不可能な部分と判定するようにした。これによって、不明確な情報の表示を防ぐことができ、ユーザが補完画像を見て誤った判断をすること等を防ぐことが可能となる。
例えば、ウィンカーランプは、左右の一方が点灯していない状態において、他方が点灯している状態と、点灯していない状態との2状態があり得る。また、左右双方が点灯する状態もあり得る。このような状況を考慮して、少なくとも死角部位のウィンカーランプ部を推測不可能な部分と判定するようにした。これによって、不明確な情報の表示を防ぐことができ、ユーザが補完画像を見て誤った判断をすること等を防ぐことが可能となる。
車両画像データベース300に記憶された複数車種の3次元CGモデルのなかに、可視画像部分に合致する画像部分を有する車種の3次元CGモデルがある場合に、その画像データを用いて生成した補完画像を用いて他車両の死角部位の画像を補完するようにした。これによって、可視画像部分から死角部位の推測ができないような場合や、大部分を推測できなかった場合などに、適切に死角部位の画像を補完することが可能となる。
可視画像部分から死角部位の情報が推測ができなかった場合に、車両画像データベース300の可視画像部分から検出される3次元CGモデルの画像データを用いて、他車両の死角部位の画像を補完するようにした。これによって、他車両の死角部位の画像が何も表示されないような車両周囲画像と比較して、見やすい車両周囲画像を表示することが可能となる。また、車両周囲画像の信頼性を向上することが可能となる。
(1)上記実施形態において、自車両1の周囲の領域を撮影する撮像装置(撮像装置11A〜11D)を、自車両1の前後左右に各1台ずつ配置する構成としたが、この構成に限らない。
一般に、カメラのレンズが広角になるほど、画像に歪みが生じる。図15の例のように、カメラの数を増やすことで、画角を狭めることができ、歪みの少ない撮影画像を用いて車両周囲画像を生成することが可能となる。また、他の撮像装置の撮影範囲とのオーバーラップも容易となる。これにより、隙間無く車両周囲の領域を撮影することが可能となり、より正確な車両周囲画像を生成することが可能となる。
例えば、図16に示すように、自車両1の隣の車線を走行する他車両2が自車両1を追い抜いていった場合を想定する。この場合、他車両2が図16中の(1)の位置にいるときは、自車両1の撮影範囲Dによって、他車両2の前側の大部分を撮影することができる。また、他車両2が図16中の(2)の位置にいるときは、自車両1の撮影範囲Bによって、他車両2の右側面の全体を撮影することができる。そして、他車両2が図16中の(3)の位置にいるときは、自車両1の撮影範囲Aによって、他車両2の後側の大部分を撮影することができる。これは、自車両1が後方から他車両2を追い越す場合なども同様となる。また、他車両2が対向車線を走行している場合も、撮影対象の向きが変わるのみで同様となる。このように、自車両1と他車両2との位置関係が変化する場合に、同一の他車両に対して得られる画像の内容が変化する。このことを踏まえて、既に得られている最大範囲の撮影画像データと、新たに得られる撮影画像データとを併用して、車両周囲画像に含まれる他車両の死角部位の画像を補完する構成としてもよい。これにより、より正確に他車両の死角部位の画像を補完することが可能となる。
(4)上記実施形態において、他車両の可視画像部分から死角部位の情報を推測できないと判定した場合に、車両画像データベース300を利用して、死角部位の画像を補完する構成としたが、この構成に限らない。例えば、死角部位の情報を推測せずに、初めから車両画像データべースを利用して、死角部位の画像を補完する構成としてもよい。
また、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、均等物等は本発明に含まれるものである。
120 車両用画像生成機能構成部
1 自車両
2 他車両
10 CPU
11 車両周囲撮像部
11A〜11D 撮像装置,CCDカメラ,ステレオカメラ
12 ROM
13 RAM
14 操作部
15 ディスプレイ
16 HDD
17 車速センサ
20 画像情報入力部
21 座標情報検出部
22 投影画像生成部
23 車両周囲画像生成部
24 車両画像検出部
25 死角情報推測部
26 画像補完部
27 操作部
28 画像再構成部
29 画像表示部
30 走行状態判定部
110A CCDカメラ
111A レーザレンジファインダ
Claims (13)
- 車両に搭載された複数のカメラにより車両周囲の領域を撮影して得られる複数の画像を入力する画像入力手段と、
前記画像入力手段によって入力された前記複数の画像に含まれる各物体の3次元座標情報を検出する座標情報検出手段と、
前記座標情報検出手段で検出した前記各物体の3次元座標情報に基づき構成される各物体の投影面に、前記複数の画像に含まれる前記各物体に対応する画像を投影して複数の投影画像を生成する投影画像生成手段と、
前記投影画像生成手段によって生成された前記複数の投影画像を合成して、3次元構造を有する車両周囲画像を生成する車両周囲画像生成手段と、
前記車両周囲画像に含まれる、前記複数のカメラにより撮影された画像に基づき構成される他車両の可視画像部分を検出する車両画像検出手段と、
前記車両画像検出手段の検出結果に基づき、前記車両周囲画像に前記他車両の可視画像部分が含まれると判定すると、前記可視画像部分の画像情報に基づき、前記複数のカメラの撮影範囲外となる前記他車両の死角部位の情報を推測する死角情報推測手段と、
前記死角情報推測手段で推測した情報に基づき、前記可視画像部分の画像情報を用いて、前記車両周囲画像に含まれる前記他車両の死角部位の画像を補完する画像補完手段と、
仮想視点情報を設定する仮想視点情報設定手段と、
前記画像補完手段で補完された車両周囲画像を、前記仮想視点情報設定手段で設定された仮想視点情報の示す仮想視点から見た画像に再構成する画像再構成手段と、を備えることを特徴とする車両用画像生成装置。 - 前記死角情報推測手段は、前記可視画像部分の画像情報に基づき前記他車両の死角部位の形状を推測し、
前記画像補完手段は、前記死角情報推測手段で推測した死角部位の形状に基づき、前記可視画像部分から補完画像を生成し、生成した補完画像を用いて前記他車両の死角部位の画像を補完することを特徴とする請求項1に記載の車両用画像生成装置。 - 前記死角情報推測手段は、前記可視画像部分が、前記他車両の側面を撮影した画像から構成される可視側面画像を含む場合に、前記他車両の形状を左右対称と推測し、
前記画像補完手段は、前記死角情報推測手段の推測結果に基づき、前記可視側面画像を左右反転した補完画像を生成し、生成した補完画像を用いて前記他車両の死角部位の一部である反対側の側面の画像を補完することを特徴とする請求項2に記載の車両用画像生成装置。 - 前記画像補完手段は、前記可視側面画像を左右反転した補完画像を生成するに際して、前記左右反転した補完画像における前輪部分の画像を、当該前輪部分の舵角を反転した画像に修正することを特徴とする請求項3に記載の車両用画像生成装置。
- 前記画像補完手段は、前記死角部位の画像の一部を補完した場合に、前記死角情報推測手段で推測した死角部位の形状に基づき、前記補完画像部分と前記可視画像部分との間の死角部位の画像部分の形状を補間計算によって描画補完することを特徴とする請求項2乃至請求項4のいずれか1項に記載の車両用画像生成装置。
- 前記死角情報推測手段は、前記可視画像部分の色情報に基づき、前記描画補完によって補完された補完画像部分の色を推測し、
前記画像補完手段は、前記補完画像部分の少なくとも一部を前記死角情報推測手段で推測した色に着色することを特徴とする請求項5に記載の車両用画像生成装置。 - 前記死角情報推測手段は、前記可視画像部分から前記死角部位の少なくとも一部の情報が推測不可能であると判定すると、該当部位に対して推測が不可能であることを示す推測不可情報を前記画像補完手段に出力し、
前記画像補完手段は、前記死角情報推測手段からの前記推測不可情報に基づき、前記他車両の死角部位のうち推測不可能な部分があったと判定すると、推測不可能な部分について、予め設定された描画内容で描画を行うことを特徴とする請求項1乃至請求項6のいずれか1項に記載の車両用画像生成装置。 - 前記他車両の走行状態を判定する走行状態判定手段を備え、
前記死角情報推測手段は、前記走行状態判定手段の判定結果に基づき、前記他車両が停止していると判定すると、前記他車両の死角部位に含まれるドア部分を推測不可能な部分と判定することを特徴とする請求項7に記載の車両用画像生成装置。 - 前記死角情報推測手段は、前記他車両の死角部位のうち少なくともウィンカーランプ部を含む照明系の部位を推測不可能な部分と判定することを特徴とする請求項7又は請求項8に記載の車両用画像生成装置。
- 複数種類の車両の3次元CGモデルを記憶した車両画像データベースを備え、
前記画像補完手段は、前記車両周囲画像に含まれる前記他車両の可視画像部分を検索情報として、前記車両画像データベースから前記他車両に対応する3次元CGモデルを検索し、該検索によって索出された前記3次元CGモデルに基づき、前記他車両の死角部位の補完画像を生成し、生成した補完画像を用いて前記他車両の死角部位の画像を補完することを特徴とする請求項1乃至請求項9のいずれか1項に記載の車両用画像生成装置。 - 前記画像補完手段は、前記死角情報推測手段の推測結果に基づき、前記死角部位の情報が推測できなかったと判定すると、前記車両周囲画像に含まれる前記他車両の可視画像部分を検索情報として、前記車両画像データベースから前記他車両に対応する3次元CGモデルを検索し、該検索によって索出された前記3次元CGモデルに基づき、前記他車両の死角部位の補完画像を生成し、生成した補完画像を用いて前記他車両の死角部位の画像を補完することを特徴とする請求項10に記載の車両用画像生成装置。
- 車両に搭載された複数のカメラにより車両周囲の領域を撮影して得られる複数の画像を入力する画像入力手段と、
前記画像入力手段によって入力された前記複数の画像に含まれる各物体の3次元座標情報を検出する座標情報検出手段と、
前記座標情報検出手段で検出した前記各物体の3次元座標情報に基づき構成される各物体の投影面に、前記複数の画像に含まれる前記各物体に対応する画像を投影して複数の投影画像を生成する投影画像生成手段と、
前記投影画像生成手段によって生成された前記複数の投影画像を合成して、3次元構造を有する車両周囲画像を生成する車両周囲画像生成手段と、
前記車両周囲画像に含まれる、前記複数のカメラにより撮影された画像に基づき構成される他車両の可視画像部分を検出する車両画像検出手段と、
複数種類の車両の3次元CGモデルを記憶した車両画像データベースと、
前記車両画像検出手段で検出された前記他車両の可視画像部分を検索情報として、前記車両画像データベースから前記他車両に対応する3次元CG(Computer Graphics)モデルを検索し、該検索によって索出された3次元CGモデルに基づき、前記他車両の死角部位の補完画像を生成し、生成した補完画像を用いて前記他車両の死角部位の画像を補完する画像補完手段と、
仮想視点情報を設定する仮想視点情報設定手段と、
前記画像補完手段で補完された車両周囲画像を、前記仮想視点情報設定手段で設定された仮想視点情報の示す仮想視点から見た画像に再構成する画像再構成手段と、を備えることを特徴とする車両用画像生成装置。 - 車両に搭載された複数のカメラにより車両周囲を撮影して得られる複数の画像に基づき、3次元構造を有する車両周囲画像を生成する車両周囲画像生成ステップと、
前記車両周囲画像に含まれる、前記複数のカメラにより撮影された画像に基づき構成される他車両の可視画像部分を検出する車両画像検出ステップと、
前記車両画像検出ステップにおける検出結果に基づき、前記車両周囲画像に前記他車両の可視画像部分が含まれると判定すると、前記可視画像部分の画像情報に基づき、前記複数のカメラの撮影範囲外となる前記他車両の死角部位の情報を推測する画像情報推測ステップと、
前記画像情報推測ステップにおいて推測した画像情報に基づき、前記可視画像部分の画像情報を用いて、前記車両周囲画像に含まれる前記他車両の死角部位の画像を補完する画像補完ステップと、
仮想視点情報を設定する仮想視点情報設定ステップと、
前記画像補完ステップにおいて補完された車両周囲画像を、前記仮想視点情報設定ステップで設定された仮想視点情報の示す仮想視点から見た画像に再構成する画像再構成ステップと、を含むことを特徴とする車両用画像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011158970A JP5799631B2 (ja) | 2011-07-20 | 2011-07-20 | 車両用画像生成装置及び車両用画像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011158970A JP5799631B2 (ja) | 2011-07-20 | 2011-07-20 | 車両用画像生成装置及び車両用画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013025528A JP2013025528A (ja) | 2013-02-04 |
JP5799631B2 true JP5799631B2 (ja) | 2015-10-28 |
Family
ID=47783815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011158970A Active JP5799631B2 (ja) | 2011-07-20 | 2011-07-20 | 車両用画像生成装置及び車両用画像生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5799631B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101994721B1 (ko) * | 2013-08-16 | 2019-07-01 | 삼성전기주식회사 | 어라운드 이미지 제공 시스템 및 어라운드 이미지 제공 방법 |
JP6318267B2 (ja) | 2014-12-12 | 2018-04-25 | 株式会社日立製作所 | 体積推定装置およびそれを用いた作業機械 |
JP6392693B2 (ja) * | 2015-03-20 | 2018-09-19 | 株式会社デンソーアイティーラボラトリ | 車両周辺監視装置、車両周辺監視方法、及びプログラム |
JP6649178B2 (ja) * | 2016-05-24 | 2020-02-19 | 株式会社東芝 | 情報処理装置、および、情報処理方法 |
WO2018016316A1 (ja) * | 2016-07-19 | 2018-01-25 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、およびテレプレゼンスシステム |
CN107128245A (zh) * | 2017-04-10 | 2017-09-05 | 江苏车视杰电子有限公司 | 一种车辆盲区预警系统 |
DE102017118156A1 (de) * | 2017-08-09 | 2019-02-14 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Überwachen eines Umgebungsbereiches eines Kraftfahrzeugs, Sensorsteuergerät, Fahrerassistenzsystem sowie Kraftfahrzeug |
JP6922681B2 (ja) * | 2017-11-17 | 2021-08-18 | 富士通株式会社 | 距離計測装置、距離計測方法、及び距離計測プログラム |
JP7364269B2 (ja) | 2022-03-15 | 2023-10-18 | Necプラットフォームズ株式会社 | 物体検知装置、画像処理表示方法及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3058537B2 (ja) * | 1993-06-29 | 2000-07-04 | 株式会社日立製作所 | 監視方法及び監視システム |
JP2000210474A (ja) * | 1999-01-22 | 2000-08-02 | Square Co Ltd | ゲ―ム装置、デ―タ編集方法及び記録媒体 |
JP2002314990A (ja) * | 2001-04-12 | 2002-10-25 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP3606853B2 (ja) * | 2001-09-07 | 2005-01-05 | 松下電器産業株式会社 | 車両周囲状況表示装置 |
JP2005268847A (ja) * | 2004-03-16 | 2005-09-29 | Olympus Corp | 画像生成装置、画像生成方法、および画像生成プログラム |
JP4796676B2 (ja) * | 2006-05-26 | 2011-10-19 | アルパイン株式会社 | 車両上方視点画像表示装置 |
JP4893212B2 (ja) * | 2006-10-04 | 2012-03-07 | トヨタ自動車株式会社 | 周辺監視装置 |
JP2008151507A (ja) * | 2006-11-21 | 2008-07-03 | Aisin Aw Co Ltd | 合流案内装置および合流案内方法 |
US8489284B2 (en) * | 2008-08-21 | 2013-07-16 | International Business Machines Corporation | Automated dynamic vehicle blind spot determination |
JP5412979B2 (ja) * | 2009-06-19 | 2014-02-12 | コニカミノルタ株式会社 | 周辺表示装置 |
-
2011
- 2011-07-20 JP JP2011158970A patent/JP5799631B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013025528A (ja) | 2013-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5799631B2 (ja) | 車両用画像生成装置及び車両用画像生成方法 | |
US9633266B2 (en) | Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings | |
US10627512B1 (en) | Early fusion of lidar return data with camera information | |
CN107472135B (zh) | 图像生成装置、图像生成方法以及记录介质 | |
US20180308282A1 (en) | Shape measuring apparatus and method | |
EP2437494B1 (en) | Device for monitoring area around vehicle | |
JP6310652B2 (ja) | 映像表示システム、映像合成装置及び映像合成方法 | |
US9772405B2 (en) | Backfilling clouds of 3D coordinates | |
JP6149676B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP5959264B2 (ja) | 画像処理装置及び方法、並びにコンピュータプログラム | |
JP2011155393A (ja) | 車両周辺画像表示装置及び車両周辺画像表示方法 | |
JP2007318460A (ja) | 車両上方視点画像表示装置 | |
JP2016175586A (ja) | 車両周辺監視装置、車両周辺監視方法、及びプログラム | |
JP2012138660A (ja) | 車両用表示装置 | |
WO2018074085A1 (ja) | 測距装置、および、測距装置の制御方法 | |
JP2010028803A (ja) | 駐車補助のための画像表示方法 | |
JP2015186085A (ja) | 移動量導出装置、及び、移動量導出方法 | |
JP5299101B2 (ja) | 周辺表示装置 | |
KR101300350B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
JP2010015346A (ja) | 周辺監視装置 | |
JP6674959B2 (ja) | 視差算出装置、ステレオカメラ装置、車両および視差算出方法 | |
Shan et al. | Probabilistic egocentric motion correction of lidar point cloud and projection to camera images for moving platforms | |
CN114155349A (zh) | 一种三维建图方法、三维建图装置及机器人 | |
JP7203205B2 (ja) | 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法 | |
JP5580062B2 (ja) | 障害物検知警報装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140714 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150810 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5799631 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |