JP5104397B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、車両周辺が撮影された画像の画像処理を行う画像処理装置、画像処理方法に関するものである。

従来、運転者の視点を補うために、車両の操作に応じて車載カメラからの画像を表示する技術が存在する。例えば、車両の走行状態、走行速度、ハンドルの操舵角、物体検出センサよる検出結果の状況に応じて、運転者に表示する画像を変更し、車両運転の際の安全確認支援を行う画像処理装置がある（例えば、特許文献１参照）。また、車両に搭載されたカメラから移動体を検出する方法がある（例えば、特許文献２参照）。
特許第３３００３３４号公報 特開平６−３３３０４９号公報

しかしながら、車両操作や走行状態、物体検出センサによる情報を用いても、運転者に有用な画像を提供できない場合がある。例えば、信号の無い狭いＴ字路で右左折をするために徐行する場合の運転者に有用な情報と、駐車場で徐行する場合の運転者に有用な情報とは、異なる。前者は自車前方の左右が見える画像であり、後者は自車を真上から俯瞰する画像である。しかし、車両操作の情報などからでは両者を区別することはできない。つまり、車両の走行状態、走行速度、ハンドル操舵角、物体検出結果を用いても、運転者に適切な画像を生成できない場合がある。

本発明は上述した問題点を解決するためになされたものであり、自車位置においてユーザに有用な画像を生成する画像処理装置、画像処理方法を提供することを目的とする。

上述した課題を解決するため、本発明の一態様は、車両に搭載される画像処理装置であって、複数のカメラにより撮影された撮影画像を取得する画像取得部と、前記車両の位置に関する情報である車両位置の認識を行う位置認識部と、前記位置認識部により認識された車両位置の種別である位置種別を認識する位置種別認識部と、前記位置種別認識部により認識された位置種別に基づいて、視点を決定する視点決定部と、前記画像取得部により取得された撮影画像に基づいて、前記視点決定部により決定された視点から見た画像を出力画像として生成する画像生成部とを備える。このような画像処理装置によれば、自車位置においてユーザに有用な画像を生成することができる。

また、本発明に係る画像処理装置において、前記画像生成部は、前記撮影画像を所定の形状に投影して投影画像とし、前記視点から該投影画像を見た画像を前記出力画像として生成しても良い。このような画像処理装置によれば、複数の撮影画像に基づいて任意の視点からの出力画像を生成することができる。

また、本発明に係る画像処理装置において、前記視点決定部は、前記位置種別と前記視点の対応付けを取得し、前記位置種別認識部により認識された位置種別と該対応付けとに基づいて、前記出力画像の視点を決定しても良い。このような画像処理装置によれば、位置種別に適した視点を選択することができる。

また、本発明に係る画像処理装置において、前記位置種別は、登録された位置を含んでも良い。このような画像処理装置によれば、位置種別を登録することができる。

また、本発明に係る画像処理装置において、前記位置種別認識部は、地図情報を取得し、該地図情報と前記車両位置とに基づいて、位置種別を認識しても良い。このような画像処理装置によれば、自車位置から位置種別を認識することができる。

また、本発明の一態様は、車両周辺が撮影された画像の画像処理を行う画像処理方法であって、複数のカメラにより撮影された撮影画像を取得し、前記車両の位置に関する情報である車両位置の認識を行い、認識された車両位置の種別である位置種別を認識し、認識された位置種別に基づいて、視点を決定し、取得された撮影画像に基づいて、決定された視点から見た画像を出力画像として生成することを行う。このような画像処理方法によれば、自車位置においてユーザに有用な画像を生成することができる

また、本発明の構成要素、または構成要素の任意の組合せを、方法、装置、システム、記録媒体、データ構造などに適用したものも本発明に含む。

開示の画像処理装置、画像処理方法によれば、自車位置においてユーザに有用な画像を生成することができる。

以下、本発明の実施の形態について図面を参照しつつ説明する。

まず、本実施の形態に係る車両用画像処理装置の構成について説明する。

図１は、本実施の形態に係る車両用画像処理装置の構成の一例を示すブロック図である。この車両用画像処理装置は、画像撮影部１、車両状況検知・認識部２、画像処理部３、画像表示部４を備える。

画像撮影部１は、車両に取り付けられたＮ個のカメラ１１と、予め各カメラ１１の位置情報（カメラパラメータ）を格納するカメラパラメータテーブル１ａ、各カメラ１１により撮影された画像（撮影画像）を一時的に記憶する画像データバッファ１ｂ（画像取得部）を備える。本実施の形態では、カメラ１１の数Ｎを４とする。

図２は、本実施の形態に係るカメラパラメータテーブルの一例を示す表である。カメラパラメータテーブル１ａは、各カメラ１１について、カメラ番号、自車座標系における位置座標（Ｘ，Ｙ，Ｚ）、方位角、仰角、光軸周り角、画角の情報が格納されている。各値の定義は、例えば特許文献１に記載の定義を用いる。

図３は、本実施の形態に係るカメラの配置の一例について車両左方から見た配置図である。図４は、本実施の形態に係るカメラの配置の一例について車両上方から見た配置図である。図５は、本実施の形態に係るカメラの配置の一例について車両前方から見た配置図である。４個のカメラ１１は、それぞれカメラ番号１，２，３，４が付与され、それぞれ車両前方、車両右方、車両後方、車両左方を撮影する。

図６は、本実施の形態に係る撮影画像の一例を示す図である。この図において、左上の画像は、後方カメラによる撮影画像である。同様に、右上の画像は、前方カメラによる撮影画像である。同様に、左下の画像は、右方カメラによる撮影画像である。同様に、右下の画像は、左方カメラによる撮影画像である。

図７は、本実施の形態に係る画像処理部により生成された出力画像の一例を示す図である。この出力画像は、撮影画像を画像処理した結果と、予め設定された自車の形状とが表示される。

本実施の形態では、自車座標系を用いる。図８は、本実施の形態に係る自車座標系の一例を示す図である。自車座標系は、自車の任意の一点を原点Ｏとした３次元の直交座標系である。本実施の形態では、走行方向をＸ軸、地面と平行で走行方向に対して右方向に直交する軸をＹ軸、ＸＹ平面と直交する上方向をＺ軸とする。また、原点は４つのカメラ１１の座標の重心とする。上述したカメラパラメータテーブル１ａには、カメラ１１設置時に自車座標系で計測された位置座標Ｘ、Ｙ、Ｚと方位角、仰角、光軸周り角の情報が格納されている。

画像データバッファ１ｂには、各カメラ１１により撮影された画像が一時的に蓄積される。本実施の形態において、後述の車両状況検知・認識部２の接近物体認識部２５が自車への接近物体を検知するために、画像データバッファ１０は各カメラ１１の画像を時間軸方向に２標本以上蓄積する。たとえばカメラ１１が１フレーム（画像）の撮像に３３ミリ秒かかるとすると、画像データバッファ１０は現時点で取得したフレームと３３ミリ秒前に取得したフレームとを保持する。カメラが４台あるので、画像データバッファ１ｂは、常に８枚の画像を蓄積する。

車両状況検知・認識部２は、位置・進行方向検知部２１（位置認識部）、地図情報ＤＢ（database）２２、位置種別認識部２３、運転状態検知部２４（運転情報取得部）、接近物体認識部２５（物体検知部）を備える。

位置・進行方向検知部２１は、自車位置情報（緯度、経度、進行方向）（車両位置）を取得する。ここで、位置・進行方向検知部２１は、位置種別認識部２３または画像処理部３から要求があった場合、自車位置情報を要求元に返す。位置・進行方向検知部２１は、ＧＰＳ（Global Positioning Systems）位置計測装置と電子コンパス装置などを用いて実装される。

地図情報ＤＢ２２は、カーナビゲーションシステムなどのデータベースを用いる。地図情報ＤＢ２２は、ハードディスクを用いて実装される。図９は、本実施の形態に係る地図情報ＤＢの一例を示す表である。ノード（地点）毎に、緯度、経度、リンク数（そのノードに接続された道路の数）、接続ノード番号（そのノードに道路を介して接続された他のノードの数）、位置種別が格納されている。

位置種別認識部２３は、車両の現在位置の種別である位置種別を認識する。本実施の形態では位置種別を「交差点（Ｔ字路以外、十字路等）」「駐車場」「Ｔ字路」「その他（前記４種類以外）」とする。位置種別認識部２３は、地図情報ＤＢ２２を参照し、位置・進行方向検知部２１から得られた緯度及び経度に対応する位置種別を取得する。認識結果は、画像処理部３に送られる。なお、本実施の形態では位置種別を４種類としたが、道路幅（走行車線の幅）などを組み合わせることにより、位置種別の種類を増やしてもよい。

運転状態検知部２４は、車両操作状態と運転状態対応テーブルから運転状態を検知し、検知結果を画像処理部３へ送る。本実施の形態において、車両操作状態は、「ハンドルの舵角」「方向指示器」「走行速度」「セレクトレバーのレンジ」の４種類である。また、本実施の形態において、運転状態は「直進」「左折」「右折」「左車線変更」「右車線変更」「徐行」「後退」「その他」の８種類の値を取る。

図１０は、本実施の形態に係る運転状態対応テーブルの一例を示す表である。図中の「−−−」は条件が無いことを意味する。例えば、図中の７段目の操作状態は、「セレクトレバーのレンジ」が「Ｒ」である場合、「ハンドルの舵角」や「方向指示器」などの３種類の状態に関わらず「後退」とする。本実施の形態において、車両操作状態は、４項目であるが、他に項目を追加してもよい。たとえば「アクセルペダルの踏み込み量」や「ブレーキペダルの踏み込み量」などがある。運転状態についても「左折」「右折」の代わりに、「左折中」「左折待ち停止中」「右折中」「右折待ち停止中」などとしてもよい。

接近物体認識部２５は、自車周辺の物体の有無を調べる。画像データバッファ１ｂに蓄積された画像を画像処理部３経由で取得し、蓄積された８枚の画像から自車に接近している物体の有無を検知する。接近物体が存在する場合、各物体の自車座標系における位置（Ｘ，Ｙ，Ｚ）も検知する。移動物体の有無の検出方法は、たとえば特許文献２に記載された方法を用いる。

画像生成部３は、画像生成部３１（視点決定部及び画像生成部）、画像パラメータＤＢ３２を備える。

画像生成部３１は、撮影画像を投影形状に投影して投影画像を生成し、各部から得た情報に基づいて仮想視点を決定し、投影画像を仮想視点から見た画像を出力画像として生成する。本実施の形態において、画像生成部３１は、画像撮影部１から、各カメラ１１で撮像した画像と、各カメラ１１の位置や角度などの情報を得る。また、画像生成部３１は、車両状況検知・認識部２から、緯度、経度、進行情報、車両の運転状態、自車への接近物体の数と各物体位置座標を得る。また、画像生成部３１は、画像パラメータＤＢ３２から画像生成に必要な画像パラメータを得る。

画像パラメータＤＢ３２は画像生成に必要なパラメータなどが予め定められているデータベースである。図１１は、本実施の形態に係る画像パラメータＤＢの一例を示す表である。本実施の形態における画像パラメータＤＢ３２は、登録位置ＤＢ３２１、位置種別ＤＢ３２２、運転状態ＤＢ３３３、接近物体数ＤＢ３２４、画像生成設定ＤＢ３２５を備える。

図１２は、本実施の形態に係る登録位置ＤＢの一例を示す表である。登録位置ＤＢ３２１は、ユーザにより登録された位置である登録位置（登録名、緯度、経度）と、その位置で表示させる出力画像の生成に用いる設定（画像生成設定）とが定義されている。例えば、自宅駐車場として登録された緯度・経度を中心として半径２０メートル以内に自車が存在する場合、画像生成部３１は、画像生成設定ＰＤを用いて、自車を俯瞰する出力画像を生成する。画像生成設定ＰＤについては後述する画像生成設定ＤＢ３２５における出力画像の設定を表している。

図１３は、本実施の形態に係る位置種別ＤＢの一例を示す表である。位置種別ＤＢ３２２は、位置種別と、その位置種別に対して用いる画像生成設定とが定義されている。なお、本実施の形態において、位置種別が「交差点」である場合の画像生成設定は定義されない。画像生成設定が定義されていない位置種別では、後述するように車両の運転状態等により画像生成設定を決定する。

図１４は、本実施の形態に係る運転状態ＤＢの一例を示す表である。運転状態ＤＢ３２３は、運転状態と、その運転状態に対して用いる画像生成設定とが定義されている。なお、本実施の形態において、運転状態が「直進」の場合の画像生成設定は定義されない。画像生成設定が定義されていない運転状態では、後述するように接近物体数等により画像生成設定を決定する。

図１５は、本実施の形態に係る接近物体数ＤＢの一例を示す表である。接近物体数ＤＢ３２４は、接近物体数と、その接近物体数に対して用いる画像生成設定とが定義されている。なお、本実施の形態において、接近物体数が０である場合の画像生成設定は定義されない。

図１６は、本実施の形態に係る画像生成設定ＤＢの一例を示す表である。画像生成設定ＤＢ３２５は、生成する出力画像に必要なパラメータとして、投影形状を決定するための投影形状パラメータ、仮想視点を決定するための仮想視点パラメータを格納する。本実施の形態では、投影形状を球面とする。図１７は、本実施の形態に係る投影形状の一例を示す式である。投影形状パラメータは、この式における球の半径Ｒとする。Ｘ，Ｙ，Ｚは、自車座標系である。

本実施の形態においては、画像生成設定ＤＢ３２５における画像生成設定として、画像生成設定ＰＡ，ＰＢ，ＰＣ，ＰＤ，ＰＥ，ＰＦが定義される。画像生成設定ＰＡ，ＰＢ，ＰＣ，ＰＤは、予め仮想視点パラメータが設定される。

画像生成設定ＰＡは、自車の左後方が見通せる出力画像を生成する設定である。画像生成設定ＰＢは、自車の右後方が見通せる出力画像を生成する設定である。画像生成設定ＰＣは、自車の後方が見通せる出力画像を生成する設定である。画像生成設定ＰＤは、自車を俯瞰する出力画像を生成する設定である。画像生成設定ＰＥは、接近物体が映る出力画像を生成する設定であり、予め設定された仮想視点パラメータに基づいて、出力画像に接近物体が映るような仮想視点パラメータが決定される。画像生成設定ＰＦは、自車前方の左右が見渡せる出力画像を生成する設定であり、前方カメラの撮影画像をそのまま出力画像とする。

画像生成部３１は、各カメラ１１により撮影された撮影画像を投影形状へ投影して投影画像を生成する。図１８は、本実施の形態に係る投影画像の一例を示す図である。投影画像は、カメラパラメータテーブル１ａのカメラパラメータと各カメラ１１により得られた撮影画像とを用いて生成される。ここで、自車は、投影形状の下部に配置される。

更に、画像生成部３１は、仮想視点パラメータの値を用いて投影画像を２次元平面に投影して出力画像を得る。複数のカメラにより得られた撮影画像をカメラの位置・方角などに基づいて立体形状に投影する方法、投影した結果を用いて仮想視点から画像を生成する方法は、例えば特許文献１に記載の方法を用いる。

画像表示部４は、画像処理部３により生成された出力画像を表示する。

次に、画像生成設定ＰＥの仮想視点の決定方法について説明する。

接近物体検知部２５は、画像データバッファ１ｂに格納された撮影画像を用いて接近物体の検出を行う。本実施の形態において、接近物体の検出は、左方、右方、後方カメラの撮影画像のみを用い、前方カメラの撮影画像を用いない。また、接近物体が検出された場合において運転者に有用な仮想視点として、予め仮想視点ａ，ｂ，ｃ，ｄ，ｅが設定される。仮想視点を決定する仮想視点パラメータとして、投影画像に対する仮想視点の座標と方向が設定される。

図１９は、本実施の形態に係る仮想視点ａの一例を示す図である。図２０は、本実施の形態に係る仮想視点ｂの一例を示す図である。図２１は、本実施の形態に係る仮想視点ｃの一例を示す図である。図２２は、本実施の形態に係る仮想視点ｄの一例を示す図である。図２３は、本実施の形態に係る仮想視点ｅの一例を示す図である。仮想視点ａは、自車の右方から自車の左後方を見る視点である。仮想視点ｂは、自車の左方から自車の右後方を見る視点である。仮想視点ｃは、自車の右方から自車の後方を見る視点である。仮想視点ｄは、自車の左方から自車の後方を見る視点である。仮想視点ｅは、自車の前方から自車の後方を見る視点であり、左方、右方、後方カメラの撮影画像がほぼ全て映る仮想視点である。

接近物体が検出されると、画像生成部３１は、仮想視点ａ，ｂ，ｃ，ｄのそれぞれを用いた出力画像において、接近物体の外接四角形の中心点Ａの座標（Ｘ＿Ａ，Ｙ＿Ａ）、自車座標系の原点Ｂ（Ｘ＿Ｂ，Ｙ＿Ｂ）の座標、点Ａと点Ｂの中点Ｃ（Ｘ＿Ｃ，Ｙ＿Ｃ）の座標を求める。

図２４は、本実施の形態に係る接近物体が１個の場合の仮想視点ｂの出力画像の一例を示す図である。ここで、出力画像の左下を原点Ｏ’、横軸をＸ’軸、縦軸をＹ’軸とする。また、接近物体の外接四角形の各頂点の座標のうち、左端のＸ’座標をＸ＿ｌｅｆｔ、上端のＹ’座標をＹ＿ｔｏｐ、右端のＸ’座標をＸ＿ｒｉｇｈｔ、下端のＹ’座標をＹ＿ｂｏｔｔｏｍとする。また、また、出力画像の中心点をＤとする。図２５は、本実施の形態に係る接近物体の外接四角形の位置の条件を示す式である。ここでＷ，Ｈは、それぞれ出力画像の幅と高さである。画像生成部３１は、Ｘ＿ｌｅｆｔ、Ｙ＿ｔｏｐ、Ｘ＿ｒｉｇｈｔ、Ｙ＿ｂｏｔｔｏｍがこの条件を満たす仮想視点を使用し、この条件を満たさない仮想視点を使用しない。

更に、画像生成部３１は、接近物体の外接四角形の位置の条件を満たす仮想視点のうち、線分ＣＤの距離が最小になる仮想視点を選択する。また、仮想視点ａ，ｂ，ｃ，ｄの全てが接近物体の外接四角形の位置の条件を満たさない場合、画像生成部３１は、仮想視点ｅを使用する。

なお、画像生成部３１は、線分ＣＤ間の距離を求める上で、仮想視点パラメータを初期値の近傍で変化させても良い。たとえば、仮想視点のＸ座標が１０に設定されている場合、画像生成部３１は、Ｘ座標を５や１５などに変化させた場合の線分ＣＤ間の距離をそれぞれ求め、その距離が最小となる仮想視点パラメータを選択する。また、画像生成部３１は、同様にしてＸ座標以外の仮想視点パラメータを変化させても良い。変化させる仮想視点パラメータの組み合わせの数は、画像生成部３１の処理性能に合わせて変更しても良い。

次に、接近物体が２個以上の場合について説明する。各接近物体の外接四角形の中心をＡ１，Ａ２，…．とし、これらの点の重心を点Ａ’とする。また、点Ａ’と自車座標系の原点Ｂとの中点をＣ、画像座標系の中心をＤとする。このとき、画像生成部３１は、接近物体の外接四角形の位置の条件を満たす仮想視点のうち、線分ＣＤの距離を最小にする仮想視点を選択する。

図２６は、本実施の形態に係る接近物体が２個の場合の仮想視点ｂの出力画像の一例を示す図である。この場合、Ａ１とＡ２を結ぶ線の重心（中点）がＡ’となる。

また、接近物体の外接四角形の位置の条件を満たし、且つ検知された複数の接近物体が同時に出力画像に映るような仮想視点が存在しない場合、画像生成部３１は、自車に近い接近物体や自車への接近速度が大きい接近物体のみを優先して出力画像に表示させる仮想視点を選択する。

また、同一の接近物体が互いに異なる複数のカメラ１１に撮影された場合、画像生成部３１は、複数の撮影画像が同一の物体を映していることを認識する必要がある。例えば、左方カメラと後方カメラに同一の接近物体（車など）が映っている場合、接近物体の数を重複して数えないように両者が同一であることを認識する必要がある。

複数のカメラ１１による撮影画像に同一物体が映っている場合、各撮影画像の端に物体が映っているはずである。例えば左カメラと後方カメラに同一物体が映っている場合、左方カメラの撮影画像の左端と後方カメラの撮影画像の右端とが接近物体の領域として検知される。よって、左方カメラの撮影画像の左端にある所定の画素領域と後方カメラの撮影画像の右端にある所定の画素領域に接近物体が検知された場合、画像生成部３１は、それらを同一物体として認識する。

上述した仮想視点の決定方法により、自車の少なくとも一部と接近物体の両者が生成画像内に映ることが可能になる。従来、出力画像の中心に接近物体の中心を表示する技術はあったが、これでは自車が映らない場合があり、その場合、ユーザは接近物体との距離感が分かりにくい。一方、本実施の形態に係る出力画像は両者の距離感を分かりやすく表示することができる。

次に、仮想視点を示す視点画像について説明する。

視点画像は、出力画像の仮想視点を運転者に分かりやすく示す画像であり、出力画像と共に、あるいは出力画像中に表示される。

画像生成設定が切り替わった時点で、ユーザは仮想視点を瞬時に把握しにくい場合がある。出力画像と共に、仮想視点を示す視点画像を表示することにより、

予め仮想視点の方位角α（自車座標系のｙ軸とのなす角）の範囲（視点領域）で定義された視点領域が複数設定される。また、予め視点領域毎に、その視点領域から見た自車の画像（自車画像）が格納されている。図２７は、本実施の形態に係る視点領域の一例を示す図である。本実施の形態において、仮想視点の方位角に対して、６個の視点領域Ｔ１〜Ｔ６が定義されている。

図２８は、本実施の形態に係る視点領域と自車画像の対応付けの一例を示す表である。視点領域と自車画像の対応付けとして、αの範囲毎に、視点領域の番号、自車画像が定義されている。画像生成部３１は、この対応付けとαの値とに従って、視点画像に用いる自車画像を選択する。

図２９は、本実施の形態に係る自車画像の一例を示す図である。Ｖａは、自車の右方から見た自車の画像であり、仮想視点が自車の右方に存在する場合に用いられる。Ｖｂは、自車の前方から見た自車の画像であり、仮想視点が自車の前方に存在する場合に用いられる。Ｖｃは、自車の後方から見た自車の画像であり、仮想視点が自車の後方に存在する場合に用いられる。

更に、画像生成部３１は、選択した自車画像に、仮想視点を表すカメラの図形（カメラマーク）を配置することにより、視点画像を生成する。予め自車画像は格子状に区切られ、自車画像内の格子が仮想視点の座標に対応付けられる。

図３０は、本実施の形態に係る自車画像におけるカメラマークの配置の一例を示す図である。この例では、自車画像としてＶａが選択された場合を示す。画像生成部３１は、Ｖａ内の領域を格子状の領域Ｍ１，Ｍ２，・・・に分割し、仮想視点のｘ座標とｚ座標に対応するＶａ内の格子にカメラマークを配置する。例えば仮想視点のｘ座標が−２０〜−１０、ｚ座標が３０以上のときは領域Ｍ１にカメラマークを配置するというように決めておく。つぎに、画像生成部３１は、仮想視点パラメータの仰角の値を用いてカメラマークの向きを決定する。

図３１は、本実施の形態に係る視点画像が付加された出力画像の一例を示す図である。本実施の形態において、画像生成部３１は、出力画像内の右下部分に視点画像を配置する。

また、仮想視点パラメータが無い場合、つまり画像生成設定ＰＦの場合、画像生成部３１は、カメラパラメータを用いて視点画像を生成する。

なお、画像生成部３１は、仮想視点の切り替え時、切り替え前の仮想視点から切り替え後の仮想視点までを補間した仮想視点を生成し、補間した仮想視点を用いて、切り替え前の出力画像から切り替え後の出力画像までを連続的に変化させた出力画像を生成しても良い。

本実施の形態に係る車両用画像処理装置は、ＣＰＵ及び記憶装置により実現されても良い。このとき、位置・進行方向検知部２１、地図情報ＤＢ（database）２２、位置種別認識部２３、運転状態検知部２４、接近物体認識部２５、画像生成部３は、ＣＰＵにより実行されるプログラムとして記憶装置に格納される。また、本実施の形態に係る車両用画像処理装置は、カーナビゲーションシステムに適用することができる。

次に、本実施の形態に係る車両用画像処理装置の動作について説明する。

図３２は、本実施の形態に係る車両用画像処理装置の動作の一例を示すフローチャートである。画像撮影部１の各カメラ１１により撮像された撮影画像は、画像データバッファ１ａへ一時的に蓄積される。

最初に、位置・進行方向検知部２１が自車位置（緯度、経度、進行方向）を取得し、画像処理部３へ送る（Ｓ１）。自車位置を取得した画像処理部３は、登録位置ＤＢ３２１を参照し、自車位置が登録位置のいずれかに該当するか否かの判定を行う（Ｓ２）。ここで、画像処理部３は、自車位置が登録位置の半径２０メートル以内であれば、自車位置が登録位置に該当すると判定する。

自車位置が登録位置に該当する場合（Ｓ２，Ｙ）、画像処理部３は、自車位置に対応する画像生成設定を登録位置ＤＢ３２１により決定し、画像生成設定に従って出力画像を生成し（Ｓ９）、画像表示部４に表示させる（Ｓ１０）。次に、画像処理部３は、自車の運転が終了しているか否かの判定を行い（Ｓ１１）、終了していれば（Ｓ１１，Ｙ）、このフローは終了し、終了していなければ（Ｓ１１，Ｎ）、処理Ｓ１に戻る。なお、自車の運転が終了しているかどうかは、自車のエンジンがかかっているか否かで識別すればよい。

自車位置が登録位置に該当しない場合（Ｓ２，Ｎ）、位置種別認識部２３は、位置・進行方向検知部２１から自車位置を取得し、地図情報ＤＢ２２から自車位置の位置種別を認識し、認識結果を画像処理部３に送る（Ｓ３）。次に、画像処理部３は、位置種別ＤＢ３２２を参照し、取得した位置種別に対応する画像生成設定が存在するか否かの判定を行う（Ｓ４）。

取得した位置種別に対応する画像生成設定が存在する場合（Ｓ４，Ｙ）、画像処理部３は、取得した位置種別に対応する画像生成設定を位置種別ＤＢ３２２により決定し、処理Ｓ９へ移行する。

取得した位置種別に対応する画像生成設定が存在しない場合（Ｓ４，Ｎ）、運転状態検知部２４が車両の操作状態から運転状態を検知し、検知結果を画像処理部３に送る（Ｓ５）。次に、画像処理部３は、運転状態ＤＢ３２３を参照し、取得した運転状態に対応する画像生成設定が存在するか否かの判定を行う（Ｓ６）。

取得した運転状態に対応する画像生成設定が存在する場合（Ｓ６，Ｙ）、画像処理部３は、取得した運転状態に対応する画像生成設定を運転状態ＤＢ３２３により決定し、処理Ｓ９へ移行する。

取得した運転状態に対応する画像生成設定が存在しない場合（Ｓ６，Ｎ）、接近物体検知部２５は、自車への接近物体を検知し、検知結果を画像処理部３に送る（Ｓ７）。次に、画像処理部３は、接近物体数ＤＢ３２４を参照し、取得した接近物体数に対応する画像生成設定が存在するか否かの判定を行う（Ｓ８）。

取得した接近物体数に対応する画像生成設定が存在する場合（Ｓ８，Ｙ）、画像処理部３は、取得した接近物体数に対応する画像生成設定を接近物体数ＤＢ３２４により決定し、処理Ｓ９へ移行する。

取得した接近物体数に対応する画像生成設定が存在しない場合（Ｓ８，Ｎ）、処理Ｓ１１へ移行する。

本実施の形態によれば、車両状況として、車両の現在位置の位置種別、運転状態、接近物体の数等を認識することができる。これにより、多様な車両状況に対して適切な出力画像を設定することができ、有用な画像を表示することが可能になる。

さらに、ユーザが予め登録した位置に対応して出力画像の設定を変更するができるため、たとえば「自宅駐車場」や「自宅から勤務地までの道における特定の場所」など車両状況検知・認識部２では識別することが難しい状況でも有用な画像を表示することが可能になる。

本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。

以上の実施の形態に関し、更に以下の付記を開示する。

（付記１） 車両に搭載される画像処理装置であって、
複数のカメラにより撮影された撮影画像を取得する画像取得部と、
前記車両の位置に関する情報である車両位置の認識を行う位置認識部と、
前記位置認識部により認識された車両位置の種別である位置種別を認識する位置種別認識部と、
前記位置種別認識部により認識された位置種別に基づいて、視点を決定する視点決定部と、
前記画像取得部により取得された撮影画像に基づいて、前記視点決定部により決定された視点から見た画像を出力画像として生成する画像生成部と、
を備える画像処理装置。
（付記２） 付記１に記載の画像処理装置において、
前記画像生成部は、前記撮影画像を所定の形状に投影して投影画像とし、前記視点から該投影画像を見た画像を前記出力画像として生成する画像処理装置。
（付記３） 付記１に記載の画像処理装置において、
前記視点決定部は、前記位置種別と前記視点の対応付けを取得し、前記位置種別認識部により認識された位置種別と該対応付けとに基づいて、前記出力画像の視点を決定する画像処理装置。
（付記４） 付記１に記載の画像処理装置において、
前記位置種別は、登録された位置を含む画像処理装置。
（付記５） 付記１に記載の画像処理装置において、
前記位置種別認識部は、地図情報を取得し、該地図情報と前記車両位置とに基づいて、位置種別を認識する画像処理装置。
（付記６） 付記１に記載の画像処理装置において、
更に、前記車両の運転に関する情報である運転情報を取得する運転情報取得部を備え、
前記視点決定部は、前記位置種別認識部により認識された位置種別と視点の対応付けが無い場合、前記運転情報取得部により取得された運転情報に基づいて視点を決定する画像処理装置。
（付記７） 付記６に記載の画像処理装置において、
前記視点決定部は、前記運転情報と前記視点の対応付けを取得し、前記運転情報取得部により取得された運転情報と該対応付けとに基づいて、前記出力画像の視点を決定する画像処理装置。
（付記８） 付記１に記載の画像処理装置において、
更に、前記車両の周囲の物体の位置を検知する物体検知部を備え、
前記視点決定部は、前記位置種別認識部により認識された位置種別と視点の対応付けが無い場合、前記物体検知部により検知された物体の位置に基づいて視点を決定する画像処理装置。
（付記９） 付記８に記載の画像処理装置において、
前記視点決定部は、前記物体検知部により検知された物体の位置と前記車両の位置とが前記出力画像に映るように前記出力画像の視点を決定する画像処理装置。
（付記１０） 付記１に記載の画像処理装置において、
更に、前記画像生成部により生成された出力画像を表示する画像処理装置。
（付記１１） 付記１に記載の画像処理装置において、
前記画像生成部は更に、前記視点決定部により決定された視点を表す視点画像を前記出力画像に含める画像処理装置。
（付記１２） 付記１１に記載の画像処理装置において、
前記視点画像は、前記視点決定部により決定された視点から見た前記車両の画像である画像処理装置。
（付記１３） 車両周辺が撮影された画像の画像処理を行う画像処理方法であって、
複数のカメラにより撮影された撮影画像を取得し、
前記車両の位置に関する情報である車両位置の認識を行い、
認識された車両位置の種別である位置種別を認識し、
認識された位置種別に基づいて、視点を決定し、
取得された撮影画像に基づいて、決定された視点から見た画像を出力画像として生成する
ことを行う画像処理方法。
（付記１４） 付記１３に記載の画像処理方法において、
前記撮影画像を所定の形状に投影して投影画像とし、前記視点から該投影画像を見た画像を前記出力画像として生成する画像処理方法。
（付記１５） 付記１３に記載の画像処理方法において、
前記位置種別と前記視点の対応付けを取得し、認識された位置種別と該対応付けとに基づいて、前記出力画像の視点を決定する画像処理方法。
（付記１６） 付記１３に記載の画像処理方法において、
前記位置種別は、登録された位置を含む画像処理方法。
（付記１７） 付記１３に記載の画像処理方法において、
地図情報を取得し、該地図情報と前記車両位置とに基づいて、位置種別を認識する画像処理方法。
（付記１８） 付記１３に記載の画像処理方法において、
更に、前記車両の運転に関する情報である運転情報を取得し、
前記位置種別認識部により認識された位置種別と視点の対応付けが無い場合、取得された運転情報に基づいて視点を決定する画像処理方法。
（付記１９） 付記１８に記載の画像処理方法において、
前記運転情報と前記視点の対応付けを取得し、前記運転情報取得部により取得された運転情報と該対応付けとに基づいて、前記出力画像の視点を決定する画像処理方法。
（付記２０） 付記１３に記載の画像処理方法において、
更に、前記車両の周囲の物体の位置を検知し、
前記位置種別認識部により認識された位置種別と視点の対応付けが無い場合、検知された物体の位置に基づいて視点を決定する画像処理方法。

本実施の形態に係る車両用画像処理装置の構成の一例を示すブロック図である。 本実施の形態に係るカメラパラメータテーブルの一例を示す表である。 本実施の形態に係るカメラの配置の一例について車両左方から見た配置図である。 本実施の形態に係るカメラの配置の一例について車両上方から見た配置図である。 本実施の形態に係るカメラの配置の一例について車両前方から見た配置図である。 本実施の形態に係る撮影画像の一例を示す図である。 本実施の形態に係る画像処理部により生成された出力画像の一例を示す図である。 本実施の形態に係る自車座標系の一例を示す図である。 本実施の形態に係る地図情報ＤＢの一例を示す表である。 本実施の形態に係る運転状態対応テーブルの一例を示す表である。 本実施の形態に係る画像パラメータＤＢの一例を示す表である。 本実施の形態に係る登録位置ＤＢの一例を示す表である。 本実施の形態に係る位置種別ＤＢの一例を示す表である。 本実施の形態に係る運転状態ＤＢの一例を示す表である。 本実施の形態に係る接近物体数ＤＢの一例を示す表である。 本実施の形態に係る画像生成設定ＤＢの一例を示す表である。 本実施の形態に係る投影形状の一例を示す式である。 本実施の形態に係る投影画像の一例を示す図である。 本実施の形態に係る仮想視点ａの一例を示す図である。 本実施の形態に係る仮想視点ｂの一例を示す図である。 本実施の形態に係る仮想視点ｃの一例を示す図である。 本実施の形態に係る仮想視点ｄの一例を示す図である。 本実施の形態に係る仮想視点ｅの一例を示す図である。 本実施の形態に係る接近物体が１個の場合の仮想視点ｂの出力画像の一例を示す図である。 本実施の形態に係る接近物体の外接四角形の位置の条件を示す式である。 本実施の形態に係る接近物体が２個の場合の仮想視点ｂの出力画像の一例を示す図である。 本実施の形態に係る視点領域の一例を示す図である。 本実施の形態に係る視点領域と自車画像の対応付けの一例を示す表である。 本実施の形態に係る自車画像の一例を示す図である。 本実施の形態に係る自車画像におけるカメラマークの配置の一例を示す図である。 本実施の形態に係る視点画像が付加された出力画像の一例を示す図である。 本実施の形態に係る車両用画像処理装置の動作の一例を示すフローチャートである。

符号の説明

１ 画像撮影部、２ 車両状況検知・認識部、３ 画像処理部、４ 画像表示部、１１ カメラ、１ａ カメラパラメータテーブル、１ｂ 画像データバッファ、２１ 位置・進行方向検知部、２２ 地図情報ＤＢ、２３ 位置種別認識部、２４ 運転状態検知部、２５ 接近物体認識部、３１ 画像生成部、３２ 画像パラメータＤＢ、３２１ 登録位置ＤＢ、３２２ 位置種別ＤＢ、３３３ 運転状態ＤＢ、３２４ 接近物体数ＤＢ、３２５ 画像生成設定ＤＢ。

Claims (6)

1. 車両に搭載される画像処理装置であって、
   複数のカメラにより撮影された撮影画像を取得する画像取得部と、
   前記車両の位置に関する情報である車両位置の認識を行う位置認識部と、
   前記位置認識部により認識された車両位置の種別である位置種別を認識する位置種別認識部と、
   前記車両の周囲の物体の位置及び数を前記画像取得部により取得された撮影画像から検知する物体検知部と、
   前記位置種別認識部により認識された位置種別と視点の対応付けがある場合、前記位置種別に基づいて、視点を決定し、前記位置種別と視点の対応付けがない場合、前記物体検知部により検知された物体の位置及び数に基づいて、視点を決定する視点決定部と、
   前記画像取得部により取得された撮影画像に基づいて、前記視点決定部により決定された視点から見た画像を出力画像として生成する画像生成部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像生成部は、前記撮影画像を所定の形状に投影して投影画像とし、前記視点から該投影画像を見た画像を前記出力画像として生成する画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記視点決定部は、前記位置種別と前記視点の対応付けを取得し、前記位置種別認識部により認識された位置種別と該対応付けとに基づいて、前記出力画像の視点を決定する画像処理装置。
4. 請求項１乃至請求項３のいずれかに記載の画像処理装置において、
   前記位置種別は、登録された位置を含む画像処理装置。
5. 請求項１乃至請求項４のいずれかに記載の画像処理装置において、
   前記位置種別認識部は、地図情報を取得し、該地図情報と前記車両位置とに基づいて、位置種別を認識する画像処理装置。
6. 車両周辺が撮影された画像の画像処理を行う画像処理方法であって、
   複数のカメラにより撮影された撮影画像を取得し、
   前記車両の位置に関する情報である車両位置の認識を行い、
   認識された車両位置の種別である位置種別を認識し、
   認識された位置種別と視点の対応付けがある場合、前記位置種別に基づいて、視点を決定し、前記位置種別と視点の対応付けがない場合、前記車両の周囲の物体の位置及び数を前記取得された撮影画像から検知し、検知された物体の位置及び数に基づいて、視点を決定し、
   取得された撮影画像に基づいて、決定された視点から見た画像を出力画像として生成する
   ことを行う画像処理方法。

Images