JP7301476B2 - 画像処理装置 - Google Patents

Description

本発明は、車載カメラで撮像された画像を処理する画像処理装置に関し、特に、サイドカメラで撮像された画像にリアカメラで撮像された画像を合成する方法に関する。

運転者の運転支援や視認性の向上を図るため、車載カメラで撮像された画像をディスプレイに表示するＣＭＳ（Camera Monitor System）が車両に搭載されている。例えば、サイドミラーの代替手段としてサイドカメラが車両の側部に取り付けられ、サイドカメラで撮像された車両の側部後方の画像がディスプレイに表示される。サイドカメラで撮像された画像には、光学式のサイドミラーの画像と同様に自車の車体の一部が含まれるが、この車体により死角となる領域を、リアカメラの画像と合成して、車体が透けているように見せる手法がある（以後、これをシースルービューと呼ぶ）。図３（Ａ）は、後方車両１０が存在するときのシースルービューの一例である。Ｒは、車体の境界であり、その境界Ｒの左側には、リアカメラで撮像された後方車両の画像１２が合成される。

特許文献１は、図１に示すように、サイドカメラの画像とリアカメラの画像とを合成するに際して、右カメラ３Ｒにより撮像された右カメラ画像と右カメラ３Ｒの基準車体マスク画像とを第１視野変換処理して視野変換画像Ｒと視野変換した車体マスク画像を生成し、後方カメラ３Ｂで撮像された後方カメラ画像を第２視野変換処理して視野変換画像Ｂ^Ｒを生成し、視野変換した車体マスク画像の画素値に基づいて、視野変換画像Ｒと視野変換画像Ｂ^Ｒとを合成する。こうして、視野変換画像Ｒの車体領域に後方カメラ３Ｂで撮像された後方カメラ画像が合成され、車体による死角を補完するシースルービューが生成される。
なお、特許文献１では、超音波やレーザー等の距離センサを用いて自車後方の投影面の位置を算出し、その投影面で画像の合成を行っている。

特開２０１５－７４４３６号公報

従来のシースルービューの生成方法の概略工程を図２に示す。図２（Ａ）は、サイドカメラで車両の側部後方の画像が撮像されることを示し、図２（Ｂ）は、魚眼レンズのリアカメラで車両の後方の画像が撮像されることを示し、図２（Ｃ）は、リアカメラで撮像された画像の認識処理により後方車両を検出し、後方車両までの距離を算出することを示し、図２（Ｄ）は、算出された距離に従いバーチャルプレーンをセットし、かつバーチャルプレーン上にリアカメラで撮像された画像を投影することを示し、図２（Ｅ）は、サイドカメラの画像と投影された画像との合成を示している。

図３（Ａ）、（Ｂ）は、後方車両を含むシースルービューの表示例であり、図３（Ａ）は、車体の死角領域に、リアカメラで撮像された後方車両の画像１２が綺麗に合成された例を示しているが、図３（Ｂ）は、リアカメラで撮像された後方車両の画像１４が綺麗に合成されていない例を示している。Ｒは、自車の車体の境界である。

リアカメラは、通常、車両後部に取り付けられ、リアカメラで撮像された後方画像は、自車が後進するときの駐車支援や障害物検知等に利用される。このため、リアカメラは、自車の後端付近の路面を撮像することができるように、画角の大きな魚眼レンズを用いている（例えば、画角は１８０度かそれ以上）。一方、サイドカメラは、ドアミラー近傍の車両側部に取り付けられ、車両の側部後方の遠方まで撮像することができるように、その画角はリアカメラの画角よりも小さい（例えば、９０度以下）。

シースルービューを生成するに際し、サイドカメラとリアカメラとの取り付け位置が異なり、かつリアカメラの解像度が低いため、単純にリアカメラで撮像された画像を拡張または縮小しても、サイドカメラで撮像した画像のようにはならない。その結果、図３（Ｂ）のようにリアカメラで撮像された画像１４の大きさがサイドカメラで撮像された画像の大きさに一致しなかったり、あるいは画像の合成位置がずれたりして、綺麗なシースルービューが生成されない。

一方、図３（Ａ）のように、綺麗なシースルービューを生成するためには、車両後方の３次元環境をより正確に認識し、この画像をサイドカメラで撮像された画像の車体領域にマッピングする必要がある。例えば、図４に示すように、自車Ｍの後方に後方車両１０が存在する場合には、自車Ｍから後方車両１０までの距離Ｌを正確に計測し、距離Ｌの面に後方車両１０の形状Ｓ（太線で表される形状）を表すリアカメラの画像を正確に投影する必要がある。

こうした空間認識をするには様々な手法があるが、例えば、図２（Ｃ）に示すように単眼のリアカメラで撮像された画像の認識処理により後方車両１０の距離を推定してもその距離は不正確であり、そうすると、図３（Ｂ）に示すように綺麗なシースルービューを生成することができなくなる。また、特許文献１のようにレーダーやLiDARのような距離センサを用いると、シースルービューの生成システムのコストが高くなってしまう。

本発明は、このような従来の課題を解決し、複数の撮像手段で撮像された画像の合成を高品質で行うことができる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段と、第２の画像と第３の画像とを用いて車両後方の３次元環境を認識可能な第４の画像を生成する生成手段と、第１の画像の車体領域に第４の画像の対応する画像を合成する合成手段とを有する。

ある実施態様では、前記生成手段は、第２の画像を第３の画像に対応するように変換する変換手段と、変換された第２の画像と第３の画像とのステレオ視により視差を算出する算出手段とを有し、前記生成手段は、算出された視差に基づき車両後方の３次元環境を認識可能な第４の画像を生成する。ある実施態様では、前記第２の画像は、車両が後進するときのリアビュー用の画像として利用可能であり、前記第３の画像は、ルームミラー用の画像として利用可能である。ある実施態様では、前記第２の撮像手段および前記第３の撮像手段は、同じ高さに取り付けられる。ある実施態様では、画像処理装置はさらに、前記合成手段によって合成された画像を表示する第１の表示手段を含む。ある実施態様では、画像処理装置はさらに、前記第２の画像を表示する第２の表示手段、前記第３の画像を表示する第３の表示手段を含む。

本発明によれば、第２の撮像手段および第３の撮像手段により撮像された第２の画像および第３の画像を用いて第１の画像の車体領域に対応する画像を生成するようにしたので、従来と比較して、低コストでありながら綺麗な合成画像を得ることができる。

従来のサイドカメラで撮像された画像にリアカメラで撮像された画像を合成する例を示す図である。 従来のシースルービューの生成方法を説明する図である。 従来のシースルービューの表示例である。 後方車両の３次元空間の認識を説明する図である。 本発明の実施例に係る画像処理装置の構成を示すブロック図である。 本発明の実施例に係る撮像カメラの取り付け例を示す平面図である。 本発明の実施例に係るシースルービューの生成動作を説明するフローである。 魚眼カメラの座標変換および平行化の具体例を示す図である ３次元形状の復元およびシースルービューの生成の具体例を示す図である。

本発明に係る画像処理装置は、移動体等に取り付けられた撮像カメラで撮像された画像を合成する機能を有する。合成された画像は、ＣＭＳ(Camera Monitor System)に用いられ、ディスプレイに表示される。１つの好ましい態様では、画像処理装置は、サイドカメラで撮像された画像に含まれる車体の死角となる領域に、リアカメラで撮像された画像を合成し、シースルービューを生成する。

図５は、本発明の実施例に係る画像処理装置の構成を示すブロック図である。本実施例の画像処理装置１００は、車両に取り付けられた複数の撮像カメラ１１０Ｌ、１１０Ｒ、１２０、１３０と、これら撮像カメラで撮像された画像を受け取り、画像処理等を含む種々の制御を行う制御部１４０と、画像処理された画像を表示する表示部１５０とを備えている。本実施例の画像処理装置は、車両に搭載された車載装置（例えば、オーディオ・ビジュアル・ナビゲーション機能等を備えた電子装置）と連携した動作をすることも可能である。

図６は、撮像カメラの取り付け例を示す車両の平面図である。撮像カメラ１１０～１３０は、例えば、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と撮像レンズとを含む。撮像カメラ１１０Ｌ、１１０Ｒは、サイドミラーを代替するサイドカメラであり、車両Ｍの左右のサイドミラー内またはその近傍にそれぞれ取り付けられ、あるいはサイドミラーに置換される（以後、サイドカメラ１１０Ｌ、１１０Ｒという）。サイドカメラ１１０Ｌ、１１０Ｒの撮像レンズの画角θ１、すなわち撮像範囲は、例えば光軸から９０度かそれ以下である。光学式のサイドミラーに映される画像には、車両Ｍの周辺物体との位置関係を把握し易くするため車体の側部が映される。このため、サイドカメラ１１０Ｌ、１１０Ｒの光軸は、少なくとも光学式のサイドミラーと同様に、車体の側部の一部が撮像されるように調整される。

車両Ｍの後部には、２つの撮像カメラ１２０、１３０が取り付けられる。撮像カメラ１２０は、車両Ｍの後部の左右のほぼ中央であって、例えば、ナンバープレートやバンパーの高さ近傍に取り付けられる。撮像カメラ１２０は、広い視野角の魚眼レンズを含み、その画角θ２は、約１８０度かそれよりも大きい（以後、魚眼カメラという）。魚眼カメラ１２０は、車両Ｍの後方を広範囲で撮像し、撮像された画像は、車両Ｍの後端の路面を含む。魚眼レンズ１２０で撮像された画像は、車両Ｍが後進するとき（つまり、ギアポジションがバックのとき）、表示部１５０にリアビューとして表示される。運転者は、リアビューを視認しながら後方の障害物を確認したり、駐車を行う。また、魚眼カメラ１２０で撮像された画像は、後述するように、サイドカメラ１１０Ｌ、１１０Ｒで撮像された画像の合成にも利用される。

もう１つの撮像カメラ１３０は、車両Ｍの後部の魚眼カメラ１２０とほぼ同じ高さに、魚眼カメラ１２０から一定距離だけ離れた位置に取り付けられる。撮像カメラ１３０は、魚眼レンズよりも画角が小さい撮像レンズを含み、その画角θ３は、約９０度かそれ以下である（以下、挟角カメラという）。挟角カメラ１３０は、ルームミラーの代替として利用され、ルームミラーで映される画像と同様の撮像範囲で車両Ｍの後方を撮像する。挟角カメラ１３０で撮像された画像は、車両が前進するときなどに表示部１５０にリアビューとして表示される。また、挟角カメラ１３０は、魚眼カメラ１２０とともに、サイドカメラ１１０Ｌ、１１０Ｒで撮像された画像の合成にも利用される。

制御部１４０は、サイドカメラ１１０Ｌ、１１０Ｒ、魚眼カメラ１２０、挟角カメラ１３０で撮像された画像を受け取り、受け取った画像を処理し、表示部１５０にシースルービューを表示させたり、リアビューを表示させる。制御部１４０は、後述するように魚眼カメラ１２０の画像と挟角カメラ１３０の画像を用いて後方の対象物までの距離を算出し、算出した距離に基づきバーチャルプレーン（図２（Ｄ）を参照）を設定し、バーチャルプレーン上に、それぞれ取り付け位置や画角が異なる各カメラ１１０～１３０で撮像された画像を投影するように、これらの画像の座標変換を行う。制御部１４０は、バーチャルプレーンにおいて、サイドカメラ１１０Ｌ、１１０Ｒ、魚眼カメラ１２０、挟角カメラ１３０の変換された各画像の画素間の対応関係を算出する。シースルービューを生成する場合、制御部１４０は、バーチャルプレーン上のサイドカメラ１１０Ｌ、１１０Ｒの画像において、車体領域の画像に対応する魚眼カメラ１２０および挟角カメラ１３０の画像を識別または抽出し、識別または抽出した画像を車体領域に合成する。さらに、制御部１４０は、サイドカメラの取り付け位置、光軸の方向、撮像範囲、車体形状等から、バーチャルプレーン上のサイドカメラ１１０Ｌ、１１０Ｒの画像において、どの領域が車体領域に対応するかを算出する。制御部１４０は、例えば、画像処理を行うためのプロセッサ、マイクロコンピュータ、ＲＯＭ、ＲＡＭ等を含み、これらハードウエアおよび／またはソフトウエアを用いて画像処理に必要な動作を行う。

表示部１５０は、制御部１４０で処理された画像データを受け取り、これを表示する。表示部１５０は、液晶ディスプレイ、有機ＥＬディスプレイ、投射装置（ＨＵＤ）等の表示媒体を１つまたは複数含む。表示部１５０の取り付け位置は特に限定されないが、例えば、インスツルメンツパネル内の液晶表示モジュールであったり、車載装置用のディスプレイであったり、フロントガラス等への投射画像である。１つの好ましい例では、表示部１５０は、サイドミラー１１０Ｌ、１１０Ｒで撮像された車両の側部後方の画像を表示（シースルービュー表示）したり、魚眼カメラ１２０で撮像された車両の後方画像を表示（リアビュー表示）したり、挟角カメラ１３０で撮像された車両の後方画像を表示（ルームミラービュー表示）する。

次に、本実施例のシースルービューの生成について説明する。図７は、本実施例によるシースルービューの生成動作を説明するフローである。シースルービューの生成は、サイドカメラ１１０Ｌ、１１０Ｒに共通に行われるので、ここでは、サイドカメラ１１０Ｌについて説明する。

制御部１４０は、サイドカメラ１１０Ｌで撮像された画像、魚眼カメラ１２０で撮像された画像、および挟角カメラ１３０で撮像された画像を受け取る（Ｓ１００）。これらの画像は、同期したタイミングで撮像された画像である。魚眼カメラおよび挟角カメラで撮像された画像の例を図８Ａに示す。魚眼カメラ１２０は、画角θ２が非常に大きいため車両の後部を広範囲に撮像する。これに対し、挟角カメラ１３０は、画角θ３が画角θ２よりも小さいため、車両の後部の撮像範囲は狭いが遠方の後方車両をより正確に映すことができる。

次に、制御部１４０は、魚眼カメラ１２０の画角θ２で撮像された画像が、挟角カメラ１３０の画角θ３で撮像された画像に対応するように、魚眼カメラ１２０で撮像された画像の変換を行う（Ｓ１１０）。例えば、魚眼カメラの座標系を世界座標系に変換し、これを透視投影画像の座標系に変換し、挟角カメラの画像に対応させる。魚眼カメラ１２０の画像の変換例を図８Ｂに示す。

次に、制御部１４０は、魚眼カメラ１２０の変換された画像と挟角カメラ１３０の画像の平行化を行う（Ｓ１２０）。平行化とは、２つの画像間のある点が同一行になるような画像変換である。平行化は、２つの画像をステレオ視するときの視差の計算を容易にする。平行化の例を図８Ｃに示す。

次に、制御部１４０は、平行化された２つの画像の視差を計算する（Ｓ１３０）。視差の計算は、例えば一方の画像のある点に注目し、その周囲の数ピクセルの矩形をブロックとし、他方の画像からそのブロックと最も相関のあるブロックの位置を探し出す。この際、２つの画像は平行化されているため、ブロックの相関を検索する対象は、同じＹの位置においてブロックをＸ方向にのみずらしていけばよい。例えば、後方車両が撮像されている場合には、後方車両の画像を含むブロックの相関が検索される。後方車両が撮像されていない場合には、白線等の特徴のある部分の画像を含むブロックの相関が検索される。

次に、制御部１４０は、計算された視差から三角測量の原理により対象物までの距離を算出する。ここでは、対象物として後方車両までの距離が算出される。視差が大きければ対象物までの距離は小さく、視差が小さければ対象物までの距離は大きくなる。制御部１４０は、各ピクセル毎に算出された距離に基づき、後方車両の位置と３次元形状を認識し、これに基づき魚眼カメラの画像と挟角カメラの画像をそれぞれバーチャルプレーン上の投影画像となるように座標を変換する（Ｓ１４０）。

次に、制御部１４０は、サイドカメラの画像と認識された３次元形状の画像とを合成し、シースルービューを生成する（Ｓ１５０）。画像の合成は、サイドカメラの画像に含まれる車体により隠された死角領域が、認識された３次元形状の画像に置き換えられる。この合成例を図９Ｅに示す。こうして合成されたシースルービューは、表示部１５０によって表示される。図７に示すステップは、車両の走行中（前進や後進）あるいは停車中に繰り返し実行され、つまり、制御部１４０は、一定の周期または間隔で画像の視差を計算し、後方の対象物の距離を推定し、魚眼カメラの画像と挟角カメラの画像を変換し、シースルービューを連続的に生成する。

このように本実施例によれば、ルームミラーの代替である挟角カメラの画像とリアビューに利用される魚眼カメラの画像とのステレオ視により自車後方の対象物までの距離を算出するようにしたので、従来のように単眼カメラの画像から対象物までの距離を推定する場合と比較して、対象物までの距離を正確に得ることができる。これにより、自車後方の空間認識または３次元環境を正確に認識することが可能となり、サイドカメラの画像とリアカメラの画像との合成を高品位に行うことができ、図３（Ａ）に示すような、綺麗なシースルービューを生成することができる。また、ルームミラーの代替である既存の挟角カメラを利用するため、コストを抑えることができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１００：画像処理装置
１１０Ｌ、１１０Ｒ：撮像カメラ（サイドカメラ）
１２０：撮像カメラ（魚眼カメラ）
１３０：撮像カメラ（挟角カメラ）
１４０：制御部
１５０：表示部

Claims (6)

1. 車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、
   車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、
   車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段と、
   第２の画像と第３の画像とを用いて車両後方の３次元環境を認識可能な第４の画像を生成する生成手段と、
   第１の画像の車体の死角となる領域に、車体が透けて見えるように第４の画像の対応する画像を合成する合成手段とを有し、
   前記生成手段は、第２の画像を第３の画像に対応するように変換する変換手段と、変換された第２の画像と第３の画像とのステレオ視により視差を算出する算出手段とを有し、前記生成手段は、算出された視差に基づき車両後方の３次元環境を認識可能な第４の画像を生成する、画像処理装置。
2. 前記生成手段はさらに、変換された第２の画像と第３の画像間の画素が同一行になるように変換された第２の画像と第３の画像の平行化を行う手段を含み、前記算出手段は、平行化された第２の画像と第３の画像の視差を算出する、請求項１に記載の画像処理装置。
3. 前記第２の画像は、車両が後進するときのリアビュー用の画像として利用可能であり、前記第３の画像は、ルームミラー用の画像として利用可能である、請求項１に記載の画像処理装置。
4. 前記第２の撮像手段および前記第３の撮像手段は、同じ高さに取り付けられる、請求項１に記載の画像処理装置。
5. 画像処理装置はさらに、前記合成手段によって合成された画像をシースルービューとして表示する第１の表示手段を含む、請求項１に記載の画像処理装置。
6. 画像処理装置はさらに、前記第２の画像を表示する第２の表示手段、前記第３の画像を表示する第３の表示手段を含む、請求項１ないし５いずれか１つに記載の画像処理装置。

Images