JP7220656B2 - 車両用サラウンドビューシステム - Google Patents

Description

本発明は、車両用サラウンドビューシステムに関する。また、本発明は、車両の可動部により発生する望ましくない背面投影を車両のサラウンドビューシステムの画像から除去する方法に関する。

サラウンドビューシステムによる画像処理の公知機能には、特に、車両操舵情報は含まれていない。左側または右側に操舵される場合、当該車両のホイールを、特にフィッシュアイカメラの画像において見ることができ、サラウンドビューシステムの二次元または三次元画像に背面投影できる。同様に、サラウンドビューシステムの画像においては、例えばバックドアまたは燃料タンクキャップなど、車両の他の可動部による、背面投影のアーチファクトも見られる。

本発明の課題は、上記のアーチファクトがサラウンドビューシステムの画像においてもはや見られなくなる、サラウンドビューシステムおよび冒頭で述べたような方法を提供することである。

課題は、独立請求項の主題により解決される。好ましい実施形態が従属請求項、下記の記載および図面の対象である。

本発明の第１態様によると、車両用サラウンドビューシステムが提供される。サラウンドビューシステムは、複数のカメラ（例えば１つまたは複数のフィッシュアイカメラも）であって、複数のカメラは車両の外部周辺の画像を撮影可能なように車両に配置可能な、複数のカメラを含む。

また、サラウンドビューシステムはプロセッサを含む。プロセッサは、特に複数のカメラと通信可能に接続されてよく、それによりプロセッサは、特に複数のカメラの画像データにアクセスしてよい。

プロセッサは、車両の可動部の位置および／または動きを分析するように構成される。上から見ると、車両は外側境界、つまり外輪郭を有する。「可動部」とは、本発明に関しては、特に、部分であってある方向に動くと、この外輪郭の拡大を引き起こすような部分と理解されてよい。また、プロセッサは、車両の複数の可動部の位置および／または動きを、特に、同時に分析するようにするように構成されてよい。以下に説明する機能および対応する方法ステップは、車両の複数の可動部に対応して実現または実施できる。

また、プロセッサは、複数のカメラにより撮影される、車両の外部周辺の画像から、車両の外部周辺の合成画像を生成するように構成される。合成画像は、特に、上から見た車両の外部周辺を示してよく、それにより車両の人工画像を、車両の真位置を示す位置で、合成画像に挿入できる。

さらに、プロセッサは、合成画像内において、画像適合処理のための画像処理領域を算出するように構成される。サラウンドビューシステムの合成画像が上から見た車両の外部周辺と車両の人工画像を示す場合、画像処理領域は車両の外輪郭の周りに延在してよい。この場合、画像処理領域はできる限り小さい必要がある。

また、プロセッサは、可動部の分析された位置および／または動きに基づいて、可動部の背面投影が画像処理領域を越えることを算出するように構成される。可動部の背面投影は、特に、引き込まれた第１位置の可動部が、車両の（実際の）外輪郭から全く突出していないか、または引き出された第２位置よりも突出していないことにより引き起こされる場合がある。可動部の背面投影がサラウンドビューシステムの合成画像に表示されることは、画像の視聴者にとって邪魔であり、したがって望ましくない場合がある。

したがって、プロセッサは、画像処理領域を、可動部の背面投影が、変更された画像処理領域内に位置するように変更するように構成される。可動部の分析された位置および／または動きに応じて画像処理領域を変更することで、画像処理領域を、一方では、特に、ローカルに十分大きく選択可能なため、可動部の背面投影が、変更された画像処理領域内に存在する。変更された画像処理領域内において、可動部の背面投影を、画像適合処理の方法を用いて除去されるか、または合成画像の視聴者にとって邪魔に見えないように変更してよい。また、画像処理領域がグローバルに不必要に大きく選択されないのであれば、どれだけ画像処理領域をローカル（つまり、可動部の背面投影がその動きにより車両の外輪郭を拡大するところ）に拡大しなければならないか、正確に予測することができる。

好ましくは、プロセッサは、可動部の背面投影を、変更された画像処理領域内において画像処理の方法を用いて、合成画像から除去するか、または変更された画像処理領域内において変更するように構成されてよい。画像処理領域の変更と、それに引き続く可動部の背面投影の除去または変更により、可動部の背面投影がサラウンドビューシステムの画像においてもはや見られなくなるか、またはそこでは少なくとももはや邪魔にならないようにできる。

１つの実施形態によると、画像処理は色彩情報の空間予測（“ｓｐａｔｉａｌ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｃｏｌｏｒ ｉｎｆｏｒｍａｔｉｏｎ”）を含む。例えば、画像処理領域を、色彩を用いて、サラウンドビューシステムの画像の画像処理領域を取り囲む周辺領域のように彩色することができる。周辺領域の色を決定するために、例えばローパスフィルタを用いてよい。

代替または追加として、画像処理は動き補償テクスチャ法を含んでよい。これに関して、特に、サラウンドビューシステムの第１画像において認識されるテクスチャを、サラウンドビューシステムの後続する第２画像のために使用してよく、認識されるテクスチャを、後続する第２画像において対応する位置で、画像処理領域内において、固有の動きを考慮して用いることができる。

さらなる実施形態によると、制御ユニットは、可動部の位置および／または動きを、車両のバスシステムにより供給される情報に基づいて分析するように構成される。この実施形態のおかげで、可動部の位置および／または動きを分析するために、必要な情報、つまりデータを別個に収集する必要がなくなる。その代りとして、特に、場合を問わず生成されるデータを参照してよく、データにはデータバスを介して接続してよい。

また、可動部とは、車両のホイールに関するものであってよく、プロセッサは、ホイールの操舵角を測定（例えば、対応するセンサを用いて）または算出するように構成されてよい。特に、ホイールの操舵角は車両のバスシステムにより供給されてよく、プロセッサはこの供給された操舵角にアクセスしてよい。

また、可動部は、車両のドア、テールゲート、ボンネット、旋回可能なサイドミラーまたは燃料タンクキャップであってよい。

本発明の第２態様によると、本発明の第１態様によるサラウンドビューシステムを含む車両が提供される。車両とは、例えば乗用車、バスまたはトラックなどの原動機付車両に関する。

本発明の第３態様によると、望ましくない背面投影を車両のサラウンドビューシステムの画像から除去する方法が提供される。方法は：
－車両のサラウンドビューシステムの複数のカメラを用いて、車両の外部周辺の複数の画像を撮影するステップと、
－車両の可動部の位置および／または動きを分析するステップと、
－車両の外部周辺の撮影された複数の画像から、車両の外部周辺の合成画像を生成するステップと、
－合成画像内において、画像適合処理のための画像処理領域を算出するステップと、
－可動部の分析された位置および／または動きに基づいて、可動部の背面投影が画像処理領域を越えることを算出するステップと、
－画像処理領域を、可動部の背面投影が、変更された画像処理領域内に位置するように変更するステップと、好ましくは、
－変更された画像処理領域内において画像処理の方法を用いて、可動部の背面投影を合成画像から除去するか、または可動部の背面投影を変更された画像処理領域内において変更するステップと、を含む。

本発明の第３態様による方法の効果、有利な点および実施形態については、繰り返しを避けるため、本発明の第１態様によるサラウンドビューシステムに関する上記実施形態が参照される。この場合、特に、本発明の第３態様によるサラウンドビューシステムの実施形態に関して記載される機能的特徴は、本発明の第３態様による方法の対応する実施形態用の対応する方法的特徴として実現することができる。

本発明の第４態様によると、プログラムがプロセッサで実行される場合にプロセッサに対して本発明の第３態様による方法を実行するように指示するプログラムが提供される。

本発明の第５態様によると、プログラムがプロセッサで実行される場合にプロセッサに対して本発明の第３態様による方法を実行するように指示するプログラムが保存されたコンピュータ可読媒体が提供される。

以下、本発明の実施形態例を、概略的で縮尺通りではない図に基づいてさらに詳細に説明する。

原動機付車両の側面図である。 原動機付車両のサラウンドビューシステムが示される、図１の原動機付車両の大きく概略化された上面図である。 図２のサラウンドビューシステムの画像を示す図である。 サラウンドビューシステムのプロセッサにより画像処理領域が変更された、図３の画像を示す図である。

図１および２は、原動機付車両１の形態を有する車両を示す。原動機付車両１は、図２に示される４つのカメラ２～５を有する。図２は、車両１の４つのカメラ２～５がどのように配置可能かを示している。また、カメラ２～５の可能な視野６～９が示されている。ここで、車両１は、第１カメラ２、第２カメラ３、第３カメラ４および第４カメラ５を有する。また、車両１内には、プロセッサ１０と、モニタ１１の形態を有する光学出力ユニットとが配置され、モニタ１１は車両１の運転者の視野に存在する。プロセッサ１０は、４つのカメラ２～５と通信可能に接続されてよく、特に、４つのカメラ２～５の画像データを受信するか、または画像データにアクセスしてよい。

図２に示される実施形態例において、第１カメラ２は、車両１の前方領域に配置され（例えば、車両１のウインドスクリーンの後ろの領域の内部空間）、車両１の外部周辺の略前方視野６を認識する。第２カメラ３および第３カメラ４は、それぞれ、車両１における略側方に配置され、それぞれ、車両１の外部周辺の略側方視野７または８を認識する。第３カメラ５は、車両１の後方領域に配置され、車両１の外部周辺の略後方視野９を認識する。４つのカメラ２～５の４つの視野１５～１８は全部で、車両１の全周囲（３６０°）を包含できる。

車両１の４つのカメラ２～５は、同時に、そのそれぞれの視野６～９における画像撮影をしてよく、対応する画像データを、特にプロセッサ１０を用いて二次元または三次元の車両パノラマ画像１２、１３（図３、４参照）に組み合わせてよく、モニタ１１に表示してよい。

また、車両１は、公知の方法により左側または右側に調整できる、２つの調製可能なフロントホイール１４を有するため、車両１を左側または右側に操舵できる。対応する操舵角αは公知の方法により認識できる。特に、認識された操舵角を車両１のデータバス１５により呼び出してよい。特に、制御ユニット１０は操舵角をデータバス１５により呼び出すことができる。このように、プロセッサ１０を用いて、車両１の可動部１４の位置αおよび／または動きを分析できる。

フロントホイール１４は、それぞれ、車両１の可動部１４を表している。この可動部により、その調整を通して、図示の実施形態例において、フロントホイール１４の操舵角αを調整することで、上から見た車両１の外輪郭１６を拡大可能にできる。図２に示される実施形態例を参照すると、このことは、図示の操舵角αでフロントホイール１４が多少側方に車両１のホイールカバー１７から突出することで達成される。類似の効果は、例えばドア、テールゲート、ボンネット、旋回可能なサイドミラー１８（図３および４参照）または燃料タンクキャップにより生じる。

図３および４は、それぞれ、サラウンドビューシステムの画像１２、１３を示し、画像１２、１３は、それぞれ、個別に、同時に撮影された、カメラ２～５の画像から合成されている。ここで、図４の画像１３は、図３の画像１２に基づいている。画像１２、１３は、上から見て、車両１の外部周辺６～９が見えるように合成および処理される。ここで、人工的に作成された、車両１の画像１９は画像１２、１３それぞれに挿入されている。この場合、車両１の画像１９は、車両１の実際の外輪郭１６に対応する外輪郭２０を有する。また、車両１の画像１９は、画像１２、１３内の、車両１の実際の位置に対応する位置に配置される。人工的に作成された、車両１の画像１９の挿入は、特にプロセッサ１０を用いて行ってよい。

合成画像１２内では、特にプロセッサ１０を用いて、画像適合処理のための画像処理領域２１が算出される。画像処理領域２１は、図３ではグリッド線で示され、画像処理領域２１は車両１の画像１９を側方で取り囲んでいる。画像処理領域２１内において、合成画像１２を画像適合処理の方法を用いて変更できる。この場合、例えば、「色彩情報の空間予測」または「動き補償テクスチャ法」などの公知の方法を用いてよい。

フロントホイール１４の分析された位置αに基づいて、特にプロセッサ１０を用いて、背面投影２２（その境界は図３では明瞭化のため、画像処理領域２１よりも太い線で示されている）が合成画像１２内で画像処理領域２１を越えることを算出してよい。それとは反対に、特にプロセッサ１０を用いて、画像処理領域２１は、図４に示されるように、フロントホイール１４の背面投影２２が変更済みの画像処理領域２３内に位置するように変更されてよい。また、画像処理領域２１は、フロントホイール１４の背面投影の領域において、フロントホイール１４の背面投影２２がローカルに拡大された画像処理領域２３内に位置するように、ローカルに拡大される。外輪郭２０が拡大しないその他の領域においては、画像処理領域２１は、その元々算出された大きさのままであってよい。

変更された画像処理領域２２内において、フロントホイール１４の背面投影２２を、画像適合処理の方法を用いて、合成画像１３の視聴者にとってもはや邪魔に見えないように変更してよい。この場合、フロントホイール１４の背面投影２２を画像１３から除去してもよい。

Claims (11)

1. 車両（１）用サラウンドビューシステムにおいて、前記サラウンドビューシステムは：－複数のカメラ（２～５）であって、前記複数のカメラ（２～５）は前記車両（１）の外部周辺（６～９）の画像（１２、１３）を撮影可能なように車両（１）に配置可能な、前記複数のカメラ（２～５）と、
   －プロセッサ（１０）と、を備え、
   前記プロセッサ（１０）は、
   －前記車両（１）の可動部（１４）の位置（α）および／または動きを分析し、
   －前記複数のカメラ（２～５）により撮影される、前記車両（１）の前記外部周辺（６～９）の画像から、前記車両（１）の前記外部周辺（６～９）の合成画像（１２、１３）を生成し、
   －前記合成画像（１２）内において、画像適合処理のための画像処理領域（２１）を算出し、
   －前記可動部（１４）の分析された前記位置および／または動きに基づいて、前記可動部（１４）の背面投影（２２）が前記画像処理領域（２１）を越えることを算出し、
   －前記画像処理領域（２１）を変更することで、前記可動部（１４）の前記背面投影（２２）が、変更された前記画像処理領域（２３）内に位置するように構成される、サラウンドビューシステム。
2. 前記プロセッサ（１０）は、前記可動部（１４）の前記背面投影（２２）を、変更された前記画像処理領域内において画像処理の方法を用いて、前記合成画像（１３）から除去するか、または変更された前記画像処理領域（２３）内において変更するように構成される、請求項１に記載のサラウンドビューシステム。
3. 前記画像処理は色彩情報の空間予測を含む、請求項２に記載のサラウンドビューシステム。
4. 前記画像処理は動き補償テクスチャ法を含む、請求項２または３に記載のサラウンドビューシステム。
5. 制御ユニットは、前記可動部（１４）の前記位置（α）および／または動きを、前記車両（１）のバスシステム（１５）により供給される情報に基づいて分析するように構成される、請求項１～４のいずれか１項に記載のサラウンドビューシステム。
6. 前記可動部は、前記車両（１）のホイール（１４）であり、前記プロセッサ（１０）は、前記ホイール（１４）の操舵角（α）を測定または算出するように構成される、請求項１～５のいずれか１項に記載のサラウンドビューシステム。
7. 前記可動部は、前記車両（１）のドア、テールゲート、ボンネット、旋回可能なサイドミラー（１８）または燃料タンクキャップである、請求項１～６のいずれか１項に記載のサラウンドビューシステム。
8. 請求項１～７いずれか１項に記載のサラウンドビューシステムを備える車両（１）。
9. 望ましくない背面投影（２２）を車両（１）のサラウンドビューシステムの画像（１３）から除去する方法において、前記方法は：
   －前記車両（１）のサラウンドビューシステムの複数のカメラ（２～５）を用いて、前記車両（１）の外部周辺（６～９）の複数の画像を撮影するステップと、
   －前記車両（１）の可動部（１４）の位置（α）および／または動きを分析するステップと、
   －前記車両（１）の前記外部周辺（６～９）の撮影された前記複数の画像から、前記車両（１）の前記外部周辺（６～９）の合成画像（１２、１３）を生成するステップと、
   －前記合成画像（１２）内において、画像適合処理のための画像処理領域（２１）を算出するステップと、
   －前記可動部（１４）の分析された前記位置および／または動きに基づいて、前記可動部（１４）の背面投影（２２）が前記画像処理領域（２１）を越えることを算出するステップと、
   －前記画像処理領域（２１）を変更することで、前記可動部（１４）の前記背面投影（２２）が、変更された前記画像処理領域（２３）内に位置するようにするステップと、を備える方法。
10. プログラムがプロセッサ（１０）で実行される場合に前記プロセッサ（１０）に対して請求項９に記載の方法を実行するように指示するプログラム。
11. 請求項１０に記載のプログラムが保存されたコンピュータ可読媒体。

Images