JP6037699B2 - 車両用包囲視野システム - Google Patents

Description

本発明は、車両用包囲視野システムおよび包囲視野を生成するための方法に関する。

（関連技術）
近年、車両における画像センサの使用が増加している。多くの場合、これらの画像センサ／カメラは、画像センサが車両環境を追跡し、物体を識別し、起こり得る危険な運転状況を運転手に警告する、運転手補助システムで使用される。さらに、画像センサは、運転手が車両を駐車するのを支援し、運転手に車両背後に位置するいかなる障害物についても知らせることを支援する、後方視野カメラとして使用される。後方視覚システムを装備する車両は、車両の後方部分の画像センサによって提供される視野が、運転手が実際より多くの空間を有すると示唆するために、事故を起こす寸前になることが観測されている。異なる画像センサは、車両およびその周囲の３次元の光景を提供する。

これに関連して、運転手に表示される車両のリアルな遠近視野をシミュレートする必要性が存在する。さらに、ユーザは、視野方向および視野位置を容易に変更することが可能であるべきである。

この必要性は、独立請求項の特長によって満足される。従属請求項において、好ましい実施形態が開示される。

第１の態様によると、車両の異なる位置に提供される、複数の画像センサを備える、車両用包囲視野システムが提供され、画像センサは、車両の完全な周囲を網羅する、車両周囲の画像データを生成する。さらに、複数の画像センサの画像データを処理する、画像処理ユニットが提供され、画像処理ユニットは、異なる画像センサの画像データに基づき、車両包囲視野を生成するように構成される。車両包囲視野を生成するために、画像処理ユニットは、車両を包囲するボウル上に画像データを逆に投影するように構成される。さらに、画像処理ユニットは、仮想ユーザ車両視野を生成するために、車両包囲視野が観測される、仮想カメラ場所を使用する。画像処理ユニットは、車両周辺の第１の垂直高さに位置する第１の水平楕円上に仮想カメラ場所を配置する。画像処理ユニットは、第１の垂直高さより低い、車両周辺の第２の垂直高さに位置する第２の水平楕円上に位置する点を通過するよう仮想カメラ場所からの視野方向を決定するようにさらに構成され、第２の楕円は、第１の楕円より小さい。さらに、仮想カメラ場所を少なくとも水平方向に変更し、かつ視野方向を変更することを可能にする、制御ユニットが提供される。第１の水平楕円上に仮想カメラ場所を提供することによって、および第１の楕円より小さく、より低い垂直高さに提供される第２の水平楕円を通過する視野方向を使用することによって、車両を見ており、かつ、例えば車両の後方部分を、検視している、実際の人の視野に対応する、仮想ユーザ車両視野が取得される。さらに、第１の水平楕円上に仮想カメラ場所を提供することによって、車両視野を容易に変更することができ、実際の人の車両周辺の歩行を効果的にシミュレートすることができる。第１の楕円は、仮想カメラ場所が位置する平面を作り、仮想カメラ場所は、異なる仮想ユーザ車両視野を生成するように、楕円上のこの平面内で移動される。車両周辺の異なる仮想カメラ場所では、仮想カメラ場所は、第１の楕円上に提供され、視野方向は、視野方向の選択とは無関係に、第２の楕円上の点を通過する。

非常にリアルな仮想ユーザ車両視野を提供する１つの可能性は、第１の楕円の第１の底垂直高さであり、かつ実質的に平均身長を有する人の目の高さである、仮想カメラ場所を使用することである場合がある。第１の楕円を、例えば、１．６〜１．８ｍの範囲内に位置させることによって、車両周囲のリアルな表現を取得することができる。第２の水平楕円が第１の楕円より低いため、視野方向は、下向きに傾斜され、車両の隣に立って車両を見ている人の自然な視野方向に対応する。

車両視野を一水平方向に変更するために、画像処理ユニットは、最初に、仮想カメラ場所を固定した状態に保ち、視野方向が第２の楕円上に位置する点を通過するよう視野方向を変更するように構成されてもよく、点は、視野方向が変更されると、第２の楕円上を前記一水平方向に移動する。本実施例では、ユーザが視野方向の一水平方向への変更を命令すると、仮想カメラ場所は、最初は変更されないままとなり、視野方向は、視野方向が第２の楕円上に位置する点を通過し続けるように変更され、これらの点は、第２の楕円上に、ユーザがより多くの情報を有することを望む前記一水平方向に位置する。これは、一方向からの情報を必要としている際、最初に、視野方向を前記方向に変更するために頭を回動させる、人の自然な挙動に対応する。視野方向を変更すると、視野は、第２の楕円に追従する。視野方向が右側に変更されると、視野方向は、現在の仮想カメラ場所に対して右側の第２の楕円上に位置する点に追従する。反対側、左側について、対応する状況が存在し、視野方向は、左側の第２の楕円上に位置する点に追従する。

視野方向が、車両から離れるようにより多く変更されると、第２の楕円上に位置する点は、仮想カメラ場所からさらに離れる。

画像処理ユニットを、仮想カメラ場所を固定した状態で保ち、第２の楕円によって画定される平面の中心での視野方向の所定の最大開放角が取得されるまで、視野方向を変更するように構成することが可能である。この最大開放角が取得され、前記一水平方向への仮想ユーザ、車両視野のさらなる変更が望まれる場合、画像処理ユニットは次いで、仮想カメラ場所を第１の楕円上で前記一水平方向に移動させるように構成され、視野方向は、第２の楕円上の点を通過し続ける。この仮想カメラ場所および視野方向を制御する方法は、車両周囲、特に車両の後部を検視するユーザの自然な挙動のシミュレーションをさらに改善するのを助長する。

この状況において、画像処理ユニットは、第１の楕円上の仮想カメラ場所が前記一水平方向に移動される場合、所定の最大開放角が維持された状態で、視野方向が第２の楕円上に位置する点を前記一水平方向に通過し続けるように、第１の楕円上の仮想カメラ場所のそれぞれの場所の視野方向が決定されるように構成されてもよい。開放角は、第２の楕円上に投影される、第２の楕円の中心への仮想カメラ場所の直接接続の投影と第２の楕円の中心の視野方向が通過する点への接続との間の角度として画定される。

さらに、画像処理ユニットは、第２の楕円の寸法が車両寸法に実質的に対応するように、第２の楕円の寸法を決定することが可能である。第２の楕円の中心および第１の楕円の中心を、それらが、第１および第２の楕円の中心を通過する軸上、例えば、車両のほぼ中心に同軸で位置するように選択することができ、車両の中心は、車両の長さの半分および幅の半分として画定される。第２の楕円の寸法が実質的に車両寸法に対応する場合、第１の楕円の寸法は、第１の楕円の寸法が第２の楕円の寸法より１０〜３０％大きくなるように決定されてもよい。

画像処理ユニットは、仮想カメラ場所が第１の楕円の長軸上に位置する第１の楕円上の点上の車両背後である、デフォルト、すなわち開始仮想ユーザ車両視野を提供するようにさらに構成されてもよく、視野方向は、第２の楕円上のその長軸上に位置する点を通過する。本実施形態では、第１および第２の楕円は、第１および第２の楕円の長軸が相互に対して平行になるように配設される。この開始仮想ユーザ車両視野は、ユーザが車両の中央の車両背後に位置付けられ、車両を見下ろす際の視野に対応する。

ユーザによる仮想カメラ場所および視野方向の制御を容易にするために、制御ユニットは、仮想ユーザ車両視野の一水平方向への変更を示すように、一方向に回動されるよう操作可能な回動部分を収容してもよい。さらに、その回動部分を伴う制御ユニットは、仮想ユーザ車両視野の反対の水平方向への変更を示すように、反対方向に回動されてもよい。上述される回動部分を有する制御ユニットは、ラジオ受信器、音響出力ユニット、ナビゲーションユニット、および電気通信ユニットを制御するために使用される、あらゆる車両電子システム内に存在する。単に回動部分を一方向または反対方向に操作することによって、最初に視野方向、次いで仮想カメラ場所を、一方向または反対方向のいずれかに変更することができる。

さらに、画像処理ユニットを、底垂直高さから車両上方の鳥瞰視野に仮想カメラ場所を垂直面内で変更するように構成することが可能である場合がある。本実施形態では、第１および第２の楕円の寸法は、対応する垂直高さに依存する。この仮想カメラ場所および視野方向の垂直移動は、仮想カメラ場所が、第１の楕円の第１の底垂直高さでのその短軸を中心とした回転によって画定される第１の楕円形状体上を垂直方向に移動し、視野方向が、第２の楕円の第２の底垂直高さでのその短軸を中心とした回転によって画定される第２の楕円形状体上に位置する点を通過し続けるような移動であってもよい。仮想カメラ場所の垂直場所が決定される場合、視野方向が通過する第２の楕円の対応する垂直場所は、第１の楕円によってその底垂直高さに画定される平面上方のカメラの仰角が、第２の楕円のその底垂直高さに対する第２の楕円の仰角と同一となるように決定されてもよい。本実施例では、ユーザは、目の高さに対応する所定の垂直高さで、車両周辺を移動することのみでなく、車両上方の他の視角から車両周囲を見ることもできる。本文脈において、制御ユニットは、垂直方向を変更する、追加操作要素を有してもよい。一例として、制御ユニットは、仮想カメラ場所を水平方向および垂直方向に変更する、４方向ロッカーであってもよい。

本発明はさらに、車両の異なる位置に提供される複数の画像センサを使用して、車両包囲視野を生成するための方法に関する。方法のうちの１つのステップによると、複数の画像センサの画像データは、異なる画像センサの画像データに基づき、車両包囲視野を生成するように処理され、画像データは、車両を包囲するボウル上に逆に投影される。さらに、仮想ユーザ車両視野が生成され、車両包囲視野は、視野方向を使用して車両包囲視野が観測される、仮想カメラ場所から示される。仮想カメラ場所は、車両周辺の第１の垂直高さに位置する第１の水平楕円上に配置され、仮想カメラ場所からの視野方向は、車両周辺の第１の垂直高さより低い第２の垂直高さに位置する第２の水平楕円上に位置する点を通過するような方向であり、第２の楕円は、第１の楕円より小さい。この車両包囲視野を生成するための方法を用いて、この車両周辺を歩行する仮想ユーザの状況を、現実的な方法でシミュレートすることができる。

さらに、車両視野を一水平方向に変更する命令が検出されると、仮想カメラ場所は、最初は変更されないまま保たれ、検出された命令に応えて、視野方向は、視野方向が第２の楕円上に位置する点を通過するように変更されることが可能であり、第２の楕円上に位置する点は、視野方向が変更されると、第２の楕円上で前記一水平方向に移動する。

仮想カメラ場所は、第２の楕円によって画定される平面の中心での視野方向の所定の最大開放角が取得されるまで変更されないまま保たれてもよい。仮想ユーザ車両視野の前記一水平方向へのさらなる変更の命令が検出されると、仮想カメラ場所は、第１の楕円上での前記一水平方向への移動を開始し、視野方向は、第２の楕円上の点を通過し続ける。上述されるように、視野方向は、視野方向が第２の楕円上に位置する点を通過し続けるように決定されてもよく、仮想カメラ場所が第１の楕円上で移動される際、第２の点は、視野方向の所定の最大開放角が維持されるように決定される。

さらに、仮想ユーザ車両視野を反対水平方向に変更する命令が検出される際、手順は、反対方向でも類似であることが可能であり、仮想カメラ場所は、最初は変更されないままであり、検出された命令に応えて、視野方向は、視野方向が第２の楕円上に位置する点を通過するように変更されることを意味し、視野方向が変更されると、点は、第２の楕円上を反対水平方向に移動する。仮想カメラ場所は、最大開放角が到達されるまで変更されないままである。

さらに、車両用包囲視野システムのディスプレイ上に仮想ユーザ車両視野を表示することができる。

例えば、本願発明は以下の項目を提供する。
（項目１） 車両用包囲視野システムであって、
−前記車両の異なる位置に提供される、複数の画像センサ（１１）であって、前記車両の完全な周囲を網羅する、前記車両周囲の画像データを生成する、画像センサ（１１）と、
−前記複数の画像センサ（１１）の前記画像データを処理する、画像処理ユニット（２０）であって、前記画像処理ユニット（２０）は、前記異なる画像センサ（１１）の前記画像データに基づき、車両包囲視野を生成するように構成され、前記画像処理ユニット（２０）は、前記車両包囲視野を生成するために、前記車両を包囲するボウル（９０）上に前記画像データを逆に投影し、前記画像処理ユニットは、仮想ユーザ車両視野を生成するために、前記車両包囲視野が観測される仮想カメラ場所を使用するように構成され、前記仮想カメラ場所は、前記車両（１０）周辺の第１の垂直高さに位置する第１の水平楕円（７０）上に配置され、前記画像処理ユニットは、前記第１の垂直高さより低い、前記車両周辺の第２の垂直高さに位置する第２の水平楕円（８０）上に位置する点を通過するように、前記仮想カメラ場所からの視野方向を決定するように構成され、前記第２の楕円（８０）は、前記第１の楕円より小さい、画像処理ユニット（２０）と、
−前記仮想カメラ場所を少なくとも水平方向に変更することを可能にし、前記視野方向を変更することを可能にする、制御ユニット（４０）と、
を備える、車両用包囲視野システム。
（項目２） 前記車両ユーザの車両視野の一水平方向への変更のために、前記画像処理ユニット（２０）は、最初に、前記仮想カメラ場所を固定した状態に保ち、前記視野方向が前記第２の楕円（８０）上に位置する点を通過するように、前記視野方向を変更するように構成され、前記点は、前記視野方向が変更されると、前記第２の楕円上で前記一水平方向に移動する、上記項目に記載の車両用包囲視野システム。
（項目３） 前記画像処理ユニット（１０）は、前記仮想カメラ場所を固定した状態に保ち、前記第２の楕円によって画定される平面の中心での前記視野方向の所定の最大開放角が取得されるまで、前記視野方向を変更するように構成され、前記車両視野の前記一水平方向へのさらなる変更のために、前記画像処理ユニット（２０）は、前記第１の楕円上の前記仮想カメラ場所を前記一水平方向に移動させるように構成され、前記視野方向は、前記第２の楕円上の点を通過し続ける、上記項目のいずれか一項に記載の車両用包囲視野システム。
（項目４） 前記画像処理ユニット（１０）は、前記第１の楕円（７０）上の前記仮想カメラ場所が前記一水平方向に移動された場合、前記所定の最大開放角が維持された状態で、前記視野方向が前記第２の楕円（８０）上に位置する点を前記一方向に通過し続けるように、前記第１の楕円（７０）上の前記仮想カメラ場所の前記場所のそれぞれの前記視野方向が決定されるように構成される、上記項目のいずれか一項に記載の車両用包囲視野システム。
（項目５） 前記画像処理ユニット（２０）は、前記第２の楕円（８０）の寸法が前記車両寸法に実質的に対応するように、前記第２の楕円の寸法を決定する、上記項目のいずれか一項に記載の車両用包囲視野システム。
（項目６） 前記画像処理ユニット（２０）は、実質的に平均身長を有する人の目の高さである、前記仮想カメラ場所の第１の底垂直高さを使用するように構成される、上記項目のいずれか一項に記載の車両用包囲視野システム。
（項目７） 前記画像処理ユニット（２０）は、前記仮想カメラ場所が前記車両（１０）背後の前記第１の楕円の長軸上に位置する前記第１の楕円（７０）の点上である、開始車両視野を提供するように構成され、前記視野方向は、前記第２の楕円の前記長軸上に位置する前記第２の楕円（８０）上の点を通過する、上記項目のいずれか一項に記載の車両用包囲視野システム。
（項目８） 前記画像処理ユニット（２０）は、前記第１および前記第２の楕円を同軸に、かつ相互に対して平行に位置付けるように構成される、上記項目のいずれか一項に記載の車両用包囲視野システム。
（項目９） 前記制御ユニットは、前記車両視野の一水平方向への変更を示すように、一方向に回動されるように操作可能であり、前記車両視野の反対水平方向への変更を示すように、反対方向に回動されるように操作可能である、回動部分を収容する、上記項目のいずれか一項に記載の車両用包囲視野システム。
（項目１０） 前記画像処理ユニット（２０）は、底垂直高さから前記車両上方の鳥瞰視野に前記仮想カメラ場所を垂直面内で変更するように構成され、前記第１および前記第２の楕円（７０、８０）の前記寸法は、対応する垂直高さに依存する、上記項目のいずれか一項に記載の車両用包囲視野システム。
（項目１１） 前記第１の楕円上に提供される前記仮想カメラ場所は、前記第１の楕円の第１の底垂直高さでのその短軸を中心とした回転によって画定される第１の楕円形状体上を前記垂直方向に移動され、前記視野方向は、前記第２の楕円の第２の底垂直高さでのその短軸を中心とした回転によって画定される第２の楕円形状体上に位置する点を通過し続ける、上記項目のいずれか一項に記載の車両用包囲視野システム。
（項目１２） 車両（１０）の異なる位置に提供される複数の画像センサ（１１）を使用して、車両包囲視野を生成するための方法であって、前記画像センサ（１０）は、前記車両の完全な周囲を網羅する、前記車両周囲の画像データを生成し、前記方法は、
−前記異なる画像センサの前記画像データに基づき、前記車両包囲視野を生成するように、前記複数の画像センサ（１１）の前記画像データを処理するステップであって、前記画像データは、前記車両を包囲するボウル上に逆に投影される、ステップと、
−仮想ユーザ車両視野を生成するステップであって、前記車両包囲視野は、視野方向を使用して前記車両が観測される、仮想カメラ場所から示され、前記仮想カメラ場所は、前記車両周辺の第１の垂直高さに位置する第１の水平楕円（７０）上に配置され、前記仮想カメラ場所からの前記視野方向は、前記第１の垂直高さより低い、前記車両周辺の第２の垂直高さに位置する第２の水平楕円（８０）上に位置する点を通過するような視野方向であり、前記第２の楕円（８０）は、前記第１の楕円（７０）より小さい、ステップと、
を含む、車両包囲視野を生成するための方法。
（項目１３） 前記車両視野を一水平方向に変更する命令が検出された場合、前記仮想カメラ場所は、最初は変更されないまま保たれ、前記検出された命令に応えて、前記視野方向は、前記視野方向が前記第２の楕円（８０）上に位置する点を通過するように変更され、前記第２の楕円（８０）上に位置する前記点は、前記視野方向が変更されると、前記第２の楕円（８０）上を前記一水平方向に移動する、上記項目に記載の車両包囲視野を生成するための方法。
（項目１４） 前記仮想カメラ場所は、前記第２の楕円（８０）によって画定される平面の中心での前記視野方向の所定の最大開放角が取得されるまで変更されないまま保たれ、前記車両視野を前記一水平方向にさらに変更する命令が検出されると、前記所定の最大開放角が到達された際、前記仮想カメラ場所は、前記第１の楕円上を前記一水平方向に移動され、前記視野方向は、前記第２の楕円（８０）上の点を通過し続ける、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
（項目１５） 前記第１の楕円（７０）上の前記仮想カメラ場所が前記一水平方向に移動されると、前記第１の楕円（７０）上の前記仮想カメラ場所の前記場所のそれぞれに対して前記視野方向は、前記視野方向が前記第２の楕円（８０）上に位置する点を通過し続けるように決定され、前記点は、前記第１の楕円（７０）上での前記仮想カメラ場所の前記場所のそれぞれの移動中に前記視野方向の前記所定の最大開放角が維持されるように決定される、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
（項目１６） 前記仮想ユーザ車両視野を生成するために、前記仮想カメラ場所が前記車両背後の前記第１の楕円（７０）の長軸上に位置する前記第１の楕円の点上である、開始車両視野が決定され、前記視野方向は、前記車両の長軸および前記第１の楕円の長軸に対して平行である、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
（項目１７） 前記車両視野を反対の水平方向に変更する命令が検出されると、前記仮想カメラ場所は、最初は変更されないまま保たれ、前記検出された命令に応えて、前記視野方向は、前記視野方向が前記第２の楕円上に位置する点を通過するように変更され、前記点は、前記視野方向が変更されると、前記第２の楕円を反対の水平方向に移動する、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
（項目１８） 前記仮想カメラ場所は、底垂直高さから前記車両上方の鳥瞰視野に垂直面内で変更され、前記第１および前記第２の楕円の前記寸法は、対応する垂直高さに依存する、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
（項目１９） 前記仮想カメラ場所は、前記第１の楕円の第１の底垂直高さでのその短軸を中心とした回転によって画定される第１の楕円形状体上で前記垂直方向に移動され、前記視野方向は、前記第２の楕円の第２の底垂直高さでのその短軸を中心とした回転によって画定される第２の楕円形状体上に位置する点を通過し続ける、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
（項目２０） 回動ボタンが一方向または反対方向に回動されると、前記車両視野を前記一水平方向または前記反対水平方向に変更するための前記命令が検出される、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
（項目２１） 前記生成された仮想ユーザ車両視野は、ディスプレイ上に表示される、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。
（項目２２） 前記仮想カメラ場所は、前記ボウル内部に位置する、上記項目のいずれか一項に記載の車両包囲視野を生成するための方法。

（摘要）
本発明は、
−車両の異なる位置に提供される、複数の画像センサ（１１）であって、車両の完全な周囲を網羅する、車両周囲の画像データを生成する、画像センサ（１１）と、
−複数の画像センサ（１１）の画像データを処理する、画像処理ユニット（２０）であって、画像処理ユニット（２０）は、異なる画像センサ（１１）の画像データに基づき、車両包囲視野を生成するように構成され、画像処理ユニット（２０）は、車両包囲視野を生成するために、車両を包囲するボウル（９０）上に画像データを逆に投影し、画像処理ユニットは、仮想ユーザ車両視野を生成するために、車両包囲視野が観測される、仮想カメラ場所を使用するように構成され、仮想カメラ場所は、車両（１０）周辺の第１の垂直高さに位置する第１の水平楕円（７０）上に配置され、画像処理ユニットは、第１の垂直高さより低い、車両周辺の第２の垂直高さに位置する第２の水平楕円（８０）上に位置する点を通過するように、仮想カメラ場所からの視野方向を決定するように構成され、第２の楕円（８０）は、第１の楕円より小さい、画像処理ユニット（２０）と、
−仮想カメラ場所を少なくとも水平方向および視野方向に変更することを可能にする、制御ユニット（４０）と、
を備える、車両用包囲視野システムに関する。

本発明は、添付の図面を参照して、以下により詳細に記載される。これらの図面は、以下の通りである。
車両用包囲視野システムの概略図を示す。 仮想ユーザが第１の楕円および第２の楕円を使用して車両を見ている状況の概略図であり、車両用包囲視野システムの画像データは、図２に示されるボウル上に投影される。 車両に対する第１の楕円および第２の楕円の場所を伴う、開始車両視野の概略図を示す。 仮想カメラ場所が変更されていない状態で、ユーザが車両の右側を見ることを望む際の状況を示す。 仮想カメラ場所が右側に移動された状態の状況を示す。 仮想カメラ場所が車両の後方部分の左側に変更して戻された状況を示す。 視野方向が開始車両視野から車両の左側に変更された状況を示す。 車両側面図における、仮想カメラ場所および視野方向の垂直方向での移動を示す。 どのように仮想ユーザ車両視野が生成され、適合されるかを示す、フローチャートを示す。 車両後方視野における、楕円形状体上での図８の垂直カメラ場所の移動を示す。

図１には、４つの画像センサ、好ましくは魚眼カメラ１１が組み込まれた、車両１０が示されている。画像センサは、それらが完全な周辺を網羅するように、車両の周辺に対称に定置される。一例として、左右のドアミラーに側方カメラが提供されてもよい。車両の種類によって、異なる位置に後方および前方カメラが置かれてもよい。画像包囲視野システムは、異なるカメラ１１によって生成される画像データを受信し、車両包囲視野が生成されるように画像データを使用する、画像処理ユニット２０をさらに備える。車両包囲視野は、仮想カメラ場所および仮想カメラ場所の視野方向を使用して表示される。仮想カメラ場所から見られる、または観測される際の車両周囲は、車両が、図２に示され、仮想カメラ場所に位置する、仮想ユーザ５０によって見られる際の仮想ユーザ車両視野である。仮想ユーザ車両視野を、ディスプレイ３０上に表示することができる。制御ユニット４０が提供され、これを用いて、場所および視角を変更することができる。一例として、制御ユニット４０は、現在の車両の音響システムで使用される、共通の回動／押しボタンとすることができる。図１の示される車両用包囲視野システムは、車両内に収容されるマルチメディアシステムの一部とすることができ、ディスプレイは、また、マルチメディアシステムのユーザに情報を提供するためにも使用されるディスプレイであってもよい。図１に示される車両用包囲視野システムは、他の構成要素を有してもよく、示される実施例には、本発明を理解するために必要とされる構成要素のみが示されていることを理解されたい。画像センサ１１の画像データを処理するための処理ユニット２０は、さらに以下により詳細に記載されるように、画像データを処理する、１つまたはいくつかのプロセッサを収容してもよい。処理ユニットは、ハードウェアおよびソフトウェアの組み合わせであってもよい。

図２には、どのように仮想ユーザ車両視野が生成されるかを理解するのを助ける、状況の側面図が示されている。仮想ユーザ５０は、車両１０に目を向け、仮想ユーザは、図３の仮想カメラ６０の仮想カメラ場所に対応する。仮想カメラ場所は、図２および図３に示される、第１の楕円７０上の地上から第１の高さに位置する。高さは、仮想カメラ場所の高さが平均身長を有するユーザの目の高さになるように決定される。一例として、目の高さでの平均高さは、１．５ｍ〜１．８ｍであってもよい。仮想ユーザ５０の視野方向は、視野方向が、第１の楕円より低い高さに提供される、第２の楕円８０上に位置する点を常に通過するような方向である。結果として、下向きの視野が取得される。

図２および図３から見ることができるように、第２の楕円は、車両用包囲視野システムが組み込まれる車両の寸法に実質的に対応する寸法を有する。車両は、立方形状を有するため、仮想ユーザ車両視野を生成するために、画像処理ユニット２０によって楕円が使用される。

図１に示される４つの魚眼カメラ１１の画像データは、車両１０を包囲するボウル９０上に逆に投影される。車両は、ボウルの底、すなわち地面上に位置する。車両は、長方形態を有し、二次曲線の形態ではないため、ボウル形状は、車両軸に沿って伸長され、ボウルは、ボウル９０の上端で楕円形状の異なる水平薄片で構成される。薄片の形状は、楕円形状から湾曲した長方形に徐々に変化する。ボウルおよびその形状のより詳細な説明は、同一出願人によって２０１１年４月１１日に出願された、出願番号が欧州特許出願第ＥＰ１１１６２４７０．６号の出願に見ることができる。

図２および図３に示される状況は、仮想カメラ場所が図３に示されるように第１の楕円上の第１の楕円の長軸の点上に位置付けられる、開始車両視野に対応し、視野方向は、第２の楕円上およびその長軸上の点８２を通過する。この開始車両視野では、第１の楕円は、図２に示される、第１の底車両高さを有し、第２の楕円８０は、示されるような対応する第２の底垂直高さを有する。一例として、第１の楕円は、地上から１．６０〜１．８０メートル上方に位置してもよく、第２の楕円８０は、地上から１．２０〜１．３０メートル上方に位置する。ボウルは、その上端上で、１４メートルの全長を有する長軸を有してもよく、１．７ｍの高さで、約１１または１２メートルの全長、および約８メートルの幅を有してもよい。開始車両視野で、楕円７０は、図３に示される、約３．５メートルの半長軸ａ１を有してもよく、大きい楕円の半短軸ｂ１は、２．４〜２．８ｍの範囲内である。第１および第２の楕円の中心は、同一の軸上に位置し、それらは、図１に示される軸Ａ上の異なる垂直高さに同軸で配設される。

第２の楕円８０の半長軸は、ａ２＝３ｍであってもよく、半短軸ｂ２は、約１．５ｍである。値は、車両の寸法、およびボウルの寸法に依存することを理解されたい。好ましくは、仮想ユーザ５０は、図２に示され、図３に示される仮想カメラ場所を有する仮想カメラ６０によって表されるように、ボウル内部に位置する。第１および第２の楕円の寸法は、異なるように選択されてもよい。第２の楕円の寸法がより大きく選択される場合、視野方向は、車両に向けられるべきであり、高すぎる、または低すぎるべきではないため、第１の楕円の寸法もまた、より大きく選択されるべきである。図３に示される場所から開始するユーザが、図３に示されるように、車両の右側のより詳細な視野を有することを望む際、ユーザは、ユーザの意図を示すように、図１に示される制御ユニット４０を右に回動させてもよい。

図４に示されるように、ユーザが車両の右側のより詳細な視界を有することに関心があることが検出される場合、仮想カメラ場所は、最初は変更されないままで保たれ、視角のみが右側に向けられる。視角が図３に示される場所から図４に示される場所に変更される際、視野方向は、視野方向の移動中、視野方向が第２の楕円８０上に位置する点を常に通過するようになっている。図４に示される実施形態では、第２の楕円の点８１である。視野方向は、図４に示される最大角度Ｏが取得されるまで変更され、角度Ｏは、視野方向の最大開放角である。図４に示されるように、角度Ｏは、第２の楕円によって画定される平面上の中心Ｃ上へのカメラ場所の直接接続の投影、および視野方向が通過する第２の楕円上の点と、第２の楕円の中心、ここでは中心Ｃ、との接続によって画定される。この最大開放角が到達され、次いで仮想カメラ場所のさらなる移動が望まれる場合、仮想カメラ場所は、図５に示される前記方向に移動される。図５から見ることができるように、視野方向は、仮想カメラ場所の移動中、仮想カメラ場所が右に移動されると、第２の楕円の点８１がカメラからさらに離れるよう第２の楕円上を移動されるように、最大開放角Ｏが維持されるように適合される。

図５に示される状況において、ユーザが制御ユニットを作動させるのを停止する際、仮想カメラ場所は、示される視野方向を伴ったままでとどまるか、または視野方向は、第２の楕円上の点８３を通過するように、再び車両の中心に自動的に中心合わせされるかのいずれかであってもよい。

図６に示される実施形態では、ユーザがシステムに再び車両の反対側、ここでは左側を見るように指示する際に、どのようにシステムが反応するかが示されている。最初、図６に示されるように、仮想カメラ６０は、視野方向を変更し、仮想カメラ場所を維持する。視野方向は、最大開放角Ｏが到達されるまで視野方向が左に変更されるように、再び変更される。次いでユーザが、システムに、車両の左側を見るようさらに指示する場合、仮想カメラ場所は、第１の楕円上を反対方向に移動し、仮想カメラ６０の移動中、最大開放角Ｏは維持される。ユーザが制御ユニットを２つの方向のうちの１つに操作することを終了すると、仮想カメラは、最後の場所、例えば、図７または図５に示される場所とどまるか、または視野方向は、車両場所の中心に戻るかのいずれかであってもよい。

図１に示されるシステムでは、仮想カメラの垂直場所を変更することがさらに可能である。図８および図１０に示される実施形態では、第１および第２の楕円７０ａ、８０ａが第１の底垂直高さおよび第２の底垂直高さにそれぞれ提供される、仮想カメラ場所６０ａによる開始車両視野が示されている。カメラ垂直高さは、第１の楕円７０ａによって示される第１の底垂直高さであり、第２の楕円８０ａは、示される場所によって示される第２の底垂直高さである。カメラは、楕円形状体上を移動される。この形状体は、第１の楕円７０ａをその底垂直高さでその短軸を中心として回転させることによって画定され、その回転によって画定される形状体は、垂直カメラ場所がその上を移動する形状体である。

同時に、また、第２の楕円８０は、楕円８０ｂによって示されるように、上向きにも移動され、また、第２の楕円は、第２の楕円の底垂直高さでのその短軸を中心とした回転によって画定される楕円体１１０上も移動する。第２の楕円８０ｂは、仮想カメラ場所が、所望の仰角、例えば、図８および図１０に示されるφ１が取得されるまで第１の楕円体１００に沿って移動される場合に、第２の楕円８０ａによって画定される座標系内で、同一の仰角φ２＝φ１が使用されるように、垂直方向に移動される。同一の規則が、仮想カメラ場所６０ｃ、ならびに対応する第１の楕円７０ｃおよび第２の楕円８０ｃに適用される。車両中心上方の場所における場所６０ｄでは、視野方向が第２の楕円上ではなく、車両上のまっすぐ下向きである、または換言すれば、第２の楕円は、第２の形状体１１０上の点である、より具体的には、第２の楕円は、第２の形状体上の点１１０ａであるため、状況がわずかに異なることを理解されたい。異なる垂直高さでは、図２〜図７に関連して上述されるように、水平移動が可能であることを理解されたい。

図８および図１０に示される実施形態では、車両は、仮想ユーザ車両視野内のほぼ中心のままである。

図９には、水平仮想ユーザ車両視野を適合させるためのステップを要約するフローチャートが示されている。第１のステップＳ１では、画像センサ１１は、完全な車両周囲を網羅する画像データを生成する。次いで、処理ユニットは、その異なる画像センサからの画像データを組み合わせ、図１に示されるボウル９０上にそれらを逆に投影する。ステップＳ２では、カメラおよび視野方向が、車両がその後方側から示され、視野方向が車両を向く、図３に示されるように選択される、開始仮想ユーザ車両視野が表示される。ステップＳ３では、次いで、画像処理ユニットにおいて、水平視野変更の命令が検出されるか否かが問われる。これがいいえである場合、画像は、表示される開始車両視野のままである。システムが、ステップＳ３で、水平視野が第１の楕円上で一方向または反対方向のいずれかに変更されるべきであることを検出する場合、視角は、図３によって示されるように、適宜に適合される。ステップＳ３で、車両の左側がより詳細に示されるべきであることが検出される場合、視野方向は、最大開放角Ｏが取得されるまで、視野方向を第２の楕円上に位置する点に沿って左に移動させることによって、適宜に適合される（ステップＳ４）。ステップＳ５では、次いで、所定の最大開放角が到達されるか否かが問われる。いいえの場合、視角は、ステップＳ４に言及されるように、さらに適合される。ステップＳ５で、最大視角に達したことが検出される場合、ステップＳ６で、仮想カメラ場所は、従って適合される。図５に示されるように、仮想カメラは、第１の楕円上を移動され、視野方向は、最大開放角が維持されるように決定され、視野方向が通過する第２の楕円上の点は、最大開放角によって画定される。

図９と関連して説明される方法を用いて、カメラを完全な車両周辺の第１の楕円上で移動させることによって、必要に応じて、完全な車両周囲にわたる全体像を取得することが可能である。システムに、視野がより片側または反対側に向けられるべきであることを示すために、単に双方向操作要素または制御ユニット、例えば、２方向ロッカーまたは回動要素を使用することによって、ユーザは、異なる車両視野を容易に取得することができる。さらに、システムおよび制御ユニットを、仮想カメラ場所の垂直高さを図８および図１０に示されるように適合することができるように構成することが可能である。このカメラの垂直移動には、２つの追加の自由度が必要である。垂直移動は、水平移動に加えて、およびそれから独立して取得することができる。仮想カメラ場所の垂直場所を変更するために、さらなる２方向操作要素が提供されてもよい。

要約すると、上述の発明を用いて、あたかもユーザが車両周辺を歩行したかのような仮想車両視野をユーザに表示することが可能である。このユーザに馴染みのある眺めを通して、ユーザは、示される画像を容易に理解することができ、表示される物体を認識することができる。さらに、２方向操作要素によって、水平車両視野変更を容易に制御することができる。

Claims (22)

1. 車両用包囲視野システムであって、
   −前記車両の異なる位置に提供される、複数の画像センサ（１１）であって、前記車両の完全な周囲を網羅する、前記車両周囲の画像データを生成する、画像センサ（１１）と、
   −前記複数の画像センサ（１１）の前記画像データを処理する、画像処理ユニット（２０）であって、前記画像処理ユニット（２０）は、前記異なる画像センサ（１１）の前記画像データに基づき、車両包囲視野を生成するように構成され、前記画像処理ユニット（２０）は、前記車両包囲視野を生成するために、前記車両を包囲するボウル（９０）上に前記画像データを逆に投影し、前記画像処理ユニットは、仮想ユーザ車両視野を生成するために、前記車両包囲視野が観測される仮想カメラ場所を使用するように構成され、前記仮想カメラ場所は、前記車両（１０）周辺の第１の垂直高さに位置する第１の水平楕円（７０）上に配置され、前記画像処理ユニットは、前記第１の垂直高さより低い、前記車両周辺の第２の垂直高さに位置する第２の水平楕円（８０）上に位置する点を通過するように、前記仮想カメラ場所からの視野方向を決定するように構成され、前記第２の楕円（８０）は、前記第１の楕円より小さい、画像処理ユニット（２０）と、
   −前記仮想カメラ場所を少なくとも水平方向に変更することを可能にし、前記視野方向を変更することを可能にする、制御ユニット（４０）と、
   を備える、車両用包囲視野システム。
2. 前記車両ユーザの車両視野の一水平方向への変更のために、前記画像処理ユニット（２０）は、最初に、前記仮想カメラ場所を固定した状態に保ち、前記視野方向が前記第２の楕円（８０）上に位置する点を通過するように、前記視野方向を変更するように構成され、前記点は、前記視野方向が変更されると、前記第２の楕円上で前記一水平方向に移動する、請求項１に記載の車両用包囲視野システム。
3. 前記画像処理ユニット（２０）は、前記仮想カメラ場所を固定した状態に保ち、前記第２の楕円によって画定される平面の中心での前記視野方向の所定の最大開放角が取得されるまで、前記視野方向を変更するように構成され、前記車両視野の前記一水平方向へのさらなる変更のために、前記画像処理ユニット（２０）は、前記第１の楕円上の前記仮想カメラ場所を前記一水平方向に移動させるように構成され、前記視野方向は、前記第２の楕円上の点を通過し続ける、請求項２に記載の車両用包囲視野システム。
4. 前記画像処理ユニット（２０）は、前記第１の楕円（７０）上の前記仮想カメラ場所が前記一水平方向に移動された場合、前記所定の最大開放角が維持された状態で、前記視野方向が前記第２の楕円（８０）上に位置する点を前記一水平方向に通過し続けるように、前記第１の楕円（７０）上の前記仮想カメラ場所の前記場所のそれぞれの前記視野方向が決定されるように構成される、請求項３に記載の車両用包囲視野システム。
5. 前記画像処理ユニット（２０）は、前記第２の楕円（８０）の寸法が前記車両寸法に実質的に対応するように、前記第２の楕円の寸法を決定する、請求項１〜４のいずれか一項に記載の車両用包囲視野システム。
6. 前記画像処理ユニット（２０）は、実質的に平均身長を有する人の目の高さである、前記仮想カメラ場所の第１の底垂直高さを使用するように構成される、請求項１〜５のいずれか一項に記載の車両用包囲視野システム。
7. 前記画像処理ユニット（２０）は、前記仮想カメラ場所が前記車両（１０）背後の前記第１の楕円の長軸上に位置する前記第１の楕円（７０）の点上である、開始車両視野を提供するように構成され、前記視野方向は、前記第２の楕円の前記長軸上に位置する前記第２の楕円（８０）上の点を通過する、請求項１〜６のいずれか一項に記載の車両用包囲視野システム。
8. 前記画像処理ユニット（２０）は、前記第１および前記第２の楕円を同軸に、かつ相互に対して平行に位置付けるように構成される、請求項１〜７のいずれか一項に記載の車両用包囲視野システム。
9. 前記制御ユニットは、前記車両視野の一水平方向への変更を示すように、一方向に回動されるように操作可能であり、前記車両視野の反対水平方向への変更を示すように、反対方向に回動されるように操作可能である、回動部分を収容する、請求項１〜８のいずれか一項に記載の車両用包囲視野システム。
10. 前記画像処理ユニット（２０）は、底垂直高さから前記車両上方の鳥瞰視野に前記仮想カメラ場所を垂直面内で変更するように構成され、前記第１および前記第２の楕円（７０、８０）の前記寸法は、対応する垂直高さに依存する、請求項１〜９のいずれか一項に記載の車両用包囲視野システム。
11. 前記第１の楕円上に提供される前記仮想カメラ場所は、前記第１の楕円の第１の底垂直高さでのその短軸を中心とした回転によって画定される第１の楕円形状体上を垂直方向に移動され、前記視野方向は、前記第２の楕円の第２の底垂直高さでのその短軸を中心とした回転によって画定される第２の楕円形状体上に位置する点を通過し続ける、請求項１０に記載の車両用包囲視野システム。
12. 車両（１０）の異なる位置に提供される複数の画像センサ（１１）を使用して、車両包囲視野を生成するための方法であって、前記画像センサ（１１）は、前記車両の完全な周囲を網羅する、前記車両周囲の画像データを生成し、前記方法は、
    −前記異なる画像センサの前記画像データに基づき、前記車両包囲視野を生成するように、前記複数の画像センサ（１１）の前記画像データを処理するステップであって、前記画像データは、前記車両を包囲するボウル上に逆に投影される、ステップと、
    −仮想ユーザ車両視野を生成するステップであって、前記車両包囲視野は、視野方向を使用して前記車両が観測される、仮想カメラ場所から示され、前記仮想カメラ場所は、前記車両周辺の第１の垂直高さに位置する第１の水平楕円（７０）上に配置され、前記仮想カメラ場所からの前記視野方向は、前記第１の垂直高さより低い、前記車両周辺の第２の垂直高さに位置する第２の水平楕円（８０）上に位置する点を通過するような視野方向であり、前記第２の楕円（８０）は、前記第１の楕円（７０）より小さい、ステップと、
    を含む、車両包囲視野を生成するための方法。
13. 前記車両視野を一水平方向に変更する命令が検出された場合、前記仮想カメラ場所は、最初は変更されないまま保たれ、前記検出された命令に応えて、前記視野方向は、前記視野方向が前記第２の楕円（８０）上に位置する点を通過するように変更され、前記第２の楕円（８０）上に位置する前記点は、前記視野方向が変更されると、前記第２の楕円（８０）上を前記一水平方向に移動する、請求項１２に記載の車両包囲視野を生成するための方法。
14. 前記仮想カメラ場所は、前記第２の楕円（８０）によって画定される平面の中心での前記視野方向の所定の最大開放角が取得されるまで変更されないまま保たれ、前記車両視野を前記一水平方向にさらに変更する命令が検出されると、前記所定の最大開放角が到達された際、前記仮想カメラ場所は、前記第１の楕円上を前記一水平方向に移動され、前記視野方向は、前記第２の楕円（８０）上の点を通過し続ける、請求項１３に記載の車両包囲視野を生成するための方法。
15. 前記第１の楕円（７０）上の前記仮想カメラ場所が前記一水平方向に移動されると、前記第１の楕円（７０）上の前記仮想カメラ場所の前記場所のそれぞれに対して前記視野方向は、前記視野方向が前記第２の楕円（８０）上に位置する点を通過し続けるように決定され、前記点は、前記第１の楕円（７０）上での前記仮想カメラ場所の前記場所のそれぞれの移動中に前記視野方向の前記所定の最大開放角が維持されるように決定される、請求項１４に記載の車両包囲視野を生成するための方法。
16. 回動ボタンが一方向または反対方向に回動されると、前記車両視野を前記一水平方向または反対水平方向に変更するための前記命令が検出される、請求項１３〜１５のいずれか一項に記載の車両包囲視野を生成するための方法。
17. 前記仮想ユーザ車両視野を生成するために、前記仮想カメラ場所が前記車両背後の前記第１の楕円（７０）の長軸上に位置する前記第１の楕円の点上である、開始車両視野が決定され、前記視野方向は、前記車両の長軸および前記第１の楕円の長軸に対して平行である、請求項１２〜１６のいずれか一項に記載の車両包囲視野を生成するための方法。
18. 前記車両視野を反対の水平方向に変更する命令が検出されると、前記仮想カメラ場所は、最初は変更されないまま保たれ、前記検出された命令に応えて、前記視野方向は、前記視野方向が前記第２の楕円上に位置する点を通過するように変更され、前記点は、前記視野方向が変更されると、前記第２の楕円を反対の水平方向に移動する、請求項１２〜１７のいずれか一項に記載の車両包囲視野を生成するための方法。
19. 前記仮想カメラ場所は、底垂直高さから前記車両上方の鳥瞰視野に垂直面内で変更され、前記第１および前記第２の楕円の寸法は、対応する垂直高さに依存する、請求項１２〜１８のいずれか一項に記載の車両包囲視野を生成するための方法。
20. 前記仮想カメラ場所は、前記第１の楕円の第１の底垂直高さでのその短軸を中心とした回転によって画定される第１の楕円形状体上で垂直方向に移動され、前記視野方向は、前記第２の楕円の第２の底垂直高さでのその短軸を中心とした回転によって画定される第２の楕円形状体上に位置する点を通過し続ける、請求項１９に記載の車両包囲視野を生成するための方法。
21. 前記生成された仮想ユーザ車両視野は、ディスプレイ上に表示される、請求項１２〜２０のいずれか一項に記載の車両包囲視野を生成するための方法。
22. 前記仮想カメラ場所は、前記ボウル内部に位置する、請求項１２〜２１のいずれか一項に記載の車両包囲視野を生成するための方法。

Images