JP6275396B2

JP6275396B2 - 仮想カメラを対話形式で制御するシステムおよび方法

Info

Publication number: JP6275396B2
Application number: JP2013096881A
Authority: JP
Inventors: ゾウウェイフェン; ウェイリッチノーマン; ヘジア
Original assignee: ハーマンインターナショナルインダストリーズインコーポレイテッド; ハーマンインターナショナル（チャイナ）ホールディングスカンパニー，リミテッド
Priority date: 2012-05-03
Filing date: 2013-05-02
Publication date: 2018-02-07
Anticipated expiration: 2033-05-02
Also published as: JP2013236374A; EP2661073A2; EP2661073A3; US20130293683A1

Description

（発明の分野）
本発明は、概して、多視野カメラシステムに関し、より具体的には、ユーザに表示される、多視野カメラシステムの仮想カメラによって生成される画像を対話形式で制御するシステムおよび方法に関する。

（背景）
（従来技術）
近年、自動車におけるカメラの使用が増加している。初期に、安全性のために、車両の運転手の後方視認性を改善するために、後方確認用モニタが自動車に追加された。続いて、ユーザに、ユーザの車両の周囲領域のすべてのより良い視野を提供するために、自動車上の様々な位置に、複数のカメラまたはモニタが定置された。

鳥瞰または頭上カメラシステムでは、典型的に、４つのカメラが使用され、自動車の前後および左右に搭載される。これらの４つのカメラから撮影される画像は、自動車を包囲する全体視野を示す鳥瞰または頭上視野を形成するように画像を組み合わせる、画像処理ユニットに送信される。一般的に、複数の画像の処理は、ある程度重なり合っていてもよい画像を撮影することと、それらを組み合わせ、自動車内のモニタまたはディスプレイ上に表示するために平面上に投影することとを必要とする。これらの画像は、平面上に投影されるため、自動車から遠く離れた物体の形状は不鮮明である、または歪んでいる場合があり、したがって、自動車の周囲のすべてが自動車の運転手に適切に表示されない場合がある。

鳥瞰または頭上視野のために、カメラシステムの視点が自動車の上方に固定されている場合、自動車の運転手に入手可能となる画像は、車両の周辺に広がる比較的小さい領域にしか及ばない場合がある。したがって、このタイプのカメラシステムは、自動車の周囲のすべてを運転手に適切に示すことができない場合がある。この問題の１つの解決策は、運転手のニーズにより役立つ異なる視野を運転手にもたらすように、運転手がカメラシステムの視点を調節または変更できるようにすることである。

別の解決策は、複数のカメラからの複数の画像を表示し、運転手がこれらの画像を選択できるようにすることであり、これは、駐車する際、曲がる際、または高速道路に合流する際等の自動車を操作する際、運転手に、運転手のニーズにより見合う視野を与える。しかしながら、この解決策は、複数のカメラ源から入手可能な画像のみに限定され、したがって、運転手の視野選択肢は、複数の入力源のそれぞれから入手可能な画像に限定される。

したがって、運転手が、運転手の周囲の所望の視野を取得するために、表示される画像に関連する複数のカメラ関連パラメータを選択および／または調節することができるように、自動車の運転手が対話形式で制御し、調節することができる仮想カメラを用いて、複数の画像を処理し、組み合わせる、多視野カメラシステムの必要性が存在する。

上記を考慮し、少なくとも１つの画像源ユニットと、１つ以上の画像源ユニットのそれぞれと信号通信している画像処理ユニットと、画像処理ユニットと信号通信しており、画像処理ユニットによって生成される画像に関連するパラメータを画像処理ユニットに送信するように構成される、パラメータ設定ユニットと、画像処理ユニットと信号通信しており、画像処理ユニットによって生成される画像を多視野カメラシステムのユーザに表示するように構成される、ディスプレイであって、表示される画像は、画像関連パラメータに従って構成される、ディスプレイとを備える、多視野カメラシステムが提供される。画像処理ユニットに送信される画像関連パラメータには、仮想カメラのその３つの軸に沿った平行移動、これらの３つの軸を中心とした回転、およびまた、仮想カメラのレンズの焦点距離の変更も含む。

パラメータ設定ユニットは、画像処理ユニットに送信されるパラメータを調節する、ユーザからの入力を受け付けるように構成される、シングルタッチまたはマルチタッチタッチスクリーンディスプレイ等のユーザインターフェースをさらに含んでもよい。また、自動車のユーザが多視野カメラシステムの仮想カメラを対話形式で制御する方法も開示される。上述される特徴、およびこれから以下に説明される特徴は、本明細書に示されるそれぞれの組み合わせだけでなく、本発明の範囲から逸脱することなく、他の組み合わせで、または単独で使用されてもよいことが理解される。

本発明の他のデバイス、装置、システム、方法、特徴、および利点は、以下の図ならびに発明を実施するための形態を検討すると、当業者に明らかである、または明らかになる。すべてのそのような追加のシステム、方法、特徴、および利点は、本説明に含まれ、本発明の範囲内であり、添付の特許請求の範囲によって保護されることが意図される。

例えば、本願発明は以下の項目を提供する。
（項目１）
自動車用の多視野カメラシステムであって、
１つ以上の画像源ユニットと、
上記１つ以上の画像源ユニットのそれぞれから複数の画像を受信するように構成される、上記１つ以上の画像源ユニットのそれぞれと信号通信している画像処理ユニットと、
上記多視野カメラシステムのユーザによって入力される画像関連パラメータを上記画像処理ユニットに送信するように構成される、上記画像処理ユニットと信号通信しているパラメータ設定ユニットであって、上記画像関連パラメータは、上記画像処理ユニットによって、上記ユーザに表示される画像を生成するために利用される、パラメータ設定ユニットと、
上記画像処理ユニットによって生成される上記表示画像を上記ユーザに表示するように構成される、上記画像処理ユニットと信号通信しているディスプレイと、
を備える、多視野カメラシステム。
（項目２）
上記１つ以上の画像源ユニットは、一方が上記自動車の前方に位置し、他方が上記自動車の後方に位置する、２つのビデオカメラを含む、上記項目に記載の多視野カメラシステム。
（項目３）
上記１つ以上の画像源ユニットは、一方が上記自動車の運転席側に位置し、他方が上記自動車の助手席側に位置する、２つの追加のビデオカメラをさらに含む、上記項目のいずれか一項に記載の多視野カメラシステム。
（項目４）
上記画像処理ユニットは、上記ビデオカメラによって収集される画像から３次元（「３Ｄ」）画像を生成するように構成される、上記項目のいずれか一項に記載の多視野カメラシステム。
（項目５）
上記画像関連パラメータは、上記ユーザによって上記画像処理ユニットと信号通信しているグラフィカルユーザインターフェースを通して上記パラメータ設定ユニットに入力される、上記項目のいずれか一項に記載の多視野カメラシステム。
（項目６）
上記グラフィカルユーザインターフェースは、上記ユーザによるシングルタッチおよびマルチタッチジェスチャ入力を読み取るように構成される、タッチスクリーンである、上記項目のいずれか一項に記載の多視野カメラシステム。
（項目７）
上記画像関連パラメータは、上記多視野カメラシステムの仮想カメラを上記自動車に対して位置付けるために使用され、上記仮想カメラの位置は、３つの軸からなる３次元世界座標系によって定義される、上記項目のいずれか一項に記載の多視野カメラシステム。
（項目８）
上記仮想カメラを位置付けるために使用される上記画像関連パラメータは、上記ユーザによる、タッチスクリーンを使用した上記パラメータ設定ユニットへのシングルタッチおよびマルチタッチジェスチャ入力から生成される、上記項目のいずれか一項に記載の多視野カメラシステム。
（項目９）
上記仮想カメラは、上記ユーザによるダブルタッチジェスチャ入力によって、その３つの軸のそれぞれに沿って平行移動される、上記項目のいずれか一項に記載の多視野カメラシステム。
（項目１０）
上記仮想カメラは、上記ユーザによるシングルタッチジェスチャ入力によって、その３つの軸のそれぞれを中心に回転される、上記項目のいずれか一項に記載の多視野カメラシステム。
（項目１１）
上記仮想カメラの焦点距離は、上記ユーザによるダブルタッチズームインおよびズームアウトジェスチャ入力よって変更される、上記項目のいずれか一項に記載の多視野カメラシステム。
（項目１２）
自動車における多視野カメラシステムを対話形式で制御する方法であって、
上記自動車の複数の画像源ユニットから１つ以上の画像を収集することと、
上記自動車のユーザが、グラフィカルユーザインターフェースを通して、上記多視野カメラシステムに画像関連パラメータを入力することと、
上記画像関連パラメータに応えて、上記ユーザに表示される画像を生成することと、
上記ユーザに表示される上記画像を、上記自動車内のディスプレイ上に表示することと、
を含む、方法。
（項目１３）
上記画像源ユニットは、ビデオカメラであり、収集する上記ステップは、上記ビデオカメラから１つ以上の画像を収集することを含む、上記項目に記載の方法。
（項目１４）
上記グラフィカルユーザインターフェースは、タッチスクリーンを含む、上記項目のいずれか一項に記載の方法。
（項目１５）
画像関連パラメータを入力する上記ステップは、上記ユーザによって上記タッチスクリーン上で行われるジェスチャを解釈することを含む、上記項目のいずれか一項に記載の方法。
（項目１６）
上記タッチスクリーン上で行われる上記ジェスチャは、シングルタッチおよびマルチタッチジェスチャを含む、上記項目のいずれか一項に記載の方法。
（項目１７）
表示される画像を生成する上記ステップは、
上記画像関連パラメータに応えて、上記多視野カメラシステムの仮想カメラを上記自動車に対して位置付けることと、
上記仮想カメラの上記位置に基づき、上記画像源ユニットから収集される上記画像のすべてまたは部分を選択することと、
上記選択された画像から、上記ユーザに表示される３次元（「３Ｄ」）画像を生成することと、
を含む、上記項目のいずれか一項に記載の方法。
（項目１８）
上記仮想カメラは、３つの軸からなる３次元世界座標系によって、上記自動車に対して定義される、上記項目のいずれか一項に記載の方法。
（項目１９）
上記仮想カメラを位置付ける上記ステップは、上記ユーザによるダブルタッチジェスチャ入力に応えて、上記仮想カメラを、その３つの軸のそれぞれに沿って平行移動させることを含む、上記項目のいずれか一項に記載の方法。
（項目２０）
上記仮想カメラを位置付ける上記ステップは、上記ユーザによるシングルタッチジェスチャ入力によって、上記仮想カメラを、その３つの軸のそれぞれを中心に回転させることを含む、上記項目のいずれか一項に記載の方法。

（摘要）
１つ以上の画像源ユニットと、画像処理ユニットと、画像処理ユニットと信号通信しているパラメータ設定ユニットと、画像処理ユニットと信号通信しているディスプレイとを備える、多視野仮想カメラシステム。ディスプレイは、画像処理ユニットによって生成される画像を、仮想カメラシステムのユーザに表示するように構成され、表示される画像は、多視野カメラシステムのユーザによってパラメータ設定ユニットを通して入力される画像関連パラメータに従って構成される。パラメータ設定ユニットは、画像処理ユニットに送信され、画像処理ユニットによって利用される、パラメータを調節するユーザからの入力を受け付けるように構成される、シングルタッチまたはマルチタッチタッチスクリーンディスプレイ等のユーザインターフェースを含んでもよい。また、自動車のユーザが仮想カメラシステムを対話形式で制御する方法も開示される。

以下の説明は、以下の図を参照することによってより理解され得る。図中の構成要素は、必ずしも一定の尺度ではなく、代わりに、本発明の原理を例証することが重視される。図中、同様の参照番号は、異なる図にわたって対応する部分を指定する。
本発明の一実現形態例による、多視野カメラシステムの実施例のブロック図である。グラフィカルユーザインターフェースと共に、図１のディスプレイユニットおよびパラメータ設定ユニットに連結される、図１の多視野カメラシステムの画像処理ユニットの実現形態の一実施例の簡略化ブロック図である。自動車内のディスプレイユニット上に表示される周囲視野画像を定義する画像関連パラメータを図示する、多視野カメラシステムの仮想カメラに適用される座標系例の概略図である。自動車内のディスプレイユニット上に表示される方向視野画像を定義する画像関連パラメータを図示する、多視野カメラシステムの仮想カメラに適用される座標系例の概略図である。自動車内のディスプレイユニット上に表示される方向視野画像を定義する画像関連パラメータを図示する、図１の多視野カメラシステムの仮想カメラに適用される座標系例の概略図である。図５の仮想カメラに適用される座標系例の概略図、およびシングルタッチ水平ジェスチャのための運転手のジェスチャを示すディスプレイの概略図である。図６Ａの座標系例の概略図、およびシングルタッチ垂直ジェスチャのための運転手のジェスチャを示すディスプレイの概略図である。図６Ａの座標系例の概略図、およびダブルタッチスピンジェスチャのための運転手のジェスチャを示すディスプレイの概略図である。図６Ａの座標系例の概略図、およびシングルタッチ水平ジェスチャのための運転手のジェスチャを示すディスプレイの概略図である。図６Ａの座標系例の概略図、およびダブルタッチ垂直ジェスチャのための運転手のジェスチャを示すディスプレイの概略図である。図６Ａの座標系例の概略図、およびダブルタッチピンチジェスチャのための運転手のジェスチャを示すディスプレイの概略図である。本発明による多視野カメラシステムを含む、自動車の概略図である。本発明による多視野カメラシステムを含む、自動車の別の概略図である。仮想カメラシステムのユーザに表示されてもよい概略スケッチを示す、本発明による多視野カメラシステムのディスプレイの概略図である。画像関連パラメータを入力した後に修正された、ユーザに表示されるスケッチを伴う、図８Ａのディスプレイの概略図である。自動車における多視野カメラシステム内の仮想カメラを対話形式で制御する方法の実施例の動作を図示する、フロー図である。

以下の様々な実施例の説明は、例証のためだけに与えられ、限定の意味でとられないことが理解される。実施例の図面中に示される機能ブロック、モジュール、またはユニットへの分割は、これらの機能ブロック、モジュール、またはユニットが、必ず物理的に別個のユニットとして実現されることを示すとは解釈されない。示される、もしくは記載される機能ブロック、モジュール、またはユニットは、別個のユニット、回路、チップ、機能、モジュール、または回路要素として実現されてもよい。また、１つ以上の機能ブロックもしくはユニットは、共通回路、チップ、回路要素、またはユニット内に実現されてもよい。

図１に図示される多視野カメラシステム１００の実現形態例は、それぞれが画像処理ユニット１１２と信号通信している、ｎ個の画像源ユニット１０２、１０４、・・・１１０を含む。画像源ユニット１０２、１０４、・・・１１０は、１つが自動車の前方、もう１つが自動車の後方、ならびに自動車の左側および後方側に１つずつ位置付けられた、４つの車両に搭載されたカメラを含んでもよい。本実現形態では、画像源ユニットは、すべてビデオカメラであるが、しかしながら、また、画像源ユニットは、自動車の付近の物理的物体までの距離を測定するセンサデバイス、運転手のためのナビゲーションデータを生成するグラフィックおよびテキスト生成デバイス、ならびに運転手に有用であり得るデータを収集する他の同様のデバイスも含んでもよく、したがって、必ずしもすべての画像源ユニットがビデオカメラまたは同一タイプのものである必要はない。

画像源ユニット１０２、１０４、・・・１１０は、次いで画像処理ユニット１１２に送信される、自動車を直接包囲する領域の複数のビデオ画像をキャプチャするように構成される。画像処理ユニット１１２は、３Ｄまたは２Ｄ画像のためのデータを含んでもよい、ビデオ画像データを受信し、ディスプレイユニット１２０を使用して自動車の運転手に表示される画像を生成するように、このデータを処理する。パラメータ設定ユニット１１４は、自動車の直接周囲領域の適切な視野、つまり、運転手が運転手の運転ニーズを満足するために所望する視野を生成するために使用される画像関連パラメータを、画像処理ユニット１１２に提供する。そのような画像関連パラメータは、パラメータ設定ユニット１１４内で調節されてもよく、仮想カメラの位置、提示される視野のタイプ（例えば、周囲または方向）、視野の方向、視界、視野位置を定義する軸を中心とした回転度、および仮想カメラのカメラレンズの焦点距離を含んでもよいが、これらに限定されない。

図２は、図１の画像処理ユニット１１２と信号通信しているパラメータ設定ユニット１１４の実現形態の一実施例の簡略化ブロック図２００である。パラメータ設定ユニット１１４は、自動車の運転手２２０によって使用されるように構成される、グラフィカルユーザインターフェース２１０を含んでもよい。グラフィカルユーザインターフェース２１０は、運転手２２０が画像関連パラメータを選択し、調節するために操作可能なタッチスクリーンまたはタッチパッドであってもよい。図２では、グラフィカルユーザインターフェース２１０は、ディスプレイユニット１２０とは別個のブロックであるように示されているが、しかしながら、別の実現形態では、グラフィカルユーザインターフェース２１０およびディスプレイユニット１２０は、例えば、ディスプレイユニット１２０の上に定置された自動車の輪郭を描くオーバーレイを備え、したがって、運転手２２０が、例えば、タッチスクリーンを使用して、図１の多視野仮想カメラシステムの視野位置を調節することを可能にする、グラフィカルユーザインターフェース２１０を伴う、単一の要素であってもよい。他の実現形態では、グラフィカルユーザインターフェース２１０は、運転手２２０、またはさらには自動車の同乗者によって操作されてもよい、別個の入力デバイスであってもよい。また、これらの入力デバイスは、タッチスクリーンまたはタッチパッドに加えて、ジョイスティック、サムスティック、キーボード、およびテンキーも含んでもよい。

一般的に、図１の多視野カメラシステムは、運転手が運転手の自動車内で表示することを所望するどのような画像も生成するように構成される、自動車の運転手が利用可能な「仮想」カメラ、つまり、グラフィカルユーザインターフェースの手段によって、ユーザによって多視野カメラシステムに入力される画像関連パラメータによって、自動車に対して再位置付けされ得るカメラを備える。１つのそのような画像は、自動車の周囲の鳥瞰または広角視野をレンダリングする、３６０°視界画像（本明細書では、「周囲視野画像」と称される）であってもよい。図３は、自動車の運転手のための調節可能な周囲視野画像を生成するように構成される、多視野カメラシステムの画像関連パラメータを定義するために使用されてもよい、座標系を図示する、概略図である。図３では、ブロック３０２は、自動車を表し、自動車およびその直接周囲は、３つの軸、ｘ軸３０４、ｙ軸３０６、およびｚ軸３０８からなる３次元世界座標系３００によって定義されてもよい。座標が（０、０、０）の原点Ｏ３１０を、車両内、例えば、その重心に任意に固定することができ、多視野カメラシステムは、初期に、または初期設定で原点Ｏ３１０に設定されてもよい。ｘ軸３０４は、前進している際、自動車の運転方向を指す。

自動車の運転手が、仮想カメラの視野位置を調節することを望む際、運転手は、図２のグラフィカルユーザインターフェース２１０を通して、適切な調節された画像関連パラメータをパラメータ設定ユニット１１４に入力することによって調節してもよい。一実現形態では、グラフィカルユーザインターフェース１２２は、ディスプレイユニット１２０の上に重ね合わせられるタッチスクリーンを備えてもよく、オーバーレイは、３次元世界座標系３００を示す。

タッチスクリーンは、シングルタッチ入力デバイスまたはマルチタッチ入力デバイスのいずれかであってもよく、画像関連パラメータを調節する方法は、画像処理ユニット１１２が、入力デバイスにわたるジェスチャを検出することと、ジェスチャの方向および距離を判定することと、ジェスチャの方向および距離によって判定される所定のパラメータ調節（単数または複数）を実施することとを含んでもよい。シングルタッチ入力デバイスでは、ジェスチャは、タッチスクリーン上へのタッチダウン、続くタッチスクリーンの表面に沿った動きを含んでもよい。１本の指がタッチスクリーン上を動き、動きの距離が所定の閾値Ｔ_ｓ０を超える際、運転手の入力がジェスチャとして解釈される。

それぞれの特定のジェスチャは、特定のパラメータ調節と関連していてもよい。例えば、１本の指による垂直ジェスチャは、仮想カメラのｙ軸３０６を中心とした回転を制御するために使用されてもよく、１本の指による水平ジェスチャは、仮想カメラのｚ軸３０８を中心とした回転を制御するために使用されてもよく、１本の指によるスピンジェスチャは、仮想カメラのｘ軸３０４を中心とした回転を制御するために使用されてもよい。

マルチタッチ入力デバイスでも、１本の指による入力によって定義されるものと同一のジェスチャが、マルチタッチ入力デバイスに入力されてもよい。さらに、２本以上の指を使用して入力デバイスに入力するために、マルチタッチジェスチャが定義されてもよい。一般的に、マルチタッチジェスチャは、２本以上の指によるタッチスクリーン上へのタッチダウン、続くこれらの指によるタッチスクリーンに沿った動きを含んでもよい。指がタッチスクリーン上を動き、動きの距離が所定の閾値Ｔ_ｍ０を超える際、入力がジェスチャとして解釈される。

一実現形態では、意図されるマルチタッチジェスチャのタイプは、２つの要素、１）入力デバイス上にタッチダウンする際の指の間の距離、および２）その後の入力デバイス上を動く指（単数または複数）の水平移動の大きさ対垂直移動の大きさの比率によって判定されてもよい。タッチスクリーン上にタッチダウンする際の指の間の距離が所定の閾値Ｔ_ｍ１を超えない場合、入力は、複数の指によるジェスチャとして解釈されてもよい。水平移動の大きさ対垂直移動の大きさの比率が所定の閾値Ｔ_ｍ２未満である場合、入力は、複数の指による垂直ジェスチャとして解釈されてもよく、一方、水平移動の大きさ対垂直移動の大きさの比率が所定の閾値Ｔ_ｍ３より大きい場合、入力は、複数の指による水平ジェスチャとして解釈されてもよい。水平移動の大きさ対垂直移動の大きさの比率が、閾値Ｔ_ｍ２より大きく、かつ閾値Ｔ_ｍ３未満である場合、入力は、複数の指によるピンチジェスチャとして解釈されてもよい。

それぞれの特定の複数の指によるジェスチャは、特定のパラメータ調節と関連していてもよい。例えば、２本の指による垂直ジェスチャは、仮想カメラのｚ軸３０８に沿った平行移動を制御するために使用されてもよく、２本の指による水平ジェスチャは、仮想カメラのｙ軸３０６に沿った平行移動を制御するために使用されてもよく、２本の指による斜めジェスチャは、仮想カメラのｘ軸３０４に沿った平行移動を制御するために使用されてもよい。

タッチスクリーン上にタッチダウンする際の指の間の距離が閾値Ｔ_ｍ１を超え、かつ指の間の距離が次いで増加する場合、入力は、複数の指によるズームインジェスチャとして解釈されてもよい。一方、タッチスクリーン上にタッチする指の間の距離が減少する場合、複数の指によるズームアウトジェスチャとして解釈されてもよい。換言すれば、２つの指を所定の距離だけ離してタッチスクリーン上に定置することによって、ユーザは、次いで２つの指を近づけるか、またはそれらをさらに離すことによって、仮想カメラをそれぞれズームインまたはズームアウトさせてもよい。

図３に戻り、多視野カメラシステムは、初期に、原点Ｏ３１０に設定されてもよい。運転手が、この原点を、例えば、ｚ軸３０８に沿って移動させることを望む場合、運転手は、視野位置のＯ３１０からＯ´３１２への再位置付けをもたらす、上述される２本の指による垂直ジェスチャを使用してもよい。ｘ軸３０４に沿った移動では、運転手は、上述される２本の指によるピンチジェスチャを使用してもよい。運転手が２本の指による水平ジェスチャを入力する場合、これは、視野位置のｙ軸３０６に沿った平行移動をもたらす。車両のより運転席側に焦点を当てた周囲視野画像を生成するように、仮想カメラシステムをＯ３１０からＯ´´３１４に移動させるためには、仮想カメラをｙ軸３０６に沿って移動させるための水平ジェスチャ、および仮想カメラをｚ軸３０８に沿ってＯ´´３１４に移動させるための垂直ジェスチャの両方が必要であり得る。

他の状況では、運転手は、例えば、運転手の自動車を反転させる、または駐車する際等に、運転手の周囲により焦点を当てた視野を望む場合がある。これらの状況では、多視野カメラシステムの「仮想」カメラは、最初に、自動車に対する任意の位置、例えば、自動車の運転席側に移動されてもよく、いったん適切に位置付けられると、運転手は、所望の視野を取得するために必要な「仮想」カメラの調節を行ってもよい。これらの調節は、「仮想」カメラの視点を変更すること、「仮想」カメラの視界を増加または減少させること、３つの軸のうちのいずれかを中心にカメラを回転させること、ならびに「仮想」カメラのレンズの焦点距離を変更することを含んでもよい。

図４は、自動車の運転手のための調節可能な方向視野画像を生成するように構成される、多視野カメラシステムの入力パラメータを定義するために使用されてもよい、座標系４００を図示する、概略図である。ディスプレイユニット上に周囲視野画像を表示する、図３に示される座標系とは対照的に、図４は、方向視野画像、つまり、周囲視野の３６０°未満の視界画像である、自動車に対する方向を指す単一のカメラまたは複数のカメラによって生成され得る画像の表示に関し、カメラのそれぞれは、カメラのレンズの焦点距離もまた同様に調節し得る自動車の運転手によって、軸、すなわち、ｘ軸４０４（ロール）、ｙ軸４０６（ピッチ）、およびｚ軸４０８（ヨー）を中心に回転調節されてもよい。換言すれば、ディスプレイユニットおよびグラフィカルユーザインターフェースは、「仮想」カメラとして共に動作する。

図４では、ブロック４０２は、自動車を表し、自動車およびその直接周囲は、３つの軸、ｘ軸４０４、ｙ軸４０６、およびｚ軸４０８からなる３次元世界座標系４００によって定義されてもよい。座標が（０、０、０）の原点Ｏ４１０を、車両内、例えば、その重心に任意に固定することができ、多視野仮想カメラシステムは、初期に、または初期設定で原点Ｏ４１０に設定されてもよい。この点において、本座標系は、図３の座標系と同様であるが、しかしながら、本座標系では、原点は、原点４１０に対する仮想カメラ４１４の位置を判定するために使用される。

図３と同様に、仮想カメラ４１４のｚ軸４０８、ｘ軸４０４、およびｙ軸４０６のそれぞれに沿った平行移動を制御するために、２本の指による垂直、水平、ならびに斜めジェスチャが使用されてもよい。図４では、仮想カメラ４１４は、２本の指による水平および垂直ジェスチャの結果であってもよい、図３のＯ´´３１４に対応する位置に示されている。また、仮想カメラ４１４のレンズ４１４ａは、自動車の運転手にとって運転手の左側の運転席側の窓の外の視野であり得る、ｙ´軸５０６に沿った方向を指すように示されている。

図５を参照すると、自動車内のディスプレイユニット上に表示される画像を定義するために利用することができる、画像関連パラメータを定義するために使用されてもよい、仮想カメラ４１４に適用される座標系例の概略図が示されている。仮想カメラ４１４の回転位置付けは、３つの軸、ｘ´軸５０４、ｙ´軸５０６、およびｚ´軸５０８からなる３次元世界座標系５００によって定義されてもよい。仮想カメラ４１４の位置を調節する場合と同様に、自動車の運転手が、仮想カメラ４１４を回転調節することを望む際、運転手は、図２のグラフィカルユーザインターフェース２１０を通して、関連画像関連パラメータをパラメータ設定ユニット１１４に入力することによって調節してもよく、グラフィカルユーザインターフェース１２２は、ディスプレイユニット１２０の上に重ね合わせられるタッチスクリーンを備えてもよく、オーバーレイは、３次元世界座標系５００を示す。

前述されるように、仮想カメラのｙ軸３０６、ｚ軸３０８、およびｘ軸３０４のそれぞれを中心とした回転を制御するために、１本の指による垂直、水平、ならびにスピンジェスチャが使用されてもよい。図５では、仮想カメラ４１４のレンズ４１４ａは、方向ｖ´５１０、つまり、運転手の左側を指すように示されている。この仮想カメラ４１４の回転位置付けは、１本の指による水平ジェスチャによって達成され得る、ｚ´軸５０８を中心とした反時計回りに９０°の回転を必要とし得る。運転手が、例えば、道路の縁石または路肩を見るために、仮想カメラ４１４を下方に回転させることを望む場合、これは、ｘ´軸５０４を中心に仮想カメラ４１４を回転させ得るスピンジェスチャを用いて達成されてもよい。

いったんカメラが所望の位置に回転されると、運転手は、仮想カメラ４１４の焦点距離を調節することを判断してもよく、これは、前述されるように、タッチダウンする際の指の間の距離が閾値Ｔ_ｍ１を超え、距離が増加する際にズームインされ、距離が減少する際にズームアウトされる、マルチタッチジェスチャによって達成されてもよい。一般的に、カメラシステムのより長い焦点距離は、遠く離れた物体のより大きい拡大、および視野のより狭い角度と関連付けられ、逆に、より短い焦点距離は、視野のより広い角度と関連付けられる。図５では、仮想カメラ４１４の視野の角度は、弧５１８、ならびにベクトル５１４および５１６によって画定される領域によって、概略的に示される。運転手が仮想カメラ４１４の焦点距離を長くした場合、視野の角度は狭くなるが、任意の遠く離れた物体は、よりしっかりと焦点が合って見えるであろう。

図６Ａを参照すると、シングルタッチ水平ジェスチャのための運転手のジェスチャを示すディスプレイの概略図と共に、多視野カメラシステム６００に適用される座標系例の概略図が示されている。ブロック６０２は、自動車を表し、自動車およびその直接周囲は、３つの軸、ｘ軸６０４、ｙ軸６０６、およびｚ軸６０８からなる３次元世界座標系によって定義されてもよい。タッチスクリーン６２０は、自動車内のディスプレイユニットに取り付けられてもよい、グラフィカルユーザインターフェースデバイスを表し、手６２２は、タッチスクリーン６２０上で水平ジェスチャ６２４を生成する、シングルタッチ構成の運転手の手を表す。本実現形態では、水平ジェスチャ６２４は、例えば、水平ジェスチャ６２４が右から左の際に反時計回りであり、左から右である際に時計回りであってもよい、多視野カメラシステムのｚ軸６０８（すなわち、ヨー）を中心とした回転６４０をもたらす。

図６Ｂでは、タッチスクリーン６２０は、この場合も同様に、自動車内のディスプレイユニットに取り付けられてもよい、グラフィカルユーザインターフェースを表し、手６２２は、タッチスクリーン６２０上で垂直ジェスチャ６２６を生成する、シングルタッチ構成の運転手の手を表す。この場合では、垂直ジェスチャ６２６は、例えば、垂直ジェスチャ６２４が上向きである際に反時計回りであり、下向きである際に時計回りであってもよい、多視野カメラシステムのｙ軸６０６（すなわち、ピッチ）を中心とした回転６４２をもたらす。

図６Ｃでは、タッチスクリーン６２０は、この場合も同様に、自動車内のディスプレイユニットに取り付けられてもよい、グラフィカルユーザインターフェースを表し、手６２２は、タッチスクリーン６２０上でスピンジェスチャ６２８を生成する、シングルタッチ構成の運転手の手を表す。この場合では、スピンジェスチャ６２８は、例えば、スピンジェスチャ６２４が上向きである際に反時計回りであり、下向きである際に時計回りであってもよい、多視野カメラシステムのｘ軸６０４（すなわち、ロール）を中心とした回転６４４をもたらす。

図６Ｄを参照すると、ダブルタッチ水平ジェスチャのための運転手のジェスチャを示すディスプレイの概略図と共に、多視野カメラシステム６００に適用される座標系例の概略図が示されている。ブロック６０２は、自動車を表し、自動車およびその直接周囲は、３つの軸、ｘ軸６０４、ｙ軸６０６、およびｚ軸６０８からなる３次元世界座標系によって定義されてもよい。タッチスクリーン６２０は、自動車内のディスプレイユニットに取り付けられてもよい、グラフィカルユーザインターフェースを表し、手６３２は、タッチスクリーン６２０上で水平ジェスチャ６２４を生み出す、ダブルタッチ構成の運転手の手を表す。本実現形態では、水平ジェスチャ６３２は、例えば、水平ジェスチャ６３２が左から右である際に運転手の右側であり、右から左である際に運転手の左側であってもよい、多視野カメラのｙ軸６０６に沿った平行移動６４６をもたらす。

図６Ｅでは、タッチスクリーン６２０は、この場合も同様に、自動車内のディスプレイユニットに取り付けられてもよい、グラフィカルユーザインターフェースを表し、手６３０は、タッチスクリーン６２０上で垂直ジェスチャ６３４を生成する、ダブルタッチ構成の運転手の手を表す。この場合では、垂直ジェスチャ６３４は、例えば、垂直ジェスチャ６３４が上向きである際に上向きであり、垂直ジェスチャ６３４が下向きである際に下向きであってもよい、多視野カメラシステムのｚ軸６０８に沿った平行移動６４８をもたらす。

図６Ｆでは、タッチスクリーン６２０は、この場合も同様に、自動車内のディスプレイユニットに取り付けられてもよい、グラフィカルユーザインターフェースを表し、手６３０は、タッチスクリーン６２０上でピンチジェスチャ６３６を生成する、ダブルタッチ構成の運転手の手を表す。この場合では、ピンチジェスチャ６３６は、例えば、ピンチジェスチャ６３６が上向きである際に前方であり、ピンチジェスチャ６３６が下向きである際に後方であってもよい、多視野カメラシステムのｘ軸６０４に沿った平行移動６５０をもたらす。

自動車における多視野カメラシステムの動作モードの別の実施例では、運転手が、シングルタッチジェスチャまたはマルチタッチジェスチャのいずれかを用いて、グラフィカルユーザインターフェース２１０を通して、画像関連パラメータに対する特定の調節をパラメータ設定ユニット１１４に入力する際、多視野カメラシステムは、運転手からの直接入力なく所望の視野を生成するように、他の画像関連パラメータのうちの１つ以上を自動的に調節するように構成されてもよい。換言すれば、画像関連パラメータのサブセットは、自動車の運転手によって直接変更されてもよく、一方、画像関連パラメータの別のサブセットは、運転手によって行われる画像関連パラメータに対する変更に応えて、パラメータ設定ユニット１１４によって自動的に調節されてもよい。より少ない画像関連パラメータが調節されることで、運転手にとって、仮想カメラシステムを調節することがより容易であり、パラメータ設定ユニット１１４が、適切な対応する調節を自動的に行うように構成されるため、生成される結果としてもたらされる画像は、それほど歪まない。

実施例として、多視野カメラシステムが、周囲視野モードで動作されており、運転手が、仮想カメラをｘ軸６０４またはｚ軸６０８のいずれかに沿って平行移動させる際、仮想カメラは、ｚ軸６０８（すなわち、ヨー）およびｙ軸６０６（すなわち、ピッチ）を中心に自動的に回転され、ｘ軸６０４（すなわち、ロール）を中心とした回転は、表示される車の周辺の視野領域が同一のままであるように、変更されないままである。同様に、ｙ軸６０６に沿った平行移動は、仮想カメラの「ズームイン」または「ズームアウト」に対応してもよく、それによって、パラメータ設定ユニット１１４は、自動車の周辺の同一の視野領域は保たれるが、カメラ焦点距離が変化されるように、仮想カメラを、ｘ軸６０４またはｚ軸６０８を中心に自動的に回転させてもよい。

図７Ａは、本発明による多視野カメラシステムを含む、自動車７００の概略図を示す。ブロック７００は、４つの画像源ユニット、本実現形態では、前方ビデオカメラ７０２、後方ビデオカメラ７０４、右側ビデオカメラ７０６、および左側ビデオカメラ７０８を備える、自動車を表す。これらのビデオカメラのそれぞれは、それぞれ領域７１２、７１４、７１６、および７１８によって表される、それら自体の視界を有する。ブロック７２０は、自動車７００に対する仮想カメラを表す。

図７Ａでは、自動車７００の進行方向から反時計回りに９０°に焦点が当てられた、つまり、自動車７００の左側に向けられた仮想カメラ７２０が示されている。自動車に設置された多視野カメラシステムの仮想カメラが、初期に自動車７００の中心に基づく原点に位置付けられていると仮定すると、仮想カメラ７２０を再位置付けするには、ユーザは、仮想カメラ７２０を、図６Ａのｚ軸６０８を中心に反時計回りに９０°回転させる必要があり得、これは、右から左への水平ジェスチャ６２４を用いて行われてもよい。

図７Ａの構成では、ユーザは、自動車の左側の１８０°の視界を伴う、動作の１８０°方向視野モードを選択しており、この視野は、運転手の自動車で縦列駐車操作を実施する際、運転手に有用であり得る。したがって、この方向視野モードでは、図１の画像処理ユニット１１２は、左側ビデオカメラ７０８からの視界７１８、ならびに前方ビデオカメラ７０２からの視界７１２および後方ビデオカメラ７０４からの視界７１４の部分によって表される３つの画像を選択し、ユーザに表示される、ユーザによって入力される画像関連パラメータに従う、これらの３つの画像を含む平行線模様領域７３０によって表される画像を生成する。

ディスプレイを見た後、ユーザは、ユーザの車両周囲の特定のセクションをより良く見るため、例えば、以前のディスプレイ内に現れた何かのより近接した視野を取得するために、仮想カメラ７２０を再位置付けすることを選択してもよい。図７Ｂには、図７Ａに示される仮想カメラ７２０の位置からｚ軸６０８を中心に反時計回りにさらに４５°回転され、また、ｙ軸６０６に沿って左に平行移動された、仮想カメラ７２０が示されており、これらは、それぞれ、右から左への水平ジェスチャ６２４および左から右への水平ジェスチャ６３２を用いて行われてもよい。

本構成では、ユーザは、自動車の左側の９０°の視界を伴う、動作の９０°方向視野モードを選択しており、この視野は、ユーザの自動車で縦列駐車操作を実施する際、運転手にとって有用であり得る。したがって、この方向視野モードでは、図１の画像処理ユニット１１２は、左側ビデオカメラ７０８からの視界７１８および後方ビデオカメラ７０４からの視界７１４によって表される、２つの画像の部分を選択し、ユーザに表示される、ユーザによって入力される画像関連パラメータに従う、これらの２つの画像からなる単一の画像を生成する。

ユーザが見るための平らな、または湾曲した表面上に投影される、ユーザに表示される画像は、３次元（「３−Ｄ」）であっても２次元（「２−Ｄ」）であってもよい。さらに、多視野カメラシステム１００の画像処理ユニット１１２は、ユーザによって入力される調節以外の特定の画像関連パラメータを調節するように構成されてもよい。実施例として、図７Ｂでは、画像処理ユニット１１２は、仮想カメラ７２０がｙ軸６０６に沿って沿って平行移動される際、自動車の周辺の同一の視野領域を維持し、歪みを最小限に抑え、表示される画像の適切な遠近感を維持するために、仮想カメラ７２０のピッチを自動的に変更してもよい、例えば、仮想カメラ７２０を下向きに回転させてもよい。

図８Ａを参照すると、多視野カメラシステムのディスプレイ９０２が示されており、タッチスクリーンであってもよいディスプレイ９０２の画面上の表示画像は、縁石９１６に対して平行に縦列駐車操作することを試みるユーザに提示されてもよい、視野の概略スケッチである。車道９１２上の縁石９１６の隣に駐車された駐車車両９０８が示されている。物体９０４は、道路標識、交通標識、バリケード、または工事標識、消火栓、郵便ポスト、歩行者等のユーザが関心のあり得る、または懸念し得る、任意の物体を表す。

この表示を見ると、ユーザは、ズームインし、物体９０４のより良い視野を取得することを選択してもよい。一般的に、ズームインおよびズームアウト調節は、ｙ軸６０６に沿ったダブルタッチ水平ジェスチャ６３２、ｚ軸６０８に沿ったダブルタッチ垂直ジェスチャ６３０、またはｚ軸６０８に沿ったダブルタッチピンチジェスチャ６３６によって達成されてもよく、タッチスクリーン上にタッチダウンする際の指の間の距離は、閾値Ｔ_ｍ１を超える。次いで指の間の距離が増加する場合、入力は、２本の指によるズームインジェスチャとして解釈されてもよく、そうでなければ、タッチスクリーンの上にタッチする指の間の距離が減少する場合、これは、２本の指によるズームアウトジェスチャとして解釈されてもよい。

図８Ｂは、ユーザが、タッチスクリーン上にタッチダウンする際の指の間の距離が閾値Ｔ_ｍ１を超えており、指の間の距離が増加した、図６Ｄのｙ軸６０６に沿った２本の指による水平ジェスチャを使用した後の、図８Ａの表示画像を示す。結果として、画像処理ユニット１１２は、物体９０４が、表示される画像上により近接して現れるように、仮想カメラ７２０のレンズの焦点距離を調節した、すなわち、その長さを増加させた。

図９を参照すると、本発明の実現形態の一実施例による、自動車における多視野カメラシステムを対話形式で制御するためのステップのフロー図９００が示されている。判断ステップ９０２で、自動車の運転手は、多視野カメラシステムを対話形式で制御する、周囲視野モードまたは方向視野モードのいずれかを選択するよう求められる。多視野カメラシステムの動作モードは、例えば、タッチスクリーン上をタップし、周囲視野モードと方向視野モードとを切り替えることによって選択されてもよい。追加のモードが存在してもよく、その場合、タッチスクリーンをタップすることによってモードが連続的に選択されてもよい。さらに、多視野カメラシステムは、方向視野モードである間、例えば、シングルおよびダブルタッピングのそれぞれに応えて視野角度を増加または減少させることによって、ユーザが視野角度を選択することができるように構成されてもよい。

運転手が動作の周囲視野モードを選択する場合、判断ステップ９０４で、運転手は、仮想カメラを再位置付けするという選択肢を与えられる。運転手がそうしないことを選択する場合、プロセス９００は、運転手に鳥瞰視野画像が表示される、ステップ９０６に進む。任意の他のタイプの視野を選択することができるが、実現形態の本実施例では、表示される初期設定画像は、自動車の直上位置からの３６０°鳥瞰視野であってもよい。判断ステップ９０８で、運転手は、画像のさらなる調節が必要か否かを尋ねられる。答えが「はい」である場合、プロセス９００は繰り返され、そうでなければ、プロセス７００は終了する。

動作の典型的な方法では、いったん多視野カメラシステムが起動されると、多視野カメラシステムは、自動車内のディスプレイ上に画像を生成することを開始してもよいことが当業者によって理解される。初期に、表示される画像は、自動車の前方および後方、ならびに左側および右側に搭載された４つのビデオカメラから生成される周囲視野であってもよく、それによって、運転手に、３６０°の視界の周囲画像がリアルタイムに表示される、すなわち、多視野カメラシステムは、画像源ユニットから画像を絶え間なく収集し、所望の画像を生成する。したがって、運転手は、いつでも多視野カメラシステムの動作モードを変更すること、または仮想カメラの位置を調節することを選択してもよく、この選択は、いくつかの方法によって、多視野カメラシステムに入力されてもよい。したがって、プロセス９００が連続して繰り返されている間、多視野カメラシステムは、画像源ユニットから画像を絶え間なく収集し、入力画像関連パラメータによって調節される際、所望の画像を生成する。

判断ステップ９０２に戻り、運転手が仮想カメラを再位置付けすることを選択する場合、仮想カメラは、ステップ９１０で再位置付けされる。これは、例えば、２本の指によるピンチ、水平、および垂直ジェスチャのそれぞれによって、仮想カメラを、そのｘ軸、ｙ軸、ならびにｚ軸に沿って平行移動させることによって行われてもよい。いったん所望の平行移動パラメータが多視野カメラシステムのパラメータ設定ユニットに入力されると、ステップ９０６で、画像処理ユニットによって平行移動パラメータを使用して生成される画像が表示される。

判断ステップ９０２に戻り、運転手が方向視野モードを選択する場合、次いでプロセス７００は、運転手が、仮想カメラを再位置付けすること、つまり、仮想カメラを、その３つの軸のうちの１つ以上に沿って平行移動させることによって、仮想カメラの位置を調節することを望むか否かを尋ねられる、判断ステップ９１２に進む。運転手が仮想カメラを再位置付けすることを望む場合、これは、ステップ９１４で実施され、仮想カメラは、例えば、２本の指による垂直、水平、およびピンチジェスチャをパラメータ設定ユニットに入力することによって再位置付けされてもよい。

次に、判断ステップ９１６で、運転手は、仮想カメラを、その３つの軸のうちの１つ以上を中心に回転させることを望むか否かを尋ねられる。運転手が仮想カメラを回転させることを望む場合、これは、ステップ９１８で実施され、仮想カメラは、例えば、１本の指による垂直、水平、またはスピンジェスチャをパラメータ設定ユニットに入力することによって回転されてもよい。最後に、判断ステップ９２０で、運転手は、仮想カメラのレンズの焦点距離を変更すること、すなわち、視野をズームインまたはズームアウトすることを望むか否かを尋ねられ、これは、ステップ９２２で行われる。

ステップ９１４、９１８、および９２２で行われる動作は、任意の順序で実施されてもよく、また、各動作は、運転手が所望の表示される画像を達成するまで繰り返されてもよい。各動作の後、ステップ９１６、９２４、および９３４のそれぞれで、運転手に新しい画像が表示され、表示の後、判断ステップ９１８、９２６、および９３６で、運転手は、表示される画像を受け入れるか、または判断ステップ９１４、９２２、および９３２のそれぞれでの動作を繰り返すかの選択肢を有する。

判断ステップ９３６の「はい」判断によって示されるように、いったん運転手が画像に満足すると、プロセス９００は、判断ステップ９０８に進み、表示される画像に対するさらなる調整が必要ない場合、プロセス９００は終了し、そうでなければ、プロセス９００は、判断ステップ９０２に戻り、プロセス９００を繰り返す。

上記に言及されるジェスチャは、多視野カメラシステムの仮想カメラを対話形式で制御するシステムおよび方法の実現形態の実施例を例証するためのものであり、例えば、多視野カメラシステムの他の実現形態では、仮想カメラの軸に沿った平行移動は、１本の指による垂直、水平、およびスピンジェスチャを使用することによって実施されてもよく、同様に、異なる実現形態では、仮想カメラのその軸を中心とした回転もまた、２本の指による垂直、水平、およびピンチジェスチャを使用することによって実施されてもよいことに留意されたい。さらに、また、様々な垂直、水平、スピン、およびピンチジェスチャのそれぞれは、上記に説明される以外の軸に作用してもよい。

図９に関して記載される方法は、メモリ内のデータを移動すること、およびタイミング信号を生成すること等、信号処理中に一般的に実施される追加のステップまたはモジュールを含んでもよい。また、図９の図に描写されるステップは、より多くのステップもしくは機能を用いて、または並列で実施されてもよい。

図９に関連して記載される１つ以上のプロセス、サブプロセス、またはプロセスステップもしくはモジュールは、ハードウェアおよび／またはソフトウェアによって実施されてもよいことが当業者によって理解され、認識される。プロセスがソフトウェアによって実施される場合、ソフトウェアは、図１〜図９に概略的に描写される、もしくは識別される機能構成要素またはモジュールのうちの１つ以上等の好適な電子処理構成要素あるいはシステム内のソフトウェアメモリ（図示せず）内に存在してもよい。ソフトウェアメモリ内のソフトウェアは、論理機能（つまり、デジタル回路等のデジタル形態またはソースコードのいずれかで実現されてもよい「論理」）を実現するための実行可能な命令の順序付けされたリストを含んでもよく、コンピュータベースのシステム、プロセッサ含有システム、または命令実行システム、装置、もしくはデバイスから命令を選択的にフェッチし、命令を実行し得る他のシステム等の命令実行システム、装置、またはデバイスが使用するため、あるいはそれらに関連して使用するために、任意のコンピュータ可読媒体に選択的に具現化されてもよい。本開示の文脈では、「コンピュータ可読媒体」は、命令実行システム、装置、もしくはデバイスが使用するため、またはそれらに関連して使用するためのプログラムを含有、記憶、あるいは通信し得る、任意の有形手段である。コンピュータ可読媒体は、選択的に、例えば、電子、磁気、光学、電磁気、赤外線、もしくは半導体システム、装置、あるいは電子、磁気、光学、電磁気、赤外線、もしくは半導体システム、装置、またはデバイスであってもよいが、これらに限定されない。コンピュータ可読媒体のより具体的な例ではあるが、非包括的なリストには、以下の、可搬型コンピュータディスケット（磁気）、ランダムアクセスメモリ（「ＲＡＭ」）（電子）、読み取り専用メモリ（「ＲＯＭ」）（電子）、消去可能プログラマブル読み取り専用メモリ（「ＥＰＲＯＭ」またはフラッシュメモリ）（電子）、および可搬型コンパクトディスク読み取り専用メモリ（「ＣＤＲＯＭ」）（光学）が挙げられる。コンピュータ可読媒体は、さらには、上にプログラムが印刷され、それからキャプチャされ、次いでコンパイルされる、解釈される、ないしは別の方法で好適に処理され、必要に応じて、次いでコンピュータメモリに記憶される、紙または別の好適な媒体でさえあってもよいことに留意する。

実現形態の前述の説明は、例証および説明のために提示されてきた。これは、包括的ではなく、また、主張される発明を開示される厳密な形態に限定しない。修正および変形は、上記の説明を考慮すると可能である、または本発明の実施例を実践することによって獲得され得る。特許請求の範囲およびそれらの均等物は、本発明の範囲を定義する。

Claims

自動車用の多視野カメラシステムであって、
前記多視野カメラシステムは、
１つ以上の画像源ユニットと、
前記１つ以上の画像源ユニットのそれぞれから複数の画像を受信するように構成される、前記１つ以上の画像源ユニットのそれぞれと信号通信している画像処理ユニットと、
前記多視野カメラシステムのユーザによって入力される画像関連パラメータを前記画像処理ユニットに送信するように構成される、前記画像処理ユニットと信号通信しているパラメータ設定ユニットであって、前記画像関連パラメータは、前記画像処理ユニットによって、前記ユーザに対する表示のための画像を生成するために利用される、パラメータ設定ユニットと、
前記画像処理ユニットによって生成される前記表示画像を前記ユーザに表示するように構成される、前記画像処理ユニットと信号通信しているディスプレイと
を備え、
前記画像関連パラメータは、前記多視野カメラシステムの仮想カメラを前記自動車に対して位置付けるために使用され、前記仮想カメラの位置は、前記自動車の重心に原点を有する３つの軸を備える３次元世界座標系によって定義され、
前記仮想カメラは、前記ユーザによって入力されるシングルタッチおよびマルチタッチジェスチャのうちの１つによってその３つの軸のそれぞれに沿って平行移動させられるか、または、前記ユーザによって入力されるシングルタッチジェスチャによってその３つの軸のそれぞれを中心に回転させられる、多視野カメラシステム。
前記１つ以上の画像源ユニットは、一方が前記自動車の前方に位置し、他方が前記自動車の後方に位置する、２つのビデオカメラを含む、請求項１に記載の多視野カメラシステム。
前記１つ以上の画像源ユニットは、一方が前記自動車の運転席側に位置し、他方が前記自動車の助手席側に位置する、２つの追加のビデオカメラをさらに含む、請求項２に記載の多視野カメラシステム。
前記仮想カメラの焦点距離は、前記ユーザによって入力されるダブルタッチズームインおよびズームアウトジェスチャによって変更される、請求項１に記載の多視野カメラシステム。
前記マルチタッチジェスチャのタイプは、少なくとも、タッチスクリーン上を動く少なくとも１本の指の水平移動の第１の大きさ対垂直移動の第２の大きさの比率によって判定される、請求項１に記載の多視野カメラシステム。
前記水平移動の前記第１の大きさ対前記垂直移動の前記第２の大きさの前記比率が第１の所定の閾値と比較され、前記水平移動の前記第１の大きさ対前記垂直移動の前記第２の大きさの前記比率が前記第１の所定の閾値未満である場合に、前記マルチタッチジェスチャが複数の指による垂直ジェスチャであると判定される、請求項５に記載の多視野カメラシステム。
前記水平移動の前記第１の大きさ対前記垂直移動の前記第２の大きさの前記比率が第２の所定の閾値と比較され、前記水平移動の前記第１の大きさ対前記垂直移動の前記第２の大きさの前記比率が前記第２の所定の閾値よりも大きい場合に、前記マルチタッチジェスチャが複数の指による水平ジェスチャであると判定される、請求項６に記載の多視野カメラシステム。
自動車における多視野カメラシステムを対話形式で制御する方法であって、
前記方法は、
前記自動車の複数の画像源ユニットから１つ以上の画像を収集することと、
前記自動車のユーザにより、グラフィカルユーザインターフェースを通して、前記多視野カメラシステムに画像関連パラメータを入力することと、
前記画像関連パラメータに応えて、前記ユーザに対する表示のための画像を生成することと、
前記ユーザに対する表示のための前記画像を、前記自動車内のディスプレイ上に表示することと
を含み、
前記表示のための前記画像を生成することは、前記画像関連パラメータに応えて前記多視野カメラシステムの仮想カメラを前記自動車に対して位置付けることを含み、
前記仮想カメラは、前記自動車の重心に原点を有する３つの軸を備える３次元世界座標系によって前記自動車に対して定義され、
前記仮想カメラを位置付けるステップは、前記ユーザによって入力されるシングルタッチジェスチャおよびマルチタッチジェスチャのうちの１つに応じてその３つの軸のそれぞれに沿って前記仮想カメラを平行移動させること、または、前記ユーザによって入力されるシングルタッチジェスチャによってその３つの軸のそれぞれを中心に前記仮想カメラを回転させることを含む、方法。
前記画像源ユニットは、ビデオカメラであり、前記収集するステップは、前記ビデオカメラから１つ以上の画像を収集することを含む、請求項８に記載の方法。
前記グラフィカルユーザインターフェースは、タッチスクリーンを含む、請求項９に記載の方法。
前記画像関連パラメータを入力するステップは、前記ユーザによって前記タッチスクリーン上で行われるジェスチャを解釈することを含む、請求項１０に記載の方法。
前記表示のための画像を生成するステップは、
前記画像関連パラメータに応えて、前記多視野カメラシステムの仮想カメラを前記自動車に対して位置付けることと、
前記仮想カメラの前記位置に基づき、前記画像源ユニットから収集される前記画像のすべてまたは部分を選択することと、
前記選択された画像から、前記ユーザに対する表示のための３次元（「３Ｄ」）画像を生成することと
を含む、請求項８に記載の方法。
前記マルチタッチジェスチャのタイプは、少なくとも、タッチスクリーン上を動く少なくとも１本の指の水平移動の第１の大きさ対垂直移動の第２の大きさの比率によって判定される、請求項８に記載の方法。
前記水平移動の前記第１の大きさ対前記垂直移動の前記第２の大きさの前記比率が第１の所定の閾値と比較され、前記水平移動の前記第１の大きさ対前記垂直移動の前記第２の大きさの前記比率が前記第１の所定の閾値未満である場合に、前記マルチタッチジェスチャが複数の指による垂直ジェスチャであると判定される、請求項１３に記載の方法。
前記水平移動の前記第１の大きさ対前記垂直移動の前記第２の大きさの前記比率が第２の所定の閾値と比較され、前記水平移動の前記第１の大きさ対前記垂直移動の前記第２の大きさの前記比率が前記第２の所定の閾値よりも大きい場合に、前記マルチタッチジェスチャが複数の指による水平ジェスチャであると判定される、請求項１４に記載の方法。