JP6469849B2 - ボウル型イメージングシステムにおけるオブジェクト視覚化 - Google Patents

Description

［関連米国特許出願への相互参照］
本願は、２０１４年９月１７日出願の米国特許出願第１４／４８８，７９３号（発明の名称「ＯＢＪＥＣＴ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＩＮ ＢＯＷＬ−ＳＨＡＰＥＤ ＩＭＡＧＩＮＧ ＳＹＳＴＥＭＳ」）の優先権を主張するものである。

リアビューカメラなどの車載カメラシステムは、高級車や一部のローエンド車でも主流になっている。具体的な実装に応じて、車載カメラシステムは、視覚の改善、自動並列駐車、及び／又は他の目的のために使用されてもよい。例えば、車両に搭載されたカメラによって取得された画像は、車両のナビゲーションシステムの表示画面に表示され、運転者に、車両の遮られない後方ビュー（すなわち、バックミラーより良いもの）、または車両のオーバーヘッドビュー（すなわち、車両の周囲を示すもの）を提供する。

いくつかのカメラを車両に搭載して、車両の周囲のすべてを取得することができる（すなわち、３６０度全体）。このような車載カメラシステムは、車両の周囲を取得するのに必要なカメラの数を最小にするために、魚眼レンズなどを有する広角カメラ（すなわち、魚眼カメラ）を使用することがある。しかしながら、隣接するカメラの重なり合った領域は、画像のあいまい性、二重性、及び／又は不可視オブジェクトを生じる単一の実世界点（ａ ｓｉｎｇｌｅ ｒｅａｌ−ｗｏｒｌｄ ｐｏｉｎｔ）のさまざまな投影をもたらすことがある。例えば、重なり合った領域を歩いている歩行者が二重に表示されたり、悪くすると、表示されなかったりする可能性がある。このような車載カメラシステムは、運転者に車両周囲のすべてを見ることができるという感覚を運転者に与えるので、不可視オブジェクト（すなわち、表示されていないオブジェクト）に関連する危険が増幅される。

ここで説明するコンセプトを、添付した図面において、限定ではなく実施例により説明する。説明を単純かつ明確にするため、図に示した要素は必ずしもスケール通りには描いていない。適当であれば、対応または類似する要素を示すため、複数の図面で同じ参照レベルを用いた。

車両周囲の物理的環境を表示する、車両の車載コンピューティングシステムの少なくとも１つの実施形態の簡略化したブロック図である。

図１の車両の少なくとも１つの実施形態の簡略図である。

図１の車載コンピューティングシステムによって確立された環境の少なくとも１つの実施形態の簡略ブロック図である。

仮想ボウル形状投影面の少なくとも１つの実施形態の簡略図である。

図４の仮想ボウル形状投影面の上面簡略図である。 図４の仮想ボウル形状投影面の下面簡略図である。

図４の仮想ボウル形状投影面の垂直断面の簡略図である。

図４の仮想ボウル形状投影面上へのオブジェクトの投影の少なくとも１つの実施形態の簡略図である。

図１の車載コンピューティングシステムによってボウル形状画像上に移動するオブジェクトを視覚化する方法の少なくとも１つの実施形態の簡略化された流れ図である。

図１の車載コンピューティングシステムによって、移動するオブジェクトの輪郭を投影して、移動するオブジェクトを視覚化する方法の少なくとも１つの実施形態の簡略化された流れ図である。

図１の車載コンピューティングシステムによって、隣接する画像間の接合部を修正して、移動するオブジェクトを視覚化する方法の少なくとも１つの実施形態の簡略化された流れ図である。

図４の仮想ボウル形状投影面上への、移動するオブジェクトの輪郭の投影の少なくとも１つの実施形態の簡略図である。

図１０の方法に基づいて修正された接合部を有する投影画像の簡略図である。

図１０の方法に基づいて修正された接合部を有する投影画像の簡略図である。

図１０の方法に基づいて修正された接合部を有する投影画像の簡略図である。

本開示のコンセプトはいろいろな修正を施したり代替的形式を取ったりすることもできるが、その具体的な実施形態を図面において実施例で示し、ここに詳細に説明する。しかし、言うまでもなく、開示した具体的な形式に本開示を限定する意図ではなく、逆に、本発明は本開示と添付した特許請求の範囲に沿ったすべての修正、等価物及び代替物をカバーするものである。

本明細書において「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」、「ａｎ ｅｍｂｏｄｉｍｅｎｔ」、「ａｎ ｉｌｌｕｓｔｒａｔｉｖｅ ｅｍｂｏｄｉｍｅｎｔ」などと言う場合、記載した実施形態が、ある機能、構造、または特徴を含むが、かならずしもすべての実施形態がその機能、構造、または特徴を含んでも含まなくてもよい。さらに、かかる文言は必ずしも同じ実施形態を参照しているとは限らない。さらに、ある機能、構造、または特徴をある実施形態について説明した場合、明示的に記載していようがいまいが、他の実施形態に関するそれらの機能、構造、または特徴に影響が及ぶことは、当業者には自明である。また、言うまでもなく、「少なくとも１つのＡ、Ｂ及びＣ」は、（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ｂ及びＣ）、（Ａ及びＣ）又は（Ａ、Ｂ、及びＣ）を意味し得る。同様に、「Ａ、Ｂ又はＣのうちの少なくとも１つ」との形式のリストに含まれるアイテムは、（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ｂ及びＣ）、（Ａ及びＣ）、又は（Ａ、Ｂ、及びＣ）を意味し得る。

開示した実施形態は、幾つかの場合には、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組み合わせで実装できる。開示の実施形態は、一以上の一時的又は非一時的な機械読み取り可能（例えば、コンピュータ読み取り可能）記憶媒体により担われ、又はそれに格納された（一以上のプロセッサにより読み取られ実行され得る）命令として実装することもできる。機械読み取り可能記憶媒体は、機械により読み取り可能な形式で情報を格納又は送信する任意のストレージデバイス、メカニズム、又はその他の物理的構造（例えば、揮発性又は不揮発性メモリ、メディアディスク、又はその他のメディアデバイス）として実施できる。

図中、幾つかの構造的又は方法フィーチャを具体的な構成及び／又は順序で示すかも知れない。しかし、言うまでもなく、かかる具体的な構成及び／又は順序は必須ではない場合がある。むしろ、幾つかの場合には、かかるフィーチャは、例示した図面に示したのとは異なる方法及び／又は順序で構成することもできる。また、ある図面に構造的又は方法フィーチャを含めることは、かかるフィーチャがすべての実施形態において必要であることを意味するのではなく、幾つかの実施形態では、含まれなくてもよいし、他のフィーチャと組み合わされてもよい。

ここで図１を参照する。図１に示すように、例示的な実施形態では、車両１００は、本明細書で説明される機能を実行することができる任意のタイプのコンピューティングシステムとして具体化され得る車載コンピューティングシステム１０２を含む。例示的な実施形態では、車両１００は、車輪付き乗用車（例えば、自動車、トラック、トラックトラクター、バスなど）として具体化される。しかしながら、言うまでもなく、他の実施形態では、車両１００は、別のタイプの車両（例えば、レール駆動トロリー、無人車両、または説明される技術および機構の適用に適した別の車両）として実施されてもよく、または他の可動装置として実施されてもよい。本明細書で説明するように、例示的な実施形態では、車載コンピューティングシステム１０２は、オーバーラップする視野（すなわち、シーン）を有する隣接する魚眼カメラで魚眼画像を取得するように構成される。車載コンピューティングシステム１０２は、重複領域内を移動するオブジェクトを識別し、投影された重複画像領域（すなわち、重なり合う視野に関連する重複領域に対応するもの）を修正し、識別された移動オブジェクトを仮想ボウル形状投影面（例えば、図４参照）上に視覚化する。いくつかの実施形態では、車載コンピューティングシステム１０２は、識別された移動オブジェクトの輪郭を仮想ボウル形状の投影面に投影して、移動オブジェクトを視覚化する。一方、他の実施形態では、車載コンピューティングシステム１０２は、魚眼画像の重なり領域において隣接する魚眼画像（例えば、隣接する魚眼カメラによって取得された画像）を修正して、移動オブジェクトを視覚化する。いくつかの実施形態では、車載コンピューティングシステム１０２は、車載インフォテインメントシステム、ナビゲーションシステム、及び／又は他の車両ベースのコンピューティングシステムとして実施されてもよく、またはそれらの一部を構成してもよい。他の実施形態では、車載コンピューティングシステム１０２は、スタンドアロンコンピューティングデバイスまたはコンピューティングシステムとして実施されてもよい。

さらに、いくつかの実施形態では、遠隔コンピューティングデバイスが、車載コンピューティングシステム１０２と通信可能に結合され、本明細書で説明される機能の１つまたは複数を（例えば、遠隔から）実行し、結果を車載コンピューティングシステム１０２に、ネットワーク（例えば、有線または無線の通信ネットワーク）を介して通信するように構成されてもよい。そのような実施形態では、リモートコンピューティングデバイスは、車載コンピューティングシステム１０２と通信し、本明細書に記載の機能を実行できる任意のタイプのコンピューティングシステム（例えば、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ノートブック、ネットブック、ウルトラブック（商標）、セルラフォン、スマートフォン、パーソナルデジタルアシスタント、モバイルインターネットデバイス、ウェアラブルコンピューティングデバイス、ハイブリッドデバイス、及び／又は任意の他のコンピューティング／通信デバイス）として実施してもよい。

図１に示したように、例示の車載コンピューティングシステム１０２は、プロセッサ１１０、入出力（Ｉ／Ｏ）サブシステム１１２、メモリ１１４、データストレージ１１６、ディスプレイ１１８、カメラシステム１２０、ユーザインターフェース１２２、及び、幾つかの実施形態では、一以上の周辺デバイス１２４を含む。また、カメラシステム１２０は一以上のカメラ１２６を含み、ユーザインターフェース１２２は仮想カメラ制御１２８を含む。もちろん、車載コンピューティングシステム１０２は、他の一実施形態では、典型的なコンピューティングデバイスに一般的に見つかるようなその他の又は追加的なコンポーネント（例えば、通信回路、様々な入出力デバイス、及び／又はその他のコンポーネントなど）を含み得る。また、幾つかの実施形態では、例示したコンポーネントのうち一以上は、他のコンポーネントに組み込まれていても良く、又はその一部を構成していても良い。例えば、メモリ１１４又はその部分は、幾つかの実施形態では、プロセッサ１１０に組み込まれても良い。

プロセッサ１１０は、ここに説明する機能を実行できる任意のタイプのプロセッサとして実施できる。例えば、このプロセッサは、シングル又はマルチコアプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、又はその他のプロセッサ又は処理／制御回路として実施できる。同様に、メモリ１１４は、ここに説明する機能を実行できる、任意のタイプの揮発性又は不揮発性メモリ又はデータストレージとして実施できる。動作中、メモリ１１４は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、及びドライバなど、車載コンピューティングシステム１０２の動作中に用いられる様々なデータとソフトウェアを記憶できる。メモリ１１４は、Ｉ／Ｏサブシステム１１２を介してプロセッサ１１０に通信可能に結合している。Ｉ／Ｏサブシステム１１２は、プロセッサ１１０、メモリ１１４、及び車載コンピューティングシステム１０２のその他のコンポーネントとの入出力動作を容易にする回路及び／又はコンポーネントとして実施できる。例えば、Ｉ／Ｏサブシステム１１２は、メモリコントローラハブ、入出力制御ハブ、ファームウェアデバイス、通信リンク（すなわち、ポイント・ツー・ポイントリンク、バスリンク、ワイヤ、ケーブル、光ガイド、プリント回路板トレースなど）及び／又は入出力動作を容易にするその他のコンポーネント及びサブシステムとして、又はこれらを含むものとして実施できる。幾つかの実施形態では、Ｉ／Ｏサブシステム１１２は、システム・オン・チップ（ＳｏＣ）の一部を形成でき、単一の集積回路チップ上にプロセッサ１１０、メモリ１１４、及び車載コンピューティングシステム１０２のその他のコンポーネントとともに、組み込むことができる。

データストレージ１１６は、例えば、メモリデバイスと回路、メモリカード、ハードディスクドライブ、固体ドライブ、その他の記憶デバイスなどの、データを短期又は長期にわたり格納するように構成された任意のタイプのデバイスとして実施できる。データストレージ１１６及び／又はメモリ１１４は、例えば、取得され処理された画像、画像フィルタ、構成要素パラメータ（例えば、カメラ１２６の固有パラメータ）、及び／又は後述の車載コンピューティングシステム１０２の動作に有用な他のデータなど、様々なデータを、車載コンピューティングシステム１０２の動作中に格納してもよい。

車載コンピューティングシステム１０２のディスプレイ１１８は、車載コンピューティングシステム１０２のユーザ（例えば、車両１００の運転者または乗客）に情報を表示することができる任意の１つまたは複数の表示画面として実施することができる。ディスプレイ１１８は、例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、プラズマディスプレイ、ホログラフィックまたは他の三次元（３Ｄ）ディスプレイ、及び／又は他のディスプレイ技術などを含む任意の適切なディスプレイ技術として実施され、又はそれらを使用してもよい。図１には、単一のディスプレイ１１８のみが示されているが、言うまでもなく、車載コンピューティングシステム１０２は、同じまたは異なるコンテンツが互いに同時にまたは順次に表示される複数のディスプレイまたはディスプレイ画面を含むことができる。ディスプレイ１１８は、様々な車両動作パラメータ及び／又は車両インフォテイメント情報（例えば、ラジオ局、温度制御など）が表示される汎用ディスプレイとして実施されてもよい。あるいは、ディスプレイ１１８は、後述するように、カメラシステム１２０によって生成された画像を表示するための特定用途ディスプレイとして実施されてもよい。

カメラシステム１２０は、１つ以上のカメラ１２６を含み、これは車両１００の周囲環境、より具体的には車載コンピューティングシステム１０２の周囲環境の画像を取得するために使用され得る。言うまでもなく、例示的な実施形態では、カメラシステム１２０のカメラ１２６は、車両１００の３６０度全体の周囲またはその大部分を取得するように適切に離間されている。幾つかの実施形態では、各カメラ１２６の視野は他の一以上のカメラ１２６と重なり合う。特に、隣接するカメラ１２６は、重なり領域において互いに重なるシーンを取得するように構成されてもよい。さらに、いくつかの実施形態では、カメラ１２６相互の配置、及び／又は車両１００に対するカメラ１２６の配置に関連するジオメトリ（ｇｅｏｍｅｔｒｙ）は、既知であるか、または決定することができる。

カメラ１２６の各々は、スチルカメラ、ビデオカメラ、ウェブカメラ、またはビデオ及び／又は画像を取り込むことができる他の装置のような、画像を取り込むのに適した任意の周辺デバイスまたは一体化装置として実施することができる。例示的な実施形態では、カメラ１２６の各々は、車両１００の完全な、またはほぼ完全な周囲の取得を容易にする魚眼カメラとして実施される。もちろん、他の実施形態では、他のタイプの広角カメラ又は狭角カメラが、例えば、車両１００のタイプ、使用されるカメラ１２６のタイプ、使用されるカメラ１２６の数、及び／又は他の基準に応じて使用されてもよい。さらに、カメラシステム１２０は、そのような様々な基準に応じて車両１００の周囲を取得する２つ以上のカメラ１２６を含むことができる。例示的な実施形態では、カメラシステム１２０は、車両１００の全周囲を取得するために、車両１００に取り付けられた、または一体化された４つの魚眼カメラ１２６（すなわち、魚眼レンズを有するカメラ１２６）を含み、そうするために必要なカメラ１２６の数を最小限に抑えている。例えば、図２の例示的な実施形態に示されるように、車両１００の四辺（前後、運転席側、助手席側）のそれぞれにカメラ１２６を搭載してもよい。もちろん、他の実施形態では、車載コンピューティングシステム１０２は、異なる数、タイプ、及び／又は相対的な位置のカメラ１２６を利用してもよい。例えば、別の実施形態では、カメラ１２６は、車両１００の他の場所（例えば、車両１００の隅部）に配置してもよい。具体的な実施形態に応じて、カメラシステム１２０のカメラ１２６は、同じタイプであってもよいし、異なるタイプであってもよい。例えば、いくつかの実施形態では、カメラシステム１２０の１つまたは複数のカメラ１２６が魚眼レンズを有し、１つまたは複数のカメラ１２６が従来のレンズを有することができる。

ユーザインターフェース１２２は、車載コンピューティングシステム１０２のユーザが車載コンピューティングシステム１０２と対話することを可能にする。例えば、以下に説明するように、ユーザは、車載コンピューティングシステム１０２と対話して、車両１００の周囲をディスプレイ１１８上に表示することができる。このように、いくつかの実施形態では、ユーザインターフェース１２２は、Ｉ／Ｏ機能を可能にする１つ以上の仮想的及び／又は物理的ボタン、ノブ、スイッチ、キーパッド、タッチスクリーン、及び／又は他の機構を含む。例えば、いくつかの実施形態では、ユーザインターフェース１２２は、車両１００のナビゲーションシステムまたはインフォテイメントシステムと一体化されてもよい。上述したように、ユーザインターフェース１２２は、例示的な実施形態では仮想カメラ制御１２８を含む。仮想カメラ制御１２８は、車載コンピューティングシステム１０２のユーザが、車載コンピューティングシステム１０２の仮想カメラ２０２（図２参照）の視野を（例えば、仮想カメラを「動かして」）修正できるようにする。以下で詳細に説明するように、仮想カメラ２０２は、ディスプレイ１１８上にレンダリングされる画像を「キャプチャ」する。これは、カメラ１２６の１つによってキャプチャされる単一の画像または複数のカメラ１２６（例えば、隣接するカメラ１２６）によってキャプチャされた画像の組み合わせに対応してもよい。したがって、仮想カメラ２０２を回転させるかまたは移動させ、それによって仮想カメラ２０２の視野を変更することによって、表示される画像は、車載コンピューティングシステム１０２のユーザによって調整され得る。以下でさらに詳細に説明するように、ボウル形状画像は、カメラ１２６によって取得され、車載コンピューティングシステム１０２によって処理される車両１００の周囲の画像に基づいて生成される。このように、いくつかの実施形態では、複数のカメラ１２６からの視野の組み合わせを含んでもよい仮想カメラ２０２の視野に基づいて、ボウル形状画像（ｂｏｗｌ ｓｈａｐｅｄ ｉｍａｇｅ）をディスプレイ１１８上にレンダリングすることができる。例えば、ボウル形状画像は、そのボウル形状画像が仮想カメラ２０２によって（例えば、ボウル形状画像の上／下から、遠く／近くから、内側／外側から）「キャプチャ」される視点に基づいて表示されてもよい。

幾つかの実施形態では、車載コンピューティングシステム１０２は、一以上の周辺デバイス１２４を含んでいても良い。周辺デバイス１２４は、スピーカ、マイクロホン、追加の記憶装置などの任意の数の追加の周辺デバイスまたはインタフェース装置を含むことができる。周辺デバイス１２４に含まれる具体的なデバイスは、例えば、車載コンピューティングシステム１０２のタイプ及び／又は意図された使用（例えば、車載コンピューティングシステム１０２がスタンドアロンシステムであるか、より大型の車載インフォテインメントシステムに組み込まれているか）に依存する。言うまでもなく、具体的な実施形態に応じて、車載コンピューティングシステム１０２の１つ以上のコンポーネント（例えば、仮想カメラ制御１２８及び／又は周辺デバイス１２４）を省略することができる。

ここで図３を参照する。図３に示すように、使用中、車載コンピューティングシステム１０２は、車両１００の周囲のボウル形状画像上に移動するオブジェクトを視覚化するための環境３００を確立する。以下に説明するように、例示的な実施形態では、車載コンピューティングシステム１０２は、隣接する魚眼カメラ１２６から魚眼画像を受信する。魚眼画像は、重複領域で互いに重なるシーン（すなわち、視野）をキャプチャする。言うまでもなく、重複領域のサイズ及び／又は形状は、例えば、カメラシステム１２０のジオメトリ（ｇｅｏｍｅｔｒｙ）に依存する。さらに、重複領域において、取得された画像は、車両１００を取り囲む環境の同じ実世界点の描写を含み、したがって、同じ画像特徴（ｉｍａｇｅ ｆｅａｔｕｒｅｓ）を含む。例示的な車載コンピューティングシステム１０２はさらに、重複領域内の移動するオブジェクトを識別し、重複画像領域の投影バージョン（例えば、図４の仮想ボウル形状投影面への投影）を修正して、識別された移動するオブジェクトを視覚化する。当然のことながら、いくつかの実施形態では、車載コンピューティングシステム１０２は、仮想ボウル形状投影面に投影する前に、魚眼画像または魚眼画像の組み合わせ／処理されたバージョンを修正することができる。以下で説明するように、車載コンピューティングシステム１０２は、特定された移動するオブジェクトの輪郭を仮想ボウル形状投影面に投影するか、または隣接する魚眼画像間の（すなわち、重なり合う画像領域内の）接合部を修正して移動オブジェクトを視覚化する。

車載コンピューティングシステム１０２の例示的な環境３００は、画像取得モジュール３０２、ボウル生成モジュール３０４、表示モジュール３０６、カメラ制御モジュール３０８、重なり判定モジュール３１０、オブジェクト識別モジュール３１２、およびオブジェクト視覚化モジュール３１４を含む。さらに、オブジェクト識別モジュール３１２は、動き決定モジュール３１６および輪郭決定モジュール３１８を含み、オブジェクト視覚化モジュール３１４は、輪郭投影モジュール３２０および接合部修正モジュール３２２を含む。環境３００のモジュールは、それぞれ、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせとして実施されてもよい。例えば、環境３００のモジュール、ロジック、および他のコンポーネントのそれぞれは、プロセッサ１１０または車載コンピューティングシステム１０２の他のハードウェアコンポーネントの一部を形成するか、そうでなければ確立または実行されてもよい。さらに、いくつかの実施形態では、例示的なモジュールの１つまたは複数は、別のモジュールの一部を形成してもよく、及び／又は例示的なモジュールのうちの１つまたは複数は、スタンドアロンまたは独立したモジュールとして実施されてもよい（例えば、動き判定モジュール３１６はオブジェクト識別モジュール３１２とは別であってもよい）。言うまでもなく、いくつかの実施形態では、２０１３年１２月１９日に出願された国際特許出願ＰＣＴ／ＵＳ２０１３／０７６６４４号に記載されている技術及び／又はモジュールの１つまたは複数を、車載コンピューティングシステム１０２により利用されても、及び／又は本明細書に記載の環境３００に含まれてもよい。同様に、本明細書に記載の技術及び／又はモジュールは、国際特許出願ＰＣＴ／ＵＳ２０１３／０７６６４４号に記載されている車載コンピューティングシステムのいくつかの実施形態で利用することができる。

画像取得モジュール３０２は、カメラシステム１２０のカメラ１２６を制御して、各カメラ１２６の視野内のシーンの画像／ビデオを取得する。具体的な実施形態に応じて、画像取得モジュール３０２が、（例えば、ビデオストリームとして）連続的に、定期的に、時間的または条件的入力に応じて、それらの組み合わせとして、または別の方式に基づいて、画像を取り込むよう、各カメラ１２６に命令してもよい。例えば、カメラ１２６は、車両１００のトランスミッション（ｔｒａｎｓｍｉｓｓｉｏｎ）が反転モード（ｒｅｖｅｒｓｅ ｍｏｄｅ）にあるとき、及び／又は車両１００がある閾値速度より遅く動いているときに、画像を取り込むことができる。

ボウル生成モジュール３０４は、カメラシステム１２０のカメラ１２６により取得された画像が、またはその処理されたバージョン（例えば、結合された画像）が、車載コンピューティングシステム１０２のユーザ（例えば、車両１００の運転者）が見るよう投影される仮想ボウル形状投影面４０２（図４参照）を生成する。ほとんどの車載撮像システムでは、車載カメラによって取得された画像の視覚化は、車両がある地面４０４（図４参照）に位置していないオブジェクトの著しい歪みをもたらす。例示的な実施形態では、仮想ボウル形状投影面４０２は、例えば、仮想ボウル形状投影面４０２の滑らかさ、仮想ボウル形状投影面４０２と地面４０４の間のスムースな移行、および地面４０４におけるボウル形状投影面４０２の平坦度などのはっきりと規定されたジオメトリ的特徴を有する。例示的な実施形態では、車両１００のサイズに関するさまざまなパラメータ（例えば、長さ、幅、高さなど）及び／又はその他の特徴（例えば、ボウルの高さ、水平オフセット、適応比（ａｄａｐｔｉｖｅ ｒａｔｉｏｓ）など）に基づき、ボウル生成モジュール３０４は、仮想ボウル形状の投影面４０２の所望の形状（ｇｅｏｍｅｔｒｙ）を決定し、（例えば、仮想ボウル形状投影面４０２の各水平スライス４０６を構成することにより）仮想ボウル形状の投影面４０２を構成する。いくつかの実施形態では、各水平スライスは、具体的な実施形態に依存する幅（例えば、不均一な幅）を有することができる。

言うまでもなく、例示的な実施形態では、仮想ボウル形状投影面４０２は、車両１００またはその仮想表示が、地面４０４上のボウル形状の投影面４０２の内側に配置されるように形成される。詳細に後述するように、ボウル生成モジュール３０４は、その情報に基づいて、車両１００の長さに沿ってボウル形状投影面４０２の垂直スライス４０８（図４参照）の主および副の半軸（ｍａｊｏｒ ａｎｄ ｍｉｎｏｒ ｓｅｍｉ−ａｘｅｓ）を決定する。さらに、ボウル生成モジュール３０４は、仮想ボウル形状投影面４０２の（例えば、ボトム４１０からトップ４１２までの）各水平スライスに対して、仮想スライス４０８の主半軸及び副半軸に基づいて、対応する水平スライスの主半軸を決定し、対応する水平スライスの主半軸と副半軸との間の適応比に基づいて、対応する垂直軸の副半軸を決定する。以下に説明するように、例示的な実施形態では、適応比は直線的に変化し、ボウル形状投影面４０２のトップ４１２において約１（すなわち１．０）であり、ボウル形状投影面４０２のボトム４１０において、車両１００の長さを車両１００の幅で割った比（すなわち、
［外１］

）に等しい。図５Ａに示すように、ボウル形状投影面４０２の軸５０４に沿って見たボウル形状投影面４０２の上面図５０２から、ボウル形状投影面４０２の一番上の水平スライス５０６は円形の幾何学的形状を有し、ボウル形状投影面４０２の最大のスライス５０８は、ボウル形状投影面４０２の垂直方向の中央（ｖｅｒｔｉｃａｌ ｍｉｄｄｌｅ）に向かっている。さらに、図５Ｂに示すように、ボウル形状投影面４０２の底面図５１０から軸５０４に沿って見た場合、ボウル形状投影面４０２の一番下の水平スライス５１２は、非円形の楕円形の幾何学的形状を有する（すなわち、一番下の水平スライス５１２は、長軸が短軸と等しくない楕円をとなる）。

ボウル生成モジュール３０４はさらに、水平スライスを結合して仮想ボウル形状投影面４０２を生成する。例えば、ボウル生成モジュール３０４は、ボウル形状投影面４０２の水平スライスを積み重ね、これらのスライスをマージ（ｍｅｒｇｅ）して、ボウル形状投影面４０２を形成することができる。さらに、ボウル生成モジュール３０４は、平らな地面４０４（または、より具体的には部分平面）であるボウルのボトム４１０を生成してマージすることができる。言うまでもなく、ボウル形状投影面４０２のトップ４１２は部分的に開いており、車両１００の上方の環境の部分はボウル形状投影面４０２のトップに投影することができる。例示的な実施形態では、地面４０４に隣接して生成された仮想ボウル形状投影面４０２のセクションがフィルタリングされるか、さもなければ平滑化される。ボウル形状投影面４０２の（例えば、垂直スライス４０８に垂直にとった）垂直断面６０２の一部分によって図６に示すように、ボウル形状投影面４０２の底部（ｂｏｔｔｏｍ ｐｏｒｔｉｏｎ）６０４は、ボウル形状投影面４０２のトップ（ｔｏｐ ｐｏｒｔｉｏｎ）６０６がボウル形状の投影面４０２のトップ（ｔｏｐ）４１２に近づくよりも遅い速度で、ボウル形状投影面４０２のボトム（ｂｏｔｔｏｍ）４１０（すなわち、地面４０４）に近づく。

言うまでもなく、この例示的な実施形態では、ボウル形状投影面４０２に投影される画像（本明細書では「ボウル形状画像」と呼ぶ）は、ボウル形状投影面に関して上述した特徴を含むことになる（すなわち、ボウル形状画像は、トップの導関数の絶対値よりも小さい絶対値を有する導関数を有する底部を含むことになる）。さらに、ボウル形状投影面４０２の底部は、ボウル形状投影面４０２の地面４０４とマージ（ｍｅｒｇｅ）して、任意の場所における表面の微分を確定する（すなわち、特異点が存在しない）ようにする。言うまでもなく、ボウル生成モジュール３０４は、任意の適切な画像フィルタ、アルゴリズム、技術、及び／又は機構を使用して、仮想ボウル形状投影面およびボウル形状画像を生成してもよい。もちろん、いくつかの実施形態では、ボウル生成モジュール３０４は、本明細書で説明する図４の仮想ボウル形状投影面４０２とは異なる特徴を有する仮想ボウル形状投影面を生成してもよい。

再び図３を参照する。図３に示すように、表示モジュール３０６は、車載コンピューティングシステム１０２のユーザが見る画像を、ディスプレイ１１８上にレンダリングする。例えば、表示モジュール３０６は、ボウル生成モジュール３０４によって生成された仮想ボウル形状投影面４０２上に１つ以上の魚眼画像、処理された画像、及び／又は他のタイプの画像を「投影」して、ボウル形状画像を生成し、ディスプレイ１１８上にボウル形状画像またはその一部を表示することができる。当然のことながら、言うまでもなく、いくつかの実施形態では、生成された画像または結合された画像は、従来の意味でボウル形状投影面４０２に「投影」されるのではなく、むしろ、生成された画像は、あたかも画像がボウル形状投影面４０２上に投影されたかのように、上述した特徴を含むボウル形状を有するように修正されてもよい。

上述したように、いくつかの実施形態では、表示モジュール３０６は、車載コンピューティングシステム１０２の仮想カメラ２０２の視野内にボウル形状画像の部分のみをレンダリングすることができる。したがって、ボウル形状画像は、３次元表面上に「投影」された画像として実施されてもよいが、ディスプレイ１１８は、いくつかの実施形態において、ボウル形状画像の２次元パースペクティブ（ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ ｐｅｒｓｐｅｃｔｉｖｅ）をレンダリングすることができる。例示的な実施形態では、カメラ制御モジュール３０８は、仮想カメラ２０２の視点を決定し、仮想カメラ制御１２８と共に、車載コンピューティングシステム１０２のユーザが仮想カメラ２０２の視野を修正することを許可する。

上述のように、カメラシステム１２０は、車両１００の周囲を取得するように戦略的に配置された複数のカメラ１２６を含む。カメラ１２６の各々は、その視野内のシーンの独立した画像を生成し、カメラ１２６は、隣接するカメラ１２６（すなわち、互いに最も隣接するカメラ１２６）の視野が、重なっているシーン／領域を有するように構成される。いくつかの実施形態では、車載コンピューティングシステム１０２は（例えば、表示モジュール３０６を介して）カメラ１２６によって生成された２つ以上の画像を結合して、仮想ボウル形状投影面４０２に投影する結合画像（例えば、パノラマ画像）を生成してもよい。例えば、車載コンピューティングシステム１０２は、隣接するカメラ１２６によって取り込まれた２つの画像に基づいて、投影する合成画像を生成することができる。便宜上、そのような画像を本明細書では「隣接する画像」と呼ぶことがある。他の実施形態では、車載コンピューティングシステム１０２は、仮想ボウル形状投影面４０２に画像を投影し、以下で説明するように投影を組み合わせる（ｃｏｍｂｉｎｅ）ことができる（例えば、投影面４０２の対応する重なり合う領域において投影を融合（blend）、トリミング及び／又は修正することによる）。

重なり判定モジュール３１０は、隣接する画像の重なり領域を判定する。言うまでもなく、重なり判定モジュール３１０は、任意の適切な技術、アルゴリズム、及び／又は機構を用いて、重複する画像領域を識別してもよい。例えば、例示的な実施形態では、カメラシステム１２０のジオメトリおよびカメラ１２６の固有パラメータは、既知であるか、または他の方法で決定可能である。したがって、いくつかの実施形態では、重なり領域は、そのようなジオメトリ（ｇｅｏｍｅｔｒｙ）及び／又はパラメータに基づいて決定されてもよい。他の実施形態では、重複領域は、特徴検出および特徴マッチングアルゴリズムに基づいて決定されてもよい。例えば、重なり判定モジュール３１０は、高速化されたロバスト特徴（ＳＵＲＦ）、スケール不変特徴変換（ＳＩＦＴ）、マルチスケール指向パッチ（ＭＯＰＳ）、Ｃａｎｎｙフィルタ、Ｈａｒｒｉｓフィルタ及び／又はソーベル（Ｓｏｂｅｌ）フィルタなどの１つ以上の特徴検出器／ディスクリプタ（ｄｅｓｃｒｉｐｔｏｒｓ）を利用して、各隣接画像の特徴を検出および記述してもよい。さらに、重なり判定モジュール３１０は、２乗差分（ＳＳＤ）、固定閾値、最近傍、及び／又はランダムサンプルコンセンサス（ＲＡＮＳＡＣ）などのマッチングアルゴリズムまたは手法を用いて、することができるステレオ画像対）を使用して、２つの画像の識別された特徴に基づいて、互いに対応する２つの画像の特徴を識別する。言い換えれば、重なり判定モジュール３１０は、隣接するカメラ１２６の両方が取得したシーン（例えば、特定のオブジェクト、要素、及び／又は特徴を有する）の一部分（すなわち、重複領域）を識別することができる。もちろん、重なり判定モジュール３１０は、他の実施形態では、隣接する画像の重なり領域を決定してもよい。

オブジェクト識別モジュール３１２は、車両１００を取り囲む近傍の１つ以上のオブジェクトを識別する。言うまでもなく、オブジェクト識別モジュール３１２は、任意の適切な技術、アルゴリズム、及び／又はメカニズムを使用して、車両１００を取り囲む近傍の（例えば、車両１００の近く）オブジェクト、および車両１００または他の基準点に対するそのオブジェクトの位置を決定することができる。例えば、いくつかの実施形態では、オブジェクトは、２０１３年１２月１９日に出願された国際特許出願ＰＣＴ／ＵＳ２０１３／０７６６４４号に記載されているオプティカルフロー、セグメンテーション、及び／又は分類技術の１つまたは複数を用いて識別することができる。追加的に又は代替的に、オブジェクト識別モジュール３１２は、車両１００の１つ以上のセンサ（例えば、３Ｄセンサ）を利用して、車両１００の近くのオブジェクトを識別／位置特定することができる。上述したように、隣接カメラ１２６によって取得された画像が、仮想ボウル形状投影面に投影されたとき、ボウル形状面は、多くの場合、単一の実世界点の異なる投影を有しており、車両１００の周囲の画像があいまいになり、二重に見え、及び／又はオブジェクトが見えないことがある。したがって、例示的な実施形態では、オブジェクト識別モジュール３１２は、重複領域内の移動オブジェクトを識別する。以下に説明するように、重なった画像領域の仮想ボウル形状投影面への投影は、識別された移動するオブジェクトを視覚化するように修正される。本明細書では、単一のオブジェクトを識別し、単一のオブジェクトに基づいて投影を修正することを参照して技術およびアルゴリズムを主に説明したが、いくつかの実施形態では、車載コンピューティングシステム１０２は、複数のオブジェクトを識別し、及び／又は複数のオブジェクトに基づいて投影を修正することができる。

上述したように、例示的なオブジェクト識別モジュール３１２は、動き判定モジュール３１６および輪郭判定モジュール３１８を含む。動き判定モジュール３１６は、車両１００の周囲のオブジェクトの動きを判定する。特に、例示的な実施形態では、動き判定モジュール３１６は、対応する隣接画像を取得したカメラ１２６に対する重複画像領域に位置するオブジェクトの動きを決定する。言うまでもなく、動き判定モジュール３１６は、任意の適切な技術、アルゴリズム、及び／又は機構を用いて、かかる決定をしてもよい。例えば、動き判定モジュール３１６は、オプティカルフローアルゴリズム（例えば、２０１３年１２月１９日に出願された国際特許出願ＰＣＴ／ＵＳ２０１３／０７６６４４号に記載されているオプティカルフロー技術を参照）、同じカメラ１２６で撮影された一連の画像、及び／又は１つまたは複数のセンサ（図示せず）を利用してもよい。センサを含む実施形態では、センサは、例えば、近接センサ、光学センサ、光センサ、オーディオセンサ、温度センサ、動きセンサ、圧電センサ、及び／又は他のタイプのセンサとして実施してもよく、これらを含んでもよい。もちろん、車載コンピューティングシステム１０２は、センサの使用を容易にするように構成された構成要素及び／又はデバイスを含むこともできる。

輪郭決定モジュール３１８は、仮想ボウル形状の投影面４０２への投影のために、動き判定モジュール３１６によって識別された１つ以上の移動オブジェクトの輪郭を決定するように構成される。以下に説明するように、例示的な実施形態では、輪郭決定モジュール３１８または、より一般的には、オブジェクト識別モジュール３１２は、識別された移動オブジェクト（例えば、その輪郭）を仮想ボウル形状投影面に投影する、隣接する魚眼画像のうちの１つを選択する。したがって、輪郭決定モジュール３１８は、適切な技術、アルゴリズム、及び／又は機構（例えば、エッジ検出、画像セグメンテーション、及び／又は他の画像フィルタまたはアルゴリズム）を使用して、選択された魚眼画像上の識別された移動オブジェクトの輪郭を決定する。後述するように、いくつかの実施形態では、輪郭決定モジュール３１８は、輪郭を「フラッド・フィル（ｆｌｏｏｄ−ｆｉｌｌ）」して、動くオブジェクトを、生成されたボウル形状画像の他の特徴と（例えば、明るい色を用いて）コントラストをつけてもよい。他の実施形態では、輪郭決定モジュール３１８は、仮想ボウル形状投影面４０２への投影（例えば、融合（blend）された／透明なオーバーラップ領域への投影）のために、移動するオブジェクトの輪郭内の選択された魚眼画像の画像領域を特定することができる。

上述したように、隣接カメラ１２６によって取得された画像が、仮想ボウル形状投影面に投影されたとき、ボウル形状面は、多くの場合、単一の実世界点の異なる投影を有しており、従来の方法では、車両１００の周囲の画像があいまいになり、二重に見え、及び／又はオブジェクトが見えないことがある。このように、例示的な実施形態では、オブジェクト視覚化モジュール３１４は、重複する画像領域内のオブジェクト視覚化を改善する。具体的には、オブジェクト視覚化モジュール３１４は、投影された重複画像領域（すなわち、隣接する魚眼画像の重なり領域に対応するもの）を修正して、識別された移動するオブジェクトを仮想ボウル形状投影面４０２上に視覚化する。上述したように、いくつかの実施形態では、オブジェクト視覚化モジュール３１４は、投影自体を変更して、識別された移動オブジェクトを視覚化するが、他の実施形態では、オブジェクト視覚化モジュール３１４は、仮想ボウル形状投影面４０２に投影する前に、識別された移動オブジェクトの視覚化のために、隣接する魚眼画像及び／又はその処理／結合されたバージョンを修正する。さらに、上述したように、例示的な実施形態では、オブジェクト視覚化モジュール３１４は、輪郭投影モジュール３２０および接合修正モジュール３２２を含む。

輪郭投影モジュール３２０は、隣接する画像の重複する画像領域を融合（blend）して、（例えば、投影上または結合／処理された画像自体の上に）融合（blend）された重複画像領域を生成し、融合された重複画像領域を修正して、その融合された重複画像領域に、識別された移動オブジェクトの輪郭を視覚化する。言うまでもなく、重なり合う画像領域は、任意の適切なアルゴリズム、技術、及び／又は機構を用いて融合されてもよい。例えば、いくつかの実施形態では、輪郭投影モジュール３２０は、平均化またはぼかしフィルタ（例えば、ガウシアンフィルタ）を利用することができる。他の実施形態では、輪郭投影モジュール３２０は、重なり合う画像領域またはその一部を透明にすることができる。例示的な実施形態では、輪郭投影モジュール３２０は、特定された移動オブジェクトの輪郭を、（例えば、ボウル形状画像の）融合された重複画像領域に投影し、オブジェクトの輪郭が、ボウル形状画像上の融合された重複画像領域にオーバーレイされるようにする。上述したように、そうすることで、輪郭投影モジュール３２０は、具体的な実施形態に応じて様々な方法で輪郭を投影することができる。例えば、輪郭投影モジュール３２０は、識別されたオブジェクトの輪郭内に、オブジェクトのフラッドフィル（ｆｌｏｏｄ−ｆｉｌｌｅｄ）された（例えば、単色の）輪郭、オブジェクトの強調された境界、または選択された画像の画像領域を投影することができる。

接合修正モジュール３２２は、特定された移動オブジェクトの連続的な視覚化のために、隣接する魚眼画像間の接合を適応的に修正する。例えば、例示的な実施形態では、接合修正モジュール３２２は、移動オブジェクトが常に、隣接する魚眼画像の１つから投影されるように、オブジェクトが重複画像領域を通って移動するときに、接合部を「移動する」。具体的には、接合修正モジュール３２２は、対応する魚眼カメラ１２６に対する、識別された移動オブジェクトの位置に基づいて、重複領域内の隣接する魚眼画像間の接合を決定する。例示的な実施形態では、接合部は、隣接する魚眼画像を合成する、重複画像領域内の境界である。接合修正モジュール３２２は、さらに、決定された接合に基づいて、重複領域内の隣接する魚眼画像を修正し、接合部において魚眼画像の修正されたバージョンを結合し、その結合されたバージョンを仮想ボウル形状投影面４０２に投影する。具体的には、例示的な実施形態では、接合修正モジュール３２２は、隣接する魚眼画像の一方または両方についての視野閾値（ｖｉｅｗｉｎｇ ｔｈｒｅｓｈｏｌｄ）を決定し、特定された移動オブジェクトの相対的位置及び視野閾値に基づいて、識別された移動オブジェクトを仮想ボウル形状投影面４０２に投影する隣接する魚眼画像のうちの１つを選択し、識別された移動オブジェクトの相対的位置及び視野閾値とに基づいて、仮想ボウル形状投影面４０２に投影する隣接する魚眼画像のそれぞれの対応する領域を決定する。

実施形態に応じて、視野閾値は、例えば、カメラシステム１２０のジオメトリ及び／又はカメラ１２６の固有パラメータに関連付けられ得る。上述のように、例示的な実施形態では、カメラシステム１２０のジオメトリ（ｇｅｏｍｅｔｒｙ）は、カメラ１２６の互いの位置、カメラ１２６の視野、及び／又は隣接するカメラ１２６の重複する領域が既知であるか、または決定可能であるようになっている。さらに、カメラ１２６の各々は、例えば、焦点距離、主点、ズーム情報、最大／最小視野角、及び／又は対応するカメラ１２６の他の特性に関連する固有のパラメータを有する。言うまでもなく、カメラ１２６は、カメラ１２６がその最大視野を有し、したがってより大きなシーンを取得する最大視野角を有する。例えば、いくつかの実施形態では、魚眼カメラ１２６は、ほぼ１８０度を取得するように構成することができる。例示的な実施形態では、接合修正モジュール３２２は、例えば、カメラ１２６の視野角を調整（すなわち、低減）することによって、カメラ１２６の視野角を調整して、その能力よりも小さい場面を取得することができる。さらに、いくつかの実施形態では、接合部修正モジュール３２２は、画像が決定された接合部で結合されるように、カメラ１２６によってキャプチャされた画像をクロッピングするか、さもなければ修正することができる。言い換えれば、以下に説明するように、接合部修正モジュール３２２は、隣接する魚眼画像が結合またはジョイン（ｊｏｉｎ）されるべき重複画像領域内の境界を決定する。修正なしでは、各隣接魚眼画像の一部分は接合部を越えて延びる可能性が高いため、接合修正モジュール３２２は、（例えば、取得前に視野角を調整することにより、または取得後に画像を修正することによって）結合される隣接する魚眼画像を構成し、それらの画像を結合する。

上述したように、車載コンピューティングシステム１０２は、車両１００の運転者の利便性および視覚の改善のために、取得された画像及び／又は結合された画像が投影される仮想ボウル形状投影面４０２を生成する。さらに、隣接するカメラ１２６は、重なった視野を有し、それによって、隣接するカメラ１２６によって生成される画像は、重なる画像領域に一致する（すなわち、複製される）特徴を有する。そのような特徴の複製は、結合された画像及び／又は対応する投影においては、解消されなければ、そのような特徴のあいまいさをもたらす可能性がある。例えば、図７に示すように、２つの隣接するカメラ７０２，７０４は、（実世界点７０６がボウル形状投影面４０２と一致しない限り）同一の実世界点７０６をボウル形状投影面４０２の２つの異なる点７０８，７１０に（例えば、バックプロジェクションにより）投影する。具体的には、第１のカメラ７０２によって取得された実世界点７０６は、第１の点７０８でボウル形状投影面４０２に投影され、第２のカメラ７０４によって取得された実世界点７０６は、第２の点７１０でボウル形状投影面４０２に投影される。このように、例示的な実施形態では、車載コンピューティングシステム１０２は、これらの問題に対処して、重なり合う画像領域においてオブジェクト（およびオブジェクトのただ１つのコピー）が見えることを保証する。

ここで図８を参照する。図８に示すように、使用時には、車載コンピューティングシステム１０２は、ボウル形状画像上の、より具体的には隣接する魚眼レンズ画像の重複領域に対応するボウル形状画像領域の領域上の動くオブジェクトを視覚化する方法８００を実行できる。上述したように、本明細書で説明する方法は、一般に、魚眼カメラ１２６およびそのようなカメラ１２６によって生成される魚眼画像に関して説明される。しかし、これらの方法は、他のタイプのカメラ１２６及び／又は画像にも適用可能である。例示的な方法８００は、車載コンピューティングシステム１０２が周囲の物理的環境を表示するかどうかを決定するブロック８０２から始まる。表示する場合、車載コンピューティングシステム１０２は、ブロック８０４において、隣接／隣接する魚眼カメラ１２６から魚眼画像を受け取る。上述したように、例示的な実施形態（図２参照）では、カメラシステム１２０は４つの魚眼カメラ１２６を含む。したがって、方法８００は、２つの隣接する魚眼画像に関して説明されるが、このような実施形態では、車載コンピューティングシステム１０２は、同じ取得時間に関連付けられた４つのカメラ１２６のそれぞれから魚眼画像（すなわち、同じ時間、またはほぼ同じ時間に取得されたもの）を受信することができる。もちろん、他の実施形態では、カメラシステム１２０は、異なる数のカメラ１２６を含むことができ、したがって、ブロック８０４において、異なる数の魚眼画像を受信または取得することができる。

ブロック８０６において、車載コンピューティングシステム１０２は、隣接する魚眼画像の重複領域を決定する。上述したように、車載コンピューティングシステム１０２は、例えば、カメラシステム１２０のジオメトリ、カメラ１２６の固有パラメータ、特徴検出およびマッチングアルゴリズム、及び／又は他の適切な技術、アルゴリズム、またはメカニズムに基づいて、重複する画像領域を決定することができる。ブロック８０８において、車載コンピューティングシステム１０２は、車両１００の周囲の移動オブジェクトを識別する。上述したように、隣接する魚眼カメラ１２６の重複領域の外側のオブジェクトは、仮想ボウル形状投影面４０２上の単一の位置に投影され、したがって、一般に、上述したオブジェクトの曖昧性、重複および不可視性に関する問題は生じない。したがって、例示的な実施形態では、車載コンピューティングシステム１０２は、隣接する魚眼カメラ１２６の重複する画像領域内に動くオブジェクトがもしあれば、それを識別する。言うまでもなく、車載コンピューティングシステム１０２は、そうするための任意の適切な技術、アルゴリズム、及び／又はメカニズム（例えば、オプティカルフロー、画像セグメンテーション、オブジェクト分類、センサなど）を利用してもよい。

ブロック８１０において、車載コンピューティングシステム１０２は、受信した魚眼画像を仮想ボウル形状投影面４０２に投影して、対応するボウル形状画像を生成する。勿論、他の実施形態では、車載コンピューティングシステム１０２は、魚眼画像を異なる仮想ボウル形状投影面（例えば、異なる特性を有する面）に投影することができる。さらに、上述したように、いくつかの実施形態では、１つまたは複数の画像を修正して、従来の意味のボウル形状投影面４０２上に「投影」するのではなく、仮想ボウル形状投影面４０２と一致するボウル形状を有するようにできる。上述したように、ブロック８１２において、車載コンピューティングシステム１０２は、重複領域内の投影を変更して、ブロック８０８で識別された移動オブジェクトを視覚化する。その際、車載コンピューティングシステム１０２は、図９の方法９００を参照して以下に説明するように、特定された移動オブジェクトの輪郭を投影してもよく、図１０の方法１０００を参照して以下に説明するように、隣接する画像間の接合部を修正してもよい。他の実施形態では、車載コンピューティングシステム１０２は、重複領域内の移動オブジェクトを視覚化する他の技術を利用することができる。さらに、上述したように、いくつかの実施形態では、車載コンピューティングシステム１０２は、投影そのものを修正するのではなく、仮想ボウル形状投影面４０２に投影する前に、魚眼画像またはその処理画像（例えば、合成画像）を修正してもよい。

ブロック８１４において、車載コンピューティングシステム１０２は、運転者が見るためのボウル形状画像（すなわち、修正された重複画像領域を含むもの）を表示する。上述したように、実施形態に応じて、車載コンピューティングシステム１０２は、ボウル形状画像の全体またはボウル形状画像の一部のみを表示することができる。例えば、いくつかの実施形態では、車載コンピューティングシステム１０２は、仮想カメラ２０２の視野内、及びそれと同じ視点からのボウル形状画像及び／又はボウル形状投影面４０２の一部を、生成及び／又は表示するだけでよい。

上述のように、いくつかの実施形態では、ユーザ（例えば、運転者）は、ボウル形状画像の視野を調整するように仮想カメラ２０２を制御することができる。したがって、ブロック８１６において、車載コンピューティングシステム１０２は、（例えば、仮想カメラ２０２を平行移動または回転させて）仮想カメラ２０２の視野を修正する（例えば、ドライバからの）ユーザ入力が受信されたかどうかを決定する。受信されていれば、車載コンピューティングシステム１０２は、ブロック８１８で、ユーザ入力および仮想カメラ２０２の新しい位置に基づいてボウル形状画像の表示を修正する。例えば、ユーザは、（例えば、車両１００内の視点と一致する視点から）仮想カメラ２０２をボウル形状画像内で回転して、ボウル形状画像のさまざまな部分を表示してもよい。言うまでもなく、いくつかの実施形態では、車載コンピューティングシステム１０２は、複数の仮想カメラ２０２を利用することができる（例えば、ボウル形状の画像の複数の視点を同時に表示できる）。例えば、一実施形態では、車載コンピューティングシステム１０２は、車両１００の４つの側面のそれぞれからボウル形状画像のビューを表示することができる。他の実施形態では、ボウル形状画像全体またはその一部が、上述したように３次元ディスプレイ上に表示されてもよい。方法８００は、ボウル形状画像の表示を修正する（ブロック８１８）か、ボウル形状画像を修正するにユーザ入力が受信されていないと判定する（ブロック８１６）と、ブロック８０２に戻り、車載コンピューティングシステム１０２は、車両１００の周囲環境を表示するかどうかを決定する。

ここで図９を参照する。上述したように、使用中、車載コンピューティングシステム１０２は、重複領域１１０２（図１１参照）における投影を修正して、オブジェクトの輪郭を仮想ボウル形状投影面４０２の重複領域１１０２に投影することによって、移動オブジェクトを視覚化する方法９００を実行することができる。例示的な方法９００はブロック９０２から始まり、車載コンピューティングシステム１０２は、図８のブロック８０８で特定された移動オブジェクトの輪郭１１０４（図１１参照）を、仮想ボウル形状投影面４０２に投影するかどうかを決定する。投影する場合、ブロック９０４において、車載コンピューティングシステム１０２は、特定された移動オブジェクトを仮想ボウル形状投影面４０２に投影する隣接する魚眼画像のうちの１つを選択する。例えば、いくつかの実施形態では、車載コンピューティングシステム１０２は、特定された移動オブジェクトに最も近い魚眼カメラ１２６によって取得された魚眼画像を選択することができる。もちろん、車載コンピューティングシステム１０２は、他の実施形態では、異なる基準に基づいて、識別された移動オブジェクトの投影のため、どの隣接する魚眼画像を選択するか決定することができる。

ブロック９０６において、車載コンピューティングシステム１０２は、選択された魚眼画像上の識別された移動オブジェクトの輪郭１１０４を決定する。上述の通り、車載コンピューティングシステム１０２は、そうするための任意の適切な技術、アルゴリズム、及び／又はメカニズムを利用することができる。例えば、車載コンピューティングシステム１０２は、エッジ検出アルゴリズム（例えば、Ｃａｎｎｙエッジ検出、Ｓｏｂｅｌフィルタなど）、画像セグメンテーションアルゴリズム（例えば、流域セグメンテーション、ピラミッドセグメンテーションなど）、及び／又はオブジェクトの輪郭を決定する他の画像フィルタ／アルゴリズムを利用してもよい。言うまでもなく、例示的な実施形態では、オブジェクトの輪郭１１０４は、隣接する魚眼画像のうちの１つのみから投影される。しかし、他の実施形態では、オブジェクトの輪郭１１０４は、隣接する魚眼画像のそれぞれにおいて識別されてもよく、及び／又は両方の魚眼画像から投影されてもよい。

ブロック９０８において、車載コンピューティングシステム１０２は、魚眼画像投影の重なり領域１１０２（即ち、重なった画像領域の、仮想ボウル形状投影面４０２への投影）を融合する。上述したように、いくつかの実施形態では、車載コンピューティングシステム１０２は、重複画像領域に平均化またはぼかしフィルタ（例えば、ガウスフィルタ）を適用して、魚眼画像投影の重なり領域１１０２を融合してもよい。代替的にまたは追加的に、車載コンピューティングシステム１０２は、重複領域の一部を透明領域としてレンダリングすることができる。

ブロック９１０において、車載コンピューティングシステム１０２は、魚眼画像投影の重複領域（例えば、対応する位置）にオブジェクトの輪郭１１０４を視覚化する。上述したように、車載コンピューティングシステム１０２は、個々の実施形態に応じていくつかの方法でそうすることができる。例えば、ブロック９１２において、車載コンピューティングシステム１０２は、オブジェクトの輪郭１１０４を、選択された魚眼画像から仮想ボウル形状投影面４０２に投影することができる。上述したように、輪郭によって画定されるオブジェクトのアウトライン（ｏｕｔｌｉｎｅ）または境界１１０４は、いくつかの実施形態では（例えば、強調表示された境界線として）仮想ボウル形状投影面４０２の重なり領域に投影されてもよい。他の実施形態では、車載コンピューティングシステム１０２は、（例えば、流域アルゴリズムまたは他のセグメンテーションアルゴリズムを使用して）輪郭１１０４をフラッドフィル（ｆｌｏｏｄ−ｆｉｌｌ）し、フラッド・フィルした輪郭１１０４を選択された魚眼画像から重複領域に投影することができる。代替的にまたは追加的に、ブロック９１４において、車載コンピューティングシステム１０２は、移動オブジェクトの輪郭１１０４内の選択された魚眼画像の画像領域を識別し、その画像領域を選択された魚眼画像から仮想ボウル形状投影面４０２の重複領域１１０２に投影してもよい。上述したように、いくつかの実施形態では、オブジェクトの輪郭１１０４を仮想ボウル形状投影面４０２に投影することは、オブジェクトの輪郭１１０４を、融合された重なり領域１１０２上の適切な位置（例えば、対応する画像ピクセルが通常は面４０２に投影される位置）にオーバーレイすることを本質的に含む。重なり領域１１０２は全体が融合されるものとして図１１に示されているが、いくつかの実施形態では、重なり領域１１０２の一部のみが融合される。

ここで図１０を参照する。図１０に示すように、使用中、車載コンピューティングシステム１０２は、隣接する魚眼画像１２０４，１２０６の間の接合部１２０２（図１２参照）を修正し、識別された移動オブジェクト１２０８を視覚化する方法１０００を実行することができる。上述したように、車載コンピューティングシステム１０２は、オブジェクト１２０８が、重なり領域を移動するときに、移動するオブジェクト１２０８が隣接する魚眼画像１２０４，１２０６のうちの１つから常に投影されるように、接合部１２０２を適応的に動かす。例えば、図２に示すように、例示的な実施形態では、魚眼カメラ１２６は、車両１００の正面および右前に配置される。オブジェクト１２０８（例えば、歩行者）が車両１００の前方を横切って左から右に移動する場合、車載コンピューティングシステム１０２は、（例えば、対応するカメラ１２６の視野角、またはカメラ１２６の撮像画像を修正することにより）魚眼画像１２０４，１２０６の間の接合部（ｊｕｎｃｔｉｏｎ）１２０２を右に移動させることができる。

例示的な方法１０００は、ブロック１００２から始まり、車載コンピューティングシステム１０２が隣接する魚眼画像１２０４，１２０６の接合部１２０２を修正するかどうかを決定する。修正する場合、ブロック１００４において、車載コンピューティングシステム１０２は、オブジェクトの位置及び／又は対応する魚眼カメラ１２６（すなわち、魚眼画像１２０４，１２０６をキャプチャしたカメラ１２６）の１つまたは複数の閾値に基づいて、隣接する魚眼画像１２０４，１２０６の間の接合部１２０２を判定する。具体的には、ブロック１００６において、車載コンピューティングシステム１０２は、隣接する魚眼カメラ１２６（すなわち、画像１２０４，１２０６を生成したカメラ１２６）の視野閾値を決定する。上述したように、各魚眼カメラ１２６は、カメラ１２６及びその固有パラメータに依存する、画像をカメラ１２６が取得することができる最大視角（例えば、約１８０度）および最小視角（例えば、約０度）を有する。

ブロック１００８において、車載コンピューティングシステム１０２は、識別された移動オブジェクトの相対的位置およびカメラ１２６の視野閾値に基づいて、識別された移動オブジェクト１２０８を投影する隣接する魚眼画像１２０４，１２０６のうちの１つを選択する。例えば、いくつかの実施形態では、オブジェクト１２０８がそのカメラ１２６の視野閾値外でない限り、オブジェクト１２０８は、オブジェクト１２０８に最も近いカメラ１２６に対応する魚眼画像１２０４，１２０６から投影される。

ブロック１０１０において、車載コンピューティングシステム１０２は、魚眼画像１２０４，１２０６の対応する領域を、仮想ボウル形状投影面４０２に投影することを決定する。例えば、魚眼画像１２０４，１２０６の間の接合部１２０２を修正することなく、接合部１２０２は、通常、対応するカメラ１２６のほぼ中間の位置に対応しているかも知れない。しかしながら、オブジェクト１２０８が接合部１２０２の近くに位置しているか、交わっている場合、車載コンピューティングシステム１０２は、接合部１２０２をオブジェクト１２０８の側に移動させることができる。例えば、いくつかの実施形態では、接合部１２０２は、オブジェクト１２０８が移動している方向に移動され、他の実施形態では、接合部１２０２は、オブジェクト１２０８の中心に最も近い画像１２０４，１２０６からオブジェクト１２０８が投影されるように、移動される。いずれの場合でも、車載コンピューティングシステム１０２は、接合部１２０２の決定された位置に接合される２つの画像１２０４，１２０６をもたらすように投影されるべき魚眼画像１２０４，１２０６のそれぞれの対応する領域を決定する。ブロック１０１２において、車載コンピューティングシステム１０２は、投影する決定された接合部１２０２及び／又は決定された領域に基づいて、重複領域内の隣接する魚眼画像１２０４，１２０６を修正する。例えば、上述した、オブジェクト１２０８が車両１００の前方を横切って左から右に移動している図１２−１４の実施形態では、前部カメラ１２６によって取得された画像１２０４の視野角は（少なくとも右側に）大きくされてもよく、右カメラ１２６によって取得された画像１２０６の視野角は、（少なくとも前面に向かって）小さくされてもよく、これらのカメラ１２６によって取得される画像は、同様の影響を受ける。別の実施形態では、車載コンピューティングシステム１０２は、カメラ１２６の視野角を調整しないが、代わりに、画像１２０４，１２０６をトリミングまたは修正して、画像１２０４、１２０６が、決定された接合部１２０２で接合／結合できるようにする。

ブロック１０１４において、車載コンピューティングシステム１０２は、修正された魚眼画像１２０４，１２０６を、決定された接合点で結合して、結合画像を生成する。ブロック１０１６において、車載コンピューティングシステム１０２は、結合画像を仮想ボウル形状投影面４０２に投影して、対応するボウル形状画像を生成する。上述のように、いくつかの実施形態では、投影前に画像１２０４，１２０６の間の接合部１２０２を修正するのではなく、車載コンピューティングシステム１０２は、画像１２０４，１２０６の見込み（すなわち、未修正の）投影を修正して、投影間の接合部を修正してもよい。さらに、言うまでもなく、車載コンピューティングシステム１０２は、隣接する魚眼画像間の接合部を修正するかどうかを決定する際に、複数の移動オブジェクトの位置を考慮してもよい。さらに、車載コンピューティングシステム１０２は、移動オブジェクトがそれらの隣接する画像の対応する重複領域において識別された隣接画像の各ペアの間の接合部を修正してもよい。
例示

本明細書に開示の技術の例を以下に記載する。本技術の実施形態は、以下に記載の一以上の例、及びそれらの組み合わせを含み得る。

例１は、ボウル形状画像に動くオブジェクトを視覚化するコンピューティングデバイスであって、第１のシーンを含む第１の魚眼画像を取得する第１の魚眼カメラと、重複領域において前記第１のシーンと重複する第２のシーンを含む第２の魚眼画像を取得する第２の魚眼カメラと、前記重複領域中の移動オブジェクトを識別するオブジェクト識別モジュールと、投影された重複する画像領域を修正して、識別された移動オブジェクトを仮想ボウル形状投影面上に視覚化するオブジェクト視覚化モジュールとを有し、投影される重複する画像領域は、前記仮想ボウル形状投影面上に投影され、前記第１と第２の魚眼画像の重複領域に対応する、コンピューティングデバイスを含むコンピューティングデバイスを含む。

例２は例１の主題を含み、投影された重複する画像領域を修正することは、魚眼画像を選択し、選択した魚眼画像から、識別された移動オブジェクトを前記仮想ボウル形状投影面に投影することであって、前記魚眼画像は前記第１の魚眼画像または前記第２の魚眼画像のうち一方から選択されることと、選択された魚眼画像における識別された移動オブジェクトの輪郭を決定することと、投影される重複画像領域を融合して、融合された重複画像領域を生成することと、融合された重複画像領域に、識別された移動オブジェクトの輪郭を視覚化することとを含む。

例３は例１及び２のいずれかの主題を含み、識別された移動オブジェクトの輪郭を視覚化することは、選択された魚眼画像から、前記仮想ボウル形状投影面の融合された重複画像領域に、識別された移動オブジェクトの輪郭を投影することを含む。

例４は例１−３のいずれかの主題を含み、識別された移動オブジェクトの輪郭を視覚化することは、識別された移動オブジェクトの輪郭内の選択された魚眼画像の画像領域を識別することと、識別された画像領域を、前記仮想ボウル形状投影面の融合された重複画像領域に投影し、識別された画像領域を、融合された重複画像領域にオーバーレイすることとを含む。

例５は例１−４のいずれかの主題を含み、前記仮想ボウル形状投影面の融合された重複画像領域は透明である。

実施例６は実施例１−５のいずれかの主題を含み、投影された重複する画像領域を修正することは、前記第１と第２の魚眼カメラに対する識別された移動オブジェクトの位置に基づき、前記第１と第２の魚眼画像の重複領域内の前記第１と第２の魚眼画像間の接合部を決定することであって、前記接合部は前記第１と第２の魚眼画像を結合する前記重複画像領域内の境界であることと、決定された接合部に基づいて前記重複領域内の前記第１と第２の魚眼画像を修正することと、決定された接合部において、修正された第１と第２の魚眼画像を結合することと、結合された第１と第２の魚眼画像を前記仮想ボウル形状投影面に投影することとを含む。

例７は例１−６のいずれかの主題を含み、前記第１と第２の魚眼画像間の接合部を決定することは、前記第１と第２の魚眼カメラの各々の、対応する視野閾値を決定することと、識別された移動オブジェクトの相対的位置と前記視野閾値とに基づいて、魚眼画像を選択し、選択した魚眼画像から、識別された移動オブジェクトを前記仮想ボウル形状投影面に投影することであって、前記魚眼画像は前記第１の魚眼画像又は前記第２の魚眼画像のうち一方から選択されることと、識別された移動オブジェクトの相対的位置と前記視野閾値とに基づいて、前記仮想ボウル形状投影面に投影する、前記第１と第２の魚眼画像の各々の対応する領域を決定することとを含む。

例８は例１−７のいずれかの主題を含み、対応する視野閾値は、対応する第１と第２の魚眼カメラの各々が取得できる最大及び最小の視野角を示す。

例９は例１−８のいずれかの主題を含み、前記第１と第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、前記重複画像領域に対応する前記第１と第２の魚眼画像の重複画像領域を決定する重複決定モジュールをさらに有する。

例１０は例１−９のいずれかの主題を含み、修正された投影された重複画像領域の前記仮想ボウル形状投影面への投影に基づいて、ボウル形状画像を生成するボウル生成モジュールと、前記コンピューティングデバイスのディスプレイに、生成されたボウル形状画像を表示するディスプレイモジュールとをさらに有する。

例１１は例１−１０のいずれかの主題を含み、前記コンピューティングデバイスは車載計算システムとして実施される。

例１２は、コンピューティングデバイスにより生成されたボウル形状画像に移動オブジェクトを視覚化する方法であって、前記コンピューティングデバイスが、（ｉ）第１の魚眼カメラにより生成され、第１のシーンを取得した第１の魚眼画像と、（ｉｉ）第２の魚眼カメラにより生成され、重複領域において前記第１のシーンと重複する第２のシーンを取得した第２の魚眼画像とを受け取るステップと、前記コンピューティングデバイスが、前記重複領域中の移動オブジェクトを識別するステップと、前記コンピューティングデバイスが、投影された重複画像領域を修正して、識別された移動オブジェクトを仮想ボウル形状投影面に視覚化するステップであって、投影される重複画像領域は前記仮想ボウル形状投影面に投影され、前記第１と第２の魚眼画像において取得された前記重複領域と対応するステップとを含む。

例１３は例１２の主題を含み、投影された重複する画像領域を修正するステップは、魚眼画像を選択し、選択した魚眼画像から、識別された移動オブジェクトを前記仮想ボウル形状投影面に投影するステップであって、前記魚眼画像は前記第１の魚眼画像または前記第２の魚眼画像のうち一方から選択されるステップと、選択された魚眼画像における識別された移動オブジェクトの輪郭を決定するステップと、投影される重複画像領域を融合して、融合された重複画像領域を生成するステップと、融合された重複画像領域に、識別された移動オブジェクトの輪郭を視覚化するステップとを含む。

例１４は例１２及び１３のいずれかの主題を含み、識別された移動オブジェクトの輪郭を視覚化するステップは、選択された魚眼画像から、前記仮想ボウル形状投影面の融合された重複画像領域に、識別された移動オブジェクトの輪郭を投影するステップを含む。

例１５は例１２−１４のいずれかの主題を含み、識別された移動オブジェクトの輪郭を視覚化するステップは、識別された移動オブジェクトの輪郭内の選択された魚眼画像の画像領域を識別するステップと、識別された画像領域を、前記仮想ボウル形状投影面の融合された重複画像領域に投影し、識別された画像領域を、融合された重複画像領域にオーバーレイするステップとを含む。

例１６は例１２−１５のいずれかの主題を含み、前記仮想ボウル形状投影面の融合された重複画像領域は透明である。

例１７は例１２−１６のいずれかの主題を含み、投影された重複する画像領域を修正するステップは、前記第１と第２の魚眼カメラに対する識別された移動オブジェクトの位置に基づき、前記第１と第２の魚眼画像の重複領域内の前記第１と第２の魚眼画像間の接合部を決定するステップであって、前記接合部は前記第１と第２の魚眼画像を結合する前記重複画像領域内の境界であるステップと、決定された接合部に基づいて前記重複領域内の前記第１と第２の魚眼画像を修正するステップと、決定された接合部において、修正された第１と第２の魚眼画像を結合するステップと、結合された第１と第２の魚眼画像を前記仮想ボウル形状投影面に投影するステップとを含む。

例１８は例１２−１７のいずれかの主題を含み、前記第１と第２の魚眼画像間の接合部を決定するステップは、前記第１と第２の魚眼カメラの各々の、対応する視野閾値を決定するステップと、識別された移動オブジェクトの相対的位置と前記視野閾値とに基づいて、魚眼画像を選択し、選択した魚眼画像から、識別された移動オブジェクトを前記仮想ボウル形状投影面に投影するステップであって、前記魚眼画像は前記第１の魚眼画像又は前記第２の魚眼画像のうち一方から選択されるステップと、識別された移動オブジェクトの相対的位置と前記視野閾値とに基づいて、前記仮想ボウル形状投影面に投影する、前記第１と第２の魚眼画像の各々の対応する領域を決定するステップとを含む。

例１９は例１２−１８のいずれかの主題を含み、対応する視野閾値は、対応する第１と第２の魚眼カメラの各々が取得できる最大及び最小の視野角を示す。

例２０は例１２−１９のいずれかの主題を含み、前記コンピューティングデバイスが、前記第１と第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、前記重複画像領域に対応する前記第１と第２の魚眼画像の重複画像領域を決定するステップをさらに含む。

実施例２１は実施例１２−２０のいずれかの主題を含み、前記コンピューティングデバイスが、修正された投影された重複画像領域の前記仮想ボウル形状投影面への投影に基づいて、ボウル形状画像を生成するステップと、生成されたボウル形状画像を前記コンピューティングデバイスのディスプレイに表示するステップとをさらに含む。

例２２は例１２−２１のいずれかの主題を含み、前記コンピューティングデバイスは車載計算システムとして実施される。

例２３は、コンピューティングデバイスであって、プロセッサと、前記プロセッサにより実行されたとき、前記プロセッサに、例１２−２２いずれかに記載の方法を実行させる複数の命令を格納したメモリとを有する。

例２４は、実行されると、コンピューティングデバイスに請求項１２−２２いずれか一項に記載の方法を実行させる複数の命令を格納した一以上の機械読み取り可能記憶媒体。

例２５は、ボウル形状画像に動くオブジェクトを視覚化するコンピューティングデバイスであって、（ｉ）第１の魚眼カメラにより生成され、第１のシーンを取得した第１の魚眼画像と、（ｉｉ）第２の魚眼カメラにより生成され、重複領域において前記第１のシーンと重複する第２のシーンを取得した第２の魚眼画像とを受け取る手段と、前記重複領域中の移動オブジェクトを識別する手段と、投影された重複画像領域を修正して、識別された移動オブジェクトを仮想ボウル形状投影面に視覚化する手段であって、投影される重複画像領域は前記仮想ボウル形状投影面に投影され、前記第１と第２の魚眼画像において取得された前記重複領域と対応する手段とを含む。

例２６は例２５の主題を含み、投影された重複する画像領域を修正する手段は、魚眼画像を選択し、選択した魚眼画像から、識別された移動オブジェクトを前記仮想ボウル形状投影面に投影する手段であって、前記魚眼画像は前記第１の魚眼画像または前記第２の魚眼画像のうち一方から選択される手段と、選択された魚眼画像における識別された移動オブジェクトの輪郭を決定する手段と、投影される重複画像領域を融合して、融合された重複画像領域を生成する手段と、融合された重複画像領域に、識別された移動オブジェクトの輪郭を視覚化する手段とを含む。

例２７は例２５及び２６のいずれかの主題を含み、識別された移動オブジェクトの輪郭を視覚化する手段は、選択された魚眼画像からの識別された移動オブジェクトの輪郭を、前記仮想ボウル形状投影面の融合された重複画像領域に投影する手段を有する。

例２８は例２５−２７のいずれかの主題を含み、識別された移動オブジェクトの輪郭を視覚化する手段は、識別された移動オブジェクトの輪郭内の選択された魚眼画像の画像領域を識別する手段と、識別された画像領域を、前記仮想ボウル形状投影面の融合された重複画像領域に投影し、識別された画像領域を、融合された重複画像領域にオーバーレイする手段とを含む。

例２９は例２５−２８のいずれかの主題を含み、前記仮想ボウル形状投影面の融合された重複画像領域は透明である。

例３０は例２５−２９のいずれかの主題を含み、投影された重複する画像領域を修正する手段は、前記第１と第２の魚眼カメラに対する識別された移動オブジェクトの位置に基づき、前記第１と第２の魚眼画像の重複領域内の前記第１と第２の魚眼画像間の接合部を決定する手段であって、前記接合部は前記第１と第２の魚眼画像を結合する前記重複画像領域内の境界である手段と、決定された接合部に基づいて前記重複領域内の前記第１と第２の魚眼画像を修正する手段と、決定された接合部において、修正された第１と第２の魚眼画像を結合する手段と、結合された第１と第２の魚眼画像を前記仮想ボウル形状投影面に投影する手段とを含む。

例３１は例２５−３０のいずれかの主題を含み、前記第１と第２の魚眼画像間の接合部を決定する手段は、前記第１と第２の魚眼カメラの各々の、対応する視野閾値を決定する手段と、識別された移動オブジェクトの相対的位置と前記視野閾値とに基づいて、魚眼画像を選択し、選択した魚眼画像から、識別された移動オブジェクトを前記仮想ボウル形状投影面に投影する手段であって、前記魚眼画像は前記第１の魚眼画像又は前記第２の魚眼画像のうち一方から選択される手段と、識別された移動オブジェクトの相対的位置と前記視野閾値とに基づいて、前記仮想ボウル形状投影面に投影する、前記第１と第２の魚眼画像の各々の対応する領域を決定する手段とを含む。

実施例３２は実施例２５−３１のいずれかの主題を含み、対応する視野閾値は、対応する第１と第２の魚眼カメラの各々が取得できる最大及び最小の視野角を示す。

実施例３３は実施例２５−３２のいずれかの主題を含み、前記第１と第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、前記重複画像領域に対応する前記第１と第２の魚眼画像の重複画像領域を決定する手段をさらに含む。

例３４は例２５−３３のいずれかの主題を含み、修正された投影された重複画像領域の前記仮想ボウル形状投影面への投影に基づいて、ボウル形状画像を生成する手段と、生成されたボウル形状画像を前記コンピューティングデバイスのディスプレイに表示する手段とをさらに含む。

例３５は例２５−３４のいずれかの主題を含み、前記コンピューティングデバイスは車載計算システムとして実施される。

Claims (23)

1. ボウル形状画像に動くオブジェクトを視覚化するコンピューティングデバイスであって、
   第１のシーンを含む第１の魚眼画像を取得する第１の魚眼カメラと、
   重複領域において前記第１のシーンと重複する第２のシーンを含む第２の魚眼画像を取得する第２の魚眼カメラと、
   前記重複領域中の動くオブジェクトを識別するオブジェクト識別モジュールと、
   投影される重複する画像領域を修正して、識別された動くオブジェクトを仮想ボウル形状投影面上に視覚化するオブジェクト視覚化モジュールとを有し、
   投影される重複する画像領域は、前記仮想ボウル形状投影面上に投影され、前記第１と第２の魚眼画像の重複領域に対応し、
   投影された重複する画像領域を修正することは、
   魚眼画像を選択し、選択した魚眼画像から、識別された動くオブジェクトを前記仮想ボウル形状投影面に投影することであって、前記魚眼画像は前記第１の魚眼画像または前記第２の魚眼画像のうち一方から選択されることと、
   選択された魚眼画像における識別された動くオブジェクトの輪郭を決定することと、
   投影される重複画像領域を融合して、融合された重複画像領域を生成することと、
   融合された重複画像領域に、識別された動くオブジェクトの輪郭を視覚化することとを含む、
   コンピューティングデバイス。
2. 識別された動くオブジェクトの輪郭を視覚化することは、選択された魚眼画像から、前記仮想ボウル形状投影面の融合された重複画像領域に、識別された動くオブジェクトの輪郭を投影することを含む、
   請求項１に記載のコンピューティングデバイス。
3. 識別された動くオブジェクトの輪郭を視覚化することは、
   識別された動くオブジェクトの輪郭内の選択された魚眼画像の画像領域を識別することと、
   識別された画像領域を、前記仮想ボウル形状投影面の融合された重複画像領域に投影し、識別された画像領域を、融合された重複画像領域にオーバーレイすることとを含む、
   請求項１に記載のコンピューティングデバイス。
4. 前記仮想ボウル形状投影面の融合された重複画像領域は透明である、
   請求項１に記載のコンピューティングデバイス。
5. 投影された重複する画像領域を修正することは、
   前記第１と第２の魚眼カメラに対する識別された動くオブジェクトの位置に基づき、前記第１と第２の魚眼画像の重複領域内の前記第１と第２の魚眼画像間の接合部を決定することであって、前記接合部は前記第１と第２の魚眼画像を結合する重複する画像領域内の境界であることと、
   決定された接合部に基づいて前記重複領域内の前記第１と第２の魚眼画像を修正することと、
   決定された接合部において、修正された第１と第２の魚眼画像を結合することと、
   結合された第１と第２の魚眼画像を前記仮想ボウル形状投影面に投影することとを含む、
   請求項１に記載のコンピューティングデバイス。
6. 前記第１と第２の魚眼画像間の接合部を決定することは、
   前記第１と第２の魚眼カメラの各々の、対応する視野閾値を決定することと、
   識別された動くオブジェクトの相対的位置と前記視野閾値とに基づいて、魚眼画像を選択し、選択した魚眼画像から、識別された動くオブジェクトを前記仮想ボウル形状投影面に投影することであって、前記魚眼画像は前記第１の魚眼画像又は前記第２の魚眼画像のうち一方から選択されることと、
   識別された動くオブジェクトの相対的位置と前記視野閾値とに基づいて、前記仮想ボウル形状投影面に投影する、前記第１と第２の魚眼画像の各々の対応する領域を決定することとを含む、
   請求項５に記載のコンピューティングデバイス。
7. 対応する視野閾値は、対応する第１と第２の魚眼カメラの各々が取得できる最大及び最小の視野角を示す、
   請求項６に記載のコンピューティングデバイス。
8. 前記第１と第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、重複する画像領域に対応する前記第１と第２の魚眼画像の重複する画像領域を決定する重複決定モジュールをさらに有する、
   請求項１ないし７いずれか一項に記載のコンピューティングデバイス。
9. 修正された投影された重複画像領域の前記仮想ボウル形状投影面への投影に基づいて、ボウル形状画像を生成するボウル生成モジュールと、
   前記コンピューティングデバイスのディスプレイに、生成されたボウル形状画像を表示するディスプレイモジュールとをさらに有する、
   請求項１ないし７いずれか一項に記載のコンピューティングデバイス。
10. 前記コンピューティングデバイスは車載計算システムとして実施される、
    請求項１ないし７いずれか一項に記載のコンピューティングデバイス。
11. コンピューティングデバイスにより生成されたボウル形状画像に動くオブジェクトを視覚化する方法であって、
    前記コンピューティングデバイスが、（ｉ）第１の魚眼カメラにより生成され、第１のシーンを取得した第１の魚眼画像と、（ｉｉ）第２の魚眼カメラにより生成され、重複領域において前記第１のシーンと重複する第２のシーンを取得した第２の魚眼画像とを受け取るステップと、
    前記コンピューティングデバイスが、前記重複領域中の動くオブジェクトを識別するステップと、
    前記コンピューティングデバイスが、投影された重複画像領域を修正して、識別された動くオブジェクトを仮想ボウル形状投影面に視覚化するステップであって、投影される重複画像領域は前記仮想ボウル形状投影面に投影され、前記第１と第２の魚眼画像において取得された前記重複領域と対応するステップとを含み、
    投影された重複する画像領域を修正するステップは、
    魚眼画像を選択し、選択した魚眼画像から、識別された動くオブジェクトを前記仮想ボウル形状投影面に投影するステップであって、前記魚眼画像は前記第１の魚眼画像または前記第２の魚眼画像のうち一方から選択されるステップと、
    選択された魚眼画像における識別された動くオブジェクトの輪郭を決定するステップと、
    投影される重複画像領域を融合して、融合された重複画像領域を生成するステップと、
    融合された重複画像領域に、識別された動くオブジェクトの輪郭を視覚化するステップとを含む、
    方法。
12. 識別された動くオブジェクトの輪郭を視覚化するステップは、選択された魚眼画像から、前記仮想ボウル形状投影面の融合された重複画像領域に、識別された動くオブジェクトの輪郭を投影するステップを含む、
    請求項１１に記載の方法。
13. 識別された動くオブジェクトの輪郭を視覚化するステップは、
    識別された動くオブジェクトの輪郭内の選択された魚眼画像の画像領域を識別するステップと、
    識別された画像領域を、前記仮想ボウル形状投影面の融合された重複画像領域に投影し、識別された画像領域を、融合された重複画像領域にオーバーレイするステップとを含む、
    請求項１１に記載の方法。
14. 前記仮想ボウル形状投影面の融合された重複画像領域は透明である、
    請求項１１に記載の方法。
15. 投影された重複する画像領域を修正するステップは、
    前記第１と第２の魚眼カメラに対する識別された動くオブジェクトの位置に基づき、前記第１と第２の魚眼画像の重複領域内の前記第１と第２の魚眼画像間の接合部を決定するステップであって、前記接合部は前記第１と第２の魚眼画像を結合する前記重複画像領域内の境界であるステップと、
    決定された接合部に基づいて前記重複領域内の前記第１と第２の魚眼画像を修正するステップと、
    決定された接合部において、修正された第１と第２の魚眼画像を結合するステップと、
    結合された第１と第２の魚眼画像を前記仮想ボウル形状投影面に投影するステップとを含む、
    請求項１１に記載の方法。
16. 前記第１と第２の魚眼画像間の接合部を決定するステップは、
    前記第１と第２の魚眼カメラの各々の、対応する視野閾値を決定するステップと、
    識別された動くオブジェクトの相対的位置と前記視野閾値とに基づいて、魚眼画像を選択し、選択した魚眼画像から、識別された動くオブジェクトを前記仮想ボウル形状投影面に投影するステップであって、前記魚眼画像は前記第１の魚眼画像又は前記第２の魚眼画像のうち一方から選択されるステップと、
    識別された動くオブジェクトの相対的位置と前記視野閾値とに基づいて、前記仮想ボウル形状投影面に投影する、前記第１と第２の魚眼画像の各々の対応する領域を決定するステップとを含む、
    請求項１５に記載の方法。
17. 対応する視野閾値は、対応する第１と第２の魚眼カメラの各々が取得できる最大及び最小の視野角を示す、
    請求項１６に記載の方法。
18. 前記コンピューティングデバイスが、前記第１と第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、前記重複画像領域に対応する前記第１と第２の魚眼画像の重複画像領域を決定するステップをさらに含む、
    請求項１１に記載の方法。
19. 前記コンピューティングデバイスが、修正された投影された重複画像領域の前記仮想ボウル形状投影面への投影に基づいて、ボウル形状画像を生成するステップと、
    生成されたボウル形状画像を前記コンピューティングデバイスのディスプレイに表示するステップとをさらに含む、
    請求項１１に記載の方法。
20. 前記コンピューティングデバイスは車載計算システムとして実施される、
    請求項１１に記載の方法。
21. コンピューティングデバイスであって、
    プロセッサと、
    前記プロセッサにより実行されたとき、前記プロセッサに、請求項１１−２０いずれか一項に記載の方法を実行させる複数の命令を格納したメモリとを有する、
    コンピューティングデバイス。
22. 実行されると、コンピューティングデバイスに請求項１１−２０いずれか一項に記載の方法を実行させる複数の命令を格納した一以上の機械読み取り可能記憶媒体。
23. 動くオブジェクトをボウル形状画像に視覚化する、請求項１１−２０いずれか一項に記載の方法を実行する手段を有するコンピューティングデバイス。

Images