JP6092527B2 - ユーザ凝視データに基づいた時空間データのセグメント化 - Google Patents

Description

本出願は、時空間データのユーザによる凝視をモニタすることを通して得られた凝視データを使用して、ビデオデータまたはライダーデータを含む時空間データをセグメント化することに関する。

ここに提供される“背景技術”の記載は、この開示の背景を一般的に提示することを目的とする。ここに記載された仕事は、この背景技術の項に記載される範囲において、出願の時点で従来技術として見なされない記載の側面と同様に、明示的にまたは暗示的にも従来技術としては認められない。

ビデオデータのセグメント化は、一般に、ビデオデータのフレームを個々に、即ち、フレーム単位ベースでセグメント化することを含む。このプロセスは、フレーム内のオブジェクトと、オブジェクト間の境界とを特定するために、個々のフレームのピクセルをセグメントに分割することを含む。一般に、このプロセスは、コンピュータおよびユーザによって実行されるステップを含む。

一つのプロセスにおいて、例えば、個々のフレームがコンピュータのオブジェクト検出器に入力され、個々のフレーム内の全てのオブジェクトを特定するために大規模に分析される。その後、オブジェクト検出器によって特定されたオブジェクトをユーザがレビューし、誤った特定を訂正する。このプロセスが、ビデオデータのそれぞれのフレームに対して繰り返される。

セグメント化の別のプロセスにおいて、ビデオシーケンスのキーフレームをユーザがマニュアルで特定することが求められる。このプロセスにおいて、ユーザはデータオブジェクトの個々のフレームを見て、オブジェクトの境界に沿って制御ポイントを生成する。ユーザは次にパラメータを入力し、このパラメータは、オブジェクトが静的か動的かを特定し、且つ、連続するフレームにおける定義された境界の位置を調整するために使用される。その後、ユーザは、境界の位置およびサイズを調整するために、ビデオのキーフレームを編集することができる。その後、コンピュータアルゴリズムは、直接に見ることができず且つ編集できなかったフレーム内のオブジェクトの位置および形状を特定するために、補間法を使用する。

この開示は、本発明者等が発見した既知のセグメント化プロセスに関連する種々の問題に対処する。特に、オブジェクト検出器を含むプロセスにおいて、詳細なセグメント化には非常に時間がかかる。例えば、オブジェクト検出器がフレーム内のオブジェクトを特定するためには、そのフレームの全ての領域を分析しなければならず、これには大量のコンピュータパワーを消費する。さらに、フレームが多くのオブジェクトを含む場合、そのプロセスはさらに多くのコンピュータリソースを必要とする。その上、オブジェクト検出器は、オブジェクト検出を実行するために使用したオブジェクト認識アルゴリズムに基づいて、フレーム内のオブジェクトを不正確に特定することがある。その結果、ユーザがこれらの誤特定を訂正するために費やす時間が増加する。

キーフレーム中のオブジェクトの特定に基づくプロセスにおいてさえも、ユーザはフレームを見てパラメータを入力することが要求される。その結果として、このプロセスは非常に時間を費やすものとなる。

この開示は、ユーザの凝視データ（ｇａｚｅ ｄａｔａ）の使用によって時空間データ（例えば、ビデオデータまたはライダーデータ）をセグメント化し、それによって、セグメント化を既知のプロセスよりもより少ないコンピュータリソースによって実施することを対象とする。即ち、ユーザの凝視データを使用することによって、ユーザが一瞬、凝視を固定した場所に相当する時空間データのフレーム内の領域において、セグメント化を実行することができる。これにより、セグメント化がフレームの特定の領域に限定されるので、セグメント化を迅速に実行することができるようになる。

一実施例は、オブジェクトが、時空間フレームを見ているユーザに特定されたタスクに関連しているか否かを決定すること、に関連する。このようなタスクは、ユーザを、運転者か乗客かまたは車両として特定することを含む。オブジェクトをタスクに関連付けることによって、これらのオブジェクトに対する関係が確立される。

本開示の一側面によれば、セグメント化タスクがユーザに対して特定され、さらに、時空間データを複数のフレームとして見ているユーザの目の動きをモニタすることによって生成された凝視データが受信される。凝視データは、フレーム全体にわたるユーザの凝視に基づいた固定位置（ｆｉｘａｔｉｏｎ ｌｏｃａｔｉｏｎ）を含む。複数のフレームのうちの第１フレームと第２フレームが、固定位置に基づいて選択される。第１および第２のフレームに関連する興味ある領域に基づいて、第１および第２のフレームから第１および第２のオブジェクトをそれぞれセグメント化するために、セグメント化を第１および第２のフレーム上で実施する。この興味ある領域とは、固定位置のうちの一つの位置に相当する。第１および第２のオブジェクトがセグメント化タスクに関連するか否かに関する決定が実行され、第１と第２のオブジェクトが関連している場合に、第１のオブジェクトを第２のオブジェクトに関連させるために、関連データが生成される。

前述の段落は、概略紹介のために提供されたものであり、後述する特許請求の範囲を限定するべく意図されるものではない。記載された実施例は、更なる効果と共に、以下の詳細な記載を添付図面と共に参照することによって、最も良く理解される。

添付の図面と関連して以下の詳細な説明を参照することによって、この開示とそれらに付随する多くの効果がより良く理解されるので、それらの完全な理解は容易となるものと思われる。

セグメント化システムのハードウエア・コンポーネントを示すブロック図である。 凝視追跡装置を示す。 典型的なユーザの視覚的走査経路を示す。 時空間データの典型的なフレームを示す。 一実施例に係るセグメント化および関連するアルゴリズムのフローチャートを示す。 固定位置を決定するためのアルゴリズムのフローチャートを示す。 ビデオフレーム選択のためのアルゴリズムのフローチャートを示す。 セグメント化を実行するためのアルゴリズムのフローチャートを示す。 オブジェクトの関連性決定および関連データ生成のためのアルゴリズムのフローチャートを示す。 交差点においてセグメント化を実施する第１の事例を示す。 交差点においてセグメント化を実施する第１の事例を示す。 セグメント化において使用される興味ある典型領域を示す。 セグメント化において使用される興味ある典型領域を示す。 図１０および図１１の事例において特定されるオブジェクトを示す。 図１０および図１１の事例において特定されるオブジェクトを示す。 交差点におけるセグメント化実施の第２の事例を示す。 交差点におけるセグメント化実施の第２の事例を示す。 交差点におけるセグメント化実施の第３の事例を示す。 交差点におけるセグメント化実施の第３の事例を示す。 交差点におけるセグメント化実施の第４の事例を示す。 交差点におけるセグメント化実施の第４の事例を示す。 セグメントまたはオブジェクトが類似しているか否かを決定するための手順を示す。

図面において、参照番号は、複数の図面にわたって同一または該当する部分を指定する。図１はセグメント化システムの典型的な構造を示す。セグメント化システム１００は、コンピュータハードウエア部品を含み、これらは個々にプログラムされ或いは種々の記録媒体上に記録されたプログラムコードを実行する。典型的な実施例において、セグメント化システム１００は中央処理ユニット（ＣＰＵ）１０２、メモリ１０４、ハードディスクドライブ１０８および／または光ディスクドライブ１１０の動作を制御するためのディスク制御装置１０６、ネットワーク制御装置１１２、Ｉ／Ｏインターフェース１１４およびグラフィック制御装置１１６を含む。Ｉ／Ｏインターフェースはカメラ１１８に接続され、グラフィック制御装置１１６はディスプレイ１２０に接続されている。ある実装では、カメラ１１８はディスプレイ１２０の部品であり、ディスプレイ１２０と通信／データチャンネルを共有する。ある実装では、Ｉ／Ｏインターフェースは、ユーザ入力周辺機器、例えばタッチスクリーンモニタ制御装置、キーボードおよびマウスにさらに接続されている。さらに、図１に示す制御装置は、共通ＢＵＳ１２２をデータ転送のために共有し、制御装置は特定用途向け集積化制御装置および他のプログラム可能なコンポーネントを含んでいても良い。

ネットワーク制御装置は、セグメント化システム１００がネットワーク、例えばインターネットを介して通信することを可能とする。ある側面において、カメラ１１８および／またはディスプレイ１２０は、ネットワークを介してセグメント化システム１００に接続されている。

図２は、カメラ１１８とディスプレイ１２０とを含む、凝視追跡装置２００を示す。例えばセグメント化システム１００であるセグメント化システムに接続されたカメラは、ディスプレイ１２０に対するユーザの目の動きを追跡することによって、凝視データを獲得する。凝視追跡装置２００は、ユーザが、ディスプレイ１２０上に複数のフレームとして表示された時空間データ（例えばビデオデータ、ライダーデータ）を見ている間、ユーザの凝視をモニタし記録する。凝視追跡装置２００は、ユーザの目の動き、頭の動き或いはこれら両方の組合せをモニタするように構成されている。

以下に議論する事例は、ビデオデータに関連して議論されている。しかしながら、別の時空間データ、例えばライダーデータ、熱マップデータ、赤外デバイス或いは飛行時間型センサを通して生成された他のデータの使用が可能なことを認識すべきである。

図３は、凝視追跡装置２００によって記録された凝視データ３００の一つの表現を示す。この凝視データはディスプレイ上でのユーザ凝視の、視覚的走査経路を示し、ユーザ凝視が瞬間的に固定された固定位置を含んでいる。この凝視データは、座標値（例えば、ｘおよびｙ）と時間データで表現することができる。例えば、固定位置３０２は、時間ｔ１とｔ２の間のユーザの凝視位置を表している。同様に、固定位置３０４、３０６、３０８、および３１０は、時間ｔ３とｔ４間、ｔ５とｔ６間、ｔ７とｔ８間およびｔ９とｔ１０間それぞれのユーザ凝視位置を表している。

一般に、離散座標とは反対に、ユーザ凝視はディスプレイスクリーン上のある領域に向けられる。従って、典型的な側面において、固定位置は、一つの面積とこの面積を定義する相当する座標値とで定義される。図３に示すように、固定位置３０２は円形領域によって定義される。しかしながら、他の幾何学的形状、例えば正方形、長方形、三角形、及び楕円、を使用することができることを認識すべきである。さらに、固定位置の面積は、ユーザ凝視が長時間に渡って特定位置に集中するに伴って、そのサイズが縮小する。即ち、図３の典型的な表現を取ると、固定位置３０２はｔ１−ｔ２が比較的短いことを示し、一方、固定位置３０４はｔ３−ｔ４が比較的長いことを示す。

図４は、複数の時空間フレームと相当する固定位置との関連を示している。一実施例において、時間ｔ１とｔ２間に示される２個のフレームは固定位置３０２に関係している。しかしながら、図４は主に代表目的でフレームを示していることを認識すべきである。即ち、そのフレームが、例えば２４ｆｐｓ（１秒あたりのフレーム数）で作動するビデオデータのフレームである場合、図４に示すそれぞれのフレームはビデオデータの１２フレームを表すことができる。

図５は、時空間データをセグメント化するためのアルゴリズムプロセスを、フローチャートによって示すものである。このプロセスは、Ｓ５０２でセグメント化タスクを特定すること、Ｓ５０４で凝視データを受信すること、Ｓ５０６で固定位置を決定すること、Ｓ５０８でビデオフレームを選択すること、Ｓ５１０でセグメント化を実行すること、およびＳ５１２で関連性を決定し且つ関連データを生成すること、を含む。

ユーザがディスプレイスクリーン上の、例えばビデオ画像のような時空間データを見始める前に、Ｓ５０２において、ユーザにセグメント化タスクが特定される。時空間データを見ている間、ユーザが注意を払うべきオブジェクトについての方向がユーザに与えられ、或いはユーザは運転者または乗客として行動するように命令される。従って、ユーザの凝視は、セグメント化タスクに関連するオブジェクト、例えば運転者または乗客に向けられることになる。

以下の事例において、時空間データは運転方法のビデオであり、且つユーザは、安全運転の目的を持った乗用車の運転者のタスクが特定されている。しかしながら、その他のセグメント化タスク、例えばサイクリング、車両の乗客であること、商用車を運転すること、或いは建設車両を運転することも同様に適用することができる。乗用車の運転者であるというタスクに対して、ユーザは彼の凝視をオブジェクトに向け、このオブジェクトは安全運転に関連しているものであり、例えば他の車両、歩行者、道路上のライン、交通信号機／信号、標識等である。その他のオブジェクトを、安全運転のタスクに関係しないとして分類し或いは決定することができる。

Ｓ５０２の、ユーザにセグメント化タスクを特定するプロセスは、ディスプレイスクリーン上にセグメント化タスクをディスプレイすること、或いはユーザの選択のためにセグメント化タスクのリストをディスプレイスクリーン上にディスプレイすることを含む。ユーザがセグメント化タスクを特定し、或いは音声命令または音声再生によってセグメント化システム１００により特定されても良い。

一旦、セグメント化タスクが特定されると、セグメント化システム１００はＳ５０４において凝視データを受信する。上記で議論したように、凝視データは、カメラ１１８のような凝視追跡カメラの結果であって良い。凝視データはさらに、ネットワーク装置または記録媒体から受信されても良い。セグメント化システム１００は凝視データを、生成されたデータとして或いは、以前に記録されたデータを有する装置或いは媒体からのデータとして、受信する。

Ｓ５０６において、固定位置が決定される。このプロセスは、図６に示すフローチャートによって説明される。現在の凝視候補の継続時間が決定され、この候補は固定位置の候補である。Ｓ６００でこの候補の継続時間が閾値継続時間を超えると決定されると、次にその候補は固定位置として設定される。Ｓ６０４において、もしその候補が最後の候補であると決定されると、そのプロセスは終了する。そうでない限り、Ｓ６０６で次の凝視候補が現在の候補として設定され、Ｓ６００で始まるプロセスが繰り返される。継続時間閾値が満足されない場合、プロセスはＳ６０２をスキップし、Ｓ６０４に進み、そして全ての候補が処理されるまでプロセスＳ５０６が繰り返される。

上記で議論したように、凝視データは固定位置を含み、この固定位置ではユーザは瞬間的に彼の凝視を固定する。このような固定位置と関連するのは、固定位置におけるユーザ凝視の継続時間を示す期間データである。ユーザの凝視が、常に、一つの位置から次の位置へ連続した経路をたどることはない。往々にして、ユーザの凝視は、ほんの一瞬で、ディスプレイ上の他の位置に移動する。このような状況において、期間データが非常に短い継続時間を示しても、固定位置は生成される。

この開示の一側面において、このような状況に対処するために、全ての固定位置は固定位置候補として定義され、固定位置候補それぞれの期間データが、Ｓ６００で議論したように既定の閾値と比較される。この既定閾値は、例えば１秒の１０分の１、或いは２４ｆｐｓビデオが使用されている場合２フレームとすることができる。このようにして、ユーザの意図的でない固定位置を示す固定位置候補は使用されなくなる。しかしながら、Ｓ５０６の固定位置を決定するプロセスを部分的に省略し或いは変更して、全ての固定位置候補を固定位置として設定することもできる。

図７は、Ｓ５０８において時空間データのフレームを選択するためのプロセスを示している。Ｓ７００において、現在のフレームの時間が固定位置の継続時間内であるか否かの決定がなされる。継続時間内である場合、Ｓ７０２において、現在のフレームをセグメント化すべきとして選択し、さらにＳ７０４において、現在のフレームが最後のフレームであるか否かの決定がなされる。最後のフレームでない場合、Ｓ７０６において次のフレームが現在のフレームとして選択され、プロセスはＳ７００に戻る。Ｓ７００において、現在のフレームが固定位置の継続時間内でない場合、プロセスはＳ７０２をスキップしてＳ７０４に進み、そして全てのフレームが処理されるまで、プロセスＳ５０８が繰り返される。図示はしていないが、プロセスＳ５０８は周期的ベースでフレームをスキップし、処理要求を単純化することができる。例えば、時空間データが高いフレーム速度で獲得されたビデオデータである場合、全てのフレームを個々に処理する必要はなく、１個毎の、或いは４個に１個のフレームのみが処理される必要がある。さらに、プロセスＳ５０８は、それぞれの固定位置に対して１個または２個のフレームのみを選択するように適応させることができ、そして次の固定位置に相当するフレームにスキップする。

一般に、時空間データのフレームは、ディスプレイ上のフレームの表示時間を示す時間に関連する。さらに、上記で議論したように、継続時間データは固定位置に関連している。一側面において、フレームの時間が固定位置の継続時間内であると決定されると、そのフレームはセグメント化すべきフレームであるとして選択される。

図８は、Ｓ５１０においてセグメント化を実行するプロセスを示している。Ｓ８００において最初に、Ｓ５０８で選択されたフレームがセグメント化される。このフレームは、このフレームに関連した興味ある領域に基づいてセグメント化される。言い換えると、興味ある領域が、セグメント化すべきフレームの一面積を特定するために使用される。この興味ある領域は、固定位置の１個の位置に相当する領域を表す。例えば、図１０Ａに示すように、興味ある領域は固定位置を取り囲む領域であり、さらに実質的に固定位置を中心としている。後に議論するように、興味ある領域のサイズと位置は、フレームの異なる面積がセグメント化されるように調整される。Ｓ８００におけるセグメント化は、興味ある領域内に位置するオブジェクトを（例えば、特定し、検出し且つ抽出するために）セグメント化するように実施される。

Ｓ８００におけるセグメント化は、興味ある領域内の面積のみをセグメント化することを含んでいても良い。それによって、興味ある領域内に位置するオブジェクトがセグメント化され、興味ある領域の外に位置するオブジェクトはセグメント化されないであろう。

典型的な側面において、Ｓ８００でのセグメント化に続いて、Ｓ８０２において、オブジェクトのタイプ或いはクラスを特定するためにオブジェクトの特徴を分類することを含んでいても良い。オブジェクトのタイプまたはクラスは、オブジェクトの特徴を、オブジェクトと関連あるとして以前に記録された特徴と比較することにより、特定することができる。このような比較は、オブジェクトの以下に議論するようなヒストグラムを、オブジェクトと関連するとして以前に記録されたヒストグラムと比較することによって、実施される。オブジェクトのタイプ或いはクラスが特定されると、特定されたタイプまたはクラスとしてラベル付けされる（例えば、タグ付けされ或いはマーク付けされる）。このデータは、セグメント化されたオブジェクトの位置データと共に出力することができる。

一側面において、セグメント化は、興味ある領域内に位置するオブジェクトをオブジェクト検出器または追跡装置によって検出することを含む。オブジェクト検出器は興味ある領域の位置およびサイズのパラメータを受信し、そして興味ある領域内に位置する１個のオブジェクトまたは複数のオブジェクトを検出する。この事例において、オブジェクト検出器は、パラメータによって定義された特定位置及び面積におけるフレームのオブジェクトを検出することができる。オブジェクト検出器は、セグメント化されたオブジェクトの位置データおよびタイプまたはクラスデータを出力することもある。従って、オブジェクト検出器を特定された位置上にフォーカスすることにより、フレームをセグメント化しオブジェクトを特定するために必要な時間が減少する。

上述したオブジェクト検出器は、オブジェクト認識アルゴリズムを使用することによってオブジェクト検出を実施する。このようなアルゴリズムは、例えば、Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴、Ｓｐｅｅｄｅｄ ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）およびウエーブレットベースの特徴のような、特徴ベースの入力を受信する。認識アルゴリズムは、サポートベクターマシン（ＳＶＭ）、ツリーベースの分類器およびニューラルネットワークとして実施することができる。

フレームがセグメント化された後、プロセスはＳ８０４に進み、その１個または複数のオブジェクトが、Ｓ５０２においてユーザに対して以前に特定されたセグメントタスクに関連するか否かを決定する。Ｓ８０４において、セグメント化されたオブジェクトの特定されたタイプまたはクラスが、セグメント化タスクに関連する既定のタイプまたはクラスであるか否かについての決定が行われる。これは、一般に、Ｓ８０２において特定されたセグメント化オブジェクトのタイプまたはクラスを、Ｓ５０２でユーザに対して特定されたセグメント化タスクに関連する既定のタイプまたはクラスと比較することを含んでいる。

安全運転の事例において、セグメント化システム１００は、セグメント化オブジェクトの特定されたタイプまたはクラスが安全運転のタスクに関連あるか否かを決定する。安全運転に関連するオブジェクトタイプまたはクラスは、例えば、車両、歩行者、道路上のライン、交通信号、標識等である。言い換えると、セグメント化されたオブジェクトのタイプまたはクラスが歩行者であると特定されると、そのオブジェクトは安全運転のタスクに関連すると決定される。

Ｓ８０４で、オブジェクトがセグメント化タスクと関連しないと決定された場合、プロセスはＳ８０６に進み、ここで興味ある領域のサイズを調整する。興味ある領域のサイズは、オブジェクトを含み或いは排除するように、その面積が大きくなるように或いは小さくなるように調整することができる。

一側面において、セグメントタスクに関連しないオブジェクトが検出されると、興味ある領域の面積を増大させて、プロセスがＳ８００に戻った場合、興味ある領域の以前の面積の外側に位置するオブジェクトがセグメント化されるようにしても良い。興味ある領域のサイズを調整するためのパラメータは事前にユーザによって設定され、或いはセグメントシステム１００内に記録されていても良い。さらに、Ｓ８００におけるフレームセグメント化が結果としてオブジェクトのセグメント化を生じない場合、興味ある領域のサイズをＳ８０６で増大し、Ｓ８００でセグメント化が繰り返されるようにしても良い。オブジェクトのセグメント化に未だ成功しない場合、プロセスを次のフレームに進め、或いは終了することができる。

Ｓ８０８において、タスクに関連すると決定されたオブジェクトは、もしこのような決定が利用される場合、或いは、Ｓ８００でセグメント化されＳ８０２で特定されたオブジェクトは、Ｓ５１２でプロセスによって利用されるべく出力される。これについては、後に議論する。次にＳ８１０において、現在セグメント化されたフレームが、セグメント化すべき最後のフレームであるか否かが決定される。最後のフレームである場合、そのプロセスは終了する。そうでない場合、Ｓ８１２において、次のフレームがセグメント化されるべきフレームとして設定される。Ｓ８１４において、興味ある領域の位置および興味ある領域のサイズを、セグメント化すべき今現在のフレームの前のフレームに対して以前に特定され且つ出力されたオブジェクトに基づいて、調整することができる。その後、プロセスはフレームセグメント化のためにＳ８００に戻る。

特定されたオブジェクトのセグメント化タスクに対する関連性は、Ｓ８０２で決定されるものとして上記で議論された。関連性を決定し関連データを生成するプロセスであるＳ５１２において、別の関連性が決定される。

図９は、オブジェクトの関連性を決定し且つ関連データを生成するためのプロセスＳ５１２を示す。Ｓ９００において、Ｓ８０８において出力されたオブジェクトがＳ５０２においてユーザに対して特定されたセグメント化タスクに関連するか否か、についての決定が行われる。この決定は、図８に示すプロセスＳ５１０のＳ８１０において既に行われている場合、省略するようにしても良い。

セグメント化されたオブジェクトのタイプまたはクラスがセグメント化タスクに関連する既定のタイプまたはクラスであるか否かの決定を、Ｓ９００において、個々のオブジェクトに対しそれぞれ、２個またはそれ以上のオブジェクトに対して一度に、或いは全てのオブジェクトに同時に、行うようにしても良い。このようにして、Ｓ９００を、フレーム毎のベースで或いは複数フレームに対して一度に実施するようにしても良い。

Ｓ９００において１個のオブジェクトまたは複数のオブジェクトがセグメント化タスクに関連すると決定された場合、プロセスは、Ｓ９０２において関連データを生成するように進行する。関連データは、一般に、フレーム中のセグメント化されたオブジェクトがセグメント化タスクに関連することを示すものである。

ステップＳ９０２で生成された関連データは、さらに、第１のフレームからセグメント化されたオブジェクトと第２のフレームからセグメント化されたオブジェクトとが関連していることを示すことができる。例えば、安全運転の場合、第１のフレームからセグメント化された自動車が、第２のフレームからセグメント化された自動車に関連している場合もある。関連データは、これらの自動車が同じ自動車であるか、或いは、同じ道路上の自動車であるかを示すことができる。

複数のオブジェクトが同じオブジェクトであると特定されると、関連データはオブジェクトに関連する一時的なアクション、例えば第１の位置から第２の位置への自動車の移動、を表示する。このような場合、関連データは第１の場所と第２の場所の位置を含む。その他の一時的なアクションとしては、レーンを変えようとしている自動車、駐車場から街路に出ようとしている自動車、突然、軌道変更をする（例えば、舗道から飛び降り、街路を疾走する）歩行者、或いは停止信号の変化、を含むことができる。オブジェクトを異なるフレームからのセグメントに関連付けるための関連データを生成することによって、関連データとして記憶されているこれらのオブジェクト間に、関係性を形成することができる。

一時的なアクションを、回帰ニューラルネットワーク、テンポラル・ランダム・フォレスト（ｔｅｍｐｏｒａｌ−ｒａｎｄｏｍ ｆｏｒｅｓｔｓ）、カルマンフィルター（Ｋａｌｍａｎ ｆｉｌｔｅｒ）（ＫＦ）追跡器、条件付密度伝搬（ｃｏｎｄｉｔｉｏｎａｌ ｄｅｎｓｉｔｙ ｐｒｏｐａｇａｔｉｏｎ）及び一時的ベイズ予測器（ｔｅｍｐｏｒａｌ Ｂａｙｅｓｉａｎ ｐｒｅｄｉｃｔｏｒｓ）を含む、追跡および一時的認識アルゴリズムを使用することによって認識することができる。関連データを、２個以上のフレームからセグメント化された１個または複数のオブジェクトに関連付けるために、関連データを生成することができることを認識すべきである。さらに、１個以上のオブジェクトを個々のフレームからセグメント化することができ、さらに、これらのオブジェクトをセグメント化タスクおよび／または互いに関連付けるために、関連データを生成することもできる。

図１０−２１を参照して、興味ある領域内のフレームのセグメント化事例を以下で議論する。一般に、興味ある領域の面積は固定位置の面積よりも大きい。一側面において、興味ある領域は、事前に設定されたユーザパラメータによって定義される。例えば、ユーザはパラメータ、例えば、幅、長さ、半径等を、興味ある領域の形状／幾何学形状に基づいて設定することができる。他の側面において、興味ある領域は、ステレオ情報、距離測定、オブジェクト検出器からの出力（添付の図１８−１９の説明中に述べられるように、領域のサイズは、木を認識することによって縮小する）、或いはマップ情報による時空間データの以前の処理の何れかから既知である、オブジェクトまでの距離の関数によって定義される。

図１０−１１は、ビデオデータのフレーム内に位置するオブジェクトのセグメント化の一例を示す。この例において、フレーム１０および１５は、時間ｔ１とｔ２間のフレームとして選択される。図１０に示すように、ユーザ凝視の固定位置が自動車上に円で位置付けられており、さらに、興味ある領域が固定位置の周りの正方形として定義されている。フレーム１０および１５は、同じ場所に位置する興味ある領域によってセグメント化されている。代替的な興味ある領域が図１２−１３に示されており、それぞれ、フレーム１０に対して円である興味ある領域と、楕円である興味ある領域を示している。

フレーム１０の興味ある領域に基づいて、その中に位置する自動車がセグメント化される（例えば、特定される）。フレーム１０に対するこのセグメント化の可視表現が図１４に示されており、この図は、自動車（矢印で特定されている）を特定されたオブジェクトとし、一方で表示されたその他の特徴は無視されている。フレーム１５のためのセグメント化の可視表現が図１５に示されている。

代替的実施例において、セグメント化は、図１６−１７に示すように、第１のフレーム上で第１の場所に位置する興味ある領域によって実施され、さらに、第２フレーム上で第２の場所に位置する興味ある領域によって実施される。この例において、興味ある領域は、第１の固定位置に関連する第１の場所から、第２の固定位置に関連する第２の場所へ移動する。言い換えると、興味ある領域の位置は、ユーザ凝視の動き（即ち、特定された自動車の動き）に従って調節される。

図１８−１９は、フレーム２０においてセグメント化されたオブジェクトのサイズに基づいてサイズを縮小させた、興味ある領域によって、フレーム２５をセグメント化する例を示している。図１８に示すように、フレーム２０が、実質的に木よりも大きな興味ある領域によってセグメント化され、この木は特定すべきオブジェクトであり且つフレーム２０のセグメント化の結果として認識されるものである。セグメント化システム１００が、木をセグメント化するためにセグメント化を実施した後、図１９に示すように、木のサイズに基づいた面積を有する興味ある領域によってフレーム２５がセグメント化されるように、興味ある領域の面積が調整される。言い換えると、フレーム２５をセグメント化するために使用される興味ある領域の面積は、フレーム２０をセグメント化することによって決定された木のサイズに基づいて縮小される。

図２０−２１は、第１回目は初期面積を有する興味ある領域で、第２回目は縮小した面積を有する興味ある領域によって、フレーム３０をセグメント化する事例を示している。この事例において、歩行者を特定するタスクがユーザに対して特定され（これは上記で議論した安全運転タスクの一部分であり得る）、フレーム３０からのセグメント化オブジェクトがセグメント化タスクに関連すると決定された場合、或いは、既定の時間が経過した場合に、セグメント化が完了する。このように、興味ある領域のサイズを調整するプロセスは、適切なオブジェクト（即ち、歩行者）を特定することに基づいて、実施される。

図２０に示すように、第１のセグメント化プロセスは、ストップ標識と歩行者の両者を取り囲む興味ある領域によって、フレーム３０上で実施される。この場合、第１のセグメント化プロセスはストップ標識をセグメント化し、そして、ストップ標識が歩行者を特定するタスクと関連しないことを決定する。

その結果、図２１に示すように、第２のセグメント化プロセスが、タスクに関連しないオブジェクト（即ち、ストップ標識）を除去して、興味ある領域が歩行者のみを取り囲むように縮小されたサイズを有する、興味ある領域によって、フレーム３０上で実行される。即ち、第２のセグメント化プロセスは歩行者をセグメント化し、そして、その歩行者が歩行者を特定するというタスクに関連していると決定して、フレーム３０に対するセグメント化プロセスを終了する。

セグメント化システム１００は、複数ユーザの固定位置によって実行することができる。例えば、開示の一側面において、セグメント化は、第１のユーザから得られた固定位置の使用によってフレーム上で実施され、その後、第２のユーザから得られた固定位置の使用によってフレーム上で実施される。次に、合成されたセグメント化を分析し、平均の結果を出力する。このようにして、両方のセグメント化においてセグメント化されたオブジェクトを、平均セグメント化結果として特定することにより、セグメント化プロセスをさらに正確にすることができる。

安全運転の場合において、この開示の一側面は、セグメント化プロセスの出力によって、改良された運転者凝視モデルを作成することを含む。凝視を、相当する運転状況において記録することによって潜在的な相関情報が蓄積され、これは、凝視パターンをモデル化しより経験のある運転者から経験の少ない運転者に知識を伝達するために有用である。例えば、セグメント化システムは、運転状況、運転プラン、行動を凝視パターンに関連付け、それらをメモリ中に記憶させ、それらをオンデマンドで再生することができる。このようにして、経験の少ない運転者は、より経験のある運転者の凝視に基づいて用意されたセグメント化ビデオを見ることによって、与えられた運転状況においてより経験のある運転者がどの様に反応するかを学習することができる。その結果、これにより種々の教育的効果が提供される。

上記の記載は、ビデオデータに基づいて提供されているが、その他の時空間データ、例えば、ライダー（光検出および計測）データも利用可能であることを認識すべきである。さらに、ライダーデータをビデオデータと結合することも可能で、この場合、追跡カメラをビデオシーンにおけるユーザの目の動きを追跡するために使用し、且つ、オブジェクトは相当するライダーデータからセグメント化される。さらに、運転者が車両を運転している間、凝視追跡カメラとライダーを使用して、凝視追跡をリアルタイムで行うことができる。このような実施によって、運転者の車両内での位置の既定の幾何学的データに基づいて、ユーザの凝視位置を検出することができる。

ライダーセンサは、オブジェクトを光によって照射することによって、距離データを獲得する。この距離データを、興味ある領域のサイズを設定するために利用することができる。例えば、オブジェクトがディスプレイスクリーン面から遥かに離れていることを距離データが示した場合、興味ある領域の面積を、この距離に基づいて増大させ或いは縮小することができる。

上述の側面によれば、類似の可視表現に基づいて、オブジェクトとセグメントを比較することができる。このような実施の一つでは、図２２における事例に示すように、ヒストグラム比較を利用することができる。ここでは単に説明目的のために、単色比較を示している。標準的な３色ＲＧＢスペクトルに対して、当然、同様の比較を実施することができる。上部の比較は、２個のセグメント、例えば２個の異なるフレームからの２個の異なるセグメント、或いは１個のフレームからのセグメントおよびオブジェクト認識に使用されるデータベース中に記憶されたセグメント、が類似していることを、どのように決定するかを示している。ここで、ヒストグラムは、良く似た傾向を互いにプリセットされた範囲内で示す。

一方、下部の比較は、類似していない２個のセグメントを示している。即ち、それらのヒストグラムは非類似の傾向を有し、且つ、大きな不一致を有しており、２個のセグメントが同じオブジェクトを示すことは在りそうもない。同様の比較を、例えば、オブジェクトの輪郭を比較するような、ライダー源からの曇り点データによって行うことができる。

上記開示に照らして明らかに本開示の多くの修正および変更が可能である。従って、適用された特許請求の範囲内で、ここに具体的に記載されたものとは異なる方法で実施できることを、理解すべきである。

Claims (16)

1. 時空間データを複数のフレームとして見ているユーザの目の動きをモニタすることによって生成された凝視データを受信するように構成された受信ユニットであって、前記凝視データは、フレーム全体にわたるユーザの凝視に基づく固定位置を含む、受信ユニットと、
   固定位置に基づいて前記フレーム中から第１のフレームと第２のフレームを選択するように構成された選択ユニットと、
   前記第１および第２のフレームに関連した興味ある領域に基づいて、前記第１および第２のフレームから第１および第２のオブジェクトをそれぞれ特定するために、前記第１および第２のフレームにセグメント化を実施するように構成されたセグメント化ユニットであって、前記興味ある領域は前記固定位置を取り囲む領域である、セグメント化ユニットと、
   前記第１および第２のオブジェクトがユーザに対して特定されたセグメント化タスクに関連するか否かを決定するように構成された決定ユニットと、および
   前記第１および第２のオブジェクトが前記セグメント化タスクに関連すると決定された場合に、前記第１のオブジェクトを前記第２のオブジェクトに関連させる関連データを生成するように構成された生成ユニットと、を備える、セグメント化装置。
2. 請求項１に記載の装置において、
   前記受信ユニットは、それぞれがユーザの凝視の期間を示す継続時間を含む複数の固定位置候補を含む凝視データを受信するように構成されており、さらに
   前記固定位置は、閾値よりも長い継続時間を有する固定位置候補である、セグメント化装置。
3. 請求項２に記載の装置において、前記第１および第２のフレームは、前記固定位置の１個の継続時間の間に表示されたフレームである、セグメント化装置。
4. 請求項２に記載の装置において、前記興味ある領域の面積が前記固定位置の前記継続時間によって決定され、さらに、
   前記興味ある領域の面積は前記固定位置の前記継続時間が増加すると減少する、セグメント化装置。
5. 請求項１に記載の装置において、前記セグメント化ユニットは、
   第１の場所に位置する興味ある領域によって前記第１のフレームをセグメント化し、さらに、
   前記第１の場所とは異なる場所である第２の場所に位置する興味ある領域によって前記第２のフレームをセグメント化することよって、前記セグメント化を実施するように構成されている、セグメント化装置。
6. 請求項５に記載の装置において、
   前記固定位置は第１および第２の固定位置を含み、さらに、
   前記第１の場所は前記第１の固定位置を取り囲む領域であり、且つ、前記第２の場所は前記第２の固定位置を取り囲む領域である、セグメント化装置。
7. 請求項１に記載の装置において、前記セグメント化ユニットは、同じ場所に位置する興味ある領域によって前記第１および第２のフレームをセグメント化することにより、前記セグメント化を実施する、セグメント化装置。
8. 請求項１に記載の装置において、前記セグメント化ユニットは、前記第２のフレームをセグメント化するために使用される興味ある領域の面積が、前記第１のフレームをセグメント化するために使用される興味ある領域の面積よりも小さくなるように、前記第２のフレームをセグメント化するために使用される興味ある領域の面積を調整することによって、前記セグメント化を実施する、セグメント化装置。
9. 請求項１に記載の装置において、前記セグメント化ユニットは、前記第２のフレームをセグメント化するために使用される興味ある領域の面積が前記第１のオブジェクトのサイズに基づくように、前記第２のフレームをセグメント化するために使用される興味ある領域の面積を調整することによって、前記セグメント化を実施する、セグメント化装置。
10. 請求項１に記載の装置において、前記セグメント化ユニットは、
    前記第１のオブジェクトが前記セグメント化タスクに関連しないと前記決定ユニットが決定したことに応答して、前記第１のフレームの興味ある領域を初期面積から縮小された面積まで縮小し、さらに、
    前記第１のオブジェクトが前記セグメント化タスクに関連しないと前記決定ユニットが決定したことに応答して、前記縮小された面積を有する前記興味ある領域に基づいて、第３のオブジェクトをセグメント化するために、前記第１のフレームをセグメント化する、セグメント化装置。
11. 請求項１に記載の装置において、
    前記セグメント化ユニットは、オブジェクト認識アルゴリズムを前記第１おおび第２のフレームに適用することによって、セグメント化を実施し、さらに、
    前記生成ユニットは、前記オブジェクト認識アルゴリズムの出力に基づいて前記関連データを生成し、ここで前記オブジェクト認識アルゴリズムの出力は前記第１および第２のオブジェクトのタイプまたはクラスおよび位置データを含む、セグメント化装置。
12. 請求項１に記載の装置において、前記複数のフレームは、ライダーまたは別の飛行時間型センサによって提供されるデータから生成される、セグメント化装置。
13. 請求項１に記載の装置において、
    前記セグメント化ユニットは、前記第１および第２のオブジェクトのタイプまたはクラスをそれぞれ特定するために、前記第１および第２のオブジェクトの特徴を分析することによって、セグメント化を実施し、さらに、
    前記決定ユニットは、前記第１および第２のオブジェクトのそれぞれのタイプまたはクラスが、セグメント化タスクに関連した既定のタイプまたはクラスであるとして特定された場合、前記第１および第２のオブジェクトが前記セグメント化タスクに関連すると決定する、セグメント化装置。
14. 時空間データを複数のフレームとしてみているユーザの目の動きをモニタすることによって生成された凝視データを受信する手段であって、前記凝視データは、フレーム全体にわたるユーザの凝視に基づく固定位置を含む、受信する手段と、
    前記固定位置に基づいて、前記フレームの第１のフレームと第２のフレームを選択する手段と、
    前記第１および第２のフレームに関連する興味ある領域に基づいて、前記第１および第２のフレームからそれぞれ第１および第２のオブジェクトを特定するために、前記第１および第２のフレームにセグメント化を実施する手段であって、前記興味ある領域は前記固定位置を取り囲む領域である、セグメント化を実施する手段と、
    前記第１および第２のオブジェクトが、ユーザに対して特定されたセグメント化タスクに関連しているか否かを決定する手段と、さらに、
    前記第１および第２のオブジェクトが前記セグメント化タスクに関連すると決定された場合に、前記第１のオブジェクトを前記第２のオブジェクトに関連させるための関連データを生成する手段と、を備えるセグメント化装置。
15. ユーザに対してセグメント化タスクを特定し、
    時空間データを複数のフレームとして見ているユーザの目の動きをモニタすることによって生成された凝視データであって、前記フレーム全体にわたるユーザの凝視に基づく固定位置を含む、凝視データを受信し、
    前記固定位置に基づいて、前記フレームの第１および第２のフレームを選択し、
    前記第１および第２のフレームに関連する興味ある領域であって、前記固定位置を取り囲む興味ある領域に基づいて、前記第１および第２のフレームからそれぞれ第１および第２のオブジェクトを特定するために、前記第１および第２のフレーム上でセグメント化を実施し、
    前記第１および第２のオブジェクトが、前記セグメント化タスクに関連するか否かを決定し、さらに、
    前記第１および第２のオブジェクトが前記セグメント化タスクに関連すると決定された場合に、前記第１のオブジェクトを前記第２のオブジェクトに関連させるための関連データを生成する、方法。
16. プロセッサによって実行された場合、前記プロセッサに請求項１５に記載の方法を実行させるための命令が符号化されている、持続性のコンピュータ可読媒体。

Images