JP6559316B2 - 動画コンテンツの分析に基づいて触覚フィードバックを生成する方法及び装置 - Google Patents

Description

本開示は、動画コンテンツの分析、動画に現れる一又は複数のオブジェクトのモーションの一又は複数の測定結果を含む一又は複数のセンサからのセンサ情報、および／または一又は複数のイメージキャプチャデバイスによるモーションの一又は複数の測定結果を含むセンサ情報に基づいて触覚フィードバックを生成するシステム及び方法に関する。

動画等の従来のマルチメディアコンテンツは触覚フィードバックによって改善可能である。しかしながら、このような改善を実現するためには、通常、触覚フィードバックを符号化した情報を動画に直接埋め込むことが必要となる。よって、この技術では、触覚フィードバックを符号化した情報で注釈が付けられていない既存の動画に対してリアルタイムの触覚フィードバックを提供することはできない。

また、従来のメディア再生システムは、触覚フィードバックを生成するために、動画のシーンに登場するオブジェクトのモーションを示すセンサ情報を利用していない。さらに、動画情報に基づくオブジェクトの加速度の推定は、オブジェクトが高速で移動している場合にはブラーやアーチファクトのために不正確なものとなる一方、オブジェクトに取り付けたセンサからの情報を用る場合には低速の場合に不正確となる。

本発明は、動画コンテンツの分析、動画に現れる人物等の一又は複数のオブジェクトのモーションの一又は複数の測定結果を含む一又は複数のセンサからのセンサ情報、および／または一又は複数のイメージキャプチャデバイスによるモーションの一又は複数の測定結果を含むセンサ情報に基づいて触覚フィードバックを生成するシステム及び方法に関する。一般に、当該システムは、一又は複数のプロセッサを有するコンピュータ装置を備える。当該一又は複数のプロセッサは、動画コンテンツ分析を行い、および／または、当該センサ情報を用いて生成されるべき触覚フィードバックを発生させることによりユーザ体験を向上させることができる。

当該触覚フィードバックは、前記画像処理に基づいて定められる、当該動画のシーンのオブジェクトの推定加速度に基づいて変化する。当該推定加速度は、高速ではセンサ情報を用いることにより高精度となり、当該センサ情報に基づく推定加速度は低速では上記の画像処理に基づいて高精度にすることができる。

一部の実施態様において、当該動画コンテンツ分析は、当該動画の一又は複数のフレームの画像処理を行うことを含む。当該コンピュータ装置は、当該画像処理に基づいて一又は複数のイベントを特定し、当該一又は複数のイベントに基づいて触覚フィードバックを発生させることができる。このイベントは、例えば、画像キャプチャ装置の動き、オブジェクトの外観、体の部分の外観、爆発、移動中のオブジェクト、特定の認識可能な画像の特徴、顔の表情、ジェスチャ、シーンのテーマ、および／または当該画像処理により特定可能な前記以外のイベントを含む。

このコンピュータ装置は、触覚フィードバックを発生させる制御信号を生成し、当該制御信号を、当該触覚フィードバックを出力する一又は複数の触覚出力装置に送信することができる。この触覚出力装置は、当該コンピュータ装置の具体的な用途や実装に応じて様々な方法で構成される。例えば、触覚出力装置は、コンピュータ装置（例えば、共通のハ
ウジングに収容される）、ユーザインタフェース装置、ウェアラブルデバイス、椅子（例えば、当該コンピュータ装置が映画への画像処理を実行し映画視聴中に没入的な触覚フィードバックを提供することができる映画館内にあるもの）、および／または具体的な実装に応じた前記以外の構成と一体に構成されてもよい。

当該触覚フィードバックは画像処理に基づいて生成されるので、当該コンピュータ装置は、触覚フィードバックをマルチメディアファイルまたはマルチメディアストリームに符号化した情報の埋め込みや設定を行うことなく、リアルタイムの触覚フィードバックを促進することができる。このように、当該コンピュータ装置は、動画が触覚フィードバックを発生させる情報と対応付けて提供されておらず、または、触覚フィードバックを発生させる情報に組み込まれていなくても、当該動画（および／または画像処理が実行される動画以外のマルチメディアコンテンツ）を触覚フィードバックを用いて改善することができる。

一部の実装携帯において、当該コンピュータ装置は、動画等のマルチメディアコンテンツに関連するモーションの一又は複数の測定結果を含むセンサ情報を用い、触覚フィードバックを発生させる制御信号を生成することができる。例えば、動画をキャプチャする時点で、一又は複数のセンサは、当該センサが当該画像キャプチャ装置および／またはオブジェクトのモーションを測定するように、画像キャプチャ装置（例えばビデオカメラ）および／またはトラック対象のオブジェクト（例えば当該動画に出現するオブジェクト）に接続することができ、その測定結果を含む情報を出力することができる。これにより、触覚フィードバックを提供するために用いられるセンサ情報を提供するために、当該オブジェクトおよび／または画像キャプチャ装置のモーションが測定される。キャプチャされた動画および／またはセンサ情報は、リアルタイミングでストリーミングされ、および／または、再生用にコンピュータ装置に提供するために記憶される。

コンピュータ装置はセイン差情報を取得し、当該センサ情報に応答して制御信号を生成することができる。たとえば、当該センサ情報は、動画の特定のシーンにおいて画像キャプチャ装置が移動していることを示すことができる。当該コンピュータ装置は、特定のシーンをキャプチャしている間に、画像キャプチャ装置のモーションに応答して、センサ情報に基づいて定められる制御信号を生成することができる。同様に、センサ情報は動画のシーンに登場するオブジェクトが移動していることを示すことができる。当該コンピュータ装置は、特定のシーンをキャプチャしている間に、オブジェクトのモーションに応答して、センサ情報に基づいて定められる制御信号を生成することができる。一部の実装態様において、コンピュータ装置は、画像キャプチャ装置およびトラック対象のオブジェクトのモーションに基づいて、触覚フィードバックを発生させる制御信号を生成することができる。

一部の実装態様において、コンピュータ装置は、画像処理に基づいてオブジェクトのスピード、加速度、および／または角速度の第１推定値を生成し、センサ情報に基づいて当該オブジェクトのスピード、加速度、および／または角速度の第２推定値を生成する。コンピュータ装置は、当該第１推定値および第２推定値に基づいて、当該オブジェクトのスピード、加速度、および／または角速度の融合された推定値を生成することができる。融合された推定値を用いることにより、コンピュータ装置は制御信号を生成することができる。一部の実装態様において、コンピュータ装置は、当該第１推定値（画像処理に基づくもの）のみを用いて制御信号を生成することができる。

制御信号を生成するために動画に関連するモーション情報の使用に関する上述した実装態様のいずれを用いた場合であっても、コンピュータ装置は、シーンに登場するオブジェクトおよび／またはシーンをキャプチャする画像キャプチャ装置が動いているときに触覚
フィードバックを発生させることにより、動画体験を向上させることができる。例えば、コンピュータ装置は、オブジェクトがシーンの間に加速していると決定した場合には、強度（ｉｎｔｅｎｓｉｔｙ）を増加させる触覚フィードバックを発生させる制御信号を提供することができる。

一部の実装態様において、コンピュータ装置は、動画の画像処理のみを用いて触覚フィードバックを発生させる制御信号を生成することができる。他の実装態様において、コンピュータ装置は、センサ情報のみを用いて触覚フィードバックを発生させる制御信号を生成することができる。さらに他の実装態様において、コンピュータ装置は、動画の画像処理をセンサ情報と組み合わせて触覚フィードバックを発生させる制御信号を生成することができる。

本技術の上記及び上記以外の特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。本明細書において、同様の参照符号は種々の図における対応部分を表している。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の“ａ”，“ａｎ”及び“ｔｈｅ
”には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白
な場合はこの限りでない。

本発明の一態様に従って、動画コンテンツの分析に基づいて触覚フィードバックを生成するように構成されたシステムを示す。

本発明の一態様に従って、静止している画像キャプチャ装置によって撮影（ｆｉｌｍ）されているオブジェクトにＩＭＵセンサが結合されており、触覚フィードバックを生成するために当該オブジェクトのモーションがＩＭＵセンサによって測定されているシナリオの例を示す。

本発明の一態様に従って、オブジェクトおよび画像キャプチャ装置にＩＭＵセンサが結合されており、触覚フィードバックを生成するために当該オブジェクトのモーションがＩＭＵセンサによって測定されているシナリオの例を示す。

本発明の一態様に従って、移動している画像キャプチャ装置によって撮影（ｆｉｌｍ）されているオブジェクトにＩＭＵセンサが結合されており、触覚フィードバックを生成するために当該オブジェクトのモーションがＩＭＵセンサによって測定されているシナリオの例を示す。

本発明の一態様に従って、動画コンテンツの分析に基づいて触覚フィードバックを生成するように構成されたコンピュータ装置の実装態様の例を示す。

本発明の一態様に従って、様々なユーザ接触点に組み込まれる触覚出力装置の実装態様の例を示す。

本発明の一態様に従って、動画コンテンツの分析に基づいて触覚フィードバックを生成するプロセスの例を示す。

本発明の一態様に従って、動画に現れるオブジェクトのモーションの一又は複数のモーションの測定結果を含むセンサ情報に基づいて触覚フィードバックを生成するプロセスの一例を示す。

本開示は、動画コンテンツの分析、および／または、動画に現れる一又は複数のオブジェクトのモーションの一又は複数の測定結果を含むセンサからのセンサ情報、および／または一又は複数のイメージキャプチャデバイスによるモーションの一又は複数の測定結果を含むセンサ情報に基づいて触覚フィードバックを生成するシステム及び方法に関する。

図１は、本発明の一態様に従って、動画コンテンツの分析に基づいて触覚フィードバックを生成するように構成されたシステム１００を示す。システム１００は、慣性測定ユニット（「ＩＭＵ」）センサ１１０、画像キャプチャ装置１２０、コンピュータ装置１３０、コンピュータ装置１４０、動画出力装置１４１、触覚出力装置１４３、オーディオ出力装置１４５、および／または前記以外の構成要素を備える。図１には、上記の構成要素が一つだけ示されているが、２以上の構成要素を用いることが可能である。例えば、一又は複数のＩＭＵセンサ１１０を用いることができる。ＩＭＵセンサ１１０は、異なる周波数および／または測定範囲で個別に動作することができる。一部の実施態様において、異なるＩＭＵセンサ１１０を異なるオブジェクトおよび／または所定のシーンに関連する異なる画像キャプチャ装置１２０に取り付けることができる。

一部の実施態様において、ＩＭＵセンサ１１０は、３次元（「３Ｄ」）ジャイロスコープ１１１、３Ｄ加速度計１１３、３Ｄ磁力計１１５、および／または前記以外のセンサ装置１１７を備えることができる。３Ｄジャイロスコープ１１１、３Ｄ加速度計１１３、３Ｄ磁力計１１５、および／または前記以外のセンサ装置１１７を用いることにより、ＩＭＵセンサ１１０は、ＩＭＵセンサ１１０のモーションの一又は複数の測定結果を含むセンサ情報１１２を生成することができる。例えば、ＩＭＵセンサ１１０がオブジェクトに取り付けられたとき、３Ｄジャイロスコープ１１１、３Ｄ加速度計１１３、３Ｄ磁力計１１５、および／または前記以外のセンサ装置１１７は、当該オブジェクトのモーションを測定し、センサ情報１１２を生成してコンピュータ装置１３０へ送信することができる。一部の実施態様において、画像キャプチャ装置１２０は、ビデオカメラおよび／またはそれ以外の画像装置または画像キャプチャ装置を備える。画像キャプチャ装置１２０は、一又は複数の画像をキャプチャし、動画１２２を生成してコンピュータ装置１３０に送信することができる。一部の実施態様においては、２以上の画像キャプチャ装置１２０によって、所定のシーンにおける同一のまたは異なるオブジェクトを、異なるアングルおよび／またはビューから撮像することができる。一部の実施態様において、ＩＭＵセンサ１１０は、画像キャプチャ装置１２０のモーションが取得され、センサ情報１１２においてレポートされるように、画像キャプチャ装置１２０に取り付けられる。一部の実施態様においては、第１のＩＭＵセンサ１１０を画像キャプチャ装置１２０に取付、第２のＩＭＵセンサ１１０をオブジェクトに取り付けてもよい。さらに別のＩＭＵセンサ１１０は、さらに別のオブジェクトおよび／または別の画像キャプチャ装置１２０等に取り付けられてもよい。

一部の実施態様において、コンピュータ装置１３０は、センサ情報１１２および／または動画１１２をデータベースに格納し、後でコンピュータ装置１４０に提供できるようにしてもよい。コンピュータ装置１３０は、センサ情報１１２および／または動画１２２をコンピュータ装置１４０に提供することができる。センサ情報１１２および動画１２２が提供されると、センサ情報１１２は、データを受け入れるための従来の動画フォーマットを用いて動画１１２に埋め込まれる。または、コンピュータ装置１３０は、センサ情報１１２と動画１２２を個別に提供することもできる。一部の実施態様において、センサ情報１１２および／または動画１２２は、一又は複数の読み取り可能な媒体１３２の形態でコ
ンピュータ装置１４０に提供される。この媒体は、コンピュータ装置１３０および／またはそれ以外の装置により生成できる。

一部の実施態様において、コンピュータ装置１４０は、一又は複数のコンピュータプログラムモジュールでプログラムされる一又は複数のプロセッサ１４２を備える。当該モジュールは、一又は複数の不揮発性ストレージメディア１４４に格納されてもよい。コンピュータ装置１４０は、動画１２２への画像処理を行い、並びに／または、センサ情報１１２を組み込んで動画１２２への画像処理および／もしくはセンサ情報１１２の使用に基づいて触覚フィードバックを発生させる一又は複数の制御信号を生成できるように、当該モジュールによってプログラムされ得る。

このモジュールには、画像処理モジュール１５０、センサ処理モジュール１５２、画像ベースモーション推定モジュール１５４、センサベースモーション推定モジュール１５６、データ融合モジュール１５８、設定管理モジュール１６０、制御信号生成モジュール１６２、コーディネーションモジュール１６４、および／または前記以外のモジュールが含まれる。

一部の実施態様において、画像処理モジュール１５０は、動画１２２に対する動画コンテンツ分析を実行するように構成される。動画１２２がコンピュータ装置１３０からストリーミングされるか、ダウンロードされ再生用にローカルに保存されるか、メディア１３２から読み出されるか、および／または、他の方法により取得されるかによらず、画像処理モジュール１５０は、動画１２２をメモリバッファし、関連する一又は複数のイベントを検出するために、当該動画の一又は複数の画像を処理する。異なる種類の関連するイベントを様々な方法で検出することができる。

一実施態様において、画像処理モジュール１５０は、一の画像フレームに関して他の画像フレームに対する当該物体のオプティカル・フローを決定することにより、所定のシーンにおいて静的なオブジェクトに対するモーションを検出することができる。このような処理は、動画１２２を生成するために用いられる画像キャプチャ装置が動いていたことを示す。画像処理モジュール１５０は、画像処理に基づいてモーションの速度を決定することができ、速度が決定されると、触覚フィードバックを発生させる制御信号の生成が開始される。画像処理モジュール１５０は、当業者に容易に理解できる、従来のオプティカル・フロー演算を実行することができる。

一部の実施態様において、画像ベースモーション推定モジュール１５４は、動画１２２を用いた画像処理に基づいて、シーンに現れるオブジェクトのモーションのスピード（ｓｐｅｅｄ）、加速度、および／または速度（ｖｅｌｏｃｉｔｙ）を決定することができる。２以上の動画１２２を用いた実装においては、並列動画フィードを用いて、シーンの立体視やそれ以外の２以上の異なるパースペクティブを得ることができる。これによって、より少ない数の動画フィードを用いる場合と比べてモーション推定の精度を高めることができる。このような物体のモーションのスピード、加速度、および／または速度は、制御信号の生成を開始させる検出イベントに含まれる。

一部の実施態様において、画像処理モジュール１５０は、体のパーツ（例えば、顔、手など）のデータベースとの比較に基づいて、新しい体のパーツが所定のシーンにエントリーしたことを検出することができる。新しい体のパーツのエントリーは、当該シーンに新しいキャラクタが入ってきたことを示すことができ、これにより、触覚フィードバックを生成する制御信号の生成を開始することができる。

一部の実施態様において、画像処理モジュール１５０は、所定のシーンと次のシーンと
での、色の分布や構成の変化を検出することができる（一又は複数の画像フレームに反映される）。例えば、画像処理モジュール１５０は、異なるフレーム例えば連続する複数のフレームについてＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）カラー・ヒストグラムを決定し、そのＨＳＶカラー・ヒストグラムがあるフレームと別のフレームとで変化しているか決定することができる。ＨＳＶカラー・ヒストグラムが変化している場合には、画像処理モジュール１５０は、新しいオブジェクトまたはそれ以外の変化が当該シーンにおいて発生したと決定することができる。

一部の実装態様において、画像処理モジュール１５０は、明から暗へおよびその逆の変化を検出することができ、これにより、シーンの環境の変化を示すことができる場合がある。この検出により、触覚フィードバックを発生させる制御信号の生成を開始することができる。一部の実装態様において、シーンの環境の変化は、当該環境の変化に基づいて調整される触覚フィードバックを発生させることができる。

一部の実装態様において、画像処理モジュール１５０は、従来の画像処理技術やムード検出技術に基づいて、所定のシーンにおいてアクターのムードや感情を検出することができる。これにより、触覚フィードバックを発生させる制御信号の生成を開始することができる。

一部の実装態様において、画像処理モジュール１５０は、発砲、爆発、および／または画像に於いて特定のパターンの色を発生させる前記以外の出来事を検出することができる。これにより、触覚フィードバックを発生させる制御信号の生成を開始することができる。一部の実装態様において、画像処理モジュール１５０は、スクリーンにおける特定の人物やオブジェクトを検出することができる。例えば、ユーザは、特定のオブジェクトや人物が所定のシーンに入ってきたときに触覚フィードバックが提供されることを指定することができる。

画像処理モジュール１５０は、画像フレームを処理する際に、上述のイベント検出および／または上記以外のイベント検出の全部または一部を実行することができる。制御信号生成モジュール１６２は、検出されたイベントに応答して、触覚フィードバックを生成するための一又は複数の制御信号を生成することができる。複数の制御信号によって、検出されたイベントに応じて異なる触覚効果を生成することができる（例えば、より速く動く画像キャプチャ装置やオブジェクトによって、より遅く動く画像キャプチャ装置やオブジェクトよりも大きな振幅またはそれ以外の特性を有する触覚フィードバックを発生させることができる）。また、画像処理モジュール１５０は、異なる種類の検出イベントおよび／または検出イベントの異なる組み合わせのために異なる制御信号（異なる触覚フィードバックを発生させる）を生成することができる。

一部の実施態様において、センサ処理モジュール１５２は、センサ情報１１２に基づいてセンサベースイベントを検出するように構成される。例えば、センサベースイベントは、オブジェクト、人物、画像キャプチャ装置１２０、および／または動画１２２に関連する前記以外のモーションの特定のモーションを含む。一部の実施態様において、センサベースモーション推定モジュール１５６は、センサ情報１１２の処理に基づいて、スピード、加速度、速度、および／または前記以外のモーションの特性を検出するように構成される。センサベースイベントによって、触覚フィードバックを提供するための制御信号が生成される。前記触覚効果は、当該センサベースイベントに基づいて変化してもよい。具体例として、オブジェクトのモーションが検出されると、触覚フィードバックを発生させるための制御信号が生成される。かかる触覚フィードバックは、検出されたモーションのレベルに基づいて変化してもよい。

一部の実施態様において、単一の装置がセンサ情報および動画の生成のために用いられたか否かに基づいて、センサ処理モジュール１５２は、センサ情報１１２を動画１２２と同期させることができる（例えば、センサおよび画像キャプチャ装置を両方とも備えるモバイル装置等の装置を用いることにより動画のキャプチャとセンサ情報の収集が両方とも行われる）。動画およびセンサ情報をキャプチャするために単一の装置が用いられた場合には、その動画とセンサ情報は、典型的には、当該単一の装置によって同期される。他方、当該単一の装置がセンサ情報と動画とを同期させない場合には、センサ処理モジュール１５２が一般的な時刻基準として用いられるタイムスタンプ（例えば、ＧＰＳ時刻）および／または本明細書で説明されるイベント検出に基づいて当該２つの情報を同期させることができる。

一部の実施態様において、データ融合モジュール１５８は、物体の加速度の推定を向上させるために、画像処理モジュール１５０、センサ処理モジュール１５２、画像ベースモーション推定モジュール１５４、および／またはセンサベースモーション推定モジュール１５６からの情報を組み合わせるように構成され、これにより、当該加速度の推定値に応じて提供される触覚フィードバックのクオリティを改善することができる。この点は、図２Ａ〜図２Ｃを参照してさらに説明される。

一部の実装態様において、設定管理モジュール１６０は、特定のイベントの検出に応答して提供されるべき触覚フィードバックまたはそのレベルを示すユーザ選択またはそれ以外の入力を取得するように構成される。例えば、ユーザは、触覚効果を発生させるイベント（もしあれば）および／または触覚効果のレベルを特定または指定することができる。これにより、ユーザは、動画視聴と触覚フィードバックの生成をカスタマイズすることができる。

一部の実施態様において、制御信号生成モジュール１６２は、触覚フィードバックを発生させる一又は複数の制御信号を生成するように構成される。制御信号生成モジュール１６２は、画像処理モジュール１５０、センサ処理モジュール１５２、画像ベースモーション推定モジュール１５４、センサベースモーション推定モジュール１５６、データ融合モジュール１５８、および／または設定管理モジュール１６０によって検出されまたはこれらから出力される上記のイベントに応答して制御信号を生成することができる。一部の実装態様において、制御信号生成モジュール１６２は、制御信号に応答して触覚フィードバックを生成する一又は複数の触覚出力装置１４３の特定の設定（例えば、数、種類、場所等）に基づいて制御信号を生成することができる。これにより、コンピュータ装置１４０は、異なる種類のイベント、イベントの特性（例えば、所定のシーンに登場するオブジェクトの推定スピード）、および／またはユーザ選択／設定に基づいて、様々な種類の触覚フィードバックを促進することができる。

一部の実施態様において、コーディネーションモジュール１６４は、動画出力、制御信号出力、およびオーディオ出力を動画出力装置１４１は、タッチスクリーンディスプレイ、モニター、および／または動画出力を表示可能な前記以外のディスプレイを含む。一部の実装態様において、コーディネーションモジュール１６４は、動画１２２に埋め込まれた同期コードおよび／または動画出力、オーディオ出力、および触覚フィードバックの各々の出力時刻を設定するタイムスタンプに基づいて、動画出力、制御信号（例えば、当該制御信号によって発生する触覚フィードバック）、およびオーディオ出力を同期させる。

触覚出力装置１４３が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複
合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および／または触覚（例えば、振動触知）フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置１４３は、非機械的または非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板および可撓性もしくは変形可能な表面を用いる装置、またはエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。

オーディオ出力装置１４５には、スピーカまたはオーディオを発生可能なそれ以外の装置が含まれる。一部の実装態様において、動画出力装置１４１、触覚出力装置１４３、および／またはオーディオ出力装置１４５は、コンピュータ装置１４０と一体に構成されてもよい。一部の実装態様において、動画出力装置１４１、触覚出力装置１４３、および／またはオーディオ出力装置１４５は、コンピュータ装置１４０とは別体に収容されてもよい。

一部の実装態様において、コンピュータ装置１３０は、コンピュータ相イット１４０に関連して説明したモジュールでプログラムされてもよい。このように、コンピュータ装置１４０に関連して説明された昨日の一部または全部はコンピュータ装置１３０において実行されてもよい。例えば、コンピュータ装置１３０は、自らが生成しする画像および／またはそれ以外の方法で提供する動画への画像処理を、提供される動画が当該動画と同期された制御信号で改善されるように実行することができる。これにより、動画および制御信号を使用するユーザ装置は、当該動画を再生し、また、同期された触覚フィードバックを生成することができる。

不揮発性ストレージメディア１４４の電子ストレージメディアには、コンピュータ装置１４０と一体に（すなわち、実質的に着脱不能に）設けられたシステムストレージ、及び、例えばポート（例えばＵＳＢポート、ファイヤーワイヤーポート等）やドライブ（例えばディスクドライブ等）を介してコンピュータ装置１４０と着脱可能に接続されたリムーバブルストレージの少なくとも一方が含まれる。不揮発性ストレージメディア１４４には、光学的に読み取り可能な記憶メディア（例えば光学ディスク等）、磁気的に読み取り可能な記憶メディア（例えば磁気テープ、磁気ハードドライブ、フロッピードライブ等）、電荷型ストレージメディア（例えばＥＥＰＲＯＭ、ＲＡＭ等）、ソリッドステート・ストレージメディア（例えばフラッシュドライブ等）、及び／又は前記以外の電子的に読み取り可能なストレージメディアが含まれる。不揮発性ストレージメディア１４４には、一又は複数の仮想ストレージリソース（例えば、クラウドストレージ、仮想プライベートネットワーク、及び／又はこれら以外の仮想ストレージリソース）が含まれる。不揮発性ストレージメディア１４４は、ソフトウェアアルゴリズム、単数又は複数のプロセッサ１４２によって決定された情報、コンピュータ装置１４０から受信した情報、及び／又はコンピュータ装置１４０が本明細書で説明したように機能できるようにする前記以外の情報を記憶することができる。

単数又は複数のプロセッサ１４２は、コンピュータ装置１４０における情報処理能力を提供するように構成される。したがって、単数又は複数のプロセッサ１４２は、デジタルプロセッサ、アナログプロセッサ、情報処理用のデジタル回路、情報処理用のアナログ回路、ステートマシン、及び／又は電子的に情報を処理する前記以外のメカニズムの一又は複数を備えることができる。図１においては、単数又は複数のプロセッサ１４２は単一の要素として示されているが、これは説明の便宜上に過ぎない。一部の実装態様においては、プロセッサ１４２は複数のプロセッシングユニットを備えることができる。これらのプロセッシングユニットは物理的に同じ装置に配置されてもよいし、単数又は複数のプロセッサ１４２は、連携して動作する複数の装置の処理機能を表すことができる。単数又は複
数のプロセッサ１４２は、モジュールを実行する際に、ソフトウェア、ハードウェア、ファームウェア、何らかの方法で組み合わされたソフトウェア、ハードウェア、及び／またはファームウェア、及び／または単数又は複数のプロセッサ１４２の処理能力を構成する他の機構を用いてもよい。

本明細書で説明されるモジュールは例示に過ぎない。説明した以外の構成や数のモジュールを用いることもできるし、一又は複数の物理的なプロセッサが本明細書の機能を実現するためにプログラムされる限りにおいては、モジュール化しないアプローチを取ることもできる。図１においてモジュール１５０、１５２、１５４、１５６、１５８、１６０、１６２、及び１６４は単一の処理装置内の同じ位置に配置されるものとして示されるが、プロセッサ１４２が複数の処理装置を含む実施形態においては、一又は複数のモジュールを他のモジュールとは分離して配置してもよい。以下の異なるモジュールによって提供される機能の記述は説明のためのものであり、限定を意図したものではない。モジュールはいずれも記述されるよりも多くの、または少ない機能を提供してもよい。例えば、当該モジュールのうちの一または複数を取り除き、その機能の一部またはすべてを、当該モジュールのうちの他のモジュールで提供してもよい。他の例として、以下でモジュールのうちの１つに帰せられる機能の一部またはすべてを実行する１または複数の追加的なモジュールを実行するように、プロセッサ１４２が構成されてもよい。

図１に示される構成要素は、ネットワーク等の様々な通信リンクを介して互いに通信可能に結合される。当該ネットワークには、有線接続又は無線接続が含まれる。本発明の一部の態様において、当該ネットワークは、例えば、インターネット、イントラネット、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ
Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ
Ｎｅｔｗｏｒｋ）、無線ネットワーク、セルラー通信ネットワーク、公衆交換電話網、および／またはこれら以外のネットワークの一又は複数である。

様々な入力、出力、設定、および／または本明細書で記憶され（ｓｔｏｒｅｄ）又は記憶可能（ｓｔｏｒａｂｌｅ）として説明される前記以外の情報は、一又は複数のデータベース（図１には示されていない）に記憶することができる。かかるデータベースは、例えば、オラクルコーポレーションによって市販されているオラクル（商標）リレーショナル・データベースであり、当該リレーショナル・データベースを含み、または当該リレーショナル・データベースと接続することができる。これ以外のデータベース、たとえば、Ｉｎｆｏｒｍｉｘ（商標）、ＤＢ２（Ｄａｔａｂａｓｅ ２）、又はこれら以外のデータストレージを使用し、組み込み、又はこれらにアクセスすることができる。このデータストレージには、ファイルベースのもの、クエリフォーマット、またはＯＬＡＰ（Ｏｎ Ｌｉｎｅ Ａｎａｌｙｔｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ）、ＳＱＬ（Ｏｎ Ｌｉｎｅ Ａｎａｌｙｔｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｍｉｃｒｏｓｏｆｔ Ａｃｃｅｓｓ（商標）又は前記以外のリソースが含まれる。このデータベースは、一又は複数の物理的な装置および一又は複数の物理的な場所に配置されるようなデータベースを含む。このデータベースは、複数の種類のデータおよび／もしくはファイル、並びに／または、関連するデータ記述もしくはファイル記述、管理情報、または前記以外の任意の情報を記憶することができる。

図２Ａは、本発明の一態様に従って、静止している画像キャプチャ装置１２０によって撮影（ｆｉｌｍ）されているオブジェクト２０２ＡにＩＭＵセンサ１１０が結合されており、オブジェクト２０１の加速度の推定を改善するために当該オブジェクト２０２ＡのモーションがＩＭＵセンサ１１０によって測定されているシナリオ２００Ａの例を示す。

画像キャプチャ装置は情報を組み立て、対象となるオブジェクト２０２Ａについての基本的な情報が、従来のコンピュータ・ビジョン・アプローチを用いて固定された画像キャプチャ装置の基準（ｒｅｆｅｒｅｎｔｉａｌ）において、その３次元のモーションおよび位置を推定するために用いられる。オブジェクト２０２Ａに取り付けられたＩＭＵセンサ１１０は、慣性データ推定（ｉｎｅｒｔｉａｌ ｄａｔａ ｅｓｔｉｍａｔｉｏｎ）を提供する。この慣性データ推定は、画像キャプチャ装置１２０によって提供されるデータを用いることによって、より正確なものとなる。

触覚フィードバックを提供する基礎として用いられるオブジェクト２０２Ａは、事前にユーザによって選択され得る。画像ベースモーション推定モジュール１５４は、従来のテンプレート照合法（例えば、オプティカルフロー、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、３Ｄ姿勢推定等）を用いることにより、２以上の連続する画像においてオブジェクト２０２Ａを検出することにより（その特徴または特徴点の一部を前提とする）、オブジェクト２０２Ａの加速度を決定することができる。一部の実装態様において、データ融合モジュール１５８は、イメージベースモーション推定モジュール１５４によって推定されたモーションをセンサベースモーション推定モジュール１５６によって推定されたモーションと組み合わせることにより、オブジェクト２０２Ａのモーションを決定することができる。

図２Ｂは、本発明の一態様に従って、オブジェクト２０２Ｂおよび画像キャプチャ装置１２０にＩＭＵセンサ１１０が結合されており、オブジェクト２０２Ｂの加速度の推定を改善するために当該オブジェクト２０２ＢのモーションがＩＭＵセンサ１１０によって測定されているシナリオ２００Ｂの例を示す。

イメージベースモーション推定モジュール１５４は、コンピュータ・ビジョン・アルゴリズムを適用し、シーンにおける視覚固定不変特性（ｖｉｓｕａｌ ｆｉｘ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ）を用いて、連続するフレームから３Ｄカメラの姿勢（固定された基準（ｒｅｆｅｒｅｎｔｉａｌ）における位置および向き）を推定することができる。カメラ姿勢の推定は、この例におけるオブジェクト姿勢の推定と等価である。推定されたデータは、データ融合モジュール１５８を用いて当該データをより正確なものとするために、オブジェクト２０２Ｂに取り付けられたＩＭＵセンサ１１０によって提供されるデータと組み合わせされる。

触覚フィードバックが画像キャプチャ装置１２０のモーションと関連するものである場合には、当該画像キャプチャ装置の内部パラメータのみを用いてもよい。イメージベースモーション推定モジュール１５４は、シーンにおける幾つかの不変な静的特徴（例えば、Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍｓ、Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓなど）についてオプティカルフローを決定することができる。画像キャプチャ装置１２０／オブジェクト２０２Ｂのモーションは、算出されるオプティカルフローを反転したものである。

図２Ｃは、本発明の一態様に従って、静止している画像キャプチャ装置１２０によって撮影（ｆｉｌｍ）されているオブジェクト２０２ＣにＩＭＵセンサ１１０が結合されており、オブジェクト２０２Ｃの加速度の推定を改善するために当該オブジェクト２０２ＣのモーションがＩＭＵセンサ１１０によって測定されているシナリオ２００Ｃの例を示す。一部の実装態様において、図２Ｃには示されていないが、ＩＭＵセンサ１１０は、画像キャプチャ装置１２０に結合し、その一又は複数のモーションの測定結果を提供することができる。

イメージベースモーション推定モジュール１５４は、コンピュータ・ビジョン・アルゴ
リズムを適用し、シーンにおける視覚固定不変特性（ｖｉｓｕａｌ ｆｉｘ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ）を用いて、連続するフレームから３Ｄカメラの姿勢（固定された基準（ｒｅｆｅｒｅｎｔｉａｌ）における位置および向き）を推定することができる。画像キャプチャ装置は情報を組み立て、オブジェクト２０２Ｃについての基本的な情報が、従来のコンピュータ・ビジョン・アプローチを用いて、固定された画像キャプチャ装置の基準（ｒｅｆｅｒｅｎｔｉａｌ）において、その３次元のモーションおよび位置を推定するために用いられる。オブジェクトの位置およびモーションは、グローバル固定基準（ｇｌｏｂａｌ ｆｉｘｅｄ ｒｅｆｅｒｅｎｔｉａｌ）に変換され、データ融合モジュール１５８を持ち手ＩＭＵ１１０からのセンサ情報と融合される。

画像キャプチャ装置の内部パラメータおよび触覚フィードバックが生成される動画フィード中のオブジェクト／人物の特徴を用いることができる。イメージベースモーション推定モジュール１５４は、シーンの不変な静的特徴（ｉｎｖａｒｉａｎｔ ｓｔａｔｉｏｎａｒｙ ｆｅａｔｕｒｅｓ）についてオプティカルフローを計算することにより、画像キャプチャ装置１２０のモーションを決定する。ＩＭＵセンサ１１０が画像キャプチャ装置１２０と結合している場合には、このモーションは、データ融合モジュール１５８を用いることで、より高い精度で推定可能となる。ＩＭＵセンサが装置１２０と結合している場合には、データ融合モジュール１５８を用いたテンプレート照合により、このモーションはより高い精度で推定可能となり、シーンにおけるオブジェクト２０２Ｃの相対的なモーションを推定することができる。両方の値を相互に比較することにより、固定基準（ｆｉｘ ｒｅｆｅｒｅｎｔｉａｌ）におけるモーションが評価される。

図３は、本発明の一態様に従って、動画コンテンツの分析に基づいて触覚フィードバックを生成するように構成されたコンピュータ装置１４０の実装態様の例を示す。コンピュータ装置１４０Ａは、動画出力装置１４１（例えばタッチスクリーンディスプレイ）、触覚出力装置１４３、およびオーディオ出力装置１４３を内蔵するスマートフォンモバイルデバイスとして構成されている。この実装態様において、コンピュータ装置１４０Ａを用いることにより、当該モバイルデバイスを通じて触覚フィードバックを受けながら動画コンテンツを視聴することができる。一部の実装態様において、有線または無線の接続を介して外部触覚装置をコンピュータ装置１４０Ａに結合することができる。

コンピュータ装置１４０Ｂは、触覚出力装置１４３およびオーディオ出力装置１４５を内蔵するラップトップコンピュータ等のポータブルコンピュータ装置として構成されている。この実装態様において、コンピュータ装置１４０Ｂを用いることにより、当該ポータブルコンピュータ装置を通じて触覚フィードバックを受けながら動画コンテンツを視聴することができる。一部の実装態様において、有線または無線の接続を介して外部触覚装置をコンピュータ装置１４０Ｂに結合することができる。

コンピュータ装置１４０Ｃは、デスクトップコンピュータ、ゲームコンソール等のスタンドアローン型のコンピュータ装置として構成されている。この実装態様において、コンピュータ装置１４０Ｃは、別体の動画出力装置１４１、別体のオーディオ出力装置１４５、および触覚出力装置１４３を収容できる別体のユーザ接触点３０２と接続されている。

図４は、本発明の一態様に従って、様々なユーザ接触点に組み込まれる触覚出力装置１４３の実装態様の例を示す。例えば、接触点３０２Ａおよび３０２Ｂは、ウェアラブルグラスやウェアラブルガーメント等のウェアラブルデバイスとして構成される。他の種類のウェアラブルデバイスを用いることもできる。接触点３０２Ｃは、触覚出力装置１４３（図４では触覚出力装置１４３Ａ、１４３Ｂ・・・１４３Ｃとして図示されている）を備える様々なユーザデバイスとして構成される。この接触点３０２Ｃには、スマートフォン、キーボード、マウス、ゲームコンソールおよび前記以外のユーザデバイス等のデバイスが
含まれる。

図５は、本発明の一態様に従って、動画コンテンツの分析に基づいて触覚フィードバックを生成するプロセス５００の例を示す。図５のフローチャートおよび他の図面に示された様々な処理工程が以下で詳細に説明される。説明される工程は、上述したシステム構成要素の一部または全部を使用して実現される。本発明の一態様に従って、様々な工程が異なるシーケンスで実行され得る。他の実装態様においては、図５および他の図面に示した工程の一部または全部とともに追加的な工程を実行することができ、一部の工程を省略することができる。さらに他の実装態様においては、一又は複数の工程が同時に実行され得る。また、図示された（また以下で詳細に説明する）工程は、本質的に例示に過ぎず、限定的なものと理解されるべきではない。

工程５０２において、一又は複数の画像フレームを有する動画が取得される。これには、キャプチャされたものおよび／または読み込まれたものが含まれる。工程５０４において、当該一又は複数の画像フレームに対して画像処理が実行される。工程５０６において、画像処理に基づくイベントが検出される。工程５０８において、当該検出されたイベントに基づいて制御信号が提供される。この制御信号により、触覚出力装置は触覚フィードバックを提供する。このように、触覚フィードバックは、動画について実行される画像処理に基づいて生成される。

図６は、本発明の一態様に従って、動画に現れるオブジェクトのモーションの一又は複数のモーションの測定結果を含むセンサ情報に基づいて触覚フィードバックを生成するプロセス６００の一例を示す。

工程６０２において、動画および当該動画に関連付けられたセンサ情報が取得される。これには、キャプチャされたものおよび／または読み込まれたものが含まれる。このセンサ情報は、当該動画に関連してキャプチャされたモーションの一又は複数の測定結果が含まれる。このモーションには、オブジェクトのモーション、動画のキャプチャ中に移動する画像キャプチャ装置のモーション、および／または当該動画に関連して測定可能な前記以外のモーションが含まれる。

工程６０４において、当該センサ情報に基づいて制御信号が生成される。この制御信号は、触覚効果を発生させるように構成される。一部の実施態様において、この制御信号は、センサ情報および動画の画像処理の出力に基づくものであってもよい。

工程６０６において、この制御信号は、動画に関連してキャプチャされたモーションと同期して提供される。

本発明の他の態様、使用、および有利な効果は、明細書を考慮し、本明細書に記載された発明の実施を通じて、当業者に明らかなものとなる。本明細書は例示的なものに過ぎず、本発明の趣旨は以下の特許請求の範囲に基づいてのみ限定されることが意図されている。

Claims (15)

1. 画像をキャプチャするように構成された画像キャプチャ装置と、
   一又は複数のコンピュータ・プログラム・モジュールによってプログラムされたプロセ
   ッサと、
   を備え、
   前記一又は複数のコンピュータ・プログラム・モジュールは実行時に、
   前記画像キャプチャ装置によってキャプチャされた画像を受信し、
   前記画像に画像処理を実行して処理画像を生成し、
   前記処理画像内のイベントを検出し、
   前記イベントに基づいて触覚出力装置に対する第１の制御信号を生成し、
   前記画像と前記第１の制御信号とを同期させ、
   前記同期された画像と前記第１の制御信号とを有する動画を出力する
   ように構成された、システム。
2. 前記動画を表示するように構成された動画出力装置をさらに備え、
   前記触覚出力装置は前記動画と同期して触覚フィードバックを生成するように構成され
   た、請求項１に記載のシステム。
3. スマートフォンをさらに備え、
   前記動画出力装置及び前記触覚出力装置は前記スマートフォンの一部である、請求項２
   に記載のシステム。
4. 前記プロセッサが前記スマートフォンの一部である、請求項３に記載のシステム。
5. 前記一又は複数のコンピュータ・プログラム・モジュールは実行時にさらに、
   前記イベントを識別又は特定する入力を前記システムのユーザから受けるように構成さ
   れた、請求項１に記載のシステム。
6. 前記一又は複数のコンピュータ・プログラム・モジュールは実行時にさらに、
   前記画像内でキャプチャされたオブジェクトの３次元の動きを推定し、
   前記オブジェクトの前記推定された３次元の動きに基づいて、前記触覚出力装置に対す
   る第２の制御信号を生成する
   ように構成された、請求項１に記載のシステム。
7. 前記一又は複数のコンピュータ・プログラム・モジュールは実行時にさらに、
   前記画像の連続的なフレームから３次元画像キャプチャ装置の姿勢を推定し、
   前記推定された３次元画像キャプチャ装置の姿勢に基づいて、前記触覚出力装置に対す
   る第２の制御信号を生成する
   ように構成された、請求項１に記載のシステム。
8. 触覚出力装置に対する第１の制御信号を有する動画を受信する工程であって、当該第１
   の制御信号は前記動画と同期された、工程と、
   動画出力装置を用いて前記動画を表示する工程と、
   前記表示する工程中に前記触覚出力装置を用いて前記第１の制御信号に基づく触覚フィ
   ードバックを生成する工程と、
   を備える方法であって、
   画像に画像処理が実行されて処理画像を生成し、
   前記第１の制御信号は、前記処理画像内で検出されたイベントに基づいて生成される、
   方法。
9. 画像キャプチャ装置を用いて画像をキャプチャする工程と、
   前記画像に画像処理を実行して処理画像を生成する工程と、
   前記処理画像内のイベントを検出する工程と、
   前記キャプチャする工程中に前記イベントに基づいて触覚出力装置に対する第１の制御
   信号を生成する工程であって、当該第１の制御信号は前記触覚出力装置によって生成され
   る触覚フィードバックと対応する、工程と、
   前記画像と前記第１の制御信号とを有する動画をユーザ装置に対してストリーミングす
   る工程であって、当該ユーザ装置は動画出力装置及び前記触覚出力装置を含む、工程と、
   を備える方法。
10. 前記ストリーミングする工程がリアルタイムで実行される、請求項９に記載の方法。
11. 前記画像内でキャプチャされたオブジェクトの３次元の動きを推定する工程と、
    前記オブジェクトの前記推定された３次元の動きに基づいて、前記触覚出力装置に対す
    る第２の制御信号を生成する工程と、
    をさらに備える、請求項９に記載の方法。
12. 前記画像の連続的なフレームから３次元画像キャプチャ装置の姿勢を推定する工程と、
    前記推定された３次元画像キャプチャ装置の姿勢に基づいて、前記触覚出力装置に対す
    る第２の制御信号を生成する工程と、
    をさらに備える、請求項９に記載の方法。
13. 前記イベントを識別又は特定する入力をユーザから受ける工程をさらに備える、請求項
    ８に記載の方法。
14. 前記画像内でキャプチャされたオブジェクトの３次元の動きを推定する工程と、
    前記オブジェクトの前記推定された３次元の動きに基づいて、前記触覚出力装置に対す
    る第２の制御信号を生成する工程と、
    をさらに備える、請求項８に記載の方法。
15. 前記画像の連続的なフレームから３次元画像キャプチャ装置の姿勢を推定する工程と、
    前記推定された３次元画像キャプチャ装置の姿勢に基づいて、前記触覚出力装置に対す
    る第２の制御信号を生成する工程と、
    をさらに備える、請求項８に記載の方法。

Images