JP7026638B2 - ビデオのハイライトを認識するための頭部回転追跡デバイス - Google Patents

ビデオのハイライトを認識するための頭部回転追跡デバイス Download PDF

Info

Publication number
JP7026638B2
JP7026638B2 JP2018556334A JP2018556334A JP7026638B2 JP 7026638 B2 JP7026638 B2 JP 7026638B2 JP 2018556334 A JP2018556334 A JP 2018556334A JP 2018556334 A JP2018556334 A JP 2018556334A JP 7026638 B2 JP7026638 B2 JP 7026638B2
Authority
JP
Japan
Prior art keywords
rotation
head
data
user
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018556334A
Other languages
English (en)
Other versions
JP2019515341A (ja
Inventor
ツェン・ハン
シャオウェイ・タイ
ユション・イェー
Original Assignee
シュンユエン・カイファ（ベイジン）・テクノロジー・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シュンユエン・カイファ（ベイジン）・テクノロジー・カンパニー・リミテッド filed Critical シュンユエン・カイファ（ベイジン）・テクノロジー・カンパニー・リミテッド
Publication of JP2019515341A publication Critical patent/JP2019515341A/ja
Application granted granted Critical
Publication of JP7026638B2 publication Critical patent/JP7026638B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本開示は基本的にデジタルコンテンツの処理に関し、特に、視聴者の頭部回転運動を追跡し、且つ、回転台におけるビデオキャプチャデバイス（例えば、携帯電話）と視聴者の頭部回転運動とを同期することによって運動ビデオにおけるビデオのハイライトをキャプチャすることに関する。
スマートフォンとタブレット・コンピュータなどのモバイル算出デバイスの進歩につれ、各種の競技に関するビデオを記録できる人が増えており、例えば、運動ビデオを記録して、記録した運動ビデオにおけるビデオのハイライトを他人とシェアする。運動ビデオにおけるビデオのハイライトは運動ビデオの一部であり、運動ビデオにキャプチャした重要な競技（例えば、サッカーゲームビデオにおけるゴール又はシュートを含んだショットビデオクリップ）を表示する。
視聴者が彼／彼女のスマートフォンとタブレット・コンピュータによって長時間のスポーツ競技を安定に記録することは相当に困難である。そのうち、1つの課題は、大型のスポーツ競技場内に行われるスポーツ競技における高速運動をキャプチャすることである。サッカー、バスケットボール、野球、ホッケー及び他の類似する運動について、普通は、スポーツ競技場は通常かなり大きいので、選手たちも当該大型のスポーツ競技場に遍在する。そのため、スポーツゲーム／競技期間に選手の動きを追跡するように、スポーツ競技の視聴者／観衆は頭部を頻繁に回転する必要がある。もう1つの課題は、生放送の競技において、ビデオのハイライトは何時起こるのを予測することである。従って、スポーツゲーム／競技或いは生放送の競技における予測不能なビデオのハイライトをキャプチャするために、視聴者はスポーツゲーム／競技全般に集中しなければならず、疲労や失敗が生じ、スポーツゲーム／競技のハイライトを見逃し、スポーツゲーム／競技に対する視聴の楽しみが損なわれる。
本開示の実施例において、ユーザの頭部回転運動を追跡し、且つ回転台におけるビデオキャプチャデバイス（例えば、携帯電話）の回転とユーザの頭部回転運動とを同期することによってスポーツ競技におけるビデオのハイライトを容易にキャプチャする方法が提供される。回転台の制御モジュールは、ユーザに装着された回転追跡デバイスによって、競技を視聴することに関するユーザの頭部回転データを受信する。制御モジュールは受信された頭部回転データにおけるノイズモーションをフィルタリングし、フィルタリングされた頭部回転データを生成する。制御モジュールはさらにフィルタリングされた頭部回転データに基づいて対応する回転制御データを生成する。制御モジュールは、ユーザの頭部回転と同期的に回転するように、回転制御データに基づいて回転台の回転システムを指示する。
本明細書に記載された特徴および利点はすべてを網羅するものではなく、特に、多くの追加の特徴および利点は、図面、明細書、および請求項を考慮して当業者には明らかである。さらに、本明細書で使用される言語は、主に、可読性および指導目的のために選択されたものであり、開示された主題を描写または制限するために選択されていない可能性があることに留意すべきである。
これらの図面は、例示のみを目的として、本開示の様々な実施形態を示している。当業者であれば、以下の説明から、本明細書で説明する構造および方法の代替実施形態を、本明細書に記載の開示の原理から逸脱することなく使用できることを容易に認識する。
1つの実施例によるユーザの頭部回転運動を追跡し、且つ、回転台に接続されるビデオキャプチャデバイス（例えば、携帯電話）とスポーツ競技期間におけるユーザの頭部回転運動とを同期する環境を示すブロック図である。 １つの実施例による回転台におけるビデオキャプチャデバイス（例えば、携帯電話）の回転とユーザの頭部回転とを同期するビデオのハイライトの追跡システムを示すブロック図である。 1つの実施例による回転台の制御モジュールにおけるセンサデータ分析モジュールを示すフローチャートである。 1つの実施例による回転台の制御モジュールにおける回転制御モジュールを示すフローチャートである。 1つの実施例による回転台に取付けられたビデオキャプチャデバイス（例えば、携帯電話）の回転とユーザがスポーツ競技を見ることに関するユーザの頭部回転とを同期する過程を示す流れ図である。
Ｉ環境の概要
ユーザの頭部回転運動を追跡し、且つ回転台におけるビデオキャプチャデバイス（例えば、携帯電話）の回転とユーザの頭部回転運動とを同期することによってスポーツ競技におけるビデオのハイライトを容易にキャプチャする方法が提供される。ユーザがスポーツ競技を見ると同時に追跡デバイス（例えば、一つまたは複数の運動センサを有する回転追跡デバイス）を彼／彼女の身体部位に（例えば、頭部、彼／彼女の頭部の上の帽子に）装着する。追跡デバイスはユーザの頭部運動（例えば、頭部が水平面における回転）を追跡する。ユーザの頭部回転運動を示す運動データは回転台へ送信され、指令を生成するように処理され、回転台に取付けたビデオキャプチャデバイス（例えば、携帯電話）を駆動し、ユーザの頭部回転運動にフォローする。スポーツ競技のビデオクリップをキャプチャするように、ユーザは遠隔制御器によって回転台上に取付けたビデオキャプチャデバイスを起動し、当該ビデオクリップはユーザが興味を持つ内容である。追跡デバイスがユーザの頭部回転運動を追跡することにつれ、回転台に取付けられたビデオキャプチャデバイスはスポーツ競技期間にユーザの視野にフォローするように保持される。スポーツ競技にキャプチャしたビデオは、スポーツ競技における一つまたは複数のビデオのハイライトを認識するように分析される。ユーザは、ビデオキャプチャデバイスは彼／彼女が所望の内容をキャプチャするかを常に確認することから逃れ、逆に、ユーザはスポーツ競技に集中して楽しめる。
本開示において、「デジタルコンテンツ」とは、通常、機械が読取可能且つメモリ可能の製品を指す。デジタルコンテンツは、例えば、ビデオと音声との組合せを含んでよい。代わりに、デジタルコンテンツは静止画像であってよい。実施例の簡潔性及び説明する目的に基づき、デジタルコンテンツは「ビデオ」と称されるが、この述語は分析可能なデジタルコンテンツの類型を規制するものではない。
図１は1つの実施例によるユーザの頭部回転運動を追跡し、且つ、スポーツ競技期間に回転台１３０に接続するビデオキャプチャデバイスとユーザの頭部回転運動とを同期する環境１００を示すブロック図である。図１に示された実施例は、彼／彼女の帽子上頭部回転追跡デバイス１０４を装着したユーザ１０２と、ビデオキャプチャデバイス１０６（例えば、ユーザ１０２の携帯電話）と、ユーザ１０２によって回転台１３０に取付けられたビデオキャプチャデバイス１０６を制御する遠隔制御器１１２とを含み、回転台１３０は制御モジュール１０８と回転システム１１０とを含む。ユーザ１０２はスポーツ競技場１２０に行われるスポーツ競技を見て、ビデオキャプチャデバイス１０６を制御してスポーツ競技における一つまたは複数のビデオをキャプチャする。図１における各実体が実行する機能は、実施例が異なることにつれて異なる。これらの実体におけるそれぞれは、物理的に互いに遠隔されるが、コンピュータネットワークにより通信的に接続される算出デバイスを含む。コンピュータネットワークは一般的にインターネットであるが、他のネットワークであってもよく、ＬＡＮ、ＭＡＮ、ＷＡＮ、モバイル有線又は無線ネットワーク、クラウドネットワーク、プライベートネットワーク、仮想プライベートネットワーク、ブルートゥース（登録商標）或いは低消費ブルートゥース（ＢＬＥ）無線ネットワーク、ポイントツーポイントネットワーク又はその組合せを含んでいるが、これに限らない。ある設定において、実体はカスタマイズ及び／或いは専門の通信技術により通信する。
ユーザ１０２はスポーツ競技場１２０に行われる競技にフォローする。例えば、ユーザ１０２はスポーツ競技場１２０又はスポーツ競技場１２０の近傍領域における（例えば、スポーツ競技場１２０のサッカースポーツ競技場の境界線にある）ボール運動、選手運動及び／或いは他の動きにフォローする。ユーザ１０２は、彼／彼女の頭部を左又は右に水平に回転させ、又は彼／彼女の頭部を鉛直に上下運動させる（例えば、頷くこと）ことによりスポーツ競技場１２０に行われる競技にフォローする。三次元（３Ｄ）ガイドシステムにおける水平軸に沿うユーザ１０２の頭部運動も「ヨーレイト回転」又は「回転」とも称される。３Ｄガイドシステムにおける鉛直軸に沿うユーザ１０２の頭部運動は「傾斜」とも称される。シンプルにするように、本文のみにおいては各実施例によりユーザ１０２の頭部のヨーレイト回転、分析可能なユーザの頭部運動の類型を制限するものではない。
図１に示した実施例において、ユーザ１０２は頭部回転追跡デバイス１０４（「追跡デバイス１０４」とも称される）を彼／彼女の帽子に装着し、追跡デバイス１０４はスポーツ競技場１２０における運動を見ることに関するユーザ１０２の頭部回転運動を追跡する。一つの実施例において、追跡デバイス１０４は、ユーザの頭部、野球帽／帽子、ユーザの頭部にある耳或いは他の部位に装着可能な一つまたは複数の小型センサを含む。図２を参照して追跡デバイス１０４をさらに説明する。制御回転システム１１０が同期する手段によりユーザ１０２の頭部回転を追跡するように制御するために、ユーザの頭部回転データを回転台１３０の制御モジュール１０８に送信する。
ユーザ１０２は遠隔制御器１１２によって回転台１３０に取付けられたビデオキャプチャデバイス１０６を制御し、例えば、ビデオキャプチャ過程の期間内にビデオキャプチャデバイス１０６をオンまたはオフにする。一つの実施例において、遠隔制御器１１２は、ユーザ１０２により、例えば、ビデオキャプチャデバイス１０６を起動してスポーツ競技場１２０に行われるスポーツ競技のビデオクリップをキャプチャするなどの機能を実行する電子デバイスである。遠隔制御器１１２はユーザインターフェース（ＵＩ）、例えば、物理ボタンを有してよく、当該ユーザインターフェースにより、ユーザ１０２と遠隔制御器１１２とのインタラクションが可能になる。遠隔制御器１１２の例示として、通常のリモートコントロールデバイス及び最新の電子デバイス、例えば、スマートウォッチなどがある。遠隔制御器１１２は有線又は無線の手段によりビデオキャプチャデバイス１０６に通信的に接続される。
ビデオキャプチャデバイス１０６はユーザ１０２によりデジタルコンテンツ（例えば、スポーツ競技場１２０に行われるスポーツ競技のビデオクリップを記録する）をキャプチャする電子デバイスである。一つの実施例において、ビデオキャプチャデバイス１０６はユーザ１０２の携帯電話であり、画像キャプチャデバイスとキャプチャしたデジタルコンテンツを送信するトランスミッタを含む。ビデオキャプチャデバイス１０６は、例えば、スマートフォン（例えば、ユーザ１０２の携帯電話）、タブレット・コンピュータ、デジタル一眼カメラ（ＤＳＬＲ）或いは任意の適宜なユーザデバイス或いはデジタルコンテンツをキャプチャするキャプチャデバイスであってよい。簡単に説明するために、デジタルコンテンツをキャプチャする各種の電子デバイスは通常、ビデオキャプチャデバイス１０６と称する。ビデオキャプチャデバイス１０６は、デジタルコンテンツをキャプチャするように、遠隔制御器１１２により遠隔的にトリガされる。ある配置において、ビデオキャプチャデバイス１０６は所定の時間帯（例えば、３０秒）以内のデジタルコンテンツをキャプチャする。他の配置において、ビデオキャプチャデバイス１０６は遠隔制御器１１２により遠隔的にトリガされる時にデジタルコンテンツに対するキャプチャを始め、且つ、遠隔制御器１１２により再び遠隔的にトリガされる時にデジタルコンテンツに対するキャプチャを終了する。ビデオキャプチャデバイス１０６はキャプチャしたデジタルコンテンツをクラウド記憶デバイスに送信できる。ビデオキャプチャデバイス１０６は回転台１３０に取り付けられ、又は他の手段により回転台１３０に接続される。他の実施例において、ビデオキャプチャデバイス１０６とユーザ１０２の運動デバイスは2つの独立した実体であってよい。
ユーザ１０２は、例えば、ビデオキャプチャデバイスなどの運動デバイスによってスポーツ競技のビデオクリップを記録し、且つデジタルコンテンツを消費する。例えば、記録したビデオクリップ又はそのハイライトなどがある。例えば、ユーザ１０２は運動デバイスによってビデオキャプチャデバイス１０６がキャプチャしたビデオクリップ及びキャプチャしたビデオクリップから生成したビデオのハイライトを消費する機能を実行する。ユーザ１０２の運動デバイスは、スマートフォン、タブレット・コンピュータ或いはビデオクリップを消費する任意の適宜のユーザデバイス又は算出デバイスであってよい。また、ユーザ１０２の運動デバイスにユーザインターフェースが提供され、例えば物理的なボタン及び／又は画面上の押しボタンが提供され、当該ユーザインターフェースにより、ユーザ１０２は運動デバイスとインタラクションを行い、ビデオクリップを視聴、シェア及び／又は消費する機能を実行する。
回転台１３０は、追跡デバイス１０４にキャプチャした頭部回転データに基づいて生成した命令により、回転台１３０に取付けられたビデオキャプチャデバイス１０６（例えば、ユーザ１０２のビデオカメラを有する携帯電話）をユーザ１０２の頭部回転にフォローするように駆動する。図１に示された実施例において、回転台１３０は、追跡デバイス１０４からユーザ１０２の頭部回転データを受信し、回転制御データを生成するように（例えば、回転運動命令或いは指令）頭部回転データを処理し、回転制御データを回転システム１１０に送信する制御モジュール１０８を備える。回転システム１１０は回転制御データを受信し、指令に基づいて一つまたは複数の命令を実行し、ユーザ１０２の頭部回転運動と同期的に回転台１３０に取付けたビデオキャプチャデバイス１０６を回転させる。制御モジュール１０８と回転システム１１０とは互いに通信的に接続される。図２を参照して回転台１３０をさらに説明する。
ＩＩ示例的な算出システム構成
図２は、1つの実施例による回転台（例えば、図１に示された回転システム１１０）におけるビデオキャプチャデバイス（例えば、図１に示されたビデオキャプチャデバイス１０６）の回転とユーザ（例えば、図１に示されたユーザ１０２）の頭部回転とを同期するビデオのハイライトの追跡システム２００を示すブロック図である。図２に示した実施例において、ビデオのハイライトの追跡システム２００は（「追跡システム２００」とも称される）回転追跡デバイス２１０（例えば、図１に示された頭部回転追跡デバイス１０４）と回転台２２０（例えば、図１に示された回転台１３０）を含む。回転台２２０は制御モジュール２２２（例えば、図１に示された制御モジュール１０８）と回転システム２２４（例えば、図１に示された回転システム１１０）を含む。制御モジュール２２２はセンサデータ分析モジュール２０４（「分析モジュール２０４」とも称される）と回転制御モジュール２０６を含む。他の実施例において、追跡システム２００は別の及び／又は異なるモジュールを含んでよく、例えば、図１に示されたユーザ１０２が使用される遠隔制御器１１２がある。
回転追跡デバイス２１０はユーザが競技（例えば、スポーツ競技）を見ることに関するユーザ（例えば、図１に示されたユーザ１０２）の頭部運動を追跡する。一つの実施例において、ユーザの頭部運動はユーザの頭部のヨーレイト回転（例えば、ユーザはユーザの目の水平視野に沿って彼／彼女の頭部を左右に回転すること）を含む。他の実施例は、ユーザの頭部の傾斜運動（例えば、ユーザが頷くこと）或いはユーザの頭部のヨーレイト回転と傾斜運動を含む。
一つの実施例において、回転追跡デバイス２１０は、ユーザの頭部、野球帽／帽子、ユーザの頭部にある耳或いは他の部位に装着可能の一つまたは複数の小型センサを含む。回転追跡デバイス２１０のセンサは、ユーザがスポーツ競技を見ることに関するユーザの頭部回転を追跡し、トランスミッタを介してキャプチャした頭部回転データを制御モジュール２２２に送信する。例えば、回転追跡デバイス２１０は、慣性磁気ユニット（ＩＭＵ）を含んでよく、ユーザの頭部の運動を表示する運動データをキャプチャする３軸電子コンパス、ジャイロ、３軸加速度センサ及び他のデバイスにおける一つまたは複数のセンサを含んでよい。回転追跡デバイス２１０は、ユーザがスポーツ競技を見ることに関するユーザの頭部回転を連続的でリアルタイムに追跡する。ある配置において、回転追跡デバイス２１０が頭部回転データをキャプチャした際に、ブルートゥースモジュールを介して頭部回転データを連続的に回転台２２０の制御モジュール２２２に無線方式で送信する。他の配置において、回転追跡デバイス２１０は（例えば、１０秒毎に）頭部回転データを周期的に制御モジュール２２２に送信する。
回転台２２０は制御モジュール２２２と回転システム２２４とを含む。制御モジュール２２２は回転追跡デバイス２１０からユーザの頭部回転データを受信し、回転制御データを生成するように頭部回転データを処理し、回転制御データを回転システムに送信する。図２に示した実施例において、制御モジュール２２２はセンサデータ分析モジュール２０４（「分析モジュール２０４」とも称される）と回転制御モジュール２０６とを含む。分析モジュール２０４は回転追跡デバイス２１０からユーザの頭部回転データを受信し、分析された頭部回転データを生成するように受信された頭部回転データを処理し、分析された頭部回転データを回転制御モジュール２０６に送信する。回転制御モジュール２０６は分析された頭部回転データに基づいて回転制御データを生成し、回転制御データを回転システム２２４に送信する。回転制御データは、校正回転システム２２４と回転追跡デバイス２１０（例えば、回転システム２２４の回転ＤＣモータの回転とユーザの頭部回転とを照準することにより）を校正するための指令と、回転システム２２４におけるモータギヤが回転可能に回転システム２２４に取付したビデオキャプチャデバイス（未図示）をユーザの頭部回転と同期的にフォローするように駆動する指令とを含む。それぞれ図３と図４を参照し、分析モジュール２０４回転制御モジュール２０６をさらに説明する。代わりの配置において、他の又は異なる部材を使用してよい。例えば、もう1つの実施例において、分析モジュール２０４は回転追跡デバイス２１０の実体として含まれ、且つ、回転制御モジュール２０６は回転システム２２４の実体として含まれる。
回転システム２２４は回転制御モジュール２０６から回転制御データを受信し、回転システム２２４に回転可能に取付けられたビデオキャプチャデバイスは同期的にユーザの頭部回転にフォローする。回転システム２２４が後続きの回転を実行するように回転制御データを調整するために、回転システム２２４はフィードバックデータを回転制御モジュール２０６に送信する。
一つの実施例において、回転システム２２４は送受信機（例えば、ブルートゥースモジュール）を含み、モータギヤとエンコーダの回転ＤＣモータ、モータコントローラ、ドライバ及び一つまたは複数の機械部材を備える。送受信機は回転制御モジュール２０６から回転制御データを受信してフィードバックデータを回転制御モジュール２０６に送信する。モータギヤは回転ＤＣモータのトルクを増幅してモータが回転システム２２４の回転を駆動できるようにする。エンコーダはモータの回転を測定し、そのうち、モータの回転に対する測定は、モータの後続きの回転を制御するためのフィードバックデータとして応用される。モータコントローラは受信された回転制御データにおける指令を説明し、指令に含まれる一つまたは複数の命令を実行して回転システム２２４の位置と速度を制御する。モータドライバは、直接に回転システム２２４の速度と位置とを制御するための制御可能な電圧によりＤＣモータを駆動する。
回転システム２２４の機械部材における1つは、ビデオキャプチャデバイスを回転システム２２４に取付ける終端コネクタを含む。回転システム２２４は2つ又はより多い機械リミットスイッチをさらに含み、終端コネクタの回転領域を規制する。終端コネクタの回転領域は終端コネクタの作業スペースとも称される。終端コネクタが終端コネクタの作業スペースの境界に達する際、リミットスイッチをトリガし、回転システム２２４のモータが更なる回転を停止するようにさせる。
一つの実施例において、エンコーダは回転システム２２４の終端コネクタの相対位置を測定する。２つのリミットスイッチは、終端コネクタの位置の基準線としてよい。2つのリミットスイッチ
Figure 0007026638000001
 の中間点
Figure 0007026638000002
 は、終端コネクタの作業スペースの原点として定義され、回転システム２２４に使用される回転台座標においては
Figure 0007026638000003
 と記される。一方、分析モジュール２０４により分析される頭部回転データは異なる座標系にある（例えば、地磁気気座標系）。追跡システム２００がその配置ステップに設定される際、（例えば、回転制御モジュール２０６による）終端コネクタの回転とユーザの頭部回転とを照準するように校正過程を実行する（例えば、回転制御モジュール２０６による）。図４における校正モジュール４０２を参照して校正過程をさらに説明する。
ＩＩＩ示例的センサデータ分析モジュール
図３は1つの実施例による回転台２２０における制御モジュール２２２のセンサデータ分析モジュール２０４を含むフローチャートである。分析モジュール２０４は回転追跡デバイス２１０からユーザの頭部回転データを受信し、分析された頭部回転データを生成するように受信された頭部回転データを処理し、分析された頭部回転データを制御モジュール２２２の回転制御モジュール２０６に送信する。図３に示した実施例において、分析モジュール２０４は受信機３０２、運動センサデータベース３０４、フィルタリングモジュール３０６及び運動処理モジュール３０８を含む。代わりの配置において、異なる又は他の部材を使用してよい。例えば、フィルタリングモジュール３０６は、ユーザの頭部回転からノイズモーションをフィルタリングするように回転追跡デバイス２１０に含まれてよい。
受信機３０２は回転追跡デバイス２１０から頭部回転データ３１０を受信し、受信された頭部回転データを運動センサデータベース３０４に記憶する。ある配置において、運動センサデータベース３０４は、フィルタリングモジュール３０６から送信したフィルタリングされた頭部回転データ及び／或いは運動処理モジュール３０８から送信した分析された頭部回転データ３２０も記憶する。
フィルタリングモジュール３０６はフィルタリングされた頭部回転データを生成するように受信された頭部回転データにおけるノイズモーションをフィルタリングするために、受信された頭部回転データをフィルタリングし、フィルタリングされた頭部回転データを運動センサデータベース３０４に記憶する。ユーザがスポーツ競技を見ることに関する受信された頭部回転データにおけるノイズモーションとは、回転台２２０を制御してスポーツ競技のビデオクリップをキャプチャする際に振れが生じ可能な運動データである。ユーザがスポーツ競技を見る際に、ユーザが彼／彼女の頭部をランダムに回転する可能性が非常に高い。例えば、彼／彼女が周りの人と会話したり観客席にいる他の観衆の活動を観察したりすると、ユーザの視野がスポーツ競技場（例えば、図１に示されたスポーツ競技場１２０）の外に逸らす可能性が高い。回転システム２２４の回転を同期する時に、ユーザがスポーツ競技を見ると共に彼／彼女の頭部を揺れたり又はチューインガムを噛んだりすることに関する運動もノイズモーションである。フィルタリングモジュール３０６は、当業者が周知の一つまたは複数のフィルタリング技術を実施することにより（例えば、ローパスフィルタリング、ハイパスフィルタリング、相補フィルタリング及びカルマンフィルタリング）受信された頭部回転データをフィルタリングする。
一つの実施例において、フィルタリングモジュール３０６は、先ず、ノイズモーションを含む受信された頭部回転データを処理したサンプリング率に基づいて適宜なフィルタリング（例えば、ローパスフィルタリング）を選択する。フィルタリングモジュール３０６は受信された頭部回転データにおけるノイズモーション（例えば、所定の長さの固定長さを有するスライドウインドウバッファにより受信された頭部回転データを記憶する）をフィルタリングする。各サンプリング点において、スライドウインドウバッファに記憶した頭部回転データの変化パターンをチェックする。受信された頭部回転データが線形に変化する場合、サンプリング点におけるフィルタリングされた頭部回転データは線形回帰によって回帰処理された受信された頭部回転データである。受信された頭部回転データが非線形に変化する場合、サンプリング点におけるフィルタリングされた頭部回転データは固定長さを有するスライドウインドウバッファにおける受信された頭部回転データのメジアンである。固定長さを有するスライドウインドウバッファをもって各サンプリング点における受信された頭部回転データの変化パターンをチェックすることにより、フィルタリングモジュール３０６は速やかで正確にフィルタリング受信されたユーザの頭部回転データをフィルタリングすることができる。受信された頭部回転データを回転システム２２４の回転を制御することに適宜な範囲内に規制するために、フィルタリングモジュール３０６は、フィルタリングされた頭部回転データと、校正過程期間内にデフォルト値に設定する又は設定される予定閾値
Figure 0007026638000004
 とを対比する。
運動処理モジュール３０８は、分析された頭部回転データを生成するようにフィルタリングされた頭部回転データを処理し、分析された頭部回転データを運動センサデータベース３０４に記憶する。一つの実施例において、分析された頭部回転データは、回転追跡デバイス２１０により追跡されたユーザの頭部運動のデータを精確に説明する構成と、回転システム２２４における回転を校正したり制御したりすることができることに関するタイミング情報と他の任意の情報とを含む（例えば、頭部回転追跡デバイス２１０における各センサを説明する情報）。一つの実施例において、分析された頭部回転データには、水平面の校正過程における回転追跡デバイス方向に対する回転追跡デバイス方向も含まれる。水平面における回転追跡デバイス方向はヨーレイトとも称される。
ＩＶ示例的回転制御モジュール
図４は1つの実施例による回転台２２０の制御モジュール２２２の回転制御モジュール２０６を示すフローチャートである。回転制御モジュール２０６は分析モジュール２０４から分析された頭部回転データ４１０を受信し、受信された分析された頭部回転データに基づいて回転制御データを生成し、回転システム２２４がユーザの頭部回転と同期的に回転するように制御する。図４に示した実施例において、回転制御モジュール２０６は、校正モジュール４０２と、切替モジュール４０４と、フィードバック制御モジュール４０６と、送受信機４０８とを含む。代わりの配置において、異なる又は他の部材を使用してよい。
校正モジュール４０２は、回転追跡デバイス２１０を用いて、回転システム２２４を校正し、回転追跡デバイス２１０は回転追跡デバイス２１０を装着するユーザ（例えば、ユーザ１０２）の頭部回転データを生成する。一つの実施例において、回転システム２２４は校正過程を開始/停止する校正押しボタンと、校正期間においてユーザが彼／彼女の頭部どの方向に面すべきかを指示するマークラインとを有する。前記のように、回転追跡デバイス２１０により追跡される頭部回転は、回転システム２２４に使用された座標系と異なる座標系にあってよい（例えば、地磁気気座標系v.回転台座標系）。従って、追跡システム２００が起動されると、地磁気座標に測定された頭部回転は、回転システム２２４の終端コネクタの回転と照準する必要がある。
一つの実施例において、校正モジュール４０２が校正を実行する過程は以下の通りである。即ち、（１）校正モジュール４０２は、回転追跡デバイス２１０がその回転追跡センサをスポーツ競技場（例えば、図１に示されたスポーツ競技場１２０）の中央に指して所定の時間帯（例えば、１０秒）内において静止のままに維持するようにする指示を行う。（２）校正モジュール４０２は、第１リミットスイッチをトリガするまで、終端コネクタが固定の回転速度で第１リミットスイッチへ回転するように指示する。（３）校正モジュール４０２は、第2リミットスイッチをトリガするまで、終端コネクタが所定の回転速度で第２リミットスイッチへ回転するように指示する。（４）校正モジュール４０２は終端コネクタを第１リミットスイッチと第２リミットスイッチとの間の中間点へ回転するようにさせ、所定の期間にそこを留まるように指示する。一つの実施例において、校正過程は回転追跡デバイス２１０を装着するユーザによりマニュアルに開始する。ユーザが閾値
Figure 0007026638000005
 を設定したい場合、ユーザは閾値
Figure 0007026638000006
 が指示した位置まで終端コネクタをマニュアルに回転する。そうではない場合に、閾値
Figure 0007026638000007
 はデフォルト値
Figure 0007026638000008
 に設定される（即ち、
Figure 0007026638000009
 ）。
切替モジュール４０４は分析モジュール２０４から分析された頭部回転データ４１０を受信し、受信された頭部回転データに基づいて回転制御データを生成する。回転制御データは、回転システム２２４がユーザの頭部回転と同期にその終端コネクタを回転させるように指示するための指令或いは命令を含む。つまり、回転システム２２４はユーザの頭部回転を同期にフォローする。例えば、ユーザが彼／彼女の頭部を左側へ
Figure 0007026638000010
 度回転する際に、回転システム２２４も左側へ
Figure 0007026638000011
 度回転する。
一つの実施例において、切替モジュール４０４は、回転システム２２４の終端コネクタの回転領域境界に関する回転制御データを生成する。例えば、切替モジュール４０４は頭部回転に従うように終端コネクタを回転した現在の角度は、終端コネクタによって回転システム２２４に取付けたビデオキャプチャデバイスは終端コネクタの回転領域境界内に保持するかを決める。回転システム２２４が行う回転が回転領域境界を超えた場合、切替モジュール４０４は、回転システム２２４に回転を停止させ、フィードバックの目的で回転システム２２４が実行する実際の回転を記録するように指示するための指令を生成する。
フィードバック制御モジュール４０６からフィードバックデータを受信すると、切替モジュール４０４は回転システム２２４が後続きの回転を行う回転制御データを更新する。例えば、回転システム２２４により現在の回転を実行する回転命令は左側へ20度を回転してよいが、回転システム２２４は左側へ15度のみを回転してよい。回転システム２２４はフィードバック制御モジュール４０６を介して切替モジュール４０４に現在の回転（即ち、左へ１５度）を提供する。切替モジュール４０４は、現在の点に対して実行する実際の回転に基づいて次の回転点の回転制御データを調整する。例えば、現在の回転点のフィードバックデータのない次の回転点の回転命令が左側へ１０度の場合、次の回転点の調整した回転命令は左側へ１５度（仮に回転システム２２４が次の回転点の回転命令を実行する時は依然として回転領域境界内にあるとする）である。
フィードバック制御モジュール４０４は回転システム２２４がそれぞれの回転点に対して実行された実際の回転を測定し、回転制御データを調整するために、各回転点のフィードバックデータとして実際の回転を切替モジュール４０４に提供する。代わりに、フィードバック制御モジュール４０４は、各回転点算出回転システム２２４が実行された実際の回転と各回転点に対する所望回転（即ち、対応するユーザの頭部回転）との間の差を、回転制御データ調整のためにフィードバックデータとして切替モジュール４０４に提供する。
送受信機４０８は切替モジュール４０４により生成した回転制御データ４３０を回転システム２２４に送信する。送受信機７０８はフィードバック制御モジュール４０６からフィードバックデータ４２０を受信し、後続きの回転を行うように回転制御データを調整するために、フィードバックデータを切替モジュール４０４に送信する。
ビデオキャプチャデバイスとユーザの頭部回転とを同期するための例示的な方法である。
図５は1つの実施例による回転台（例えば、図１に示された回転台１３０）に取付けられたビデオキャプチャデバイスの回転とユーザがスポーツ競技を見ることに関するユーザ（例えば、図１に示されたユーザ１０２）の頭部回転運動とを同期する過程を示す流れ図である。最初は、ビデオのハイライトの追跡システム２００によりユーザが装着する回転追跡デバイス２１０と回転システム２２４とを校正する（５０２）。校正過程は回転システム２２４の終端コネクタの作業スペースを限定する2つの境界を設定する。終端コネクタは、スポーツ競技のビデオクリップをキャプチャするように、ビデオキャプチャデバイス（例えば、ビデオカメラ）を回転システム２２４に取付ける。回転追跡デバイス２１０はユーザがスポーツ競技を見る期間内の頭部運動（例えば、ヨーレイト回転）を追跡する。ビデオのハイライトの追跡システム２００は回転追跡デバイス２１０から頭部回転データを受信して（５０４）頭部回転データ（例えば、固定長さのスライドウインドウバッファによる）からノイズモーション（例えば、ユーザがスポーツ競技を見ると同時にチューインガムを噛んだり、彼／彼女の足を揺らしたりする運動など）をフィルタリングする（５０６）。ビデオのハイライトの追跡システム２００は分析された頭部回転データを生成し（５０８）、データ構成においてユーザの頭部運動を精確に説明する。ビデオのハイライトの追跡システム２００は分析された頭部回転データに基づいて対応する回転制御データを生成する（５１０）。回転制御データは指令５１０を含み、回転システム２２４により実行されると、指令５１２は、回転システム２２４に回転可能に取付けられたビデオキャプチャデバイスをユーザの頭部回転に同期的にフォローさせる。
本開示の実施例に提供する技術案は、ユーザがスポーツ競技を楽しめるとともに競技の一つまたは複数のビデオクリップを容易に記録させる。ユーザは興味を持つスポーツ競技のビデオクリップをキャプチャするように、遠隔制御器によって回転台上に取付けたビデオキャプチャデバイスを起動する。追跡デバイスがユーザの頭部回転運動を追跡することにつれ、回転台に取付けられたビデオキャプチャデバイスはスポーツ競技期間にユーザの視野にフォローするように保持される。スポーツ競技にキャプチャしたビデオは、スポーツ競技における一つまたは複数のビデオのハイライトを認識するように分析される。ユーザは、ビデオキャプチャデバイスは彼／彼女が所望の内容をキャプチャするかを常に確認することから逃れ、逆に、ユーザはスポーツ競技に集中して楽しめる。
まとめ
本開示の実施形態に関する前述の説明は、例示のために提示されたものであり、包括的であること、または開示された正確な形態に本開示を限定することを意図するものではない。当業者であれば、上記の開示に基づき、多くの変更および変形が可能であることを理解することができる。
この説明のいくつかの部分は、情報の操作のアルゴリズムおよび記号表現に関して本開示の実施形態を説明する。これらのアルゴリズムの説明および表現は、データ処理技術分野の当業者によって、それらの仕事の内容を他の当業者に効果的に伝えるために一般的に使用される。これらの操作は、機能的に、計算的に、または論理的に記載されているが、コンピュータプログラムまたは同等の電気回路、マイクロコードなどによって実現されると理解される。さらに、これらの操作の構成を一般性を失うことなく、モジュールと呼ぶことは時には便利であることも判明している。記載された動作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具体化されてもよい。
本明細書で説明するステップ、動作、またはプロセスのいずれかは、単独または他のデバイスと組み合わせて、1つまたは複数のハードウェアまたはソフトウェアモジュールで実行または実装することができる。 一つの実施例では、ソフトウェアモジュールは、記述されたステップ、動作またはプロセスのいずれかまたはすべてを実行するコンピュータプロセッサによって実行されるコンピュータプログラムコードを含むコンピュータ可読媒体を含むコンピュータプログラム製品で実装される。
本開示における実施形態は本明細書の操作を実行するための装置にも関する。この装置は、必要な目的のために特別に構成することができ、および/またはコンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成された汎用コンピューティング装置を含むことができる。そのようなコンピュータプログラムは、非一時的、有形のコンピュータ可読記憶媒体、またはコンピュータシステムバスに結合することができる電子命令を記憶するのに適した任意のタイプの媒体に記憶することができる。 さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含むことができ、またはコンピューティング能力の向上のために複数のプロセッサ設計を採用するアーキテクチャであってもよい。
開示された実施形態はまた、本明細書で説明されるコンピューティングプロセスによって生成される製品に関する。そのような製品は、情報が非一時的で有形のコンピュータ可読記憶媒体に記憶される算出プロセスから生じる情報を含むことができ、本明細書に記載のコンピュータプログラム製品または他のデータ組み合わせの任意の実施形態を含むことができる。
最後に、明細書で使用されている言語は、主に読みやすさと説明目的のために選択されており、本発明の主題を描写したり制限したりするように選択されていない可能性があります。したがって、本開示の範囲は、この詳細な説明によって限定されるのではなく、本願に基づいてアプリケーションに発行される任意の請求によって制限されることが意図される。したがって、本開示の実施形態の開示は、以下の特許請求の範囲に記載されている本開示の範囲を例示するものであり、限定するものではない。

Claims (24)

  1. コンピュータにより実現される方法であって、
    ユーザに装着された回転追跡デバイスから、競技を見ることに関するユーザの頭部回転データを受信するステップと、
    前記頭部回転データをフィルタリングして、フィルタリングされた頭部回転データを生成するステップと、
    前記フィルタリングされた頭部回転データに基づいて、対応する回転制御データを生成するステップと、
    前記回転制御データに基づいて、回転システムがユーザの頭部の回転と同期的に回転するように指示するステップと、を含み、
    前記フィルタリングされた頭部回転データを生成するステップは、
    前記頭部回転データを、所定の期間に対応する所定の長さを有するスライドウインドウバッファに記憶するステップと、
    前記所定の期間中における複数のサンプリング点を設定し、前記スライドウインドウバッファに記憶した頭部回転データに対して各サンプリング点において測定されるパラメータから、前記所定の期間に亘る頭部回転データの少なくとも1つの変化パターンを決定するステップと、
    前記少なくとも1つの変化パターンを、所定のフィルターにかけることで、フィルタリングされた頭部回転データを生成するステップと、
    を含む、
    コンピュータにより実現される方法。
  2. 前記回転システムと前記ユーザに装着された回転追跡デバイスを校正するステップを含み、
    前記回転システムと前記回転追跡デバイスは異なる2つの座標系にある、
    請求項１に記載の方法。
  3. 前記校正するステップは、
    前記回転システムの作業スペースの複数の境界を決定し、前記回転システムの作業スペースの境界は前記回転システムが実行可能な回転の限界を示すステップと、
    前記回転追跡デバイスによって限定された校正点に基づいて、決定された回転システムの作業スペースの境界を調整するステップと、を含む、
    請求項２に記載の方法。
  4. 前記フィルタリングされた頭部回転データを生成するステップは、
    決定された変化パターンが線形であることに応答して、前記頭部回転データに線形回帰プロセスを適用するステップと、
    線形回帰に基づいて、前記フィルタリングされた頭部回転データを生成するステップと、を含む、
    請求項１～３のいずれか一項に記載の方法。
  5. 前記フィルタリングされた頭部回転データを生成するステップは、
    決定された変化パターンが非線形であることに応答して、前記スライドウインドウバッファに記憶されている頭部回転データのメジアンを算出するステップと、
    前記頭部回転データのメジアンに基づいて、前記フィルタリングされた頭部回転データを生成するステップと、を含む、
    請求項１～３のいずれか一項に記載の方法。
  6. 対応する回転制御データを生成するステップは、
    各回転点に対応する頭部回転データに基づいて、各回転点用の回転量と回転方向を算出するステップと、
    各回転点用の複数の回転回動指令を生成するステップと、を含み、
    回転回動指令は、前記回転システムによって実行すべき回転量と回転方向の情報を含む、
    請求項１に記載の方法。
  7. 前記回転システムから各回転点用の回転回動フィードバックデータを受信し、各回転点用の回転回動フィードバックデータは、前記回転システムによって実行された実際の回転量と回転方向とを示す情報を含むステップと、
    受信された現在の回転点用の回転回動フィードバックデータに基づいて、次の回転点用の回転制御データを生成するステップと、
    を含む、
    請求項１に記載の方法。
  8. 前記回転システムが前記ユーザの頭部の回転と同期的に回転するように指示するステップは、
    前記回転システムが対応する各回転点において、前記回転システムの作業スペースの境界内に、同じ方向と同じ回転量で、前記ユーザの頭部の回転にフォローするように指示するステップを含む、
    請求項１に記載の方法。
  9. 前記ユーザから指令を受信して、前記回転システムに取付けられた競技のビデオクリップをキャプチャするためのビデオキャプチャデバイスを起動するステップと、
    前記回転システムが前記ビデオクリップをキャプチャする時に、前記ユーザの頭部の回転にフォローするように指示するステップと、
    を更に含む、
    請求項１に記載の方法。
  10. 実行可能なコンピュータプログラム指令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    コンピュータプロセッサによって実行される時に、前記指令は、前記コンピュータプロセッサに、
    ユーザに装着された回転追跡デバイスから、競技を見ることに関するユーザの頭部回転データを受信するステップと、
    前記頭部回転データをフィルタリングして、フィルタリングされた頭部回転データを生成するステップと、
    前記フィルタリングされた頭部回転データに基づいて、対応する回転制御データを生成するステップと、
    前記回転制御データに基づいて、回転システムがユーザの頭部の回転と同期的に回転するように指示するステップと、を実行させ、
    前記フィルタリングされた頭部回転データを生成するための指令は、前記コンピュータプロセッサにより実行される時に、前記コンピュータプロセッサに、
    前記頭部回転データを、所定の期間に対応する所定の長さを有するスライドウインドウバッファに記憶するステップと、
    前記所定の期間中における複数のサンプリング点を設定し、前記スライドウインドウバッファに記憶した頭部回転データに対して各サンプリング点において測定されるパラメータから、前記所定の期間に亘る頭部回転データの少なくとも1つの変化パターンを決定するステップと、
    前記少なくとも1つの変化パターンを、所定のフィルターにかけることで、フィルタリングされた頭部回転データを生成するステップと
    を実行させる指令を含む、
    非一時的なコンピュータ読み取り可能な記憶媒体。
  11. コンピュータプログラム指令を更に含み、
    前記コンピュータプロセッサにより実行される時に、前記コンピュータプログラム指令は、前記コンピュータプロセッサに、
    前記回転システムと前記ユーザに装着された回転追跡デバイスとを校正するステップを実行させ、
    前記回転システムと前記回転追跡デバイスは２つの異なる座標系にある、
    請求項１０に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
  12. 前記回転システムと前記回転追跡デバイスとを校正するための指令に、前記コンピュータプロセッサにより実行される時に前記コンピュータプロセッサに以下のステップを実行させる指令を含み、
    該ステップは、
    前記回転システムの作業スペースの複数の境界を決定し、前記回転システムの作業スペースの境界は前記回転システムが実行可能な回転の限界を示すステップと、
    前記回転追跡デバイスによって限定された校正点に基づいて、決定された回転システムの作業スペースの境界を調整するステップと、を含む、
    請求項１１に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
  13. 前記フィルタリングされた頭部回転データを生成するための指令は、前記コンピュータプロセッサにより実行される時に、前記コンピュータプロセッサに以下のステップを実行させる指令を含み、
    該ステップは、
    決定された変化パターンが線形であることに応答して、前記頭部回転データに線形回帰プロセスを適用するステップと、
    線形回帰に基づいて前記フィルタリングされた頭部回転データを生成するステップと、を含む、
    請求項１０～１２のいずれか一項に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
  14. 前記フィルタリングされた頭部回転データを生成するための指令は、前記コンピュータプロセッサにより実行される時に、前記コンピュータプロセッサに以下のステップを実行させる指令を含み、
    該ステップは、
    決定された変化パターンが非線形であることに応答して、前記スライドウインドウバッファに記憶されている頭部回転データのメジアンを算出するステップと、
    前記頭部回転データのメジアンに基づいて、前記フィルタリングされた頭部回転データを生成するステップと、を含む、
    請求項１０～１２のいずれか一項に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
  15. 対応する回転制御データを生成するための指令は、前記コンピュータプロセッサにより実行される時に、前記コンピュータプロセッサに以下のステップを実行させる指令を含み、
    該ステップは、
    各回転点に対応する頭部回転データに基づいて、各回転点用の回転量と回転方向を算出するステップと、
    各回転点用の複数の回転回動指令を生成し、回転回動指令は前記回転システムによって実行すべき回転量と回転方向の情報を含むステップと、を含む、
    請求項１０に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
  16. コンピュータプログラム指令を更に含み、
    前記コンピュータプロセッサにより実行される時に、前記コンピュータプログラム指令は、前記コンピュータプロセッサに、
    前記回転システムから各回転点用の回転回動フィードバックデータを受信し、各回転点用の回転回動フィードバックデータは、前記回転システムによって実行された実際の回転量と回転方向とを示す情報を含むステップと、
    受信された現在の回転点用の回転回動フィードバックデータに基づいて、次の回転点用の回転制御データを生成するステップと、を実行させる、
    請求項１０に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
  17. 前記回転システムが前記ユーザの頭部の回転と同期的に回転するように指示するための指令は、前記コンピュータプロセッサにより実行される時に、前記コンピュータプロセッサに以下のステップを実行させる指令を含み、
    該ステップは、
    前記回転システムが対応する各回転点において、前記回転システムの作業スペースの境界内に、同じ方向と同じ回転量で、前記ユーザの頭部の回転にフォローするように指示するステップである、
    請求項１０に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
  18. コンピュータプログラム指令を更に含み、
    前記コンピュータプロセッサにより実行される時に、前記コンピュータプログラム指令は、前記コンピュータプロセッサに、
    前記ユーザから指令を受信して、前記回転システムに取付けられた競技のビデオクリップをキャプチャするためのビデオキャプチャデバイスを起動するステップと、
    前記回転システムが前記ビデオクリップをキャプチャする時に前記ユーザの頭部の回転にフォローするように指示するステップと、を実行させる、
    請求項１０に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
  19. コンピュータシステムであって、
    ユーザが競技を見ることに関するユーザの頭部回転運動を追跡し、前記ユーザにより前記ユーザの頭部の部位に装着する回転追跡デバイスと、
    前記回転追跡デバイスと通信可能に接続する回転台と、
    を含み、
    前記回転台は、
    追跡されたユーザの頭部回転運動を分析し、分析されたユーザの頭部回転運動に基づいて回転制御データを生成する制御モジュールと、
    前記回転制御データに基づいてユーザの頭部の回転と同期的にビデオキャプチャデバイスを回転させる回転システムと、
    を含み、
    追跡されたユーザの頭部回転運動を分析することは、
    前記ユーザの頭部回転運動を示す頭部回転データを、所定の期間に対応する所定の長さを有するスライドウインドウバッファに記憶することと、
    前記所定の期間中における複数のサンプリング点を設定し、前記スライドウインドウバッファに記憶した頭部回転データに対して各サンプリング点において測定されるパラメータから、前記所定の期間に亘る頭部回転データの少なくとも1つの変化パターンを決定することと、
    前記少なくとも1つの変化パターンを、所定のフィルターにかけることで、フィルタリングされた頭部回転データを生成することと、
    を含む、
    コンピュータシステム。
  20. 前記制御モジュールは、更に、前記回転システムと前記ユーザに装着された回転追跡デバイスとを校正するために用いられ、
    前記回転システムと前記回転追跡デバイスは２つの異なる座標系にある、
    請求項１９に記載のコンピュータシステム。
  21. 前記回転システムを校正することは、
    前記回転システムの作業スペースの複数の境界を決定し、前記回転システムの作業スペースの境界は、前記回転システムが実行可能な回転の限界を示すことと、
    前記回転追跡デバイスによって限定された校正点に基づいて、決定された回転システムの作業スペースの境界を調整することと、を含む、
    請求項２０に記載のコンピュータシステム。
  22. 回転制御データを生成することは、
    各回転点に対応する頭部回転データに基づいて、各回転点用の回転量と回転方向を算出することと、
    各回転点用の複数の回転回動指令を生成し、回転回動指令は前記回転システムによって実行すべき回転量と回転方向の情報を含む、
    請求項１９に記載のコンピュータシステム。
  23. 前記制御モジュールは、更に、
    前記回転システムから各回転点用の回転回動フィードバックデータを受信し、各回転点用の回転回動フィードバックデータは、前記回転システムによって実行された実際の回転量と回転方向とを示す情報を含み、
    受信された現在の回転点用の回転回動フィードバックデータに基づいて、次の回転点用の回転制御データを生成する、
    請求項１９に記載のコンピュータシステム。
  24. 前記回転システムに接続され且つ競技の一つまたは複数のビデオをキャプチャするためのビデオキャプチャデバイスを、前記ユーザにより制御する遠隔制御器をさらに含む、
    請求項１９に記載のコンピュータシステム。
JP2018556334A 2016-04-27 2016-09-29 ビデオのハイライトを認識するための頭部回転追跡デバイス Active JP7026638B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/139,683 2016-04-27
US15/139,683 US10097745B2 (en) 2016-04-27 2016-04-27 Head rotation tracking device for video highlights identification
PCT/US2016/054540 WO2017189036A1 (en) 2016-04-27 2016-09-29 Head rotation tracking device for video highlights identification

Publications (2)

Publication Number Publication Date
JP2019515341A JP2019515341A (ja) 2019-06-06
JP7026638B2 true JP7026638B2 (ja) 2022-02-28

Family

ID=60157047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018556334A Active JP7026638B2 (ja) 2016-04-27 2016-09-29 ビデオのハイライトを認識するための頭部回転追跡デバイス

Country Status (6)

Country Link
US (1) US10097745B2 (ja)
EP (1) EP3449623A4 (ja)
JP (1) JP7026638B2 (ja)
KR (1) KR102107923B1 (ja)
CN (1) CN109155818B (ja)
WO (1) WO2017189036A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11166051B1 (en) * 2018-08-31 2021-11-02 Amazon Technologies, Inc. Automatically generating content streams based on subscription criteria
US11095923B1 (en) 2018-08-31 2021-08-17 Amazon Technologies, Inc. Automatically processing inputs to generate content streams

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135641A (ja) 2000-10-27 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> 視点・視線自由移動カメラシステム
US20040105010A1 (en) 2000-06-30 2004-06-03 Karl Osen Computer aided capturing system
US20080136916A1 (en) 2005-01-26 2008-06-12 Robin Quincey Wolff Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
US20150015708A1 (en) 2013-07-10 2015-01-15 Subc Control Limited Telepresence method and system for supporting out of range motion
JP2015518683A (ja) 2012-04-16 2015-07-02 ノキア コーポレイション ビデオ符号化方法および装置

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0486906A (ja) * 1990-07-31 1992-03-19 Suzuki Motor Corp 遠隔操作装置
WO1994017636A1 (en) * 1993-01-29 1994-08-04 Bell Communications Research, Inc. Automatic tracking camera control system
US5610590A (en) 1995-05-18 1997-03-11 The United States Of America As Represented By The Secretary Of The Army Motion sensor
JPH07199281A (ja) * 1993-12-30 1995-08-04 Canon Inc カメラシステム
US5615132A (en) 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
JPH0937137A (ja) * 1995-07-25 1997-02-07 Minolta Co Ltd 移動型立体カメラ装置
WO1997023094A1 (en) 1995-12-18 1997-06-26 Bell Communications Research, Inc. Head mounted displays linked to networked electronic panning cameras
US6224493B1 (en) 1999-05-12 2001-05-01 Callaway Golf Company Instrumented golf club system and method of use
US8409024B2 (en) 2001-09-12 2013-04-02 Pillar Vision, Inc. Trajectory detection and feedback system for golf
EP1587588A2 (en) 2002-12-19 2005-10-26 Fortescue Corporation Method and apparatus for determining orientation and position of a moveable object
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
JP4320572B2 (ja) * 2003-07-11 2009-08-26 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
US20060166738A1 (en) 2003-09-08 2006-07-27 Smartswing, Inc. Method and system for golf swing analysis and training for putters
US20060025229A1 (en) 2003-12-19 2006-02-02 Satayan Mahajan Motion tracking and analysis apparatus and method and system implementations thereof
US7736242B2 (en) 2004-03-23 2010-06-15 Nike, Inc. System for determining performance characteristics of a golf swing
US8556267B2 (en) 2004-06-07 2013-10-15 Acushnet Company Launch monitor
US8179366B2 (en) * 2004-12-06 2012-05-15 Naturalpoint, Inc. Systems and methods for using a movable object to control a computer
US7379664B2 (en) * 2005-07-26 2008-05-27 Tinkers & Chance Remote view and controller for a camera
US20100201512A1 (en) 2006-01-09 2010-08-12 Harold Dan Stirling Apparatus, systems, and methods for evaluating body movements
US8337335B2 (en) 2006-10-07 2012-12-25 Dugan Brian M Systems and methods for measuring and/or analyzing swing information
US8109816B1 (en) 2007-05-31 2012-02-07 Yale University Method and apparatus for measurement and analysis of a golf swing
US8360904B2 (en) 2007-08-17 2013-01-29 Adidas International Marketing Bv Sports electronic training system with sport ball, and applications thereof
CA2718533A1 (en) 2008-03-22 2009-10-01 Richard Jaekel Device and method for monitoring the striking accuracy and the swing movement of a golf club
US8589114B2 (en) 2008-08-19 2013-11-19 Angelo Gregory Papadourakis Motion capture and analysis
US20100105479A1 (en) 2008-10-23 2010-04-29 Microsoft Corporation Determining orientation in an external reference frame
US8622795B2 (en) 2008-12-04 2014-01-07 Home Box Office, Inc. System and method for gathering and analyzing objective motion data
JP5182708B2 (ja) 2009-06-17 2013-04-17 ダンロップスポーツ株式会社 ゴルフスイングの分析方法
US20100323794A1 (en) 2009-06-18 2010-12-23 Yui-Zhang Su Sensor based human motion detection gaming with false positive detection
KR101082798B1 (ko) 2010-03-11 2011-11-11 이열 셀프 카메라 촬영 시스템
US8905855B2 (en) 2010-08-26 2014-12-09 Blast Motion Inc. System and method for utilizing motion capture data
US8903521B2 (en) 2010-08-26 2014-12-02 Blast Motion Inc. Motion capture element
US8944928B2 (en) 2010-08-26 2015-02-03 Blast Motion Inc. Virtual reality system for viewing current and previously stored or calculated motion data
US9039527B2 (en) 2010-08-26 2015-05-26 Blast Motion Inc. Broadcasting method for broadcasting images with augmented motion data
US8941723B2 (en) 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US8593286B2 (en) 2010-12-01 2013-11-26 At&T Intellectual Property I, L.P. System and method for wireless monitoring of sports activities
US9186547B2 (en) 2011-04-28 2015-11-17 Nike, Inc. Golf clubs and golf club heads
US8754786B2 (en) * 2011-06-30 2014-06-17 General Electric Company Method of operating a synthetic vision system in an aircraft
SI24055A (sl) * 2012-04-16 2013-10-30 Airmamics Napredni Mehatronski Sistemi D.O.O. Krmilni sistem stabilizacijske glave za letečo ali stacionarno platformo
KR20130124422A (ko) * 2012-05-04 2013-11-13 (주)컨벡스 팬틸트 장치 및 이를 포함하는 촬영용 무선 제어 시스템
US9380295B2 (en) * 2013-04-21 2016-06-28 Zspace, Inc. Non-linear navigation of a three dimensional stereoscopic display
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
JP6644699B2 (ja) 2014-03-19 2020-02-12 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視線追跡を使用する医療装置、システム、及び方法
EP3218844A4 (en) * 2014-11-13 2018-07-04 Intel Corporation Spoofing detection in image biometrics
KR20160133328A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치
CN205123878U (zh) * 2015-11-30 2016-03-30 吕衍荣 便携式手机自动跟踪自摄器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105010A1 (en) 2000-06-30 2004-06-03 Karl Osen Computer aided capturing system
JP2002135641A (ja) 2000-10-27 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> 視点・視線自由移動カメラシステム
US20080136916A1 (en) 2005-01-26 2008-06-12 Robin Quincey Wolff Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
JP2015518683A (ja) 2012-04-16 2015-07-02 ノキア コーポレイション ビデオ符号化方法および装置
US20150015708A1 (en) 2013-07-10 2015-01-15 Subc Control Limited Telepresence method and system for supporting out of range motion

Also Published As

Publication number Publication date
EP3449623A4 (en) 2019-05-01
EP3449623A1 (en) 2019-03-06
KR20190008257A (ko) 2019-01-23
WO2017189036A1 (en) 2017-11-02
US20170318214A1 (en) 2017-11-02
JP2019515341A (ja) 2019-06-06
US10097745B2 (en) 2018-10-09
KR102107923B1 (ko) 2020-05-07
CN109155818A (zh) 2019-01-04
CN109155818B (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
JP7132280B2 (ja) Ｖｒ観戦のための拡大された視野再レンダリング
KR102309079B1 (ko) 가상 카메라를 제어하는 시스템 및 방법
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
CN112312979B (zh) 电磁场上的头戴式显示器与控制器的时钟同步
JP6770061B2 (ja) いつでもどこからでもビデオコンテンツを再生するための方法および装置
US10613630B2 (en) Temperature controlled headset apparatus
US20170269713A1 (en) Spectator View Tracking of Virtual Reality (VR) User in VR Environments
US20170278306A1 (en) Virtual Reality (VR) Cadence Profile Adjustments for Navigating VR Users in VR Environments
KR101703924B1 (ko) 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템
US10070046B2 (en) Information processing device, recording medium, and information processing method
US20170039671A1 (en) Robotic self-filming system
WO2016085830A1 (en) Movement and distance triggered image recording system
KR101371892B1 (ko) 재생 속도를 제어 가능한 동화상 재생 장치
US20200218072A1 (en) Information processing apparatus, information processing method, and program
US11477433B2 (en) Information processor, information processing method, and program
US11671707B2 (en) Systems and methods for dynamic stabilization adjustment
WO2019195991A1 (zh) 运动轨迹确定、延时摄影方法、设备及机器可读存储介质
US11151804B2 (en) Information processing device, information processing method, and program
US20210060433A1 (en) System and Method for Creation and Control of Interactive User Interfaces
JP7026638B2 (ja) ビデオのハイライトを認識するための頭部回転追跡デバイス
CN105939497A (zh) 媒体串流系统及媒体串流方法
CN113645410B (zh) 图像采集方法、设备及机器可读存储介质
WO2019128400A1 (zh) 控制智能眼镜拍摄视角移动的方法
US20230412788A1 (en) Systems and methods for stabilizing views of videos
CN106293046B (zh) 信息处理方法、信息处理装置及用户设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210108

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210108

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210119

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210126

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210312

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210316

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210615

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210713

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20211221

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220125

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220215

R150 Certificate of patent or registration of utility model

Ref document number: 7026638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150