JP6913634B2 - インタラクティブ・コンピュータ・システムおよびインタラクティブ方法 - Google Patents

インタラクティブ・コンピュータ・システムおよびインタラクティブ方法 Download PDF

Info

Publication number
JP6913634B2
JP6913634B2 JP2017555696A JP2017555696A JP6913634B2 JP 6913634 B2 JP6913634 B2 JP 6913634B2 JP 2017555696 A JP2017555696 A JP 2017555696A JP 2017555696 A JP2017555696 A JP 2017555696A JP 6913634 B2 JP6913634 B2 JP 6913634B2
Authority
JP
Japan
Prior art keywords
media
interactive
user
movement
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017555696A
Other languages
English (en)
Other versions
JP2018521378A5 (ja
JP2018521378A (ja
Inventor
ベンジャミン トーマス−ブリグデン
ベンジャミン トーマス−ブリグデン
ビョエルン モルラク
ビョエルン モルラク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiltsta Pty Ltd
Original Assignee
Tiltsta Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2015901421A external-priority patent/AU2015901421A0/en
Application filed by Tiltsta Pty Ltd filed Critical Tiltsta Pty Ltd
Publication of JP2018521378A publication Critical patent/JP2018521378A/ja
Publication of JP2018521378A5 publication Critical patent/JP2018521378A5/ja
Application granted granted Critical
Publication of JP6913634B2 publication Critical patent/JP6913634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、インタラクティブ・コンピュータ・システムおよびインタラクティブ方法に関する。特に、本発明は、インタラクティブなメディア表示およびビデオ再生に関するが、これらに限定されない。
従来、消費されるメディア・コンテンツはほぼすべて、職業的に制作されていた。例えば、ラジオおよびテレビは、職業的に制作され、多くのユーザに向けて放送されていた。現在では、高品質コンテンツ作成装置およびソフトウェア・ツールに対して、ある程度の熟練者の手が届くようになっており、ユーザ生成コンテンツ（ＵＧＣ）の人気が高まっている。また、ビデオおよびソーシャル・メディア・チャンネル、特に、携帯デバイスを介して、このようなビデオのオンライン配信が広まっている。
このようなコンテンツは、内容が一方向に進み、一般的には非常に広い視聴者に対して作成されているため、ユーザにとって一般的に魅力がない、という問題がある。さらに、携帯デバイスでますます多くのコンテンツが消費されるようになっていることから、特に、このようなコンテンツ中の移動に関して、新たな課題に直面している。
通常は、携帯デバイスに対して、従来のデスクトップ・メディア・インタラクション方法が適用されているものの、これらの携帯デバイス上では、良好なユーザ体験がもたらされない。例えば、タッチ・スクリーンデバイスは、一時停止および再生等の標準的な操作に関する小さなボタンを組み込んでいる場合が多く、表示された場合は通常、ビデオの一部を覆ってしまうため、一般的には不便である。
別の問題として、携帯デバイス上の広告は、従来のメディアが支配的となっており、メディアとの双方向性が非常に制限されている。通常、ユーザは、広告中の「コール・トゥ・アクション」に応答するため、別のウェブサイト（または、アプリケーション）に移動して、手動で操作を行う必要がある。このようなアクションは、明らかに不便であり、結果として、販売機会が失われてしまうことが多い。
以上から、改良されたインタラクティブ・メディア・システムおよび方法が求められている。
本明細書において、先行技術の刊行物を参照する場合、この参照によって、オーストラリアまたはその他如何なる国においても、当該刊行物が当技術分野における共通の一般常識の一部を構成するものとは認められないことが明確に了解される。
本発明は、上記不都合のうちの少なくとも１つの少なくとも部分的な克服または消費者に対する有用もしくは営利的な選択肢の提供が可能なインタラクティブ・メディア・システムおよび方法を対象とする。
上記を考慮して、本発明は、一形態において、インタラクティブ・コンピュータ・システムであって、
ユーザ機器の動きを介して、動きに基づくジェスチャを受け取る動きセンサを含むユーザ機器と、
動きセンサに結合され、動きに基づくジェスチャに応じて、当該インタラクティブ・コンピュータ・システムの１つまたは複数の挙動（aspect）を制御するように構成されたコントローラと、
を備えるインタラクティブ・コンピュータ・システムに広く属する。
インタラクティブ・コンピュータ・システムは、簡単かつ効果的なインタラクションによって、関心を高めるとともにユーザ体験を向上可能であり、都合が良い。
コントローラは、動きに基づくジェスチャと、メディア制御命令のセットとに基づいて、メディアの表示を選択的に制御するように構成されていても良い。メディア制御命令は、動きに基づくジェスチャと、メディアの表示の制御との間の関係を規定していても良い。メディア制御命令は、メディア制御ファイル内で規定されていても良い。メディア制御ファイルは、メディア・ファイル内のマーカーを規定していても良い。
メディア制御ファイル（または、メディア制御命令）は、ジェスチャが検出されない場合に再生されるように構成された既定のビデオと、他のビデオ・ファイルとを規定し、各ビデオ・ファイルが、１つの動きに基づくジェスチャと関連付けられていても良い。
コントローラは、動きに基づくジェスチャに応じて、メディアの再生を制御するように構成されるのが好ましい。
コントローラは、再生用のメディアを選択することによって、メディアの再生を制御するように構成されるのが好ましい。再生用のメディアの選択は、複数のメディア・ファイルからメディア・ファイルを選択することを含んでも良い。あるいは、再生用のメディアの選択は、メディア・ファイルから当該メディア・ファイルの一部を選択することを含んでも良い。このような場合、メディア・ファイルの上記一部は、メディア・ファイルのタイムライン上の時間、メディア・ファイル内のマーカー、または、メディア・ファイルの代替コンテンツによって規定されていても良い。
コントローラは、第１の動きに基づくジェスチャを受け取り、この受け取りに応答して第１の再生設定を決定した後、第２の動きに基づくジェスチャを受け取り、この受け取りに応答して第２の再生設定を決定することにより、メディア再生を選択的に制御するように構成されていても良い。
メディアの再生の制御は、動きに基づくジェスチャに応じて予め規定されていても良い。あるいは、メディアの再生の制御は、動的に規定されても良い。このような場合、メディアの再生の制御は、動きに基づくジェスチャが受け取られたタイミング、または、ジェスチャが受け取られたときにおけるインタラクティブ・コンピュータ・システムの状態に応じて、動的に規定されても良い。
メディアは、視覚メディアを含むのが好ましい。メディアは、ビデオを含んでいても良い。メディアは、オーディオ、テキスト、リッチ・テキスト、定型化テキスト、ハイパー・テキスト・マークアップ言語（ＨＴＭＬ）文書、アニメーション、スライド・ショー、グラフィックおよび画像の少なくとも１つを含んでいても良い。
メディアは、複数の階層を有するメディアを含んでいても良い。
メディアは、ユーザ機器のディスプレイ上で再生されるようになっていても良い。あるいは、メディアは、ユーザ機器の外部のディスプレイ上で再生される。
動きに基づくジェスチャは、複数の所定のジェスチャを含んでいても良い。
動きに基づくジェスチャは、ユーザ機器の局所的な動きによって規定されていても良い。動きに基づくジェスチャは、ユーザ機器の左方チルト、右方チルト、前方チルト、後方チルト、反転チルト、円形チルト、フリップ・チルト、ツイスト、およびシェイクの１つまたは複数の組み合わせを含む。
このインタラクティブ・コンピュータ・システムは、加速度計をさらに備え、動きに基づくジェスチャが、加速度計からのデータに応じて、少なくとも部分的に決定されるようになっていても良い。このインタラクティブ・コンピュータ・システムは、ジャイロスコープ、コンパスまたは位置決めシステムを備え、動きに基づくジェスチャが、ジャイロスコープ、コンパスまたは位置決めシステムからのデータに応じて、少なくとも部分的に決定されるようになっていても良い。
コントローラは、動きに基づくジェスチャに基づいて、メディアの提示を制御するように構成されていても良い。
コントローラは、ユーザ機器のインタラクティブ・アプリケーションを制御するように構成されていても良い。特に、コントローラは、インタラクティブ・アプリケーションに対して、アイテムの購入、デジタル・ショッピング・カートもしくは欲しい物リストへのアイテムの追加、アイテムへの応札、取引の完了、電話の送信、ＳＭＳの送信、アプリケーションの起動、他の機器との通信、または他のアプリケーションの機能の呼び出しを実行させるように構成されていても良い。
このインタラクティブ・コンピュータ・システムは、メディア・プレーヤをさらに備え、コントローラは、メディア・プレーヤがメディアを再生している間、ユーザ機器のインタラクティブ・アプリケーションを制御するように構成されていても良い。
インタラクティブ・アプリケーションの制御は、メディアの再生と独立していても良い。
コントローラは、ユーザ機器の一部を形成していても良い。
このインタラクティブ・コンピュータ・システムは、携帯デバイスから成っていても良い。
このインタラクティブ・コンピュータ・システムは、ヘッド・マウント・ディスプレイを備えていても良い。
コントローラは、制御命令と、動きに基づくジェスチャとに応じて、インタラクティブ・コンピュータ・システムの１つまたは複数の挙動（aspect）を制御するように構成されており、制御命令が、動きに基づくジェスチャと、当該インタラクティブ・コンピュータ・システムの１つまたは複数の挙動（aspect）の制御との間の関係を規定していても良い。
別の形態において、本発明は、インタラクティブ・メディアを生成するシステムであって、メディア制御データを生成するメディア制御生成コンポーネントを備え、メディア制御データは、ユーザが、動きに基づくジェスチャに基づいてメディアを選択的に制御できるように、ユーザ機器の動きにより規定される当該動きに基づくジェスチャとメディアの制御との間の関係を規定する、インタラクティブ・メディアを生成するシステムに広く属する。
このインタラクティブ・メディアを生成するシステムは、写真またはビデオの形態でメディアを取り込むカメラをさらに備えていても良い。
このインタラクティブ・メディアを生成するシステムは、メディアを受け取るデータ・インターフェースをさらに備えていても良い。
メディア制御生成コンポーネントは、動きに基づくジェスチャに基づいて、インタラクティブ・メディアを生成するように構成されていても良い。
さらに別の形態において、本発明は、ユーザ機器の動きによって、動きに基づくジェスチャを受け取り、動きに基づくジェスチャに基づいて、メディア提示を制御する、インタラクティブ・メディア方法に広く属する。
さらに別の形態において、本発明は、ユーザ機器の動きによって、動きに基づくジェスチャを受け取り、動きに基づくジェスチャに基づいて、ユーザ機器のインタラクティブ・アプリケーションを制御する、インタラクティブ方法に広く属する。
本明細書に記載の特徴はいずれも、本発明の範囲内において、本明細書に記載のその他特徴のうちのいずれか１つまたは複数と任意に組み合わせ可能である。
本明細書における如何なる先行技術の参照も、当該先行技術が共通の一般常識の一部を構成することを認めたり提案したりするものとは捉えられず、また、捉えられるべきではない。
以下、図面を参照して、本発明の種々実施形態を説明する。
本発明の一実施形態に係る、インタラクティブ・メディア表示機器のブロック図である。 図２Ａは、第１の設定で使用中のインタラクティブ・メディア表示機器の正面図であり、図２Ｂは、第２の設定で使用中のインタラクティブ・メディア表示機器の正面図である。 図３Ａ〜３Ｆは、図１の機器の複数の予め定められた動きを示した図である。 本発明の一実施形態に係る、ユーザと図１の機器とのインタラクションのシーケンス図である。 本発明の別の実施形態に係る、ユーザと図１の機器とのインタラクションのシーケンス図である。 本発明の一実施形態に係る、ビデオ生成システムのコンテンツ生成画面のスクリーンショットを示した図である。 本発明の一実施形態に係る、インタラクティブ・メディア表示システムのブロック図である。 本発明の一実施形態に係る、インタラクティブ・メディア表示方法を示した図である。 本発明の一実施形態に係る、ユーザと機器とのインタラクションおよびインタラクションが異なって解釈されるシステムの状態にそれぞれ対応するビデオ・ファイルの機器上の対応表示を示した図である。 図１０Ａは、本発明の一実施形態に係る、ビデオが表示されるとともに動きに基づくジェスチャによってユーザがインタラクションし得るユーザ機器を示した図であり、図１０Ｂは、お気に入りリストが提示された図１０Ａのユーザ機器を示した図である。 本発明の一実施形態に係る、システムのチルト制御を理解するようにユーザがトレーニングされるトレーニング画面のスクリーンショットを示した図である。 図１２Ａは、本発明の一実施形態に係る、多次元移動を含むインタラクティブ・ショッピング画面のスクリーンショットを示した図であり、図１２Ｂは、多次元移動階層においてユーザが移動した図１２Ａのインタラクティブ・ショッピング画面の別のスクリーンショットを示した図である。
当業者が本発明を実施するのに十分な情報を与える以下の詳細な説明によって、本発明の好適な特徴、実施形態、および変形例を識別可能である。詳細な説明は、上述の発明の概要の範囲を制限するものと見なされるべきではない。
図１は、本発明の一実施形態に係る、インタラクティブ・メディア表示機器１００のブロック図である。以下により詳しく論じる通り、このインタラクティブ・メディア表示機器１００によれば、ユーザは、機器１００の動きを介して、メディアの表示を制御することができる。機器１００を持つのと同じ手でチルトあるいは機器１００への動きに基づく入力が可能となるため、表示されたメディアを片手で操作可能であり、便利である。
インタラクティブ・メディア表示機器１００は、プロセッサ１０５と、プロセッサ１０５に結合され、ビデオをユーザに表示するディスプレイ（表示画面）１１０と、プロセッサ１０５に結合され、機器１００の動き情報を受け取る動きセンサ１１５とを備える。
動きセンサ１１５は、一体的な使用によって動きに基づく入力を決定する加速度計およびジャイロスコープを備えていても良い。ただし、この代替または追加として、動きに基づく入力は、コンパス、カメラ、位置決めセンサ（ＧＰＳもしくはＲＦ位置決め技術等）、または高度、回転速度、加速度等の機器１００の動きを決定するのに使用可能なその他任意の入力に応じて決定されるようになっていても良い。別の実施形態においては、ユーザ機器に一体化または取り付けられたカメラにより識別されるユーザ位置の変化を観測することによって、動きに基づくコマンドが生成される。
インタラクティブ・メディア表示機器１００は、プロセッサ１０５に結合されたメモリ１２０を具備する。メモリ１２０は、機器１００に表示するメディアを記憶するメディア記憶コンポーネント１２０ｃ、記憶されたメディアを復号するメディア復号命令１２０ａ、およびメディア復号命令１２０ａを用いて記憶されたメディアの表示を制御するメディア制御命令１２０ｂを具備する。
使用時は、メディア制御命令１２０ｂの制御下で、メディア記憶コンポーネント１２０ｃのメディアがメディア復号命令１２０ａにより復号され、表示画面１１０に表示される。そして、動きセンサ１１５からのデータを用いることにより、メディア制御命令１２０ｂによって、表示中の機器１００の動きが監視・検出される。そして、この動きの使用により、メディアの表示が制御される。
メディア制御命令１２０ｂは、単一のメディア・ファイル中の移動によって、当該メディア・ファイルの表示を制御するように構成されていても良い。特に、動きセンサ１１５からのデータに基づいて、メディア制御命令１２０ｂは、メディア・ファイルのタイムラインの点間で、メディア復号命令１２０ａを動的に移動させるようにしても良い。説明の一例として、機器１００が（ユーザの視点から）右方にチルトしている場合、メディア制御命令１２０ｂは、メディア・ファイルのタイムライン上で、復号命令１２０ａを予め定められた量だけ前方にジャンプさせるようにしても良い。
同様に、メディア制御命令１２０ｂは、メディア・ファイルの代替コンテンツ間で、復号命令１２０ａを動的に切り替えさせるようにしても良い。説明の一例として、機器１００が軽くシェイクされている場合、メディア制御命令１２０ｂは、メディア・ファイルの異なる言語トラック等、メディア・ファイルの代替メディア間で、復号命令１２０ａを切り替えさせるようにしても良い。
あるいは、メディア制御命令１２０ｂは、機器１００の動きに基づいて、メディア・ファイル間の移動により、複数のメディア・ファイルの再生を制御するように構成されていても良い。説明の一例として、機器１００が（ユーザの視点から）右方にチルトしている場合、メディア制御命令１２０ｂは、予め定められた一連のメディア・ファイル内で、復号命令１２０ａを次のメディア・ファイルに移動させるようにしても良い。
特定の実施形態によれば、機器１００は、種々のメディア間を移動するように構成されていても良い。例えば、機器１００は、動きに基づく入力によって、動画と静止画との間を移動するように構成されていても良い。これは、ビデオ中に示されたアイテムに関する別の情報が欲しい場合に特に都合が良く、ショッピングおよび広告の使用事例にふさわしいと考えられる。
メディア・ファイルは、機器１００（例えば、メディア記憶コンポーネント１２０ｃ）にローカルで記憶されるようになっていても良いし、オン・デマンドでダウンロードまたはストリーミングされるようになっていても良い。このため、「クラウド」（すなわち、リモート）にメディアが記憶され、必要に応じて更新されるようになっていても良い。これは、広告等のメディア・ファイルを定期的に更新することが望ましい場合または短期プロモーションが行われている場合に、機器１００上での更新を何ら要さないため、特に都合が良い。
機器１００は、タッチ・スクリーンもしくはキーボード等の従来の入力、または、動きに基づく入力が可能であっても良い。場合により、従来の入力および動きに基づく入力は、相互排他的である。このため、従来の入力は、動きに基づく入力が用いられる場合に限られていても良い（例えば、機器１００のタッチ・スクリーンが無効化されるようになっていても良い）。これは、動きに基づく入力に際して、ユーザが意図せず従来の入力を行ってしまう可能性がある場合に特に都合が良い。
インタラクティブ・メディア表示機器１００としては、スマートフォン、タブレット、または、その他任意の適当な携帯コンピュータ機器が挙げられる。
図２Ａおよび図２Ｂは、使用中のインタラクティブ・メディア表示機器１００の正面図である。図示のように、インタラクティブ・メディア表示機器１００は、一般的に携帯型であり、片手もしくは両手での保持または保持フレームへの載置による容易な視聴を目的として具体的に設計されていても良く、表示画面１１０を含む実質的に平らな前面２０５を備える。
図２Ａに示すように、表示機器１００には、第１のビデオ２１０ａがまず表示される。そして、チルト矢印２１５で示すとともに以下により詳しく説明する通り、ユーザは、第１のビデオ２１０ａの再生の途中で、（ユーザの視点から）右方に機器１００をチルトさせる。
機器１００のチルトの検出（動きセンサ１１５およびメディア制御命令１２０ｂによる）に応答して、図２Ｂに関して示すように、第２のビデオ２１０ｂが機器１００に表示される。
当業者には当然のことながら、機器１００をさらにチルトさせることによって、第３のビデオ（図示せず）に移動したり、第１のビデオ２１０ａに戻ったりするようになっていても良い。
図３Ａ〜図３Ｆは、機器１００の複数の予め定められた動き３００ａ〜３００ｆを示している。動き３００ａ〜３００ｆは、ジェスチャとも称するが、これによって、ユーザは、上述の通り、機器１００とインタラクションすることができる。
図３Ａは、通常の再生モード３００ａを示しており、機器１００は真っ直ぐに保持されてほとんど動きはない。
図３Ｂおよび図３Ｃはそれぞれ、機器１００の左方チルト３００ｂおよび右方チルト３００ｃを示している。左方チルト３００ｂの場合は、機器１００の上部がユーザの視点から左方にチルトする。右方チルト３００ｃの場合は、機器１００の上部がユーザの視点から右方にチルトする。
図３Ｄおよび図３Ｅはそれぞれ、前方チルト３００ｄおよび後方チルト３００ｅを示している。前方チルト３００ｄの場合は、機器１００の上部がユーザの目から離れる方向にチルトし、後方チルト３００ｅの場合は、機器１００の上部がユーザの目に近づく方向にチルトする。
最後に、図３Ｆは、シェイク３００ｆを示しており、ユーザは、短時間だけ機器１００を左右もしくは上下に振るか、または、垂直軸もしくは対角軸と交わるように捩る。
機器１００には、ダブル・チルト（左方チルト後に素早くもう一度左方チルトする場合等）、ロング・チルト、スロー・チルト、ハード・シェイク、ロング・シェイク、ツイスト、スラップ、ファースト・スラップ、および急停止となる動き等、他の動きが規定されていても良い。さらに、上記チルトは、小さな左方チルト（例えば、３０°以下のチルト）、中間の左方チルト（例えば、３０°〜４５°のチルト）、および大きな左方チルト（例えば、４５°以上のチルト）といった多数のサブチルトに分割されるようになっていても良い。同様に、動きは、保持されても良いし（例えば、機器がチルトして保持される）、保持されなくても良い（例えば、機器がチルトした後に元の位置に戻る）。
さらに、ユーザは、左方、右方、上方、もしくは下方スワイプ、ピンチもしくはエキスパンド、タップ、またはダブル・タップを含むタッチ・スクリーン・ジェスチャ等の非動きに基づくジェスチャを用いて機器１００に入力を与えるようにしても良い。これは、入力としての機器１００の動きがユーザにとって適当または便利ではない環境にユーザがいる場合に特に有用である。
特定の実施形態によれば、機器１００は、利用可能なジェスチャを示すアイコンがユーザに提示されるオーバービュー・モードを含む。例えば、画面のタップによって、機器１００がオーバービュー・モードに入るようになっていても良いし、オーバービュー・モードから出るようになっていても良い。これは、メディア制御命令１２０ｂに記載されたビデオの異なる設定によって、異なるジェスチャが利用可能な場合に特に都合が良い。また、テーブル等の表面に機器が平らに横たえられた状態での動きも可能である。
特定の実施形態によれば、動きすなわちジェスチャ３００ａ〜３００ｆは、絶対的に規定されていても良い。例えば、通常の再生モード３００ａは、通常の重力に関して実質的に真っ直ぐなものとして規定されていても良い。あるいは、動きすなわちジェスチャ３００ａ〜３００ｆは、相対的に規定されていても良い。例えば、左方チルト３００ｂは、それ以前の位置に対する機器１００の左方へのチルトにより規定されていても良い。相対的な動きすなわちジェスチャによれば、ユーザは、例えば横たえた状態または再生中に機器１００が真っ直ぐではない位置に保持されるその他任意の状況等、さまざまな位置で機器１００を使用することができる。
図４は、タイムライン４０５に従ったユーザと機器１００とのインタラクションおよび機器１００上の対応するビデオ４１０の再生のシーケンス図４００である。ビデオ４１０は、１、２、３等の番号が付けられた複数の順次セグメント４１０ａを含んでおり、ユーザは、機器１００とのインタラクションによって、セグメント４１０ａ間を移動することができる。
最初すなわちタイムライン４０５上の時間０（４０５ａ）において、ユーザは、機器１００を通常の再生モード３００ａに保持する。結果として、ビデオ４１０は、通常の再生が行われる。すなわち、ビデオ・セグメント０、１、および２が時間０、１、および２にそれぞれ再生される。
タイムライン４０５上の時間３（４０５ｂ）において、ユーザは、機器１００の左方チルト３００ｂを実行する。結果として、機器１００は、ビデオ４１０の２つのセグメント４１０ａ分だけ前方にジャンプし、（チルトがなければ表示されていたビデオ・セグメント３および４ではなく）ビデオ・セグメント１および２を時間３および４にそれぞれ再生する。ユーザは、割り込み後にビデオ４１０の一部を再度視聴したい場合にこの機能を選定するようにしても良い。
タイムライン４０５上の時間５（４０５ｃ）において、ユーザは、機器１００の右方チルト３００ｃを実行する。結果として、機器１００は、ビデオ４１０の２つのセグメント４１０ａ分だけ後方にジャンプし、（チルトがなければ表示されていたビデオ・セグメント３および４ではなく）ビデオ・セグメント５および６を時間５および６にそれぞれ再生する。
セグメント４１０ａは、５秒または１０秒等、任意適当な長さであっても良い。さらに、セグメント４１０ａは、均一サイズである必要がない。例えば、各セグメント４１０ａは、ビデオのシーンを規定し、シーンがビデオのコンテンツにより規定されていても良い。この情報は、メディア制御命令１２０ｂにおいて記述される。
ビデオ４１０は、ＩＳＯに基づくメディア・ファイル・フォーマット、ＭＰＥＧ−４ファイル・フォーマットに応じたファイル等、従来のビデオ・ファイルを含んでいても良く、また、オーディオおよびビデオの両者を含んでいても良い。
図５は、タイムライン５０５に従ったユーザと機器１００とのインタラクションおよび機器１００上の対応するビデオ・ファイル５１０ａ、５１０ｂ、５１０ｃの再生のシーケンス図５００である。ビデオ５１０ａ、５１０ｂ、５１０ｃは、図４のセグメント４１０ａに類似する複数の順次セグメント５１０を含んでおり、ユーザは、機器１００とのインタラクションによって、ビデオ５１０ａ、５１０ｂ、５１０ｃ間を移動することができる。
最初すなわちタイムライン５０５上の時間０（５０５ａ）において、ユーザは、機器１００を通常の再生モード３００ａに保持する。結果として、１番目のビデオ５１０ａが最初に再生される。
タイムライン５０５上の時間３（５０５ｂ）において、ユーザは、機器１００の左方チルト３００ｂを実行する。結果として、機器１００は、２番目のビデオ５１０ｂにジャンプし、時間３を起点として２番目のビデオ５１０ｂからセグメント５１０を再生し始める。２番目のビデオ５１０ｂは一般的に、左方チルト３００ｂと暗示的または明示的に関連付けられている。
タイムライン５０５上の時間５（５０５ｃ）において、ユーザは、機器１００の右方チルト３００ｃを実行する。結果として、機器１００は、３番目のビデオ５１０ｃにジャンプし、時間５を起点として３番目のビデオ５１０ｃからセグメント５１０を再生し始める。３番目のビデオ５１０ｃは一般的に、右方チルト３００ｃと暗示的または明示的に関連付けられている。
ビデオ５１０ａ、５１０ｂ、５１０ｃは、メディア制御ファイルを用いて、動きすなわちジェスチャ３００ａ〜３００ｆと関連付けられていても良い。このような場合、メディア制御ファイルは、インタラクションごとに再生されるビデオ５１０ａ、５１０ｂ、５１０ｃを規定していても良い。すなわち、ユーザの動き等のジェスチャに対する機器１００の応答の仕方を規定していても良い。
上記のような場合、メディア制御命令は、メディア制御ファイル中に存在していても良く、また、ＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）符号化テキスト・ファイルを含んでいても良い。メディア制御ファイルおよびビデオ・ファイル５１０ａ、５１０ｂ、５１０ｃは、可能性としてファイルのコンテンツの種類を示すカスタムのファイル拡張子を付けたアーカイブ・ファイルにパッケージングされて圧縮されるようになっていても良い。アーカイブ・ファイルは、ファイルを圧縮してファイル・サイズを低減できるのみならず、ビデオ５１０ａ、５１０ｂ、５１０ｃおよびメディア制御ファイルを配信するのに便利な方法すなわち単一ファイルでの提供を可能にする点においても都合が良い。
特定の実施形態によれば、メディア制御ファイルは、プレーヤが最初に再生する「ホーム・クリップ」とも称する単一の既定ビデオのほか、左方チルト３００ｂ、右方チルト３００ｃ、前方チルト３００ｄ、後方チルト３００ｅ、およびシェイク３００ｆという５つのジェスチャそれぞれと関連付けられたその他最大５つのクリップを規定する。ジェスチャが行われると、プレーヤは、関連するクリップを即座に再生し、それが終わってからホーム・クリップに戻る。
別の実施形態によれば、メディア制御ファイルは、（例えば、ユニバーサル・リソース・ロケータ（ＵＲＬ）によって）ビデオ・ファイルの外部位置を参照していても良い。このため、ビデオ・ファイルは、コンテンツの共有に必要な帯域幅が低減することのないように、メディア制御ファイルと併せて送信する必要はない。
例示として、メディア制御ファイルの構文は、以下のように記述されていても良い。
{
"name": "Ice",
"description": "Ice drift + fire",
"created": "2015-04-27 19:34:23",
"modified": "2015-04-28 12:12:56",
"start": "intro",
"clips": [

{
"id": "intro",
"filename": "intro.mp4",
"end": "play",
"play": "spin-loop"
},

{
"id": "spin-loop",
"filename": "spin-loop.mp4",
"end": "loop",
"gestures": {
"forward": "spin-go-forward",
"back": "bye",
"left": "spin-fix",
"right": "spin-sitting",
"shake": "spin-up-shake"
}
},

{
"id": "bye",
"filename": "bye.mp4",
"end": "play",
"play": "spin-loop",
"mute": true,
"vibrate": true

},

{
"id": "spin-fix",
"filename": "spin-fix.mp4",
"end": "play",
"play": "spin-loop"
},

{
"id": "spin-sitting",
"filename": "spin-sitting.mp4",
"end": "play",
"play": "spin-loop"
},

{
"id": "spin-up-shake",
"filename": "spin-up-shake.mp4",
"end": "play",
"play": "spin-loop"
},

{
"id": "spin-go-forward",
"filename": "spin-go-forward.mp4",
"end": "play",
"play": "quad-loop"
},

{
"id": "quad-loop",
"filename": "quad-loop.mp4",
"end": "loop",
"gestures": {
"forward": "quad-overtake-forward",
"back": "quad-rear-back",
"left": "view-high",
"right": "view-boom",
"shake": "moto-loop"
}
},

{
"id": "quad-overtake-forward",
"filename": "quad-overtake-forward.mp4",
"end": "play",
"play": "quad-loop",
},

{
"id": "quad-rear-back",
"filename": "quad-rear-back.mp4",
"end": "play",
"play": "quad-loop"
},

{
"id": "view-high",
"filename": "view-high.mp4",
"end": "play",
"play": "quad-loop"
},

{
"id": "view-boom",
"filename": "view-boom.mp4",
"end": "play",
"play": "quad-loop"
},

{
"id": "moto-loop",
"filename": "moto-loop.mp4",
"end": "loop",
"gestures": {
"forward": "outro",
"back": "moto-rear",
"left": "moto-left",
"right": "moto-right",
"shake": "quad-loop"
}
},

{
"id": "moto-rear",
"filename": "moto-rear.mp4",
"end": "play",
"play": "moto-loop"
},

{
"id": "moto-left",
"filename": "moto-left.mp4",
"end": "play",
"play": "moto-loop"
},

{
"id": "moto-right",
"filename": "moto-right.mp4",
"end": "play",
"play": "moto-loop"
},

{
"id": "outro",
"filename": "outro.mp4",
"end": "finish"
}
]
}
特に、各ビデオ・クリップの識別に「ｉｄ」フィールドが使用され、ファイル名のビデオ・クリップとの関連付けに「ｆｉｌｅｎａｍｅ」フィールドが使用され、クリップの最後に達した際に起こることを「ｅｎｄ」フィールドが規定し、「ｆｏｒｗａｒｄ」、「ｂａｃｋ」、「ｌｅｆｔ」、「ｒｉｇｈｔ」、および「ｓｈａｋｅ」等のジェスチャ・フィールドと併せて、対応するジェスチャの検出に際して再生されるべきビデオ・クリップを「ｇｅｓｔｕｒｅｓ」構造が規定していても良い。
上記フィールドのほか、メディア制御ファイルは、メディアの撮影場所または関連する場所等、メディアに関するメタデータをさらに含んでいても良い。これによれば、他のユーザが近くのメディアを見つけたり、特定の場所に関するメディアを検索したり、マップ探索機能を用いて当該メディアを見つけたりすることができる。
以下に概説する通り、コンテンツは、機器１００に対して職業的に作成されたものであっても良いし、ユーザにより生成されたものであっても良い。
図６は、本発明の一実施形態に係る、ビデオ生成システムのコンテンツ生成画面のスクリーンショット６００を示している。ビデオ記録システムとしては、スマートフォン、パソコン等が挙げられる。
コンテンツ生成画面は、左方チルト３００ｂ、右方チルト３００ｃ、前方チルト３００ｄ、後方チルト３００ｅ、およびシェイク３００ｆといったジェスチャならびに静止に対応する複数のジェスチャ・ボタン６０５を具備する。ジェスチャ・ボタンによれば、ユーザは、ジェスチャを選択して、当該ジェスチャの検出時に復号器に起こることを決定することができる。
コンテンツ生成画面は、選択ジェスチャと関連したビデオのユーザによる取り込みを可能にする記録ボタン６１０を具備する。システムのローカルのストレージ、リモートのシステム、または別の機器から、予め記録されたビデオをユーザが選択できるように、別のボタンが設けられていても良い。これは、システムでカメラが利用できない場合に特に有用である。
使用時、ユーザは、異なるジェスチャ・ボタン６０５間を移動し、関連するジェスチャの一部またはそれぞれとビデオを関連付け、ファイルを保存する。そして、システムは、メディア制御命令１２０ｂを自動的に生成し、ビデオ・クリップと併せてアーカイブに記憶することにより、生成コンテンツの共有を簡単にする。
他の実施形態においては、高度なコンテンツ生成画面が設けられていても良い。高度なコンテンツ生成画面は、任意数のメディア・クリップまたはファイルの動きジェスチャとのリンクを可能にするものであっても良い。説明の一例として、高度なコンテンツ生成画面は、クリップまたはファイルごとの動きジェスチャの解釈のされ方を規定していても良い。結果として、例えば特定のビデオ・クリップへの移動が他の特定のビデオ・クリップを介してのみ可能な場合に、複雑な動きを提供可能である。
特定の実施形態によれば、ビデオ生成システムは、記録しながら監視する加速度計、ジャイロスコープ、コンパス、および／または他の動きセンサを具備する。ジェスチャの検出に際して、システムは、関連するジェスチャ・ボタン６０５を自動的に選択し、記録を継続して、この継続した記録をジェスチャと関連付けるようにしても良い。
特定の実施形態によれば、ビデオ生成システムは、ユーザの記録時の機器の持ち方に基づいて、ビデオ・クリップの接合および編集、および／または他のクリップとの関わり方の決定を自動的に行う。
コンテンツ生成画面では、ユーザが画像をキャプチャーし、キャプチャー画像を用いて後続ビデオの位置合わせを補助できるようになっていても良い。このような場合は、キャプチャー画像を取り込み、ビデオに重ねることによって、ユーザがキャプチャーシーン中のアイテム（例えば、人物）をキャプチャー画像（例えば、人物の画像）中のアイテムに対して位置合わせできるようになっていても良い。結果として、ユーザは、始点および終点等、ビデオの重要な点において、記録対象のアイテムが略同じ場所となって位置合わせ可能となるようにすることができる。
特定の実施形態によれば、ビデオ生成システムは、クリップを順々に自動記録し、記録したクリップをジェスチャと自動的に関連付けることによって、ハンズフリー記録を可能にする。ユーザは、一連のクリップの予備設定または既定のクリップ・シーケンスの使用を行うようにしても良く、聴覚または視覚的インジケータのユーザへの提供によって、ビデオ記録の開始または終了のタイミングをユーザに知らせるとともに、対応することになるジェスチャを付加的に示すようにしても良い。
特定の実施形態によれば、メディアの操作によって、より望ましいメディア間遷移がもたらされるようになっていても良い。説明の一例としては、遷移を跨ってメディア中のアイテムが位置合わせされるようになっていても良く、ビデオの最初および終わり等、メディアのさまざま部分に対して、クロスフェード効果、フェード・スルー・ブラック効果等の視覚的効果が追加されるようになっていても良い。
また、メディアの手動操作によって、ユーザが当該メディアを後で消費するとともに異なるメディア間を移動する場合のより望ましい効果がもたらされるようになっていても良い。メディア間のアイテムの位置合わせを容易化するのに役立つこのような機能としては、ズーム、パン、クロップ等が挙げられる。
図７は、本発明の一実施形態に係る、インタラクティブ・メディア表示システム７００のブロック図である。インタラクティブ・メディア表示システム７００は、図１のインタラクティブ・メディア表示機器１００に類似する。
インタラクティブ・メディア表示システム７００は、スマートフォンの形態の携帯コンピュータ機器７０５、メディア・ストリーミング・サーバ７１０、およびメディア制御サーバ７１５を具備する。
使用時は、インターネット等のデータ・ネットワーク７２０によって、ビデオ・データがメディア・ストリーミング・サーバ７１０から携帯コンピュータ機器７０５にストリーミングされる。携帯コンピュータ機器７０５の動きが発生すると、例えば加速度計およびジャイロスコープによって機器７０５の動きが検出され、動きに関するデータがメディア制御サーバ７１５に提供される。
上述の通り、有効な動きジェスチャの検出に際して、メディア制御サーバ７１５は、ビデオ・ファイルの変更またはビデオ・ファイルの異なる部分への移動をメディア・ストリーミング・サーバ７１０に命令することになる。すると、新たなビデオ・データがメディア・ストリーミング・サーバ７１０から携帯コンピュータ機器７０５にストリーミングされる。
あるいは、メディア制御サーバ７１５は、制御命令を携帯コンピュータ機器７０５に与え、これを携帯コンピュータ機器７０５が用いることにより、メディア・ストリーミング・サーバ７１０に指示を出すようになっていても良い。このような場合、メディア制御サーバ７１５は、例えばハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバを含んでいても良い。また、ストリーミング・サーバ７１０は、ライブ・コンテンツを提供するようにしても良い。
関連データのみが携帯コンピュータ機器７０５にストリーミングされると、帯域幅の使用が抑えられて都合が良い。これは、関連するビデオをそれぞれ伴う非常に多くのインタラクションが考えられる場合に特に有用である。再生対象のビデオさえユーザに提供されれば良いためである。
特定の実施形態（図示せず）によれば、動きに基づくビデオ制御を内蔵したメディア・プレーヤがユーザ機器のウェブ・ブラウザに設けられる。メディア・プレーヤは、可能な場合に動きデータを使用し、不可能な場合に別の動き要素（例えば、ジェスチャに対応するボタンまたは音声コマンド）を提供するように構成されており都合が良い。
例えば、キーボードまたはマウス入力等の非モーションベース（動きに基づく）のデータ入力は、動きジェスチャに変換されて、本発明に係るメディアの再生を可能にするようになっていても良い。このような場合は、左矢印キーが左方チルトに変換され、右矢印キーが右方チルトに変換され、以下同様であっても良い。
特定の実施形態（図示せず）によれば、アプリケーションに動きに基づくインタラクションが与えられるが、メディア・プレーヤは、サード・パーティまたはネイティブＡＰＩを用いて埋め込まれている。説明の一例として、メディア・プレーヤは、Ｇｏｏｇｌｅ Ｉｎｃ．およびオープン・ハンドセット・アライアンスが提供するアンドロイドＡＰＩのＷｅｂＶｉｅｗクラスまたはＡｐｐｌｅ Ｉｎｃ．が提供するｉＯＳ開発者ライブラリのＵＩＷｅｂＶｉｅｗクラスを用いることにより、アプリケーションのＷｅｂＶｉｅｗに設けられていても良い。あるいは、メディア・プレーヤは、機器のネイティブ・ライブラリにより提供されていても良い。
上記のような場合は、ＨＴＭＬページのＪａｖａＳｃｒｉｐｔコード等を通じてメディア・プレーヤに提供されるコンテンツにおいて、コンテンツとインタラクションとの間の関係が規定されていても良い。このような場合、ＨＴＭＬページは、再生対象のメディアのほか、機器による動きに基づくコマンドの検出に際して実行されるインタラクション、動き、またはタスクを規定していても良い。
上記のような動きに基づく制御の一使用例として、Ｆａｃｅｂｏｏｋニュース・フィード等のソーシャル・メディア・システム上のビデオ・ベースの広告がある。このような場合は、動きに基づくコマンドによって、商品に対する関心の登録、ページの「いいね」、商品の購入、または外部ページへの移動をユーザが行い得るビデオが再生されるようになっていても良い。ビデオは、オーディオまたはテキストに基づく命令（例えば、電話のシェイクによるページの「いいね」）を含んでいても良いし、このようなコマンドおよびアクションが予め定められていても良い（例えば、後方および前方のチルトがｙｅｓに対応し、側方のチルトがｎｏに対応していても良い）。
別の例において、ユーザが画像の「好き」または「嫌い」等の入力を与えるように促されるさまざまな画像（または、他のメディア）が提示されるようになっていても良い。例えば、ユーザは、画像が嫌いな場合に左方チルトを行い、画像が好きな場合に右方チルトを行うようにしても良い。あるいは、ユーザは、機器のシェイクによって、画像と関連付けられた提案を「伝達」するようにしても良い。そして、ユーザには、リスト中でランダムまたは先の入力に応じてカスタマイズ可能な別途入力用の次の画像（または、他のメディア）が提示される。このような実施形態は、出会い系アプリケーションまたはウェブサイトに特に適しており、ユーザを効率的に選択するのが望ましい。
動きに基づくコマンドは、ＵＲＩを通じたアクションに変換されるようになっていても良い。例えば、電話のシェイクに際しては、ユーザがページを「いいね」し得るＵＲＩが呼び出され、電話のチルトに際しては、ユーザが商品を購入し得るＵＲＩが呼び出されるようになっていても良い。
特定の場合には、サーバに対するバックグラウンドＨＴＴＰリクエスト、再生対象のメディアの中断回避のためにＵＲＩが用いられるようになっていても良い。説明の一例としては、ユーザがファッション・ビデオを視聴していても良く、ユーザは、ファッション・ビデオにおいてビデオを中断することなく、ファッション・アイテムに対する関心の登録、購入、「いいね」、または投票を行うことができる。
特定の実施形態によれば、メディアの記録にその記録の動きに基づく制御が付与されるアプリケーションが提供される。このような場合、記録機能は、ウェブ・ブラウザ、（上述の）ＷｅｂＶｉｅｗ、または別のアプリケーション内のネイティブ・ファイル・ライブラリを通じて提供されるようになっていても良い。
特定の実施形態によれば、機器の動きに基づいてビデオの再生を制御できることの他、メディアを作成しているユーザは、エンド・ユーザに向けて再生されるバックグラウンド・サウンドトラック、ビデオ・クリップの消音、機器の振動機能の作動等、機器の他の挙動（aspect）を選択して制御することができる。
いくつかの実施形態によれば、システム７００は、ソーシャル・メディア・コンポーネントを具備する。ソーシャル・メディア・コンポーネントは、ユーザ間のチャット、コンテンツに関する公開および非公開のコメント、ならびに評価システムを可能にする。さらに、ソーシャル・メディア・コンポーネントによれば、ユーザは、例えばコンテンツのステータスを公開に設定してコンテンツを共有したり、非公開のコンテンツを記憶したりすることができる。
特定の実施形態によれば、コンテンツの共有は、機器の動き（例えば、チルト）によって実現される。また、再生するコンテンツへの移動および選択についても、機器の動きによって実現可能である。さらに、ある時間のシェイクの動きにより、メディアがランダムにロードされて再生を開始する場合があるため、動きは、予め定められた様態でメディアにリンクされている必要はない。いくつかのシステムにおいては、システムとのすべてのインタラクションが機器の動きを介してもたらされるようになっていても良い。
特定の実施形態によれば、制限付き視聴用のコンテンツが提供される。特に、指定時間内および／または特定の機器上のみで特定の回数だけコンテンツが再生されるように構成されていても良い。コンテンツは、再生頻度、日付、時間、機器等の使用情報をコンテンツ作成者に向けてレポートするように構成されていても良い。特定のイベントに際してコンテンツの消去をトリガすることも可能であるし、コンテンツ作成者がコンテンツのリモート消去を決定することも可能である。
特定の実施形態によれば、外部の動きセンサの使用によって、機器に入力を与えるとともに機器を制御するようにしても良い。例えば、デスクトップ／ラップトップ・コンピュータ、ＴＶ、またはプロジェクタ等のディスプレイを具備する別の機器に対して、スマートフォンまたはタブレット等の携帯デバイスをリンクさせても良く、この携帯デバイス内の動きセンサの使用により、その動きを検出するとともに、リンクされた別の機器上のコンテンツの表示を制御するようにしても良い。要するに、携帯デバイスの動きの使用により、別の機器上でメディアを制御するようにしても良い。
携帯デバイスと別の機器との間の接続は、任意適当な手段によって確立されるようになっていても良い。例えば、一方の機器の画面に表示されたＱＲコードを他方の機器のカメラでスキャンし、このコードを用いて機器をリンクさせるようにしても良いし、一方の機器の画面に表示された一意のコードを他方の機器のソフトウェアに入力するようにしても良いし、一方の機器上で、他方の機器に表示された一意のＵＲＬへ移動するようにしても良いし、（例えば、ユーザ名およびパスワードによって）両機器で同時にアカウントにログインするようにしても良いし、ＵＲＬ等のコードを含むＳＭＳメッセージを携帯デバイスに送信して、機器をリンクさせるようにしても良いし、機器のＧＰＳ位置を用いて、近接した機器を互いに接続させるようにしても良いし、各機器のボタンの（ほぼ）同時のタップ等により、各機器と同時にインタラクションするようにしても良いし、一方の機器のスピーカで１つまたは一連のトーンを再生し、他方の機器のマイクでこのトーンを検出できるようにすることで、リンクを確立するようにしても良いし、機器間でＲＦＩＤまたはＢｌｕｅｔｏｏｔｈリンクを使用するようにしても良い。
上記実施形態の一例において、別の機器との適当な持続接続が確立されると、携帯デバイスのソフトウェアは、複数の予め定められた動きジェスチャ（例えば、右方チルト、左方チルト等）のうちの動きに基づくジェスチャを検出し、一意のコード等の適当な識別情報と併せて、当該ジェスチャの詳細をサーバに送信する。そして、サーバは、メディア・プレーヤとして動き得る別の機器に当該情報を伝える。情報を受信した別の機器は、受信情報に応答して、メディアの表示を変更する。さらに、受信したジェスチャに基づいて、別の機器の他の機能も起動可能であるが、このような機能は、ハードウェアまたはソフトウェアと関連し得る。
また、携帯デバイスの制御によって、同じインタラクティブ・メディアがその画面上に表示されるようになっていても良いし、直前に認識された動き等の他の情報が表示されるようになっていても良いし、切断用ボタンが表示されるようになっていても良いし、メディアが一時停止されるようになっていても良いし、別のタップ可能な動きボタンが提供されるようになっていても良い。
携帯デバイスとの適当な持続接続が設定された複数の別の機器が存在していても良い。複数のユーザが異なる別の機器または周辺機器を操作するようにしても良い。さらに、ユーザが空間的に離れていても良く、例えば、世界のどこかにいる複数のユーザが別の機器のいずれかを同時に視聴または操作するようにしても良い。
特に、あるユーザの携帯デバイスがメディアを制御することによって、世界中の任意の場所の１人またはその他多くの人が受信コマンドに基づいて、同じメディア制御を体験することも可能である。
さらに、上記システムは、仮想現実を目的としたヘッド・マウント・ディスプレイの制御に用いられるようになっていても良い。これにより、固定状態、臥床（がしょう）状態、回転しない椅子に座って頭部を静止させた状態等、物理的な向きが異なるユーザがインタラクティブな仮想現実を体験可能である。また、音声コマンドの使用により、何れかの機器が検出した仮想現実インタラクティブ・メディア体験の挙動（aspect）を制御するようにしても良い。
複数のユーザがシステムを使用する場合、メディアの制御は、手動または自動（一定期間後等）によりユーザ間で受け渡されるようになっていても良い。
また、複数人が視聴している体験をそれぞれが同時に制御することも可能である。
また、オーディオ・リンクの維持により、ユーザがメディアの表示中に会話できるようにすることも可能である。
上述の通り、異なるビデオが利用可能なジェスチャそれぞれと関連付けられていても良い。ただし、本発明の別の実施形態によれば、より複雑なインタラクションの利用により、非常に多くのビデオ間で移動するようにしても良い。例えば、過去のジェスチャの状況でジェスチャが解釈されるようになっていても良い。このため、インタラクションの複雑な分岐が規定され、ユーザにとっての真にカスタマイズされた体験が可能となっていても良い。
図８は、本発明の一実施形態に係る、インタラクティブ・メディア表示方法を示している。
ステップ８０５においては、ユーザに向けて既定ビデオを再生する。既定ビデオは、上述の通り、メディア制御ファイルにより規定されていても良く、一般的には自動再生され、繰り返されるようになっていても良い。
ステップ８１０においては、ユーザから第１の動きジェスチャを受け取る。第１の動きジェスチャは、チルト、シェイク等、携帯デバイスの動きに関する。
第１の動きジェスチャに応答して、第１のビデオを再生する。特に、第１の動きジェスチャは、上述の通り、メディア制御ファイル中の第１のビデオと関連付けられている。
第１のビデオが終わったら、ステップ８２０において再び、既定ビデオを再生する。
ステップ８２５においては、ユーザから第２の動きジェスチャを受け取る。第２の動きジェスチャは、チルト、シェイク等、携帯デバイスの別の動きに関する。
第２の動きジェスチャに応答して、第２のビデオを再生する。特に、第２の動きジェスチャは、上述の通り、メディア制御ファイル中の第２のビデオと関連付けられている。
特定の実施形態によれば、メディアの制御は、特定のシナリオにおいてのみ提供され、他では提供されない。例えば、ユーザは、広告等の特定のビデオ・クリップの視聴を強いられる場合がある。いくつかの実施形態において、システムは、ホーム（すなわち、既定）ビデオにおいて動きに応答する一方、他のビデオでは応答しないように構成されている。
特定の実施形態によれば、動きに基づくメディア制御命令は、ビデオ・ファイルの後方互換性のメタデータ部に記憶されていても良い。このため、従来のビデオ・プレーヤでは、動きに基づく制御なくメディア・ファイルを再生可能な場合があるものの、より高度なプレーヤでは、同じファイルとの詳細な動きに基づくインタラクションを与える場合がある。あるいは、動きに基づくメディア制御命令は、例えばＪａｖａＳｃｒｉｐｔコードの形態のビデオ・ファイルを表すＨＴＭＬファイルに記憶されていても良い。
また、メタデータ部には、動きに基づくメディア制御情報と併せて使用することによりビデオ中のより合理的な移動を可能にするチャプタ情報等、ビデオ・ファイルに関する他の情報を含んでいても良い。このような移動の例としては、最後への移動、一時停止、スロー・モーション、繰り返し、ジャンプする「チャプタ」の規定、面白い部分だけ再生、不要部のスキップ、特定部の高速送り等が挙げられる。
図９は、本発明の一実施形態に係る、ユーザと機器とのインタラクションおよび機器上の対応するビデオ・ファイルの表示の図９００である。特に、各ビデオ・ファイルは、インタラクションの異なる解釈がなされるシステムの状態に対応する。
まず、ユーザに向けて第１のビデオ９０５が再生される。左方チルト３００ｂが検出されると、ユーザに向けて第２のビデオ９１０が再生された後、再び、第１のビデオ９０５が再生される。同様に、右方チルト３００ｃ、シェイク３００ｆ、前方チルト３００ｄ、または後方チルト３００ｅが検出されると、第３のビデオ９１５、第４のビデオ９２０、第５のビデオ９２５、または第６のビデオ９３０がそれぞれ再生される。
第３のビデオ９１５の再生中にシェイク３００ｆを受け取ると、第７のビデオ９３５が再生される。同様に、第７のビデオ９３５の再生中に右方チルト３００ｃを受け取ると、第８のビデオ９４０が再生される。
第８のビデオ９４０の再生中は、複数の動きに基づくコマンドが解釈されるようになっていても良い。特に、前方チルト３００ｄまたは後方チルト３００ｅを受け取ると、第９のビデオ９４５または第１０のビデオ９５０がそれぞれ再生される。また、第８のビデオ９４０の再生中にシェイク３００ｆを受け取ると、再び、第１のビデオ９０５が再生され、プロセスが反復するようになっていても良い。
最後に、第９のビデオ９４５の再生中に右方チルト３００ｃを受け取ると、第１１のビデオ９５５が再生される。
動きの入力なく第２〜第１１のビデオ９１０〜９５５のいずれかの再生が完了したら、再び、第１のビデオ９０５が再生されるようになっていても良い。あるいは、以下に論じる通り、特定のビデオの完了で再生が停止して、代わりにウェブサイトが表示されるようになっていても良い。
上記の通り、右方チルト３００ｃは、再生されているビデオに応じて異なる解釈がなされる。例えば、第１のビデオ９０５においては、右方チルト３００ｃによって第３のビデオ９１５が再生される一方、第３のビデオの再生中は、右方チルト３００ｃによって第７のビデオ９３５が再生される。要するに、再生されているビデオを踏まえて各動きに基づく入力が解釈されるようになっていても良く、これにより、ユーザとのインタラクションが制限されない。
いくつかの実施形態によれば、ビデオのうちの１つまたは複数の完了に際して、ウェブサイトが自動的に開かれる。例えば、１つのビデオまたは一組のビデオ９０５〜９５５の完了に際して、別のメディアの購入を可能にするウェブサイトが提供されるようになっていても良い。ウェブサイトは、メディアが再生される機器、既定のウェブ・ブラウザにおけるＵＲＬのリクエストまたはオンライン・オークション・アプリケーションもしくはウェブサイト等の別のアプリケーションもしくはウェブサイトへの識別子の受け渡しにより開かれるようになっていても良い。ウェブサイトは、ビデオ・クリップの終了後の動きに基づくコマンドの認識、別のジェスチャの受け取り、または画面上のボタンもしくは要素のタップに際して自動的に開くようになっていても良い。また、サーバとの任意の種類のトランザクションを実行する命令を含むＨＴＴＰリクエストがサーバになされるようになっていても良い。これは、ビデオ再生時にメディアの変更やユーザへの指示なく起こり得る。
結果として、システムは、一般的にコンテンツ（ビデオ）または特定のビデオ９０５〜９５５と関連するものの直接的または間接的な購入を容易化可能である。実際には、このプロセスの使用によって、例えば商品、サイズ、スタイル、色等の選択のための情報をユーザから得た後、商品の購入または商品に関する別の情報の発見を容易化することも可能である。
上記例は、本発明の実施形態によって、ユーザが画面に触れることなく１つまたは多くの商品の購入が容易化され得る方法を記載している。すべて動きに基づくコマンドによって、アイテムを欲しい物リストまたはショッピング・カートに追加した後、清算および支払いプロセスが行われるようにすることも可能である。ショッピング・カートまたは欲しい物リスト中のアイテムは、関連するデータをローカル、リモート、または両者のストレージに保存することによって、アプリケーションの多数の使用にわたって持続し得る。
さらに、支払いプロセスは、単一の動きに基づくコマンドによって起動するようになっていても良い。支払いの詳細については、事前に収集済みであっても良い。これにより、ワンチルト購入、ワンスラップ購入、ワンツイスト購入等のワンモーション購入を効果的に行うことができる。
また、ユーザのサイズ、色の好み、スタイルの好み等は、アプリケーションの多数の使用にわたって持続するとともに、これらの保存された好みに応じて、ユーザに表示されるアイテムにも影響を及ぼし得る。説明の一例として、ユーザにフィットする可能性が高い服のみが示されるようになっていても良い。また、システムは、ユーザのサイズで在庫があるアイテムのみを示すようにしても良い。これらの好みは、ユーザが明示的にセットすることも可能ではあるが、システムにより計算されるようになっていても良い。例えば、システムは、ユーザの閲覧習慣、過去の購入、機械学習技術、または理由の如何に関わらず、優先させるアイテムに関しておそらくはアイテムの販売拡大を目的として、他のアイテムの代わりに特定のアイテムをユーザに表示することをシステムが選択的に優先させ得るその他任意の方法を考慮することも可能である。
別の例として、ユーザには、ユーザ・プロファイルに基づいて異なるメディアが示されるようになっていても良い。例えば、男性ユーザには、男性服または男性関連アイテムが示されるようになっていても良く、同様に、女性ユーザには、女性服または女性関連アイテムが示されるようになっていても良い。
さらに、上記段落に記載のユーザの好みを保存するため、システムは、またアイテムの画像またはビデオと併せて表示される１つまたは複数の画像をユーザが提供できるようにしても良い。これは、ユーザによるアイテムの適合性の決定を補助する場合に特に有用である。提供される画像または画像の一部は、アイテムに重畳して現れ（または、その逆）、使用中のアイテムを模擬するようになっていても良いが、アイテムの横、アイテムの下等、アイテムとの関係で他の場所に画像が現れるようになっていても良い。
このシステムによれば、ユーザは、機器上のカメラを用いて写真を撮り、ローカルのストレージから画像を選択し、リモートのソースから画像を提供できるようになっていても良いし、これらの組み合わせであっても良い。
画像には人物を含むのが好ましく、ソフトウェアは、自動的に人物の頭部をクロップまたは選択するようにしても良い。この自動的な実行の追加または代替として、ソフトウェアは、ユーザが手動でクロップまたは選択操作を実行できる機能を提供していても良い。実際、人物の頭部のクロップ画像が服等のアイテムと一緒に表示された場合は、人物がアイテムを着用している場合に頭部が現れるようにアイテムに重畳していても良い。これにより、服が人物に適しているかをユーザがより簡単に決定できるため、都合が良い。ただし、この機能は、服に限定されず、車、家具、ハンドバッグ、腕時計等の任意の種類のアイテムを含むことも可能である。
特定の実施形態（図示せず）によれば、このシステムは、動きに基づく入力により多くのユーザがアイテムに応札可能なオークションを容易化することができる。機器の動きによって、応札をトリガすることも可能であり、多次元動きメニューによって、複数のアイテムへの応札にほぼ同時に対応することも可能である。他の実施形態において、このシステムは、例えばレースまたは出場選手の選択および儲けるための賭け等、機器の動きによってギャンブル関連の機能を容易化することができる。
特定の実施形態（図示せず）によれば、機器の動きによって、電話およびＳＭＳの送信、アプリケーションの立ち上げ、ソーシャル・メディア・アプリケーションにおける「いいね」および「シェア」機能の呼び出し等、プレーヤが動きするアプリケーションの機能の呼び出し、他のアプリケーションの機能の呼び出しおよび他のアプリケーションへのデータの受け渡し（ＵＲＩ等）といった機器の機能をトリガすることができる。
ユーザにとっては、全画面モードでメディアを視聴でき、依然としてメディア（または、一般的に機器）とインタラクション可能であるのが好都合であることに留意するものとする。このため、ボタン等のグラフィック要素上で画面の一部を無駄にしたり、ビデオが終わって機器とインタラクションできるようになるのを待ったりする必要はない。さらに、例えば画面のタップまたはボタンのクリックによってアクションを開始するよりも、動きに基づくコマンドを用いて機器とインタラクションするのがより便利と考えられる。例えば、画面をタップすることにより、ユーザの指が画面の一部を瞬間的に覆ってしまうため、画面がユーザから見えなくなる。
特定の実施形態によれば、ビデオ９０５〜９５５のうちの１つまたは複数は、別のビデオ９０５〜９５５の再生中に、ローカルのファイル、リモートのファイル、またはストリーミング・サーバからバッファリングまたはプリロードされるようになっていても良い。これは、ユーザのコマンドを見越して実行されるようになっていても良い。
いくつかの実施形態において、機器は、現在のビデオ・ファイルからユーザが直接移動可能なすべてのビデオ・ファイルの第１の部分（例えば、１０秒）をバッファリングするようにしても良い。図９００の場合、第１のビデオ９０５の再生中、機器は、第２、第３、第４、第５、および第６のビデオ９１０〜９３０それぞれの第１の部分をバッファリングするようにしても良い。他の実施形態において、現在のビデオ・ファイルからユーザが直接移動可能なビデオ・ファイルは、第１の部分のみならず、全体がダウンロードされるようになっていても良い。
バッファリング（または、ファイルのダウンロード）の結果として、機器は、ジェスチャを認識すると、リクエストされたコンテンツを直接再生することができ、遅延が抑えられてユーザの体験が向上する。
本発明の別の実施形態においては、以下に概説する通り、（広告等の）ビデオがユーザ機器に表示されている間に、動きに基づくジェスチャに応じて、インタラクティブなアプリケーション（例えば、ショッピング・アプリケーション）が制御される。
図１０Ａは、本発明の一実施形態に係る、再生設定の携帯ユーザ機器１００５を示している。特に、携帯ユーザ機器１００５にはビデオ１０１０が全画面で表示される一方、動きに基づくジェスチャに応じて、コントローラ（図示せず）が特定のアイテムをお気に入りリストに配置するように構成されている。
特に、ビデオ１０１０は、当該ビデオ１０１０中の時点に応じてアクションを規定するメディア制御命令と関連付けられている。このため、ユーザがビデオ１０１０とインタラクションするタイミングに応じて、異なるアイテムがお気に入りリストに配置されるようになっていても良い。
本例においては、ビデオの現在の時間（例えば、２つの時点間）に応じて、機器１００５の左方または右方チルトが時点間のビデオの前後移動と関連付けられており、機器の前方チルトがお気に入りリストへのアイテムの追加と関連付けられている。ただし、コンテンツの作成者は、ジェスチャとアクションとを任意適当に関連付けるようにしても良く、このような関連付けは、ビデオの再生時に変化するようになっていても良い。
ビデオ１０１０は、購入可能な服、ガジェット等のアイテム１０１５を表示するようにしても良い。このような場合は、通常、ビデオ全体で複数の異なるアイテム１０１５が表示され、ある状況で表示されることが多い。例えば、服の場合は、使用状態（すなわち、着用状態）で表示されるようになっていても良く、同様に、ガジェットの場合も、使用状態で表示されるようになっていても良い。
特定の実施形態によれば、ビデオ１０１０では、その最初にトレーニング命令が提供される。特に、トレーニング命令は、各ジェスチャ（例えば、左方チルト、前方チルト）が関連付けられるアクション（例えば、早送り、お気に入り追加）を示す。これは、ビデオ１０１０が全画面表示される場合に特に重要である。ユーザ機器１００５のディスプレイには、このような命令のためのスペースが残っていないためである。
ビデオが終わると、ユーザは、図１０Ｂに示すように、チルト・ジェスチャによって、選択したアイテム一覧を確認する。特に、携帯ユーザ機器１００５は、複数のショッピング要素１０２５を含むお気に入りリスト１０２０を表示する。その後、ユーザは、対応するショッピング要素１０２５をタップすることによって、アイテムの購入を続けたり、アイテムについてもっと多くのことを発見したりすることができる。
このように、本実施形態は、全画面ビデオ（または、他のメディア）の再生または表示が継続している間の携帯機器とのユーザ・インタラクションの一例を示している。さらに、当該全画面ビデオは、例えばＦａｃｅｂｏｏｋ等のソーシャル・メディア・アプリケーションといった別のアプリケーションから再生されるようになっていても良い。
お気に入りリスト１０２０から分かるように、ユーザが機器１００５とインタラクションしたタイミングに応じて、複数のアイテムをリストに追加することができる。これは、それぞれ購入可能な複数のアイテムがビデオに表示される場合に特に有用である。
当業者には当然のことながら、動きに基づくジェスチャの受け取りに際して、任意適当なアクションが行われるようになっていても良い。例えば、アイテムのショッピング・カートへの追加および／またはビデオ再生中の実際の購入も可能である。
上述の通り、メディアの再生に先立って、トレーニングをユーザに提供するのが好都合となる場合が多い。図１１は、本発明の一実施形態に係る、トレーニング画面のスクリーンショットを示している。
トレーニング画面には、複数のジェスチャ要素１１０５および複数のアクション要素１１１０を含んでおり、各アクション要素１１１０がジェスチャ要素と関連付けられている。図１１に示す例では、左方チルトによってビデオが戻り、前方チルトによって、現在の提示アイテムの購入（買い入れ）となる。
ジェスチャ要素１１０５は、ユーザ機器に関する動きに基づくジェスチャを示すアニメーションであり、都合が良い。例えば、右方チルトに関するジェスチャ要素１１０５は、右方チルトのアニメーションを表示するように構成されていても良い。
さらに、トレーニング画面は、ジェスチャを検出するとともに、ジェスチャの受け取りに際して関連するジェスチャ要素１１０５を強調するように構成されていても良い。例えば、右方チルトに関するジェスチャ要素１１０５は、右方チルト・ジェスチャの受け取りに際して強調され、受け取られたジェスチャをユーザに確認するようになっていても良い。これは、ユーザが動きに基づくジェスチャを練習する際に特に有用である。
トレーニング画面を視聴した後、ユーザは、ビデオ開始ボタン１１１５をタップすることによって、ビデオを開始することができる。
メディア制御命令は、多次元の移動階層を規定していても良い。例えば、ユーザは、ビデオ内での前後移動のほか、ビデオ（例えば、ウェブサイトまたは他のビデオ）への出入りを行うようにしても良い。説明の一例としては、ビデオ中の前後移動に特定のジェスチャが用いられる一方、別のジェスチャでは、ウェブ・ページが表示されるようになっていても良い。また、ビデオのタイムライン上におけるユーザの位置に応じて、異なるウェブ・ページが表示されるようになっていても良い。
図１２Ａは、本発明の一実施形態に係る、インタラクティブ・ショッピング画面のスクリーンショット１２００ａを示している。上述の通り、インタラクティブ・ショッピング画面は、４通りの移動階層を提供する。
図１２Ａに示すように、インタラクティブ・ショッピング画面には、アイテムの画像１２０５および関連する「カートに入れる」ボタン１２１０を含む。さらには、ユーザがいる多次元移動階層をユーザに示す第１および第２の移動要素１２１５ａ、１２１５ｂが表示されている。
特に、第１および第２の移動要素１２１５ａ、１２１５ｂはそれぞれ、各次元において可能性のある位置１２２０および実際の位置１２２５を規定する。図１２Ａは、左右方向の最も左の位置を実際の位置として示すとともに（第１の移動要素１２１５ａ参照）、前後方向の最も後ろの位置を実際の位置として示している（第２の移動要素１２１５ｂ参照）。
４通りの移動階層においてユーザが移動した場合は、画像１２０５が更新され、同じアイテムの別の構成を示すようになっていても良いし、別のアイテムを表示するようになっていても良い。
図１２Ｂは、４通りの移動階層においてユーザが前方に４段階、右方に３段階だけ移動したインタラクティブ・ショッピング画面の別のスクリーンショットを示している。この別のスクリーンショットには、ユーザによるビデオの再生制御を可能とする再生バー１２３０を含む。特に、画像１２０５は、アイテムのビデオで置き換えられるようになっていても良い。
ユーザは、アイテムのうちの１つを購入したい場合、「カートに入れる」ボタン１２１０を使って購入するようにしても良い。この代替または追加として、ユーザは、上述の通り、動きに基づくジェスチャを用いてアイテムを購入するようにしても良い。
いくつかの実施形態において、システムは、１つまたは複数のウェブサイトに応じて、自動的または半自動的にジェスチャに基づく制御データを生成するように構成されていても良い。このような場合は、ユーザがウェブサイトの１つまたは複数のＵＲＬを入力して、システムがここから、メディア、商品説明、価格等の情報を抽出するようにしても良い。これは、従来のウェブに基づくストアを動きジェスチャに基づくインタラクティブなショッピング・システムに変換する際に特に有用である。
図１２Ａおよび図１２Ｂの例において、第１の移動要素１２１５ａは、異なるＵＲＬのコンテンツと関連付けられていても良く、第２の移動要素１２１５ｂは、単一のＵＲＬの異なるコンテンツに関連していても良い。
生成されたメディア制御命令は、ソース（すなわち、元のＵＲＬ）からメディアを直接参照するようにしても良いし、（コンテンツ・デリバリ・ネットワーク等の）別のサーバにメディアがコピーされ、メディアが提供されるようになっていても良い。インタラクティブな広告は、購入希望のユーザを入力したＵＲＬに直接移動させるようにしても良いし、上述の通り、購入が直接発生するようにしても良い。
さらに別の実施形態においては、ＵＲＬの代わりに１つまたは複数の商品フィードが用いられ、ジェスチャに基づく制御データが生成されるようになっていても良い。このような場合は、商品フィード上でデータが受信されると、上記と同様に、メディア（または、メディアの場所）、商品説明、価格等の情報が自動的に抽出・使用されて、制御データが生成されるようになっていても良い。
システムは、制御データを継続的に更新するように構成されていても良いし、（例えば、ユーザからの命令の受信に応答して）１回だけ制御データを生成するようにしても良い。例えば、いくつかの実施形態において、表示された商品は、その時点の商品フィード中の情報に応じて変化するようになっていても良い。
特定の実施形態によれば、システムは、ＧＵＩ要素のスタイル、色、表示する商品数等、ユーザから好みを受け取り、それに基づいて制御データを生成するようにさらに構成されていても良い。この状況において、ユーザは、自身または後でシステムを使用する他のユーザの好みを設定していても良い。
いくつかの実施形態において、表示機器は、ユーザによって縦向きまたは横向きに保持可能である。このような場合、メディアは、再生中に正しく配向するとともに機器が保持されている向きに応じて、動きに基づく入力が検出されるように、縦モードまたは横モードで再生される。
特定の実施形態によれば、プレーヤは、統計データおよび使用情報を収集するようにしても良い。その後、プレーヤは、この情報をサーバに送信して解析するようにしても良い。このようなデータによれば、ユーザの関心の把握、ユーザ・プロファイルの作成、広告のターゲティングおよびリターゲティング、ユーザのプロファイルに基づくコンテンツの性質の変更等が可能となり得る。
また、上述のデータ収集プロセスによれば、トレンドを識別可能となる技術の自己学習およびシステムへのフィードバックとなる他の学習も可能となり得る。
特定の実施形態によれば、本発明は、デジタル著作権管理（ＤＲＭ）を含んでいても良い。ＤＲＭは、一群または個々として、ビデオ９０５〜９５５のそれぞれと、任意のメディア制御ファイルとに適用され、コンテンツが無断で再配布されることのないようにしても良い。
いくつかの実施形態によれば、システムとの動きに基づくインタラクションは、状況を意識したものである。特に、動きに基づくインタラクション３００ｂ〜３００ｅのうちの１つまたは複数は、状況に応じて異なる解釈がなされるようになっていても良いし、状況に応じて異なるビデオが再生されるようになっていても良い。
システムが適応し得る状況の例としては、時刻、天候、時期、季節、現在の位置、および関連位置が挙げられる。説明の一例として、夜間視聴の場合は、日中の視聴との比較で異なるクリップが再生され、冬季の視聴の場合は、夏季の視聴との比較で異なるクリップが再生されるようになっていても良い。
上記例は、主として加速度計および／またはジャイロスコープを用いた動きに基づく入力の決定に焦点を当てている。ただし、この代替または追加として、動きに基づく入力は、コンパス、カメラ、位置センサ（ＧＰＳ等）、または高度、回転速度、加速度等の機器の挙動（aspect）を決定するのに使用可能なその他任意の入力に応じて決定されるようになっていても良い。別の実施形態においては、ユーザ機器に一体化または取り付けられたカメラにより識別されるユーザ位置の変化を観測することによって、動きに基づくコマンドが生成される。
場合により、機器は、ヘッド・マウント・ディスプレイとしてユーザに結合される。このような場合は、ユーザが頭部を左方、右方、前方、または後方にチルトさせることによってコマンドが生成され、例えばメディアの表示が選択的に制御されるようになっていても良い。
ほとんどの携帯機器は、ユーザの頭部の動きの追跡およびその動きに基づく関連アクションのトリガに使用可能なカメラを有しており、例えば、頭部の左方チルトによって左方のジェスチャ・アクションがトリガされ、頭部の右方チルトによって右方のジェスチャ・アクションがトリガされる。ただし、これは頭部の動きに限定されない。カメラから見た手の動き、身体の動き、および物体の動きについても使用可能である。これは、手の使用が制限されている場合、非常に有用となる。本発明においては、ユーザの動きが機器の動きに置き換わる。
特定の実施形態によれば、動きに基づく入力は、３つの軸にわたって決定される。動きに基づく入力は、軸に沿った動き、軸周りの回転、またはこれらの組み合わせに関していても良い。
本発明の実施形態は、娯楽（例えば、面白いインタラクティブ・ビデオ、インタラクティブ・アドベンチャ）、トレーニング（例えば、ユーザが必要に応じてビデオの一部を容易に再生し得るチュートリアル）、教育（例えば、ユーザがビデオの質問に答えることにより、正しいジェスチャによって次の質問に移動し得る場合）、仮想ツアー、ゲーム、オンライン・ショッピング、出会い系サイト、または機器の片手操作が望ましい場合等、さまざまな異なるシナリオで用いられるようになっていても良い。
単一のビデオの場合は、動きの使用により、ジョイスティック等のユーザ入力装置と同様に、早送り、スロー再生、前方ジャンプ、巻き戻し、スロー巻き戻し、後方ジャンプ、一時停止、および類似機能を開始するようにしても良い。これは、携帯デバイス上で監視カメラの映像を視聴する場合に特に有用となり得る。
本発明の別の例は、仮想現実に関する。適当な取り付け装置によって機器がユーザの頭部に取り付けられた場合、メディアの制御および機能の呼び出しは、頭部の動きにより可能となる。本例において、システムは、画面分割表示等、仮想現実体験用の適当な方法でメディアを表示するようにしても良い。このような場合は、機器のパン動き等の第１の種類の動きの使用により、（例えば、ユーザの頭部の動きの追跡により仮想現実を提供する）仮想現実モジュールによって、メディアに影響を及ぼすようにしても良く、突発的なうなずき動き等の第２の種類の動きの使用により、メディアのコンテンツを変更したり（例えば、シーンを変更したり）、メディアに影響を及ぼしたりしても良い。
そして、システムは、このような仮想現実体験の記録および再生の両者を可能にするものであっても良い。仮想現実体験により適したメディアの操作は、メディアの記録中、メディアの記録後かつ再生前、メディアの再生中、またはこれらの任意の組み合わせにおいて行われるようになっていても良い。この操作は、当該機器、別の機器、リモート・サーバ、またはこれらの任意の組み合わせで行われるようになっていても良い。
動きに基づくジェスチャと表示されるメディアとの関係に関してメディア制御命令を主に説明したが、メディア制御命令は、動きに基づくジェスチャなしにメディアの表示を制御するようにしても良い。
例えば、メディア制御命令は、ビデオの一部（例えば、２つのマーカ間）の無限（または、特定回数の）反復、メディアの一時停止と別のユーザ入力の待機、第１のジェスチャが検出された場合のメディアの一時停止と別のジェスチャが検出された場合の継続等を行わせるようになっていても良い。
ジェスチャの識別に動きのみが用いられる動きに基づくインタラクションに関して上記インタラクションを説明したが、いくつかの実施形態においては、機器の動き中にユーザが画面に触れることでジェスチャを与えるようにしても良い。
場合によっては、機器の動き中にユーザが画面に触れているか否かに応じて、ジェスチャの異なる解釈または異なる機能との関連付けがなされるようになっていても良い。あるいは、ユーザが画面に触れている間はジェスチャのみが受け取られ（検出され）、機器の予想外の動きに基づくジェスチャの不用意な検出が防止されるようになっていても良い。
いくつかの実施形態において、ユーザは、機器の動き中に画面のどこでも触れることができる。あるいは、ボタン等のグラフィック要素の使用によって、ジェスチャ認識の作動またはジェスチャ認識の修正を行うようにしても良い。
特定の実施形態によれば、このシステムは、特定のジェスチャを用いて、ジェスチャ認識をオン・オフするように構成されていても良い。例えば、ユーザは、機器のシェイクによってジェスチャ認識をオンにした後、機器を再びシェイクすることによって、ジェスチャ認識をオフするようにしても良い。これは、メディアの意図せぬジェスチャ制御を抑える場合に特に都合が良い。
本明細書および特許請求の範囲（存在する場合）において、単語「備える（ｃｏｍｐｒｉｓｉｎｇ）」およびその派生語「ｃｏｍｐｒｉｓｅｓ」および「ｃｏｍｐｒｉｓｅ」等は、記載の整数をそれぞれ含んでおり、１つまたは複数の別の整数を除外するものではない。
本明細書の全体を通して、「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔまたはａｎ ｅｍｂｏｄｉｍｅｎｔ）」という言及は、当該実施形態に関連して説明する特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書の全体を通してさまざまな箇所に表現「一実施形態において（ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔまたはｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ）」が現れる場合であっても、必ずしもすべてが同じ実施形態を参照しているわけではない。さらに、上記特定の特徴、構造、または特性は、１つまたは複数の組み合わせにおいて、任意適当に組み合わされていても良い。
本発明は、法規に則って、おおむね構造的または組織的特徴に固有の表現で説明した。本明細書に記載の手段が本発明の実施に好ましい形態を含むことから、本発明は、図示および説明した特定の特徴に限定されないことが了解されるものとする。したがって、本発明は、その形態または改良のいずれかにおいて、当業者が適当に解釈する添付の特許請求の範囲（存在する場合）の適正な範囲内で請求される。

Claims (16)

  1. インタラクティブ・コンピュータ・システムであって、
    ユーザ機器の動きを介して、動きに基づくジェスチャを受け取る動きセンサを含むユーザ機器と、
    メディアを再生するメディア・プレーヤであって、前記メディアは、１つ以上の選択可能なアイテムに関連付けられている、メディア・プレーヤと、
    前記動きセンサに接続されたコントローラであって、前記コントローラは、
    前記メディア・プレーヤが前記メディアを再生している間、前記動きに基づくジェスチャに従って、前記ユーザ機器のインタラクティブ・アプリケーションを制御し、
    前記メディア・プレーヤが前記メディアを再生している間に、メディア制御命令で定義された１つ以上の選択可能なアイテムと前記メディアとの関係及び前記メディアの前記再生の時間に従って、前記動きセンサが前記ユーザ機器の動きを介して前記動きに基づくジェスチャを受け取ることに応答して、インタラクティブ・アプリケーションに１つ以上の選択可能なアイテムのうちの少なくとも１つをリストに追加させるように構成された、
    コントローラと、
    を備える、インタラクティブ・コンピュータ・システム。
  2. 前記動きに基づくジェスチャは、複数の所定のジェスチャを含む、
    請求項１に記載のインタラクティブ・コンピュータ・システム。
  3. 前記動きに基づくジェスチャは、前記ユーザ機器の局所的な動きによって規定される、
    請求項１に記載のインタラクティブ・コンピュータ・システム。
  4. 前記動きに基づくジェスチャは、前記ユーザ機器の左方チルト、右方チルト、前方チルト、後方チルト、ツイストおよびシェイクのうちの１つまたは複数の組み合わせを含む、
    請求項１に記載のインタラクティブ・コンピュータ・システム。
  5. 前記動きセンサは、加速度計を備え、
    前記動きに基づくジェスチャは、前記加速度計からのデータに応じて、少なくとも部分的に決定される、
    請求項１に記載のインタラクティブ・コンピュータ・システム。
  6. 前記動きセンサは、ジャイロスコープ、コンパスまたは位置決めシステムを備え、
    前記動きに基づくジェスチャは、前記ジャイロスコープ、前記コンパスまたは前記位置決めシステムからのデータに応じて、少なくとも部分的に決定される、
    請求項１に記載のインタラクティブ・コンピュータ・システム。
  7. 前記コントローラは、前記インタラクティブ・アプリケーションに対して、アイテムの購入、デジタル・ショッピング・カートもしくは欲しい物リストへのアイテムの追加、アイテムへの応札、取引の完了、電話の送信、ＳＭＳの送信、他のアプリケーションの起動、他の機器との通信、または、他のアプリケーションの機能の呼び出しを実行させるように構成される、
    請求項１に記載のインタラクティブ・コンピュータ・システム。
  8. 前記コントローラが、前記ユーザ機器の一部を形成する、請求項１に記載のインタラクティブ・コンピュータ・システム。
  9. 前記システムは、携帯デバイスを含む、請求項１に記載のインタラクティブ・コンピュータ・システム。
  10. インタラクティブ方法であって、
    ユーザ機器の動きを介して、動きに基づくジェスチャを受け取ることと、
    メディアを再生することであって、前記メディアは、メディア制御命令によって１つ以上の選択可能なアイテムに関連付けられており、前記メディアの時点に従って、再生することと、
    前記メディア・プレーヤが前記メディアを再生している間、前記動きに基づくジェスチャに従って、前記ユーザ機器のインタラクティブ・アプリケーションを制御することと、
    前記メディア・プレーヤが前記メディアを再生している間に、メディア制御命令で定義された１つ以上の選択可能なアイテムと前記メディアとの関連及び前記メディアの前記再生の時間に従って、前記動きセンサが前記ユーザ機器の動きを介して前記動きに基づくジェスチャを受け取ることに応答して、１つ以上の選択可能なアイテムのうちの少なくとも１つをリストに追加することと、
    を含む、インタラクティブ方法。
  11. 前記コントローラは、前記メディア・プレーヤが、前記ユーザ機器上の全画面でメディアを再生している間、前記ユーザ機器の前記インタラクティブ・アプリケーションを制御するように構成される、
    請求項１に記載のインタラクティブ・コンピュータ・システム。
  12. 前記メディアは、ビデオを含む、
    請求項１に記載のインタラクティブ・コンピュータ・システム。
  13. 前記動きに基づくジェスチャは、メディア制御ジェスチャおよびアプリケーション制御ジェスチャを含み、
    前記コントローラは、前記メディア制御ジェスチャに応じて再生中のメディアの再生を制御し、前記アプリケーション制御ジェスチャに基づいてインタラクティブ・アプリケーションを制御するように構成されている、
    請求項１に記載のインタラクティブ・コンピュータ・システム。
  14. 前記インタラクティブ・アプリケーションの前記制御は、動的に定義される、請求項１に記載のインタラクティブ・コンピュータ・システム。
  15. インタラクティブ・アプリケーションの制御は、前記動きに基づくジェスチャが受け取られたタイミング、または、前記ジェスチャが受け取られたときにおける前記インタラクティブ・コンピュータ・システムの状態に応じて、動的に規定される、
    請求項１４に記載のインタラクティブ・コンピュータ・システム。
  16. インタラクティブ・アプリケーションの制御は、前記動きに基づくジェスチャを使用して規定された多次元移動階層を含む、
    請求項１に記載のインタラクティブ・コンピュータ・システム。
JP2017555696A 2015-04-20 2016-04-20 インタラクティブ・コンピュータ・システムおよびインタラクティブ方法 Active JP6913634B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
AU2015901421A AU2015901421A0 (en) 2015-04-20 Interactive Media System and Method
AU2015901421 2015-04-20
AU2015904160A AU2015904160A0 (en) 2015-10-13 Interactive Media System and Method
AU2015904160 2015-10-13
PCT/AU2016/050285 WO2016168893A1 (en) 2015-04-20 2016-04-20 Interactive media system and method

Publications (3)

Publication Number Publication Date
JP2018521378A JP2018521378A (ja) 2018-08-02
JP2018521378A5 JP2018521378A5 (ja) 2019-05-30
JP6913634B2 true JP6913634B2 (ja) 2021-08-04

Family

ID=57143507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017555696A Active JP6913634B2 (ja) 2015-04-20 2016-04-20 インタラクティブ・コンピュータ・システムおよびインタラクティブ方法

Country Status (8)

Country Link
US (1) US10866646B2 (ja)
EP (2) EP3286620A4 (ja)
JP (1) JP6913634B2 (ja)
CN (1) CN107735746A (ja)
AU (4) AU2016251812B2 (ja)
CA (1) CA3021380A1 (ja)
IL (3) IL296030B1 (ja)
WO (1) WO2016168893A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10511580B2 (en) 2014-03-31 2019-12-17 Monticello Enterprises LLC System and method for providing a social media shopping experience
US12008629B2 (en) 2014-03-31 2024-06-11 Monticello Enterprises LLC System and method for providing a social media shopping experience
US11004139B2 (en) 2014-03-31 2021-05-11 Monticello Enterprises LLC System and method for providing simplified in store purchases and in-app purchases using a use-interface-based payment API
US11080777B2 (en) 2014-03-31 2021-08-03 Monticello Enterprises LLC System and method for providing a social media shopping experience
US10695675B2 (en) * 2017-04-01 2020-06-30 Daniel Projansky System and method for creation and control of user interfaces for interaction with video content
US11842533B2 (en) 2017-04-26 2023-12-12 Chia-Lin Simmons Predictive search techniques based on image analysis and group feedback
US10951950B2 (en) * 2017-07-31 2021-03-16 Nokia Technologies Oy Method and apparatus for presenting a video loop during a storyline
US11526211B2 (en) * 2018-05-08 2022-12-13 Nevermind Capital Llc Methods and apparatus for controlling, implementing and supporting trick play in an augmented reality device
US11049299B2 (en) 2018-09-26 2021-06-29 The Alchemy Of You, Llc System and method for improved data structures and related interfaces
US11055923B2 (en) 2018-12-19 2021-07-06 Samsung Electronics Co., Ltd. System and method for head mounted device input
US11474620B2 (en) * 2019-03-01 2022-10-18 Sony Interactive Entertainment Inc. Controller inversion detection for context switching
TWI730539B (zh) * 2019-10-09 2021-06-11 開曼群島商粉迷科技股份有限公司 動態數位內容的顯示方法、圖形使用者介面與系統
CN111324409B (zh) * 2020-02-14 2023-03-10 腾讯科技（深圳）有限公司 基于人工智能的互动方法和相关装置
CN111405346A (zh) * 2020-03-20 2020-07-10 北京字节跳动网络技术有限公司 视频流播放控制方法、设备及存储介质
CN112153454B9 (zh) * 2020-09-25 2023-05-30 北京字跳网络技术有限公司 提供多媒体内容的方法、装置和设备
US11500454B2 (en) * 2020-12-29 2022-11-15 Snap Inc. Body UI for augmented reality components
EP4272406B1 (en) 2020-12-29 2024-10-02 Snap Inc. Body ui for augmented reality components
CN113760150B (zh) * 2021-09-22 2023-05-30 北京字跳网络技术有限公司 页面处理方法、装置、设备及存储介质
CN114820025A (zh) * 2022-03-17 2022-07-29 国家珠宝检测中心(广东)有限责任公司 基于图像识别技术的珠宝终端机的广告自动播放方法

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496981B1 (en) 1997-09-19 2002-12-17 Douglass A. Wistendahl System for converting media content for interactive TV use
WO1998044435A1 (en) 1997-04-02 1998-10-08 International Business Machines Corporation Method and apparatus for integrating hyperlinks in video
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
KR100853605B1 (ko) * 2004-03-23 2008-08-22 후지쯔 가부시끼가이샤 핸드헬드 장치에서의 경사 및 평행 이동 운동 성분들의구별
US7180500B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
US7839385B2 (en) * 2005-02-14 2010-11-23 Hillcrest Laboratories, Inc. Methods and systems for enhancing television applications using 3D pointing
US20070072676A1 (en) 2005-09-29 2007-03-29 Shumeet Baluja Using information from user-video game interactions to target advertisements, such as advertisements to be served in video games for example
US7667686B2 (en) * 2006-02-01 2010-02-23 Memsic, Inc. Air-writing and motion sensing input for portable devices
GB2439121B (en) 2006-06-15 2009-10-21 Motorola Inc Apparatus and method for content item annotation
US20080115161A1 (en) 2006-10-30 2008-05-15 Google Inc. Delivering user-selected video advertisements
US7559017B2 (en) 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
US8209223B2 (en) 2007-11-30 2012-06-26 Google Inc. Video object tag creation and processing
US8423076B2 (en) * 2008-02-01 2013-04-16 Lg Electronics Inc. User interface for a mobile device
US8112702B2 (en) 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
US8467991B2 (en) 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20100095326A1 (en) 2008-10-15 2010-04-15 Robertson Iii Edward L Program content tagging system
US8458053B1 (en) 2008-12-17 2013-06-04 Google Inc. Click-to buy overlays
US20100154007A1 (en) 2008-12-17 2010-06-17 Jean Touboul Embedded video advertising method and system
WO2010141939A1 (en) 2009-06-05 2010-12-09 Mozaik Multimedia, Inc. Ecosystem for smart content tagging and interaction
US20110262103A1 (en) 2009-09-14 2011-10-27 Kumar Ramachandran Systems and methods for updating video content with linked tagging information
US20110076941A1 (en) 2009-09-30 2011-03-31 Ebay Inc. Near field communication and network data/product transfer
US9508080B2 (en) 2009-10-28 2016-11-29 Vidclx, Llc System and method of presenting a commercial product by inserting digital content into a video stream
KR20110074017A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 멀티미디어 기기 및 그 동작 제어 방법
US8291452B1 (en) 2011-05-20 2012-10-16 Google Inc. Interface for watching a stream of videos
US20120206647A1 (en) 2010-07-01 2012-08-16 Digital Zoom, LLC System and method for tagging streamed video with tags based on position coordinates and time and selectively adding and using content associated with tags
US20120167145A1 (en) 2010-12-28 2012-06-28 White Square Media, LLC Method and apparatus for providing or utilizing interactive video with tagged objects
US20120167146A1 (en) 2010-12-28 2012-06-28 White Square Media Llc Method and apparatus for providing or utilizing interactive video with tagged objects
US20120197764A1 (en) 2011-02-02 2012-08-02 Ebay Inc. Method and process of using metadata associated with a digital media to search for local inventory
US9424471B2 (en) 2011-03-01 2016-08-23 Sony Corporation Enhanced information for viewer-selected video object
US9674576B2 (en) 2011-03-01 2017-06-06 Ebay Inc. Methods and systems of providing a supplemental experience based on concurrently viewed content
US8776132B2 (en) 2011-03-17 2014-07-08 Ebay Inc. Single digital wallet across multiple payment platforms
KR101635290B1 (ko) 2011-08-04 2016-06-30 이베이 인크. 콘텐츠 디스플레이 시스템 및 방법
US9459457B2 (en) * 2011-12-01 2016-10-04 Seebright Inc. Head mounted display with remote control
US9240059B2 (en) 2011-12-29 2016-01-19 Ebay Inc. Personal augmented reality
US9258626B2 (en) 2012-01-20 2016-02-09 Geun Sik Jo Annotating an object in a video with virtual information on a mobile terminal
US8565791B1 (en) 2012-02-02 2013-10-22 Google Inc. Computing device interaction with visual media
US9071282B1 (en) 2012-02-02 2015-06-30 Google Inc. Variable read rates for short-range communication
US8638190B1 (en) 2012-02-02 2014-01-28 Google Inc. Gesture detection using an array of short-range communication devices
US8837819B1 (en) 2012-04-05 2014-09-16 Google Inc. Systems and methods for facilitating identification of and interaction with objects in a video or image frame
US9442290B2 (en) * 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
US9390448B2 (en) 2012-05-15 2016-07-12 Ebay Inc. System and methods to present a personal shopping experience
US9420213B2 (en) 2012-06-26 2016-08-16 Google Inc. Video creation marketplace
US20140047483A1 (en) 2012-08-08 2014-02-13 Neal Fairbanks System and Method for Providing Additional Information Associated with an Object Visually Present in Media
US9270515B1 (en) 2012-08-15 2016-02-23 Google Inc. Identifying portions of a media stream
US9888289B2 (en) 2012-09-29 2018-02-06 Smartzer Ltd Liquid overlay for video content
US20140100993A1 (en) 2012-10-04 2014-04-10 Rico Farmer Product Purchase in a Video Communication Session
US20140101551A1 (en) 2012-10-05 2014-04-10 Google Inc. Stitching videos into an aggregate video
US9094692B2 (en) 2012-10-05 2015-07-28 Ebay Inc. Systems and methods for marking content
CN103778926B (zh) * 2012-10-22 2016-08-17 深圳市快播科技有限公司 一种控制多媒体播放进度的方法及系统
US8863175B2 (en) 2012-12-19 2014-10-14 Ebay Inc. Method and system for targeted commerce in network broadcasting
CN103065261A (zh) * 2012-12-25 2013-04-24 深圳Tcl新技术有限公司 基于手势操作的视频购物的方法、装置和系统
US9507830B2 (en) 2013-03-13 2016-11-29 Google Inc. Tailoring user experience for unrecognized and new users
US10638198B2 (en) 2013-03-15 2020-04-28 Ebay Inc. Shoppable video
US9294712B2 (en) 2013-03-20 2016-03-22 Google Inc. Interpolated video tagging
CN104079701A (zh) * 2013-03-25 2014-10-01 浪潮乐金数字移动通信有限公司 控制移动终端视频播放的方法及装置
US20140310752A1 (en) 2013-04-15 2014-10-16 Ebay Inc. Shopping in a media broadcast context
CN103248762A (zh) * 2013-04-16 2013-08-14 广东欧珀移动通信有限公司 一种快捷拨号的方法、装置及手机
US9438947B2 (en) 2013-05-01 2016-09-06 Google Inc. Content annotation tool
EP2994822A4 (en) * 2013-05-09 2016-12-07 Amazon Tech Inc INTERFACES OF MOBILE DEVICES
US20140365341A1 (en) 2013-06-05 2014-12-11 Ebay Inc. Store of the future
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
WO2014200779A2 (en) * 2013-06-09 2014-12-18 Sony Computer Entertainment Inc. Head mounted display
US20140380380A1 (en) 2013-06-24 2014-12-25 Cinematique, L.L.C. System and method for encoding media with motion touch objects and display thereof
US9304648B2 (en) 2013-06-26 2016-04-05 Google Inc. Video segments for a video related to a task
CN103309618A (zh) 2013-07-02 2013-09-18 姜洪明 移动操作系统
US20150058870A1 (en) 2013-08-23 2015-02-26 Ramaneek Khanna Facilitating purchase from video advertisements
US10754511B2 (en) 2013-11-20 2020-08-25 Google Llc Multi-view audio and video interactive playback
US20150170245A1 (en) 2013-12-13 2015-06-18 DFS Medialabs, LLC Media content instance embedded product marketing
US20150278840A1 (en) 2014-03-25 2015-10-01 Ebay Inc. Systems and methods for implementing group incentives
CN104063248B (zh) * 2014-06-27 2018-01-16 上海摩软通讯技术有限公司 智能手表及其应用程序的启动方法
US10248982B2 (en) 2014-12-23 2019-04-02 Ebay Inc. Automated extraction of product data from production data of visual media content
US10354290B2 (en) 2015-06-16 2019-07-16 Adobe, Inc. Generating a shoppable video
US20170017382A1 (en) 2015-07-15 2017-01-19 Cinematique LLC System and method for interaction between touch points on a graphical display
US9665972B2 (en) 2015-07-28 2017-05-30 Google Inc. System for compositing educational video with interactive, dynamically rendered visual aids
US9779304B2 (en) 2015-08-11 2017-10-03 Google Inc. Feature-based video annotation
US9627004B1 (en) 2015-10-14 2017-04-18 Google Inc. Video frame annotation
US10318581B2 (en) 2016-04-13 2019-06-11 Google Llc Video metadata association recommendation

Also Published As

Publication number Publication date
AU2016251812B2 (en) 2021-08-05
IL296030A (en) 2022-10-01
IL255150A0 (en) 2017-12-31
IL296030B1 (en) 2024-07-01
EP4395372A2 (en) 2024-07-03
AU2021261875A1 (en) 2021-12-02
US10866646B2 (en) 2020-12-15
AU2021261875B2 (en) 2023-01-19
AU2016251812A1 (en) 2017-12-07
IL313286A (en) 2024-08-01
EP3286620A1 (en) 2018-02-28
IL255150B2 (en) 2023-02-01
WO2016168893A1 (en) 2016-10-27
AU2023202397B2 (en) 2024-05-09
CA3021380A1 (en) 2016-10-27
AU2024205255A1 (en) 2024-08-22
IL255150B (en) 2022-10-01
JP2018521378A (ja) 2018-08-02
US20180101238A1 (en) 2018-04-12
AU2023202397A1 (en) 2023-05-11
CN107735746A (zh) 2018-02-23
EP3286620A4 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
JP6913634B2 (ja) インタラクティブ・コンピュータ・システムおよびインタラクティブ方法
KR102324064B1 (ko) 전자 디바이스 상의 다수의 콘텐츠 애플리케이션으로부터의 콘텐츠를 브라우징하기 위한 사용자 인터페이스
CN103108248B (zh) 一种互动式视频的实现方法和系统
JP5654984B2 (ja) コンピューターおよびメディアプレーヤー上で消費されるコンテンツに複数の段階のコンテキストを提供すること
TWI538498B (zh) 用於以關鍵字為基礎之視訊串流及其他內容的非線性導航的方法與裝置
US20120062473A1 (en) Media experience for touch screen devices
JP2016533075A (ja) 情報取得方法、装置、プログラム、及び記録媒体
KR20140121399A (ko) 제2 스크린상의 콘텐츠를 동기화하기 위한 방법 및 시스템
KR20130132886A (ko) 디스플레이된 컨텐츠에 관련된 추가적인 컨텐츠를 제공하기 위한 방법 및 시스템
US9558784B1 (en) Intelligent video navigation techniques
US9564177B1 (en) Intelligent video navigation techniques
US20150301693A1 (en) Methods, systems, and media for presenting related content
JP6720575B2 (ja) 動画再生装置および動画処理装置
KR20150048961A (ko) 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치
WO2016092864A1 (ja) ユーザーインタフェースを提供する方法、プログラム及び電子機器
JP6999257B2 (ja) コンテンツ提示装置、コンテンツ提示方法、およびプログラム
US20150301699A1 (en) Methods, systems, and media for media guidance
KR20160056859A (ko) 멀티미디어 컨텐츠 재생 장치 및 방법
KR20160041038A (ko) 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치
CN117714770A (zh) 多媒体内容播放方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171225

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20180209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190418

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190418

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190705

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201019

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210524

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210602

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210712

R150 Certificate of patent or registration of utility model

Ref document number: 6913634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150