JP6220953B2 - ジェスチャに基づく制御方法および装置 - Google Patents

ジェスチャに基づく制御方法および装置 Download PDF

Info

Publication number
JP6220953B2
JP6220953B2 JP2016228326A JP2016228326A JP6220953B2 JP 6220953 B2 JP6220953 B2 JP 6220953B2 JP 2016228326 A JP2016228326 A JP 2016228326A JP 2016228326 A JP2016228326 A JP 2016228326A JP 6220953 B2 JP6220953 B2 JP 6220953B2
Authority
JP
Japan
Prior art keywords
gesture
command
gestures
touch screen
screen interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016228326A
Other languages
English (en)
Other versions
JP2017054538A (ja
Inventor
ヘイズ、ロビン
Original Assignee
ティヴォ ソリューションズ インコーポレイテッド
ティヴォ ソリューションズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/986,054 external-priority patent/US20120179967A1/en
Priority claimed from US12/986,060 external-priority patent/US9430128B2/en
Application filed by ティヴォ ソリューションズ インコーポレイテッド, ティヴォ ソリューションズ インコーポレイテッド filed Critical ティヴォ ソリューションズ インコーポレイテッド
Publication of JP2017054538A publication Critical patent/JP2017054538A/ja
Application granted granted Critical
Publication of JP6220953B2 publication Critical patent/JP6220953B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明はジェスチャの使用に関する。具体的には、本発明は、マルチメディア・コンテンツのジェスチャに基づく制御に関する。
このセクションにおいて記載されるアプローチは、追求する可能性があったものではあるが、必ずしも、以前に実際に考えられまたは追求されたものではない。従って、特に明記されない限り、このセクションに記載される如何なるアプローチも、このセクションにそれらが単に含まれているという理由のみで、従来技術とみなすべきではない。
ウェブページ、画像、ビデオ、スライド、テキスト、グラフィクス、サウンド・ファイル、オーディオ/ビデオ・ファイル等のようなマルチメディア・コンテンツは、デバイスに表示させるまたはデバイスで再生させることができる。ユーザは、コンテンツをデバイスで再生させるまたはデバイスに表示させるコマンドを、デバイス自体にまたは遠隔制御として機能する別のデバイスに与えることができる。
例えば、ユーザは、遠隔制御のボタンを選択して、テレビジョンに表示されているビデオを、再生、一時停止、停止、巻戻し、または早送りすることができる。
1個以上の実施態様に従う具体例のシステムを示すブロック図である。 1個以上の実施態様に従ってジェスチャを検出するフローチャートを示す。 1個以上の実施態様に従う具体例のインタフェースを示す。 本発明の実施態様を実施することができるシステムを示すブロック図を示す。
本発明は、限定するための例ではなく具体例として、添付の図面に図示されている。これらの図面においては、同様な参照数字は、同様の素子を意味する。
以下の記述では、説明のために、多くの特定の詳細事項が、本発明の十分な理解を提供するために記載される。しかしながら、本発明が、これらの特定の詳細事項なしに実行することができることは、明らかであろう。他の具体例においては、本発明を不必要に不明瞭にするのを避けるために、周知の構造及び装置は、ブロック図で示されている。
以下においては、いくつかの特徴は、それぞれが、独立にまたは他の特徴と組合せて使用することが出来るように記載されている。しかしながら、如何なる個々の特徴も、上述したいずれの課題にも対処していないか、または上述した課題の1個にしか対処していないかもしれない。上述した課題のいくつかは、本明細書(以下においては、「本明細書」は、図面、特許請求の範囲、要約書も含む)に記載される特徴のいずれによっても、完全には対処されていないかもしれない。見出しが設けられているが、特定の見出しに関する情報であるが、この見出しのセクションに見出せない情報は、明細書の他の何れかの場所に見出すことが出来る。
具体例の特徴は、以下の概略に従って記載される。
1.0 概要
2.0 システム・アーキテクチャ
3.0 ジェスチャ
4.0 ジェスチャ領域
5.0 コマンド
6.0 ジェスチャ領域内でのジェスチャの検出
7.0 ジェスチャおよびコマンドの具体例
8.0 遠隔制御の使用例
9.0 実施態様の具体例
10.0 ハードウェアの概要
11.0 拡張および変形例
1.0 概要
一実施例では、ジェスチャは、デバイス上のタッチスクリーン・インタフェースの特定領域で検出される。このジェスチャは、必ずしも、特定領域の内のいかなる視覚オブジェクトをも選択するまたは移動させることができるわけではない。例えば、ジェスチャは、空白のボックス内で、ビデオの上部で、ジェスチャを実行するための命令情報の上部等で、検出することができる。このジェスチャに関連するビデオ再生コマンドは、識別することができ、そしてこのビデオ再生コマンドに対応させてアクションを決定することができる。次いで、このアクションは、ジェスチャを検出した同じデバイスで実行することができる。このアクションは、ジェスチャを検出したデバイスと通信で結合されている異なるデバイスで実行することもできる。
一実施態様では、複数の入力手段(例えば、複数の指)を同時に用いて、タッチスクリーン・インタフェース上で平行のまたは同一のジェスチャを実行することができる。アクションは、検出されたジェスチャの数に基づいて、選択することができる。例えば、ジェスチャの数を用いて、メニューから特定のアイテムを選択したり、コマンドを識別することもできる。
本願明細書では、特定のコンポーネントが、方法ステップを実行するものとして詳述されているが、他の実施態様の場合、特定のコンポーネントに対して機能するエージェントまたはメカニズムが、この方法ステップを実行することができる。更に、あるシステムのコンポーネントに関して、本発明のいくつかの態様が、議論されているが、本発明は、多数のシステムに分散されているコンポーネントによって実行させることもできる。本発明の実施態様は、本明細書に記載される方法ステップを実行するための手段を含む如何なるシステムも含む。本発明の実施態様は、それを実施させると、本明細書に記載される方法ステップを実行させる命令を有する計算機可読の媒体も含む。
2.0 システム・アーキテクチャ
本明細書では、特定のコンピュータのアーキテクチャが記載されているが、本発明の他の実施態様は、本明細書に記載される機能を実行するために使用することが出来る如何なるアーキテクチャにも適用できる。
図1は、1個以上の実施態様に従う具体例のシステム(100)を示すブロック図である。この具体例のシステム(100)は、コンテンツ・ソースとして機能する1個以上のコンポーネント、タッチスクリーン・インタフェース・デバイス、マルチメディア・デバイス(例えば、オーディオおよび/またはビデオ・コンテンツを再生するデバイス)および/またはコンテンツ管理デバイスを含む。特定のコンポーネントが、本願明細書において記述される機能性を明確にするために提示されるが、これらは、1個以上の実施態様を実施するためには必ずしも必要ではない。これらのコンポーネントの各々は、本願明細書において記述される機能性を明確にするために提示されているが、1個以上の実施態様を実施するためには必ずしも必要ではない。
図1に示されていないコンポーネントを、本願明細書において記述される機能性を実行するために、用いることもできる。1個のコンポーネントによって実行されると記載されている機能性は、それに代えて他のコンポーネントによって実行させることもできる。
具体例のシステム(100)は、入力デバイス(110)、マルチメディア・デバイス(140)およびデータ・レポジトリ(150)の、1個以上を含むことができる。本願明細書において示される1個以上のデバイスは、単一デバイスに結合させることもできるし、複数のデバイスに分けることもできる。例えば、入力デバイス(110)およびマルチメディア・デバイス(140)は、単一デバイスで実行させることができる。マルチメディア・デバイス(140)は、オーディオおよび/またはビデオ・コンテンツを再生するように構成することができる。マルチメディア・デバイス(140)は、1個以上の静止画像を表示するように構成することができる。他の例では、入力デバイス(110)を、別のマルチメディア・デバイス(140)に表示されているコンテンツに関連したジェスチャに基づいて、コマンドを検出する遠隔制御として、使うことができる。入力デバイス(110)は、マルチメディア・デバイス(140)と直接通信することもできるし、中間のデバイス(図示せず)と通信することもできる。この中間のデバイスは、例えば、マルチメディア・デバイス(140)または媒体管理デバイスに対するコンテンツ・ソースとして機能することができる。システム(100)内の全てのコンポーネントを接続するネットワーク・バス(102)は、明確にするために図示されている。ネットワーク・バス(102)は、任意のローカル・ネットワーク、イントラネット、インターネット等を表すことができる。ネットワーク・バス(102)は、有線および/または無線セグメントを含むことができる。(通信で結合するように図示されている)全てのコンポーネントは、必ずしも、システム(100)内の全ての他のコンポーネントと通信で結合させる必要は無い。
一実施態様では、入力デバイス(110)は、(本願明細書において記述される)1個以上のジェスチャを検出するように構成されているタッチスクリーン・インタフェース(115)を含むことができる。入力デバイス(110)は、ジェスチャ、ジェスチャのパス、ジェスチャの速度、ジェスチャの加速、ジェスチャの方向等を検出するように構成することができる。
一具体例では、入力デバイス(110)は、タッチスクリーン・インタフェース(115)上のタッチされる点/領域で接触する2枚の層の中を、電流が流れる抵抗性システムを含むことができる。接触点または接触スポットの座標は、タッチスクリーン・インタフェース(115)上でユーザによって実行されるジェスチャを識別するために、データ・レポジトリ(150)に格納されているジェスチャ情報と比較することができる。他の例では、入力デバイス(110)は、電荷(この電荷の一部は、ユーザがタッチスクリーン・インタフェース(115)にタッチする場所でユーザに転送される)を格納する層を有する容量性システムを含むことができる。他の具体例では、入力デバイス(110)は、電気信号が1個のトランスデューサから他のトランスデューサに送られる2個のトランスデューサを有する表面弾性波システムを含むことができる。(例えば、ユーザのタッチによる)電気信号のいかなる遮断も、タッチスクリーン・インタフェース(115)上の接触点を検出するために用いることができる。例えば、入力デバイス(110)は、タッチスクリーン・インタフェース上に表示されたデータの、視覚表現上の当初のユーザ・タッチを先ず検出するように構成することができる。
一実施態様では、入力デバイス(110)は、データを受信する、データを送信する、またはシステム(100)の他のデバイスと通信するように構成されているハードウェアを含むことができる。例えば、入力デバイス(110)は、ユーザによって実行されたジェスチャを検出して、このジェスチャに関連するビデオ再生アクションを実行するように構成することができる。他の例では、入力デバイス(110)は、ジェスチャに関連する情報(本明細書では「メタデータ」とも呼ばれ、かつ「メタデータ」と置換して使用することができる情報)を送信する機能性を含むことができる。例えば、入力デバイス(110)は、タッチスクリーン・インタフェース(115)上で検出された接触ポイントの経時的シーケンスを備える情報を送信するように構成することができる。
一実施態様の場合、入力デバイス(110)は、以下の1個以上を含むことができる:読出し専用メモリ(ROM)(206)、中央処理装置(CPU)、ランダム・アクセス・メモリ(RAM)、赤外線制御ユニット(ICU)、キー・パッド走査、キー・パッド、不揮発性メモリ(NVM)、1個以上のマイクロフォン、汎用入力/出力(GPIO)インタフェース、スピーカ/ツィータ、キー送信器/インディケータ、マイクロフォン、無線、赤外線(IR)ブラスタ、ネットワーク・カード、表示画面、無線周波数(RF)アンテナ、QWERTYキーボード、ネットワーク・カード、ネットワーク・アダプタ、ネットワーク・インタフェース・コントローラ(NIC)、ネットワーク・インタフェース・カード、ローカル・エリア・ネットワーク・アダプタ、イーサネット・ネットワーク・カードおよび/またはネットワークの上の情報を受信することができる他の任意のコンポーネント。一実施態様の場合、入力デバイス(110)は、有線および/または無線セグメントにより1個以上のデバイスと通信するように構成することができる。例えば、入力デバイス(110)は、電波(例えば、Wi-Fi信号、ブルートゥース信号)、赤外線波、他の任意の適切な周波数の電磁スペクトル、ネットワーク接続(例えば、イントラネット、インターネット、ワールドワイド・ウェブ等)、または他の任意の適切な方法、の1個以上により無線で通信することができる。
一実施態様では、入力デバイス(110)は、一般に、ユーザ入力としてジェスチャを検出するように構成することができるいかなるデバイスも表す。(入力デバイス(110)のいかなるオペレータも含む)ユーザは、入力デバイス(110)上のタッチスクリーン・インタフェース(115)にタッチすることによって、ジェスチャを実行することができる。例えば、ユーザは、タッチスクリーン・インタフェース(115)を指でタップする、またはタッチスクリーン・インタフェース(115)上で指をスライドさせることによって、ジェスチャを実行することができる。
明確にするため、本願明細書において記述される具体例は、ジェスチャを実行する特定の入力手段(例えば、ユーザの指)に言及する。しかしながら、1個以上の実施態様に従ってジェスチャを実行するためには、スタイラス、ユーザの指、ペン、指ぬき等を含むが、これらに限定されないいかなる入力手段も、用いることができる。
本願明細書において言及されるタッチスクリーン・インタフェース(115)にタッチするまたは接触することに関係するジェスチャは、タッチスクリーン・インタフェース(115)が、(例えば、タッチスクリーン・インタフェース(115)上のある位置での電荷の転送により)指を検出するように、タッチスクリーン・インタフェース(115)に必ずしもタッチすることなく、指(または他の入力手段)によりタッチスクリーン・インタフェース(115)上をホバリングすることを含む。
3.0 ジェスチャ
一実施態様では、タップ・ジェスチャは、タッチスクリーン・インタフェース(115)上の特定の位置にタッチし、そして、次いで、タッチスクリーン・インタフェース(115)との接触をリリースすることによって実行することができる。タップ・ジェスチャは、タッチスクリーン・インタフェース(115)の特定の位置での接触を検出し、その後このタッチスクリーン・インタフェース(115)との接触がリリースされたことを検出することによって、検出することができる。
タップ・ジェスチャとは、1本以上の指を使用して実行されるジェスチャを意味する。例えば、2本の指によるタップは、2本の指を用いて、タッチスクリーン・インタフェース(115)上の二か所に同時にタッチし、その後に、タッチスクリーン・インタフェース(115)との接触をリリースすることにより、実行することができる。2本の指によるタップは、タッチスクリーン・インタフェース(115)上の二か所での同時接触とその後のこの接触のリリースとを検出することによって、検出することができる。
一実施態様では、スライド・ジェスチャは、ユーザが、1本以上の指をタッチスクリーン・インタフェース(115)の表面上をスライドさせる、いかなる動きをも含むことができる。スライド・ジェスチャの具体例は、フリック・ジェスチャ、スワイプ・ジェスチャ、またはタッチスクリーン・インタフェース(115)上の任意のパスに沿って指を動かすことに関するジェスチャ、を含む。パスは、始点と終点が同じである円または正方形のような閉形状、または始点と終点が異なる直角のような開放された形状とすることができる。パスの具体例には、直線、曲線、円、正方形、三角形、角度等が含まれるが、これらに限定されるものではない。
一実施態様では、フリック・ジェスチャは、以下のようにして実行される。つまり、入力デバイス(110)のタッチスクリーン・インタフェース(115)上の特定の位置に指(または他の任意のアイテム(例えば、スタイラス))によりタッチし、そしてユーザによって実行されるスライド・アクションの一部に対してタッチスクリーン・インタフェース(115)との接触を維持しつつ、特定の位置から指をスライドさせ、そしてタッチスクリーン・インタフェース(115)との接触が終了した後でもスライド・アクションを続けることにより、実行される。一実施態様では、タッチスクリーン・インタフェース(115)は、タッチスクリーン・インタフェース(115)との物理的な接触が終わった後に、指の近接度を検出するように構成することができる。
例えば、タッチスクリーン・インタフェース(115)のスライド・アクションの方向に付加される表面領域が、接触を維持しつつ、スライドするアクションを続けるために使用することができるにもかかわらず、ユーザは、スライドするアクションの方向に指を移動させつつ、タッチスクリーン・インタフェース(115)との接触をリリースすることができる。
別の具体例のフリック・ジェスチャでは、ユーザが、入力デバイス(110)のタッチスクリーン・インタフェース(115)上の特定の位置をタッチし、次いで、タッチスクリーン・インタフェース(115)との接触を維持しつつ、タッチスクリーン・インタフェース(115)の端を越えて指をスライドする。したがって、ユーザは、指がタッチスクリーン・インタフェース(115)の端に到達するまで、(例えば、指による)タッチスクリーン・インタフェース(115)との接触を維持することができ、かつタッチスクリーン・インタフェース(115)の端を越えて同じ方向に運動を続けることができる。
フリック・ジェスチャを実行するユーザは、タッチスクリーン・インタフェース(115)との接触をリリースした後、そのスライド・アクションを続行することができる。入力デバイス(110)は、最後の接触ポイントでのタッチスクリーン・インタフェースと接触していた継続時間に基づいて、この指がまだ移動している間に、指とタッチスクリーン・インタフェース(115)との間の接触が、リリースされたことを検出することができる。指が移動している間に検出されたリリースは、フリック・ジェスチャであると決定することができる。
一実施態様では、スワイプ・ジェスチャは、入力デバイス(110)のタッチスクリーン・インタフェース(115)上の特定の位置を指によりタッチし、かつスライド・アクションの間にタッチスクリーン・インタフェース(115)との接触を維持しつつ、特定の位置から指をスライドすることにより、実行することができる。
別の具体例では、ユーザは、第一の位置から第二の位置までタッチスクリーン・インタフェース(115)に沿って指をスライドし、かつ、その後、閾値の時間(例えば、1秒)第二の位置との接触を維持することによって、停止することができる。第二の位置との継続した接触の検出を用いて、ユーザは、スワイプ・ジェスチャを既に完了したと決定することができる。
一実施態様では、スライドするアクションが完了する前に、スライドするアクション(例えば、スワイプまたはフリック)を検出することができる。例えば、右方向にスライドするジェスチャは、第一の位置での接触と、(第一の位置の右にある(または右方向の特定の角度内にある)第二の位置でのその後の接触とを検出することにより、検出することができる。ユーザは、第二の位置の右にある第三の位置まで、スライドするジェスチャを続けることもできるが、スライドするジェスチャの方向は、第一の位置と第二の位置を使用して、すでに、検出されている。
一実施態様では、(例えば、同じ方向の)フリック・ジェスチャとスライドするジェスチャは、同じビデオ再生コマンドにマップさせることができる。したがって、デバイスは、スライド・ジェスチャまたはフリック・ジェスチャの何れも検出し、かつ検出されたフリック・ジェスチャまたはスライド・ジェスチャに応答して、同じビデオ再生コマンドを識別するように構成することができる。
一実施態様では、(おそらく同じ方向の)フリック・ジェスチャとスライド・ジェスチャを、異なるコマンドにマップさせることができる。例えば、左方向のフリック・ジェスチャを、20秒の巻戻しコマンドに対応させ、かつ左方向のスワイプ・ジェスチャを、ビデオ内の以前のブックマークされた場面を選択するコマンドに対応させることができる。例えば、場面は、ユーザが、ブックマークすることもできるし、またはデジタル・ビデオディスク(DVD)に記録されている映画から場面が選択可能となるようにメディアの記録内にコードを挿入しておくこともできる。
一実施態様では、スライド・ジェスチャは、多数の入力手段を同時に使用することにより実行させることができる。例えば、ユーザは、タッチスクリーン・インタフェースのどこにおいても2本の指を同時にスライドさせることができる。更に、ユーザは、同時に2本の指を平行にスライドさせる(例えば、左から右の同じ方向に2本の指をスライドさせる)ことができる。
用語「同時に」は、本願明細書では、「ほぼ同時」も含む。例えば、平行ジェスチャを同時に実行する2本の指は、わずかに異なる時間で同じジェスチャを実行する長さが異なる2本の指をも意味する。例えば、一方の指は、他方の指がジェスチャを開始および/または終えた後に、遅れて動いても良い。したがって、2本の指は、異なる開始および/または終了時刻にジェスチャを始めかつ終えることができる。
本願明細書において使用される用語「平行(の)」は、ほぼ同じ方向にあるパスを含む。本願明細書において使用される、平行の運動を実行する2本の指は、ユーザが、タッチスクリーン・インタフェースのどこにおいても同じ方向に2本の指をドラッグすることを含む。同じ方向で平行の運動を実行する2本以上の指の方向は、指の長さが相違するためまたは手の角度が相違するため、数度異なっていても良い。一実施態様では、2個の平行ジェスチャを実行するパスは、重なっていても良い。本願明細書において使用される用語「平行(の)」は、同じ方向で実行される2個以上のジェスチャの内の何れの組をも意味する。
4.0 ジェスチャ領域
一実施態様では、タッチスクリーン・インタフェース(115)は、ジェスチャ領域を含む。ジェスチャ領域は、少なくとも、ユーザが実行したジェスチャを検出するように構成されているタッチスクリーン・インタフェース(115)の一部である。ジェスチャ領域は、タッチスクリーン・インタフェース(115)全体またはタッチスクリーン・インタフェース(115)の一部を含むことができる。ジェスチャ領域は、空白のボックスまたは1個以上のアイテムを表示することができる。例えば、ジェスチャ領域は、ビデオを表示することができる。別の具体例では、ジェスチャ領域は、どのようにジェスチャを実行すべきかという情報を表示することができる。
一実施態様では、ジェスチャは、ユーザが、ジェスチャ領域内で表示することができる如何なる視覚オブジェクトとも対話することなく、ジェスチャ領域内で検出することができる。例えば、携帯電話タッチスクリーン・インタフェース(115)のどこにおいても、スワイプ・ジェスチャは、タッチスクリーン・インタフェース上の空白のボックスであるジェスチャ領域内で、検出することができる。別の具体例では、巻戻しコマンドに関連する検出されたスワイプ・ジェスチャは、ジェスチャ領域内に表示される進行インディケータには触れない。
一実施態様では、ジェスチャ領域内で表示されるいかなる視覚オブジェクトも、ジェスチャを検出するため、またはジェスチャに関連したコマンドを決定するためには、必要ではない。一実施態様では、ジェスチャ領域内で表示されるいかなる視覚オブジェクトも、ジェスチャを実行する指によって、選択されずまたはドラッグされない。
一実施態様では、タッチスクリーン・インタフェース(115)は、多数のジェスチャ領域を含むことができる。1個のジェスチャ領域内で検出されるジェスチャは、異なるジェスチャ領域において実行される同じジェスチャとは異なるコマンドに、マップすることができる。デバイスは、ジェスチャが実行される領域を識別し、かつジェスチャとアクションが実行されたジェスチャ領域とに基づいてアクションを決定するように、構成することができる。
一実施態様では、多数のジェスチャ領域の何れかでジェスチャが検出されると、デバイスは、多数のジェスチャ領域の内からジェスチャ領域を選択することができる。開始されたジェスチャ領域を、選択されたジェスチャ領域と特定することができる。例えば、ユーザは、第一のジェスチャ領域でスワイプ・ジェスチャを始め、かつ第二のジェスチャ領域でスワイプ・ジェスチャを終えることができる。スワイプ・ジェスチャが、第一のジェスチャ領域において開始されたことの検出に応答して、このジェスチャにマップされたコマンドと第一のジェスチャ領域を、選択することができる。別の具体例では、スライドするアクションの終了が検出されたジェスチャ領域を、意図されたジェスチャ領域と特定することができる。選択された、つまり意図されたジェスチャ領域は、次で、コマンドを識別するために使用することができる。
5.0 コマンド
一実施態様では、ジェスチャは、コマンドにマップさせる(または関連させる)ことができる。例えば、ジェスチャにマップされるコマンドは、ビデオの再生に関するビデオ再生コマンドとすることができる。コマンドは、このコマンドを受信したデバイスでのまたは別のデバイスでのビデオの再生に関係付けることができる。
一実施態様では、コマンドは、ビデオの再生速度と再生方向を指定することができる。例えば、コマンドは、特定の早送り速度で早送りすること、または特定の巻戻し速度で巻戻しすることを、選択することができる。他のビデオ再生コマンドの具体例は、以下を含むが、これらに限定されるものではない:ビデオの再生を中断すること、ビデオの再生を再開すること、ビデオの再生された一部をリプレイすること、ビデオの再生を停止すること、ビデオの再生を停止しかつ特定の再生位置でビデオの再生を再開すること、スローモーションでビデオを再生すること、ビデオをコマ送り再生すること、最初からビデオを再生すること、次のプレイリストから1個以上のビデオを再生すること、ビデオを特定の場面から前に再生すること、ビデオの再生位置をブックマークすること、再生を停止しかつブックマークされた位置で再生を再開すること、またはビデオを評価付けすること。
一実施態様では、コマンドは、オプションのリストから、特定のオプションを選択することができる。例えば、利用できるメディア・コンテンツのリストをスクリーンに表示することができ、かつコマンドは、利用できるメディア・コンテンツの内の特定のメディア・コンテンツを選択することができる。別の具体例では、コンフィギュレーション設定のリストを表示することができ、かつコマンドは、修正するための特定の設定を選択することができる。
6.0 ジェスチャ領域内でのジェスチャの検出
図2は、ジェスチャ領域の内でジェスチャを検出するためのフロー・ダイアグラムを示す。以下に記述される1個以上のステップは、省略し、繰り返し、および/または異なる順序で実行することができる。したがって、図2に示されるステップの特定の配置が、本発明の範囲を限定するものと解釈すべきではない。
1個以上の実施態様の場合、ジェスチャを検出することは、タッチスクリーン・インタフェース上の当初の位置でのインタフェース接触を検出すること(ステップ202)を含む。タッチスクリーン・インタフェース上の当初の接触は、ユーザの指、スタイラスまたはタッチスクリーン・インタフェースでジェスチャを実行するために使用することができる他の任意のアイテム、によって行うことができる。タッチスクリーン・インタフェースとの当初の接触は、当初の位置での素早いタッチ(例えば、タップ・ジェスチャ)、または任意の時間(例えば、1ミリ秒、1秒、2秒等)当初の位置に維持されるタッチとすることができる。タッチスクリーン・インタフェースとの当初の接触は、それがすでにある方向に移動しつつある指(例えば、接触せずに空中を移動し、かつその後、移動する間にあるポイントで、タッチスクリーン・インタフェースの一部と当初の接触をなす指)によってなされるので、短くすることができる。
一実施態様では、本明細書において述べられる「当初の接触」は、タッチスクリーン・インタフェースが指を検出する出来る程度に、タッチスクリーン・インタフェースに十分近い指(または他のアイテム)を含むことができる。例えば、電荷を格納する層を有する容量システムを含むデバイスを使用する際には、電荷の一部は、ユーザに転送させることができる。この場合、ユーザは、タッチスクリーン・インタフェースにタッチする、またはタッチスクリーン・インタフェースの近くでタッチせずにホバリングさせれば良い。したがって、本明細書において述べられる「当初の接触」または「維持される接触」は、ユーザが、タッチスクリーン・インタフェース上に指または他のアイテムをホバリングさせることも、含む。
一実施態様では、タッチスクリーン・インタフェース上の当初の接触は、タッチスクリーン・インタフェースに表示されるいかなる視覚オブジェクトも選択しない。何の視覚オブジェクトも表示されない場合に、当初の接触をなすことができる。視覚オブジェクトを選択せずに、視覚オブジェクトの表示の上部に、当初の接触をなすことができる。例えば、ユーザ選択された携帯電話の背景画像を表示しているタッチスクリーン・インタフェースに、当初の接触をなすことができる。別の具体例では、空白のスクリーンに当初の接触をなすことができる。タブレットで再生されつつあるテレビ番組の上部で、当初の接触を検出することができる。
1個以上の実施態様では、ジェスチャを検出することが、更に、タッチスクリーン・インタフェースの付加的な位置でインタフェース接触を検出することを、含むことができる(ステップ204)。例えば、フリック・ジェスチャまたはスワイプ・ジェスチャを検出することにより、当初の接触位置からパスに沿う付加的な位置での、継時的なシーケンスのインタフェース接触を、検出することができる。例えば、タッチスクリーン・インタフェース上で当初の接触位置から左方向に離れるパス内で、インタフェース接触を、連続的に検出することができる。
本明細書においては、当初の接触ポイントの位置から離れるパスに沿った接触は、スライドするジェスチャと呼ぶことにする。1個以上の実施態様では、スライドするジェスチャの速度またはスライドするジェスチャの方向を、決定することができる。例えば、(スライドするジェスチャのパスに沿った、当初の接触ポイントと第二のポイントのような)インタフェース上の二個以上の位置での接触は、スライドするジェスチャの方向および/または速度を決定するために使用することができる。多数のポイントでの接触は、スライドするジェスチャの加速を計算するために使用することができる。
1個以上の実施態様では、ジェスチャは、タッチスクリーン・インタフェース上の1個以上の位置で検出される接触に基づいて、識別することができる(ステップ206)。例えば、遠隔制御インタフェース上の3か所で同時の接触を検出し、その後全ての3か所で接触がリリースされたことを検出することにより、3本の指によるタップ・ジェスチャを識別することができる。一実施態様では、ジェスチャを検出することは、タッチスクリーン・インタフェースで接触が検出されたパスを識別することを含む。例えば、タッチスクリーン・インタフェース上の円形のパスに沿った接触が検出されたことに応答して、円のジェスチャが、識別される。タッチスクリーン・インタフェース上の経時的なシーケンスの接触ポイントに基づいて、フリック・ジェスチャまたはスワイプ・ジェスチャを、特定することができる。
1個以上の実施態様では、ジェスチャを識別することは、同時平行ジェスチャの数を決定することを含むことができる(ステップ208)。例えば、当初の接触は、タッチスクリーン・インタフェース上の多数の位置で同時に検出することができる。各当初の位置での当初の接触に続いて、これらの当初の位置から始まるパスに沿って、接触を検出することができる。もし、これらのパスが平行であると決定されると、パスの数を特定して、同時平行ジェスチャの数を決定することができる。
一実施態様では、同時平行ジェスチャの数は、既知のコンフィギュレーションにマッチするパスの数に基づいて、決定することができる。例えば、パスが、少なくとも、第一の接触ポイントと、第一の接触ポイントから右に向かう水平ラインに対し10度程度の範囲内にある第二の接触ポイントとを有する場合、このパスは、右にスライドするジェスチャに対応すると決定することができる。特定の時間周期内で同じ基準にマッチするパスに対応する検出されたジェスチャの数を計数することにより、同時平行ジェスチャの数を決定することができる。一実施態様では、ここでは記載されていない他の方法を、同時平行ジェスチャの数を決定するために使用することができる。
一実施態様では、コマンドは、特定されたジェスチャに基づいて決定される(ステップ210)。コマンドは、ジェスチャがまだ実行されつつある間、または、ジェスチャが完了された後に、決定することができる。
一実施態様では、コマンドを決定することは、検出された特定のジェスチャが、データベースのコマンドにマップされていると決定することを含むことができる。例えば、2本の指による右方向へのスワイプを、コマンド・データベースに問い合わせて、これを、2本の指によるスワイプに関連するコマンドと識別することができる。別の具体例では、ジェスチャ領域の下部に向かう2本指によるフリックは、メニュー内に現在表示されているアイテムから第二のメニュー・アイテムを選択するコマンドに、関連付けることができる。
一実施態様では、コマンド内の平行の指の数は、マルチ・メディアのコンテンツを再生する再生速度を決定するために用いることができる。例えば、2個の平行ジェスチャの検出は、通常の再生速度の2倍の再生速度とするコマンドに、マップすることができる。
一実施態様では、ジェスチャ・コマンドの方向を、ジェスチャ・コマンドの平行の指の数に組み合わせて、再生コマンドを決定することができる。例えば、スクリーンの右側からスクリーンの左側まで同時にスワイプされる2本の指は、通常の速度の2倍の巻戻しにマップすることができる。別の具体例では、スクリーンの左側からスクリーンの右側まで同時にスワイプされる2本の指は、(早送りしない)通常の再生速度の2倍の速度の早送りにマップすることができる。
一実施態様では、コマンドは、特定のブックマーク(例えば、ユーザが指定したブックマークまたは製造業者が指定したブックマーク)でのビデオの再生を再開することを含むことができる。同時平行ジェスチャを実行するために使用される指の数は、ブックマークを選択するために用いることができる。例えば、2本指による下方へのフリックを検出することに応答して、ビデオの再生を、現在の再生位置から第二のブックマークで再開することができる。
一実施態様では、コマンドを決定することは、コマンドに対応するデバイスを特定することを含むことができる。例えば、コマンドに関するデバイスは、ジェスチャおよび/またはジェスチャが検出されたジェスチャ領域に基づいて、特定することができる。
一実施態様では、コマンドに対応するアクションが、実行される(ステップ212)。コマンドを検出したデバイスは、このアクションを実行することができる。例えば、もし、早送りコマンドのジェスチャが、ビデオを再生しているハンドヘルド・タッチスクリーン・フォン(電話)で検出されると、このハンドヘルド・タッチスクリーン・フォン(電話)は、早送りモードでビデオを再生する。
一実施態様では、コマンドに対応するアクションは、別のデバイスへのコマンドに関連する情報を送信することを含むことができる。例えば、ジェスチャは、タッチスクリーン遠隔制御で検出することができる。ジェスチャに関連した情報(例えば、ジェスチャを識別する情報またはジェスチャに関連するコマンドを識別する情報)は、次いで、デジタル・ビデオディスク・プレーヤに送信することができる。デジタル・ビデオディスク・プレーヤは、次いで、対応するアクションを実行することができる。もし、コマンドが、ビデオの再生を中断するものであったならば、デジタル・ビデオディスク・プレーヤは表示スクリーンのビデオの再生を中断することができる。
7.0 ジェスチャおよびコマンドの具体例
図3は、ジェスチャを検出するように構成されている入力デバイスに対する具体例のスクリーン・ショットを示す。ジェスチャ、コマンド、ジェスチャとコマンド間のマッピング、ジェスチャ領域、視覚オブジェクト、および図3に関して論じられる他のいかなるアイテムも、アイテムの具体例であるが、これらを、権利範囲を限定するものとして解釈すべきではない。図3に関して記述される1個以上のアイテムは、必ずしも全て実行される訳ではないが、記述される他のアイテムを、1個以上の実施態様に従って実行することもできる。
図3は、円形のジェスチャ領域(305)及び長方形のジェスチャ領域(310)を有する具体例のインタフェース(300)を示す。円形のジェスチャ領域(305)内で検出された如何なるジェスチャも、ナビゲーション・コマンドにマップされる。例えば、円形のジェスチャ領域(305)において検出された2本の指によるタップは、現在表示されている任意のメニュー内の第二のアイテムを選択するコマンドに、関連付けることができる。もし、第二のアイテムがフォルダであるならば、フォルダ内のアイテムは、2本指によるタップの検出に応答して表示させることができる。
一実施態様では、長方形のジェスチャ領域(310)は、長方形のジェスチャ領域(310)内で検出された1個以上のジェスチャに関連するコマンドを識別することができる。例えば、長方形のジェスチャ領域(310)は、1本指の左方向のスワイプ・ジェスチャが、巻戻しコマンドに対応することを示し、1本指のタップ・ジェスチャが、休止コマンドに対応し、1本指の右方向のスワイプ・ジェスチャは、早送りコマンドに対応し、2本指による左方向のスワイプ・ジェスチャは、10秒の巻戻しに対応し、2本指によるタップ・ジェスチャは、スローモーションの再生コマンドに対応し、かつ、2本指による右方向のスワイプは、次のブックマーク・コマンドへのスキップに対応する、グラフィクスを含むことができる。
一実施態様では、具体例のインタフェース(300)は、円形のジェスチャ領域(305)と長方形のジェスチャ領域(310)とでは別である進行インディケータ(315)を含むことができる。進行インディケータ(315)は、ビデオの現在の再生位置、ブックマーク、現在の再生速度等を含むことができる。例えば、進行インディケータ(315)は、現在の再生速度(例えば、再生、1倍速の順方向早送り、休止、2倍速の巻戻し等)を表すシンボルを含むことができる。
一実施態様では、コマンドに応答してシンボルを表示することができる。例えば、3倍速でマルチメディア・コンテンツを巻戻すことが、通常の再生速度の3倍で逆方向にフレームを表示することによって実行されている間に、3倍速の巻戻しコマンドに応答して、3倍速の巻戻しを示すシンボルを、表示することができる。しかしながら、ビデオ再生コマンドに関連するいかなるジェスチャも、必ず、進行インディケータ(315)を選択することができるというわけではない。一実施態様では、ユーザが、具体例のインタフェース(300)内のジェスチャを実行している時に、具体例のインタフェース(300)内の視覚オブジェクトが、必ずしも、選択されるわけではない。
一実施態様では、具体例のインタフェース(300)は、検出されたジェスチャによって制御されるべき特定のメディア・デバイスを選択するためのツール(例えば、ドロップダウン・ボックス)を含むこともできる。一実施態様では、具体例のインタフェース(300)は、入力メカニズム(例えば、ジェスチャに基づく入力、ボタン、テキスト・ボックス、無線ボックス等)間をスイッチするオプションを含むことができる。
8.0 遠隔制御の使用例
一実施態様では、遠隔制御デバイスは、メディア・デバイス(例えば、デジタル・ビデオ・レコーダ、デジタル・ビデオディスク・プレーヤ、メディア管理デバイス、ビデオ・レコーダ、ブルーレイ・プレーヤ等)と通信する。遠隔制御デバイスは、有線および/または無線通信セグメントによりメディア・デバイスと通信することができる。例えば、遠隔制御デバイスは、ネットワーク(例えば、インターネット、イントラネット等)により、無線通信により、ブルートゥースにより、赤外線等により通信することができる。
一実施態様では、図3のスクリーン・ショット(300)に示されるように、遠隔制御は、進行インディケータ(315)を表示する。進行インディケータ(315)は、別のマルチメディアのデバイスに現在表示されているマルチメディア・コンテンツの再生位置を示すことができる。進行インディケータ(315)は、正確な再生位置またはおおよその再生位置を表示することができる。例えば、進行インディケータ(315)は、トリック再生バー(330)に沿って表示される、再生位置を示すスライダ(320)を含むことができる。一実施態様では、特定の再生位置は、時刻(例えば、8:09)によって示すことができる。この時刻は、例えば、現在再生されているコンテンツの実際のストリーミング時間、またはコンテンツの開始ポイントからのオフセットを示すことができる。
一実施態様では、マルチメディア・コンテンツの再生位置に関する情報は、メディア・デバイス(例えば、デジタル・ビデオ・レコーダ、ケーブル・ボックス、コンピュータ、メディア管理デバイス、デジタル・ビデオディスク・プレーヤ、マルチメディア・プレイヤ、オーディオ・プレーヤ等)から取得することができる。例えば、メディア・デバイスに通信で結合されている遠隔制御デバイスは、メディア・デバイスによって表示され(再生され)つつある特定のフレームに関連するフレーム情報を受信するように構成することができる。一実施態様では、メディア・デバイスは、遠隔制御デバイスにフレーム情報を周期的に送信することができる。これに代えて、遠隔制御デバイスは、メディア・デバイスにフレーム情報を周期的にリクエストすることができる。遠隔デバイスは、この情報を使用して、トリック再生バー(330)に沿ったスライダ(320)の位置を定める。遠隔制御デバイスは、メディア・デバイスによって格納されているまたは録画されているマルチメディア・コンテンツの量を示す、キャッシュ・バー(325)の占有範囲を示すメディア・デバイスからの情報を受信することも可能である。もし、メディア・デバイスが、マルチメディア・コンテンツを録画するまたはキャッシュに入れるプロセスにあるならば、キャッシュ・バー(325)は、メディア・デバイスがより多くのコンテンツを録画またはキャッシュに入れるので、増大するであろう。もし、メディア・デバイスが、録画されたマルチメディア・コンテンツを再生しつつあるならば、キャッシュ・バー(325)は、トリック再生バー(330)の長さを伸ばすであろう。
別の具体例は、表示されつつあるフレームに最も近いタイム・スタンプを受信するように構成されている遠隔制御デバイスに関する。もし、フレームがタイム・スタンプに完全に一致しないならば、遠隔制御デバイスは、ステップ関数(例えば、タイム・スタンプの次のフレームまたは前のフレーム)を使用するように構成することもできる。別の具体例は、進行インディケータのメディア・デバイスから遠隔制御デバイス上の表示まで連続的に画像(例えば、ビットマップ、表示命令等)を受信する遠隔制御デバイスを含むことができる。一実施態様では、遠隔制御デバイスは、マルチメディア・コンテンツの再生位置を決定するために、遠隔制御デバイスが使用する、特定の開始位置と表示率を含むことができる。例えば、デジタル・ビデオ・レコーダは、マルチメディア・コンテンツの再生における当初の再生位置を、進行率(例えば、単位時間当たりのスライダ(320)の変化、フレーム率等)と共に、遠隔制御デバイスに送信することができる。遠隔制御デバイスは、この情報を使用して、当初の再生位置に基づいて先ず進行インディケータを表示し、次いで、時間の関数として、その後の位置を計算することができる。
一実施態様では、トリック再生機能が実行される時(例えば、10秒の巻戻しが実行される時)、スライダ(320)は、表示されたビデオとの同期が取れなくなる。トリック再生機能に応答して、新規な再生位置に関する更新された情報を、遠隔制御デバイスに提供することができる。
一実施態様では、遠隔制御デバイスは、更に、特定の再生位置を選択するまたは進行率の変更を示す更新情報を受信することができる。例えば、ユーザは、現在の再生位置でマルチメディア・コンテンツの再生を中断するために1個以上のコマンドを発し、次で、現在の再生位置の10秒前にまでスキップし、かつ再生を再開することができる。この場合、メディア・デバイスは、スライダ(320)を中断し、スライダ(320)を移動させることによって、現在の再生位置の10秒前に対応する新規な再生位置を表示し、次で、スライダ(320)を周期的に更新することを再開する、情報を、遠隔制御デバイスに提供することができる。
一実施態様では、遠隔制御デバイスを起動するときに、スライダ(320)を更新することができる。例えば、ユーザが、遠隔制御デバイスを取り上げる時または遠隔制御デバイスにタッチする時、遠隔制御デバイスは、メディア・デバイスに再生位置の情報をリクエストすることができる。例えば、遠隔制御デバイスは、運動を検出するように構成されているアクセロメータおよび/またはタッチを検出するように構成されているタッチスクリーン・インタフェースを含むことができる。応答により、メディア・デバイスは、遠隔制御デバイスに再生位置情報を提供することができる。遠隔制御デバイスは、次で、メディア・デバイスから受信された位置情報上の再生に基づいて、スライダ(320)にマルチメディア・コンテンツの現在の再生位置を表示させることができる。
一実施態様では、遠隔制御デバイスが常にスライダ(320)を更新するために、遠隔制御デバイスは、マルチメディア・コンテンツの再生位置に関する情報を、連続的に、受信することができる。別の実施態様では、マルチメディア・コンテンツの再生位置に関する情報は、周期的に受信することができ、かつ遠隔制御デバイスは、この情報が受信されるたびに、スライダを更新することができる。
一実施態様では、遠隔制御デバイスは、マルチメディア・デバイスによる表示のために、マルチメディア・コンテンツをマルチメディアのデバイスに送信することができる。例えば、遠隔制御デバイスは、インターネットによりビデオ・ストリームを取得することができ、かつマルチメディア・デバイスでの表示のために、ビデオ・ストリームをマルチメディア・デバイスに送信することができる。この具体例では、遠隔制御デバイスは、遠隔制御デバイスそのものによって決定される再生位置の情報に基づいて、スライダ(320)の表示位置を決定することができる。例えば、遠隔制御デバイスは、遠隔制御デバイスからマルチメディア・デバイスに送信されつつあるフレームに基づいて、再生位置の情報を計算することができる。
9.0 実施態様の具体例
一実施態様の方法は、デバイスのタッチスクリーン・インタフェース上の特定領域における、特定領域の第一の位置から特定領域の第二の位置までのスライド・ジェスチャを検出するステップと、少なくともスライド・ジェスチャに基づいて、ビデオ再生コマンドを特定するステップと、ビデオ再生コマンドに関連するアクションを実行するステップとを備え、この方法は、少なくとも1個のデバイスによって実行される。
一実施態様では、このスライドするジェスチャは、特定領域内で表示されるいかなるビデオ進行インディケータの選択も検出せずに、検出される。特定領域の少なくともビデオの一部を表示する間に、特定領域において、スライド・ジェスチャを検出することができる。特定領域の1個以上のジェスチャをどのように実行すべきかという情報を表示する間、特定領域内でスライド・ジェスチャを検出することができる。
一実施態様では、ビデオ再生コマンドを特定するステップは、更に、タッチスクリーン・インタフェース上の複数の領域の内、スライド・ジェスチャが検出された特定領域に基づく。
一実施態様では、アクションを実行するステップは、第一のデバイスが、ビデオ再生コマンドに基づく情報を、第二のデバイスに送信するステップを、備える。ビデオに関連するアクションを実行するステップは、スライド・ジェスチャを検出するデバイスと同じデバイス上のアクションを実行するステップを、備えることができる。ビデオ再生コマンドは、再生速度と方向を選択することができる。
一実施態様では、スライド・ジェスチャは、第一の位置から第二の位置へのスワイプ・ジェスチャを備える。スライド・ジェスチャは、第一の位置で開始するフリック・ジェスチャを備えることができる。
一実施態様では、ビデオ再生コマンドは、ビデオの再生を中断すること、ビデオの再生を再開すること、ビデオの再生された部分をリプレイすること、ビデオの再生を停止すること、ビデオの再生を停止しかつ特定の再生位置でビデオの再生を再開すること、スローモーションでビデオを再生すること、ビデオをコマ送りすること、最初からビデオを再生すること、次のプレイリストから1個以上のビデオを再生すること、特定の場面からビデオを再生すること、ビデオ内に再生位置をブックマークすること、再生を停止し、ブックマークされた位置で再生を再開すること、またはビデオを評価付けすること、の内の1個以上である。
一実施態様の方法は、デバイスのタッチスクリーン・インタフェース上の複数の平行ジェスチャを同時に検出するステップと、複数の平行ジェスチャの数を決定するステップと、複数の平行ジェスチャの数に基づいて複数のコマンドからコマンドを選択するステップと、コマンドに関連するアクションを実行するステップとを備える。
一実施態様では、コマンドを選択するステップは、複数の平行ジェスチャの数に基づいて、メニューオプションを選択するステップを備える。複数の平行ジェスチャは、同じ方向で実行される複数の平行のスライドするジェスチャを備えることができる。
一実施態様では、複数の平行ジェスチャの数を決定するステップは、タッチスクリーン・インタフェースで同時に実行されたタップ・ジェスチャの数を決定するステップを備える。
本明細書においては、これらの方法のステップを実行するものとして、特定のコンポーネントが詳述されているが、他の実施態様においては、指定されたコンポーネントのために作動するエージェントまたはメカニズムが、これらの方法のステップを実行することができる。更に、いくつかの本発明の態様が、システム上のコンポーネントについて論じられているが、本発明は、多数のシステムに分布するコンポーネントによって実行させることもできる。本発明の実施態様は、本明細書に記述されるこれらの方法ステップを実行する手段を含む如何なるシステムも含む。本発明の実施態様には、それが実行されると、本明細書に記述されるこれらの方法のステップを実行させる命令を有するコンピュータ可読の媒体も含まれる。
10.0 ハードウェアの概要
一実施態様によれば、本明細書に記述される技術は、1個以上の特別目的計算デバイスによって実行される。この特別目的計算デバイスは、これらの技術を実行するためにハードワイヤードにより構成されても良く、または1個以上の特定用途向け集積回路(ASIC)またはこれらの技術を実行するように持続的にプログラムされるフィールド・プログラマブル・ゲートアレイ(FPGA)のようなデジタル電子デバイスを含むことができ、またはファームウェア、メモリ、他の格納装置またはこれらの組合せ内のプログラム命令に従ってこれらの技術を実行するようにプログラムされている1個以上の汎用ハードウェア・プロセッサを含むことができる。このような特別目的計算デバイスは、これらの技術を達成するために、カスタム・ハードワイヤード・ロジック、ASICまたはFPGAをカスタムメイドのプログラミングに結合させることもできる。この特別目的計算デバイスは、デスクトップ計算機システム、携帯コンピュータ・システム、ハンドヘルド・デバイス、ネットワーキング・デバイス、またはこれらの技術を実行するハードワイヤード・ロジックおよび/またはプログラム・ロジックが組み込まれた他の任意のデバイスとすることができる。
例えば、図4は、本発明の実施態様を実行することができるコンピュータ・システム400を示すブロック・ダイヤグラムである。コンピュータ・システム400は、情報を通信するためのバス402または他の通信メカニズム、およびバス402に結合させた情報を処理するためのハードウェア・プロセッサ404を含む。ハードウェア・プロセッサ404は、例えば、汎用マイクロ・プロセッサとすることができる。
コンピュータ・システム400は、プロセッサ404によって実行される情報および命令を格納するための、バス402に結合されている(ランダム・アクセス・メモリ(RAM)または他の動的格納デバイスのような)メイン・メモリ406を含む。メイン・メモリ406は、プロセッサ404によって実行される命令の実行中の一時的変数または他の中間情報を格納するためにも使用することができる。プロセッサ404にアクセス可能な固定格納媒体に格納されると、このような命令は、コンピュータ・システム400を、これらの命令で指定されているオペレーションを実行するようにカスタマイズされている特別目的マシンに、変える。
コンピュータ・システム400は、更に、プロセッサ404のための静的情報および命令を格納するためのバス402に結合されている読出し専用メモリ(ROM)408または他の静的格納デバイスも含む。磁気ディスクまたは光学のディスクのような格納デバイス410が、情報および命令を格納するために設けられ、かつバス402に結合される。
コンピュータ・システム400は、コンピュータ・ユーザに情報を表示するために、陰極線管(CRT)のような、ディスプレイ412に、バス402を介して結合させることができる。英数字キーおよび他のキーを含む入力デバイス414は、情報およびコマンドの選択をプロセッサ404に通信させるためにバス402に結合される。ユーザ入力デバイスの別のタイプは、マウスのようなカーソル制御416、トラックボール、または方向情報及びコマンド選択をプロセッサ404に通信しかつ表示412上のカーソル移動を制御するためのカーソル方向キーである。この入力デバイスは、典型的には、2本の軸(デバイスが面内の位置を特定することを可能にする第一の軸(例えば、x)および第二の軸(例えば、y)内に2個の自由度を有する。
コンピュータ・システム400は、カスタマイズされたハードワイヤード・ロジック、1個以上のASICまたはFPGA、ファームウェア、および/またはコンピュータ・システムと協働してコンピュータ・システム400を特別目的マシンに変えるコンピュータ・ロジック、を使用して本明細書に記述される技術を実行することができる。一実施態様によれば、本明細書における技術は、プロセッサ404が、メイン・メモリ406に含まれる1個以上の命令の1個以上のシーケンスを実行することに応じて、コンピュータ・システム400によって実行される。このような命令は、格納デバイス410のような別の格納媒体からメイン・メモリ406に読み込ませることができる。メイン・メモリ406に含まれる命令のシーケンスの実行により、プロセッサ404が、本明細書に記述されるプロセス工程を実行する。別の実施態様の場合、ハードワイヤード回路を、ソフトウェア命令の代わりにまたはそれと共に使用することができる。
「格納媒体」という本明細書において使用される用語は、特定の方法でマシンを作動させるデータおよび/または命令を格納する如何なる固定媒体をも意味する。このような格納媒体は、不揮発性媒体および/または揮発性媒体を備えることができる。不揮発性媒体は、例えば、格納デバイス410のような光学または磁気ディスクを含む。揮発性媒体は、メイン・メモリ406のような動的メモリを含む。格納媒体の一般的な形態は、例えば、フロッピ・ディスク、フレキシブル・ディスク、ハード・ディスク、SSD(ソリッド・ステート・ドライブ)、磁気テープ、または他の任意の磁気データ格納媒体、CD-ROM、他の任意の光学データ格納媒体、穴のパターンを有する任意の物理媒体、RAM、PROMおよびEPROM、フラッシュEPROM、NVRAM、他の任意のメモリチップまたはカートリッジを含む。
格納媒体は、知覚できるものであるが、転送媒体と共に使用することもできる。転送媒体とは、格納媒体の間に情報を転送するものである。例えば、転送媒体は、バス402を備えるワイヤを含む同軸ケーブル、銅線および光ファイバを含む。転送媒体は、電波通信および赤外データ通信が行われている間に生成されるもののような、音響波または光波の形態をとることもできる。
媒体のさまざまな形態は、プロセッサ404に実行させる1個以上の命令の1個以上のシーケンスを担持することに関係する。例えば、命令は、最初、リモート・コンピュータの磁気ディスクまたはSSDに担持させることができる。リモート・コンピュータは、命令をその動的メモリにロードしかつモデムを使用して電話回線により命令を送信することができる。コンピュータ・システム400にローカルに備えられたモデムは、電話回線上のデータを受信し、かつ赤外送信器を使用してデータを赤外信号に変換することができる。赤外検出器は、赤外信号により担持されるデータを受信することができ、かつ適切な回路は、データをバス402に配置することができる。バス402は、データをメイン・メモリ406に運び、プロセッサ404は、そこから、命令を読み出しかつ実行する。メイン・メモリ406によって受信された命令は、オプションとして、プロセッサ404による実行の前または後の何れかに格納デバイス410に格納することができる。
コンピュータ・システム400は、バス402に結合されている通信インタフェース418も含む。通信インタフェース418は、ローカル・ネットワーク422に接続されているネットワーク・リンク420に、双方向データ通信カップリングを提供する。例えば、通信インタフェース418は、総合サービス・デジタル・ネットワーク(ISDN)カード、ケーブル・モデム、衛星モデム、またはデータ通信接続を電話回線が対応するタイプに提供するモデム、とすることができる。別の具体例として、通信インタフェース418を、データ通信接続を互換のLANに提供するローカル・エリア・ネットワーク(LAN)カードとすることもできる。無線リンクを、実行することもできる。このような実施の何れにおいても、通信インタフェース418は、様々なタイプの情報を表すデジタル・データ・ストリームを担持する電気、電磁または光学信号を送信しかつ受信する。
ネットワーク・リンク420は、典型的には、1個以上のネットワークを介してデータ通信を他のデータ・デバイスに提供する。例えば、ネットワーク・リンク420は、ローカル・ネットワーク422により、ホスト・コンピュータ424にまたはインターネット・サービス・プロバイダ(ISP)426が作動させるデータ機器に、接続を提供することができる。他方、ISP426は、現在一般に「インターネット」428と呼ばれる世界規模のパケット・データ通信ネットワークにより、データ通信サービスを提供する。ローカル・ネットワーク422およびインターネット428は、両者とも、デジタル・データ・ストリームを担持する電気、電磁または光学信号を使用する。さまざまなネットワークを介した信号およびネットワーク・リンク420上の信号および(コンピュータ・システム400へ/からデジタルデータを担持する)通信インタフェース418を介した信号による信号は、転送媒体の具体例の形態である。
コンピュータ・システム400は、ネットワーク、ネットワーク・リンク420および通信インタフェース418を介して、メッセージを送信し、かつプログラム・コードを含むデータを受信する。インターネットの具体例の場合、サーバ430は、インターネット428、ISP426、ローカル・ネットワーク422および通信インタフェース418を介して、アプリケーション・プログラムに対してリクエストされたコードを送信するかもしれない。
プロセッサ404は、受信されたコードを、それが受信されると同時に実行し、および/またはストレージ・デバイス410に格納し、または後の実行のために他の持久記憶装置に格納することができる。
一実施態様の場合、装置は、1個以上のハードウェアおよび/または本明細書に記述されるソフトウェア・コンポーネントの組合せである。一実施態様の場合、ステップを実行するためのサブシステムは、1個以上のハードウェアおよび/またはステップを実行するように構成することができるソフトウェア・コンポーネントの組合せである。
11.0 拡張および変形例
前述の明細書において、本発明の実施態様が、実施ごとに異なる多数の特定の詳細を参照して記述された。従って、何が発明であるか、かつ何が本出願人が意図する発明であるかを示す唯一かつ排他的な指標は、以降の如何なる補正も含めて、このような請求項が生じる特定の形態で、本出願から生じる請求項の組である。このような請求項に含まれる用語に対する本明細書で明白に述べられた何れの定義も、請求項において用いられているこのような用語の意味を決める。それ故、請求項において明白に記載されていない限定、素子、属性、特長、利点または属性は、如何なる形であれこのような請求項の範囲を制限するものではない。従って、明細書および図面は、限定するものではなく、例示するものであると考えるべきである。

Claims (8)

  1. ・第一のデバイスのタッチスクリーン・インタフェース上の複数の平行ジェスチャを、同時に、検出するステップ、
    ・前記複数の平行ジェスチャの数を決定するステップ、
    ・前記タッチスクリーン・インタフェースの第一の領域内において前記複数の平行ジェスチャを同時に検出することに基づいて、
    前記複数の平行ジェスチャの前記数に基づいて複数のコマンドからコマンドを選択するサブステップであって、前記複数のコマンドが、各々がオプション番号を有する、表示されたオプションのメニューに対応していて、
    前記コマンドを選択するステップが、前記複数のコマンドの内の特定オプションに対応するコマンドを選択することを備え、前記表示されたオプションのメニューが、2つの平行ジェスチャに対応する少なくとも1つのオプションおよび3つの平行ジェスチャに対応する他のオプションを含む、サブステップと、
    前記第一のデバイスでまたは前記第一のデバイスに通信で結合されている第二のデバイスで、前記選択されたコマンドを実行させるサブステップとを、
    備えるステップ、および
    ・前記タッチスクリーン・インタフェースの、前記第一の領域とは異なる第二の領域内において前記複数の平行ジェスチャを同時に検出することに基づいて、
    前記第一のデバイスでまたは前記第一のデバイスに通信で結合されている前記第二のデバイスで、前記複数の平行ジェスチャの数に対応するトリック・プレイのコマンドを、マルチメディア・コンテンツの再生について、実行させるステップであって、前記トリック・プレイのコマンドが、オプションの前記メニューに対応する前記複数のコマンドとは異なる、ステップ、
    を備える方法。
  2. 前記オプションの各々が、前記マルチメディア・コンテンツ内のブックマークに対応していて、
    前記選択されたコマンドの実行が、前記特定のオプションに対応する特定のブックマークに関連する再生位置から前記マルチメディア・コンテンツを再生することを備える、請求項1に記載の方法。
  3. 前記複数のジェスチャが、同じ方向で実行される複数のスライドする平行ジェスチャを備える、請求項1に記載の方法。
  4. 前記複数の平行ジェスチャの前記数を決定するステップが、前記タッチスクリーン・インタフェース上で同時に実行されるタップ・ジェスチャの数を決定することを備える、請求項1に記載の方法。
  5. 前記選択されたコマンドを実行させるステップが、前記第一のデバイスに通信で結合されている前記第二のデバイスで、前記選択されたコマンドを実行させることを備える、請求項1に記載の方法。
  6. 前記選択されたコマンドが、フォルダ階層をナビゲートする、請求項1に記載の方法。
  7. 1つ以上のプロセッサに実施させると請求項1に記載のステップを実行させる命令のシーケンスを備える1つ以上のコンピュータ可読ストレージ媒体。
  8. 1つ以上のプロセッサを備えるデバイスであって、請求項1に記載のステップを実行するように構成されている、デバイス。
JP2016228326A 2011-01-06 2016-11-24 ジェスチャに基づく制御方法および装置 Active JP6220953B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US12/986,054 US20120179967A1 (en) 2011-01-06 2011-01-06 Method and Apparatus for Gesture-Based Controls
US12/986,060 2011-01-06
US12/986,054 2011-01-06
US12/986,060 US9430128B2 (en) 2011-01-06 2011-01-06 Method and apparatus for controls based on concurrent gestures

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013548535A Division JP6115728B2 (ja) 2011-01-06 2012-01-05 ジェスチャに基づく制御方法および装置

Publications (2)

Publication Number Publication Date
JP2017054538A JP2017054538A (ja) 2017-03-16
JP6220953B2 true JP6220953B2 (ja) 2017-10-25

Family

ID=46457709

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013548535A Active JP6115728B2 (ja) 2011-01-06 2012-01-05 ジェスチャに基づく制御方法および装置
JP2016228326A Active JP6220953B2 (ja) 2011-01-06 2016-11-24 ジェスチャに基づく制御方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013548535A Active JP6115728B2 (ja) 2011-01-06 2012-01-05 ジェスチャに基づく制御方法および装置

Country Status (5)

Country Link
EP (1) EP2661669A4 (ja)
JP (2) JP6115728B2 (ja)
CN (1) CN103329075B (ja)
CA (1) CA2823388A1 (ja)
WO (1) WO2012094479A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186577A (ja) 2013-03-25 2014-10-02 Konica Minolta Inc ビューワ装置および画像形成装置
TW201543268A (zh) * 2014-01-07 2015-11-16 Thomson Licensing 用於使用手勢控制媒體播放之系統及方法
US10990214B2 (en) 2014-06-18 2021-04-27 Google Llc Methods, systems, and media for controlling playback of video using a touchscreen
KR20160018268A (ko) * 2014-08-08 2016-02-17 삼성전자주식회사 라인 인터랙션을 이용하여 컨텐트를 제어하는 방법 및 장치
CN105446608A (zh) * 2014-09-25 2016-03-30 阿里巴巴集团控股有限公司 信息搜索方法、信息搜索装置及电子装置
CN107341259B (zh) * 2014-11-25 2020-11-20 北京智谷睿拓技术服务有限公司 搜索方法及装置
CN105744322B (zh) * 2014-12-10 2019-08-02 Tcl集团股份有限公司 一种屏幕焦点的控制方法及装置
CN104657059A (zh) * 2015-03-16 2015-05-27 联想(北京)有限公司 一种数据处理方法及电子设备
WO2017044326A2 (en) * 2015-09-09 2017-03-16 Cpg Technologies, Llc Device location and antitheft system
CN105389118B (zh) * 2015-12-10 2018-12-11 广东欧珀移动通信有限公司 一种音频文件的切换方法及用户终端
US10397632B2 (en) 2016-02-16 2019-08-27 Google Llc Touch gesture control of video playback
CN105867775A (zh) * 2016-03-28 2016-08-17 乐视控股(北京)有限公司 一种调整视频播放进度的方法及移动终端
DE202016105915U1 (de) * 2016-10-21 2016-11-16 Ma Lighting Technology Gmbh Lichtstellpult mit Drehregler
US10699746B2 (en) 2017-05-02 2020-06-30 Microsoft Technology Licensing, Llc Control video playback speed based on user interaction
JP6483306B1 (ja) * 2018-03-30 2019-03-13 ピーシーフェーズ株式会社 動画再生制御システム
CN109753148A (zh) * 2018-11-15 2019-05-14 北京奇艺世纪科技有限公司 一种vr设备的控制方法、装置及控制终端
JP7286760B2 (ja) 2019-04-09 2023-06-05 マクセル株式会社 ヘッドマウント情報処理装置
KR102349629B1 (ko) * 2020-03-25 2022-01-12 주식회사 트윙클소프트 직관적인 ui/ux를 이용한 콘텐츠 공유 서비스 제공 방법
CN112104915B (zh) * 2020-09-14 2022-08-26 腾讯科技(深圳)有限公司 一种视频数据处理方法、装置及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
JP2001325071A (ja) * 2000-05-17 2001-11-22 Tokai Rika Co Ltd タッチ操作入力装置
KR101128572B1 (ko) * 2004-07-30 2012-04-23 애플 인크. 터치 감지 입력 장치용 제스처
ATE446539T1 (de) * 2004-11-24 2009-11-15 Research In Motion Ltd System und verfahren zur selektiven aktiverung eines kommunikationsgerätes
EP1672471A1 (en) * 2004-12-14 2006-06-21 Thomson Multimedia Broadband Belgium Content playback device with touch screen
US20080084400A1 (en) * 2006-10-10 2008-04-10 Outland Research, Llc Touch-gesture control of video media play on handheld media players
DE202007014957U1 (de) * 2007-01-05 2007-12-27 Apple Inc., Cupertino Multimediakommunikationseinrichtung mit Berührungsbildschirm, der auf Gesten zur Steuerung, Manipulierung und Editierung von Mediendateien reagiert
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US7889175B2 (en) * 2007-06-28 2011-02-15 Panasonic Corporation Touchpad-enabled remote controller and user interaction methods
US20090156251A1 (en) * 2007-12-12 2009-06-18 Alan Cannistraro Remote control protocol for media systems controlled by portable devices
KR20090077480A (ko) * 2008-01-11 2009-07-15 삼성전자주식회사 조작 가이드를 표시하는 ui 제공방법 및 이를 적용한멀티미디어 기기
JP4666053B2 (ja) * 2008-10-28 2011-04-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5233708B2 (ja) * 2009-02-04 2013-07-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
CN103329075A (zh) 2013-09-25
JP6115728B2 (ja) 2017-04-19
WO2012094479A1 (en) 2012-07-12
EP2661669A1 (en) 2013-11-13
JP2014506369A (ja) 2014-03-13
CN103329075B (zh) 2017-12-26
JP2017054538A (ja) 2017-03-16
CA2823388A1 (en) 2012-07-12
EP2661669A4 (en) 2017-07-05

Similar Documents

Publication Publication Date Title
JP6220953B2 (ja) ジェスチャに基づく制御方法および装置
US9430128B2 (en) Method and apparatus for controls based on concurrent gestures
US20120179967A1 (en) Method and Apparatus for Gesture-Based Controls
US11397525B2 (en) Flick to send or display content
JP7261294B2 (ja) マルチメディアファイルの再生制御方法及び端末機器
US9632685B2 (en) Method of navigating through a media program displayed on a portable electronic device in a magnified time scale
EP3779661B1 (en) Directional touch remote
RU2533634C2 (ru) Устройство обработки информации, способ обработки информации и программа
US20110145745A1 (en) Method for providing gui and multimedia device using the same
US20160253087A1 (en) Apparatus and method for controlling content by using line interaction
WO2015052961A1 (ja) 情報処理装置
JP5725767B2 (ja) 情報処理装置及びその制御方法
JP6287320B2 (ja) 画像処理装置および画像処理プログラム
JP2018085150A (ja) 電子機器およびプログラム
JP6481310B2 (ja) 電子機器及び電子機器の制御プログラム
TW201319917A (zh) 音頻播放裝置及控制音頻播放裝置操作的方法
KR20100125784A (ko) 터치입력 방식의 전자기기 및 그 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161221

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170224

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170802

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171002

R150 Certificate of patent or registration of utility model

Ref document number: 6220953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250