JP6056715B2 - コンテンツの部分の境界を再配置するシステム、プログラム及び計算処理装置 - Google Patents

コンテンツの部分の境界を再配置するシステム、プログラム及び計算処理装置 Download PDF

Info

Publication number
JP6056715B2
JP6056715B2 JP2013183411A JP2013183411A JP6056715B2 JP 6056715 B2 JP6056715 B2 JP 6056715B2 JP 2013183411 A JP2013183411 A JP 2013183411A JP 2013183411 A JP2013183411 A JP 2013183411A JP 6056715 B2 JP6056715 B2 JP 6056715B2
Authority
JP
Japan
Prior art keywords
content
gesture
selection range
boundary
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013183411A
Other languages
English (en)
Other versions
JP2014182786A (ja
Inventor
ローラン　ドゥヌ
ドゥヌ ローラン
カーター スコット
カーター スコット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Publication of JP2014182786A publication Critical patent/JP2014182786A/ja
Application granted granted Critical
Publication of JP6056715B2 publication Critical patent/JP6056715B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、計算処理装置のユーザ・インターフェイスに関し、詳細には、表示装置上の情報を選択するための方法、プログラム及びシステムに関する。
例えば、タッチスクリーンなどの表示装置上でテキストを選択すること、特に、携帯電話のような携帯用計算処理装置の小さいスクリーン上でテキストを選択することはユーザにとって困難である。図１及び図２は、今日の市場における多くの携帯用装置に実装されている従来のタップ・アンド・ホールド・テキスト選択技術１００を例示している。この技術によれば、携帯用装置１０１のユーザは、対象ワードをタップすることにより、携帯用装置１０１の画面に表示されているテキスト１０２の中のワード１０５のような所望の対象ワードを、まず選択する。対象ワード選択が行われた後、ユーザは、テキスト選択境界を指定している２つのニードル１０３及び１０４を移動することにより選択範囲を調整する。選択境界は、ユーザの指によってニードル１０３及び１０４のいずれかをタッチし、携帯用装置１０１の画面を横切るように指をドラッグすることによって、調整される（再配置される）。上記従来の技術はいくつかの理由で不便であり、かつ、時間がかかる。第１に、ユーザはまず対象ワード１０５を識別し、その後、選択の最初と最後を示すマークであるニードル１０３及び１０４を用いてテキスト選択を注意深く拡張しなければならいため、選択に時間がかかる。第２に、テキスト１０２から対象ワードを適切に選択するために、ユーザはズームインする必要がある。その後、ユーザは、テキスト１０２の他の部分を選択するために、（テキスト１０２の全てを見ることができないので、）図２に示されるように、ズーム・アウトする必要がある。第３に、ユーザの指がテキスト１０２を隠し、現在のテキスト選択１０５の上に表示される小さい拡大鏡１０６は、多くの場合、十分なコンテキスト（文脈）を提供しない。最後に、ユーザは、一般に、装置１０１を一方の手で保持し、他方の手の人差し指で選択の端点（ニードル）１０３及び１０４を注意深く調整しなければならない。これは不便である。
米国特許出願公開第２０１１／００４３４５５号明細書 米国特許出願公開第２０１１／００４３４５３号明細書
アドコック(Adcock)ら、「トークマイナー：レクチャー・ウェブキャスト・サーチ・エンジン(TalkMiner: A lecture webcast search engine)」、ＡＣＭ ＭＭ、２０１０年、頁２４１〜２５０
例えば、上記従来のテキスト選択技術などの従来の技術は機能するし、頻繁ではないテキスト選択（例えば、ワードのコピー）には適している。しかし、ユーザが記事を読み、当該記事の重要な部分にハイライトを付与する必要がある場合などにはより頻繁なテキスト選択が必要とされ、上記技術はユーザに苛立たしさを感じさせるほど時間がかかることは当業者には明らかである。それゆえ、従来のコンテンツ選択方法は問題を含み、新規かつ改良された技術が必要とされている。
本発明の第１の態様は、コンテンツの一部をユーザのジェスチャーによって選択させるためのシステムであって、表示された前記コンテンツに対するユーザのジェスチャーを、既に設定された選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断するジェスチャー分析モジュールと、前記ジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を再配置し、前記ジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置を再配置する選択調整モジュールとを備える。
本発明の第２の態様は、第１の態様のシステムであって、前記選択調整モジュールは、前記コンテンツの先頭側に向かうジェスチャーが検出された場合には、前記選択範囲の境界を前記コンテンツの先頭側に移動し、前記コンテンツの末尾側に向かうジェスチャーが検出された場合には、前記選択範囲の境界を前記コンテンツの末尾側に移動する。
本発明の第３の態様は、第１の態様のシステムであって、前記選択調整モジュールは、検出されたユーザのジェスチャーが大きいほど前記選択範囲の境界を大きく移動する。
本発明の第４の態様は、第１の態様のシステムであって、コンテンツはセグメントに分けられており、前記選択調整モジュールは、前記コンテンツのセグメントの境界に更に基づいて、前記選択範囲の境界を変更する。
本発明の第５の態様は、第１の態様のシステムであって、前記選択調整モジュールは、前記選択範囲の境界を移動しているあいだに当該境界が前記コンテンツのセグメントの境界の１つに達した場合には、前記選択範囲の境界を移動する速度を下げる。
本発明の第６の態様は、第１の態様のシステムであって、前記コンテンツはテキストであり、前記コンテンツは、単語の境界、節の境界、文の境界、空白、句点、読点、カンマ、及び、ピリオドの少なくとも１つに基づいてセグメントに分けられている。
本発明の第７の態様は、第１の態様のシステムであって、前記コンテンツはビデオであり、前記コンテンツは、空間的な近さ、時間的な近さ、及び、内容の近さのうちの少なくとも１つに基づいてセグメントに分けられている。
本発明の第８の態様は、第１の態様のシステムであって、タッチパネル方式のディスプレイデバイスに前記コンテンツを表示するユーザ・インターフェイス生成モジュールと、ユーザによる前記ディスプレイデバイスに対するタップのジェスチャーを検出した場合に、前記コンテンツのうちタップされた部分を前記選択範囲として設定する選択モジュールとを更に備え前記ジェスチャー分析モジュールは、ユーザによる前記ディスプレイデバイスに対するスワイプのジェスチャーを、前記選択範囲の外側であって前記選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断し、前記選択調整モジュールは、前記スワイプのジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を前記スワイプの方向に移動し、前記スワイプのジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置を前記スワイプの方向に移動する。
本発明の第９の態様は、コンテンツの一部をユーザのジェスチャーによって選択させるための方法であって、表示された前記コンテンツに対するユーザのジェスチャーを、既に設定された選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかをコンピュータによって判断し、前記ジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置をコンピュータによって再配置し、前記ジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置をコンピュータによって再配置する。
本発明の第１０の態様は、コンピュータによって、コンテンツの一部をユーザのジェスチャーによって選択させるためのプログラムであって、前記コンピュータに、表示された前記コンテンツに対するユーザのジェスチャーを、既に設定された選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断し、前記ジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を再配置し、前記ジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置をコンピュータによって再配置することを実行させる。
本発明の第１１の態様の方法では、プロセッサを含む計算処理システムが、ａ．表示装置上にセグメント化されたコンテンツを表示し、ｂ．前記表示装置上に表示されている前記セグメント化されたコンテンツの部分のユーザによる初期選択を検出し、表示されている前記セグメント化されたコンテンツの選択された前記部分の境界にマークを付し、ｃ．表示されている前記セグメント化されたコンテンツの選択された前記部分の前記マークを付された境界の外側のユーザによるジェスチャーを検出し、ｄ．前記ジェスチャーの検出に応じて、少なくとも一つの前記ジェスチャーの特性及び前記セグメント化されたコンテンツに基づいて、表示されている前記セグメント化されたコンテンツの選択された前記部分の前記境界の少なくとも部分を再配置し、ｅ．前記表示装置上の前記セグメント化されたコンテンツの選択された前記部分の再配置された前記境界にマークを付す。
本発明の第１２の態様は、第１１の態様の方法であって、前記計算処理システムは、少なくとも１つの前記ユーザのジェスチャーが追加された場合、ｃ〜ｅを繰り返す。
本発明の第１３の態様は、第１１または第１２の態様の方法であって、前記セグメント化されたコンテンツは、ワードの境界、語句の境界、センテンスの境界、もしくは句読点の少なくとも１つに基づいてセグメント化されたテキスト・コンテンツを含む。
本発明の第１４の態様は、第１１〜第１３のいずれかの態様の方法であって、前記セグメント化されたコンテンツは、空間的近似度、時間的近似度、もしくはコンテキストの近似度に基づいて、複数のセグメントにクラスタリングされた複数のグラフィック要素を含むグラフィック・コンテンツを含む。
本発明の第１５の態様は、第１１〜第１４のいずれかの態様の方法であって、前記コンテンツ内に配置されている複数のコンテンツ・セグメンテーションの境界を用いて、前記コンテンツがセグメント化されている。
本発明の第１６の態様は、第１５の態様の方法であって、表示されている前記コンテンツの選択された前記部分の前記境界の部分が、前記複数のコンテンツ・セグメンテーションの境界の１つの位置に再配置される。
本発明の第１７の態様は、第１５または第１６の態様の方法であって、前記複数のコンテンツ・セグメンテーションの境界は少なくともワード境界及びセンテンス境界を含む。
本発明の第１８の態様は、第１５〜第１７のいずれかの態様の方法であって、前記複数のコンテンツ・セグメンテーションの境界は少なくともホワイト・スペース及び句読点によって定義される。
本発明の第１９の態様は、第１５〜第１８のいずれかの態様の方法であって、前記境界の再配置される部分が前記複数のコンテンツ・セグメンテーションの境界に近付くと、表示されている前記コンテンツの選択された前記部分の境界の少なくとも部分の再配置の速度が低減される。
本発明の第２０の態様は、第１１〜第１９のいずれかの態様の方法であって、前記ジェスチャーが表示されている前記セグメント化されたコンテンツの選択された前記部分の上流で検出された場合、表示されている前記コンテンツの選択された前記部分の前記境界の開始位置が再配置される。
本発明の第２１の態様は、第１１〜第２０のいずれかの態様の方法であって、前記ジェスチャーが表示されている前記セグメント化されたコンテンツの選択された前記部分の下流で検出された場合、表示されている前記コンテンツの選択された前記部分の前記境界の終了位置が再配置される。
本発明の第２２の態様は、第１１〜第２１のいずれかの態様の方法であって、表示されている前記コンテンツの選択された前記部分の前記境界の前記部分が、前記ジェスチャーの方向と同一の方向に再配置される。
本発明の第２３の態様は、第１１〜第２２のいずれかの態様の方法であって、前記計算処理システムはキーボードを備え、前記ジェスチャーは前記キーボードに依存せず検出される。
本発明の第２４の態様は、第１１〜第２３のいずれかの態様の方法であって、表示されている前記コンテンツの選択された前記部分の前記境界の少なくとも部分の再配置の程度は、少なくとも前記ジェスチャーの大きさに基づく。
本発明の第２５の態様は、第２４の態様の方法であって、前記コンテンツは、前記コンテンツ内に配置されている複数のコンテンツ・セグメンテーションの境界を用いてセグメント化され、表示されている前記コンテンツの選択された前記部分の前記境界の少なくとも部分の再配置の程度は、前記コンテンツ・セグメンテーションの境界にさらに基づく。
本発明の第２６の態様は、第１１〜第２５のいずれかの態様の方法であって、表示されている前記コンテンツの選択された前記部分の境界の部分を再配置する程度は、前記ジェスチャーのタイプに少なくとも基づく。
本発明の第２７の態様は、第１１〜第２６のいずれかの態様の方法であって、前記ユーザのジェスチャーの少なくとも部分は、表示されている前記セグメント化されたコンテンツの選択された前記部分のマークを付された前記境界内で検出される。
本発明の第２８の態様はプログラムであって、コンピュータに、ａ．表示装置上にセグメント化されたコンテンツを表示し、ｂ．前記表示装置上に表示されている前記セグメント化されたコンテンツの部分のユーザによる初期選択を検出し、表示されている前記セグメント化されたコンテンツの選択された前記部分の境界にマークを付し、ｃ．表示されている前記セグメント化されたコンテンツの選択された前記部分の前記マークを付された境界の外側のユーザによるジェスチャーを検出し、ｄ．前記ジェスチャーの検出に応じて、少なくとも一つの前記ジェスチャーの特性及び前記セグメント化されたコンテンツに基づいて、表示されている前記セグメント化されたコンテンツの選択された前記部分の前記境界の少なくとも部分を再配置し、ｅ．前記表示装置上の前記セグメント化されたコンテンツの選択された前記部分の再配置された前記境界にマークを付す、ことを実行させる。
本発明の第２９の態様は計算処理システムであって、ａ．表示装置にセグメント化されたコンテンツを表示させるユーザ・インターフェイス生成モジュールと、ｂ．表示されている前記セグメント化されたコンテンツの部分のユーザによる初期選択を検出し、前記表示装置上に表示されている前記セグメント化されたコンテンツの選択された前記部分の境界にマークを付させる初期選択モジュールと、ｃ．表示されている前記セグメント化されたコンテンツの選択された前記部分のマークを付された前記境界の外側で前記ユーザのジェスチャーを検出するジェスチャー分析モジュールと、ｄ．前記ジェスチャーの検出に応じて、前記ジェスチャーの少なくとも１つの特性及び前記コンテンツのセグメンテーションに基づいて表示されている前記セグメント化されたコンテンツの選択された前記部分の前記境界の少なくとも部分を再配置し、前記表示装置上の前記セグメント化されたコンテンツの選択された前記部分の再配置された前記境界にマークを付させる選択調整モジュールと、を備える。
本発明の第３０の態様の方法では、計算処理システムが、ａ．表示装置上にコンテンツを表示し、ｂ．前記表示装置上に表示されている前記コンテンツの部分のユーザによる初期選択を検出し、表示されている前記コンテンツの選択された前記部分の境界にマークを付し、ｃ．表示されている前記コンテンツの選択された前記部分の前記マークを付された境界の外側の前記ユーザによるジェスチャーを検出し、ｄ．前記ジェスチャーの検出に応じて、少なくとも一つの前記ジェスチャーの特性に基づいて、表示されている前記コンテンツの選択された前記部分の前記境界の少なくとも部分を再配置し、ｅ．前記表示装置上の前記コンテンツの選択された前記部分の再配置された前記境界にマークを付し、ｆ．前記ジェスチャーが表示されている前記コンテンツの選択された前記部分の上流で検出された場合、表示されている前記コンテンツの選択された前記部分の前記境界の開始部分を再配置し、ｇ．前記ジェスチャーが表示されている前記コンテンツの選択された前記部分の下流で検出された場合、表示されている前記コンテンツの選択された前記部分の前記境界の終了部分を再配置する。
本発明の構成を備えない場合よりも、表示装置上のテキスト選択を容易にする。
携帯型装置のタッチスクリーンを用いたテキスト選択の従来技術の操作を例示する。 携帯型装置のタッチスクリーンを用いたテキスト選択の従来技術の操作を例示する。 電子表示装置上に表示されるコンテンツの部分をユーザに選択させる本発明の携帯用計算処理システムを例示する。 電子表示装置上に表示されるコンテンツの部分をユーザに選択させる本発明の計算処理デスクトップ・システムを例示する。 電子表示装置上に表示されるコンテンツの部分をユーザに選択させる方法の操作シーケンスを例示する。 タッチ感知電子表示装置上に表示されるテキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示されるテキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示されるテキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示されるテキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示されるテキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示されるテキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示されるテキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示されるテキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示されるテキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示されるテキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示される非テキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示される非テキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示される非テキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示される非テキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。 タッチ感知電子表示装置上に表示される非テキスト・コンテンツの部分をユーザに選択させる本発明の操作の実施形態の一例である。
以下の詳細な記述において、添付の図面を参照する。図面において、同様の機能を有する要素は同様の参照符号で示されている。上記添付の図面は例示のためのものであり、限定のためのものではない。特定の実施例及び実装は本発明の原理と矛盾しない。これらの実装は当業者が発明を実施することができる程度に十分記載されている。他の実装が利用されてもよく、本発明の範囲及び思想から乖離することなく、様々な要素の構成の変更及び／または置き換えを行うことが可能である。したがって、以下の詳細な記述は、限定的に解釈されるべきではない。さらに、記述される発明の様々な実施例は、汎用目的計算処理装置上で稼働するソフトウェアの形態で実装されてもよいし、特定用途ハードウェアの形態で実装されてもよいし、ソフトウェアとハードウェアとの組み合わせによって実装されてもよい。
ここで、記載される技術の一態様によれば、電子表示装置上に表示される分割されたコンテンツの部分を選択するためのシンプルなジェスチャーをユーザが使用することができるようにする計算処理システム、関連する計算処理装置に実装される方法及び計算処理装置によって実行される命令を記憶している、計算処理装置によって可読な媒体が提供される。実施例の１つによれば、本発明のコンテンツ選択システムは、テキスト・コンテンツを選択するために適用される。代替的な実施例において、本発明のコンテンツ選択システムは、非テキスト・コンテンツを選択するために適用される。１つもしくは複数の実施例において、コンテンツを選択するために本発明のシステムと関連してユーザによって使用されることができるジェスチャーの例示は、（親指などの）指によるフリック、スワイプ、及び、画面全体のフリックを含む。記述される実施例において、指が選択されたテキストを隠さず、コンテンツ選択処理の間はいつでも、選択されているテキストをユーザが容易に見ることができるようにすることに留意されるべきである。さらに、上記スワイプもしくはフリック・ジェスチャーは親指などの細かい作業に適さない指によって実行されることができ、一方の手だけを使用して、ユーザは装置を保持し、かつ、選択を実行することができる。１つもしくは複数の実施例において、コンテンツの対象部分の初期選択を行った後、選択を拡張するために、例えば、右に選択を拡張するために、ユーザは、タッチスクリーン上を指で、単に、右にスワイプするか、フリックする。さらに、もしくは、代替的に、ユーザは、一方の手によるムーブ・ジェスチャー(move gesture)によって装置全体をフリックすることも可能である。記述されたシステムの様々な実施例は、ユーザのジェスチャーを検出するために構成され、検出されたジェスチャーの特性に基づいてコンテンツ選択を調整する。
さらに、１つもしくは複数の実施例において、コンテンツ選択プロセスを容易にさせるために、システムは、コンテンツ・セグメンテーションの様々なレベルに関する情報をさらに使用することができる。例えば、スワイプもしくはフリック・ジェスチャーを検出する際に、テキスト・コンテンツの場合、ホワイト・スペース、センテンスの最後、語句の最後、句読点、段落、もしくは、章の最後などのテキスト・セグメンテーション境界を、テキスト・コンテンツのさらなる選択を停止もしくは減速させるために使用してもよい。このコンテンツアウェアネスは、例えば、コンマまでワード・セットをユーザが迅速に選択することを容易にし、スワイプが続いたならば、この境界を超えてワードを選択させ、センテンスの最後まで当該コンマを越えて選択することを可能にする。
図３は、電子表示装置上に表示されるコンテンツの部分をユーザが選択することができる計算処理システム３００の実施例を示す。１つもしくは複数の実施例において、計算処理システム３００はスマートフォン、ＰＤＡ(personal digital assistant)、タブレット・コンピュータなどの移動用計算処理装置の形態で実装されてもよい。これらの全ては市販されており、当業者にはよく知られている。代替的な実施例において、計算処理システム３００はラップトップもしくはノートブック・コンピュータに基づいて実装されてもよい。さらに、代替的な実施例において、計算処理システム３００は埋め込みシステムであってもよく、電子ブック・リーダなどの特別な機能を有する電子デバイスに組み込まれていてもよい。さらに、別の実施例において、計算処理システム３００は、当業者にはよく知られている拡張現実ヘッドマウント・ディスプレイ（ＨＭＤ）システムの部分として実装されてもよい。
計算処理システム３００は、計算処理システム３００の様々なハードウェアによる構成要素をわたって、もしくは、それらの中で、情報を通信するためのデータ・バス３０４、もしくはその他の相互接続機構もしくは通信機構、情報を処理し、その他の計算処理タスク及び制御タスクを実行するための、データ・バス３０４に電気的に接続されている中央処理ユニット（ＣＰＵもしくはプロセッサ）３０１を含むことができる。計算処理システム３００は、様々な情報及びプロセッサ３０１によって実行される命令を記憶し、データ・バス３０４に接続されているランダム・アクセス・メモリ（ＲＡＭ）もしくはダイナミック・ストレージ・デバイスなどのメモリ３１２も含む。メモリ３１２は、磁気ディスク、光ディスク、半導体フラッシュ・メモリ・デバイスもしくはその他の不揮発性半導体ストレージ・デバイスなどの永続ストレージ・デバイスも含む。
１つもしくは複数の実施例において、メモリ３１２はプロセッサ３０１が命令を実行する間、一時的な変数もしくはその他の中間的な情報を記憶するために使用されてもよい。計算処理システム３００は、計算処理システム３００のオペレーションに必要なファームウェア、基本入出力システム（ＢＩＯＳ）、計算処理システム３００の様々な構成パラメータなどの、静的情報及びプロセッサ３０１のための命令を記憶するためにデータ・バス３０４に接続されている、リード・オンリー・メモリ（ＲＯＭもしくはＥＰＲＯＭ）３０２もしくはその他の静的ストレージ・デバイスを含んでもよいが、含まなくてもよい。
１つもしくは複数の実施例において、計算処理システム３００は表示装置３０９を含んでいてもよい。表示装置３０９は、データ・バス３０４に電気的に接続されており、計算処理システム３００のユーザに様々な情報を表示する。代替的な実施例において、表示装置３０９は（図示しない）グラフィック・コントローラ及び／またはグラフィック・プロセッサと関連付けられていてもよい。表示装置３０９は、例えば、ＴＦＴ(Thin-Film Transistor)技術もしくは有機ＬＥＤ(OLED: Organic Light Emitting Diode)技術を用いて製造されるＬＣＤ(Liquid Crystal Display)として実装されてもよい。ＴＦＴ技術及び有機ＬＥＤ技術は当業者によく知られている。様々な実施例において、表示装置３０９は、計算処理システム３００の残りの構成要素と共に同一の筐体に含まれていてもよい。代替的な実施例において、表示装置３０９は上記筐体の外部に位置してもよい。
１つもしくは複数の実施例において、表示装置３０９は、ユーザもしくはユーザの任意の部分に装着される（例えば、眼鏡などの）様々なオブジェクトに関する情報を投影するように構成されているプロジェクタもしくはミニプロジェクタの形態で実装されてもよい。１つもしくは複数の実施例において、表示装置３０９は、ユーザの頭部もしくはその他の適切な身体の部分に装着されるように構成されていてもよい。すなわち、表示装置３０９は、（図示しない）適切な装着ハードウェアによって提供されてもよい。
１つもしくは複数の実施例において、計算処理システム３００は、データ・バス３０４に電気的に接続され、ＭＰＥＧ−３ファイルなどの様々なオーディオ・ファイル、もしくは、ＭＰＥＧ−４ファイルなどの様々なビデオ・ファイルのオーディオ・トラックを再生するように構成されているオーディオ再生装置３２５をさらに含んでいてもよい。ＭＰＥＧ−３ファイル及びＭＰＥＧ−４ファイルは、当業者にはよく知られている。すなわち、計算処理システム３００は（図示しない）波形信号プロセッサ、サウンド・プロセッサ、もしくは同様のデバイスを含んでいてもよい。
１つもしくは複数の実施例において、計算処理システム３００は、上述したスワイプもしくはフリック・ジェスチャーなどのユーザのタッチによるコマンドを受信する、タッチスクリーン・インターフェイス３１０などの１つもしくは複数の入力装置を含むことができる。表示装置３０９と共に使用されるタッチスクリーン・インターフェイス３１０は、タッチスクリーン機能を表示装置３０９に与える。すなわち、タッチスクリーン・インターフェイス３１０と共に稼働する表示装置３０９は、タッチ感知表示装置もしくは単に「タッチスクリーン」として参照される。
計算処理システム３００は、様々なオブジェクトの静止画像及びビデオを取得するためにカメラ３１１及びキーボード３０６をさらに含んでいてもよい。オブジェクトは、ユーザ自身の手もしくは目を含む。カメラ３１１及びキーボード３０６は、情報を伝達するためにデータ・バス３０４に接続されていてもよい。情報は、画像、ビデオ、プロセッサ３０１への（ジェスチャーを含む）ユーザ・コマンドを含むが、これらに限定されるものではない。代替的な実施例において、入力装置は、（図示しない）ユーザの目の動きを追跡するシステムを含んでいてもよい。当該システムは、ユーザによって実行されるコマンド選択もしくはジェスチャーを計算処理システム３００に示すために使用されてもよい。実施例の１つにおいて、入力装置は、計算処理システム３００の後ろ側（表示側すなわち前面と反対の側）に位置するタッチ感知装置を含んでいてもよい。
１つもしくは複数の実施例において、計算処理システム３００は、現在の地理的な位置、空間的な方向、及び、計算処理システム３００の加速度に関するデータをデータ・バス３０４を介してプロセッサ３０１へ供給するように構成されている位置及び方向検出モジュール３０３を含んでいてもよい。地理的な位置情報は、例えば、ＧＰＳ(global positioning system)技術、及び／もしくは、もっとも近い携帯電話用通信塔及び／もしくはＷｉＦｉホットスポットによって提供される情報を使用することなどによるその他の位置検出技術を用いる位置検出モジュール３０３によって取得されてもよい。加速度データは、位置及び方向検出モジュール３０３に組み込まれている１つもしくは複数の加速度計によって供給される。最後に、方向情報は、重力を含む３軸全てにおける加速度計測を用いて取得されてもよい。１つもしくは複数の実施例において、位置及び方向検出モジュール３０３によって提供される位置、方向及び加速度メタデータは、継続的に記録され、データ・ストレージ・ユニット３２０に蓄積される。
１つもしくは複数の実施例において、計算処理システム３００は、データ・バス３０４に接続されているネットワーク・インターフェイス３０５などの通信インターフェイスをさらに含んでいてもよい。ネットワーク・インターフェイス３０５は、ＷｉＦｉアダプタ３０７及び／または携帯電話ネットワーク（ＧＳＭ（登録商標）もしくはＣＤＭＡ）・アダプタ３０８の少なくとも一方を用いて、計算処理システム３００とインターネット３２４との間の接続を確立するように構成されていてもよい。ネットワーク・インターフェイス３０５は、計算処理システム３００及びインターネット３２４の間の双方向データ通信が可能となるように構成されていてもよい。ＷｉＦｉアダプタ３０７は、当業者にはよく知られている８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ及び／または８０２．１１ｎプロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）プロトコルに従って動作してもよい。例示的な実装において、ＷｉＦｉアダプタ３０７及び携帯電話用ネットワーク（ＧＳＭ（登録商標）もしくはＣＤＭＡ）・アダプタ３０８は様々なタイプの情報を表すデジタル・データ・ストリームを搬送する電気信号もしくは電磁信号を送受信する。
１つもしくは複数の実施例において、インターネット３２４は、一般に、１つもしくは複数のサブネットワークを介して、その他のネットワーク・リソースへのデータ通信を提供する。すなわち、計算処理システム３００は、遠隔メディア・サーバ、ウェブ・サーバ、その他のコンテンツ・サーバ、及び、その他のネットワーク・データ・ストレージ・リソースなどのインターネット３２４上のどこかに位置する様々なネットワーク・リソースにアクセスすることができる。１つもしくは複数の実施例において、計算処理システム３００は、メッセージ、メディア及びアプリケーション・プログラム・コードを含むその他のデータを、ネットワーク・インターフェイス３０５によって、インターネット３２４を含む様々なネットワークを介して、送信するように構成されている。インターネットの例では、計算処理システム３００がネットワーク・クライアントとして動作する場合、計算処理システム３００上で実行されるアプリケーション・プログラムのコードもしくはデータが要求されてもよい。同様に、その他のネットワーク・リソースに様々なデータもしくはコンピュータ・コードを送信してもよい。
１つもしくは複数の実施例において、ここで記載された機能は、メモリ３１２に含まれている１つもしくは複数の命令の１つもしくは複数のシーケンスをプロセッサ３０１が実行することにより、計算処理システム３００によって実装される。このような命令は、他のコンピュータが読み取ることができる媒体からメモリ３１２に読み込まれてもよい。メモリ３１２に含まれている命令のシーケンスを実行することにより、ここで記載されている様々なプロセスのステップをプロセッサ３０１に実行させる。代替的な実施例において、本発明の実施例を実装するために、ハードウェアにより実現されている回路が、ソフトウェアの命令と置き換えて使用されてもよいし、ソフトウェアの命令と組み合わせて使用されてもよい。すなわち、記載された本発明の実施例は、ハードウェア回路及び／もしくはソフトウェアのいずれか特定の組み合わせに限定されるものではない。
「コンピュータ可読媒体」という用語は、実行のためにプロセッサ３０１に命令を提供する際に関係する任意の媒体を参照する。コンピュータ可読媒体は、機械可読媒体の一例に過ぎず、ここに記載される方法及び／もしくは技術のいずれかを実装するための命令を有していてもよい。このような媒体は、多くの形態をとることができ、不揮発性媒体、揮発性媒体などであってよいが、これらに限定されるものではない。
非一時的コンピュータ可読媒体の一般的な形態は、例えば、フロッピィ・ディスク、フレキシブル・ディスク、ハード・ディスク、磁気テープ、もしくは他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光媒体、パンチカード、紙テープ、パターンもしくは孔を有する他の任意の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュ・ドライブ、メモリ・カード、他の任意のメモリ・チップ、もしくは、カートリッジ、もしくは、コンピュータが読み取ることができる他の任意の媒体を含む。コンピュータ可読媒体の様々な形態は、実行させるためにプロセッサ３０１に１つもしくは複数の命令の１つもしくは複数のシーケンスを搬送することに含まれていてもよい。例えば、命令は、遠隔にある計算処理装置から磁気ディスク上にまず搬送されてもよい。代替的に、遠隔にある計算処理装置は、自身のダイナミック・メモリに命令をロードし、インターネット３２４を介して当該命令を送信してもよい。詳細には、計算処理命令は、当該技術ではよく知られている様々なネットワーク・データ通信プロトコルを使用して、インターネット３２４を介して、上述した遠隔にある計算処理装置から計算処理システム３００のメモリ３１２にダウンロードされてもよい。
１つもしくは複数の実施例において、計算処理システム３００のメモリ３１２は以下のソフトウェア・プログラム、アプリケーション、もしくはモジュールのいずれかを記憶していてもよい。
１．オペレーティング・システム（ＯＳ）３１３。オペレーティング・システム３１３は、基本システム・サービスを実装し、計算処理システム３００の様々なハードウェア構成要素を管理するための携帯用オペレーティング・システムであってよい。オペレーティング・システム３１３の実施例は、当業者にはよく知られている。オペレーティング・システム３１３は、知られている、もしくは、今後開発される携帯用オペレーティング・システムであってよい。
２．アプリケーション３１４。アプリケーション３１４は、例えば、計算処理システム３００のプロセッサ３０１によって実行されるソフトウェア・アプリケーションのセットを含んでいてもよい。アプリケーション３１４は、計算処理システム３００に所定の機能を実行させる。所定の機能とは、例えば、表示装置３０９にコンテンツを表示すること、タッチスクリーン・インターフェイス３１０もしくはカメラ３１１を使用してユーザのジェスチャーを検出すること、などである。１つもしくは複数の実施例において、アプリケーション３１４は、詳細を後述する本発明のコンテンツ選択アプリケーション３１５を含んでいてもよい。
３．データ・ストレージ３２０。データ・ストレージ３２０は、例えば、計算処理システム３００の表示装置３０９上でユーザに示される分割されたコンテンツなどのコンテンツを記憶するコンテンツ・ストレージ３２１、コンテンツ・セグメンテーション・メタデータ・ストレージ３２２、コンテンツ選択アプリケーション３１５を用いてユーザによって選択されたコンテンツの部分に関する情報を記憶する選択メタデータ・ストレージ３２３を含んでいてもよい。
１つもしくは複数の実施例において、本発明のコンテンツ選択アプリケーション３１５は、計算処理システム３００の表示装置３０９上に本発明のユーザ・インターフェイスを生成するように構成されているユーザ・インターフェイス（ＵＩ）生成モジュール３１６を含む。本発明のコンテンツ選択アプリケーション３１５は、コンテンツの対象部分の選択開始をユーザに行わせる初期選択モジュール３１７、コンテンツに関連して生成されたユーザのジェスチャーを検出して分析するジェスチャー分析モジュール３１８、検出されたユーザのジェスチャーに基づいて、ユーザの選択を調整する選択調整モジュール３１９をさらに含んでいてもよい。
代替的な実施例において、ここに記載される、電子表示装置上に表示されるコンテンツの部分をユーザに選択させる本発明の技術は、図４にその実施例を示すように、計算処理デスクトップ・システム４００上に展開されてもよい。１つもしくは複数の実施例において、計算処理デスクトップ・システム４００はデータ・バス４０４を含んでいてもよい。データ・バス４０４は、図３に示す計算処理システム３００のデータ・バス３０４と実質的に同様であり、実質的に同様に機能する。様々な実施例において、データ・バス４０４は、データ・バス３０４と同様の内部接続及び／もしくは通信プロトコルを使用してもよいし、異なる内部接続及び／もしくは通信プロトコルを使用してもよい。計算処理システム４００の１つもしくは複数のプロセッサ（ＣＰＵ）４０１、ネットワーク・アダプタ４０５、ＥＰＲＯＭ／ファームウェア・ストレージ４０２、表示装置４０９、キーボード４０６は、デスクトップ・プラットフォームのための構成に展開されることを除き、計算処理システム３００のプロセッサ３０１、ネットワーク・インターフェイス３０５、ＥＰＲＯＭ／ファームウェア・ストレージ３０２、表示装置３０９、キーボード３０６の各々と実質的に同様である。様々な実装において、１つもしくは複数のプロセッサ４０１は、プロセッサ３０１と比較して実質的に処理能力が高くてもよい。
入力装置（キーボード４０６）に加えて、計算処理デスクトップ・システム４００は、上述したスワイプ・ジェスチャーもしくはフリック・ジェスチャーなどのユーザのタッチ入力による命令を受信するタッチスクリーン・インターフェイス４１１、ユーザ自身の手もしくは目を含む様々なオブジェクトの静止画像及びビデオを取得する（図示しない）カメラ、プロセッサ４０１に方向情報及び命令選択を伝達するマウス、トラックボール、タッチパッド、カーソル方向キーなどのカーソル制御装置４１０を含むことができる。入力装置は、一般に、装置に平面の位置を特定させる２軸（第１軸（例えば、ｘ）、第２軸（例えば、ｙ））の２自由度を有する。
計算処理デスクトップ・システム４００のＬＡＮ／ＩＳＤＮアダプタ４０７は、例えば、（図示しない）インターネット・サービス・プロバイダのハードウェアを用いてインターネット３２４とのインターフェイスとして機能する、対応するタイプの電話回線にデータ通信接続を提供するＩＳＤＮ(Integrated Services Digital Network)カードもしくはモデムを使用して、実装されてもよい。他の例としては、ＬＡＮ／ＩＳＤＮアダプタ４０７は、互換性のあるＬＡＮ及びインターフェイス３２４にデータ接続通信を提供するためのＬＡＮ ＮＩＣ(Local Area Network Interface Card)であってもよい。 様々なメディア・ファイルを保存するために、計算処理デスクトップ・システム４００は、ストレージ・コントローラ４０３によって、データ・バス４０４に接続されるメディア・ストレージ４０８を含んでいてもよい。
１つもしくは複数の実施例において、計算処理デスクトップ・システム４００のメモリ４１２は、以下のソフトウェア・プログラム、アプリケーション、もしくは、モジュールのいずれかを記憶していてもよい。
１．デスクトップ・オペレーティング・システム（ＯＳ）４１３。デスクトップ・オペレーティング・システム４１３は、基本システム・サービスを実装し、計算処理デスクトップ・システム４００の様々なハードウェア構成要素を管理するオペレーティング・システムであってよい。計算処理デスクトップ・オペレーティング・システム４１３の実施例の全ては、当業者にはよく知られている。また、計算処理デスクトップ・オペレーティング・システム４１３は、現在知られているオペレーティング・システムであってもよいし、今後開発されるオペレーティング・システムであってもよい。
２．ネットワーク通信モジュール４１４。ネットワーク通信モジュール４１４は、例えば、計算処理デスクトップ・システム４００と、計算処理システム３００などのインターネット３２４の様々なエンティティとの間のネットワーク接続を、ＬＡＮ／ＩＳＤＮアダプタ４０７と共に稼働するネットワーク・アダプタ４０５を用いて確立するために使用される１つもしくは複数のネットワーク・プロトコル・スタックを含んでいてもよい。
３．デスクトップ・アプリケーション４１５。デスクトップ・アプリケーション４１５は、例えば、計算処理デスクトップ・システム４００の１つもしくは複数のプロセッサ４０１によって実行される、計算処理デスクトップ・システム４００に所定の機能もしくはタスクを実行させるソフトウェア・アプリケーションのセットを含んでいてもよい。１つもしくは複数の実施例において、デスクトップ・アプリケーション４１５は本発明のコンテンツ選択アプリケーション４１６を含んでいてもよい。コンテンツ選択アプリケーション４１６は、上述した計算処理システム３００のコンテンツ選択アプリケーション３１５と実質的に同様に動作してもよい。コンテンツ選択アプリケーション４１６は、計算処理デスクトップ・システム４００の表示装置４０９上に本発明のユーザ・インターフェイスを生成するように構成されているユーザ・インターフェイス生成モジュール４１７、コンテンツの対象部分の選択開始をユーザに行わせる初期選択モジュール４１８、コンテンツと関連して行われたユーザジェスチャーを検出し、分析するジェスチャー分析モジュール４１９、検出されたユーザのジェスチャーに基づいて、ユーザの選択を調整する選択調整モジュール４２０を含んでいてもよい。本発明のコンテンツ選択アプリケーション４１６の上述のモジュール４１７、４１８、４１９、４２０は、計算処理システム３００上に展開されるコンテンツ選択アプリケーション３１５のモジュール３１６、３１７、３１８、３１９と実質的に同様に動作してもよい。
４．データ・ストレージ４２１。データ・ストレージ４２１は、例えば、計算処理デスクトップ・システム４００の表示装置４０９上にユーザのために表示する分割されたコンテンツなどのコンテンツを記憶するコンテンツ・ストレージ４２２、コンテンツ選択アプリケーション４１６を用いてユーザによって選択されたコンテンツの部分に関する情報を記憶する選択メタデータ・ストレージ４２３を含んでいてもよい。
計算処理システム３００及び計算処理デスクトップ・システム４００上に展開された様々なソフトウェア・モジュールのオペレーションについて、以下に詳述に記載する。詳細には、図５は、電子表示装置上に表示されるコンテンツの部分をユーザに選択させる方法の実施例の例示的な動作シーケンス５００を示す。
図５の方法５００では、まず、ステップ５０１で、例えば、ユーザ・インターフェイス生成モジュール３１６によって計算処理システム３００の表示装置３０９上に生成されるユーザ・インターフェイスを用いて、分割されたコンテンツがユーザのために表示される。表示されたコンテンツは、様々なタイプ、形態もしくはフォーマットであってよく、テキスト・コンテンツ、ビデオなどのグラフィック・コンテンツ、もしくは、それらの任意の組み合わせであってよいが、これらに限定されるものではない。１つもしくは複数の実施例において、表示されているコンテンツは複数レベルのセグメンテーションを用いて分割されている。例えば、テキスト・コンテンツの場合、テキスト・コンテンツを分離したワードに分離するために第１のセグメンテーション・レベルとしてホワイト・スペースが使用されてもよい。さらに、テキスト・コンテンツをセンテンスに分割するために第２のセグメンテーション・レベルとして句読点が使用されてもよい。さらに、また、テキスト・コンテンツをさらに分割するために段落及び章の境目がさらなるセグメンテーション・レベルとしてさらに使用されてもよい。
例えば、図６は計算処理システム３００の表示装置３０９上に表示されるテキスト・コンテンツ６０１を示す。表示されているコンテンツ６０１は、ホワイト・スペース、句読点、行及び段落境界を含むコンテンツ・セグメンテーションの様々なレベルを含むことに留意されたい。上述したマルチレベル・セグメンテーションを含むコンテンツのセグメンテーションに関する情報は、例えば、コンテンツ・セグメンテーション・メタデータ・ストレージ３２２に、記憶されていてもよい。
グラフィック・コンテンツの場合、空間、コンテキスト(contextual)、時間の近接度に基づいて、様々なグラフィック要素をクラスタリングすることによって、分割することができる。例えば、所定の時間間隔内に生成されたホワイト・ボード上のメモは、１つのコンテンツ・クラスタにグループ化されてもよい。その他の例において、同一の主題に関連するメモは、同様に共にグループ化される。さらに、その他の例では、スライド変更イベントがコンテンツ・セグメンテーションのさらなるレベルとして使用されてもよい。しかしながら、コンテンツを分割するための多くの方法及び技術を上述した実施例に関連して使用することが可能であり、ここで記載された本発明の概念は、コンテンツの特定のタイプのいずれか、もしくは関連するコンテンツ・セグメンテーション方法によって限定されるものではないことに留意されたい。
図５の方法５００を参照して、ステップ５０２で、初期選択モジュール３１７もしくは４１８がユーザによる初期コンテンツ選択を検出する。１つもしくは複数の実施例において、検出された初期コンテンツ選択イベントは、例えば、ワードなどの、表示装置３０９上に表示されているコンテンツの対象部分上のユーザによるタップ、もしくは、タップ・アンド・ホールドを含んでいてもよい。様々な実施例において、例えば、計算処理システム３００もしくは計算処理デスクトップ・システム４００のタッチスクリーン・インターフェイス３１０もしくは４１１を用いて、このようなイベントが検出されてもよい。１つもしくは複数の実施例において、コンテンツ・セグメンテーションに関する情報は、初期選択ステップ５０２で、ユーザによって選択されるコンテンツの部分を識別するために使用されてもよい。例えば、初期コンテンツ選択イベントを検出すると、初期選択モジュール３１７もしくは４１８は、ホワイト・スペースによって残りのコンテンツから分離される単一のワードを選択するように構成されていてもよい。識別された初期選択コンテンツは、次に、図５に示されるプロセス５００のステップ５０３で、表示装置３０９上でマークを付される。例えば、図７は、コンテンツ選択範囲（部分）の開始及び終了を示すコンテンツ選択境界マーカ７０１を用いて、ユーザによって選択されたワード「technologies」にマークを付して表示装置３０９上にテキスト・コンテンツ６０１を表示する例を示す。
図５の方法５００のステップ５０４で、ジェスチャー分析モジュール３１８もしくは４１９は表示されているコンテンツ６０１に関連して実行されるユーザのジェスチャーを検出し、分析する。多くのジェスチャーがここで記載される実施例に関連して使用されてもよく、本発明は特定のジェスチャーのいずれかもしくはジェスチャーのタイプによって限定されるものではないことに留意されたい。例示的なジェスチャーは、ユーザの指、手、腕、あるいは、目を使用して実行されるジェスチャーを含んでいてもよい。様々な実施例において、上述したジェスチャーは、現在知られているもしくは今後開発される技術を用いて検出されてもよい。例えば、表示装置上でのユーザの指によるフリックもしくはスワイプが、タッチスクリーン・インターフェイス３１０もしくは４１１を用いて検出されてもよい。ユーザの手の動きはカメラ３１１を用いて検出されてもよい。一方、（ユーザの手の中にある）計算処理システム３００自身の動きを含むジェスチャーは、位置／方向検出モジュール３０３に埋め込まれている加速度計もしくはその他の適切なセンサを用いて検出されてもよい。最後に、ユーザの目の動きは、カメラ３１１を用いて検出されてもよい。計算処理システム３００（４００）の適切な構成要素を用いて検出されるユーザの検出されたジェスチャーに関する情報は、プロセッサ３０１（４０１）に渡され、ジェスチャー分析モジュール３１８（４１９）に埋め込まれている機能にしたがって分析される。
１つもしくは複数の実施例において、検出されたユーザのジェスチャーは、ジェスチャーのタイプ、位置、方向及び／もしくは大きさに基づいて、ジェスチャー分析モジュール３１８（４１９）によって分析される（図５に示される方法５００のステップ５０４を参照）。ジェスチャー分析に基づいて、コンテンツ選択はステップ５０５で調整され、ステップ５０５はコンテンツ選択境界の再配置を要求することができる。１つもしくは複数の実施例において、上述のコンテンツ選択調整は、以下に詳述されるようにセグメンテーションの複数のレベルを含むコンテンツ・セグメンテーションにさらに基づいていてもよい。調整されるコンテンツ選択は、次に、ステップ５０６において、表示装置３０９上でマークを付される。１つもしくは複数の実施例において、ステップ５０４、５０５、５０６は、図５に示されるように繰り返されてもよい。
図８は、計算処理システム３００のタッチ感知型表示装置３０９上に表示されるテキスト・コンテンツ６０１に関連して、ユーザによって実行されるジェスチャーを例示している。ユーザは、まず、表示装置３０９の位置８０１（当初マークを付されているワードの上）を指でタッチし、次に、矢印８０２によって示されているように、指を左にスワイプする。上述のジェスチャーを検出すると、ジェスチャー分析モジュール３１８は、ユーザのジェスチャーのタイプ、位置、方向及び大きさを判断するように構成されている。ユーザのジェスチャーの検出された特性に基づいて、選択調整モジュール３１９（４２０）は、図９に示されているように、コンテンツ選択範囲の境界を再配置（変更または移動）するように構成されている。詳細には、検出されたジェスチャーに応じて、コンテンツ選択境界マーカ９０１の開始が左に拡張され、ワード「information technologies」を含むようになる。
１つもしくは複数の実施例において、コンテンツ選択境界の開始もしくは終了がジェスチャーによって再配置され、コンテンツ選択境界は、ユーザのジェスチャーの位置及び方向に応じて、現在のコンテンツ選択範囲に関連して、ジェスチャーの方向に移動される。１つもしくは複数の実施例において、ジェスチャーの位置が、現在のコンテンツ選択範囲より通常のコンテンツの流れにおいて高い（上流側、先頭側）ならば、コンテンツ選択範囲の開始がジェスチャーによって影響を受ける。ジェスチャーの位置が、現在のコンテンツ選択範囲より通常のコンテンツの流れにおいて低い（下流側、末尾側）ならば、コンテンツ選択範囲の終了が影響を受ける。
例えば、西洋言語におけるテキストの流れと同様に、左上から右下への通常の横方向コンテンツの流れであると仮定すると、例えば、図８において指がタッチした位置８０１の縦方向位置によって決定されるように、ジェスチャーの縦方向位置が、コンテンツ選択範囲の開始もしくは終了のいずれがジェスチャーによって影響を受けるかを決定するために、ジェスチャー分析モジュール３１８（４１９）によって使用される。この例において、（図８に示すように、）ジェスチャーが現在のコンテンツ選択範囲よりも上であれば、コンテンツ選択範囲の開始が影響を受ける。ジェスチャーが現在のコンテンツ選択範囲よりも下であれば、コンテンツ選択範囲の終了が、図１０〜図１５に例示されるように、影響を受ける。一方、ジェスチャーが現在のコンテンツ選択範囲と同様の高さ方向レベルである場合、ジェスチャーがコンテンツ選択範囲の左であれば、コンテンツ選択範囲の開始が影響を受け、ジェスチャーがコンテンツ選択範囲の右であれば、コンテンツ選択範囲の終了が影響を受ける。
１つもしくは複数の実施例において、現在のコンテンツ選択範囲の縦方向位置はその終了の縦方向位置によって判断される。代替的な実施例において、コンテンツ選択範囲の開始が、この目的のために使用されてもよく、この場合、表示装置に表示されない下流のコンテンツをユーザに選択させることが容易になる。さらに、他の実施例では、コンテンツ選択範囲の真ん中が使用されてもよい。
異なる流れのパターンを有するコンテンツについては、上述した規則を変更してもよい。例えば、左上から右下への通常の縦に流れるパターンを有するコンテンツについては、現在のコンテンツ選択範囲の左でジェスチャーが検出された場合、コンテンツ選択範囲の開始に影響を受け、現在のコンテンツ選択範囲の右でジェスチャーが検出された場合、コンテンツ選択範囲の終了に影響を受ける。
１つもしくは複数の実施例において、ジェスチャーの方向は、コンテンツ選択範囲境界の移動の方向を決定する。一例において、コンテンツ選択範囲境界は、ジェスチャーの方向と同じ一般的方向に移動する。例えば、図８及び図９について、参照符号８０１及び８０２によって示されるジェスチャーは左（テキストの流れの上流方向）に向かい、図９の参照符号９０１に示されるように、コンテンツ選択範囲の開始も左（テキストの流れの上流方向）に移動している。
１つもしくは複数の実施例において、コンテンツ・セグメンテーションに対してとられるユーザのジェスチャーの大きさが、コンテンツ選択範囲境界の再配置の程度を決定するために、ジェスチャー分析モジュール３１８（４１９）によって使用される。すなわち、様々な実施例において、コンテンツ選択範囲は、ジェスチャーの大きさに応じて、ワード、行、センテンス、もしくは段落の最後に再配置される。すなわち、ユーザのジェスチャーの計測された大きさが、コンテンツ・セグメンテーション境界を決定する。選択範囲は、当該ジェスチャーの検出に応じて、決定されたコンテンツ・セグメンテーション境界まで拡張される。１つもしくは複数の実施例において、ジェスチャーの大きさが大きいほど、対応するセグメンテーション境界のレベルも大きくなる。
例えば、図８及び図９について、図８の短い左矢印８０２によって示される短いジェスチャーの検出は、左に、次のワードの開始まで選択範囲境界の開始を移動させる（図９参照）。一方、その他の例において、図１０及び図１１に例示されるように、図１０のより長い大きさ１００１のジェスチャーの検出は、図１１の参照符号１１０１によって示されるように、センテンスの終了まで選択範囲の境界の終了を拡張させる。図１２の参照符号１２０１によって示されるように、この長いジェスチャーを繰り返すことによって、図１３の参照符号１３０１によって示されるように、次のセンテンスの終了まで選択範囲の境界の終了を拡張させる。最後に、図１４に示されるように、反対の方向に小さいジェスチャー１４０１を検出すると、図１５の参照符号１５０１によって示されるように、左に、ワードの開始まで、選択範囲の境界の終了を移動させる。
他の実施例において、ジェスチャーの大きさに応じて、選択範囲境界は、複数のワード、行、語句、センテンスもしくは段落を通過して移動してもよい。様々な実施例において、ジェスチャーのタイプは、コンテンツ・セグメンテーション境界を決定してもよい。選択範囲は決定されたコンテンツ・セグメンテーション境界まで拡張される。例えば、検出されたスワイプ及びフリック・ジェスチャーは、選択境界の再配置に異なる程度をもたらす。
１つもしくは複数の実施例において、上述された例の他に、さらなるコンテンツ・セグメンテーション境界が、当業者によく知られている様々な技術を用いたワードのセマンティックなグループ化によって確立されてもよい。様々な実施例において、スピーチ・タグ付け(speech tagging)もしくは、固有名認識(name entity recognition)を用いて、ワードが共にグループ化されてもよい。例えば、ユーザが図７に示されているコンテンツのワード「Alto」を選択し、コンテンツ選択範囲の開始境界及び終了境界を拡張するためにフリック・ジェスチャーを行うと、テキスト・エンティティ抽出手段は、「FX Palo Alto Laboratory」の周囲の境界を決定し、ユーザがスワイプもしくはフリック・ジェスチャーを継続して行わないと、選択範囲はこの境界で停止する。
１つもしくは複数の実施例において、テキスト・コンテンツ自身がテキスト形態で利用することができない場合、選択調整モジュール３１９（４２０）は、行及び段落境界を識別するためによく知られているページ・イメージ・セグメンテーション・アルゴリズムに依存し、上述したのと同様の技術を適用するように構成されている。実施例の１つにおいて、選択調整モジュール３１９（４２０）は、選択範囲の境界がコンテンツ・セグメンテーション境界に近付くと、選択範囲の境界の移動速度が遅くなるように構成されている。しかし、ユーザは、このセグメンテーション境界を超えて移動を継続することを所望する場合、指を上げる必要がある。ユーザは、選択範囲が当該ポイントを超えて移動する前に、表示装置上でほんの少し多くの空間を移動する必要がある。
図１６〜図２０は、タッチ感知表示装置３０９に表示されている非テキスト・コンテンツ１６００の部分をユーザに選択させるために、ここに記述された本発明の概念のその他の実施例のオペレーションの様々な態様を例示する。詳細には、表示されているコンテンツ１６００は非テキストであり、表示されているコンテンツ１６００のグラフィック要素の空間的、時間的、もしくは、コンテキスト的近似度に基づいて、コンテンツ・クラスタ（セグメント）１６０１、１６０２、１６０３、１６０４にセグメント化される。さらに、コンテンツ・セグメンテーションは、複数のコンテンツ・クラスタを含むスライド、もしくはページに基づいて、実行されてもよい。
テキスト・コンテンツに関して上述した実施例において、まずユーザは対象コンテンツ・クラスタ１６０２の選択を開始する。図１６において、コンテンツ選択範囲は、例えば、太線で示されている。次に、図１７に示されるように最初の選択１６０２の下流でユーザのジェスチャー１７０１が検出されると、選択調整モジュール３１９（４２０）は、図１８に示すように、コンテンツ・クラスタ１６０３をさらに含むように、コンテンツ選択境界１８０１を下流に拡張するように構成されている。次のコンテンツ・クラスタ１６０３は、非テキスト・コンテンツ１６００の最初のセグメンテーション境界を示すことに留意されたい。最後に、図１９に示すように、より長いジェスチャー１９０１に応じて、選択調整モジュール３１９（４２０）は、非テキスト・コンテンツ１６００の次の（第２の）コンテンツ・セグメンテーション境界（コンテンツ・スライドの最後）を示す、図２０の参照符号２００１によって示される、コンテンツ１６００の最後（コンテンツ・スライドの最後）までの全てに、コンテンツ選択境界１６０２を拡張するように構成されている。すなわち、当業者であれば、上述されたコンテンツ選択システムのこの実施例のオペレーションが、図６〜図１５に関連して例示されている実施例のオペレーションに実質的に類似していることは明らかであろう。
ここで記述された新規なコンテンツ選択技術は、タッチ感知表示装置を使用せずに完全に実装することができる。上記したように、様々なユーザのジェスチャーが様々な検知デバイスを用いて検知されてもよい。検知デバイスには、カメラ、タッチパッド、加速度計、その他の現在知られている、もしくは、今後開発される改良された検知型装置を含むが、本開示は、これらに限定されるものではない。すなわち、本発明はユーザのジェスチャー検出のための任意の特定の手段に限定されるものではない。
最後に、ここに記述されたプロセス及び技術は、特定の装置のいずれかに固有に関連するものではなく、任意の適切な構成要素の組み合わせによって実装されてもよい。また、汎用装置の様々なタイプがここに記述された教示にしたがって使用されてもよい。ここで記述された方法のステップを実行するために、専用装置を構成することも有効である。本発明は、限定ではなく例示を意図する特定の例に関連して記載されている。当業者であれば、ハードウェア、ソフトウェア、及びファームウェアの多くの異なる組み合わせが本発明を実行するために適していることを理解するだろう。例えば、記述されたソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ−Ｃ、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）、及び、現在知られているもしくは今後開発されるプログラミング言語もしくはスクリプト言語などの様々なプログラミング言語もしくはスクリプト言語によって実装されてもよい。
さらに、本発明のその他の実装は、ここに開示された本発明の詳細及び実施を考慮することにより、当業者には明らかである。記述された実施例の様々な態様及び／もしくは構成要素は、電子表示装置上に表示されるコンテンツの部分をユーザに選択させるために、システム及び方法において、個別に、もしくは、任意に組み合わせて使用されてもよい。詳細及び実施例は例示を意図し、本発明の真の範囲及び思想はクレームによって示される。
３００ 計算処理システム
３０１ ＣＰＵ
３０９ 表示装置
３１０ タッチスクリーン・インターフェイス
３１６ ＵＩ生成モジュール
３１７ 初期選択モジュール
３１８ ジェスチャー分析モジュール
３１９ 選択調整モジュール

Claims (15)

  1. コンテンツの一部をユーザのジェスチャーによって選択させるためのシステムであって、
    表示された前記コンテンツに対するユーザのジェスチャーを、既に設定された選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断するジェスチャー分析モジュールと、
    前記ジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を再配置し、前記ジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置を再配置する選択調整モジュールと、
    を備え、
    前記選択調整モジュールは、検出されたユーザのジェスチャーが大きいほど前記選択範囲の境界を大きく移動する、
    システム。
  2. 前記選択調整モジュールは、前記コンテンツの先頭側に向かうジェスチャーが検出された場合には、前記選択範囲の境界を前記コンテンツの先頭側に移動し、前記コンテンツの末尾側に向かうジェスチャーが検出された場合には、前記選択範囲の境界を前記コンテンツの末尾側に移動する、請求項１に記載のシステム。
  3. 前記コンテンツはセグメントに分けられており、
    前記選択調整モジュールは、前記コンテンツのセグメントの境界に更に基づいて、前記選択範囲の境界を変更する、請求項１または請求項２に記載のシステム。
  4. 前記選択調整モジュールは、前記選択範囲の境界を移動しているあいだに当該境界が前記コンテンツのセグメントの境界の１つに達した場合には、前記選択範囲の境界を移動する速度を下げる、請求項３に記載のシステム。
  5. 前記コンテンツはテキストであり、
    前記コンテンツは、単語の境界、節の境界、文の境界、空白、句点、読点、カンマ、及び、ピリオドの少なくとも１つに基づいてセグメントに分けられている、
    請求項３または請求項４に記載のシステム。
  6. 前記コンテンツはビデオであり、
    前記コンテンツは、空間的な近さ、時間的な近さ、及び、内容の近さのうちの少なくとも１つに基づいてセグメントに分けられている、
    請求項３または請求項４に記載のシステム。
  7. タッチパネル方式のディスプレイデバイスに前記コンテンツを表示するユーザ・インターフェイス生成モジュールと、
    ユーザによる前記ディスプレイデバイスに対するタップのジェスチャーを検出した場合に、前記コンテンツのうちタップされた部分を前記選択範囲として設定する選択モジュールと、
    を更に備え、
    前記ジェスチャー分析モジュールは、ユーザによる前記ディスプレイデバイスに対するスワイプのジェスチャーを、前記選択範囲の外側であって前記選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断し、
    前記選択調整モジュールは、前記スワイプのジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を前記スワイプの方向に移動し、前記スワイプのジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置を前記スワイプの方向に移動する、
    請求項１〜請求項６の何れか１項に記載のシステム。
  8. コンテンツの一部をユーザのジェスチャーによって選択させるためのシステムであって、
    表示された前記コンテンツに対するユーザのジェスチャーを、既に設定された選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断するジェスチャー分析モジュールと、
    前記ジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を再配置し、前記ジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置を再配置する選択調整モジュールと、
    を備え、
    前記コンテンツはセグメントに分けられており、
    前記選択調整モジュールは、前記コンテンツのセグメントの境界に更に基づいて、前記選択範囲の境界を変更し、
    前記選択調整モジュールは、前記選択範囲の境界を移動しているあいだに当該境界が前記コンテンツのセグメントの境界の１つに達した場合には、前記選択範囲の境界を移動する速度を下げる、
    システム。
  9. コンテンツの一部をユーザのジェスチャーによって選択させるためのシステムであって、
    表示された前記コンテンツに対するユーザのジェスチャーを、既に設定された選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断するジェスチャー分析モジュールと、
    前記ジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を再配置し、前記ジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置を再配置する選択調整モジュールと、
    を備え、
    前記コンテンツはセグメントに分けられており、
    前記選択調整モジュールは、前記コンテンツのセグメントの境界に更に基づいて、前記選択範囲の境界を変更し、
    前記コンテンツはビデオであり、
    前記コンテンツは、空間的な近さ、時間的な近さ、及び、内容の近さのうちの少なくとも１つに基づいてセグメントに分けられている、
    システム。
  10. コンピュータによって、コンテンツの一部をユーザのジェスチャーによって選択させるためのプログラムであって、
    前記コンピュータに、
    表示された前記コンテンツに対するユーザのジェスチャーを、既に設定された選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断し、
    前記ジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を再配置し、前記ジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置をコンピュータによって再配置し、
    検出されたユーザのジェスチャーが大きいほど前記選択範囲の境界を大きく移動する、
    ことを実行させるプログラム。
  11. コンピュータによって、コンテンツの一部をユーザのジェスチャーによって選択させるためのプログラムであって、
    前記コンピュータに、
    表示された前記コンテンツに対するユーザのジェスチャーを、既に設定された選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断し、
    前記ジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を再配置し、前記ジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置をコンピュータによって再配置し、
    前記コンテンツはセグメントに分けられており、
    前記コンテンツのセグメントの境界に更に基づいて、前記選択範囲の境界を変更し、
    前記選択範囲の境界を移動しているあいだに当該境界が前記コンテンツのセグメントの境界の１つに達した場合には、前記選択範囲の境界を移動する速度を下げる、
    ことを実行させるプログラム。
  12. コンピュータによって、コンテンツの一部をユーザのジェスチャーによって選択させるためのプログラムであって、
    前記コンピュータに、
    表示された前記コンテンツに対するユーザのジェスチャーを、既に設定された選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断し、
    前記ジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を再配置し、前記ジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置をコンピュータによって再配置し、
    前記コンテンツはセグメントに分けられており、
    前記コンテンツのセグメントの境界に更に基づいて、前記選択範囲の境界を変更し、
    前記コンテンツはビデオであり、
    前記コンテンツは、空間的な近さ、時間的な近さ、及び、内容の近さのうちの少なくとも１つに基づいてセグメントに分けられている、
    ことを実行させるプログラム。
  13. コンテンツの一部をユーザのジェスチャーによって選択させる計算処理装置であって、
    表示された前記コンテンツに対するユーザのジェスチャーを、既に設定された選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断するジェスチャー分析手段と、
    前記ジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を再配置し、前記ジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置を再配置する選択調整手段と、
    を備え、
    前記選択調整手段は、検出されたユーザのジェスチャーが大きいほど前記選択範囲の境界を大きく移動する、
    計算処理装置。
  14. コンテンツの一部をユーザのジェスチャーによって選択させる計算処理装置であって、
    表示された前記コンテンツに対するユーザのジェスチャーを、既に設定された選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断するジェスチャー分析手段と、
    前記ジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を再配置し、前記ジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置を再配置する選択調整手段と、
    を備え、
    前記コンテンツはセグメントに分けられており、
    前記選択調整手段は、前記コンテンツのセグメントの境界に更に基づいて、前記選択範囲の境界を変更し、
    前記選択調整手段は、前記選択範囲の境界を移動しているあいだに当該境界が前記コンテンツのセグメントの境界の１つに達した場合には、前記選択範囲の境界を移動する速度を下げる、
    計算処理装置。
  15. コンテンツの一部をユーザのジェスチャーによって選択させる計算処理装置であって、
    表示された前記コンテンツに対するユーザのジェスチャーを、既に設定された選択範囲よりも先頭側及び末尾側のいずれにおいて検出したかを判断するジェスチャー分析手段と、
    前記ジェスチャーを前記選択範囲よりも先頭側で検出した場合には前記選択範囲の境界の開始位置を再配置し、前記ジェスチャーを前記選択範囲よりも末尾側で検出した場合には前記選択範囲の境界の終了位置を再配置する選択調整手段と、
    を備え、
    前記コンテンツはセグメントに分けられており、
    前記選択調整手段は、前記コンテンツのセグメントの境界に更に基づいて、前記選択範囲の境界を変更し、
    前記コンテンツはビデオであり、
    前記コンテンツは、空間的な近さ、時間的な近さ、及び、内容の近さのうちの少なくとも１つに基づいてセグメントに分けられている、
    計算処理装置。
JP2013183411A 2013-03-18 2013-09-04 コンテンツの部分の境界を再配置するシステム、プログラム及び計算処理装置 Active JP6056715B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/846,840 2013-03-18
US13/846,840 US9785240B2 (en) 2013-03-18 2013-03-18 Systems and methods for content-aware selection

Publications (2)

Publication Number Publication Date
JP2014182786A JP2014182786A (ja) 2014-09-29
JP6056715B2 true JP6056715B2 (ja) 2017-01-11

Family

ID=51534534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013183411A Active JP6056715B2 (ja) 2013-03-18 2013-09-04 コンテンツの部分の境界を再配置するシステム、プログラム及び計算処理装置

Country Status (2)

Country Link
US (2) US9785240B2 (ja)
JP (1) JP6056715B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9785240B2 (en) * 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
US20140372856A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Natural Quick Functions Gestures
WO2015141093A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN106104446A (zh) * 2014-03-20 2016-11-09 日本电气株式会社 信息处理设备、信息处理方法和信息处理程序
US20150277744A1 (en) * 2014-03-27 2015-10-01 Motorola Mobility Llc Gesture Text Selection
US10423706B2 (en) * 2014-10-31 2019-09-24 Xiaomi Inc. Method and device for selecting information
US9652124B2 (en) 2014-10-31 2017-05-16 Microsoft Technology Licensing, Llc Use of beacons for assistance to users in interacting with their environments
US10257133B2 (en) * 2014-12-19 2019-04-09 Oath Inc. Content selection
US9535527B2 (en) * 2015-02-18 2017-01-03 Blackberry Limited Portable electronic device including touch-sensitive display and method of controlling selection of information
JP6463209B2 (ja) * 2015-04-15 2019-01-30 キヤノン株式会社 表示装置及び表示方法
JP5906344B1 (ja) * 2015-07-06 2016-04-20 ヤフー株式会社 情報処理装置、情報表示プログラムおよび情報表示方法
KR20170017572A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 사용자 단말 장치 및 이의 제어 방법
CN110502293B (zh) * 2019-07-10 2022-02-01 维沃移动通信有限公司 一种截屏方法及终端设备
CN110471610A (zh) * 2019-08-16 2019-11-19 上海闻泰信息技术有限公司 终端控制方法、装置、终端及存储介质
CN110515530B (zh) * 2019-08-28 2021-04-20 北京思维造物信息科技股份有限公司 一种文字操作的处理方法、装置、设备和存储介质

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680479A (en) * 1992-04-24 1997-10-21 Canon Kabushiki Kaisha Method and apparatus for character recognition
US5588072A (en) * 1993-12-22 1996-12-24 Canon Kabushiki Kaisha Method and apparatus for selecting blocks of image data from image data having both horizontally- and vertically-oriented blocks
EP0677811A1 (en) * 1994-04-15 1995-10-18 Canon Kabushiki Kaisha Image processing system with on-the-fly JPEG compression
US5881169A (en) * 1996-09-13 1999-03-09 Ericsson Inc. Apparatus and method for presenting and gathering text entries in a pen-based input device
US7010110B2 (en) * 1999-03-31 2006-03-07 Walker Digital, Llc Method and apparatus for monitoring telephone status
US20020015064A1 (en) * 2000-08-07 2002-02-07 Robotham John S. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
US6891551B2 (en) * 2000-11-10 2005-05-10 Microsoft Corporation Selection handles in editing electronic documents
US6773177B2 (en) * 2001-09-14 2004-08-10 Fuji Xerox Co., Ltd. Method and system for position-aware freeform printing within a position-sensed area
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7958456B2 (en) * 2005-12-23 2011-06-07 Apple Inc. Scrolling list with floating adjacent index symbols
US8024754B2 (en) * 2006-02-13 2011-09-20 Sharp Kabushiki Kaisha Content processing device, content processing method, control program, and storage medium
KR100771626B1 (ko) * 2006-04-25 2007-10-31 엘지전자 주식회사 단말기 및 이를 위한 명령 입력 방법
US8656295B2 (en) * 2007-01-05 2014-02-18 Apple Inc. Selecting and manipulating web content
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US9274698B2 (en) * 2007-10-26 2016-03-01 Blackberry Limited Electronic device and method of controlling same
US20090125848A1 (en) * 2007-11-14 2009-05-14 Susann Marie Keohane Touch surface-sensitive edit system
US8078979B2 (en) * 2007-11-27 2011-12-13 Microsoft Corporation Web page editor with element selection mechanism
US8610671B2 (en) * 2007-12-27 2013-12-17 Apple Inc. Insertion marker placement on touch sensitive display
JP4680273B2 (ja) * 2008-02-05 2011-05-11 京セラ株式会社 表示機能付き端末
US8201109B2 (en) * 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US8650507B2 (en) * 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US8375336B2 (en) * 2008-05-23 2013-02-12 Microsoft Corporation Panning content utilizing a drag operation
US20090313020A1 (en) * 2008-06-12 2009-12-17 Nokia Corporation Text-to-speech user interface control
US20090327974A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation User interface for gestural control
US8924892B2 (en) * 2008-08-22 2014-12-30 Fuji Xerox Co., Ltd. Multiple selection on devices with many gestures
EP2175354A1 (en) * 2008-10-07 2010-04-14 Research In Motion Limited Portable electronic device and method of controlling same
US8205168B1 (en) * 2008-12-01 2012-06-19 Adobe Systems Incorporated Methods and systems for page navigation of dynamically laid-out systems
US20130014041A1 (en) * 2008-12-09 2013-01-10 Denny Jaeger Using gesture objects to replace menus for computer control
US8291348B2 (en) * 2008-12-31 2012-10-16 Hewlett-Packard Development Company, L.P. Computing device and method for selecting display regions responsive to non-discrete directional input actions and intelligent content analysis
US8326358B2 (en) * 2009-01-30 2012-12-04 Research In Motion Limited System and method for access control in a portable electronic device
US8786556B2 (en) * 2009-03-12 2014-07-22 Nokia Corporation Method and apparatus for selecting text information
US9875013B2 (en) * 2009-03-16 2018-01-23 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
CN101859309A (zh) * 2009-04-07 2010-10-13 慧科讯业有限公司 重复文本识别系统及方法
US20100293460A1 (en) * 2009-05-14 2010-11-18 Budelli Joe G Text selection method and system based on gestures
US20120131520A1 (en) * 2009-05-14 2012-05-24 Tang ding-yuan Gesture-based Text Identification and Selection in Images
KR20100130671A (ko) * 2009-06-04 2010-12-14 삼성전자주식회사 터치 인터페이스에서 선택 영역의 제공 장치 및 그 방법
US8347232B1 (en) * 2009-07-10 2013-01-01 Lexcycle, Inc Interactive user interface
US8531410B2 (en) 2009-08-18 2013-09-10 Fuji Xerox Co., Ltd. Finger occlusion avoidance on touch display devices
US20110043453A1 (en) 2009-08-18 2011-02-24 Fuji Xerox Co., Ltd. Finger occlusion avoidance on touch display devices
US8832585B2 (en) * 2009-09-25 2014-09-09 Apple Inc. Device, method, and graphical user interface for manipulating workspace views
US8520983B2 (en) * 2009-10-07 2013-08-27 Google Inc. Gesture-based selective text recognition
US8577887B2 (en) * 2009-12-16 2013-11-05 Hewlett-Packard Development Company, L.P. Content grouping systems and methods
US20110202835A1 (en) * 2010-02-13 2011-08-18 Sony Ericsson Mobile Communications Ab Item selection method for touch screen devices
US8704783B2 (en) * 2010-03-24 2014-04-22 Microsoft Corporation Easy word selection and selection ahead of finger
US9405404B2 (en) * 2010-03-26 2016-08-02 Autodesk, Inc. Multi-touch marking menus and directional chording gestures
US8810509B2 (en) * 2010-04-27 2014-08-19 Microsoft Corporation Interfacing with a computing application using a multi-digit sensor
US8218875B2 (en) * 2010-06-12 2012-07-10 Hussein Khalid Al-Omari Method and system for preprocessing an image for optical character recognition
US20110320978A1 (en) * 2010-06-29 2011-12-29 Horodezky Samuel J Method and apparatus for touchscreen gesture recognition overlay
US20120019453A1 (en) * 2010-07-26 2012-01-26 Wayne Carl Westerman Motion continuation of touch input
US9395907B2 (en) * 2010-08-20 2016-07-19 Nokia Technologies Oy Method and apparatus for adapting a content package comprising a first content segment from a first content source to display a second content segment from a second content source
US8614665B2 (en) * 2010-11-19 2013-12-24 Qualcomm Innovation Center, Inc. Touch screen
US8997025B2 (en) * 2010-11-24 2015-03-31 Fuji Xerox Co., Ltd. Method, system and computer readable medium for document visualization with interactive folding gesture technique on a multi-touch display
US10503255B2 (en) * 2010-12-02 2019-12-10 Immersion Corporation Haptic feedback assisted text manipulation
US8405627B2 (en) * 2010-12-07 2013-03-26 Sony Mobile Communications Ab Touch input disambiguation
JP5675309B2 (ja) * 2010-12-07 2015-02-25 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
US20120185787A1 (en) * 2011-01-13 2012-07-19 Microsoft Corporation User interface interaction behavior based on insertion point
US20120216113A1 (en) * 2011-02-18 2012-08-23 Google Inc. Touch gestures for text-entry operations
JP2012185323A (ja) * 2011-03-04 2012-09-27 Sharp Corp 再生装置、再生方法、プログラムおよび記録媒体
CN103502921B (zh) * 2011-04-19 2017-06-09 黑莓有限公司 文本指示符方法和电子设备
US9032338B2 (en) * 2011-05-30 2015-05-12 Apple Inc. Devices, methods, and graphical user interfaces for navigating and editing text
US9244605B2 (en) * 2011-05-31 2016-01-26 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
DE112011105305T5 (de) * 2011-06-03 2014-03-13 Google, Inc. Gesten zur Textauswahl
US8341223B1 (en) * 2011-06-07 2012-12-25 Banjo, Inc. Method for relevant content discovery
US9582187B2 (en) * 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
US9086794B2 (en) * 2011-07-14 2015-07-21 Microsoft Technology Licensing, Llc Determining gestures on context based menus
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US8176435B1 (en) * 2011-09-08 2012-05-08 Google Inc. Pinch to adjust
US9612670B2 (en) * 2011-09-12 2017-04-04 Microsoft Technology Licensing, Llc Explicit touch selection and cursor placement
US20130067392A1 (en) * 2011-09-12 2013-03-14 Microsoft Corporation Multi-Input Rearrange
US10318146B2 (en) * 2011-09-12 2019-06-11 Microsoft Technology Licensing, Llc Control area for a touch screen
US20130067366A1 (en) * 2011-09-14 2013-03-14 Microsoft Corporation Establishing content navigation direction based on directional user gestures
US9218123B2 (en) * 2011-12-29 2015-12-22 Apple Inc. Device, method, and graphical user interface for resizing content viewing and text entry interfaces
US9928562B2 (en) * 2012-01-20 2018-03-27 Microsoft Technology Licensing, Llc Touch mode and input type recognition
US9229613B2 (en) * 2012-02-01 2016-01-05 Facebook, Inc. Transitions among hierarchical user interface components
EP2631747B1 (en) * 2012-02-24 2016-03-30 BlackBerry Limited Method and apparatus for providing a user interface on a device that indicates content operators
US8963962B2 (en) * 2012-03-06 2015-02-24 Apple Inc. Display of multiple images
US9354805B2 (en) * 2012-04-30 2016-05-31 Blackberry Limited Method and apparatus for text selection
US9454303B2 (en) * 2012-05-16 2016-09-27 Google Inc. Gesture touch inputs for controlling video on a touchscreen
US9552596B2 (en) * 2012-07-12 2017-01-24 Spritz Technology, Inc. Tracking content through serial presentation
US9262699B2 (en) * 2012-07-19 2016-02-16 Qualcomm Incorporated Method of handling complex variants of words through prefix-tree based decoding for Devanagiri OCR
JP2014021787A (ja) * 2012-07-19 2014-02-03 Sharp Corp 文字列選択装置、文字列選択方法、制御プログラム、および、記録媒体
US8584049B1 (en) * 2012-10-16 2013-11-12 Google Inc. Visual feedback deletion
US9098127B2 (en) * 2012-10-17 2015-08-04 Blackberry Limited Electronic device including touch-sensitive display and method of controlling same
US9892761B2 (en) * 2013-02-22 2018-02-13 Fuji Xerox Co., Ltd. Systems and methods for creating and using navigable spatial overviews for video
US10025459B2 (en) * 2013-03-14 2018-07-17 Airwatch Llc Gesture-based workflow progression
US9785240B2 (en) * 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
US9317171B2 (en) * 2013-04-18 2016-04-19 Fuji Xerox Co., Ltd. Systems and methods for implementing and using gesture based user interface widgets with camera input
US10019153B2 (en) * 2013-06-07 2018-07-10 Nook Digital, Llc Scrapbooking digital content in computing devices using a swiping gesture
US20150081448A1 (en) * 2013-09-16 2015-03-19 Microsoft Corporation Non-intrusive advertisement management
US20150244772A1 (en) * 2014-02-24 2015-08-27 Triple It B.V. Fast rendering of content using a mobile user device
US10042537B2 (en) * 2014-05-30 2018-08-07 Apple Inc. Video frame loupe
US20160103563A1 (en) * 2014-10-09 2016-04-14 Wrap Media Llc System and method for authoring, distributing, viewing and saving wrap packages
US9880735B2 (en) * 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10203866B2 (en) * 2017-05-16 2019-02-12 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
US10636134B2 (en) * 2018-09-07 2020-04-28 Fluke Corporation Display apparatus and method for optical fiber inspection

Also Published As

Publication number Publication date
US11334169B2 (en) 2022-05-17
US9785240B2 (en) 2017-10-10
US20140282242A1 (en) 2014-09-18
JP2014182786A (ja) 2014-09-29
US20180032145A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
JP6056715B2 (ja) コンテンツの部分の境界を再配置するシステム、プログラム及び計算処理装置
DK180640B1 (en) Devices and methods of measurement using augmented reality
US20210049321A1 (en) Device, method, and graphical user interface for annotating text
US9886179B2 (en) Anchored approach to scrolling
US9013428B2 (en) Electronic device and handwritten document creation method
KR102059913B1 (ko) 태그 정보 저장 방법 및 장치와 태그 정보를 이용한 이미지 검색 방법 및 장치
US10282090B2 (en) Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones
US10282083B2 (en) Device, method, and graphical user interface for transitioning between user interfaces
US9665276B2 (en) Character deletion during keyboard gesture
US9626087B2 (en) Device, method, and graphical user interface for navigating between user interfaces
US20160170617A1 (en) Automatic active region zooming
US20130215018A1 (en) Touch position locating method, text selecting method, device, and electronic equipment
EP3234732A1 (en) 3d visualization
EP2755126A2 (en) Method and device for displaying scrolling information in electronic device
US11379112B2 (en) Managing content displayed on a touch screen enabled device
JP2022519981A (ja) 可変速度音素発音機械
US10613732B2 (en) Selecting content items in a user interface display
US20180350121A1 (en) Global annotations across contents
US20170153810A1 (en) Systems and methods for virtually weighted user input elements for performing critical actions
KR102027548B1 (ko) 전자장치에서 화면표시 제어 방법 및 장치
KR20170045401A (ko) 문맥 정보에 기초하여 스크롤을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CA3157612A1 (en) Speech synthesizer with multimodal blending
KR20170017166A (ko) 전자 장치, 전자 장치의 문자 입력 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161121

R150 Certificate of patent or registration of utility model

Ref document number: 6056715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350