JP4957857B2 - 文書折り畳み表示装置およびプログラム - Google Patents

文書折り畳み表示装置およびプログラム Download PDF

Info

Publication number
JP4957857B2
JP4957857B2 JP2011127211A JP2011127211A JP4957857B2 JP 4957857 B2 JP4957857 B2 JP 4957857B2 JP 2011127211 A JP2011127211 A JP 2011127211A JP 2011127211 A JP2011127211 A JP 2011127211A JP 4957857 B2 JP4957857 B2 JP 4957857B2
Authority
JP
Japan
Prior art keywords
document
contact point
gesture
folding
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011127211A
Other languages
English (en)
Other versions
JP2012113686A (ja
Inventor
チィーウ パトリック
リアオ チュニュアン
チェン フランシーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Publication of JP2012113686A publication Critical patent/JP2012113686A/ja
Application granted granted Critical
Publication of JP4957857B2 publication Critical patent/JP4957857B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Description

マルチタッチディスプレイを用いた文書折り畳み表示装置およびプログラムに関する。
対話型の文書視覚化手法は、ディスプレイへの画像表示(たとえば３次元画像の表示)に用いられている。現在ではマルチタッチディスプレイがよく用いられている。
ディスプレイ上への情報の視覚化に有効な原理は、フォーカスプラスコンテキスト(focus-plus-context)原理である。このフォーカスプラスコンテキスト原理を用いた表示方法においては、注目領域の内容を最小限の変形で忠実に描画する一方で、その周辺の背景領域(context region)の内容をある程度の変形を許容して表示する。これによって、画面スペースや演算のための資源の有効利用を図るのである。
この原理を用いた手法の例として、魚眼ビューがある。しかしながら、これは文書の表示には向かない。なぜならば、魚眼ビューは直線を曲線に変形してしまうので、文字の視認性に難があるからである。
この原理を用いた他の文書表示形態は、折り畳みである。ここでは、文書中のオブジェクトまたはページは、文書を構成する各要素がスクリーン面に対して平坦かつ平行に、そして変形することなく表示される。背景領域は、透視図法によって側面に折り畳まれる。
非特許文献１においては、３つの「壁(wall)」が文書を３次元表示するのに用いられている。このパースペクティブウォール(Perspective Wall)式の視覚化を、図１に示す。ここでは、中心の壁(wall)がユーザーの方に面しており、スクリーン面に平行な平面上で文書を変形させることなく表示している。また、文書の２つの側壁は透視図法を用いて変形することによって描画されている。ここで、透視図変形においては、図１のように、スクリーンの奥の方にあるコンテンツほど小さくなる。また、図１から分かるように、線分(例えば、文字を構成する線分)は、側壁上においても線分として描画される。
非特許文献２においては、フォーカスプラスコンテキスト原理を用いた折り畳み式の情報視覚化法に関する他の例が開示されている。ここでも、３次元空間での折り畳みというメタファーが用いられており、当該空間における複数の注目領域が変形することなく表示される一方で、背景領域は透視図変形されて描画される。すなわち、複数の注目領域はスクリーン面に対して平行に保たれるが、それ以外の空間は折り畳まれてしまうのである。
また、図２のように、ディスプレイ上において、文書を互いに重ねるように表示するという手法も広く用いられている。
マッキンレー他(Mackinlay et al.)、「パースペクティブウォール：スムーズに統合される詳細と背景(The Perspective Wall: Details and context smoothly integrated )」、計算システムにおける人的要因に関するＡＣＭ会議予稿集(Proceedings of the ACM Conference on Human Factors in Computing Systems)、１９９１年、頁１７３〜１７９ エルムフィスト他(Elmqvist et al.)、「メランジ：マルチフォーカス相互作用のための空間折り畳み(Melange: Space folding for multi-focus interaction)」、計算システムにおける人的要因に関する第２６回年次ＳＩＧＣＨＩ会議予稿集(Proceeding of the twenty-sixth annual SIGCHI conference on Human factors in computing systems)、２００８年、頁１３３３〜１３４２
これまでは、画面に表示された文書の折り畳み操作を行う際において、折り畳みの指示、その折り畳み位置、または折り畳み角度の指定を行う直感的で簡易な方法がなかった。
請求項１に記載の発明の文書折り畳み表示装置は、ディスプレイ装置の画面に表示する文書の情報を、前記ディスプレイ装置に対して出力する出力手段と、前記文書が表示された画面上における、少なくとも２箇所の接触点の位置及び動きを検知する検知手段と、表示された文書上で第２の接触点が静止している間に、第１の接触点が当該文書上を移動するというジェスチャーを検出するジェスチャー検出手段と、前記ジェスチャー検出手段が前記ジェスチャーを検出した場合には、予め設定された折り線によって区分される前記文書の第１の接触点側の領域を、透視図法によって前記画面の奥側または手前側に、当該折り線を基準にして折り畳んだように疑似３次元表示する２次元画像データを生成する折り畳み画像データ生成手段と、を有することを特徴とする文書折り畳み表示装置であって、前記ジェスチャー検出手段は、さらに、前記第２の接触点が静止している間の前記第１の接触点の移動方向が、前記第２の接触点に近づく方向か、遠ざかる方向かを検出し、前記折り畳み画像データ生成手段は、検出した移動方向が遠ざかる方向の場合と近づく方向の場合とで、異なる折り畳み方向へ折り畳んだような画像データを生成することを特徴とする。
請求項２に記載の発明の文書折り畳み表示装置は、ディスプレイ装置の画面に表示する文書の情報を、前記ディスプレイ装置に対して出力する出力手段と、前記文書が表示された画面上における、少なくとも２箇所の接触点の位置及び動きを検知する検知手段と、表示された文書上で第２の接触点が静止している間に、第１の接触点が当該文書上を移動するというジェスチャーを検出するジェスチャー検出手段と、前記ジェスチャー検出手段が前記ジェスチャーを検出した場合には、予め設定された折り線によって区分される前記文書の第１の接触点側の領域を、透視図法によって前記画面の奥側または手前側に、当該折り線を基準にして折り畳んだように疑似３次元表示する２次元画像データを生成する折り畳み画像データ生成手段と、を有することを特徴とする文書折り畳み表示装置であって、前記ジェスチャー検出手段は、さらに、前記第２の接触点が静止している間の前記第１の接触点の移動方向が、前記第２の接触点から前記第１の接触点の初期位置を見た場合に左右いずれの方向に向かっているかを検出し、前記折り畳み画像データ生成手段は、検出した移動方向が左方向と右方向とで、異なる折り畳み方向へ折り畳んだような画像データを生成することを特徴とする。
請求項３に記載の発明の文書折り畳み表示装置は、請求項１又は請求項２に記載の発明において、前記ジェスチャー検出手段は、さらに、前記第２の接触点が静止している間の前記第１の接触点の移動量を検出し、前記折り畳み画像データ生成手段は、検出された前記第１の接触点の移動量が大きいほど、折り畳む量を大きくした画像データを生成することを特徴とする。
請求項４に記載の発明の文書折り畳み表示装置プログラムは、ディスプレイ装置の画面に表示する文書の情報を、前記ディスプレイ装置に対して出力する出力するステップと、前記文書が表示された画面上における、少なくとも２箇所の接触点の位置及び動きを検知するステップと、表示された文書上で第２の接触点が静止している間に、第１の接触点が当該文書上を移動するというジェスチャーを検出するステップと、前記ジェスチャーを検出した場合には、予め設定された折り線によって区分される前記文書の第１の接触点側の領域を、透視図法によって前記画面の奥側または手前側に、当該折り線を基準にして折り畳んだように疑似３次元表示する２次元画像データを生成するステップと、をコンピュータに実行させるための文書折り畳み表示プログラムであって、前記ジェスチャーを検出するステップでは、さらに、前記第２の接触点が静止している間の前記第１の接触点の移動方向が、前記第２の接触点に近づく方向か、遠ざかる方向かを検出し、前記２次元画像データを生成するステップでは、検出した移動方向が遠ざかる方向の場合と近づく方向の場合とで、異なる折り畳み方向へ折り畳んだような画像データを生成することを特徴とする。
請求項５に記載の発明の文書折り畳み表示プログラムは、ディスプレイ装置の画面に表示する文書の情報を、前記ディスプレイ装置に対して出力する出力するステップと、前記文書が表示された画面上における、少なくとも２箇所の接触点の位置及び動きを検知するステップと、表示された文書上で第２の接触点が静止している間に、第１の接触点が当該文書上を移動するというジェスチャーを検出するステップと、前記ジェスチャーを検出した場合には、予め設定された折り線によって区分される前記文書の第１の接触点側の領域を、透視図法によって前記画面の奥側または手前側に、当該折り線を基準にして折り畳んだように疑似３次元表示する２次元画像データを生成するステップと、をコンピュータに実行させるための文書折り畳み表示プログラムであって、前記ジェスチャーを検出するステップでは、さらに、前記第２の接触点が静止している間の前記第１の接触点の移動方向が、前記第２の接触点から前記第１の接触点の初期位置を見た場合に左右いずれの方向に向かっているかを検出し、前記２次元画像データを生成するステップでは、検出した移動方向が左方向と右方向とで、異なる折り畳み方向へ折り畳んだような画像データを生成することを特徴とする。
請求項１、２、４及び５に記載した発明によれば、一般的なピンチジェスチャーとの共存が可能であって、直感的かつ簡易な文書の折り畳みの指示が可能となる。
請求項３に記載した発明によれば、さらに、折り畳みの指示と同時に、折り畳みの量の直感的且つ簡易な指示が可能となる。
請求項１、２、４及び５に記載した発明によれば、さらに折り畳みの指示と同時に、折り畳みの方向の直感的且つ簡易な指示が可能となる。
フォーカスプラスコンテキスト法に関する従来技術の説明図である。 文書の重ね合わせ表示に関する従来技術の説明図である。 本発明の一態様における、文書の折り畳み表示のフローチャートである。 本発明の一態様における、文書の折り畳み表示システムのブロック図である。 本発明の一態様における、文書表示を示す図である。 谷折りの際の対称並行ジェスチャーモデルを示す図である。 山折りの際の対称並行ジェスチャーモデルを示す図である。 対称並行ジェスチャーモデルのフローチャートである。 谷折りの際の「非対称並行」ジェスチャーモデルを示す図である。 山折りの際の「非対称並行」ジェスチャーモデルを示す図である。 「非対称並行」ジェスチャーモデルのフローチャートである。 横折りおよび対角線折りを示す図である。 蛇腹折りを示す図である。 一連の折り畳みを示す図である。 論理ジェスチャーマッピングを示す図である。 方向ジェスチャーマッピングを示す図である。 接触点制限ジェスチャーマッピングを示す図である。 折り線位置決定のフローチャートである。 文書の射影プロファイルを示す図である。 写真の折り畳みの例を示す図である。 本発明の一態様におけるコンピュータシステムのブロック図である。
本発明の一実施の形態を説明するが、以下の説明では、文書の操作のために複数の指をディスプレイに接触させるマルチタッチジェスチャーを行うことが前提となる。ここで、ジェスチャーとは、１または２以上の接触点（後述）の位置及び動きの組み合わせのことであるが、場合によってはここに接触の圧力の大きさ等、接触点にまつわる他の要素が加わることがある。また、マルチタッチジェスチャーとは、２以上の接触点のジェスチャーを指す。例えば、１本の指で文書のセクションをタッチしホールドし、他の指で他のセクションをタッチしドラッグする、といった文書操作がその例である。以下では、ディスプレイにタッチ(接触)するために指を使う例を用いて説明を行うが、これは指に限られるものではなく、接触を検知するタッチセンサを有するディスプレイがその接触を検知できるような硬さを有し、且つ位置を指定するという目的を達成できる程度に先が細い物であれば任意の物(指示用被接触物)が適用可能である。
また、文書としては、紙文書を模したものが含まれるが、これに限定されることなく、ディスプレイ上に表示可能な任意の画像や文書が含まれる。例えば、ウェブページや写真である。さらには、ウェブブラウザやワードプロセッサなどのアプリケーションプログラムのウィンドウ表示であってもよい。また、文書は、コンテンツの無い空の文書であってもよいし、何らかのコンテンツを含んだものであってもよい。
次に、「文書ページオブジェクト」という用語について説明する。文書ページオブジェクトは、文書を構成する各ページまたは複数のページの集合に対応するオブジェクトである。以下の説明においては、各ページまたは複数ページを表す２次元のグラフィカルオブジェクト(例えば、長方形のオブジェクト)として表現される。なお、ここでいう文書のページとしては、画像や文字を含んだ文書の一部であればよく、コンピュータで実行されるアプリケーションのウィンドウ、例えばウェブブラウザやワードプロセッサのウィンドウ表示に対応するものであってもよい。また、文書ページオブジェクトは、何らかのコンテンツを含んでもいてもよいし、何も含んでいない、すなわちブランクであってもよい。以下では、文書の折り畳み処理の説明をするが、文書ページオブジェクトとして、折り畳まない、または折り畳めない文書を含んでいてよいことはもちろんである。
図３に、文書の折り畳みを模した文書画像の表示を行うシステムにおける具体的処理のフローチャートを示す。この例では、マルチタッチスクリーンを用いて、ユーザーの２つの指(２つの手の指)による同時操作を可能にしている。図４は、この方法を実装する文書視覚化システムの一例を示すブロック図である。このシステムでは、グラフィカルユーザーインターフェースを採用した３次元アプリケーションが実行される。
図３及び図４を参照する。ステップ３０１において、折り畳みを行うジェスチャーモデルを適用するか否かが決定される。この場合における、ジェスチャーモデルとは、マルチタッチディスプレイ上における接触点の動きをどのように取り扱うかを特定するモデルである。ここで、接触点とは、被接触物(典型的には、そして以下の説明においても、ユーザーの指を意味するが、スタイラス等でもよい)とディスプレイとが接触する点のことである。
以下では、このジェスチャーモデルを、（１）対称または非対称、（２）順次または並行という２種類の特性の組み合わせで表現する。「対称、非対称」は、手の役割を表す特性であり、入力時における２つの指による接触点が、対称的に(同様に)扱われるのか、非対称的に(異なるように)扱われるのかを表している。非対称の場合、ユーザーの両手にはそれぞれ異なった役割が割り当てられる。この場合、より繊細な動きが要求される役割を、利き手の指に割り当てるのが好ましい。「順次、並行」は、入力時の接触点の動きを１つの点だけに限定するのか、同時に複数の動きを許容するのかを表す特性である。
これら２つの特性の組み合わせとしては、「対称順次」、「対称並行」、「非対称順次」および「非対称並行」があり得る。とはいっても、「対称順次」モデルの適用は、現実的には無いだろう。というのも、この場合は２つの指を同時に動かすことを制限する理由がないからである。また、「非対称並行」モデルは、実際にあり得ない。というのも、以下の具体的説明から明らかになるように「非対称」では、一方の手が動いている間その他方の手を動かさない、すなわち「並行」しないということが前提だからである。よって、以下の実施例においては、「対称並行」モデルおよび「非対称順次モデルの２つを取り扱う。
ステップ３０１において、ジェスチャーモデルを適用すべきことが決定されると、図４に示すシステム４００は、ジェスチャーモデルを適用することになる。
ステップ３０２では、予め定められたシステムの設定値に基づいて、対称並行モデルを適用するか否かを決定する。対称並行モデルでは、２つの接触点(すなわち、指)が同時に動くことを許容するが、それぞれの接触点は同様の意味で解釈される。例えば、ユーザーは、文書ページオブジェクト中において隣接する２つのセクションを選択すべくそれらにタッチする際に、通常は両手の指それぞれ１本ずつを使うことになる。このとき、ユーザーの両手は同時に動くことになるが、その２つの指の接触イベントは、本システムにおいて同様の意味で(セクションの選択として)解釈される。ここで、セクションとは、文書中の領域のことであり、後述するようにその文書の視覚的特性や内容的特性またはユーザーの指示によって、一塊と認識した領域のことである。
システムの設定(システムにおける初期設定または事前のユーザー設定)が、対称並行モデルの適用を指定していた場合、ステップ３０３において、対称並行ジェスチャーモデルユニット４０３において、対称並行モデルが適用される。このモデルの詳細については、図６及び図７を参照して後に説明する。
ステップ３０２において、対称並行モデルの適用が指定されていないと判断した場合、ステップ３０４において非対称順次モデルが非対称順次ジェスチャーモデルユニット４０２を用いて適用される。
非対称順次モデルにおいては、一方の指が動いている間は他方の指は静止したままであることが前提となる。このモデルの詳細は、図９乃至図１１を用いて後に説明する。
ステップ３０５においては、ステップ３０１乃至３０５で選択されたジェスチャーモデルに対して、特定のジェスチャーマッピングが適用されるか否かが、システムの設定に基づいて決定される。
ここで、ジェスチャーマッピングとは、ディスプレイ表面の２次元空間における(指による)ジェスチャーの軌跡を、文書表示における３次元空間の視覚化(visualization)に対応させることである。ここでは、ジェスチャーマッピングは、論理ジェスチャーマッピング、方向ジェスチャーマッピング、および接触点拘束ジェスチャーマッピングを含むものとする。
論理ジェスチャーマッピングでは、スクリーン上において折り線(文書を折り畳む際に折り目となる線分)と直角の方向へのジェスチャーの移動量が、折り畳みの角度(折り畳む量)と対応付けられる。折り畳みの方向は、右手の法則のような伝統的な規則で決定される。
接触点拘束ジェスチャーマッピングでは、文書表示の３次元空間におけるセクション上の最初にタッチした点を、ディスプレイの画面上における指の接触点に追随させて動かすように表示する。
方向ジェスチャーマッピングでは、ユーザーの２本の指による接触点同士の間隔が、開く方向に移動しているのか、それとも閉じる方向へ移動しているのかによって、折り畳みの方向が決定される。折り畳みの角度は、その移動量に応じて決定される。
ステップ３０６において、システムの設定が論理ジェスチャーマッピングの適用を指定していると判断した場合には、ステップ３０７において論理ジェスチャーマッピングが、論理ジェスチャーマッピングユニット４０４によって適用される。
ステップ３０８において、システムの設定が方向ジェスチャーマッピングの適用を指定していると判断した場合には、ステップ３０９において方向ジェスチャーマッピングユニット４０５によって 方向ジェスチャーマッピングが適用される。
ステップ３１０において、システムの設定が接触点拘束ジェスチャーマッピングの適用を指定していると判断した場合には、ステップ３１１において、接触点拘束ジェスチャーマッピングユニット４０６によって、接触点拘束ジェスチャーマッピングが適用される。
それぞれのジェスチャーマッピングの実装については、図１５乃至１７を用いて後に詳細に説明する。ここでは、これら３つのジェスチャーマッピングを説明したが、当然ながら他の任意のマッピングを適用できる。
また、図３及び４ではシステム設定によってジェスチャーマッピングを選択する例を示したが、これに限らず、任意のマッピング選択方法が適用可能である。
例えば、ユーザーは、メニューやダイアログボックスを用いて、ジェスチャーモデルおよびジェスチャーマッピングを特定するシステム設定を、使用する装置に応じて変更することができる。また、例えば、装置の製造メーカーがあらかじめその装置にマルチタッチジェスチャーモデルの指定を組み込んでおく等、その装置そのものに初期設定がしてあってもよい。
そして、ジェスチャーモデルおよびジェスチャーマッピングの実装によって、図５に示すように、ディスプレイ５０１の画面上において、折り畳まれたセクションを有する文書の視覚化が可能となる。具体的には、図５に示すように、１つまたは複数の文書が、ユーザーによるジェスチャーによって、表示されまた折り畳み操作される。すなわち、ユーザーの所望の注目領域に対しては、変形を加えないようにしつつ、他の重要ではない領域については折り曲げて、ある程度は読める(見える)ものの、透視図変形された状態で表示されるようにするのである。
これらの文書の折り畳みは、ディスプレイ上における単一の文書だけでなく、複数の文書の折り畳みの視覚化に適用可能である。上述のように、ここでの文書の視覚化は、物理的な紙や文書の折り畳みを模した形で実現される。
図６は、対称並行モデルによる谷折りの実例を示すものである。図７は、同モデルによる山折りの説明である。そして、図８は、同モデルのフローチャートを示す。
図６は、文書６０１が、セクション６０２及び６０３の２つのセクションに分割されている例を示している。文書中のセクションの決定に関しては、図１８及び１９を用いて説明する。
ここでは、２つのセクションの例を示してはいるが、セクションの数はこれに限られない。ただし、説明の便宜のため、以下では２つの例のみを取り上げることにする。
図６は、また、接触点６０４がセクション６０２上にあり、接触点６０５がセクション６０３上にある場合を示している。なお、これら接触点は必ずしもセクション上に無ければならないわけではない。接触点に最も近いセクションが選択されたセクションとして認識されてもよい。接触点は、指がスクリーンに接触している点である。接触点は、ディスプレイの画面においてユーザーがいつどこにタッチしたかを検出することで、特定される。
対称並行モデルでは、文書ページオブジェクトの２つのセクションにタッチしてこれを選択するために、ユーザーはそれぞれ１本の指を用い、またそれらを同時に動かすことになる。これら２本の指のタッチイベントは、同様の意味を有するものとして解釈される
次に、ユーザーは、接触点６０４及び６０５上にある指を、選択された２つのセクションを両者の境界で折り畳むべく動かす。同図では、そのセクションの境界が折り線６０６となっている例を示している。折り線の位置の決定については、図１８及び１９を参照して追って説明する。図６に示すように、接触点６０４及び６０５上の２つの指が、互いに近づく方向に対称的且つ同時並行的にそれぞれ移動するときに、文書６０１が谷折りされる。
一方で、図７に示すように、接触点７０４及び７０５が、互いに遠ざかる方向に対称的且つ同時並行的にそれぞれ移動するときには、文書６０１が山折りされる。
この具体的処理の流れを説明する。図８のステップ８０１に示すように、対称並行モデルを用いて折り畳みを行う場合、接触点が文書ページオブジェクト上に設定される。次に、ステップ８０２において、折り畳み操作を行うユーザーの指の動き、すなわち接触点の動きが、対称的且つ並行的なものとして解釈される。
対称並行モデルにおける指の動きがシステムにおいて正しく解釈され、他のジェスチャーと混同されないようにするために、対称的な指の動きを他のジェスチャーから区別する方法が用いられる。例えば、文書を操作する際の一般的なマルチタッチジェスチャー操作として、ピンチ(片手の２本の指でつまむ動きの)ジェスチャーがあるが、対称並行モデルではこのジェスチャーとの区別が困難である。なお、ピンチジェスチャーは、一般に表示スケール変更(拡大・縮小)の指示として解釈される。
ここで、システムによるコマンドの混同を防止するため、ユーザーが適切な操作を行うことを確保するような仕組みが用いられる。例えば、「対称並行」モデルに従ったコマンドのみを実行するようなモードを作ることや、「対称並行」モデルに従ったコマンドが好ましいことをユーザーに注意喚起することが、その例として挙げられる。
図９は、非対称順次ジェスチャーモデルによる谷折りの例を示している。図１０は、同モデルによる山折りを示している。図１１は、同モデルを実装する際のフローチャートである。
図９から分かるように、文書９０１は、セクション９０２及び９０３という２つのセクションに分割されている。文書のセクション分割に関しては、図１８及び１９を用いて後に説明する。さらに図９から分かるように、この場合、接触点９０４はセクション９０２上にあり、接触点９０５はセクション９０３上にある。
非対称順次モデルは、物理オブジェクトにおけるユーザーインタラクションを模している。例えば、ナイフで物を切る場合を想定すると、利き手でその物を切る動作を行っている間、反対の手は動かさずにその物を押さえつけるが、このような動作に範をとったのである。
非対称順次モデルを用いて文書を折り畳む場合、第２の指(利き手でない手の指が好ましい)は、文書のセクションまたは折り線をタッチして選択し、そのまま動かさない。そして、第１の指(利き手の指が好ましい)で、対象となるセクションをタッチして選択し、そのままその指を動かすことで、折り畳み動作を行う。このモデルの場合には、対称並行モデルの場合と異なり、ピンチジェスチャーとの区別が容易であり、モード等の特段の区別の仕組みを用意することなく、共存させることが可能である。
図９（Ａ）に示すように、利き手でない方の手の指によって、セクション９０２内の接触点９０４が定められ、また、利き手の指によってセクション９０３内の接触点９０５が定められるものとする。ここで折り畳みを行う際には、接触点９０５上の指を接触点９０４に近づくように移動させている間、接触点９０４上の指は静止したままにする。
図９（Ｂ）は、接触点９０５が接触点９０４に近づくように移動した後に、セクション９０２および９０３の境界で谷折りが行われる例を示している。この境界は、折り線９０６となる。折り線の位置の決定については、図１８及び１９を参照して後に詳しく説明する。
図１０（Ａ）に示すように、ユーザーの利き手でない方の手の指によって接触点１００４が定められ、利き手の指によって接触点１００５が定められるものとする。ここで折り畳みを行う際には、セクション１００３内における接触点１００５上の指が接触点１００４から遠ざかるように移動させる間、セクション１００２内における接触点１００４上の指は静止したままにする。図１０（Ｂ）に示すように、接触点１００５が接触点１００４から遠ざかるように移動した後、山折りが行われる。
図１１を参照してユーザーの操作を説明する。ステップ１１０１において、非対称順次モデルを用いて文書を折り畳む場合、２つの接触点が文書上において定められる。その後、ステップ１１０２において、ユーザーの利き手によって設定された接触点が折り畳みを行うべく移動している間、その反対の手による接触点は静止したままとなる。
ここで、山折り谷折りは、上述したような縦方向の折り線に沿った畳み方に限らず、図１２に示すように、横方向及び斜め方向の折り線に沿った畳み方にも適用可能である。また、ここで述べた折り畳み手法は、図１３に示すような、蛇腹折りにも適用可能である。
図１２（Ａ）および（Ｂ）は、それぞれ横折りと対角線折りの例を示している。横折りは、横向きの軸に沿って文書を折り畳むものである。一方で、対角線折りは、対角線に沿って文書を折り畳むものである。
図１３（Ａ）及び（Ｂ）は、蛇腹折りの例を示している。蛇腹折りは、ユーザーの指によってタッチされた２つのセクションの間に、１つ以上のセクションが挟まれている場合に行われる。この場合、１度の折り畳み操作によって、複数のセクションが蛇腹状に折り畳まれる。
対称並行モデルを用いて蛇腹折りを実装する場合、折り畳み操作に当たって、２つの接触点は、対称的に且つ並行的に、両者が近づく方向に、または遠ざかる方向に、移動することになる。他の折り畳み方式との混同を避けるべく、蛇腹折りを明示的に指定する手法を採用することができる。
非対称順次モデルを用いて蛇腹折りを実装する場合には、２つの指が同時並行的に動く対称並行モデルとは異なり、利き手の指による接触点が移動している間、反対の手の指による接触点は静止したままとなる。
図１４は、一連の折り畳みの例を示したものである。この一連の折り畳みは、横方向および縦方向の折り線に沿った折り畳みを順次行うことによって達成される。
ここでは、２つの接触点の例を示しているが、これに限定されるわけではなく、さらに多数の接触点を用いても文書の折り畳み操作は可能である。
例えば、３つの接触点を用いる場合には、２つの接触点を用いる場合に比べ、より複雑な折り方の指示が可能となる。また、３つ以上の接触点を用いることで、異なる機能に対して異なるジェスチャーを割り当てることが容易になる。例えば、蛇腹折りを行う場合には、図１３を用いて説明した利き手の１本指による操作の代わりに、利き手の２本指によってセクションの選択とその移動を行うようにすることで、他の機能と区別するようにすることができる。
他の例としては、利き手の反対側の手の２本指で直線を特定することにより、任意の方向及び位置の折り線を指定することができる。折り線の位置の指定に関する詳細については、後述する。
図１５は、論理ジェスチャーマッピングの例を、図１６は方向ジェスチャーマッピングの例を、図１７は接触点拘束ジェスチャーマッピングの例をそれぞれ示している。
ジェスチャーマッピングは、ジェスチャーを折り畳みの操作に割り当てる機構である。換言すれば、ジェスチャーマッピングは、ディスプレイ上の２次元空間におけるジェスチャーの動きを検出した経路イベントを、３次元空間における視覚化に変換するものである。
具体的には、対称並行モデルや非対称順次モデルのようなジェスチャーモデルが、論理ジェスチャーマッピング、方向ジェスチャーマッピング、接触点拘束マッピングといった、何がしかの割り当て機構を経て、折り畳み操作に変換されるのである。
論理マッピングジェスチャーでは、折り線に対して垂直な方向への指の移動量が、折り畳みの角度(量)に変換される。折り畳みの方向(例えば、山折りまたは谷折り)は、ベクトル幾何における伝統的な右手系の規則に従って決定される。
図１５（Ａ）に示すように、文書１５０１上には、折り線１５０４、セクション１５０２および１５０３、ならびに接触点１５０５及び１５０６があるものとする。折り線１５０４は、この例では、ディスプレイの上部に向かう折り畳み軸ベクトルによって規定される。接触点１５０６が右方向に移動したことを検出すると、システムは、セクション１５０３を、折り線のベクトルをｘ方向（親指）、接触点の移動方向をｙ方向（人差し指）にしたときの、右手系におけるｚ方向（中指）である画面内側(奥側)に向かって回転させる。すなわち、山折りを行う。
逆に、図１５（Ｂ）に示すように、接触点１５０６が左方向に移動したことを検出すると、セクション１５０３を画面外側(手前側)に向かって回転させる。すなわち谷折りを行う。
図１６は、方向ジェスチャーマッピングの例を示している。このマッピングでは、ユーザーの２つの指の相対的な移動方向、たとえば、互いに遠ざかる方向への移動か、近づく方向への移動か、に基づいて操作への割り当てを行う。文書の折り畳み角は、ジェスチャーの移動量に基づいて決定される。
折り畳みの方向を、２本の指同士が遠ざかる方向に移動したか、近づく方向に移動したかによって決定する場合には、例えば、遠ざかる方向への移動の場合には山折りを行い、近づく方向の場合には谷折りを行うというマッピングを行う。この場合、見かけ上の割り当ては、図１５に示す論理ジェスチャーマッピングの例と同じものとなる。
また、別の例として、このマッピングでは、折り畳みの向きを決定するための指の移動方向として、斜め方向への移動を採用してもよい。すなわち、画面上において、固定された接触点から移動した接触点を見て、両接触点を結ぶ線分の左側へ指が移動したのか、右側へ指が移動したのかに応じて、山折りか谷折かを決定するのである。図１６（Ａ）に示すように、文書１６０１には、折り線１６０６、接触点１６０４及び１６０５、ならびにセクション１６０２および１６０３があるものとする。接触点１６０５が文書の左上方向(固定接触点から見て左側)に移動したときに、山折りが行われる。また、図１６（Ｂ）に示すように、接触点１６０５が文書の左下方向(固定接触点から見て右側)に移動した場合には、谷折りが行われる。
図１７は、接触点拘束ジェスチャーマッピングの例を示している。このマッピングでは、３次元空間におけるセクションの２次元の画面への射影を介して、接触点を文書内のセクション上の点に常に対応させることによって、その接触点の動きに文書表示を追従させる。このセクション上の点は、指の動きに追従するので、常に接触点の下にあることになる。接触点拘束マッピングにおいては、折り畳み角度とその方向を取得するために、リアルタイムで非線形方程式を解くことが必要となる。
接触点拘束マッピングでは、２つの接触点を近づけることによって折り畳みを指示することになる（２つのセクション上の点が近づくということは、縮小か折り畳みかのいずれか）が、その折り畳みの方向、すなわち山折りか谷折りかを区別する方法が問題となる。この場合、方向ジェスチャーマッピングにおけるような、斜め方向のジェスチャーによる解決はできない。なぜなら、このマッピングにおいては、接触点が斜め方向に移動したということは、文書もそれに追随させるべく回転させるということを意味しており、折り畳み方向の指示に使うわけにはいかないからである。
そこで、次のような方法が考えられる。ユーザーが２つの接触点を近づけることによって折り畳みを指示した場合、まずはシステムが山折り・谷折りのいずれかの方向を自動的に選択する(例えば、最初、谷折りを自動的に選択するように、システムが設定されているものとする)。もしもそれ（谷折り）が望むものではなかった場合には、ユーザーはすぐにジェスチャーの方向を反転させた(接触点を遠ざけた)後に、もう一度その方向を反転させて(接触点を近づけて)折り畳みの指示をする。これを受けたシステムは、最初の接触点の移動方向の反転（接触点が遠ざかったこと）を検出して、文書を伸ばして(折り畳み角度を小さくして)いき、元の折り畳まれていない状態に文書表示を戻す。さらに、接触点の再度の接近に応じて折り畳みを行うが、この際には、最初の折り畳み方向（谷折り）とは逆方向に折り畳み（山折り）を行う。結果として、折り畳まれた文書を伸ばしていった惰性で逆方向に折り畳まれるように文書が表示されるのである。図１７（Ａ）に、この惰性を用いた山折りの例を示す。
他の手段としては、圧力を用いることが考えられる。例えばタッチスクリーンへの強い圧力を検知したら、それは山折りを指示するものであると設定しておくのである。図１７（Ｂ）には、この圧力を用いた山折りの例を示す。図１７（Ｃ）に、接触点拘束マッピングにおける谷折りの例を示す。この例では、右の接触点が左側の接触点に向かって移動している。惰性も圧力も使っていない。
ここでは、３つのジェスチャーマッピングについて説明したが、これらに限定されることなく、任意のジェスチャーマッピングが適用可能である。
図１８に、文書の折り線および折り畳む箇所を決定する処理のフローチャートを示す。
上述したように、文書上には、折り線を設定することができる。さらには、文書をユーザーによってセクションに分割することもできる。全てのセクションの境界は折り線になり得るが、ユーザーの指示により、予め定められたセクションの境界以外のところに折り線を設定してもよい。
このセクション境界は、ヒューリスティクスあるいはコンテンツ分析アルゴリズムによってあらかじめ計算して得られた文書の切れ目に基づいて、あるいはユーザーの指示によって決定される。
３次元視覚化においては、文書の個々のページオブジェクトは、三角形メッシュジオメトリを基本とする３次元モデルで構成される。文書のページ画像は、そのメッシュジオメトリ上にテクスチャとして貼り付けられる。
折り畳みは原則として２つのセクションの間の境界で行われる。この境界は、メッシュジオメトリの境界の一部である。セクションとこれに関連付けられたメッシュジオメトリは、ページ内のコンテンツに基づいてあらかじめ計算しておいてもよいし、ユーザーの操作によってリアルタイムで決定してもよい。文書のセクションは、ユーザーによる折り畳み操作の前に決定しておく必要がある。
ステップ１８０１において、ヒューリスティックスまたはコンテンツ分析アルゴリズムに基づいたセクション境界の事前計算が実行される。
ヒューリスティックに事前計算が行われる場合、物理的な紙文書を、人が普通どのように折り畳むかに基づいて、その折り畳む位置がセクションの境界になるようにセクションが決定される。例えば、紙文書は二つ折り、三つ折り、または四つ折りされることが多いので、そのように折り畳んだ場合の折り線となる位置にセクションの境界が当たるようにする。この、物理的な紙文書が折り畳まれるであろう位置を境界とするようなメッシュジオメトリが、ヒューリスティクスによる事前計算におけるテンプレートとして用いられる。
コンテンツ分析アルゴリズムによってセクションの事前計算を行う際に、射影プロファイルを用いることができる。このコンテンツ分析アルゴリズムは、メッシュジオメトリ生成の際の計算に用いられ、これによって、視覚的に一塊の領域を維持した形で分割される。
ここで、視覚的に一塊の領域とは、文書レイアウトにおいて、他と明確に視覚的に区別可能なコンテンツの領域のことである。例えば、２段組のページレイアウトにおける各段は、縦方向の空白領域によって分割された、視覚的に一塊の領域である。この場合における境界は各段の外周となり、メッシュジオメトリは、その空白領域を縦に走る線分をメッシュの要素として有することとなる。これらの境界は、ページ画像を構成する各画素の横方向及び縦方向に対する射影プロファイルによって計算される。なお、この手法に限らず、ページの領域分割やレイアウト分析の手法が適用可能である。
図１９は、文書の射影プロファイルの一例を示すものである。コンテンツ分析を用いたセクション分割に射影プロファイルを用いる場合、横方向及び縦方向の境界を決定するために、横方向及び縦方向に各画素値が足し合わされる。
ここで、横方向射影プロファイル１９０１は、横方向に画素値の和を取ったものであり、文章の行の位置を取得するのに特に役立つ。また、縦方向射影プロファイル１９０２は、縦方向に画素値の和を取ったものであり、段の位置を取得するのに特に役立つ。なお、ここでは、横方向及び縦方向の和を取ったが、この方向に限るものではない。また、ここでは、画素値の和を用いたが、画像を2値化した上で各方向における黒画素の数をプロファイルとして用いてもよい。
セクション境界の候補位置としては、このプロファイルにおいて値が落ち込んでいる位置、すなわち、各局所領域において最小値を取る位置を採用する。図１９に示した文書において、テキストを含んだ領域は黒画素で、テキストを含んでいない領域は白画素で表現されている。例えば、図１９の文書における黒画素が画素値１を、白画素が画素値０を有しているとすると、射影プロファイルにおいて小さな値を有している位置ほど、セクション境界として適切な場所ということになる。
図１９を参照すると、段落間の空白に対応する位置で落ち込んでいるプロファイルの値が、行間のそれよりも小さくなっている。それぞれの段にある行が横一列に並ばないとしても、プロファイルにおける小さな落ち込みは依然として存在し、空白の最も多く存在する位置や、行や単語間の印刷されない白い領域を示す。プロファイルにおける落ち込み位置で、同じ値が連続する場合には、そのいずれかの位置(たとえばその中心位置)が、セクション境界の位置として選択される。
文字によって変化する黒画素の量の影響を減らすため、重なりを持って移動するウィンドウを利用することができる。例えば、２０画素のサイズのウィンドウを、５画素ずつ移動させながら、そのウィンドウ内における２０画素の画素値の和や平均をとることでプロファイル値を求めることができる。
落ち込み位置を検出する際のノイズを最小化する目的で、プロファイルのスムージング処理を適用してもよい。これには、例えば、メディアンフィルターが適用できる。
また、ユーザーがセクション境界を指定してもよい。セクション境界の正確な位置は、ユーザーが指定した位置から最も近い位置にある、射影プロファイルの落ち込み位置を選択することによって決定する。この際、ユーザーの指先の範囲内に複数の落ち込み位置がある場合には、その中で最も小さなプロファイル値を有する落ち込み位置が選択される。
落ち込みの深さ、すなわちその落ち込み位置におけるプロファイル値の最小値と隣接する位置におけるプロファイル値の最大値との差は、セクション境界の候補位置の評価の際に考慮されてもよい。複数の落ち込み位置がある場合には、それらを数値化した上で評価して、最も適したものを選択する。この評価値の算出において、落ち込みの深さが用いられるのである。
落ち込み位置を、セクション境界の位置の候補として表示し、ユーザーがこれらのうちから位置を選択することができる。また、ユーザーは、その位置を調整することも可能である。
図２０は、写真２００１を折り畳む例を示したものである。写真の折り畳みは、オブジェクト検出および画像の領域分割(セグメンテーション)アルゴリズムに基づいて、セクション境界が決定され、折り畳みが行われる。これらのアルゴリズムについては周知であるが、任意のものが用いられる。
図２０に示すように、顔が写っている写真を折り畳む場合を想定する。この場合、顔を折り畳まないということが大前提である。処理としては、まず、顔検出アルゴリズムによって画像中の顔の領域を検出し、顔を含んだ領域とそうでない領域とに当該画像を区分する。そして、それらの境界をセクション境界として折り畳みを行うのである。
以上、文書のセクション境界を計算によって求める方法を述べてきたが、もちろんユーザーの指示によって、これとは無関係な任意の位置を折り線として決定してもよい。図１８のステップ１８０２を参照すると、折り線が、ユーザーの指示によって決定される。
非対称順次ジェスチャーモデルを用いる場合、例えば、第１の指の接触点によって折り線位置を指定し、第２の指をドラッグすることによってその折り線での折り畳みを指示する。この際の折り線の位置としては、例えば、第１の指の位置を通って、第２の指の移動方向と垂直に交わる直線上とすることができる。ここで、第１の指の接触点を通る直線は無数にあるが、第２の指の移動方向を、直線Ｌ２の方向とした場合、Ｌ２と直行する直線Ｌ１は一意に定めることができる。対称並行ジェスチャーモデルを用いる場合には、例えば、２つの指の接触点を結ぶ線分の垂直二等分線を折り線として採用することができる。
いずれのモデルを採用する場合でも、折り線の方向を文書の横方向または縦方向と平行になるように、システムが修正するようにしてもよい。というのも、指先での指示はそれほど正確に行えるわけではないので(先の細いスタイラス等を用いれば改善されるが)、完全に思った方向を指定できるわけではなく、また、折り線としては文書の横方向及び縦方向が採用されることが望ましい場合がほとんどであるからである。このためには、指によって指定された折り線の方向が、文書の横方向または縦方向から所定の範囲内(例えば5度以内)である場合、採用する折り線としては、その横方向または縦方向にスナップする(張り付かせる)という手法が考えられる。
３つ以上の接触点がサポートされているシステムの場合には、折り線の指定及び折り畳みに、より凝った(precious)ジェスチャーを用いることができる。例えば、非対称順次モデルを用いる場合、第２の手の２つの指によって折り線の位置と方向を指定することができる。その２つの指による２つの接触点を結ぶ直線が折り線として一意に定められるからである。そして、第１の手の第３の指が折り畳みの操作を行うのである。この場合は、折り畳み操作が行われる際に折り線の設定を行うこれまでの例と異なり、折り線の設定と折り畳み操作が独立して行われる。
個々の文書に設定された折り線や文書の種類ごとに設定された折り線は、後の折り畳み操作のために保存され、再利用可能である。
折り線を指定するために、指でドラッグして直線を描くことも可能である。しかしながら、これは、移動ジェスチャーと相容れない。ここで、移動ジェスチャーとは、タッチスクリーンにおける操作として一般的なジェスチャーであり、ユーザーがオブジェクトにタッチしドラッグすることを意味する。通常、そのオブジェクトはその指の移動方向に沿って移動する。折り線を作るためのドラッグジェスチャーが、(システムがサポートしている場合)移動ジェスチャーと同じものになってしまうので、これらを区別するための手段が必要となる。例えば、モード(折り線設定を行うモードと通常の移動を行うモード)の導入や、一時的な属性の導入である。また、ピンチジェスチャーは、一般に表示スケール変更(拡大・縮小)の指示として解釈される。
折り線を設定する他のジェスチャーとして、３ドットジェスチャーが挙げられる。これは、指定したい直線に沿って短時間に３回画面をたたくジェスチャーである。このジェスチャーは、先の移動ジェスチャーと混同されることもない。他のジェスチャーと区別できないジェスチャー、すなわち同じ形状で異なる属性を持つジェスチャーは、相容れないのである。移動ジェスチャーの経路は、連続的な線分であるが、３ドットジェスチャーはそうではないので、両者は並存可能である。
ユーザーによる折り線指定操作は、また、事前計算との組み合わせとなる。ユーザーが指定した折り線位置は、近傍にある事前計算したセクション境界にスナップするようにしてもよい。
図１８のステップ１８０３において、折り線が強調表示される。ユーザーによる折り畳みを指示するジェスチャーが行われているとシステムが検出した場合、すぐに折り線を強調表示する。強調表示は、折り線を異なる色で表示したり、太く(同じ色でも異なる色でも)表示したりすることで行われる。
図２１は、本発明を実装するコンピュータシステム２１００の一例を示すブロック図である。システム２１００は、プロセッサ２１０２及びメモリ２１０３を含むコンピュータプラットフォーム２１０１を含む。
ここでは、コンピュータ可読記録媒体とは、コンピュータからその内容の読み込みが可能な任意の媒体であって有体物であるものを意味する。その例としては、光ディスクや半導体メモリが挙げられる。
さらに、コンピュータプラットフォーム２１０１は、複数の入力装置２１０４からの入力を受ける。この入力装置としては、キーボード、マウス、タッチデバイス、音声入力装置等がある。コンピュータプラットフォーム２１０１には、リムーバルストレージ２１０５を接続することもできる。ここで、リムーバルストレージ、光ディスク（ＣＤやＤＶＤ）、磁気ディスク等のコンピュータからそのデータの読み込みが可能な有体の記録媒体であって、コンピュータプラットフォーム２１０１からの取り外しが可能なものである。
コンピュータプラットフォーム２１０１はさらに、インターネットやローカルのネットワークに接続されたネットワーク資源２１０６と接続して情報をやり取りすることもできる。
ネットワーク資源２１０６は、リモートにあるネットワーク２１０７から、コンピュータプラットフォーム２１０１に対して、命令やデータを送信することが可能である。このネットワークリソースとの接続は、ＩＥＥＥ８０１．１１、Ｂｌｕｅｔｏｏｔｈ、携帯電話プロトコル等を利用した無線接続であってもよいし、電気ケーブルや光ファイバーを利用した有線接続であってもよい。
コンピュータプラットフォーム２１０１は、ディスプレイ２１０８にデータやその他の情報を出力し、当該ディスプレイの画面上にその情報を表示させる。また、ディスプレイ２１０８は、画面上のタッチ操作をその入力として受け付ける入力装置として動作し、ユーザーからの入力を受け取る。このディスプレイ２１０８とコンピュータプラットフォーム２１０１は一体となって、携帯型の端末装置として実装されることもある。もちろん、入力装置２１０４をさらに一体化してもよい。
これまで説明した文書の表示及び操作方法は、汎用コンピュータとしてのコンピュータシステム2100上のソフトウェアとして実装することもできるし、専用のハードウェアとしてのコンピュータシステム2100として実装することも可能である。また、その機能の一部をソフトウェアで他の機能をハードウェアで実行することも可能である。
３次元ページオブジェクトは、固定された幾何構造の上に可変のコンテンツを貼り付けるという実装形態に限られず、幾何構造そのものから動的に生成するものであってもよい。
また、折り畳みは、文書内の空白箇所だけでなく、オブジェクト上で行われてもよい。ユーザーが望む箇所に折り線を設定してそこで折り曲げればよいだけである。
６０１ 文書
６０２ セクション
６０３ セクション
６０４ 接触点
６０５ 接触点
６０６ 折り線

Claims (5)

  1. ディスプレイ装置の画面に表示する文書の情報を、前記ディスプレイ装置に対して出力する出力手段と、
    前記文書が表示された画面上における、少なくとも２箇所の接触点の位置及び動きを検知する検知手段と、
    表示された文書上で第２の接触点が静止している間に、第１の接触点が当該文書上を移動するというジェスチャーを検出するジェスチャー検出手段と、
    前記ジェスチャー検出手段が前記ジェスチャーを検出した場合には、予め設定された折り線によって区分される前記文書の第１の接触点側の領域を、透視図法によって前記画面の奥側または手前側に、当該折り線を基準にして折り畳んだように疑似３次元表示する２次元画像データを生成する折り畳み画像データ生成手段と、
    を有することを特徴とする文書折り畳み表示装置であって、
    前記ジェスチャー検出手段は、さらに、前記第２の接触点が静止している間の前記第１の接触点の移動方向が、前記第２の接触点に近づく方向か、遠ざかる方向かを検出し、
    前記折り畳み画像データ生成手段は、検出した移動方向が遠ざかる方向の場合と近づく方向の場合とで、異なる折り畳み方向へ折り畳んだような画像データを生成することを特徴とする、文書折り畳み表示装置。
  2. ディスプレイ装置の画面に表示する文書の情報を、前記ディスプレイ装置に対して出力する出力手段と、
    前記文書が表示された画面上における、少なくとも２箇所の接触点の位置及び動きを検知する検知手段と、
    表示された文書上で第２の接触点が静止している間に、第１の接触点が当該文書上を移動するというジェスチャーを検出するジェスチャー検出手段と、
    前記ジェスチャー検出手段が前記ジェスチャーを検出した場合には、予め設定された折り線によって区分される前記文書の第１の接触点側の領域を、透視図法によって前記画面の奥側または手前側に、当該折り線を基準にして折り畳んだように疑似３次元表示する２次元画像データを生成する折り畳み画像データ生成手段と、
    を有することを特徴とする文書折り畳み表示装置であって、
    前記ジェスチャー検出手段は、さらに、前記第２の接触点が静止している間の前記第１の接触点の移動方向が、前記第２の接触点から前記第１の接触点の初期位置を見た場合に左右いずれの方向に向かっているかを検出し、
    前記折り畳み画像データ生成手段は、検出した移動方向が左方向と右方向とで、異なる折り畳み方向へ折り畳んだような画像データを生成することを特徴とする、文書折り畳み表示装置。
  3. 前記ジェスチャー検出手段は、さらに、前記第２の接触点が静止している間の前記第１の接触点の移動量を検出し、
    前記折り畳み画像データ生成手段は、検出された前記第１の接触点の移動量が大きいほど、折り畳む量を大きくした画像データを生成することを特徴とする請求項１又は請求項２に記載の文書折り畳み表示装置。
  4. ディスプレイ装置の画面に表示する文書の情報を、前記ディスプレイ装置に対して出力する出力するステップと、
    前記文書が表示された画面上における、少なくとも２箇所の接触点の位置及び動きを検知するステップと、
    表示された文書上で第２の接触点が静止している間に、第１の接触点が当該文書上を移動するというジェスチャーを検出するステップと、
    前記ジェスチャーを検出した場合には、予め設定された折り線によって区分される前記文書の第１の接触点側の領域を、透視図法によって前記画面の奥側または手前側に、当該折り線を基準にして折り畳んだように疑似３次元表示する２次元画像データを生成するステップと、
    をコンピュータに実行させるための文書折り畳み表示プログラムであって、
    前記ジェスチャーを検出するステップでは、さらに、前記第２の接触点が静止している間の前記第１の接触点の移動方向が、前記第２の接触点に近づく方向か、遠ざかる方向かを検出し、
    前記２次元画像データを生成するステップでは、検出した移動方向が遠ざかる方向の場合と近づく方向の場合とで、異なる折り畳み方向へ折り畳んだような画像データを生成することを特徴とする、文書折り畳み表示装置プログラム。
  5. ディスプレイ装置の画面に表示する文書の情報を、前記ディスプレイ装置に対して出力する出力するステップと、
    前記文書が表示された画面上における、少なくとも２箇所の接触点の位置及び動きを検知するステップと、
    表示された文書上で第２の接触点が静止している間に、第１の接触点が当該文書上を移動するというジェスチャーを検出するステップと、
    前記ジェスチャーを検出した場合には、予め設定された折り線によって区分される前記文書の第１の接触点側の領域を、透視図法によって前記画面の奥側または手前側に、当該折り線を基準にして折り畳んだように疑似３次元表示する２次元画像データを生成するステップと、
    をコンピュータに実行させるための文書折り畳み表示プログラムであって、
    前記ジェスチャーを検出するステップでは、さらに、前記第２の接触点が静止している間の前記第１の接触点の移動方向が、前記第２の接触点から前記第１の接触点の初期位置を見た場合に左右いずれの方向に向かっているかを検出し、
    前記２次元画像データを生成するステップでは、検出した移動方向が左方向と右方向とで、異なる折り畳み方向へ折り畳んだような画像データを生成することを特徴とする、文書折り畳み表示プログラム。
JP2011127211A 2010-11-24 2011-06-07 文書折り畳み表示装置およびプログラム Expired - Fee Related JP4957857B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/954,581 US8997025B2 (en) 2010-11-24 2010-11-24 Method, system and computer readable medium for document visualization with interactive folding gesture technique on a multi-touch display
US12/954,581 2010-11-24

Publications (2)

Publication Number Publication Date
JP2012113686A JP2012113686A (ja) 2012-06-14
JP4957857B2 true JP4957857B2 (ja) 2012-06-20

Family

ID=46065610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011127211A Expired - Fee Related JP4957857B2 (ja) 2010-11-24 2011-06-07 文書折り畳み表示装置およびプログラム

Country Status (2)

Country Link
US (1) US8997025B2 (ja)
JP (1) JP4957857B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10146949B2 (en) 2013-08-05 2018-12-04 Samsung Electronics Co., Ltd. Method and apparatus for encrypting area of electronic document

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4824805B2 (ja) * 2009-09-28 2011-11-30 京セラ株式会社 携帯端末装置
US9245259B2 (en) * 2011-01-14 2016-01-26 Apple Inc. Presenting E-mail on a touch device
US8587539B2 (en) * 2011-01-21 2013-11-19 Blackberry Limited Multi-bend display activation adaptation
JP5806822B2 (ja) * 2011-02-24 2015-11-10 京セラ株式会社 携帯電子機器、接触操作制御方法および接触操作制御プログラム
US20130016129A1 (en) * 2011-07-14 2013-01-17 Google Inc. Region-Specific User Input
US9645724B2 (en) 2012-02-01 2017-05-09 Facebook, Inc. Timeline based content organization
US9235317B2 (en) * 2012-02-01 2016-01-12 Facebook, Inc. Summary and navigation of hierarchical levels
US9557876B2 (en) 2012-02-01 2017-01-31 Facebook, Inc. Hierarchical user interface
KR20130143160A (ko) * 2012-06-20 2013-12-31 삼성전자주식회사 휴대단말기의 스크롤 제어장치 및 방법
KR102145533B1 (ko) * 2012-10-04 2020-08-18 삼성전자주식회사 플렉서블 디스플레이 장치 및 그의 제어 방법
US20140132626A1 (en) * 2012-11-09 2014-05-15 Samsung Electronics Co., Ltd. Content delivery system with folding mechanism and method of operation thereof
US10150285B2 (en) * 2012-11-13 2018-12-11 Hp Indigo B.V. Formation of a crease and an image on media
KR101678541B1 (ko) * 2012-12-14 2016-11-22 후아웨이 테크놀러지 컴퍼니 리미티드 메뉴를 표시하는 방법, 장치 및 디바이스
JP5598584B2 (ja) * 2012-12-25 2014-10-01 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法及びプログラム
KR20140100316A (ko) * 2013-02-06 2014-08-14 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9785240B2 (en) * 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
KR20140115979A (ko) * 2013-03-22 2014-10-01 삼성전자주식회사 데이터 저장 방법 및 그 방법을 처리하는 전자 장치
US20140306965A1 (en) * 2013-04-10 2014-10-16 Microsoft Corporation Multi-directional virtual page navigation animation
US9841821B2 (en) * 2013-11-06 2017-12-12 Zspace, Inc. Methods for automatically assessing user handedness in computer systems and the utilization of such information
US20150234548A1 (en) * 2014-02-19 2015-08-20 Nagravision S.A. Graphical user interface with unfolding panel
US10380225B1 (en) * 2014-07-15 2019-08-13 Google Llc Systems and methods for layout transformation of document content
US10795567B2 (en) * 2014-08-22 2020-10-06 Zoho Corporation Private Limited Multimedia applications and user interfaces
JP6105537B2 (ja) 2014-09-24 2017-03-29 ファナック株式会社 アラーム対処履歴を表示する数値制御装置
US11073980B2 (en) 2016-09-29 2021-07-27 Microsoft Technology Licensing, Llc User interfaces for bi-manual control
US10684758B2 (en) * 2017-02-20 2020-06-16 Microsoft Technology Licensing, Llc Unified system for bimanual interactions
US11481035B2 (en) * 2020-05-15 2022-10-25 Huawei Technologies Co., Ltd. Method and system for processing gestures detected on a display screen of a foldable device
CN111625297A (zh) * 2020-05-28 2020-09-04 Oppo广东移动通信有限公司 一种应用程序的显示方法、终端和计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6924822B2 (en) * 2000-12-21 2005-08-02 Xerox Corporation Magnification methods, systems, and computer program products for virtual three-dimensional books
US7610563B2 (en) * 2002-03-22 2009-10-27 Fuji Xerox Co., Ltd. System and method for controlling the display of non-uniform graphical objects
WO2007031411A2 (en) * 2005-09-14 2007-03-22 Irex Technologies B.V. Electronic reading device
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US8065603B2 (en) * 2007-04-30 2011-11-22 Google Inc. Hiding portions of display content
US8681104B2 (en) 2007-06-13 2014-03-25 Apple Inc. Pinch-throw and translation gestures
US8209628B1 (en) * 2008-04-11 2012-06-26 Perceptive Pixel, Inc. Pressure-sensitive manipulation of displayed objects
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
JP5284473B2 (ja) * 2009-07-30 2013-09-11 シャープ株式会社 携帯型表示装置およびその制御方法、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10146949B2 (en) 2013-08-05 2018-12-04 Samsung Electronics Co., Ltd. Method and apparatus for encrypting area of electronic document

Also Published As

Publication number Publication date
JP2012113686A (ja) 2012-06-14
US8997025B2 (en) 2015-03-31
US20120131516A1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
JP4957857B2 (ja) 文書折り畳み表示装置およびプログラム
US12073008B2 (en) Three-dimensional object tracking to augment display area
TWI579734B (zh) ３ｄ視覺化技術
US9207858B2 (en) Method and apparatus for drawing and erasing calligraphic ink objects on a display surface
CN108399010B (zh) 增强的基于相机的输入
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
US8860675B2 (en) Drawing aid system for multi-touch devices
US20130201113A1 (en) Multi-touch-movement gestures for tablet computing devices
JP2015507783A (ja) ディスプレイ装置及びそれを用いた画面モード変更方法
US9685143B2 (en) Display control device, display control method, and computer-readable storage medium for changing a representation of content displayed on a display screen
US10761721B2 (en) Systems and methods for interactive image caricaturing by an electronic device
KR20160046150A (ko) 도형 컨텐트를 생성 및 해석하는 방법 및 장치
WO2016145832A1 (zh) 终端的操作方法及装置
JP2010176332A (ja) 情報処理装置、情報処理方法およびプログラム
JP5992934B2 (ja) 三次元ビューイングの方法
WO2010017711A1 (zh) 一种图形触摸命令的执行方法、装置及移动终端
US11941775B2 (en) Three-dimensional folding tool
US8564620B2 (en) Method for automatically adjusting the rendered fidelity of elements of a composition
JP5621407B2 (ja) 操作入力装置ならびにプログラムと方法
US10331333B2 (en) Touch digital ruler
GB2531112B (en) Optical digital ruler
KR101535738B1 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
CN114327063B (zh) 目标虚拟对象的交互方法、装置、电子设备及存储介质
TW201617793A (zh) 穿戴式裝置及其操作方法
JP6373710B2 (ja) 図形処理装置および図形処理プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120305

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150330

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4957857

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees