JP5449403B2 - 表示する文章に応じた触覚を提示する文章表示装置、文章表示プログラム、及び文章表示方法 - Google Patents

表示する文章に応じた触覚を提示する文章表示装置、文章表示プログラム、及び文章表示方法 Download PDF

Info

Publication number
JP5449403B2
JP5449403B2 JP2011547263A JP2011547263A JP5449403B2 JP 5449403 B2 JP5449403 B2 JP 5449403B2 JP 2011547263 A JP2011547263 A JP 2011547263A JP 2011547263 A JP2011547263 A JP 2011547263A JP 5449403 B2 JP5449403 B2 JP 5449403B2
Authority
JP
Japan
Prior art keywords
tactile sensation
input
unit
sentence
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011547263A
Other languages
English (en)
Other versions
JPWO2011080872A1 (ja
Inventor
浩二 小林
紹二 大坪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011547263A priority Critical patent/JP5449403B2/ja
Publication of JPWO2011080872A1 publication Critical patent/JPWO2011080872A1/ja
Application granted granted Critical
Publication of JP5449403B2 publication Critical patent/JP5449403B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries

Description

本発明は、文章データに基づいて文章をモニタ等に表示する文章表示装置に関し、より特定的には、表示する文章の内容や構成に応じた触感を操作者に提示するための技術に関する。
画面操作や入力操作等を行う際には、操作者がモニタ等に表示された画像を見ながら、マウスやタッチパネル等のポインティングデバイスやキーボードを操作する方法が一般的である。
このように、操作者は操作に必要な情報を主に視覚から得ているのであるが、他の五感を用いた情報を出力する装置も存在する。
例えば、操作ミス等の不適切な操作が行われた際に、ビープ音を鳴らして警告する装置がある。
また例えば、視覚障害者のために点字を出力する装置がある。
また、タッチパネルへの入力操作に応じて、圧電アクチュエータによりパネル表面を振動させる、触覚機能付きの入出力装置が特許文献1に開示されている。
特開2006−195734号公報
特許文献1のような振動による触感は、エラー発生時のように操作者に注意を促すような用途や、携帯電話の着信のように主たる単独の機能を提示するような用途には向いているかもしれない。しかしながら、例えば振動による触感を、予め決まっていない何らかの事象が起こったことを操作者に提示するような用途に用いた場合には、操作者はどのような事象によって振動が発生したのかを感覚的に知ることができない。例えば、上記特許文献1のような振動による触感を、モニタに表示している文章や文章の段落の始端及び終端において振動させるような用途に用いた場合には、視覚に頼らなければ、振動を発生させた事象が始端なのか、終端なのか、あるいはエラー等の他の事象が発生したのか、操作者には見当が付かない。
さらに、上記特許文献1において短い段落をモニタに表示しスクロール操作を行う場合には、段落の始端と終端とがスクロール操作において近い位置になるため、振動を発生させた事象が段落の始端なのか終端なのか、操作者には判り難い。
よって、上記特許文献1は、マニュアルを読まずに操作できるような使い勝手のよい装置には成り得ない。
また、振動による触感だけでは位置を特定することができないので、上記特許文献1において操作者は、振動を感知すると、そのときのモニタの表示画面を見て位置を特定した後に、次の操作を行うことになる。このように、上記特許文献1において、操作者が位置を特定するまでに、触覚と視覚の両方の感覚を順に使わなくてはならないので面倒であり、かつそれなりの時間を要する。
よって、上記特許文献1は、操作者に対して迅速な操作が行えるように支援するものではない。
それ故に、本発明は、文章をモニタ等に表示させ、表示している文章の内容や構成に応じた触感による出力を、操作者が感覚的に認識できるように提示することにより、操作者が視覚に頼らなくても触感により文章中の位置を感覚的に知ることができるようにして、操作者に対して迅速な操作が行えるように支援する文章表示装置、文章表示プログラム、及び文章表示方法を提供することを目的とする。
本発明は、文章表示装置、文章表示プログラム、及び文章表示方法に向けられている。そして上記課題を解決するために、本発明の文章表示装置は、表示デバイスに文章を表示させ、操作者による操作を受け付ける文章表示装置であって、表示制御部、入力部、演算部、及び触感提示部を備える。表示制御部は、予め定められた特徴位置を含む文章を前記表示デバイスに表示させる。入力部は、2次元の入力領域を有する入力デバイスに対する、操作者の指による操作を受け付けて、指の接触の有無と、指が接触している指位置に対応するXY座標とを検出する。演算部は、前記入力部により指が接触したと検出されたときに、前記入力部により検出されたXY座標と、前記表示制御部により表示されている文章中の注目表示位置とを対応付け、当該注目表示位置と前記特徴位置との相対距離を計算し、当該相対距離と、前記入力部により検出されたXY座標とに基づいて、前記入力領域における前記特徴位置に対応する座標値を算出する。触感提示部は、操作者に対して、前記演算部により算出された座標値が示す前記入力領域における位置が、隆起、または陥没している触感を与える。
好ましくは、前記触感提示部は、前記演算部により算出された座標値が示す前記入力領域における位置を、隆起、または陥没させるとよい。
好ましくは、前記触感提示部は、前記演算部により算出された座標値が示す前記入力領域における位置に、振動による擬似的な隆起、または陥没を起こさせるとよい。
好ましくは、前記演算部は、前記入力部による検出結果に基づいて、指が接触したまま前記指位置が移動する操作を検知し、当該移動によるXY座標の変動量に応じて、表示されている文章中の前記注目表示位置の移動量を計算し、前記表示制御部は、前記演算部による計算結果に従って、前記注目表示位置を移動させ、ここで、前記触感提示部により操作者に対して隆起、または陥没している触感を与えた位置まで前記指位置が移動したと前記入力部により検出されたときには、前記注目表示位置を前記特徴位置まで移動するとよい。
好ましくは、前記触感提示部は、さらに、前記入力部により指が離れたと検出されたときに、前記操作者に対して、隆起、または陥没している触感を与えた位置を、元の状態に戻すとよい。
好ましくは、前記特徴位置は、前記表示制御部により表示されている文章の終端位置、または当該文章の各段落の終端位置に相当し、前記演算部は、前記入力領域における前記終端位置に対応するY座標を算出し、前記触感提示部は、操作者に対して、前記演算部により算出されたY座標が示す前記入力領域におけるX座標方向に長い位置が、隆起、または陥没している触感を与えるとよい。
好ましくは、前記特徴位置は、前記表示制御部により表示されている文章、または当該文章の各段落の始端位置と終端位置とに相当し、前記演算部は、前記入力領域における前記始端位置と前記終端位置とにそれぞれ対応するY座標を算出し、前記触感提示部は、操作者に対して、前記演算部により算出された各Y座標が示す前記入力領域におけるX座標方向に長い位置をが、それぞれ隆起、または陥没している触感を与えるとよい。
好ましくは、前記文章表示装置は、さらに、前記表示制御部により表示されている文章中の、操作者が既に読んだ部分と読んでいない部分との境界を示すしおり位置を、記憶、及び変更するしおり管理部を備え、前記特徴位置は、前記しおり位置に相当し、前記演算部は、前記入力領域における前記しおり位置に対応するY座標を算出し、前記触感提示部は、操作者に対して、前記演算部により算出されたY座標が示す前記入力領域におけるX座標方向に長い位置が、隆起、または陥没している触感を与えるとよい。
好ましくは、前記表示制御部は、予め定められた複数の見出し位置を前記特徴位置として含む辞書を前記表示デバイスに表示させ、前記演算部は、前記入力領域における前記複数の見出し位置のそれぞれに対応するXY座標を複数算出し、前記触感提示部は、操作者に対して、前記演算部により算出された複数のXY座標が示す前記入力領域におけるそれぞれの位置及びその周辺が、隆起、または陥没している触感を与えるとよい。
好ましくは、前記触感提示部は、前記演算部により算出された複数のXY座標に基づいて、前記入力領域を隆起、または陥没させることにより、階段状の辞書インデックスを形成するとよい。
好ましくは、前記文章表示装置は、さらに、前記触感提示部において前記辞書インデックスが形成される際の階段の数を、操作者に任意に設定させる設定部を備えるとよい。
また上記課題を解決するために、本発明の文章表示プログラムは、表示デバイスに文章を表示させ、操作者による操作を受け付ける文章表示装置において実行される文章表示プログラムであって、前記文章表示装置に、表示制御ステップ、入力ステップ、演算ステップ、及び触感提示ステップを実行させることを特徴とする。表示制御ステップは、予め定められた特徴位置を含む文章を前記表示デバイスに表示させる。入力ステップは、2次元の入力領域を有する入力デバイスに対する、操作者の指による操作を受け付けて、指の接触の有無と、指が接触している指位置に対応するXY座標とを検出する。演算ステップは、前記入力ステップにより指が接触したと認識されたときに、前記入力ステップにより検出されたXY座標と、前記表示制御ステップにより表示されている文章中の注目表示位置とを対応付け、当該注目表示位置と前記特徴位置との相対距離を計算し、当該相対距離と、前記入力ステップにより認識されたXY座標とに基づいて、前記入力デバイスの入力領域における前記特徴位置に対応する座標値を算出する。触感提示ステップは、操作者に対して、前記演算ステップにより算出された座標値が示す前記入力デバイスの入力領域における位置が、隆起、または陥没している触感を与える。
また上記課題を解決するために、本発明の文章表示方法は、表示デバイスに文章を表示させ、操作者による操作を受け付ける文章表示方法であって、表示制御ステップ、入力ステップ、演算ステップ、及び触感提示ステップを含む。表示制御ステップは、予め定められた特徴位置を含む文章を前記表示デバイスに表示させる。入力ステップは、2次元の入力領域を有する入力デバイスに対する、操作者の指による操作を受け付けて、指の接触の有無と、指が接触している指位置に対応するXY座標とを検出する。演算ステップは、前記入力ステップにより指が接触したと認識されたときに、前記入力ステップにより検出されたXY座標と、前記表示制御ステップにより表示されている文章中の注目表示位置とを対応付け、当該注目表示位置と前記特徴位置との相対距離を計算し、当該相対距離と、前記入力ステップにより認識されたXY座標とに基づいて、前記入力デバイスにおける前記特徴位置に対応する座標値を算出する。触感提示ステップは、操作者に対して、前記演算ステップにより算出された座標値が示す前記入力デバイスの入力領域における位置が、隆起、または陥没している触感を与える。
以上のように、本発明においては、入力部において、指が接触した指位置を基準にして、表示している文章や文章の段落の始点と終点、しおり位置、及び辞書のインデックス(見出し)等の特徴位置に相当する入力部上の位置を、隆起、または陥没させることができる。このような構成によれば、操作者は、入力部により表示している文章に対する操作を行うのに際し、自身の指で、隆起、または陥没を感じることにより特徴位置に達したことを感覚的に知ることができる。よって、操作者は、モニタの表示画面を見なくても次の操作を行うことができるようになるので、本発明は、操作者が迅速な操作を行なうことを支援することができる。
図1は、本発明に係る文章表示システム10の概観を示す図である。 図2は、本発明に係る文章表示システム20の機能構成の概要を示す図である。 図3は、入力部120と触感提示部140の構造の概略を示す図である。 図4は、入力領域を立体的な形状にし、操作者に対して感覚的な提示形態を提供している状態の、入力部120と触感提示部140との断面を模式的に示す図である。 図5は、文章表示システム10における動作の概要を示す図である。 図6は、文章表示システム10における動作の概要を示す図である。 図7は、本発明の第1の実施形態における、文章中の特徴位置(段落等の終端位置)に応じて触感提示を行う方法の手順を示す図である。 図8は、表示領域演算部131の動作の具体例を説明するための図である。 図9は、仮想端点演算部132の動作の具体例を説明するための図である。 図10は、提示演算部133の動作の具体例を説明するための図である。 図11は、本発明の第1の変形例に係る文章表示システム30の機能構成の概要を示す図である。 図12は、入力部120における2次元の入力領域に触感提示された辞書のインデックスを示す図である。 図13は、入力部120における2次元の入力領域に触感提示された辞書のインデックスを示す図である。 図14は、入力部120における2次元の入力領域に触感提示された辞書のインデックスの他の例を示す図である。 図15は、本発明の第3の変形例に係る文章表示システム40の機能構成の概要を示す図である。 図16は、表示デバイス200に表示される設定用画面を示す図である。 図17は、横方向に指を動かし、画面を横スクロールさせる際の触感提示の様子を示す図である。 図18は、円形の領域を隆起させて触感提示する様子を示す図である。 図19は、ドーナツ型を半分にしたような、奥側に向かって凹の領域を隆起させて触感提示する様子を示す図である。 図20は、本発明の第4の変形例に係る文章表示システム50の機能構成の概要を示す図である。
[第1の実施形態]
<概要>
第1の実施形態は、パソコンのモニタ等に表示された文章を見ながら、タッチパッドやタッチパネルのような2次元の入力領域を有するポインティングデバイスを用いて入力操作を行うような状況において、ポインティングデバイスの入力領域の一部を隆起、または陥没させることにより、操作者に対して表示された文章中の特定の位置が、隆起、または陥没している触感を与え、操作者に対して表示された文章中の特定の位置を感覚的に提示するものである。より具体的には、例えば文章中の各段落等の終端位置に相当する部分を直線状に隆起させることにより、操作者は、隆起した部分に指が当たるまでは段落等が続いていることが感覚的にわかる。また、操作者は、隆起した部分に指が当たると、そこが段落等の終端位置であることを感覚的に知ることができる。また、段落等の終端位置までカーソル等を移動させたい場合には、操作者は隆起した部分まで一気に指を動かすだけでよいので、モニタ等の表示を確認せずに次の操作を行うことができ迅速な操作が行える。
<構成>
図1は、本発明に係る文章表示システム10の概観を示す図である。
図1に示すように、文章表示システム10は、ノートパソコンと同様の形状及び機能を備えており、文章を表示するモニタ11、入力操作を受け付けるタッチパッド12、演算回路や記憶回路等を含むパソコン本体13、及び本願において新たに追加する触感提示デバイス14を備える。ここで、モニタ11には文章の一部分が表示されており、モニタ11中の矢印は、指位置に対応付けられた注目表示位置を示す。また、注目表示位置とは、アクティブラインを示すアンダーラインや反転表示等のように、強調表示されかつ操作が有効な行を示す位置、及び操作が有効な点を示すマウスポインタの位置等である。また図中の点線で示した矩形の枠15は、モニタ11に表示された文章の1段落分のイメージを示す。
触感提示デバイス14は、タッチパッド12の裏面から入力領域の一部を隆起、または陥没させる。図1ではモニタ11に表示している段落の終端位置に相当する入力領域の部分を隆起させているところを示している。
なお、ここで文章表示システム10が従来のノートパソコンの形状を元にしているので、モニタ11、タッチパッド12、パソコン本体13、及び触感提示デバイス14が一体化した形状となっているが、これらの構成は一体化せずにそれぞれ独立していてもよい。例えば、デスクトップパソコンの形状を元にすると、モニタ11は他の構成とは独立した別の装置(表示デバイス)となる。また、タッチパッド12や触感提示デバイス14も他の構成とは独立した装置であってもよい。ここで、モニタ11、タッチパッド12、及び触感提示デバイス14が独立した装置である場合には、これらはそれぞれ外部機器としてパソコン本体13の通信ポート(図示せず)に接続されて、全体が連動して動作する。
また、タッチパッド12の代わりに、タッチパネルを用いてもよい。
図2は、本発明に係る文章表示システム20の機能構成の概要を示す図である。
図2に示す文章表示システム20は、文章表示装置100、及び表示デバイス200から構成されている。
文章表示装置100は、表示デバイス200に文章を表示させ、操作者による操作を受け付ける入出力装置であり、図2に示すように、表示制御部110、入力部120、演算部130、及び触感提示部140を含む。
表示デバイス200は、液晶モニタ等の画像表示装置である。
表示制御部110は、通信ポート(図示せず)を介して表示デバイス200と接続され、予め定められた特徴位置の情報を含む文章データを記憶し、当該文章データに基づいて表示デバイス200に文章を表示させる。ここで特徴位置とは、第1の実施形態では文章中の段落の、所定の区切り毎の最後の行の位置である。
入力部120は、図1に示したタッチパッド12に相当する2次元の入力領域を有するポインティングデバイスを含み、ポインティングデバイスに対する操作者の指による操作を受け付けて、指の接触の有無と、指が接触している指位置に対応するXY座標とを検出する。なお、入力部120の基本的な構成及び動作等は、従来のトラックパッドやタッチパッドと同等であり、その詳細な説明は割愛する。
演算部130は、図1に示したパソコン本体13に相当し、表示領域演算部131、仮想端点演算部132、提示演算部133を含む。
表示領域演算部131は、入力部120により指が接触したと検出されたときに、入力部120により検出された指位置に対応するXY座標と、表示制御部110により表示デバイス200に表示されている文章中の注目表示位置とを対応付ける。ここで、注目表示位置とは、アクティブラインを示すアンダーラインや反転表示等のように、強調表示されかつ操作が有効な行を示す位置、及び操作が有効な点を示すマウスポインタの位置等である。
また表示領域演算部131は、入力部120による検出結果に基づいて、指が接触したまま指位置が移動する操作を検知し、移動によるXY座標の変動量に応じて、表示デバイス200に表示されている文章中の注目表示位置の移動量や文章のスクロール量を計算する。
表示制御部110は、表示領域演算部131による計算結果に従って、注目表示位置を移動させたり、文章をスクロールさせる。
また仮想端点演算部132は、注目表示位置と特徴位置との相対距離を計算し、計算した相対距離と入力部120により検出されたXY座標とに基づいて、隆起、または陥没させることができる触感提示部140における触感提示可能範囲内に、特徴位置に対応する座標が入っているか否かを判定する。
また提示演算部133は、仮想端点演算部132により触感提示可能範囲内に、特徴位置に対応する座標が入っていると判定された場合に、仮想端点演算部132により計算された相対距離と、入力部120により検出されたXY座標とに基づいて、注目表示位置から特徴位置までの距離に応じた触感提示量と、特徴位置に対応する提示演算部133における座標値とを算出する。
触感提示部140は、図1に示した触感提示デバイス14に相当し、入力デバイスの入力領域における演算部130により算出された座標値が示す位置を、隆起、または陥没させる。
ここで触感提示部140により隆起、または陥没された位置まで、入力デバイス上を操作者の指が移動したと入力部120により検出されたときには、表示デバイス200に表示されている文章中の注目表示位置が特徴位置に移動する。
また触感提示部140は、入力部120により指が離れたと検出されたときに、先に隆起、または陥没させた位置を、元の平坦な状態に戻す。なお、本実施形態においては、指が離れたときに、隆起、または陥没させた位置を平坦な状態に戻すようにしているが、必ずしも平坦な状態に戻さなくてもよい。また、別のタイミングで平坦な状態に戻すようにしてもよい。例えば、指が離れたときには平坦な状態に戻さず、次に指が接触したときに、新しい接触位置に基づいて、隆起、または陥没させるだけでもよい。
図3は、入力部120と触感提示部140の構造の概略を示す図である。
図3に示すように、入力部120における2次元の入力領域は、入力面に垂直な方向(図中矢印の上下方向)に5〜10ミリ程度の変形が可能な柔軟性を持っている。触感提示部140は、入力部120の入力領域の裏面全体に位置し、任意の大きさのドットで構成される面を任意の高さに多段階に上下させることが可能であり、ドットの形状と高さを組み合わせて当該入力領域の一部を変形させることにより、入力領域を立体的な形状にし、操作者に対して感覚的な提示形態を提供するものである。
図4は、入力領域を立体的な形状にし、操作者に対して感覚的な提示形態を提供している状態の、入力部120と触感提示部140との断面を模式的に示す図である。
図4に示すように、入力部120と触感提示部140とは一体化して、触感提示部140の変形に合わせて入力部120の入力領域が変形し、入力領域の一部を隆起または陥没した形状にすることができる。
<動作概要>
図5、図6は、文章表示システム10における動作の概要を示す図である。ここで、図1と同様に、モニタ11には文章の一部分が表示されており、モニタ11の画面中の矢印で示すラインは、指位置に対応付けられた注目表示位置を示す。また図中の点線で示した矩形の枠16〜19は、モニタ11に表示された文章の1段落分のイメージを示す。
図5中の(a)において、操作者がタッチパッド12を用いて、指による情報入力操作を開始すると、タッチパッド12の入力領域に接触させた指の位置と文章上の注目表示位置の座標値とが対応付けられる。ここでは指をタッチパッド12の入力領域に接触させたときに、指位置に対応するタッチパッド12におけるXY座標値(150,20)が出力され、これが、表示された文章上の注目表示位置の座標値(0,3000)に対応付けられている。
図5中の(b)において、使用者がタッチパッド12の入力領域に接触させた指を手前方向へ移動させると、モニタ11に表示された文章がスクロールアップし、段落等の終端位置が近づいてくる。そこで段落等の終端位置に相当する位置が入力領域内に有るか否かが判断され、有ると判断されると、触感提示デバイス14が入力領域内の該当する位置の高さを周辺と異ならせることで、タッチパッド12の入力領域を隆起、または陥没させる。ここでは、指位置がタッチパッド12におけるXY座標値(150,100)のときに、これが、表示された文章上の注目表示位置の座標値(0,8000)に対応付けられる。さらに、表示された文章上の段落等の終端位置(500,10000)に相当する触感提示デバイス14における位置(50、66)を含むX方向に横長の部分が隆起され、段落等の終端位置を示す立体的な形状が操作者へ提示される。
図6中の(a)において、操作者がタッチパッド12の入力領域に接触させた指を、さらに手前方向へ移動させ、その指が隆起または陥没している部分に触れると、ちょうどそこが段落等の終端位置に相当することになる。そしてモニタ11には段落等の終端位置を含む行が表示され、そこが注目表示位置になる。ここでは、指位置が(150,200)のときに隆起している部分に触れると、段落等の終端位置を含む行の先頭位置(0、10000)が注目表示位置になる。このようにして操作者は段落の終端に達したことを触覚によって直感的に認識することができる。
図6中の(b)において、図5中の(b)の状態から操作者がタッチパッド12の入力領域に接触させた指を離すと、隆起または陥没している部分が元の状態に戻る。
<動作手順>
図7は、本発明の第1の実施形態における、文章中の特徴位置(段落等の終端位置)に応じて触感提示を行う方法の手順を示す図である。
図8は、表示領域演算部131の動作の具体例を説明するための図である。
(1)表示制御部110が、文章を表示デバイス200に表示させる(ステップS1)。図8では文章上の左上隅の座標を(0,0)、右下隅の座標を(500,10000)とする。また、このうちの文章上の座標(0,7500)から(500,8500)までの領域がモニタ11(表示デバイス200に相当)に表示されているものとする。
(2)入力部120により入力領域に指が接触したと検出されるまで待つ(ステップS2)。図8ではタッチパッド12(入力部120に相当)における左上隅の座標を(0,0)、右下隅の座標を(300,300)とする。
(3)指が接触したと検出されると(ステップS2:YES)、入力部120が指位置に対応するXY座標を検出する(ステップS3)。図8ではタッチパッド12におけるXY座標(150,100)が検出されたものとする。
(4)表示領域演算部131が、入力部120により検出された指位置に対応するXY座標と、表示デバイス200に表示されている文章中の注目表示位置とを対応付ける(ステップS4)。図8では指位置に対応するタッチパッド12におけるXY座標は(150,100)である。また、文章中の注目表示位置は(0,8000)を通るX軸に平行な1行である。また、注目表示位置のモニタ11における座標は、(0,350)を通るX軸に平行な1行である。
(5)入力部120により入力領域から指が離れたと検出されているか否かを判断する(ステップS5)。
(6)指が離れたと検出された場合には(ステップS5:YES)、触覚提示量を強制的にゼロにする等して、隆起または陥没している部分を元の状態に戻し、ステップS2(指の接触待ち)に戻る(ステップS6)。
(7)指が離れたと検出されない場合には(ステップS5:NO)、表示領域演算部131が、タッチイン位置からドラッグ位置までの、指が接触したまま移動した指位置の移動量を計算する(ステップS7)。
(8)表示領域演算部131が、ステップS5において計算した指位置の移動量から、表示デバイス200に表示されている文章中の注目表示位置の移動量や文章のスクロール量を計算する(ステップS8)。
(9)表示制御部110が、演算部130による計算結果に従って、注目表示位置を移動させ、文章をスクロールさせる(ステップS9)。
図9は、仮想端点演算部132の動作の具体例を説明するための図である。
(10)仮想端点演算部132が、表示デバイス200に表示されている文章中の注目表示位置と特徴位置との相対距離を計算する(ステップS10)。図9では文章中の注目表示位置のY座標値「8000」と特徴位置のY座標値「10000」との差分より相対距離「2000」を算出する。
(11)仮想端点演算部132が、計算した相対距離と入力部120により検出されたXY座標とに基づいて、触感提示部140における隆起、または陥没させることができる触感提示可能範囲内に、特徴位置に対応する座標が入っているか否かを判定する(ステップS11)。特徴位置に対応する座標が入っていない場合には(ステップS11:NO)、ステップS5(指が離れたと検出されているか否かの判断)へ行く。
図10は、提示演算部133の動作の具体例を説明するための図である。
(12)触感提示可能範囲内に、特徴位置に対応する座標が入っている場合には(ステップS11:YES)、提示演算部133が、特徴位置に対応する触感提示部140における座標値を算出する(ステップS12)。図10では特徴位置に対応する触感提示デバイス14(触感提示部140に相当)における座標値(50,66)を算出する。
(13)提示演算部133が、注目表示位置から特徴位置までの距離に応じて触感提示量を計算する(ステップS13)。
(14)触感提示部140が、提示演算部133により算出された座標値が示す位置を、触感提示量が示す高さに隆起、または陥没させる(ステップS14)。図10では算出された座標値(50,66)を通るX軸に平行な一行の直線を境に、そこから手前の一部を隆起させている。
(15)ステップS14において隆起、または陥没させた部分に指が触れたか否かを判断する(ステップS15)。指が触れていない場合は(ステップS15:NO)、ステップS5(指が離れたと検出されているか否かの判断)へ行く。指が触れた場合は(ステップS15:YES)、ステップS1(新しい文章を表示させる)に戻る。
なお、本実施形態では、触感提示する特徴位置を文章や文章の段落等の終端位置を例に説明したが、例えば段落等の始端位置、しおり位置、辞書などのインデックス等の特徴位置を触感提示するものであってもよい。また、段落等の始端位置と終端位置の両方を同時に触感提示する等、複数種類の特徴位置を組み合わせて同時に触感提示するものであってもよい。また操作者が、複数種類の特徴位置の中から触感提示したいものを任意に選択し設定することができるようにしてもよい。
ここで、しおり位置とは、表示制御部により表示されている文章中の、操作者が既に読んだ部分と読んでいない部分との境界等を示す。
また、複数種類の特徴位置を組み合わせて同時に触感提示するような場合には、種類毎に触感提示の態様を変えることが望ましい。例えば、段落等の始端位置と終端位置とを同時に触感提示する場合には、指位置からみて、終端位置は手前方向に向かった位置が凸であり、始端位置は奥行き方向に向かった位置が凸なので、操作者はこの2つを容易に判別できる。また例えば、始端位置や終端位置と、しおり位置とを同時に触感提示する場合には、始端位置や終端位置を比較的高くしたり長くしたり実線形状にし、しおり位置を比較的低くしたり短くしたり点線形状にすると、操作者がこれらの違いを容易に判別できるので望ましい。
<まとめ>
以上説明したように、本実施形態の構成によれば、表示している文章の特徴位置に相当する入力領域中の位置を、隆起、または陥没させることができるので、操作者は、自身の指で、隆起、または陥没を感じることにより特徴位置に達したことを感覚的に知ることができる。よって、操作者は、モニタの表示画面を見なくても次の操作を行うことができるので、操作者が迅速な操作を行うことができるという優れた効果を奏する。
[第1の変形例]
本変形例は、しおり位置を、特徴位置として触感提示するものである。
図11は、本発明の第1の変形例に係る文章表示システム30の機能構成の概要を示す図である。
図11に示す文章表示システム30は、文章表示装置300、及び表示デバイス200から構成されている。
文章表示装置300は、表示デバイス200に文章を表示させ、操作者による操作を受け付ける入出力装置であり、図11に示すように、表示制御部110、入力部120、演算部130、触感提示部140、及びしおり管理部310を含む。
しおり管理部310は、操作者が文章を途中まで閲覧した後や文章を閉じる時等にしおり位置を記憶、及び更新し、また文章を開く時や操作者が指示した時に記憶されたしおり位置を出力して、特徴位置として触感提示させる。
しおり管理部310以外の構成要素、及び動作は第1の実施形態と同様である。
以上のように第1の変形例によれば、更新されるしおり位置を特徴位置として触感提示させることができるので、何回にも分けて小説などを読む場合や、文章を編集する場合等に大変便利である。
[第2の変形例]
第2の変形例は、辞書のインデックスを触感提示するものである。
本変形例の機能構成は第1の実施形態と同様である。
本変形例においては、表示制御部110は、予め定められた複数の見出し語の大きさや相互の位置関係等の特徴位置の情報を含む辞書の文章データを記憶し、当該辞書の文章データに基づいて表示デバイス200に辞書のインデックスを表示させ、インデックスから個々の単語に対して迅速なアクセスを可能にする。
ここで、見出し語とは、例えば英和辞書のインデックスであれば、単語の先頭のアルファベット(「A」〜「Z」)の26個であり、和英辞書や国語辞典のインデックスであれば、50音の「あ」段(「あ」、「か」、「さ」〜「わ」)の10個である。
また特徴位置を隆起、あるいは陥没させる構成及び動作は第1の実施形態と同様である。
図12、図13は、入力部120における2次元の入力領域に触感提示された辞書のインデックスの例を示す図である。
図12に示すように、辞書のインデックスが例えばあたかも実物の辞書のように、階段状に触感提示される。ここで、一度に標示される項目の数は、固定値であってもよいし、操作者が任意に設定できるようにしてもよい。
ここで、例えば操作者が項目「た」のインデックスの突起に触ると、その項目「た」が認識されて、図13に示すように、「た」の位置から辞書を開いたかのように、「た」よりも前にある項目「あ」、「か」、「さ」と「た」の部分の隆起が元に戻り、「た」から始まる個々の単語とその意味等が表示デバイス200に表示される。
図14は、入力部120における2次元の入力領域に触感提示された辞書のインデックスの他の例を示す図である。
図14中の(a)の辞書のインデックスの例では、入力部120の一部が、−0.2mmずつ3段階に陥没している。
また図14中の(b)の辞書のインデックスの例では、入力部120の一部が、0〜−0.6mmまでなだらかな傾斜を形成して陥没している。
以上のように第2の変形例によれば、実物の辞書のような凹凸のあるインデックスを提示することができるので、操作者に手探りで見出し語を探す感覚を与えることができ、同時に操作者が迅速な操作を行うことができるという優れた効果を備える。
[第3の変形例]
第3の変形例は、触感提示することが可能な項目を複数備え、操作者が、項目別に触感提示するか否かを設定することを可能とするものである。
ここで、触感提示することが選択可能な項目を、例えば段落等の終端位置、始端位置、しおり位置、及びインデックスとする。さらに、インデックスが触感提示するものとして選択する場合には、一度に触感提示する見出し語の数を設定することができる。
図15は、本発明の第3の変形例に係る文章表示システム40の機能構成の概要を示す図である。
図15に示す文章表示システム40は、文章表示装置400、及び表示デバイス200から構成されている。
文章表示装置400は、表示デバイス200に文章を表示させ、操作者による操作を受け付ける入出力装置であり、図15に示すように、表示制御部110、入力部120、演算部130、触感提示部140、及び項目設定部410を含む。
項目設定部410は、操作者によりアイコンがクリックされる等して設定用画面の選択の指示がなされると、表示デバイス200に設定用画面を表示させ、触感提示させる項目の選択を操作者から受け付ける。
図16は、表示デバイス200に表示される設定用画面を示す図である。
図16に示すように、各項目毎にチェックボックスが設置されており、操作者は、感触提示させたい項目のチェックボックスのみに選択的にチェックを入れることができる。また、インデックスのチェックボックスにチェックを入れた場合には、一度に触感提示する見出し語の最大数を設定することができる。ここでは、「文章の始端位置」、「文章の終端位置」、「段落の始端位置」、「段落の終端位置」、「しおりの位置」、「辞書のインディックス」について、触感提示させるか否かを操作者が選択することができる。さらに、隆起させる陥没させるか、実線であるか点線であるか、提示の高さ(深さ)を項目別に設定できるようにしている。
なお、上記の設定の他にもいろいろと設定できるようにしてもよい。例えば、隆起や陥没する形状を項目別に設定できるようにしてもよい。
以下に、隆起や陥没する形状のいろいろな具体例を示す。
図17は、横方向に指を動かし、画面を横スクロールさせる際の触感提示の様子を示す図である。
例えば書籍のデータは縦書き横スクロールが多いので、図17に示すような縦長の隆起による触感提示の利用価値は高い。
図18は、円形の領域を隆起させて触感提示する様子を示す図である。
例えば地図上の目的物や目的地を表すには、四方八方から指が接触してくるので、角の無い丸い形状が望ましい。よって、図18に示すような円柱形状の隆起による触感提示も利用価値が高い。
図19は、ドーナツ型を半分にしたような、奥側に向かって凹の領域を隆起させて触感提示する様子を示す図である。
例えば図19に示すように、奥から手前方向へ移動する指の操作を中央で受け止めるような形状を隆起させることにより、操作者が入力領域を全く見ずに操作を行っても、隆起部分に触れる度に左右方向のブレが修正されるため、迅速な操作を継続して行うことが容易になる。
以上のように第3の変形例によれば、操作者毎の意向や嗜好に合うように、操作者はカスタマイズして触感提示機能を活用することができるので、大変使い勝手かよい。
[第4の変形例]
第1の実施形態は、ポインティングデバイスの入力領域の一部を、実際に隆起、または陥没させることにより、操作者に対して表示された文章中の特定の位置が、隆起、または陥没している触感を与え、操作者に対して表示された文章中の特定の位置を感覚的に提示するものである。これに対して、第4の変形例は、ポインティングデバイスの入力領域の一部又は全部に、振動による擬似的な隆起または陥没を起こさせることにより、操作者に対して表示された文章中の特定の位置が、隆起、または陥没している触感を与え、操作者に対して表示された文章中の特定の位置を感覚的に提示するものである。
図20は、本発明の第4の変形例に係る文章表示システム50の機能構成の概要を示す図である。
図20に示す文章表示システム50は、文章表示装置500、及び表示デバイス200から構成されている。なお、図2に示した第1の実施形態の20と同様の構成要素には同一番号を付し、その説明を省略する。
文章表示装置500は、表示デバイス200に文章を表示させ、操作者による操作を受け付ける入出力装置であり、図20に示すように、表示制御部110、入力部120、演算部130、及び擬似触感提示部540を含む。
擬似触感提示部540は、入力部120の2次元の入力領域の一部又は全部に、適宜特定の振動数の振動を与え、入力デバイスの入力領域における演算部130により算出された座標値が示す位置を、擬似的に隆起、または陥没させる。
振動により擬似的な隆起または陥没を起こさせる原理、及び方法については、例えば、触感提示デバイスが、形状を変えなくても、振動によりユーザは触感からテクスチャパターンを認識ができるという論文(Vibratory Tactile Display of Image−Based Textures:Yasushi Ikei, Kazufumi Wakamatsu, and Shuichi Fukuda:Tokyo Metropolitan Institute of Technology:0272−1716/97/$10.00 (c) 1997 IEEE:IEEE Computer Graphics and Applications:Authorized licensed use limited to: Panasonic Corporation. Downloaded on December 22, 2009 at 03:05 from IEEE Xplore. Restrictions apply.)に記載されている。よって、本変形例は、このような論文による従来技術を応用すれば実施が可能である。
なお、振動による擬似的な隆起、または陥没では、細かい座標値まで正確に表せない場合には、その細かい分だけ表示位置の方を適宜変更するか、又は、入力デバイスの入力領域におけるスケールと、入力デバイスによる移動量との割合を適宜変更することによって、位置を調整するとよい。
以上のように第4の変形例によれば、表示している文章の特徴位置に相当する入力領域中の位置を、振動による擬似的な隆起または陥没を起こさせて触感提示させることができるので、操作者は、自身の指で、擬似的な隆起、または陥没を感じることにより特徴位置に達したことを感覚的に知ることができる。
なお、各変形例は矛盾が生じない限り、適宜組み合わせることができる。
また、上述の実施形態は、記憶装置(ROM、RAM、ハードディスク等)に格納された上述の処理手順をCPUに実行させることができるプログラムを、CPUに実行させることによっても実現できる。この場合、当該プログラムは、記録媒体を介して記憶装置内に格納された上で実行されてもよいし、記録媒体上から直接実行されてもよい。ここでの記録媒体は、ROM、RAM、フラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、CD−ROMやDVD、BD等の光ディスク、メモリカード等の記録媒体をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。
本願の発明を含む通信システムは、Ethernet(登録商標)インタフェース、IEEE1394インタフェース、USBインタフェース等の信号インタフェースを電力線通信のインタフェースに変換するアダプタの形態を取ることによって、各種のインタフェースを有するパーソナルコンピュータ、DVDレコーダ、デジタルテレビ、及びホームサーバシステム等のマルチメディア機器に接続することができる。これによって、電力線を媒体としたマルチメディアデータ等のデジタルデータを高速伝送するネットワークシステムを構築することが可能となる。この結果、従来の有線LANのようにネットワークケーブルを新たに敷設することなく、家庭、オフィス等に既に設置されている電力線をそのままネットワーク回線として利用できるので、コスト面、設置の容易性からその利便性は大きい。
また、将来的にはパーソナルコンピュータ、DVDレコーダ、デジタルテレビ、及びホームサーバシステム等のマルチメディア機器が本発明を含む機能を内蔵することにより、マルチメディア機器の電源コードを介して機器間のデータ伝送が可能になる。この場合、アダプタやEthernetケーブル、IEEE1394ケーブル、USBケーブルなどが不要になり、配線が簡略化される。また、ルータを介してインターネットへの接続や、無線LANや従来の有線ケーブルのLANにハブ等を用いて接続することができるので、本発明の高速電力線伝送システムを用いたLANシステムの拡張に何らの問題も生じない。
また、電力線伝送方式では、通信データが電力線を介して流されるため、無線LANのように電波が傍受されてデータが漏洩するという問題が生じない。よって、電力線伝送方式は、セキュリティの面からのデータ保護にも効果を有する。もちろん、電力線を流れるデータは、例えばIPプロトコルにおけるIPsec、コンテンツ自身の暗号化、その他のDRM(Digital Rights Management)方式等で保護される。
このように、コンテンツの暗号化による著作権保護機能や本発明の効果(スループットの向上、再送増加やトラフィック変動に柔軟に対応した帯域割り当て)を含めたQoS(Quality of Service)機能を実装することによって、電力線を用いた高品質なAVコンテンツの伝送が可能となる。
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。従って、本発明の範囲を逸脱することなく種々の改良や変形を行うことができる。
本発明の文章表示装置、文章表示プログラム、及び文章表示方法はあらゆる文章の表示、閲覧等に利用可能であり、感覚的に操作ができ、かつ迅速な操作が可能となるので、個人用、或いは業務用のパソコン等の全てに対して大変有用である。
10 文章表示システム
11 モニタ
12 タッチパッド
13 パソコン本体
14 触感提示デバイス
20 文章表示システム
30 文章表示システム
40 文章表示システム
50 文章表示システム
100 文章表示装置
110 表示制御部
120 入力部
130 演算部
131 表示領域演算部
132 仮想端点演算部
133 提示演算部
140 触感提示部
200 表示デバイス
300 文章表示装置
310 しおり設定部
400 文章表示装置
410 項目設定部
500 文章表示装置
540 擬似触感提示部

Claims (13)

  1. 表示デバイスに文章を表示させ、操作者による操作を受け付ける文章表示装置であって、
    予め定められた特徴位置を含む文章を前記表示デバイスに表示させる表示制御部と、
    2次元の入力領域を有する入力デバイスに対する、操作者の指による操作を受け付けて、指の接触の有無と、指が接触している指位置に対応するXY座標とを検出する入力部と、
    前記入力部により指が接触したと検出されたときに、前記入力部により検出されたXY座標と、前記表示制御部により表示されている文章中の注目表示位置とを対応付け、当該注目表示位置と前記特徴位置との相対距離を計算し、当該相対距離と、前記入力部により検出されたXY座標とに基づいて、当該注目表示位置から前記特徴位置までの距離に応じた触感提示量及び前記入力領域における前記特徴位置に対応する座標値を算出する演算部と、
    操作者に対して、前記演算部により算出された座標値が示す前記入力領域における位置が、前記触感提示量が示す高さに隆起、または陥没している触感を与える触感提示部とを備えることを特徴とする、文章表示装置。
  2. 前記触感提示部は、
    前記演算部により算出された座標値が示す前記入力領域における位置を、前記触感提示量が示す高さに隆起、または陥没させることを特徴とする、請求項1に記載の文章表示装置。
  3. 前記触感提示部は、
    前記演算部により算出された座標値が示す前記入力領域における位置に、振動による擬似的な前記触感提示量が示す高さの隆起、または陥没を起こさせることを特徴とする、請求項1に記載の文章表示装置。
  4. 前記演算部は、
    前記入力部による検出結果に基づいて、指が接触したまま前記指位置が移動する操作を検知し、当該移動によるXY座標の変動量に応じて、表示されている文章中の前記注目表示位置の移動量を計算し、
    前記表示制御部は、
    前記演算部による計算結果に従って、前記注目表示位置を移動させ、
    ここで、前記触感提示部により操作者に対して隆起、または陥没している触感を与えた位置まで前記指位置が移動したと前記入力部により検出されたときには、前記注目表示位置を前記特徴位置まで移動することを特徴とする、請求項1に記載の文章表示装置。
  5. 前記触感提示部は、さらに、
    前記入力部により指が離れたと検出されたときに、前記操作者に対して、隆起、または陥没している触感を与えた位置を、元の状態に戻すことを特徴とする、請求項1に記載の文章表示装置。
  6. 前記特徴位置は、前記表示制御部により表示されている文章の終端位置、または当該文章の各段落の終端位置に相当し、
    前記演算部は、
    前記入力領域における前記終端位置に対応するY座標を算出し、
    前記触感提示部は、
    操作者に対して、前記演算部により算出されたY座標が示す前記入力領域におけるX座標方向に長い位置が、隆起、または陥没している触感を与えることを特徴とする、請求項1に記載の文章表示装置。
  7. 前記特徴位置は、前記表示制御部により表示されている文章、または当該文章の各段落の始端位置と終端位置とに相当し、
    前記演算部は、
    前記入力領域における前記始端位置と前記終端位置とにそれぞれ対応するY座標を算出し、
    前記触感提示部は、
    操作者に対して、前記演算部により算出された各Y座標が示す前記入力領域におけるX座標方向に長い位置をが、それぞれ隆起、または陥没している触感を与えることを特徴とする、請求項1に記載の文章表示装置。
  8. 前記文章表示装置は、さらに、
    前記表示制御部により表示されている文章中の、操作者が既に読んだ部分と読んでいない部分との境界を示すしおり位置を、記憶、及び変更するしおり管理部を備え、
    前記特徴位置は、前記しおり位置に相当し、
    前記演算部は、
    前記入力領域における前記しおり位置に対応するY座標を算出し、
    前記触感提示部は、
    操作者に対して、前記演算部により算出されたY座標が示す前記入力領域におけるX座標方向に長い位置が、隆起、または陥没している触感を与えることを特徴とする、請求項1に記載の文章表示装置。
  9. 前記表示制御部は、
    予め定められた複数の見出し位置を前記特徴位置として含む辞書を前記表示デバイスに表示させ、
    前記演算部は、
    前記入力領域における前記複数の見出し位置のそれぞれに対応するXY座標を複数算出し、
    前記触感提示部は、
    操作者に対して、前記演算部により算出された複数のXY座標が示す前記入力領域におけるそれぞれの位置及びその周辺が、隆起、または陥没している触感を与えることを特徴とする、請求項1に記載の文章表示装置。
  10. 前記触感提示部は、
    前記演算部により算出された複数のXY座標に基づいて、前記入力領域を隆起、または陥没させることにより、階段状の辞書インデックスを形成することを特徴とする、請求項9に記載の文章表示装置。
  11. 前記文章表示装置は、さらに、
    前記触感提示部において前記辞書インデックスが形成される際の階段の数を、操作者に任意に設定させる設定部を備えることを特徴とする、請求項10に記載の文章表示装置。
  12. 表示デバイスに文章を表示させ、操作者による操作を受け付ける文章表示装置において実行される文章表示プログラムであって、
    前記文章表示装置に、
    予め定められた特徴位置を含む文章を前記表示デバイスに表示させる表示制御ステップと、
    2次元の入力領域を有する入力デバイスに対する、操作者の指による操作を受け付けて、指の接触の有無と、指が接触している指位置に対応するXY座標とを検出する入力ステップと、
    前記入力ステップにより指が接触したと認識されたときに、前記入力ステップにより検出されたXY座標と、前記表示制御ステップにより表示されている文章中の注目表示位置とを対応付け、当該注目表示位置と前記特徴位置との相対距離を計算し、当該相対距離と、前記入力ステップにより認識されたXY座標とに基づいて、前記入力デバイスの入力領域における前記特徴位置に対応する座標値を算出する演算ステップと、
    操作者に対して、前記演算ステップにより算出された座標値が示す前記入力デバイスの入力領域における位置が、隆起、または陥没している触感を与える触感提示ステップとを実行させることを特徴とする、文章表示プログラム。
  13. 表示デバイスに文章を表示させ、操作者による操作を受け付ける文章表示方法であって、
    予め定められた特徴位置を含む文章を前記表示デバイスに表示させる表示制御ステップと、
    2次元の入力領域を有する入力デバイスに対する、操作者の指による操作を受け付けて、指の接触の有無と、指が接触している指位置に対応するXY座標とを検出する入力ステップと、
    前記入力ステップにより指が接触したと認識されたときに、前記入力ステップにより検出されたXY座標と、前記表示制御ステップにより表示されている文章中の注目表示位置とを対応付け、当該注目表示位置と前記特徴位置との相対距離を計算し、当該相対距離と、前記入力ステップにより認識されたXY座標とに基づいて、前記入力デバイスにおける前記特徴位置に対応する座標値を算出する演算ステップと、
    操作者に対して、前記演算ステップにより算出された座標値が示す前記入力デバイスの入力領域における位置が、隆起、または陥没している触感を与える触感提示ステップとを含むことを特徴とする、文章表示方法。
JP2011547263A 2009-12-28 2010-11-25 表示する文章に応じた触覚を提示する文章表示装置、文章表示プログラム、及び文章表示方法 Expired - Fee Related JP5449403B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011547263A JP5449403B2 (ja) 2009-12-28 2010-11-25 表示する文章に応じた触覚を提示する文章表示装置、文章表示プログラム、及び文章表示方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009298844 2009-12-28
JP2009298844 2009-12-28
PCT/JP2010/006883 WO2011080872A1 (ja) 2009-12-28 2010-11-25 表示する文章に応じた触覚を提示する文章表示装置、文章表示プログラム、及び文章表示方法
JP2011547263A JP5449403B2 (ja) 2009-12-28 2010-11-25 表示する文章に応じた触覚を提示する文章表示装置、文章表示プログラム、及び文章表示方法

Publications (2)

Publication Number Publication Date
JPWO2011080872A1 JPWO2011080872A1 (ja) 2013-05-09
JP5449403B2 true JP5449403B2 (ja) 2014-03-19

Family

ID=44226301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011547263A Expired - Fee Related JP5449403B2 (ja) 2009-12-28 2010-11-25 表示する文章に応じた触覚を提示する文章表示装置、文章表示プログラム、及び文章表示方法

Country Status (3)

Country Link
US (1) US9207848B2 (ja)
JP (1) JP5449403B2 (ja)
WO (1) WO2011080872A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US10007340B2 (en) * 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
JP5755050B2 (ja) * 2011-06-28 2015-07-29 京セラ株式会社 電子機器
US9715300B2 (en) * 2013-03-04 2017-07-25 Microsoft Technology Licensing, Llc Touch screen interaction using dynamic haptic feedback
US20150091809A1 (en) * 2013-09-27 2015-04-02 Analia Ibargoyen Skeuomorphic ebook and tablet
KR20150066112A (ko) * 2013-12-06 2015-06-16 삼성전자주식회사 리모컨에 의해 제어 가능한 디스플레이 장치 및 이를 포함하는 디스플레이 시스템와 그 제어 방법
US10146424B2 (en) * 2014-02-28 2018-12-04 Dell Products, Lp Display of objects on a touch screen and their selection
CN112258594A (zh) * 2020-10-23 2021-01-22 北京字节跳动网络技术有限公司 文字显示方法、装置、电子设备及计算机可读存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148393A (ja) 1998-11-06 2000-05-26 Minolta Co Ltd 視触覚情報伝達装置
JP3543695B2 (ja) * 1999-03-17 2004-07-14 富士ゼロックス株式会社 駆動力発生装置
JP4344965B2 (ja) * 1999-08-18 2009-10-14 ソニー株式会社 伸縮性膜とその制御方法、伸縮性膜を用いた触覚呈示装置、人工皮膚装置、マニピュレータ並びにこれらの制御方法
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
GB2371914B (en) * 2001-02-03 2004-09-22 Ibm Non-visual user interface
JP2003091233A (ja) * 2001-09-17 2003-03-28 Toru Saito 画像表示装置および画像入力装置
US7042443B2 (en) * 2001-10-11 2006-05-09 Woodard Scott E Speed Writer program and device with Speed Writer program installed
JP2003256133A (ja) * 2002-02-27 2003-09-10 Sumitomo Metal Mining Co Ltd 表示画像/感覚刺激量変換装置およびパソコン用マウス
JP2004086735A (ja) * 2002-08-28 2004-03-18 Toshiba Corp 電子機器及び動作モード切替方法
JP2005216110A (ja) * 2004-01-30 2005-08-11 Nissan Motor Co Ltd 情報操作装置
JP2005234881A (ja) * 2004-02-19 2005-09-02 Nec Corp 触圧覚提示携帯端末及び方法
JP4631443B2 (ja) 2005-01-13 2011-02-16 ソニー株式会社 触覚機能付きの入出力装置及び電子機器
JP2007212975A (ja) * 2006-02-13 2007-08-23 Denso Corp 経路表示装置及びプログラム
US20080007532A1 (en) * 2006-07-05 2008-01-10 E-Lead Electronic Co., Ltd. Touch-sensitive pad capable of detecting depressing pressure
JP4294668B2 (ja) * 2006-09-14 2009-07-15 株式会社日立製作所 点図ディスプレイ装置
JP4871798B2 (ja) * 2007-07-04 2012-02-08 富士フイルム株式会社 電子機器
JP5106955B2 (ja) 2007-09-07 2012-12-26 ソニーモバイルコミュニケーションズ株式会社 ユーザインターフェース装置及び携帯情報端末
JP2009098899A (ja) * 2007-10-16 2009-05-07 Toyota Motor Corp 情報提示装置
KR101513019B1 (ko) * 2008-10-27 2015-04-17 엘지전자 주식회사 휴대 단말기 및 그 동작방법
US8362882B2 (en) * 2008-12-10 2013-01-29 Immersion Corporation Method and apparatus for providing Haptic feedback from Haptic textile

Also Published As

Publication number Publication date
US20120182248A1 (en) 2012-07-19
US9207848B2 (en) 2015-12-08
WO2011080872A1 (ja) 2011-07-07
JPWO2011080872A1 (ja) 2013-05-09

Similar Documents

Publication Publication Date Title
JP5449403B2 (ja) 表示する文章に応じた触覚を提示する文章表示装置、文章表示プログラム、及び文章表示方法
US20190012051A1 (en) User terminal apparatus and method of controlling the same
KR102384130B1 (ko) 렌더링된 콘텐츠와의 호버 기반 상호작용
US9600090B2 (en) Multi-touch integrated desktop environment
US10007402B2 (en) System and method for displaying content
US7081887B2 (en) Method and apparatus for positioning a software keyboard
JP5270485B2 (ja) タッチパネル装置及び方法並びにプログラム及び記録媒体
US8988366B2 (en) Multi-touch integrated desktop environment
US9910584B2 (en) Method for manipulating folders and apparatus thereof
US20100287493A1 (en) Method and system for viewing and editing an image in a magnified view
KR20150040246A (ko) 멀티 윈도우 동작을 위한 제스처
US10558344B2 (en) Linking multiple windows in a user interface display
US20120284671A1 (en) Systems and methods for interface mangement
US20130346913A1 (en) Gesture interpretation in navigable zoom mode
EP2698702A2 (en) Electronic device for displaying touch region to be shown and method thereof
CN106716493A (zh) 对内容样式化的方法和对内容样式化的触摸屏设备
US20100333016A1 (en) Scrollbar
US9262005B2 (en) Multi-touch integrated desktop environment
EP2661671B1 (en) Multi-touch integrated desktop environment
JP2011034451A (ja) タッチパネル装置及び方法並びにプログラム及び記録媒体
US20070006086A1 (en) Method of browsing application views, electronic device, graphical user interface and computer program product
US9146666B2 (en) Touch sensor navigation
JP2015022675A (ja) 電子機器、インターフェース制御方法、および、プログラム
JP2024039150A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131224

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5449403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees