JP6382564B2 - 折り畳み可能・折り曲げ可能ディスプレイとのインタラクションに対する触覚フィードバック - Google Patents

折り畳み可能・折り曲げ可能ディスプレイとのインタラクションに対する触覚フィードバック Download PDF

Info

Publication number
JP6382564B2
JP6382564B2 JP2014089976A JP2014089976A JP6382564B2 JP 6382564 B2 JP6382564 B2 JP 6382564B2 JP 2014089976 A JP2014089976 A JP 2014089976A JP 2014089976 A JP2014089976 A JP 2014089976A JP 6382564 B2 JP6382564 B2 JP 6382564B2
Authority
JP
Japan
Prior art keywords
flap
folding
foldable
feedback
bending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014089976A
Other languages
English (en)
Other versions
JP2014216025A (ja
Inventor
アリ モダレス
アリ モダレス
ヴィンセント レヴェスク
ヴィンセント レヴェスク
ダニー グラント
ダニー グラント
ユアン マヌエル クルス−エルナンデス
ユアン マヌエル クルス−エルナンデス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2014216025A publication Critical patent/JP2014216025A/ja
Application granted granted Critical
Publication of JP6382564B2 publication Critical patent/JP6382564B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0266Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268Details of the structure or mounting of specific components for a display module assembly including a flexible display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Telephone Function (AREA)
  • Telephone Set Structure (AREA)

Description

(関連出願の相互参照)
本願は2013年4月26日に出願された仮特許出願第61/816,605号の優先権を主張し、その内容を参照によって本願明細書に引用したものとする。
本発明は触覚的に使用可能な装置に関する。特に、本発明は触覚的に使用可能な折り畳み可能・折り曲げ可能ディスプレイに関する。
電子装置製造業者は、ユーザーにとって豊かなインターフェースを作り出そうと努力している。従来の装置は、視覚的合図や聴覚的合図を用いてユーザーにフィードバックする。ユーザーインターフェースの中には、力覚フィードバック(作用力フィードバックや抵抗力フィードバックなど)および/または触覚フィードバック(振動、触感、熱など)をさらにユーザーに提供するものもあり、より一般的にはまとめて「触覚フィードバック」または「触覚効果」として知られている。触覚フィードバックはユーザーインターフェースを高め、簡単にする合図を提供することができる。例えば、振動効果または振動触覚効果は、電子装置のユーザーに合図を与えて、特定の事象をユーザーに警告したり、模擬環境や仮想環境内に感覚的により浸れるようにするリアルなフィードバックを与えたりするのに有益な場合がある。
振動や他の効果を生じさせるため、多くの装置は何らかの種類のアクチュエータまたは触覚出力装置を利用する。この目的に用いる公知のアクチュエータには、ソレノイドアクチュエータなどの電磁アクチュエータ、偏心質量がモーターによって動かされる偏心回転質量(Eccentric Rotating Mass)(ERM)アクチュエータ、線形共鳴アクチュエータ振動モーター(Linear Resonant Actuator vibration motor)(LRA)、電気活性高分子アクチュエータ、または圧電アクチュエータなどが含まれる。力覚アクチュエータを用いて、装置の機械的動作により触覚フィードバックを与えるようにしてもよい。
一実施形態は、ヒンジによって結合する少なくとも2つのフラップを備える折り曲げ可能・折り畳み可能ディスプレイであり、各フラップは曲げられる。ディスプレイは少なくとも2つのフラップ間の折り畳み特性を検出するセンサーと、少なくとも1つのフラップの曲げ特性を検出するセンサーとを備える。ディスプレイは触覚出力装置を備える触覚システムを備え、触覚システムはセンサーから折り曲げ可能・折り畳み可能ディスプレイ装置の変形を示す入力を受け取る。入力によって与えられる1つ以上の測定値に基づいて、触覚システムは入力を解釈して、折り曲げ可能・折り畳み可能ディスプレイ装置の変形特性を判定する。触覚システムは変形特性に基づいて触覚フィードバックを生成する。
一実施形態は、少なくとも曲げられるか、折り畳められるか、丸められるフレキシブルディスプレイである。ディスプレイは、ディスプレイの変形またはディスプレイを変形しようとする試みを検出するセンサーを備える。ディスプレイは1つ以上の触覚出力装置を備える触覚システムを備える。触覚システムは1つ以上のセンサーからフレキシブルディスプレイ装置の変形を示す入力を受け取る。入力に基づいて、触覚システムは入力を解釈して、フレキシブルディスプレイ装置の変形特性を判定する。触覚システムは変形特性に基づいて触覚フィードバックを生成する。
本発明の一実施形態に係る触覚的に使用可能なシステムの図である。 一実施形態における変形特性に関連付けられた動作を示す。 一実施形態における変形特性に関連付けられた動作を示す。 一実施形態における変形特性に関連付けられた動作を示す。 一実施形態における変形特性に関連付けられた動作を示す。 一部の実施形態に係る折り畳み可能・折り曲げ可能装置において触覚フィードバックを与えることを示すフロー図である。 本発明の実施形態に係る触覚的に使用可能なシステムのブロック図である。 一部の実施形態に係るフレキシブル装置において触覚フィードバックを増大することを示すフロー図である。 一実施形態における変形特性に関連付けられた動作を示す。 一部の実施形態に係るフレキシブル装置において触覚フィードバックを与えることを示すフロー図である。 一部の実施形態に係るフレキシブル装置において触覚フィードバックを与えることを示すフロー図である。 一部の実施形態に係るフレキシブル装置において触覚フィードバックを与えることを示すフロー図である。
フレキシブルディスプレイは次世代のスマートフォンの最も期待される特徴の1つであり、ここ数年間、産業界や学界で多くの注目を集めている。フレキシブルディスプレイは多様なインタラクションを可能にする。折り畳み可能なディスプレイはシームレスヒンジなどを備えることができ、画面のピクセル表示を壊さない。丸められるディスプレイはフレキシブルにも、特定の曲線形状に合うようにもできる。また丸められるディスプレイは、単一方向に曲げられるディスプレイとして解釈することもできる。これらの装置に触覚フィードバックを取り入れることができる。
一実施形態は、同時に折り畳みと折り曲げが可能なディスプレイ装置において検出されたジェスチャーや操作に関連付けられた触覚フィードバックを与えるシステムである。ユーザーは、1つ以上のフラップを曲げたり反ったりしたり、フラップ間の開口角度を変えるなどして、ディスプレイを変形させることで、装置で実行中のアプリケーションとインタラクトすることができる。システムはこの変形を特徴づけて、ユーザーの動作やジェスチャーに解釈し、適切な触覚フィードバック応答を与えることができる。一実施形態において、電子書籍リーダーアプリケーションにおいて本のページをめくるようなジェスチャーに対し、ディスプレイは次のページに変わることができ、触覚フィードバックを与えてディスプレイでページが変更されたことを表すことができる。一実施形態において、本の端を扇形に広げるようなジェスチャーに対し、ディスプレイは現在のページから複数ページ離れたページに変わることができ、触覚フィードバックを与えて、変更されたページを表示する前に複数ページが飛ばされたことを示すことができる。一実施形態において、力覚フィードバックにより、曲げられる表面をより硬くしてもよいし、曲げられる表面はもともとかなり硬くてもよい。したがって、ユーザーは実際に変形を起こすことなく圧力を加えることができる。感覚システムはユーザーが加えた力/圧力を取得し、ユーザーによるかかるインタラクション、すなわち変形する程度まではいかない加圧に対しても振動触覚または他の種類の「触覚応答」を与えることができる。
他の実施形態において、システムは折り曲げ可能・折り畳み可能ディスプレイの各フラップに、複数の物体を並べて表示することができる。システムは表示した物体の物理的性質情報を用いて、フラップとインタラクトするユーザーに対して力覚フィードバックを与え、物体の物理的性質情報にしたがってディスプレイの曲げ(硬さ)特性を変更することができる。
他の実施形態において、本を閉じるようなジェスチャーに対し、システムはフラップを互いに閉じる動作を検出して、フラップが完全に閉じられる前に、フラップが閉じるようにして、本を閉じるようなパタンという感覚の触覚フィードバックを与えることができる。一実施形態において、本を開けるようなジェスチャーに対し、システムはフラップを互いに開く動作を検出して、フラップが完全に開かれる前に、フラップが開くようにして、本が開くようなパタンという感覚の触覚フィードバックを与えることができる。
他の実施形態は、フレキシブルディスプレイで検出されるジェスチャーや操作に関連付けられた触覚フィードバックを増大して与えるシステムである。触覚的体験は、フレキシブルディスプレイによる連続的(アナログ)変形入力寸法に関連する自然触覚を、プログラマブル振動触覚およびプログラマブル力覚により増大することで高めることができる。
他の実施形態は、フレキシブルディスプレイに関連付けられた力覚フィードバックを与えて、目的とするインタラクションに基づきディスプレイの弾性または変形能を調整するシステムである。インタラクションや機能には、画面がもっと曲がりにくい、さらには曲がらないことを求めるものもあれば、インターフェースの可撓性/柔軟性が高いほど容易になるものもある。実施形態では、目的とするインタラクションに合わせてディスプレイの弾性または変形能を調整するプログラマブル触覚剛性制御機構について説明する。
他の実施形態は、フレキシブルディスプレイの形状変更機能を提供するシステムである。特定の形状をとる目的には、特定の機能や用途にとってより適切であり、したがってユーザーがインターフェースとインタラクトしやすくなる形状をとれることや、その幾何学形状により特定の情報を表示できることや、特定の物理的形状でしか実現できない機能を可能にすることや、装置が仮想物体の物理的表現として機能している場合、その形状に似せることで対象物のよりリアルなシミュレーションを与えられることなどを含み得る。
図1は本発明の一実施形態に係る触覚的に使用可能なシステム10のブロック図である。システム10はハウジング15内に取り付けるタッチセンシティブな折り畳み可能・折り曲げ可能面11または他の種類のユーザーインターフェースを備え、機械的なキー/ボタン13や2つのフラップ間にヒンジ14を備えていてもよい。システム10内部はシステム10で振動を発生させる触覚フィードバックシステムである。一実施形態において、振動はタッチ面11で発生する。
触覚フィードバックシステムは処理装置または制御装置12を備える。処理装置12に接続されているのはメモリ20と、アクチュエータ18に接続されるアクチュエータ駆動回路16である。アクチュエータ18はどんな種類の直流(Direct Current)(DC)モーターでもよく、偏心回転質量(Eccentric Rotating Mass)(ERM)や、線形共鳴アクチュエータ振動モーター(Linear Resonant Actuator vibration motor)(LRA)や、圧電モーターや、ソレノイドアクチュエータなどがあるが、これらに限定されない。アクチュエータ18に加えて、またはアクチュエータ18の代わりに、システム10は他の種類の触覚出力装置(図示せず)を備えてもよく、該装置は静電摩擦(electrostatic friction)(ESF)や超音波表面摩擦(ultrasonic surface friction)(USF)を発生する装置や、超音波触覚変換器により音響放射圧を誘起する装置や、触覚基板とフレキシブルまたは変形可能な面または形状変更装置を使用し、ユーザーの身体に装着することができる装置や、空気ジェットを用いて空気をひと吹きするなど触覚出力を発射する装置や、電気的筋肉刺激を与える装置などの、非機械的装置または振動触覚装置でもよい。
処理装置12はどんな種類の汎用プロセッサでもよいし、または特定用途向け集積回路(application−specific integrated circuit)(ASIC)など、触覚効果を与えるように特に設計された処理装置であってもよい。処理装置12はシステム10全体を動かす処理装置と同一でもよいし、別の処理装置でもよい。処理装置12はどの触覚効果を出すべきか、また、高レベルパラメータに基づいて複数の効果を出す順番を決めることができる。一般に、特定の触覚効果を定義する高レベルパラメータは、大きさと、周波数と、継続時間とを含む。また、ストリーミング・モーター・コマンドなどの低いレベルのパラメータを使用して特定の触覚効果を決定することもできる。触覚効果は、該触覚効果を発生するときにこれらのパラメータの何らかの変化を含む場合、またはユーザーのインタラクションに基づくこれらのパラメータの変化を含む場合、「動的」であると考えることができる。
処理装置12はアクチュエータ駆動回路16に制御信号を出力し、アクチュエータ駆動回路16は、アクチュエータ18に必要な電流と電圧(すなわち、「モーター信号」)を供給して、任意の触覚効果を引き起こすのに用いる電子部品や回路を備える。触覚効果が映像ファイルなどのマルチメディアファイルの再生に当たる場合、処理装置12は触覚制御信号を触覚駆動回路に与えることができる。システム10は2つ以上のアクチュエータ18を備えることができ、各アクチュエータは別個の駆動回路16を備えることができ、すべてのアクチュエータは共通の処理装置12に接続する。メモリ20は、ランダムアクセスメモリ(random access memory)(RAM)や読み出し専用メモリ(read−only memory)(ROM)など、どのような種類の記憶装置またはコンピュータ可読媒体でもよい。メモリ20は処理装置12が実行する命令を記憶する。命令の中に、メモリ20は、以下により詳細に開示するように、処理装置12によって実行されると、触覚効果を与えるアクチュエータ18に駆動信号を生成する命令である触覚効果モジュール22を含む。また、メモリ20は処理装置12の内部に配置してもよいし、内部メモリと外部メモリの任意の組み合わせであってもよい。
タッチ面11は、ユーザーによって与えられるタッチなど、タッチを認識し、また、面上のタッチ位置や、タッチ圧の大きさや、タッチ持続時間のどれでも認識することができる。タッチに対応するデータが処理装置12またはシステム10内の他の処理装置に送られ、処理装置12は該タッチを解釈し、それに応じて触覚効果信号を生成する。タッチ面11は、容量検出や、抵抗検出や、表面音響波検出や、圧力検出や、光検出など、任意の検出技術を用いてタッチを検出してもよい。タッチ面11は複数のタッチ接触を検出してもよく、複数のタッチと、同時に発生するタッチの位置を区別可能であってもよい。タッチ面11は、ユーザーがインタラクションするキーやダイアルなどの画像を生成表示するタッチスクリーンでもよいし、最小限の画像や画像なしのタッチパッドであってもよい。
システム10は、図1に示す折り畳み可能・折り曲げ可能ディスプレイとのインタラクションを検出する、センサー17などの種々のセンサーを備えてもよく、主なものとして、インタラクション中の変形の大きさを測定する歪みゲージセンサーや、フレキシブルディスプレイ構造に加えられた力・応力を測定する力検出レジスタ(force sensing resistor)(FSR)や、タッチ可能なディスプレイにおける単一または複数のタッチ入力の位置を検出する複数タッチのタッチセンサーや、各タッチ位置で加えられる圧力を測定する複数タッチ圧力センサーや、環境条件を取得する温度/湿度/大気圧センサーや、ディスプレイの動き、速度、加速度および向きを特徴づける加速度計/ジャイロスコープ/磁気計や、ユーザーの音声命令や環境聴覚情報を取得するマイクロフォンや、他の装置と無線で情報を送受信する無線送信器が含まれる。センサー17に対応するデータを処理装置12かシステム10内の他の処理装置に送り、処理装置12は該センサーデータを解釈し、それに応じて触覚効果信号を生成する。
上記のアクチュエータに加えて、システム10は振動触覚フィードバックまたは力覚フィードバックを与える種々のアクチュエータを備えることができ、電気活性ポリマー(Electro Active Polymer)(EAP)アクチュエータや、スマート流体アクチュエータや、レオロジー流体アクチュエータや、マクロファイバー複合(Macro−Fiber Composite)(MFC)アクチュエータや、形状記憶合金(Shape Memory Alloy)(SMA)アクチュエータや、圧電アクチュエータや、マイクロ電気機械システム(Micro−Electro−Mechanical System)(MEMS)アクチュエータなど、フレキシブルアクチュエータ、半硬質アクチュエータ、または硬質アクチュエータを含む。
システム10は、携帯電話、携帯情報端末(PDA)、スマートフォン、コンピュータタブレット、ゲームコンソール、車両設置インターフェースなどの携帯用デバイスでもよいし、1つ以上のアクチュエータを備える触覚効果システムを備える他の種類の折り畳み可能・折り曲げ可能装置でもよい。ユーザーインターフェースはタッチセンシティブ面でもよいし、マウス、タッチパッド、ミニジョイスティック、スクロールホイール、トラックボール、ゲームパッド、ゲームコントローラなど、他の種類のユーザーインターフェースでもよい。2つ以上のアクチュエータを備える実施形態において、回転機能を有する各アクチュエータは、装置で幅広い触覚効果を作り出すために異なる回転機能を有することができ、例えば各アクチュエータは個々に制御することができ、またある回転アクチュエータが、他の回転アクチュエータの回転軸に対し角度をもった回転軸を有する。同様に、他の機能をもつ複数のアクチュエータを備える実施形態において、各アクチュエータは個々に制御して、装置で幅広い触覚効果を表すことができる。
ユーザーとインターフェースする触覚効果を与えるのに加え、システム10は、例えば、映像ファイルや音声ファイルと共にシステム10で再生する静的に生成した触覚効果を与えることができる。
一般にフレキシブルディスプレイは変形を利用することで、付加的な情報入力機構として幅広い新しいインタラクションを可能にする。しかしながら、フレキシブルディスプレイとの変形インタラクションにより得られる均一で/連続的なフィードバックでは、デジタル的に発生する事象を非デジタルな空間からの物理的インタラクションに関連付ける直感的メタファーを与えることができない。言い換えると、ユーザーは通常、本物の本や雑誌とは対照的に、非デジタルな空間において電話機やタブレットのサイズの小さくて平らな物体とインタラクトしない。実施形態は、魅力的なユーザーインタラクションとデジタル環境に関する付加的情報のためのシステムを、触覚コミュニケーション経路によりユーザーに提供する。実施形態は、ユーザーインターフェース設計空間を広げ、フレキシブルディスプレイとのインタラクション体験を高め、変形によるジェスチャーをさらに直感的で自然なものにする。さらに、実施形態は、デジタル世界についての情報を触覚という形で変換出力するのに効果的な方法を提供する。
単一面のフレキシブルディスプレイではなく、同時に折り畳みと折り曲げが可能なフレキシブルディスプレイは、2つ以上の「フラップ」(フレキシブルディスプレイの各サブコンポーネント)からなり、該フラップは隣接するフラップに対し単一または複数のヒンジを中心に回転できると同時に、各フラップは曲がる/屈曲する(局所的に変形する)こともできる。折り畳みと折り曲げが同時にできるという特性は、実生活での特定のユーザーインタラクションの状況を模倣するメタファーを可能にする。本とのインタラクションはこのカテゴリーの最も関連が深い例の1つを示す。例えば、ページを「めくる」ジェスチャーは、紙の「曲げ性」(局所的可撓性)がもたらすものであるが、各一枚のページやページのあつまりは、本の主背(ヒンジ)を中心に折り畳む動きを受ける。実施形態は、同時に折り曲げと折り畳みが可能な種類のディスプレイとのユーザー・インターフェース・インタラクションを高め豊かにする触覚フィードバックを用いる方法を提供する。したがって、かかるディスプレイとのインタラクションを増大するプログラマブル振動触覚およびプログラマブル力覚の利用は、ディスプレイの折り畳み自由度と局所的曲げ・屈曲自由度の両方の触覚制御および触覚増大を導入することで達成できる。付加的な触覚情報層を付加するだけでなく、インタラクションのリアル感を高める触覚フィードバックを導入することで、これらの装置のユーザーはより有機的に装置とインタラクトできるようになる。
特定の実施形態について今から説明するが、それらはプログラマブル振動触覚およびプログラマブル力覚を活用して、折り曲げ可能・折り畳み可能なディスプレイとのインタラクションを増大し、ユーザーの非デジタル体験からのメタファーを利用することができる。
本物の本のページをめくる動作は、ページの角または端を徐々に曲げる(折り曲げ可能性)と同時に、本の背を中心に回転させる(折り畳み可能性)ことからなる。本において、このようなインタラクションの触感は、ページの材料/種類や厚さと、製本の種類によって決まる。一実施形態において、図2に示すように、ユーザーが、2つのフレキシブルフラップからなる、同時に折り畳みと折り曲げが可能なフレキシブルディスプレイで電子書籍を読んでいる。電子書籍のページを「めくる」ために、ユーザーはディスプレイの右フラップの右下隅を少し曲げる。
図2は、一実施形態における変形特性に関連付けられた動作を示す。変形特性とは、折り畳み可能・折り曲げ可能ディスプレイの変形の解釈である。変形特性は、曲げられるフラップ間のヒンジの位置を含むことができ、また、フラップの曲げ状態を含むこともできる。変形特性は、ヒンジ位置や曲げ状態の特性を測定するセンサーに関連付けられた生データを含むことができる。変形特性は、センサーデータを、折り畳み可能・折り曲げ可能ディスプレイが「少し開いており、右フラップが強く折れ曲がっている」との解釈など、より一般的な意味をもつことができる形に解釈することによって判定された、折り曲げ可能・折り畳み可能ディスプレイの状態であってもよい。また、変形特性は、連続したセンサー読み取り値を比較して、該センサー読み取り値を「少し開いている、ゆっくり開いている、右フラップが強く曲がっている、右フラップの曲がりが増加している」と解釈することで判定できるなど、動作やジェスチャーの解釈であってもよい。
図2を続けてみると、図2の左側において、要素205、210、215、220は、2つのフレキシブルフラップを備える折り畳み可能・折り曲げ可能装置の側面図を示す。装置で本を読んでいるユーザーがページを「めくる」ために、205において、ユーザーの指が装置の端部と、該端部の角または中央のいずれかで接触する。210において、ユーザーの指は該端部で圧力を加え始め、曲げられる面で変形を生じさせる。215において、ユーザーの指は、折り畳み可能・折り曲げ可能ディスプレイのヒンジの方向に、横向きの圧力を加え、装置を少し閉じ、曲げ半径をさらに大きくする。ユーザーの指は装置の端部を放すことができる。205から215までのユーザーのインタラクションにより、折り畳み可能・折り曲げ可能装置の変形は様々な状態になる。205、210、215で与えられるような一連の特定の変形により、ユーザーが折り畳み可能・折り曲げ可能装置と行っている特定のジェスチャーまたはインタラクションを特定できる。システムは一連の変形から、どの触覚フィードバックを与えるかを決定することができる。例えば、システムは、センサー17などのセンサーが受け取ったパラメータを解釈することで一連の変形を特徴づけて、ユーザーからのページをめくるジェスチャーを表現することができる。システムはページをめくるジェスチャーに対し触覚フィードバックを与えて、電子書籍リーダーアプリケーションにおいてページをめくる触覚体験を提供することができ、220において、ページをめくった後、ページをめくる前の元の位置にフラップを戻すことができる。触覚フィードバックの提供に関する特定の詳細について以下に詳細に説明する。
要素225、230、235は上面図から見たユーザーの動作を示す。要素225はヒンジと、左フラップと、右フラップとを備える折り畳み可能・折り曲げ可能装置を示す。230において、装置は2つのフラップ間の開口角度が狭くまたは小さく示されている。235において、ユーザーのジェスチャーにより装置の端部に圧力がかけられることで一方のフラップが曲がり、開口角度に対し回転し、フラップ間の開口を大きくする。これらの同時に取られた2つの動きは、適切な触覚フィードバックを決定するために特徴づけることができる一連の変形である。
このページをめくるインタラクションの間、力覚アクチュエータはフラップが曲がるだけではなくディスプレイのヒンジを中心に少し回転するように、フラップの動きを制御して、実際に本のページをめくるのに似たリアルなインタラクションをシミュレートすることができる。プログラマブル力覚は、硬さの時空制御により、ユーザーがフラップを曲げたり折り畳んだりする動きの両方を行う間、適切なリアルな触覚フィードバックを確実に受け取るようにできる。一部の実施形態において、曲がる・折り重なるフラップの知覚される抵抗/硬さは、本/紙の物理的性質、例えば製本の種類、紙の種類/厚さ、媒体の種類(本、新聞、薄い雑誌など)、または章の終わりや本の終わりに近づいているなどの他の隠喩的情報などを表すように調整することができる。さらに、ページ内容を最新の状態にした(ページめくりを行った)後、220に示すように、触覚制御装置は右フラップを元の位置に戻すことができる。右フラップを元の位置に戻すことは、ユーザーが特定のジェスチャー入力(例えば、ユーザーが指をフラップから離して上げ始める)を行うことによって、またはグラフィックディスプレイ上でページ内容が次のページに更新されるとすぐに自動的にトリガすることができる。したがって、曲げと折り畳みについての触覚フィードバックの組み合わせにより、インタラクションの直感やリアル感を増すことができ、情報通信帯域幅を増やすことができる。
本発明の他の実施形態において、ユーザーは折り曲げ・折り畳みジェスチャーを使用して、電子書籍のページを素早くブラウズまたは「素早くめくる」ことができる。本物の本を素早くめくる動作は、本の端部を加圧しながら、本の折り曲げと折り畳みを同時に行う手法により本のページを扇形に広げ、しかも曲がりのアーチと本の右ページと左ページの間の角度を変えることを含む。
図3は一実施形態における変形特性に関連付けられた動作を示す。305において、折り畳み可能・折り曲げ可能ディスプレイを上面から見た図が、ヒンジと、左フラップと、右フラップで示されている。310において、電子書籍のページを素早くめくる/ブラウズするために、ユーザーは折り畳み式ディスプレイのフラップをほとんど閉じた(フラップ同士がほんの少し離れた)状態から始め、右フラップを少し曲げようとする(本物の本とのインタラクションに似ている)。315において、ユーザーが、図2に関して説明したのと同様にディスプレイを広げて/折り曲げて開けると、触覚制御装置は本物の本を曲げるのに似たリアルな触覚的感覚を確実に与える。320において、ユーザーはフラップを少し曲げ、その後フラップを放す。フラップは放されると、指とフラップの接触がなくなるまで、ユーザーの指から離れる(制御された曲がる動きと折り重なる動きをともなう)。325において、触覚制御装置はフラップが放される直前に、フラップがユーザーの指に再び接触するようにフラップを所定位置に戻す。フラップはこの前後の動きを繰り返し(かつ自動的に)行う。繰り返すごとに、フラップはユーザーの指に少し接触し、一方指とページが接触する各インスタンスは、一枚のページ(または場合により複数のページ)がブラウズされることを表す。この触覚は、本のページが指の下から滑っていくのに似た感じの感覚を作り出す。このように、ページをブラウズするまたは素早くめくることは、説明した触覚フィードバック方式に基づきインタラクションを豊かにするために効果的に模倣され触覚的に増大することができる他の関連するメタファーである。
一部の実施形態では、320において、フラップを放すのではなく、ユーザーはフラップとの接触を維持することができる。ページが1つのページから次のページに変わる速度は、フラップの曲がりを増やすまたは減らすことで制御することができる。曲げ半径が減少(曲がりを大きくする)につれて、ページをめくる速度が速くなる。2つのフラップ間の開口角度は、画面上でページがどれだけ速く変わるかを決めるのにも使用することができる。325において、フラップが戻って接触する代わりに、端部のデテントにアクチュエータを格納して指先にさっと触れるようにして、ページが指先を滑りすぎる感覚を与えることができる。
一部の実施形態では、325において、触覚制御装置によりフラップが放される直前にフラップを所定位置に戻すとき、フラップはユーザーの指に再び接触しない。接触が行われないときにページがめくれるのを止めることができる。ユーザーが装置と再びインタラクトするまで、ページをめくることができる。めくるのを停止するまで、一定数または一定割合のページをさらにめくることができる。めくる間、フラップは繰り返し(かつ自動的に)前後の動きを行うことができ、または静止したままにできる。
図4は一実施形態における変形特性に関連付けられた動作を示す。一部の実施形態において、システム10は2つの物体410と420の物理的・触覚的特性を比較するために用いる、折り畳み可能・折り曲げ可能ディスプレイ装置であり、各物体はフレキシブルディスプレイの2つのフラップの1つに表示される。システム10は物体410および420のそれぞれについて物理的性質情報を記憶している。プログラマブル力覚を用いて、各フラップの曲げ剛性・抵抗性を、表示された対応する物体の物理的性質にマッピングすることができる。また、振動触覚を用いて、表示された対応する物体の物理的性質を操作時に模擬することができる。したがって、ユーザーは並べて表示される物体の物理的性質、特に硬さを調べることができる。ユーザーがシステム10の各フラップを操作すると、各フラップの曲げ剛性/抵抗性を、ディスプレイの曲げ箇所や、ディスプレイ上の物体の位置や、物体に関する物理的性質情報にしたがって変えることができる。例えば、物体の特定の位置においてその物体が硬い場合、その箇所でフラップを曲げると、物体がそれほど硬くない箇所でフラップを曲げるよりも大きい抵抗を受ける。さらに、物体の物理的性質は入力に基づいて変化することができる。例えば、物体410がガラスの場合、力覚により、物体が表示される場所でフラップの曲げ性を硬くすることができる。ユーザーがそれでもフラップを曲げると、画像はあたかも本物のガラスのように割れることで反応し、振動触覚を与えてガラスが割れる効果を高めることができる。曲げ特性を変更することで、割れたガラス物体410の新たな物理的性質に適合することができる。
図5は一実施形態における変形特性に関連付けられた動作を示す。一部の実施形態において、ディスプレイを開いて完全に開けるまたは折り畳んで完全に閉じるジェスチャーを、触覚フィードバックを用いて触覚的に増大して、パタンと閉じるまたはパタンと開けるメタファーを模倣することができる。これにより、本をパタンと開けたり閉じたりするなど、本物の本や新聞や雑誌などを開けたり閉じたりするときの触覚フィードバック体験をシミュレートすることができる。510において、ユーザーはアプリケーションを閉じるまたは本を閉じるために、ディスプレイを折り畳んで閉じる。510における角度θは、フラップを閉じるにつれゼロに向かって変化することができる。515において、ある角度θ’では、変形特性は本を閉じていると解釈することができ、力覚アクチュエータによりフラップの角度を制御してフラップを閉じるのを引き継ぐことができる。角度θがゼロに等しい、またはフラップが閉じているとシステムが判断した時点において、本を閉じる実世界での状況に似た付加的な振動触覚フィードバックおよび聴覚フィードバックを提供することができる。520において、ユーザーはアプリケーションを開くまたは本を開くために、ディスプレイを広げて開ける。520における角度θは、フラップが開くにつれて180°に向かって変化することができる。525において、ある角度θ’では、変形特性は本が開いていると解釈することができ、力覚アクチュエータによりフラップの角度を制御してフラップを開けるのを引き継ぐことができる。角度θがゼロから正数に増加するか、またはフラップが開いているとシステムが判断した時点で、本を開けるという実世界での体験に似た付加的な振動触覚フィードバックおよび聴覚フィードバックを提供することができる。
図6は一部の実施形態に係る折り畳み可能・折り曲げ可能ディスプレイにおいて触覚フィードバックを提供することを示すフロー図である。一部の実施形態において、図6のフロー図の機能は、メモリや他のコンピュータ可読媒体または有形媒体に記憶されるソフトウェアによって実現され、処理装置によって実行される。他の実施形態において、この機能はハードウェア(例えば、特定用途向け集積回路(application specific integrated circuit)(ASIC)や、プログラマブル・ゲート・アレイ(programmable gate array)(PGA)や、フィールド・プログラマブル・ゲート・アレイ(field programmable gate array)(FPGA)など)や、ハードウェアとソフトウェアの任意の組み合わせによって実行してもよい。
605において、アプリケーションを装置で起動する。アプリケーションは折り畳み可能・折り曲げ可能装置で動作する任意のソフトウェアプログラムでもよい。例えば、アプリケーションは、従来、本や雑誌やメモ帳などの紙に印刷されていた内容を読むための電子書籍リーダーアプリケーションでもよい。アプリケーションは、折り畳み可能・折り曲げ可能ディスプレイ装置で触覚フィードバックを与える環境での動作専用に構成することができる。610において、折り畳み可能・折り曲げ可能ディスプレイに配置された1つ以上のセンサーが特性の変化を記録し、ディスプレイの変形を示す。変形には、両フラップまたは一方のフラップの曲がりや反り、および/またはフラップ間の角度(開口角度)の変化を含むことができる。1つ以上のセンサーはそれぞれ個々の測定値を与えることができ、次に該測定値を分析して、任意の時点またはある期間におけるユーザーの動作を特徴づけることができる。615において、1つ以上のセンサーの値に基づき、該変形を特徴づけて、ユーザーが折り畳み可能・折り曲げ可能装置で行っている動作の種類を確定する。1つ以上のセンサーの値を、別の時点での1つ以上のセンサーの値と比較することができる。例えば、2つのフラップ間の開口角度を検出するセンサーの値を、1秒か2秒かn秒前の同じセンサーの値と比較して、変形を特徴づけるのに役立てることができる。システムは、変形を特徴づけることができるまで1つ以上のセンサーを監視し続けることができる。620において、変形が特徴づけられると、システムは変形の特徴に基づいて触覚フィードバックを与える。かかる触覚フィードバックは振動触覚フィードバックまたは力覚フィードバックを含むことができる。また、触覚フィードバックを視覚フィードバックまたは聴覚フィードバックと連携させることもできる。例えば、ページをめくるジェスチャーにおいて、めくれるページの画像または音声が振動触覚フィードバックまたは力覚フィードバックと同時に起こることができる。システムは1つ以上のセンサーを監視し続けて、さらなる変形特性を模擬することができる。
センサー17などの曲げセンサーは、一端部やその2つの角における曲げる動作、例えば端部を上に曲げたり、一角を下に曲げたり、一角を上に曲げたり、両角を上方内側へ曲げたり、端部を後ろに曲げたり、両角を後方内側へ曲げて中央端を上方に曲げたりするなどの動作を検出することができる。これらの曲げる動作と同様に、他端部や角に対する同様の曲げや、端部や角から離すようなディスプレイの表面に対する曲げなど、他の曲げる動作を検出できることは当業者にとって明らかであろう。
センサー17などの曲げセンサーは、ある期間にわたり該センサーにおける電圧応答を測定することができる。電圧応答は、センサーにおいて、曲がりが検出されていないかどうか、軽い曲がりが検出されているかどうか、または強い曲がりが検出されているかどうかを示すことができる。ある期間にわたるこれらの値は、ある期間にわたり変形が変化するとき、特定のジェスチャーを示すことができる。また、センサー17などの付加的なセンサーを使用して付加的なデータ基準点を設けることで、折り曲げ可能・折り畳み可能ディスプレイ10の異なる箇所における曲げ特性および変形特性を得ることができる。
センサー17などの折り畳みセンサーは、一部の実施形態により、ヒンジにおける折り畳み動作を検出できる。検出できる折り畳みの種類は、折り畳みなし(平坦)、対称的な下方への折り畳み、対称的な上方への折り畳み、裏側フラップから表側フラップへ閉じる折り畳み、裏側フラップを開ける表側フラップからの折り畳み、裏側フラップから表側フラップへの後方への折り畳み、表側フラップから裏側フラップへ逆に開ける折り畳み、上下に連続する折り畳み、完全に閉じられた折り畳みを含む。折り畳みの形は、各フラップがほぼ同じサイズである半折と、ヒンジが中央からずれているように見えるように各フラップが異なるサイズでもよい部分折と、3つ以上のフラップを備える実施形態では種々の組み合わせを含む。タッチセンサー11などのタッチセンサーは、折り畳みセンサーと共に使用して、片手による折り畳みや、両手による折り畳みや、一本の指による折り畳みや、複数の指による折り畳みを検出することができる。折り畳み検出を取得するセンサー17からのデータをある期間にわたり記録して、変形特性を判定することができる。また、センサー17などの付加的センサーを用いて、曲げ特性の付加的データ基準点を設けて、折り曲げ可能・折り畳み可能ディスプレイ10における変形動作を定義することができる。
折り曲げ可能・折り畳み可能ディスプレイとの種々のインタラクションを、非デジタル類似物に似た変形特性にマッピングすることができる。例えば、読書アプリケーションにおいて、折り曲げ可能・折り畳み可能ディスプレイ10のフラップを広げて開ける動作は、本の表紙を開けるか閉じることに対応できる。折り曲げ可能・折り畳み可能ディスプレイ10を少し開いたまま指を端部に滑り下ろす動作は、ページ取得の開始点を調整することに対応できる。折り曲げ可能・折り畳み可能ディスプレイ10の角を曲げたり放したりする動作は、ページをめくることに対応できる。フラップをもう少し閉じるように折り畳みながら折り曲げ可能・折り畳み可能ディスプレイ10の端部を後ろにそっと曲げる動作は、ページをゆっくりとめくることに対応できる。フラップをもう少し閉じるように折り畳みながら折り曲げ可能・折り畳み可能ディスプレイ10の端部を後ろに大きく曲げる動作は、ページを素早くめくることに対応できる。折り曲げ可能・折り畳み可能ディスプレイ10の両フラップを少し閉じたままで両端部を少し後ろに曲げる動作は、本の表面を下にして置くことに対応できる。折り曲げ可能・折り畳み可能ディスプレイ10のフラップを折り畳んでヒンジの近くをスワイプする動作は、しおりを挿入することに対応できる。フラップをわずかに閉じたまま一本の指を一方のフラップに載せ、別の指をその端部に滑り下ろす動作は、指を興味のある箇所でページの間に挟んだまま(指しおり)ページをめくることに対応できる。他のアプリケーションにおいてこれらの動作を種々の機能にマッピングできることは当業者にとって明らかであろう。例えば、写真アルバムのアプリケーションでは、同じ動作を用いて該アプリケーションとの種々のインタラクションを判定することができる。
図7は本発明の一実施形態に係る触覚的に使用可能なシステム10のブロック図である。システム10は、ハウジング15内に取り付けられたタッチ・センシティブ・フレキシブル面711または他の種類のユーザーインターフェースを備え、機械的キー/ボタン13を備えることができる。システム10の内部はシステム10で振動を発生させる触覚フィードバックシステムである。一実施形態において、振動はタッチ面711で発生させる。図1についての上記説明は、面711がフレキシブルであり、曲げたり、折り畳んだり、丸めたり、それらを組み合わせたりできることを除いて、図7に同様に当てはまることに注意されたい。フレキシブル面711の知覚される物理的性質を変更して、(一枚の紙のように)非常に曲げやすい状態から(ほんの数度の自由度の)ほぼ硬い状態に形成することができる。実施形態は、ディスプレイが部分的にフレキシブルである場合を含む(ある部分では硬く、他の部分では曲げられる)。実施形態は、ディスプレイが不均一に弾性があり、力覚を使用して、均一で安定した弾性と変形能を知覚させることができる場合を含む。実施形態はまたその逆を含み、力覚により、もともと均一な弾性を有する表面において異なる弾性を知覚させることができる。
フレキシブルディスプレイは、有機的ユーザーインターフェースの基本的な構成要素の1つであり、より直感的で、リアルで、実世界で起こるものに匹敵するデジタル・ユーザー・インタラクションを潜在的に可能にすることができる。永久適合する種類の折り曲げ可能ディスプレイを除いて、フレキシブルディスプレイ711などのフレキシブルディスプレイとのインタラクションは、入力ジェスチャーとしてディスプレイを変形する(曲げる、折り畳む、丸める)ことを含む。かかる変形により、連続的(アナログ)方向情報入力機構が得られ、この機構はいくつかの入力寸法に拡張できる。例えば、「曲げる」ジェスチャーは、幅/長さ/対角線に沿って曲げることや角を曲げることなどに拡張できる。
フレキシブルディスプレイとの変形によるインタラクションはすでに、ある程度の(自然)触覚を提供している。例えば、触覚増大をともなわない折り曲げ可能な装置において、該装置は曲げられることに対し自然に抵抗する。しかしながら、変形インタラクションから生じる自然で均一で連続的な触覚フィードバックは、デジタル世界で起こっている事象についての情報を伝えず、プログラマブルではない。触覚的体験を高めることは、プログラマブル振動触覚およびプログラマブル力覚により、フレキシブルディスプレイで連続的(アナログ)変形入力寸法に関連する自然触覚を増大することで達成できる。
自然変形インタラクションは実世界のそれと似ているが、人工触覚はデジタル環境についての詳細な情報を伝える直感的な方法を提供する可能性をもつ。人工プログラマブル触覚フィードバックにより自然/直感的な変形インタラクションを増大すれば、デジタル世界における変形入力の効果/結果についての情報を触覚に変換するフィードバックが可能となる。
図8は、一部の実施形態に係るフレキシブル装置において触覚フィードバックを増大することを示すフロー図である。805において、フレキシブル装置機能を開始する。これには、フレキシブルディスプレイ711などのフレキシブルディスプレイにおけるユーザーのジェスチャーに触覚的に応答することができるアプリケーションまたはインターフェースを起動することを含むことができる。810において、ジェスチャーの検出は、センサー17などのセンサーによってフレキシブルディスプレイで行われる。ジェスチャーは、ディスプレイを曲げたり、折り畳んだり、丸めたりすることでフレキシブルディスプレイを変形することを含むことができる。ジェスチャーは、例えばディスプレイを旗のように振ることで、自由空間でフレキシブルディスプレイを変形することを含むことができる。ジェスチャーはまた、変形するジェスチャーと共に行うタッチジェスチャーを含むことができる。ジェスチャーは実際に変形させることなく、曲げられる面に圧力を加えることを含むことができる。
815において、振動触覚または力覚を、ジェスチャーに基づいて、また、フレキシブルディスプレイのアプリケーションまたはインターフェースの状態に基づいて生成する。アプリケーションまたはインターフェースの状態は、デジタル世界、すなわちディスプレイで起こっている事象についての状況をユーザーに与える。振動触覚は、ディスプレイ装置の、またはフレキシブルディスプレイ装置のユーザーが装着している1つ以上の振動触覚アクチュエータによって実行できる任意の効果を含むことができる。力覚は、フレキシブルディスプレイ装置の動きを生み出すか、フレキシブルディスプレイの知覚される物理的性質を変える任意の効果を含む。
820において、ジェスチャーの効果をアプリケーションまたはインターフェースで実行する。これには、触覚効果を表示すること、例えば、振動触覚応答を表示することや、ジェスチャーを増大すること、例えば、ユーザーに力覚フィードバックを与えることや、ディスプレイの触覚を変えること、例えば、インタラクションに基づきディスプレイの視覚的出力や聴覚的出力を更新すると共に振動触覚合図を含むことなどが含まれる。例えば、アプリケーションはフレキシブルディスプレイ711に画像を表示してもよい。特定の方法でディスプレイを変形すると、振動触覚を生じさせてコマンドを受け取ったことを示すフィードバックと、ディスプレイを再び平らにする力覚応答と、表示された画像が変化していることを通知する聴覚フィードバックと、表示された画像をギャラリーの次の画像に進める視覚フィードバックとを与えることができる。システムは引き続き、さらなる入力がないかセンサー17と他の入力機構を監視する。したがって、振動触覚および力覚を使用して、インタラクションの完了/遂行を確認することができる。
一実施形態において、ユーザーは電子書籍アプリケーションを実行しているフレキシブル携帯デジタル装置とインタラクトすることができる。該装置はフレキシブル(曲げられる)ディスプレイインターフェースを備える。公知のアプリケーションにおいて、ディスプレイの角を曲げるジェスチャーを、デジタル環境で電子書籍のページを素早くめくることにマッピングすることができる。曲げられるディスプレイは、全体振動触覚機能を備えることもできる。ユーザーがディスプレイの角を徐々に曲げると、電子書籍のページがめくられる。ページめくりの速度は、曲げ/曲げ角度の程度と相互に関連付けることができる。
しかしながら、変形の大きさまたは角度や、曲げ剛性または抵抗力(すなわち、自然触覚)はいずれも、めくられるページ数および/またはページをめくる速度との直接1対1のマッピングをユーザーに提供しない。一部の実施形態において、角を曲げるジェスチャーを振動触覚プログラマブルデテントにより増大することができ、各デテント(触覚クリック)は一枚の(または特定枚数の)ページめくりを示す。したがって、触覚デテントの数により、めくられたページ数についてユーザーに触覚的に通知し、デテントの速度はページをブラウズする相対速度の触覚的表示を表す。この種類の振動触覚フィードバックをインターフェースに加えることで、ユーザーは触覚(人工触覚で増大した変形)とデジタル環境で起こっている事象(ページめくり)との間にメンタルモデルを確立することができるようになる。
図9は一実施形態における変形特性に関連付けられた動作を示す。901において、ユーザーはフレキシブル(曲げられる)装置の角を曲げる。触覚応答を振動触覚フィードバックの形で実行する。しかしながら、これに対応するインタラクションマッピングは、曲げる大きさの範囲/閾値による。図9では4つの異なるマッピング方式を区別している。各段階は特定の曲げ角度範囲に対応し、例えば、曲げ角度が0度と10度の間にある場合(910の)段階1であり、10度から20度の間にある場合(920の)段階2であり、20度から30度の間にある場合(930の)段階3であり、30度から40度の間にある場合(940の)段階4であるなどとする。各段階は異なる機能またはそれに関連付けられるマッピングを有することができる。例えば、写真ブラウズアプリケーションにおいて、装置の角を(前後に)0度から10度の間で曲げると(910)、一組の画像をスクロールすることにマッピングすることができる。装置の角を10度を超えて20度まで曲げると(920)、ユーザーは画像を連続的に拡大/縮小できる。段階3において(930)、ユーザーは曲げるジェスチャーを用いて画像の輝度を調整することができる。最後に段階4において(940)、曲げ入力を用いて画像の透明性を変更することができる。この実施形態において、ユーザーに与える触覚効果の種類、強度、パターンは、段階910、920、930、940のそれぞれに添付したグラフに示すように、段階ごとに異なることができる。触覚は各段階において連続的インタラクションを増大するだけでなく、ユーザーが種々の機能に関連する異なる段階/マッピング方式を区別するのに役立つ。さらに、段階間の遷移を触覚的に表して、ユーザーに段階と段階を区別することに関して触知をさらに与えることができる。言い換えると、ユーザーは触覚マークを用いて、必ずしも聴覚視覚合図に頼ることなく種々の機能を探索することができる。上記の例において曲げ角度の範囲を区別するパラメータとして用いているが、特定の曲げ角度を別なふうに選択することができ、力などの他のパラメータもこの目的のために用いることができることは当業者にとって明らかであろう。
他の実施形態において、折り畳み可能ディスプレイに行う連続的な「折り畳む」ジェスチャーは同様に、上述のプログラマブルデテントを用いて触覚的に増大することができる。振動触覚フィードバック効果の利用はデテントに限られず、実際には、任意の種類の適切な触覚効果を使用してインタラクションを増大することができる。
振動触覚フィードバックと同様に、力覚はインタラクションを増大することで、似たような状況や異なる状況において価値を与えることができる。力覚に対する方法の例には、プログラマブル剛性表示(剛性制御)や、構造減衰(曲げや折り畳みや他の変形自由度に抵抗する減衰率)などが含まれる。フィードバックは振動触覚と力覚の両方の組み合わせであってもよい。
一部の実施形態において、フレキシブルディスプレイに用いられる材料の自然剛性または構造剛性と減衰を、プログラマブル触覚剛性制御により増大して、変形ジェスチャーランゲージを豊かにし、インターフェースの効果を高めることができる。例えば、一実施形態において、ユーザーは曲げ変形ジェスチャーを用いてユーザーの連絡先リストをブラウズすることができる。ユーザーがリストの終わりに近づくと、触覚剛性制御機能により変形に対する知覚される抵抗力を変化させて、ユーザーにリストのどの辺にいるかを認識させることができる。ユーザーがリストの最後に達すると、触覚剛性方式により、ディスプレイを一方向において曲げられないように/硬くすることによって、触覚「バリア」を作って、ユーザーがさらに曲げないようにすることができる。同様に、ユーザーがリストの最後から遠く離れている場合は、力覚を用いて装置の自然変形抵抗力に逆らうことで、ディスプレイの硬さを少なくすることができる。言い換えると、曲げられるディスプレイの変形範囲は触覚を用いて制御することができる。
さらに、力覚剛性/減衰制御または振動触覚効果を用いて、リスト中の各アイテムをプログラマブルデテントにより触覚的に表示することができる。例えば、ユーザーが異なるアルファベット分類の間を通過するときに、異なる触覚効果/表現を使用することができる。同様の触覚増大を、折り畳み可能ディスプレイインターフェースにおける折り畳みジェスチャーに適用することができる。
一実施形態において、ディスプレイの知覚される触覚「剛性」または変形抵抗を、現在のアプリケーションの要件や求められる機能に合わせて設定および調整することができる。例えば、ユーザーは曲げジェスチャーまたは折り畳みジェスチャーを用いて、少しずつまたは小さい時間ステップでサウンドトラックを早送りしようとすることがある。ディスプレイの剛性を能動的に制御して、ユーザーがディスプレイを制御により徐々に変形(曲げるか折り畳む)しやすくするようにでき、曲げの程度または折り畳みの程度は、固定サイズの増加としてまたはファイル長の割合として、増加または時間ステップのサイズに対応する。
図7に戻り、他の実施形態はフレキシブルディスプレイに関連付けられた力覚フィードバックを与えて、目的とするインタラクションに基づいて知覚されるディスプレイの弾性または変形能を調整するシステムである。ここで、装置の自然「弾性」は、材料特性や装置の構造に基づくフレキシブル装置が自然状態で備える曲がりやすさ、折り畳みやすさ、または丸めやすさを意味する。フレキシブルディスプレイの弾性は、ジェスチャーランゲージを豊かにし、直感的インタラクションを発展させるための土台を作るものであるが、可撓性が高すぎると、一部のユーザー・インターフェース・インタラクションに負の影響を与えることがあり、場合によっては、実行不可能にしてしまうこともある。画面がより曲がりにくい、さらには曲がらないことを求める、画面プレスなどのインタラクションや機能もあれば、インターフェースの可撓性と柔軟性が高いことでさらに容易になるインタラクションや機能もある。実施形態では、目的とするインタラクションによりディスプレイの弾性または変形能を調整するプログラマブル触覚剛性制御機構について説明する。言い換えると、インタラクションや目的とする機能により、より硬いインターフェースが求められる場合、曲げられるインターフェースはより硬くなり、ユーザーが変形によるジェスチャーを行っている場合はより柔らかく(変形しやすく)なる。
しかしながら、ディスプレイの変形が必ずしも起こらず、感覚システムによりユーザーが加えた力/圧力を取得できることは当業者にとって明らかであろう。例えば、力覚によりディスプレイを非常に硬くできるが、その場合ユーザーが加えた少量の力では物理的変形に至らない。しかしながら、このシステムではユーザーによるかかるインタラクション、すなわち変形が起こらない加圧に対しても振動触覚または他の種類の「触覚応答」を与えることができる。
図10は一部の実施形態に係るフレキシブル装置において触覚フィードバックを提供することを示すフロー図である。図10は、アプリケーションがある一定の剛性または可撓性を、該アプリケーション実行中に静的なフレキシブルディスプレイに要求するフローを示す。1010において、ディスプレイ機能をフレキシブルディスプレイ装置で開始する。フレキシブル装置は、折り曲げ可能、折り畳み可能、丸め可能、またはそれらを組み合わせられるものであってもよい。1020において、アプリケーションをフレキシブルディスプレイ装置で起動し、該アプリケーションは一定の弾性を要求する機能がある。アプリケーションは、ホーム画面や設定画面や通知画面など、オペレーティングシステムに固有のプロセスでもよいし、ユーザーがインストールしたアプリケーションでもよい。
1030において、フローではアプリケーションが可撓性の高いインターフェースを求めているかどうかを検討する。例えば、装置は、目的が装置を曲げること(可撓性が必要)であるか、タッチスクリーンとインタラクトすること(硬さが必要)であるかを、タッチ入力の位置に基づいて判定することができる。端部をつかんでいる場合、ユーザーは装置を曲げようとしているかもしれず、装置は曲げやすいままでなければならない。画面の中央部近くをタッチしている場合、ユーザーは画面とインタラクトしたい可能性が高く、硬い面が好ましいかもしれない。面はまた、ユーザーがペンを使ってインタラクトする場合、硬くなることができる。高い可撓性が求められる場合、1040において、アクチュエータ駆動回路16などの触覚剛性制御装置は、ディスプレイをより弾性があるように、または変形可能にすることができる。ユーザーが曲げる/折り畳む/丸める力を加えたときに装置が自然に曲がれるようにすることで、または装置の曲がりを増大することで曲がりやすくすることで、より大きい可撓性を実現し、ユーザーに装置を曲げて操作するのが「より簡単」であるように思わせることができる。1030において、アプリケーションが低い(または非)可撓性を求める場合、1050において、触覚剛性制御装置によりディスプレイをより硬くまたは完全に硬くすることができる。アクチュエータ18などの1つ以上のアクチュエータを制御することで硬さを実現して、フレキシブルディスプレイを変形しにくくすることができる。ユーザーがアプリケーションを切り換えたり、アプリケーションの機能が変わったりした場合、フローは1040または1050から1020に戻って繰り返すことができる。
図11は一部の実施形態に係るフレキシブル装置において触覚フィードバックを提供することを示すフロー図である。図11は、アプリケーションがフレキシブルディスプレイに剛性または可撓性を求める場合のフローを示し、剛性または可撓性は、アプリケーション実行中に、ユーザーのアプリケーションと装置とのインタラクションに基づいて動的に調整可能である。1110において、ディスプレイ機能をフレキシブルディスプレイ装置で開始する。フレキシブル装置は折り曲げ可能、折り畳み可能、丸め可能、またはそれらの組み合わせが可能であってもよい。1120において、アプリケーション実行の全過程を通じてディスプレイに一定の弾性を動的に要求する機能があるアプリケーションをフレキシブルディスプレイ装置で起動する。アプリケーションは、ホーム画面や、設定画面や、通知画面などのオペレーティングシステムに固有のプロセスでもよいし、ユーザーがインストールしたアプリケーションでもよい。1130において、入力またはジェスチャーを、フレキシブルディスプレイ711か、タッチインターフェース11か、他の入力インターフェースを介して装置により検出する。該入力はアプリケーションによって測定され特徴づけられる。1140において、ディスプレイの弾性をユーザーの入力とアプリケーション設定に基づいて調整する。弾性はもっと硬くなるかもっと曲がりやすくなるように調整できる。アクチュエータ18などの1つ以上のアクチュエータを制御する、アクチュエータ駆動回路16などの触覚剛性制御装置により硬さを制御して、フレキシブルディスプレイを変形しにくくするか、変形しやすくして、ディスプレイの硬さをそれぞれ大きくするか小さくすることができる。一部の実施形態において、触覚剛性制御装置を受動的になるように制御して、弾性が装置の自然弾性と同一になるようにできる。フローはステップ1130に進み、その結果さらなる入力や反応を検出し続けることができる。
図10に示すフローと一致する一実施形態において、ディスプレイ711などのフレキシブルディスプレイの硬さは、ユーザーがテキストを入力しているときにはより硬く調整することができる。テキスト入力を実行するアプリケーションでは画面が硬いことが必要であり、そうでなければ、ユーザーがキーを押したいときにディスプレイはユーザーの指から離れて変形してしまう。さらに、装置の形状とキーの空間的配置は、書き込み中に筋肉の記憶が有効となるように、キーボード入力中に固定されたままにするべきである。ユーザーがキーボード入力アプリケーションを起動するとすぐに、触覚制御装置はディスプレイを硬くし、その機能に適したものにすることができる(タイプ入力インタラクションを容易にする)。
図11に示すフローと一致する他の実施形態において、フレキシブルディスプレイは、ユーザーによって加えられた変形入力と力の入力を特徴づけることができるセンサー17などの埋め込み歪みゲージと力センサーと、フレキシブルディスプレイに取り付けられる711のタッチ面などの感圧タッチ画面とを備えることができる。初期モードの装置は硬くすることができ、ユーザーは種々のOS/インターフェース機能とインタラクトできる。しかしながら、ユーザーが一定の値または閾値を超える曲げる力またはタッチ圧を加えると、装置は変形可能に、または硬さが小さくなるように切り換わることができる。したがって、ユーザーは、柔らかいインターフェースが必要なときは柔らかくなるように装置に命令することができ、しかも、他の状況ではディスプレイの硬さを利用することができる。フレキシブル装置は過度の変形により損傷することがある。したがって、他の例では、触覚フィードバックを用いて、ユーザーがサポートされる最大変形を超えようとすると、ユーザーに警告することができる。装置は硬くなり、振動により抽象的だが明らかな警告を発生してもよいし、曲がりすぎていることを直感的に伝達するキーキーときしむ感覚を粒状合成により発生してもよい。この入力監視と動的弾性調整により、様々な機能にわたってフレキシブルディスプレイとのインタラクションを容易にし、柔らかいディスプレイが必要なインタラクションと硬いディスプレイが必要なインタラクションのどちらにもより効果的なインターフェースを提供する。
他の実施形態において、フレキシブルディスプレイは装着可能な形状に変形して保つことができる。この実施形態では、装置を人間工学的に身体の特定の場所(例えば、手首)に着用できるように、ユーザーは装置を身体の形状に合うように変形する(例えば、手首を囲むように曲げる)ことができる。しかしながら、装置をいったん手首を囲むように曲げると、装着可能な携帯装置として定位置に留まるように硬くまたは曲がりにくくなるようにできる。目的の形状になった装置の剛性を高めることで、ユーザーはディスプレイを特定の機能に適した物理的形状にすることができ、ディスプレイは求められるだけの時間その形状を保つことができる。
他の実施形態において、フレキシブルディスプレイはゲーム・コンソール・アプリケーションに応じて変形することができ、装着できるか、ゲームとインタラクションするのに適した形状にすることができる。ここで、711のようなフレキシブルディスプレイをフレキシブルインターフェースと別個のディスプレイに分離することができ、フレキシブルインターフェースはゲーム・コンソール・アプリケーションに対するインターフェースとなる。
図7に戻ると、他の実施形態はフレキシブルディスプレイの形状変更機能を提供するシステムである。ディスプレイの形状の変更は、インタラクションの種類と、ユーザーに伝達される情報の種類および内容によって決めることができる。一実施形態において、711のディスプレイのようなフレキシブルディスプレイを触覚的に増大して、自己制御式で形状を変化させることができる。特定の形状をとる目的には、特定の機能またはアプリケーションにより適切な形をとることで、インターフェースとのユーザーインタラクションを容易にできることや、その幾何学的形状により特定の情報を表示できることや、特定の物理的形状でのみ実施可能な機能を可能にできることや、装置が仮想物体の物理的表現として機能する場合、対象物の形状を模倣することでよりリアルなシミュレーションを与えられることが含まれる。
形状変化により情報を示すが、装置を視覚的または触覚的に調べることで形状変化を視認または体験して、情報を受け取ることができる(視覚的または聴覚的に詳しく調べて識別する必要はない)。例えば、フラットな装置には新しいメッセージや通知がなくてもよく、曲げられた装置には新しいメッセージがあってもよく、曲げの程度によりメッセージの数を示す。これは詳しく調べなくても、または例えばユーザーのポケットにある装置とインタラクトすることで視認できる。
図12は一部の実施形態に係るフレキシブル装置において触覚フィードバックを提供することを示すフロー図である。1210において、ディスプレイ機能をフレキシブルディスプレイ装置で開始する。フレキシブル装置は折り曲げ可能、折り畳み可能、丸め可能、またはそれらを組み合わせ可能であってもよい。1220において、アプリケーションをフレキシブルディスプレイ装置で起動、再開、または通知するが、該アプリケーションは情報を表示することを要求するか、ステータス変更を示し、特定の形状を装置に要求する機能がある。アプリケーションはホーム画面や設定画面や通知画面などのオペレーティングシステムに固有のプロセスでもよいし、ユーザーがインストールしたアプリケーションでもよい。1230において、フレキシブルディスプレイ装置は自ら形状を変化させ、装置の情報またはステータスを触覚的に表示するか、または機能に適した形状をとる。
例えば、一実施形態において、フレキシブルディスプレイは曲げられるか折り畳める電話機であってもよく、緊急の電話がかかってくると曲がるか折り重なる。着信すると、電話機は電話をかけてきた人を認識するか緊急性を判定でき、電話の緊急性またはかけてきた人を示すために形状を変化することができる。同様に、フレキシブルディスプレイは、装置の物理的形状が表示される内容/情報により適合するように形状を変化することができる。例えば、ユーザーは写真ブラウズアプリケーションを起動することができる。このアプリケーションが起動されるとすぐに、フレキシブル装置はスタンド付きの写真フレームの形状をとって、写真を見るインタラクションをよりリアルにシミュレートでき(ユーザーの体験を実世界のインタラクションに近づける)、また該機能を使用しやすくできる。
図7を再び見ると、他の実施形態は、センサー17やアクチュエータ18などの曲げセンサーやアクチュエータを含む。一実施形態において、LGコーポレーションの「G Flex」フォンなどのフレキシブルディスプレイは、センサー17などのそのデザインに取り付けるか組み込まれた曲げセンサーと、処理装置12などのセンサー読み取り処理回路と、を備えることができる。「G Flex」は少し曲げられる湾曲した電話機であり、一体型振動触覚装置を備える。曲げセンサー値は、直接に、またはBluetooth(登録商標)を介して、電話機またはディスプレイに接続したインターフェースを使用して検出することができる。アクチュエータを直接フレキシブル面に取り付けると、取り付け位置でフレキシブル面が曲がらなくなることがあり、または、取り付けがうまくいかないことがある。例えば、比較的大きいアクチュエータは時が経つにつれてフレキシブル面から剥がれたり離れたりすることがある。この問題は、フレキシブル面にはるかに小さい固定具(曲がる面とより小さい表面積で接触し、曲げ方向に対向する)を取り付けて、それからアクチュエータをそれに取り付けることで、大きいアクチュエータが曲がる面を妨げないようにアクチュエータを面から離して配置することで克服できる。1つの解決策として、フレキシブル装置に取り付けたスタッドやポストを用いて、アクチュエータをスタッドやポストのヘッドに接着するか取り付けることができる。一部の実施形態において、曲がる面がアクチュエータに接触し始めると、アクチュエータはポストまたはスタッド上方に摺動することができる。したがって、小さくて硬い取り付け具により、面の曲がりを妨げることなくアクチュエータをしっかり取り付けることができる。一方向にのみ曲がる装置において、小さい固定具は曲げ方向に対し垂直な方向に薄くすることができる。全方向に曲がる装置において、小さい固定具は接触点において円形にすることができる。
他の実施形態において、図7のアクチュエータやセンサーなどはディスプレイの入力装置としてフレキシブル面に組み込むことができる。言い換えると、711のフレキシブルディスプレイはフレキシブル面とディスプレイ(図示せず)に分割することができる。ユーザーは、面を曲げたり捻じったり、角を曲げたりするなど、面を変形させることで、入力装置によりジェスチャーを行うことができる。ジェスチャーをディスプレイに無線または有線で送信することで、画像を近くの電話機やディスプレイに表示することができる。画像は、フレキシブル面を変形させることで制御および更新することができる。
「G Flex」などのフレキシブル面またはフレキシブルディスプレイのいずれかを使用する実施形態において、触覚フィードバックを以下の例におけるようにフレキシブル面またはフレキシブルディスプレイで発生させることもできる。曲げ閾値に達すると短時間突発的振動を発して、あたかも面が双安定で、音を立ててもう一つの位置についたかのように、「ポン」とはじける感覚を作ることができる。このアイデアを用いて状態の突然の変化、例えば、グロースティックやハーシーの「キットカット」などをポキンと折るように、物体を二つに割ることなどを示すことができる。他の例では、曲げ範囲の特定の箇所で短時間突発的振動を発して、デテントの感触を与えることができる。例えば、面が25%、50%、75%、100%だけ曲がると、デテントを発することができる。
他の例において、面の曲がりが特定の粒状量だけ変化するごとに、粒状合成を用いてキーキーときしむ感触を作ったり、短時間突発的振動を発することで実際よりももっと表面が曲がっている錯覚を与えたりすることができる。短時間の突発的振動(例えば、10ms)は、曲げが特定量(例えば、曲げの範囲にわたって30グレイン)だけ変化するたびに発することができる。このことは少なくとも2つの効果を作り出すのに行うことができる。第1に、設定を調整して異なる質感をシミュレートすることができる。これにより、例えば、ユーザーが様々な厚さの木材面や、プラスチック面や、ガラス面を曲げている印象を与えることができる。第2に、キーキーときしむ音を立てることによっても、表面が実際よりももっと曲がっている印象を与えることができる。このことは、フレキシブル装置がより広く普及し、それからよりフレキシブルになるにつれ、移行期の装置において重要である。フレキシブルでありながら硬い装置は、実際よりもはるかにフレキシブルであるかのように感じることができる。
これらの技術を用いる一実施形態は、画面に表示されるグロースティックを含む。面または装置を曲げると、最初に触覚再生装置を使ってきしむ音を立てる。グロースティックがきしむ音を立て、面または装置を曲げると、グロースティックの表示は、ユーザーが加える検出された曲げ圧力にしたがって、曲がり始めたグロースティックを示す。示されたグロースティックがポキンと折れることなくそれ以上曲げることができなくなると、触覚再生装置を用いてポキンと折れる感覚が感じられる。アプリケーションは応答して、グロースティックは光る。
これらの技術を用いる他の実施形態は、画面に表示されるカメラアプリを含む。電話機のディスプレイまたは面を曲げると、フォーカスかズームのいずれかを制御することができる。連続的な触覚効果を出力して、カメラの機構を模倣することができる。
「G Flex」などの少しだけ曲げられる装置や曲げられる面にこれらの技術を使用する他の実施形態は、画面に表示する電子書籍アプリを含む。面の端部または角を曲げると1ページずつページをめくることができる。確認フィードバックをめくるごとに出力することができる。代わりに、面を曲げて定位置に保つことができ、それにより速い速度でページを連続的にめくらせることができる。触覚効果を実行することでユーザーにページをめくっているように感じさせることができる。さらに、アプリケーションの初期と同様に、装置が何らかの方法で閾値を超えて曲げられると、アプリケーションは本を閉じたり開けたりすることができる。
開示したように、実施形態は、折り畳み可能・折り曲げ可能ディスプレイ装置を含むフレキシブル装置において、力覚および振動触覚フィードバックシステムを実現する。装置で実行しているアプリケーションに基づいて、ユーザーの動作にともなう変形入力を使用して、装置の変形特性を判定し、それにより適切な力覚フィードバックおよび振動触覚フィードバックをユーザーに提供することができる。かかるフィードバックには、装置を電子書籍リーダーとして使用するときに有効な、単一ページめくり効果やページブラウズ効果などの効果が含まれる。また、かかるフィードバックには、ディスプレイ装置の各フラップに1つの、複数物体を比較するときに有効な効果も含まれる。また、かかるフィードバックには、装置の折り畳み部分を開けたり閉じたりするときに有効な効果も含まれる。また、かかるフィードバックには、装置のアプリケーションや、装置にかけられた変形や変形圧に基づいて、装置の硬さを増減したり、フィードバックを与えたりする装置に関する増大も含まれる。
本願明細書においていくつかの実施形態について詳細に例証および/または説明している。しかしながら、開示した実施形態の修正や変更は上記の教示に含まれ、本発明の精神および意図する範囲から逸脱することなく添付の請求項の範囲内にあることは明らかであろう。

Claims (13)

  1. 折り曲げ可能・折り畳み可能ディスプレイ装置で触覚効果を与えるコンピュータで実施する方法であって、
    ヒンジによって結合する第1フラップと第2フラップとを備える折り曲げ可能・折り畳み可能ディスプレイ装置の変特性を示す1つ以上のセンサーから入力を受け取る工程であって、前記センサーは、前記第1フラップおよび前記第2フラップの間の折り畳み特性と前記第1フラップの曲げ特性とを含む変形特性を検出するように構成されている工程と、
    前記折り畳み特性における変化の前に、前記折り畳み特性を折り畳み前の状態として記憶する工程と、
    前記入力によって与えられる1つ以上の測定値に基づいて、前記折り曲げ可能・折り畳み可能ディスプレイ装置の前記変形特性を判定する工程と、
    前記折り畳み特性の変化を検出する工程と、
    前記第1フラップおよび前記第2フラップを制御して、前記折り畳み特性のように前記折り畳み前の状態にほぼ戻すために触覚フィードバックを生成する工程と、
    を備え
    前記ディスプレイ装置のアプリケーションは、前記変化する折り畳み特性に基づいて前記ディスプレイ装置で視覚的変化を与える方法。
  2. 前記触覚フィードバックは、力覚フィードバックまたは振動触覚フィードバックのうちの少なくとも1つをさらに備える、請求項1に記載の方法。
  3. 前記曲げ特性は、前記第1フラップを曲げる動作に対応し、前記折り畳み特性は、前記第1フラップと前記第2フラップとを開く動作に対応し、
    前記触覚フィードバックは、前記第1フラップと前記第2フラップとを開く力覚フィードバックと、前記第1フラップを曲げる力覚フィードバックとをさらに含む、請求項1に記載の方法。
  4. 前記力覚フィードバックは、装置のアプリケーションのアプリケーション設定および前記折り畳み特性に基づいて、前記開く動作の硬さを調整し、
    前記第1フラップの前記力覚フィードバックは、前記アプリケーション設定および前記曲げ特性に基づいて、前記曲げる動作の硬さを調整する、請求項3に記載の方法。
  5. 前記第1フラップに物体を表示する装置のアプリケーションに応じて装置を制御して、前記第1フラップの前記曲げ特性に応じて力覚フィードバックを与えて、前記第1フラップに表示される前記物体の物理的性質情報に基づいて、前記第1フラップの曲げ性を硬くするか緩める工程をさらに備え、前記アプリケーションは、表示される前記物体についての前記物理的性質情報を記憶する、請求項1に記載の方法。
  6. 折り曲げ可能・折り畳み可能なディスプレイ装置で触覚効果を与えるコンピュータで実施する方法であって、
    ヒンジによって結合する第1フラップと第2フラップとを備える前記折り曲げ可能・折り畳み可能なディスプレイ装置の変形特性を示す1つ以上のセンサーから入力を受け取る工程であって、前記センサーは、前記第1フラップおよび前記第2フラップの間の折り畳み特性と前記第1フラップの曲げ特性とを含む変形特性を検出するように構成されている工程と、
    前記入力によって与えられる1つ以上の測定値に基づいて、前記折り曲げ可能・折り畳み可能なディスプレイ装置の閉じ折り畳み特性を判定する工程であって、前記閉じ折り畳み特性は、前記第1フラップと前記第2フラップとが閉じつつあることを示す工程と、
    前記閉じ折り畳み特性に応じて、前記第1フラップおよび前記第2フラップを閉じるように制御するために力覚フィードバックを与える工程であって前記力覚フィードバックを与えることは、前記第1フラップと前記第2フラップとが閉じられたことを示す前記閉じ折り畳み特性よりも前に起こる工程と
    を備える方法。
  7. 折り曲げ可能・折り畳み可能ディスプレイ装置に組み込まれた1つ以上の触覚出力装置を備える触覚システムであって、
    ヒンジによって結合する第1フラップと第2フラップとを備える折り曲げ可能・折り畳み可能ディスプレイ装置の変形特性を示す入力を受け取り、前記第1フラップおよび前記第2フラップの間の折り畳み特性前記第1フラップの曲げ特性含む前記変形特性を検出するように構成されている1つ以上のセンサーと、
    前記折り畳み特性における変化の前に、前記1つ以上のセンサーからの変形前折り畳み特性を記憶し、前記入力によって与えられる1つ以上の測定値に基づいて、前記折り曲げ可能・折り畳み可能ディスプレイ装置の変形特性を判定し、且つ前記折り畳み特性における変化を検出する変形特性化モジュールと、
    1つ以上の触覚アクチュエータを制御して、前記第1フラップと前記第2フラップとをほぼ前記変形前折り畳み特性に戻す触覚フィードバックを与え、且つ前記ディスプレイ装置のアプリケーションに、前記折り畳み特性に対応する視覚的変化を与えさせる触覚フィードバック発生器と、
    を備える触覚システム。
  8. 前記触覚フィードバックは、力覚フィードバックまたは振動触覚フィードバックのうちの少なくとも1つをさらに備える、請求項に記載のシステム。
  9. 前記曲げ特性は、前記第1フラップを曲げる動作に対応し、前記折り畳み特性は、前記第1フラップと前記第2フラップとを開く動作に対応し、
    前記触覚フィードバックは、前記第1フラップと前記第2フラップとを開く力覚フィードバックと、前記第1フラップを曲げる力覚フィードバックとをさらに含む、請求項に記載のシステム。
  10. 前記力覚フィードバックは、装置のアプリケーションのアプリケーション設定および前記折り畳み特性に基づいて、前記開く動作の硬さを調整し、
    前記第1フラップの前記力覚フィードバックは、前記アプリケーション設定および前記曲げ特性に基づいて、前記曲げる動作の硬さを調整する、請求項に記載のシステム。
  11. 前記触覚フィードバック発生器は、
    前記第1フラップの前記曲げ特性に応じて前記第1フラップに物体を表示する装置のアプリケーションに応じて力覚フィードバックを制御して、前記第1フラップに表示される前記物体の物理的性質情報に基づいて前記第1フラップの曲げ性を硬くするか緩めるようにさらに構成され
    前記アプリケーションは、表示される前記物体についての物理的性質情報を記憶する、請求項に記載のシステム。
  12. 折り曲げ可能・折り畳み可能なディスプレイ装置に組み込まれた1つ以上の触覚出力装置を備える触覚システムであって、
    ヒンジによって結合する第1フラップと第2フラップとを備える前記折り曲げ可能・折り畳み可能なディスプレイ装置の変形特性を示す入力を受け取り、前記第1フラップおよび前記第2フラップの間の折り畳み特性と前記第1フラップの曲げ特性とを含む前記変形特性を検出するように構成されている1つ以上のセンサーと、
    前記折り畳み特性から、前記第1フラップと前記第2フラップとが閉じつつあることを示す閉じ折り畳み特性を判定するように構成される変形特性化モジュールと、
    記折り畳み特性が前記第1フラップと前記第2フラップとが閉じられたことを示すよりも前に、前記第1フラップと前記第2フラップとを閉じるように制御するために、力覚フィードバックを与えるように構成される触覚フィードバック発生器と
    を備える触覚システム。
  13. 命令を記憶するコンピュータ可読媒体であって、処理装置によって実行されると、前記処理装置に請求項1〜のいずれか一項に記載の方法を実行させる、コンピュータ可読媒体。
JP2014089976A 2013-04-26 2014-04-24 折り畳み可能・折り曲げ可能ディスプレイとのインタラクションに対する触覚フィードバック Expired - Fee Related JP6382564B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361816605P 2013-04-26 2013-04-26
US61/816,605 2013-04-26
US14/222,303 US9524030B2 (en) 2013-04-26 2014-03-21 Haptic feedback for interactions with foldable-bendable displays
US14/222,303 2014-03-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018143510A Division JP2018190452A (ja) 2013-04-26 2018-07-31 折り畳み可能・折り曲げ可能ディスプレイとのインタラクションに対する触覚フィードバック

Publications (2)

Publication Number Publication Date
JP2014216025A JP2014216025A (ja) 2014-11-17
JP6382564B2 true JP6382564B2 (ja) 2018-08-29

Family

ID=50513736

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014089976A Expired - Fee Related JP6382564B2 (ja) 2013-04-26 2014-04-24 折り畳み可能・折り曲げ可能ディスプレイとのインタラクションに対する触覚フィードバック
JP2018143510A Pending JP2018190452A (ja) 2013-04-26 2018-07-31 折り畳み可能・折り曲げ可能ディスプレイとのインタラクションに対する触覚フィードバック

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018143510A Pending JP2018190452A (ja) 2013-04-26 2018-07-31 折り畳み可能・折り曲げ可能ディスプレイとのインタラクションに対する触覚フィードバック

Country Status (5)

Country Link
US (3) US9524030B2 (ja)
EP (1) EP2796976B1 (ja)
JP (2) JP6382564B2 (ja)
KR (1) KR20140128270A (ja)
CN (2) CN104122992B (ja)

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063731B2 (en) 2012-08-27 2015-06-23 Samsung Electronics Co., Ltd. Ultra low power apparatus and method to wake up a main processor
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
US10315220B2 (en) 2014-02-11 2019-06-11 Vibrant Composites Inc. Complex mass trajectories for improved haptic effect
US9524030B2 (en) * 2013-04-26 2016-12-20 Immersion Corporation Haptic feedback for interactions with foldable-bendable displays
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
JP6020742B2 (ja) * 2013-10-25 2016-11-02 株式会社村田製作所 電子機器、および、操作入力プログラム
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
KR102561200B1 (ko) 2014-02-10 2023-07-28 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
US10067641B2 (en) * 2014-02-10 2018-09-04 Samsung Electronics Co., Ltd. User terminal device and displaying method thereof
KR102119843B1 (ko) 2014-02-10 2020-06-05 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
KR102331956B1 (ko) 2014-02-10 2021-11-29 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR20160041693A (ko) * 2014-10-08 2016-04-18 엘지전자 주식회사 이동 단말기
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
EP3811873B1 (en) 2014-12-05 2023-11-01 Samsung Medison Co., Ltd. Portable ultrasonic diagnostic apparatus and method of controlling the same
CN104407675B (zh) * 2014-12-12 2017-07-28 京东方科技集团股份有限公司 显示屏卷绕系统及其控制方法
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9600076B2 (en) 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US10082872B2 (en) * 2014-12-30 2018-09-25 Immersion Corporation Deformable haptic wearables with variable physical properties
KR102198473B1 (ko) * 2014-12-30 2021-01-05 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2016138085A1 (en) * 2015-02-25 2016-09-01 Immersion Corporation Systems and methods for user interaction with a curved display
KR102305508B1 (ko) * 2015-02-25 2021-09-28 삼성디스플레이 주식회사 폴더블 디스플레이 장치
KR102319466B1 (ko) * 2015-02-25 2021-10-29 삼성디스플레이 주식회사 표시장치 및 이를 이용한 표시장치의 구동방법
DE102015103407A1 (de) * 2015-03-09 2016-09-15 Preh Gmbh Bedienelement mit von der Detektionsrichtung abhängigem haptischem Feedback
US9983673B2 (en) 2015-03-17 2018-05-29 Queen's University At Kingston Haptic rendering for a flexible computing device
CN106156554B (zh) * 2015-03-25 2019-03-15 北京智谷睿拓技术服务有限公司 交互方法、交互装置以及用户设备
KR102425824B1 (ko) * 2015-04-24 2022-07-29 삼성디스플레이 주식회사 가요성 디스플레이의 햅틱 구동 방법 및 장치
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
CN104932616A (zh) * 2015-06-08 2015-09-23 清华大学 基于铰链结构的可变形交互设备及交互系统
KR102345270B1 (ko) 2015-06-15 2022-01-03 삼성디스플레이 주식회사 표시장치
CN106357842A (zh) * 2015-07-17 2017-01-25 中兴通讯股份有限公司 一种移动终端上输出告警信息的方法和移动终端
CN105138076B (zh) * 2015-08-03 2020-01-31 联想(北京)有限公司 一种电子设备的控制方法及电子设备
US10366583B2 (en) 2015-08-25 2019-07-30 Immersion Corporation Bistable haptic feedback generator
US10013060B2 (en) * 2015-09-18 2018-07-03 Immersion Corporation Systems and methods for providing haptic effects in response to deformation of a cover for an electronic device
US10152125B2 (en) 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
WO2017113103A1 (zh) * 2015-12-29 2017-07-06 深圳市柔宇科技有限公司 中控系统及具有该中控系统的汽车
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10297234B2 (en) 2016-03-11 2019-05-21 International Business Machines Corporation Curved virtual display surface for displaying digital objects
CN107203291B (zh) * 2016-03-18 2020-06-30 上海和辉光电有限公司 可弯曲式触控传感器及包括该触控传感器的显示装置
CN105843572B (zh) * 2016-03-21 2020-02-21 联想(北京)有限公司 一种信息处理方法及可形变的电子设备
CN105912899A (zh) * 2016-03-31 2016-08-31 联想(北京)有限公司 一种控制电子设备的方法以及电子设备
EP3242187B1 (en) * 2016-05-04 2018-11-21 Vestel Elektronik Sanayi ve Ticaret A.S. System and method for simulating a reaction force from a virtual object
US20170344120A1 (en) * 2016-05-24 2017-11-30 Intel Corporattion User-input interaction for movable-panel mobile device
KR20170140976A (ko) * 2016-06-14 2017-12-22 엘지전자 주식회사 폴더블 디바이스 및 그 제어방법
JP6261675B1 (ja) 2016-07-19 2018-01-17 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
JP6261674B1 (ja) 2016-07-19 2018-01-17 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
US9921609B2 (en) * 2016-08-02 2018-03-20 Immersion Corporation Systems and methods for deformation and haptic effects
US10558277B2 (en) 2016-08-04 2020-02-11 Microsoft Technology Licensing, Llc Folding angle sensing of a foldable device
US10234945B2 (en) * 2016-09-09 2019-03-19 Immersion Corporation Compensated haptic rendering for flexible electronic devices
US20180074607A1 (en) * 2016-09-11 2018-03-15 Ace Zhang Portable virtual-reality interactive system
US10545900B2 (en) 2016-09-23 2020-01-28 Microsoft Technology Licensing, Llc Physical configuration of a device for interaction mode selection
US10528088B2 (en) 2016-09-28 2020-01-07 Microsoft Technology Licensing, Llc Opening state detection of a foldable device using self-capacitance
US10346117B2 (en) 2016-11-09 2019-07-09 Microsoft Technology Licensing, Llc Device having a screen region on a hinge coupled between other screen regions
JP2018081503A (ja) * 2016-11-16 2018-05-24 富士ゼロックス株式会社 表示装置およびプログラム
US10409335B2 (en) * 2016-12-12 2019-09-10 Motorola Mobility Llc Method to recover permanent set in a foldable display
JP2018097706A (ja) * 2016-12-15 2018-06-21 株式会社東海理化電機製作所 触聴覚呈示装置
US10481634B2 (en) 2017-01-10 2019-11-19 Lenovo (Singapore) Pte. Ltd. Portable information device
US10416710B2 (en) 2017-01-10 2019-09-17 Lenovo (Singapore) Pte. Ltd. Portable information device
JP6429909B2 (ja) 2017-01-10 2018-11-28 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
JP6535353B2 (ja) 2017-01-10 2019-06-26 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
US10409332B2 (en) 2017-01-10 2019-09-10 Lenovo (Singapore) Pte. Ltd. Portable information device
JP6507183B2 (ja) 2017-01-10 2019-04-24 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
US10296176B2 (en) * 2017-01-30 2019-05-21 Microsoft Technology Licensing, Llc Navigational aid for a hinged device via semantic abstraction
US10539993B2 (en) * 2017-03-14 2020-01-21 Microsoft Technology Licensing, Llc Integrated energy storage systems in computing facilities
JP6513732B2 (ja) 2017-04-27 2019-05-15 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
CN107277229A (zh) * 2017-05-26 2017-10-20 努比亚技术有限公司 一种信息输入方法、终端及计算机可读存储介质
US10419716B1 (en) 2017-06-28 2019-09-17 Vulcan Technologies Llc Ad-hoc dynamic capture of an immersive virtual reality experience
ES2863276T3 (es) 2017-06-28 2021-10-11 Ericsson Telefon Ab L M Dispositivo flexible de comunicación y método para cambiar la forma del dispositivo
US20190012000A1 (en) * 2017-07-05 2019-01-10 Motorola Mobility Llc Deformable Electronic Device with Methods and Systems for Controlling the Deformed User Interface
JP6453413B1 (ja) 2017-10-04 2019-01-16 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
JP7155505B2 (ja) * 2017-10-23 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
CN207381016U (zh) * 2017-10-31 2018-05-18 昆山国显光电有限公司 一种可折叠显示屏
US10440848B2 (en) * 2017-12-20 2019-10-08 Immersion Corporation Conformable display with linear actuator
CN108037880A (zh) * 2017-12-29 2018-05-15 努比亚技术有限公司 一种曲面屏控制方法、终端及计算机可读存储介质
CN108509079B (zh) * 2018-03-29 2022-04-08 北京小米移动软件有限公司 触控组件及包括该触控组件的电子设备
CN108538203A (zh) * 2018-04-16 2018-09-14 努比亚技术有限公司 柔性屏非正常弯曲告警方法、移动终端及可读存储介质
CN108597512A (zh) * 2018-04-27 2018-09-28 努比亚技术有限公司 移动终端控制方法、移动终端及计算机可读存储介质
KR102255793B1 (ko) 2018-06-14 2021-05-25 삼성전자주식회사 디스플레이 영역의 크기 변경이 가능한 플렉시블 디스플레이를 포함하는 전자 장치 및 그 제어 방법
KR20200002686A (ko) * 2018-06-29 2020-01-08 삼성전자주식회사 플렉서블 디스플레이를 관리하기 위한 방법 및 그 전자 장치
WO2020013596A1 (ko) * 2018-07-10 2020-01-16 삼성전자주식회사 벤딩에 기초하여 동작을 수행하는 방법 및 전자 장치
KR20200006484A (ko) 2018-07-10 2020-01-20 삼성전자주식회사 벤딩에 기초하여 동작을 수행하는 방법 및 전자 장치
CN109240585A (zh) * 2018-08-08 2019-01-18 瑞声科技(新加坡)有限公司 一种人机交互的方法、装置、终端和计算机可读存储介质
US11029759B2 (en) 2018-09-19 2021-06-08 International Business Machines Corporation Haptic movable display for spatial correlation
US11921987B2 (en) * 2018-09-30 2024-03-05 Huawei Technologies Co., Ltd. System navigation bar display method, system navigation bar control method, graphical user interface, and electronic device
WO2020091807A1 (en) 2018-11-02 2020-05-07 Hewlett-Packard Development Company, L.P. Magnetic suspensions for displays
DE102018219721A1 (de) 2018-11-16 2020-05-20 Audi Ag Bedien- und Anzeigevorrichtung für ein Kraftfahrzeug sowie Verfahren zum Bedienen einer Bedien- und Anzeigevorrichtung
US20200174612A1 (en) * 2018-11-30 2020-06-04 Immersion Corporation Variable curvature interactive devices
CN109739465B (zh) * 2018-12-21 2021-01-29 维沃移动通信有限公司 音频输出方法及移动终端
CN109753118B (zh) * 2018-12-29 2021-03-19 维沃移动通信有限公司 一种终端控制方法及终端
US11216071B2 (en) 2019-01-02 2022-01-04 The Johns Hopkins University Low-profile tactile output apparatus and method
KR102562126B1 (ko) 2019-01-04 2023-08-02 삼성전자주식회사 폴더블 디스플레이를 갖는 전자 장치 및 그 제어 방법
KR20200090438A (ko) * 2019-01-21 2020-07-29 삼성전자주식회사 디스플레이의 손상을 방지하기 위한 전자 장치 및 방법
CN110035352B (zh) * 2019-02-22 2020-09-29 维沃移动通信有限公司 一种展现音效效果的方法、柔性设备及存储介质
KR20200109737A (ko) * 2019-03-14 2020-09-23 삼성전자주식회사 햅틱 액츄에이터를 포함하는 전자 장치
US10747264B1 (en) * 2019-04-03 2020-08-18 Dell Products, L.P. Hinge actions and virtual extended display modes for multi-form factor information handling system (IHS)
KR20200117638A (ko) * 2019-04-05 2020-10-14 삼성전자주식회사 디스플레이의 굴곡부의 시인성을 향상시키는 전자 장치 및 전자 장치의 동작 방법
US11079845B2 (en) * 2019-04-29 2021-08-03 Matt Giordano System, method, and apparatus for therapy and computer usage
US11416130B2 (en) 2019-10-01 2022-08-16 Microsoft Technology Licensing, Llc Moving applications on multi-screen computing device
US11201962B2 (en) * 2019-10-01 2021-12-14 Microsoft Technology Licensing, Llc Calling on a multi-display device
US11561587B2 (en) 2019-10-01 2023-01-24 Microsoft Technology Licensing, Llc Camera and flashlight operation in hinged device
CN112987957A (zh) * 2019-12-17 2021-06-18 群创光电股份有限公司 电子装置
CN111262994B (zh) * 2020-01-09 2021-07-16 三星电子(中国)研发中心 一种折叠屏智能设备的任务选择方法和装置
US11209929B2 (en) 2020-02-17 2021-12-28 Robert Bosch Gmbh Faulty pressure sensor determination of a portable communication device touch display
KR102324562B1 (ko) 2020-05-07 2021-11-11 삼성전자주식회사 플렉서블 디스플레이를 포함하는 전자 장치
US11009921B1 (en) * 2020-05-14 2021-05-18 Apple Inc. Electronic devices with adjustable hinges
US11481035B2 (en) * 2020-05-15 2022-10-25 Huawei Technologies Co., Ltd. Method and system for processing gestures detected on a display screen of a foldable device
CN111862813A (zh) * 2020-07-21 2020-10-30 维沃移动通信有限公司 电子设备
US11488331B2 (en) 2020-11-03 2022-11-01 International Business Machines Corporation Smart interactive simulation-based content on a flexible display device
KR20220061752A (ko) 2020-11-06 2022-05-13 삼성전자주식회사 플렉서블 디스플레이를 제어하는 방법 및 전자 장치
US20220212096A1 (en) * 2020-11-30 2022-07-07 Lepton Computing Llc Gaming Motion Control Interface Using Foldable Device Mechanics
EP4242798A4 (en) * 2021-03-11 2024-05-22 Samsung Electronics Co Ltd ELECTRONIC DEVICE FOR PROVIDING VIBRATION FEEDBACK, AND METHOD OF OPERATING THE SAME
US11921547B2 (en) * 2021-08-20 2024-03-05 Lenovo (Singapore) Pte. Ltd. Apparatus, methods, and program products for modifying a size and/or shape of a computing display screen
US11635817B1 (en) 2021-10-07 2023-04-25 Microsoft Technology Licensing, Llc Stylus haptic component
EP4170461A1 (en) 2021-10-25 2023-04-26 STMicroelectronics S.r.l. Method for detecting an open or closed state of a foldable electronic device
WO2023106888A1 (en) * 2021-12-10 2023-06-15 Samsung Electronics Co., Ltd. Foldable electronic device and method for determining health of display assembly
US11989065B2 (en) 2022-01-18 2024-05-21 Stmicroelectronics S.R.L. Screen state detection using an electrostatic charge variation sensor
CN114613119B (zh) * 2022-01-19 2023-09-19 浙江大丰体育设备有限公司 支持无线群控荧光棒群控的基站
US11984095B1 (en) 2023-04-13 2024-05-14 Dell Products L.P. Information handling system display curvature adjustments based on viewing distance and content

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456823B2 (en) 2002-06-14 2008-11-25 Sony Corporation User interface apparatus and portable information apparatus
JP4447823B2 (ja) * 2002-06-14 2010-04-07 ソニー株式会社 携帯情報機器
JP2006011646A (ja) * 2004-06-23 2006-01-12 Pioneer Electronic Corp 触覚表示装置及び触覚表示機能付タッチパネル装置
JP3911515B2 (ja) * 2005-10-13 2007-05-09 パイオニア株式会社 表示制御装置、表示方法、表示プログラムおよび記録媒体
KR101472021B1 (ko) 2008-09-02 2014-12-24 엘지전자 주식회사 플렉서블 디스플레이부를 구비한 휴대 단말기 및 그 제어방법
KR101521219B1 (ko) * 2008-11-10 2015-05-18 엘지전자 주식회사 플렉서블 디스플레이를 이용하는 휴대 단말기 및 그 제어방법
US20100225578A1 (en) * 2009-03-03 2010-09-09 Chueh-Pin Ko Method for Switching Multi-Functional Modes of Flexible Panel and Calibrating the Same
JP5639151B2 (ja) * 2009-04-15 2014-12-10 コーニンクレッカ フィリップス エヌ ヴェ 折り畳み式触覚ディスプレイ
EP2427879B1 (en) * 2009-05-07 2015-08-19 Immersion Corporation Method and apparatus for providing a haptic feedback shape-changing display
KR101587211B1 (ko) * 2009-05-25 2016-01-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
EP2315186B1 (en) * 2009-10-26 2016-09-21 Lg Electronics Inc. Mobile terminal with flexible body for inputting a signal upon bending said body
US20120256821A1 (en) * 2010-05-18 2012-10-11 Seektech, Inc. User interface devices, apparatus, and methods
CN102609078B (zh) * 2011-01-20 2014-12-31 宏达国际电子股份有限公司 具有触觉反馈的电子装置及提供触觉反馈的方法
EP3734404A1 (en) * 2011-02-10 2020-11-04 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
US9866660B2 (en) * 2011-03-21 2018-01-09 Apple Inc. Electronic devices with concave displays
US20130009892A1 (en) * 2011-07-07 2013-01-10 Nokia, Inc. Methods and apparatuses for providing haptic feedback
US20130009882A1 (en) 2011-07-07 2013-01-10 Nokia Corporation Methods and apparatuses for providing haptic feedback
US8929085B2 (en) * 2011-09-30 2015-01-06 Apple Inc. Flexible electronic devices
US9614981B2 (en) * 2012-01-31 2017-04-04 Nokia Technologies Oy Deformable apparatus, method and computer program
US9411423B2 (en) 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
CN102629446B (zh) * 2012-03-22 2015-08-05 京东方科技集团股份有限公司 显示面板及其操作控制方法和显示装置
KR101721046B1 (ko) * 2012-04-08 2017-03-29 삼성전자주식회사 디스플레이 장치 및 그에 대한 제어 방법
KR101692252B1 (ko) * 2012-04-08 2017-01-04 삼성전자주식회사 플렉서블 디스플레이 장치 및 제어 방법
US9524030B2 (en) * 2013-04-26 2016-12-20 Immersion Corporation Haptic feedback for interactions with foldable-bendable displays
US9392085B2 (en) * 2013-05-08 2016-07-12 At&T Intellectual Property I, L.P. Charging a mobile device having a flexible display

Also Published As

Publication number Publication date
JP2014216025A (ja) 2014-11-17
KR20140128270A (ko) 2014-11-05
US10048758B2 (en) 2018-08-14
CN104122992B (zh) 2018-09-18
EP2796976B1 (en) 2020-01-22
US20140320393A1 (en) 2014-10-30
CN109062414A (zh) 2018-12-21
JP2018190452A (ja) 2018-11-29
US9524030B2 (en) 2016-12-20
EP2796976A1 (en) 2014-10-29
CN104122992A (zh) 2014-10-29
US20170060248A1 (en) 2017-03-02
US20190073035A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
JP6382564B2 (ja) 折り畳み可能・折り曲げ可能ディスプレイとのインタラクションに対する触覚フィードバック
US9606625B2 (en) Haptically-enabled deformable device with rigid component
US10518170B2 (en) Systems and methods for deformation-based haptic effects
EP2796964B1 (en) System and Method for a Haptically-Enabled Deformable Surface
US9983676B2 (en) Simulation of tangible user interface interactions and gestures using array of haptic cells
US10310614B2 (en) Systems and methods for providing haptic effects in response to deformation of a cover for an electronic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180802

R150 Certificate of patent or registration of utility model

Ref document number: 6382564

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees