JP6827510B2 - 電子機器及び表示方法 - Google Patents

電子機器及び表示方法 Download PDF

Info

Publication number
JP6827510B2
JP6827510B2 JP2019192348A JP2019192348A JP6827510B2 JP 6827510 B2 JP6827510 B2 JP 6827510B2 JP 2019192348 A JP2019192348 A JP 2019192348A JP 2019192348 A JP2019192348 A JP 2019192348A JP 6827510 B2 JP6827510 B2 JP 6827510B2
Authority
JP
Japan
Prior art keywords
display surface
display
electronic device
dimensional shape
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019192348A
Other languages
English (en)
Other versions
JP2020009506A (ja
Inventor
邦雄 細谷
邦雄 細谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Energy Laboratory Co Ltd
Original Assignee
Semiconductor Energy Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Energy Laboratory Co Ltd filed Critical Semiconductor Energy Laboratory Co Ltd
Publication of JP2020009506A publication Critical patent/JP2020009506A/ja
Application granted granted Critical
Publication of JP6827510B2 publication Critical patent/JP6827510B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/13338Input devices, e.g. touch panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0266Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268Details of the structure or mounting of specific components for a display module assembly including a flexible display panel
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/40OLEDs integrated with touch screens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明は、表示面が可撓性を有する電子機器、その表示のためのプログラムを記録した記
録媒体、その表示のためのプログラム、及びその表示方法に関する。
近年、携帯電話やスマートフォン等の携帯型情報端末、携帯型音楽再生機器、携帯型ゲー
ム機等、表示装置を備えた高機能な民生用の携帯型の電子機器が広く普及し、我々現代人
の生活を一変させるまでに至っている。
このような携帯型電子機器の開発はさらに進展し、多機能化等の機器の機能面に加え、小
型化、軽量化等の外形面での開発も盛んである。そして、さらに次世代の携帯型電子機器
として、シート状で可撓性を有する電子機器が盛んに研究開発されている。
特許文献1に開示された電子ブックは筐体が可撓性を有するもので、電子ブックの曲げら
れている部分を検出する位置センサ及びベンディングセンサを有する。この位置センサ及
びベンディングセンサの検出結果に基づいて表示部の表示内容の切り換えを行うことで、
筐体の可撓性を活かし、ユーザがマウスやボタンを使わずに表示を操作することを実現す
るものである。
特開2010−157060号公報
一方で、このような可撓性を有する携帯型の電子機器においては、その可撓性を利用して
操作が行えるとしても、そこに表示される画像又は動画は平面的なものであり、表示面及
びそれを搭載する電子機器が可撓性を有することの特徴が十分に活用されていない。この
ため、表示面が可撓性を有することと種々の機能を有する電子機器との相関において商品
企画の点で相乗性に欠け、ユーザにとっては可撓性の表示部を用いた電子機器の魅力に欠
ける。
そこで、本発明の一は、表示面が可撓性を有することを用いて、表示面に表示されるオブ
ジェクト(物体)を、表示面の立体形状に合わせて表示させる電子機器を提供することを
課題とする。
また、本発明の一は、表示面が可撓性を有することを用いて、表示面に表示されるオブジ
ェクトを、表示面の立体形状に合わせて表示させるプログラムを提供することを課題とす
る。
そこで、本明細書で開示する発明の構成の一形態は、表示面にオブジェクトを表示する、
可撓性を有する表示装置を含む表示部と、表示面の所定の箇所の位置情報を検出する検出
部と、位置情報に基づいて表示面の立体形状を算出し、算出された表示面の立体形状に応
じて、オブジェクトが所定の法則に則って運動するようにオブジェクトの動作を演算する
演算部と、を有する電子機器である。
また、本明細書で開示する発明の構成の一形態は、表示面にオブジェクトを表示する、可
撓性を有する表示装置を含む電子機器に、表示面の所定の箇所の位置情報を検出する第1
のステップと、位置情報に基づいて表示面の立体形状を算出する第2のステップと、算出
された表示面の立体形状に応じて、オブジェクトが所定の法則に則って運動するようにオ
ブジェクトの動作を演算する第3のステップと、演算されたオブジェクトの動作を表示面
に表示する第4のステップと、を実行させるためのプログラムを記録したコンピュータ読
み取り可能な記録媒体である。
また、本明細書で開示する発明の構成の一形態は、表示面にオブジェクトを表示する、可
撓性を有する表示装置を含む電子機器に、表示面の所定の箇所の位置情報を検出する第1
のステップと、位置情報に基づいて表示面の立体形状を算出する第2のステップと、算出
された表示面の立体形状に応じて、オブジェクトが所定の法則に則って運動するようにオ
ブジェクトの動作を演算する第3のステップと、演算されたオブジェクトの動作を表示面
に表示する第4のステップと、を実行させるためのプログラムである。
また、本明細書で開示する発明の構成の一形態は、表示面にオブジェクトを表示する、可
撓性を有する表示装置を含む電子機器を用いて、表示面の所定の箇所の位置情報を検出し
、位置情報に基づいて表示面の立体形状を算出し、算出された表示面の立体形状に応じて
、オブジェクトが所定の法則に則って運動するようにオブジェクトの動作を演算し、演算
されたオブジェクトの動作を表示面に表示する表示方法である。
本発明に係る電子機器とは、例えば携帯電話端末、PHS、スマートフォン、パーソナル
コンピュータ、パーソナルデジタルアシスタント(PDA)、タブレットPC、ラップト
ップPC、ミニコンピュータ、電子書籍(電子ペーパ)、電子辞書、電子手帳、電卓、ナ
ビゲーションシステム、デジタルフォトフレーム、画像再生装置、ICレコーダ、携帯型
ゲーム機のような携帯型の電子機器である。
可撓性を有する表示面及びそれを搭載する電子機器において、可撓性を有する表示面を有
する表示装置の直下に複数のセンサを例えばマトリクス状に配置した検出部を設ける。そ
れぞれのセンサが検出した位置情報等を総合して表示部の湾曲形状を算出する。そして表
示面の湾曲した形状(表示面の立体形状)に応じて、オブジェクトが所定の法則に則って
動作するように画像表示を行うものである。
なお、表示面の立体形状とは、電子機器又は表示装置に外力を加えることで湾曲や屈曲等
変形した表示面の物理的形状を指し、三次元の空間座標で記述できる形状をいう。従って
、変形前や変形後の二次元的形状(すなわち、湾曲のない平らに延ばされた形状)も含ま
れる。
表示面の立体形状に応じて、オブジェクトが所定の法則に則って動作するとは、例えば、
表示面を下に撓ませた場合に、表示面に表示されていたオブジェクト(物体)が、重力な
どの自然界の力学に則って移動するように、仮想の力によってオブジェクトが表示面上で
動作するように表示させることである。オブジェクトは、サイコロや落ち葉、ビー玉のよ
うな固体であってもよく、水などの液体でもよい。また、気体や粉体等、森羅万象あらゆ
る対象をオブジェクトとして規定することができる。これにより、電子機器の表面にあた
かもオブジェクトが存在しているかのようなリアリティをユーザに直感させることができ
る。
また、オブジェクトは生物であってもよい。例えば電子ゲーム等において、オブジェクト
を、人間、動物、植物、架空・空想の生物等のキャラクタとすることができる。
所定の法則とは、所定の方程式で記述できる法則をいう。例えば自然界の物理法則を指し
、特に物体の運動を規定する法則である。例えば、重力、引力、摩擦力、空気抵抗、剛体
・流体等の運動等、視覚的にその力学を直感できる運動方程式として記述できる法則を指
す。ただし、所定の法則は自然界の物理法則に限定されるものではない。例えば、視覚的
効果を増すために、自然界の物理法則から逸脱するように強調したものであってもよく、
また重力に反して浮遊する等の自然法則に反するものであってもよい。また、上記の方程
式は、自然界の物理法則を厳密に具現するものである必要は必ずしもなく、擬似的な方程
式や簡素化・単純化した方程式を用いてもよい。
検出部は、電子機器が有する表示面の立体形状を算出するために、複数の所定の位置に設
けられたセンサを有する。例えば、センサとして位置センサを表示面の近傍に複数、マト
リクス状に配置して、各位置センサに相対的な位置座標を検出させてもよい。また、セン
サとして加速度センサを表示面の近傍に複数、マトリクス状に配置して、表示面の変形に
伴う各部位の加速度の変化を相対的に検出させてもよい。センサは、これらに限らず、表
示面の立体形状を算出するために必要なパラメータを検出することができるものであれば
、機械的、電磁気的、熱的、音響的、化学的手段等を応用したセンサを用いることができ
る。例えばセンサとして、加速度センサ、角速度センサ、振動センサ、圧力センサ、ジャ
イロセンサ等を用いることができる。また、これらのセンサを複数組み合わせて用いても
よい。
なお、本発明の表現を方法、ハードウエア(電子機器、コンピュータ、半導体装置、記録
媒体等)、システム、プログラム、ソフトウエアなどの間で変換したものもまた、本発明
の態様として有効である。
表示面が可撓性を有することを用いて、表示面の立体形状に合わせて表示面に表示される
オブジェクトを表示させる電子機器を提供することができる。
また、表示面が可撓性を有することを用いて、表示面の立体形状に合わせて表示面に表示
されるオブジェクトを表示させるプログラムを提供することができる。
これにより、表示面に表示したオブジェクトが、電子機器の表面にあたかも存在している
かのようなリアリティをユーザに直感させることができるUI(ユーザ・インターフェー
ス)を提供することができる。
電子機器の一形態を説明する図。 電子機器のハードウエア構成の一形態を説明するブロック図。 メモリの構成を説明するブロック図。 電子機器の一形態を説明する機能ブロック図。 データ構造を説明する図。 表示面に表示されるオブジェクトの動作を説明する図。 オブジェクトの表示の手順を示すフローチャート。 オブジェクトの表示の手順を示すフローチャート。 オブジェクトの表示の手順を示すフローチャート。 オブジェクトの表示の手順を示すフローチャート。 オブジェクトの表示の手順を示すフローチャート。 オブジェクトの表示の手順を示すフローチャート。 オブジェクトの表示の手順を示すフローチャート。 表示面に表示されるオブジェクトの動作を説明する図。 表示面に表示されるオブジェクトの動作を説明する図。 表示面に表示されるオブジェクトの動作を説明する図。 表示面に表示されるオブジェクトの動作を説明する図。 表示面に表示されるオブジェクトの動作を説明する図。 オブジェクトの表示の手順を示すフローチャート。 表示面に表示されるオブジェクトの動作を説明する図。
以下では、本明細書に開示する発明の実施の形態について図面を用いて詳細に説明する。
ただし、本明細書に開示する発明は以下の説明に限定されず、その形態および詳細を様々
に変更し得ることは、当業者であれば容易に理解される。また、本明細書に開示する発明
は以下に示す実施の形態の記載内容に限定して解釈されるものではない。
(実施の形態1)
本実施の形態では、可撓性を有する表示面を備えた電子機器の構成、及び該表示面への表
示方法の一態様について、図1乃至図13を用いて説明する。
(電子機器の構成)
本発明に係る可撓性を有する表示面を備えた電子機器の構成の一例について、図1を用い
て説明する。本実施の形態で説明する電子機器は、一例として、移動電話、電子メール、
文章閲覧及び作成、音楽再生、インターネット通信、コンピュータゲーム等の種々のアプ
リケーションが実行可能な携帯型情報端末である。図1(A)は電子機器100の上面図
である。電子機器100は、筐体101と、表示面102と、ホームボタン103とを有
する。
表示面102は、静止画、動画等の画像表示を行う表示装置の一部である。表示面102
を含む表示装置として、有機発光素子(OLED)に代表される発光素子を各画素に備え
た発光装置、液晶表示装置、電気泳動方式や電子粉流体(登録商標)方式等により表示を
行う電子ペーパ、DMD(Digital Micromirror Device)、
PDP(Plasma Display Panel)、FED(Field Emis
sion Display)、SED(Surface Conduction Ele
ctron−emitter Display)、LED(Light Emittin
g Diode)ディスプレイ、カーボンナノチューブディスプレイ、ナノ結晶ディスプ
レイ、量子ドットディスプレイ等が挙げられる。本発明に係る表示面は、これらの表示装
置の一部であって、当該表示面を含む表示装置として可撓性を有する表示装置を用いる。
本実施の形態においては、表示面102の上には、指やペン等の指示手段により情報の入
力が可能なタッチパネルが入力手段として設けられている。タッチパネルの配置により、
電子機器上にキーボードを配置する領域が不要となるため、広い領域に表示面を配置する
ことができる。また、ペンや指で情報の入力が可能となることから、ユーザフレンドリな
インターフェースを実現することができる。タッチパネルとしては、抵抗膜方式、静電容
量方式、赤外線方式、電磁誘導方式、表面弾性波方式等、種々の方式を採用することがで
きるが、本発明に係る表示面102は湾曲するものであるため、特に抵抗膜方式、静電容
量方式を用いることが好ましい。
表示面102は可撓性を有するため、筐体101も併せて変形が可能である必要がある。
筐体101は、弾性のある樹脂材料や塑性変形の可能な金属材料、又はこれらの組み合わ
せ等により構成するとよい。例えば筐体101の四隅の部分を金属板のプレス加工体を用
い、その他の部分をプラスチック成形体で形成することもできる。なお図示しないが、表
示面102を含む表示装置のみに可撓性を持たせ、表示装置と筐体101との間に間隙を
設けることで、筐体101は可撓性を有しない材料によって構成することもできる。この
場合、表示面102の湾曲の程度に併せて筐体101が伸縮するように、蛇腹の構造等を
筐体101の一部に設けてもよい。
図1(A)に示すように、本実施の形態に示す電子機器100は矩形形状であって、特に
短辺に比べ長辺が長い。これは、電子機器100が可撓性を有する特徴をユーザにより体
感させるため、特に長辺に垂直な方向に湾曲が容易となる形状としたものである。ただし
、電子機器100を90°回転させ、短辺を下にして縦長の表示装置として用いることも
できる。これを実現するためには、電子機器100内部に加速度センサ等を設け、電子機
器100の回転を検知して、表示面102の画像表示を横長から縦長に切り換えればよい
また、電子機器100の四隅は丸みを帯びた形状である。電子機器100の四隅に丸みを
帯びさせることで、特に曲げや捻りによって生じる応力が四隅の角部に集中することを緩
和させ、表示装置、及び電子機器100の耐久性を向上させることができる。
また、電子機器100が容易に湾曲することができるように、電子機器100の厚さは一
定の強度を保持できる限りにおいて薄くすることが好ましい。
ただし、図1(A)に示す電子機器100の形状は一例であってこれに限られず、ユーザ
の需要に応じて正方形や円形、楕円形等の任意の形状とすることができる。
ホームボタン103は、電子機器100の上面下中央の筐体部分に設けられている。ホー
ムボタン103が押されると、表示面102にホーム画面が表示される。また、ホームボ
タン103を所定の時間押し続けることで、電子機器100の主電源をオフするようにし
てもよい。また、スリープモードの状態に移行している場合、ホームボタン103を押す
ことで、スリープモード状態から復帰させるようにしてもよい。その他、押し続ける期間
や、他のボタンと同時に押す等により、種々の機能を起動させるスイッチとして用いるこ
とができる。このように、ホームボタン103に種々の機能を附与することで、筐体10
1に設ける実在のボタン数を低減し、電子機器100の構造を簡素化することができると
ともに、電子機器100の意匠を単純化することができる。特に、本発明に係る電子機器
100は可撓性を有するものであるから、電子機器100の故障を低減し信頼性を向上さ
せるために、筐体101に実装するボタンの数は少ないほどよい。
図1(B)に電子機器100の下面(底面)を示す。電子機器100の下面は、上面より
も若干面積が小さい。すなわち電子機器100の側面は上面から下面にかけて傾斜した形
状である。図1(B)に示すように、電子機器100は、側面にボタン等複数の入出力機
能が設けられている。
音量調整ボタン104及びミュートボタン105は、電子機器100の側面右上隅に設け
られている。音出力のためのスピーカ107は、電子機器100の側面左下隅に設けられ
ている。スピーカ107からは、オペレーティングシステム(OS)の起動音等特定の処
理時に設定した音、音楽再生アプリケーションソフトからの音楽等各種アプリケーション
において実行される音ファイルによる音、電子メールの着信音等様々な音を出力する。特
に、本発明に係る電子機器100において、表示面102が湾曲したときにスピーカ10
7を用いてその湾曲に応じた音を出力してもよいし、後述するオブジェクトの移動に伴い
音を出力してもよい。
また、音量調整ボタン104を用いることで、スピーカ107から出力される音の音量の
大小を調整することができる。また、ミュートボタン105を押すことで、瞬時にスピー
カ107からの音を消音することができる。図示しないが、音出力のためのスピーカ10
7とともに、あるいはスピーカ107に替えてヘッドフォン、イヤフォン、ヘッドセット
等の装置に音を出力するためのコネクタを設けてもよい。
電子機器100の側面右下隅には、マイクロフォン106が設けられている。音声入力や
録音に用いることができる。また、電子機器100の側面左上隅には、スリープボタン1
08が設けられている。スリープボタン108が押されると、電子機器100はスリープ
モードの状態に移行し、主電源はオンとしたまま表示面102の表示等、任意の機能を停
止させることで省電力化を実現させる。これにより、電子機器100に内蔵されたバッテ
リィの電力の消費を抑えることができる。
このように、種々の入出力デバイスを電子機器100の四隅に集中的に設けることで、四
隅に可撓性を有していない部品を集め、電子機器100の全体としては可撓性をもたせる
ことができる。また、四隅に非可撓性部材を用いると、電子機器100の構造的強度が増
すとともに、電子機器100の操作性が向上する。従って、電子機器100が有する筐体
101の四隅の部分においては、他の部分とは異なる非可撓性部材を用いることが好まし
い。
一方、カメラ109は電子機器100の下面上中央に設けられている。カメラ109によ
り取得した画像を表示面102に表示させることができる。なお、カメラ109を中央に
設けることで、ユーザが電子機器100の上面を見て操作する場合であっても、カメラ1
09の位置を意識することが可能である。本発明に係る電子機器100は可撓性を有する
ため、U字型に湾曲させて電子機器100を机などの上に立てることで、三脚等の固定治
具を用いずに、手ぶれを起こすことなく撮影を行うことができる。
なお、図示していないが、電子機器100には外部メモリドライブを接続する端子を有し
ていてもよい。外部メモリドライブとして、例えば外付けHDD(ハードディスクドライ
ブ)やフラッシュメモリドライブ、DVD(Digital Versatile Di
sk)ドライブやDVD−R(DVD−Recordable)ドライブ、DVD−RW
(DVD−ReWritable)ドライブ、CD(Compact Disc)ドライ
ブ、CD−R(Compact Disc Recordable)ドライブ、CD−R
W(Compact Disc ReWritable)ドライブ、MO(Magnet
o−Optical Disc)ドライブ、FDD(Floppy Disk Driv
e)、又は上述のフラッシュメモリドライブ以外の不揮発性のソリッドステートドライブ
(Solid State Drive:SSD)デバイスなどの記録メディアドライブ
が挙げられる。また、電子機器100は表示面102上にタッチパネルを有しているが、
これに替えて筐体101上にキーボードを設けてもよく、またキーボードを外付けしても
よい。
以上のような電子機器100は、図1(C)及び図1(D)に示すように、可撓性を有す
る。例えば、図1(D)では、左右端部が上方向に湾曲している電子機器100を示す。
従って、筐体101及び表示面102は湾曲させることができる。なお、本明細書におい
て電子機器が有する可撓性とは、少なくとも本願明細書に記載の発明の効果の一部が得ら
れる程度のものでよく、電子機器の湾曲の方向や程度等に特定の制限を設ける趣旨ではな
い。
図2は、本実施の形態における可撓性を有する電子機器100のハードウエア構成を示す
ブロック図の一例である。電子機器100は、プロセッサ151と、メインメモリ152
と、メモリコントローラ153と、補助メモリ154と、センサコントローラ155と、
センサ156と、ディスプレイコントローラ157と、表示装置158と、電源コントロ
ーラ159と、電源160と、通信コントローラ161と、通信I/F(インターフェー
ス)162と、サウンドコントローラ163と、スピーカ164と、音出力コネクタ16
5と、マイクロフォン166と、入力インターフェース167と、筐体スイッチ168と
、タッチパネル169と、キーボード170と、カメラ171と、外部ポート172と、
出力インターフェース173と、振動モータ174とを有している。このうちプロセッサ
151、メインメモリ152、メモリコントローラ153、センサコントローラ155、
ディスプレイコントローラ157、電源コントローラ159、通信コントローラ161、
サウンドコントローラ163、入力インターフェース167、出力インターフェース17
3は、1つ以上のシステムバス150を介してそれぞれが接続され、互いに通信を行うこ
とができる。
上記の電子機器100の構成は一例であって、例えばキーボード170を具備せずにタッ
チパネル169と表示装置158を用いて仮想のキーボードをソフトウエアにより実現す
るなど、一部のコンポーネントを省略することもできる。また、上記の構成以外に他のコ
ンポーネントを加えた構成としてもよい。
プロセッサ151には、CPU(Central Processing Unit)の
他、DSP(Digital Signal Processor)やGPU(Grap
hics Processing Unit)等の他のマイクロプロセッサを併せて用い
ることができる。プロセッサ151は、種々のプログラムからの命令を解釈し実行するこ
とで、各種のデータ処理やプログラム制御を行う。
なお、プロセッサ151に、チャネル形成領域に酸化物半導体を用いた薄膜型のトランジ
スタを利用することができる。該トランジスタはオフ電流が極めて小さいため、該トラン
ジスタを記憶素子に流入した電荷(データ)を保持するためのスイッチとして用いること
で、データの保持期間を長期にわたり確保することができる。この特性をプロセッサ15
1のレジスタ等に用いることで、必要なときだけプロセッサ151を動作させ、他の場合
には直前の処理内容を該記憶素子に待避させることにより、ノーマリオフコンピューティ
ングが可能となり、電子機器の低消費電力化を図ることができる。
メインメモリ152は主記憶装置として用いられる。図3は、メインメモリ152の構成
を示すブロック図である。メインメモリ152は、RAM(Random Access
Memory)180及びROM(Read Only Memory)181等の揮
発性メモリ及び不揮発性メモリを備える。
RAM180には、例えばDRAM(Dynamic Random Access M
emory)が用いられ、プロセッサ151の作業空間として仮想的にメモリ空間が割り
当てられ利用される。HDD等の補助メモリ154に格納されたオペレーティングシステ
ム182、アプリケーションプログラム183、プログラムモジュール184、プログラ
ムデータ185等は、図3に示すように、実行のためにRAM180にロードされる。R
AM180にロードされたこれらのデータやプログラム、プログラムモジュールは、プロ
セッサ151に直接アクセスされ、操作される。なお、図3においては、RAM180に
記憶されたデータ等を制御するためのメモリコントローラはプロセッサ151に内蔵され
るものとしてその記載を省略しているが、メインメモリ152を制御するためのメモリコ
ントローラを別途設けてもよい。
一方、ROM181には書き換えを必要としない、BIOS(Basic Input/
Output System)186やファームウェア等が格納される。また、本発明に
係る可撓性を有する表示面102に係る物理的なパラメータにより構成される表示部物性
データ187や、位置情報の検出を行うセンサ156の特性に係るセンサ特性データ18
8をROM181にあらかじめ格納させておくことができる。ROM181として、マス
クROMや、OTPROM(One Time Programmable Read
Only Memory)、EPROM(Erasable Programmable
Read Only Memory)を用いることができる。EPROMとしては、紫
外線照射により記憶データの消去を可能とするUV−EPROM(Ultra−Viol
et Erasable Programmable Read Only Memor
y)、EEPROM(Electrically Erasable Programm
able Read Only Memory)、フラッシュメモリなどが挙げられる。
電子機器100に内蔵される補助メモリ154は、補助記憶装置として機能する。補助メ
モリ154は、メインメモリ152に比べ大容量の記憶媒体であり、メモリコントローラ
153を介してシステムバス150に接続される。メモリコントローラ153は、補助メ
モリ154のデータの読み出し、書き込みなどの制御を行うインターフェースとして機能
する。補助メモリ154には、HDD(ハードディスクドライブ)や不揮発性のソリッド
ステートドライブ(Solid State Drive:SSD)デバイスなどの記録
メディアドライブ等を用いることができる。
なお、図2に記載の補助メモリ154は電子機器100に内蔵するものとして構成してい
るが、外部ポート172を介して接続される、電子機器100の外部に置かれる外部記憶
装置であってもよく、また、これと補助メモリ154とを併せて補助記憶装置として用い
てもよい。
センサ156は、電子機器100が有する表示面の立体形状を算出するために必要なパラ
メータを検出する。例えば、センサ156として相互の相対的な位置関係を特定すること
が可能な位置センサを表示面の近傍に複数、マトリクス状に配置して、他の各位置センサ
との相対的な位置情報を検出させてもよい。また、センサ156として加速度センサを表
示面の近傍に複数、マトリクス状に配置して、表示面の変形に伴う各部位の加速度の変化
を相対的に検出させてもよい。センサ156は、これらに限らず、表示面の立体形状を算
出するために必要なパラメータを検出することができるものであれば、機械的、電磁気的
、熱的、音響的、化学的手段等を応用したセンサを用いることができる。例えばセンサと
して、加速度センサ、角速度センサ、振動センサ、圧力センサ、ジャイロセンサ等を用い
ることができる。また、これらのセンサを複数組み合わせて用いてもよい。なお、これら
センサ156は、表示面102上に設けたタッチセンサの内部に組み込んでもよい。タッ
チセンサと位置センサを一つのコンポーネントとすることで、部品点数を低減することが
でき、電子機器100の薄型化に寄与することができる。
センサコントローラ155は、複数のセンサ156を統括して制御するインターフェース
である。センサコントローラ155は、複数のセンサ156に電源160からの電力を供
給するとともに、センサ156からの入力を受け、制御信号に変換してシステムバス15
0に出力する。センサコントローラ155において、センサ156のエラー管理を行って
もよいし、センサ156の較正処理を行ってもよい。
表示装置158は、ディスプレイコントローラ157を介してシステムバス150に接続
される。表示装置158には、有機発光素子(OLED)に代表される発光素子を各画素
に備えた発光装置、液晶表示装置、電気泳動方式や電子粉流体(登録商標)方式等により
表示を行う電子ペーパ、DMD(Digital Micromirror Devic
e)、PDP(Plasma Display Panel)、FED(Field E
mission Display)、SED(Surface Conduction
Electron−emitter Display)、LED(Light Emit
ting Diode)ディスプレイ、カーボンナノチューブディスプレイ、ナノ結晶デ
ィスプレイ、量子ドットディスプレイ等であって、可撓性を備えた表示装置を用いる。デ
ィスプレイコントローラ157は、システムバス150を介してプロセッサ151から入
力される描画指示に応じ、表示装置158を制御して、表示装置158の表示面102に
所定の画像を表示させる。
電源160は、電子機器100が有する複数のコンポーネントに電力を供給する。電源1
60としては、例えば1つ以上の一次電池や二次電池を有する。また、家屋内等で使用す
る場合には、外部電源として交流電源(AC)を用いてもよい。特に電子機器100を外
部電源と切り離して使用する場合には、充放電容量が大きく長時間にわたって電子機器1
00の使用を可能とするものが望ましい。電源160の充電を行う場合には、電子機器1
00とは別途充電器を用いてもよい。また、本実施の形態における電子機器100は可撓
性を有するため、電源160もまた可撓性を有するものを用いるとよい。このような二次
電池として、例えばリチウムイオン二次電池や、リチウムイオンポリマー二次電池等が挙
げられる。また、これら電池に可撓性をもたせるため、電池の外装容器にラミネート袋を
用いるとよい。
また、図示しないが、電源160は電源管理装置(バッテリマネージメントユニット:B
MU)を有していてもよい。BMUは、電池のセル電圧やセル温度データの収集、過充電
及び過放電の監視、セルバランサの制御、電池劣化状態の管理、電池残量(State
Of Charge:SOC)の算出、故障検出の制御等を行う。
電源コントローラ159は、電源160からシステムバス150やその他の電源供給ライ
ンを介して各コンポーネントに送電する制御を行う。電源コントローラ159は、複数チ
ャネルの電力コンバータやインバータ、保護回路等を有する。また、電源コントローラ1
59には、低消費電力化機能を設けている。低消費電力化機能として、電子機器100に
一定時間入力がないこと検出し、プロセッサ151のクロック周波数を低下又はクロック
の入力を停止させ、又はプロセッサ151自体の動作を停止させ、あるいはHDDの回転
を停止させる等により、電力の消費を削減することが挙げられる。このような機能は電源
コントローラ159のみにより、あるいはプロセッサ151と連動して実行される。
通信I/F(通信インターフェース)162は、通信コントローラ161を介してシステ
ムバス150と接続される。通信コントローラ161及び通信I/F162は、プロセッ
サ151からの命令に応じて、電子機器100をコンピュータネットワークに接続するた
めの接続信号を制御し、該信号をコンピュータネットワークに発信する。これによって、
World Wide Web(WWW)の基盤であるインターネット、イントラネット
、エクストラネット、PAN(Personal Area Network)、LAN
(Local Area Network)、CAN(Campus Area Net
work)、MAN(Metropolitan Area Network)、WAN
(Wide Area Network)、GAN(Global Area Netw
ork)等のコンピュータネットワークと電子機器100とを接続させ、通信を行うこと
ができる。
電子機器100と他の機器との通信に伝送路を用いず無線とする場合には、高周波回路(
RF回路)を通信I/F(通信インターフェース)162に設け、RF信号の送受信を行
えばよい。高周波回路は、各国法制により定められた周波数帯域の電磁信号と電気信号と
を相互に変換し、該電磁信号を用いて無線で他の通信機器との間で通信を行うための回路
である。実用的な周波数帯域として数十キロヘルツ乃至数十ギガヘルツが一般に用いられ
ている。高周波回路には、複数の周波数帯域に対応した高周波回路部とアンテナとを有し
、高周波回路部は、増幅器(アンプ)、ミキサ、フィルタ、DSP(Digital S
ignal Processor)、RFトランシーバ等を有することができる。無線通
信を行う場合、通信プロトコル又は通信技術として、GSM(Global Syste
m for Mobile Communication:登録商標)、EDGE(En
hanced Data Rates for GSM Evolution)、CDM
A2000(Code Division Multiple Access 2000
)、W−CDMA(Wideband Code Division Multiple
Access)などの通信規格や、Wi−Fi(Wireless Fidelity
:登録商標)やBluetooth(登録商標)、ZigBee(登録商標)等のIEE
Eにより通信規格化された仕様を用いることができる。
また、電子機器100を電話として通話する場合には、通信コントローラ161及び通信
I/F162は、プロセッサ151からの命令に応じて、電子機器100を電話回線に接
続するための接続信号を制御し、該信号を電話回線に発信する。
音響に関するスピーカ164、音出力コネクタ165、マイクロフォン166は、サウン
ドコントローラ163に接続され、システムバス150を介してプロセッサ151と接続
する。サウンドコントローラ163は、プロセッサ151からの命令に応じて、ユーザが
可聴なアナログ音信号を生成し、スピーカ164又は音出力コネクタ165に出力する。
一方、マイクロフォン166に入力された音データは、サウンドコントローラ163にお
いてデジタル信号に変換され、サウンドコントローラ163やプロセッサ151において
処理される。音出力コネクタ165には、ヘッドフォン、イヤフォン、ヘッドセット等の
音出力装置が接続され、該装置にサウンドコントローラ163で生成した音が出力される
筐体に設けられた一つ以上のスイッチ(以下便宜上、筐体スイッチ168という。)、表
示面102の近傍に設けられたタッチパネル169、筐体101に設けられたキーボード
170、筐体101の下面に設けられたカメラ171、その他の入力コンポーネントが接
続可能な外部ポート172は、入力インターフェース167によって制御され、入力イン
ターフェース167は、システムバス150を介してプロセッサ151等と接続される。
筐体スイッチ168は、例えば、図1で説明したホームボタン103、音量調整ボタン1
04、ミュートボタン105、スリープボタン108等がこれにあたる。これらの筐体ス
イッチ168、タッチパネル169、キーボード170、カメラ171、外部ポート17
2は、音入力のためのマイクロフォン166、表示面102の形状変化を検出するセンサ
156と併せて、電子機器100とユーザとのインターフェースをなす。
タッチパネル169は、表示面102の上に設けられ、指やペン等の指示手段により情報
の入力を行う入力デバイスとして用いることができる。タッチパネル169の配置により
、電子機器上にキーボードを配置する領域が不要となるため、広い領域に表示面を配置す
ることができる。また、ペンや指で情報の入力が可能となることから、ユーザフレンドリ
なインターフェースを実現することができる。タッチパネル169としては、抵抗膜方式
、静電容量方式、赤外線方式、電磁誘導方式、表面弾性波方式等、種々の方式を採用する
ことができるが、本発明に係る表示面102は湾曲するものであるため、特に抵抗膜方式
、静電容量方式を用いることが好ましい。なお、タッチパネル169にセンサ156を組
み込んで、一つのコンポーネントとしてもよい。部品点数が削減され、電子機器100の
薄型化に寄与する。
振動モータ174は、出力インターフェース173を介してシステムバス150に接続さ
れる。プロセッサ151からの命令に応じて、出力インターフェース173が振動の期間
等を制御して、振動モータ174を振動させる。これにより、電子機器100を振動させ
て、その振動を電子メールの着信や、コンピュータゲーム等のアプリケーションにおける
ユーザへの触覚エフェクトとして用いることができる。また、表示面102の湾曲の程度
に応じて振動モータ174を振動させてもよく、例えば表示面102の可撓性に所定の限
度がある場合には、その閾値を超えた場合にこれを警告するために振動させるなどに用い
ることができる。図示しないが、出力インターフェース173には、振動モータ174の
他、ユーザが五感を通じて認知できる種々の出力デバイスを接続することができる。例え
ば出力インターフェース173に、電子機器100の動作状態を示すための発光デバイス
や、振動により香りを散布するアロマディフューザ等を接続することができる。
(電子機器の機能)
次に、図4に、本実施の形態に係る電子機器100において主要な役割を果たす機能につ
いてのブロック図を示す。電子機器100は、少なくとも表示部201、検出部202、
演算部203、記憶部204の4つの機能ブロックを有する。また付加的に、入力部20
5、出力部206を有していてもよい。
表示部201は、図2で説明した表示装置158やディスプレイコントローラ157等を
含み、表示装置158の表示面にフィールドやオブジェクト等を表示する。少なくとも表
示装置158は可撓性を有しており、変形することが可能である。表示装置158が有す
る表示面102には、表示面102の形状の変化に応じて移動するオブジェクトが表示さ
れる。ここで、オブジェクトとは表示面102に表示される物体であって、表示面102
の変形に応じて運動する物体である。また、フィールドとは、運動するオブジェクトの背
景となるものであって、オブジェクトの運動に影響を与える下地である。フィールドのグ
ラフィック表現としては、素材を表現したテクスチャを並べたものであってもよいし、透
明であってもよい。
検出部202は、図2で説明したセンサ156やセンサコントローラ155等を含み、表
示装置158の表示面102の位置情報を検出する。例えばセンサ156はマトリクス状
に複数配置され、センサ156がそれぞれの配置場所において他のセンサ156との相対
的な位置情報を取得する。センサ156が取得した位置情報は、センサコントローラ15
5を介して演算部203に出力される。
演算部203は、図2で説明したプロセッサ151等を含む。演算部203には、検出部
202から出力された表示面102の各点の位置情報が入力され、該情報に基づいて、表
示面102の立体形状を算出する。表示面102の立体形状の算出については、用いるセ
ンサ156や算出の方式に従って適宜実行すればよい。表示面102の立体形状の算出の
際には、以前に算出した表示面102の立体形状に係るデータで、最新のものと比較して
、その変化量を演算して新たな表示面102の立体形状を取得すると、プロセッサ151
への演算の負荷を低減させることができる。以前に算出した表示面102の立体形状に係
るデータは、このうち少なくとも最新のデータについては、記憶部204に格納しておく
。あるいは、以前にセンサ156が取得した位置情報と、新たにセンサ156が取得した
位置情報とを比較して、その変化量を表示面102の立体形状に積算することで表示面1
02の立体形状を算出することもできる。この場合には、以前にセンサ156が取得した
位置情報のうち、少なくとも最新のデータについては、記憶部204に格納しておく。
演算部203は表示面102の立体形状を算出した後、この算出された表示面102の立
体形状に応じて、フィールド上でオブジェクトを移動させる。
記憶部204は、図2で説明したメインメモリ152、補助メモリ154、メモリコント
ローラ153などを含む。記憶部204には、オブジェクトに係るデータ、フィールドに
係るデータ、オブジェクトの移動を規定する法則に係るデータが少なくとも格納される。
これらのデータは、オペレーティングシステムに組み込まれていてもよく、アプリケーシ
ョンプログラム、プログラムモジュールあるいはプログラムデータという単位で記憶部2
04に格納されていてもよい。これらのデータは、例えば補助メモリ154として用いら
れたHDDに格納され、電子機器100の起動によって、必要に応じてDRAM等により
構成されるメインメモリ152にロードされる。
オブジェクトに係るデータ(オブジェクトデータ250)とは、図5(A)に示すように
オブジェクトID251、オブジェクト形状252、設定される質量、表面状態(摩擦係
数)等のオブジェクト物理量253、オブジェクト画像254、初期位置等のオブジェク
ト初期設定255であり、これらは構造化されたリスト、テーブル又はデータベースとし
て記憶部204に格納することができる。図5(A)に示す例では、オブジェクトID2
51ごとに関連づけて、それぞれのデータを階層構造化している。
フィールドに係るデータ(フィールドデータ260)とは、図5(B)に示すようにフィ
ールドID261、フィールド形状262、フィールド物理量263、フィールド画像2
64、フィールド初期設定265であり、これらは構造化されたリスト、テーブル又はデ
ータベースとして記憶部204に格納することができる。図5(B)に示す例では、フィ
ールドID261ごとに関連づけて、それぞれのデータを階層構造化している。
オブジェクトの移動を規定する法則とは、オブジェクトの移動を規定する所定の方程式で
記述できる法則をいう。例えば自然界の物理法則を指し、特に物体の運動を規定する法則
である。例えば、重力、引力、摩擦力、空気抵抗、剛体・流体等の運動等、視覚的にその
力学を直感できる運動方程式として記述できる法則を指す。ただし、所定の法則は自然界
の物理法則に限定されるものではない。例えば、視覚的効果を増すために、自然界の物理
法則から逸脱するように強調したものであってもよく、また重力に反して浮遊する等の自
然法則に反するものであってもよい。また、上記の方程式は、自然界の物理法則を厳密に
具現するものである必要は必ずしもなく、擬似的な方程式や簡素化・単純化した方程式を
用いてもよい。オブジェクトの移動を規定する法則に係るデータとは、上記したオブジェ
クトの運動をシミュレートするためにその基礎となる方程式群である。図示しないが、オ
ブジェクトの移動を規定する法則に係るデータについても、構造化されたリスト、テーブ
ル又はデータベースとして記憶部204に格納することができる。
演算部203は、記憶部204に格納されたオブジェクト及びフィールドの各IDに関連
づけられた物理量や位置情報等と、検出部202から受けたデータに基づき算出した表示
面102の立体形状とを参照し、オブジェクトが上記の法則に則って運動するようにオブ
ジェクトの移動を規定する法則に係るデータに基づいて、オブジェクトの運動をシミュレ
ートする。すなわち、演算部203は、表示面102の形状の変化を受けると、その形状
変化に係る情報とともに、オブジェクトデータ、フィールドデータ、オブジェクトの移動
を規定する法則に係るデータ等を作業空間によびだして、オブジェクトの移動を規定する
法則に係るデータが有する方程式に各パラメータを挿入して、オブジェクトの運動を計算
する。オブジェクトの運動の計算は、オブジェクトの運動が収束する程度まで実行すると
ともに、表示面102のさらなる形状変化を検出部202において監視し、変化のあった
場合には、直ちにオブジェクトの運動を修正する。
このように、表示面102の形状変化に伴う修正を繰り返して、オブジェクトの運動が収
束する(つまり、静止する)状態となるまでシミュレートを続けることで、表示面102
の変形に応じたオブジェクトのリアリティある動きをユーザに知覚させることができる。
演算部203によりシミュレートされたオブジェクトの運動は、表示部201に出力され
、表示面102に表示される。なお、表示面102の形状の変化には一定の閾値を設け、
その閾値を超えた場合にのみ演算部203により演算を実行させるようにするとよい。演
算部203の計算量の増大を抑制するとともに、オブジェクトの運動を所定のレベルで静
止させることができる。
入力部205は、図2で説明したマイクロフォン166、筐体スイッチ168、タッチパ
ネル169、キーボード170、カメラ171、外部ポート172、サウンドコントロー
ラ163、入力インターフェース167等を含む。例えば、マイクロフォン166から入
力した音声に応じて、表示面102に表示されたオブジェクトを移動させることができる
。また、センサ156として、表示面102の形状算出のためのセンサを挙げたが、これ
とは別に、入力インターフェースとしてセンサを用いることができる。例えば、加速度セ
ンサを電子機器100に用いることで、電子機器100の傾きに応じてオブジェクトを移
動させることができる。このような入力のためのセンサとして、記述したセンサ156を
用いてもよい。
出力部206は、図2で説明したスピーカ164、音出力コネクタ165、サウンドコン
トローラ163、振動モータ174、出力インターフェース173等を含む。例えば、上
記のようにして運動が決定されたオブジェクトが移動するとともに、振動モータ174を
制御して電子機器100を振動させて、触覚を通じてユーザにリアリティを与えることが
できる。
(電子機器の動作の一例)
次に、図6を用いて、電子機器100の動作の一例を説明する。
図6(A)は、電子機器100の上面を俯瞰した図であり、電子機器100の表示面10
2に、オブジェクト301が表示されている。図においては、オブジェクト301の表示
動作を説明するために、その他の表示を捨象して記載しているが、実際にはオブジェクト
301の他、背景画像、アイコン、ツールバー、ポインタ、ウインドウ、テキスト、動画
、ウェブブラウザ等、表示し得るあらゆるものがオブジェクト301と同時に表示され得
る。
図6(A)において、オブジェクト301は球状の固体を模したものであり、所定の位置
に静止しているものとする。オブジェクト301の可動範囲はフィールドとして定義され
、オブジェクト301の運動に影響を与える下地として機能する。
図6(B)は、電子機器100の右端を持ち上げ、湾曲させた場合を示す図である。電子
機器100の変形により、表示面102も併せて変形する。この変形を検出した複数のセ
ンサ156からの情報を総合し、演算部203は変形した表示面102の形状を算出する
。さらに、記憶部204から種々のデータをよびだし、上述したような方法でオブジェク
トの運動をシミュレートする。シミュレートされた結果は、表示面102にオブジェクト
の運動として表示される。図6(B)においては、表示面102の右側が持ち上がったた
め、オブジェクト301は、重力に引かれるように、表示面102の中央部へと移動する
(図において矢印の示す方向)。
図6(B)の場合は、オブジェクト301は固体の球体である。従って、オブジェクト3
01はニュートンの古典力学に従って、表示面102の中央に転がって移動する。ここで
オブジェクト301は、所定の物理量を有している。従って、その質量等に応じて移動速
度や回転速度が決定される。フィールドもまた、あらかじめ物理量等が設定されている。
例えば、オブジェクト301はフィールドで設定された空気抵抗を受け、フィールドで設
定された重力加速度を受け、フィールドで設定された摩擦を受けて運動する。
このように、オブジェクト301の動作に種々の法則を適用することで、ユーザにリアリ
ティを体感させることができる。
なお、オブジェクト301及びフィールドに付与する物理量等は、必ずしも全て参照する
必要はなく、そのうちの一部のみ参照するように設定してもよい。一部のみ参照すること
で、演算部203への負荷を低減することができる。同様に、シミュレーションに用いる
方程式は記憶部204に格納した方程式群のうち、一部のみを用いるように設定してもよ
い。また、図6(B)においては、フィールド上にオブジェクト301を1つのみ表示し
ているが複数表示してもよい。このとき、表示面102に表示されるオブジェクト301
の数に応じて、参照する物理量や方程式群等のデータ又はパラメータ数を適宜調整するこ
ともできる。
図6(C)は、さらに電子機器100を湾曲させ、下に凸の形状に変形させた場合のオブ
ジェクト301の運動を示す図である。例えば図6(B)の位置にあった球状のオブジェ
クト301は、表示面102の湾曲によって形成された窪みに転落する。窪みに転落した
オブジェクト301は、左右を表示面102による高い壁に塞がれているため、左右に移
動することはできず、窪みの底を移動してやがて静止する。
このように、表示面102の立体形状に係る情報を、センサ156やプロセッサ151を
用いて算出することで、その形状に応じて運動するオブジェクト301を表示することが
できる。これにより、表示面102に表示したオブジェクト301が、電子機器100の
表面にあたかも存在しているかのようなリアリティをユーザに直感させることができる。
なお、ここではオブジェクト301の移動の開始条件として表示面102の変形について
説明したが、オブジェクト301の移動の開始条件はこれに限らない。例えば、入力イン
ターフェース167として加速度センサを電子機器100に設けた場合、加速度センサの
加速度の検出をオブジェクト301の移動の開始条件としてもよい。加速度センサが検出
した傾斜に応じた方向にオブジェクト301を運動させることができる。また、入力イン
ターフェース167としてマイクロフォン166を用いた場合、例えば入力された音量の
大小に応じてオブジェクト301を移動させることができる。また、キーボード170に
よる方向入力によって、入力された方向に応じた方向にオブジェクト301を運動させて
もよい。また、電子機器100の筐体101に設けられたホームボタン103が押される
ことで、オブジェクト301を初期位置に戻してもよい。
(オブジェクトの表示の処理手順)
次に、本発明に係る電子機器100におけるオブジェクトの表示の処理手順について、図
7乃至図13を用いて説明する。
図7は、本発明に係る電子機器100におけるオブジェクトの表示の処理手順500を示
すフローチャートである。ここではオブジェクトの表示の処理手順の例として、オブジェ
クトを表示するためのアプリケーションである場合について説明する。このようなアプリ
ケーションとしては、例えば電子機器100のホーム画面の背景などが挙げられる。
従って、以降に説明するオブジェクトの表示の処理手順は、アプリケーションプログラム
によって実行される。また該プログラムは補助メモリ154やメインメモリ152等のコ
ンピュータが読み取り可能な記録媒体に記録されたものである。
また、ここでは該プログラムはソフトウエアに相当するものであるが、このような処理手
段を電子回路や機械的なハードウエアとして実現することもできる。
まず、本発明に係る電子機器100におけるオブジェクトを表示するためのアプリケーシ
ョンを起動する(S001)。ここで補助メモリ154に格納されるアプリケーションプ
ログラム等がメインメモリ152にロードされる。なお、本アプリケーションの起動は、
設定により、オペレーティングシステムと連動させて同時に起動させてもよい。
次にオブジェクト及びフィールドに関する初期条件を設定する(S002、S003)。
オブジェクト及びフィールドに関する初期条件は、前回のアプリケーションの使用におけ
る終了時の条件を引き継ぐように設定してもよいし、毎回デフォルトの条件に再設定して
もよい。また、これらのいずれかをユーザが選択できるようにすることもできる。
オブジェクトの初期条件とは、記憶部204に格納されたオブジェクトデータ250にお
けるオブジェクトID251や、表示位置等を設定するものである。また、フィールドの
初期条件とは、記憶部204に格納されたフィールドデータ260におけるフィールドI
D261等を設定するものである。具体的に設定とは、オブジェクトID251と、これ
に関連づけられるオブジェクト物理量253等を補助メモリ154から読み出し、メイン
メモリ152に格納する。同様に、フィールドデータ260についても、各パラメータを
設定する。
オブジェクトに関する初期条件の設定(S002)及びフィールドに関する初期条件の設
定(S003)は、この順に実行される処理に限らず、フィールドに関する初期条件の設
定を先に行ってもよく、あるいはオブジェクトに関する初期条件の設定(S002)とフ
ィールドに関する初期条件の設定(S003)とを同時に行ってもよい。
次に複数のセンサ156により、表示面102の近傍に設置された各位置での位置情報を
取得する(S004)。その後、複数のセンサ156により取得した位置情報に基づき、
演算部203において表示面102の立体形状を算出する(S005)。電子機器100
の起動後、本アプリケーションの起動前に、すでに他のシステム、アプリケーション等に
よって表示面102の形状を取得している場合には、既得の形状に係る情報を用いて、表
示面102の立体形状を算出してもよい。
次に、ステップS005により算出した表示面102の形状と、オブジェクトの初期状態
を比較し、オブジェクトを移動させるか否かを判断する(S006)。例えば、ステップ
S002において設定したオブジェクトの初期位置が、表示面102の形状が湾曲してい
ることで水平面に対し所定の閾値を超える傾斜を有する位置に相当した場合、演算部20
3は、オブジェクトの移動が必要と判断する。一方、表示面102の形状が湾曲している
場合であっても、オブジェクトの初期位置が水平面に対して水平な位置に相当した場合、
オブジェクトは静止状態となるため、演算部203は、オブジェクトの移動は不要と判断
する。演算部203が、オブジェクトの移動が必要と判断した場合は、処理はオブジェク
ト移動モード510(または、他の例として示すオブジェクト移動モード520)へ移行
する(S007)。一方、オブジェクトの移動が不要と判断した場合には、オブジェクト
待機モード530へ移行する(S008)。
オブジェクト待機モード530が終了すると、ステップS009において終了判定を行い
、条件を充足する場合(後述する、アプリケーション終了フラグが”1”の場合。)には
アプリケーションを終了させ(S010)、非充足の場合(後述する、アプリケーション
終了フラグが”0”の場合。)にはステップS004に戻る。
アプリケーションの終了の際には、メインメモリ152に格納させていた種々のデータを
、補助メモリ154に記憶させておくことが好ましい。次にアプリケーションを起動させ
た際に、初期設定としてこれらのデータを用いることができる。
図8は、本発明に係る電子機器100におけるオブジェクトの表示の処理手順において、
オブジェクト移動モード510を示すフローチャートである。オブジェクト移動モード5
10は、オブジェクトの運動のシミュレーションを繰り返し、その結果を表示面102に
逐一表示する処理を行うモードである。この繰り返しは、オブジェクトの運動を所定の時
間(以下、Δtとする。)単位で行う。
オブジェクト移動モードの開始後(S020)、すでに算出した表示面の形状に応じて、
オブジェクトの運動を決定する(S021)。ここで、オブジェクトの運動の決定は、Δ
tまでの期間についておこなう。
オブジェクトの運動は、あらかじめ定められた法則に基づき、演算部203においてシミ
ュレートする。シミュレーションは、ステップS002及びステップS003において設
定されたオブジェクトの物理量、フィールドの物理量等を用いて実行される。このシミュ
レーションにより、オブジェクトの移動方向、速さ等が決定する。オブジェクトの移動方
向や速さ等のシミュレーションには、関連づけられたフィールドID261に係るフィー
ルドデータ260も参照される。例えば選択されているフィールドID261のフィール
ド物理量263にゴムのような弾性素材を材料とするようなデータが含まれていた場合、
オブジェクトは表示面102の湾曲による窪みに落下したとき弾んで運動するような動作
がシミュレートされる。シミュレートしたオブジェクトの動作に係る情報は、記憶部20
4におけるメインメモリ152に格納される。
さらにユーザにリアリティを認知させるため、オブジェクトの回転やオブジェクトの変形
等を表示するためのシミュレーションを行ってもよい。ただし、複雑なシミュレーション
を行うと演算部203に負荷がかかり、演算部203の処理の遅れにより的確な表示が困
難となり、ユーザに与えるリアリティを損なう結果となる。これに対しては、演算速度の
鈍化を回避するために、演算内容の簡略化や演算結果のデータベース化等を行うことが好
ましい。
その後、シミュレーションにより決定されたオブジェクトの運動に従い、オブジェクトの
動作を表示面102にΔtの期間の分だけ表示する(S022)。フィールド物理量26
3に応じて、摩擦係数や空気抵抗、重力などの影響がオブジェクトの動作に付加されてい
る。なおオブジェクトの動作には、オブジェクトの静止も含まれるものとする。従って、
ステップS023には、オブジェクトの静止から運動、運動から静止の動作シーケンスが
含まれる。
次に、表示面102の立体形状の再算出を行う(ステップS023)。具体的には、この
ステップにおいて、記憶部204に格納されている前回算出した表示面102の立体形状
に係るデータを、表示面の立体形状の再算出シーケンス511によって新たに取得した表
示面102の立体形状に係るデータに書き換える。
ここで、表示面の立体形状再算出シーケンス511について、図9を用いて説明する。表
示面の立体形状再算出シーケンス511が開始されると(S040)、センサ156によ
って、表示面102の所定の箇所の位置情報が再取得される(S041)。続いて、この
位置情報に基づいて表示面102の立体形状を再算出する(S042)。再算出と同時に
、表示面102の立体形状に係るデータは記憶部204に格納され、その後、表示面の立
体形状の再算出シーケンス511は終了する(S043)。
表示面の立体形状の再算出シーケンス511によって、表示面102の立体形状に係るデ
ータが前回算出した表示面102の立体形状に係るデータを上書きすることで、更新され
る。また、上書きせずに、前回算出した表示面102の立体形状に係るデータを格納する
記憶部204のアドレスとは異なるアドレスを指定して格納してもよい。
また、表示面の立体形状の再算出シーケンス511と同時に、ステップS023において
、入力インターフェース167からタッチパネル等の入力デバイスによる入力情報を読み
込んでもよい。
次に、メインメモリ152に格納されたオブジェクトの動作に係る情報を更新するため、
再びオブジェクトの動作をシミュレートする(S024)。このとき、必ずオブジェクト
の動作のシミュレートを行ってもよいし、前回算出した表示面102の立体形状に係るデ
ータと、ステップS023において再算出した表示面102の立体形状に係るデータとを
比較して、前回算出した表示面102の立体形状に係るデータに対し、再算出した表示面
102の立体形状に係るデータに変化があった場合にのみ、オブジェクトの動作をシミュ
レートしてもよい。この場合、立体形状に係るデータの比較のために、変化量に対する閾
値を設けておくと、ノイズや、ユーザの知覚し得ない領域における演算部203の不要な
演算による負荷を低減することができる。すなわち、前回算出した表示面102の立体形
状に係るデータに対する、再算出した表示面102の立体形状に係るデータの変化量が所
定の閾値を超えた場合のみ、表示面102の立体形状に変化があったとみなし、ステップ
S024に移行し、変化がない場合にはステップS025に移行するとよい。
次にステップS025では、オブジェクトが運動している状態にあるか、静止している状
にあるかを判断する。オブジェクト移動モード510においては、Δtの期間ごとにオブ
ジェクトの運動をシミュレートしている。従って、ステップS021におけるシミュレー
ト結果において、Δt後のオブジェクトが運動している状態である場合がある。また、ス
テップS023の表示面102の立体形状の再算出等によって、ステップS024のシミ
ュレートによりあらたにオブジェクトの動作が発生している場合がある。以上の場合には
、オブジェクトは静止しておらず、運動状態にあると判断され、ステップS022に戻る
一方、オブジェクトが静止状態にあると判断された場合には、オブジェクト移動モード5
10は終了する(S026)。
以上のように、オブジェクトの運動の期間をΔtごとに区切って表示し、表示面の形状の
変化を加えてシミュレートを繰り返すことで、オブジェクトの動作を逐一修正して表示さ
せることができ、ユーザにリアリティを認知させることができる。
図10は、図8で説明した処理手順とは異なる、他のオブジェクト移動モード520の処
理手順を示すフローチャートである。
先に述べたオブジェクト移動モード510がオブジェクトの運動の表示時間を区切り、所
定の表示の終了後に次ぎの表示のためのシミュレーションを行う処理であるのに対し、オ
ブジェクト移動モード520では、所定の期間オブジェクトの運動の表示を行うとともに
、該期間中に次ぎの表示のためのシミュレーションを行う処理である。
オブジェクト移動モード520の開始により(S050)、既算出の表示面102の立体
形状に係る情報に応じて、オブジェクトの運動をシミュレーションにより決定する(S0
51)。
次に、シミュレーションにより決定された運動を所定の期間(ここではΔtとする。)表
示するとともに、Δtの期間中に、次のΔtの期間のオブジェクトの運動をシミュレート
する。オブジェクトの運動の表示は、オブジェクトの運動の表示シーケンス521に従っ
て実行され、次のオブジェクトの運動は、オブジェクトの運動の演算シーケンス522に
従って実行される(S052)。
ここで、オブジェクトの運動の表示シーケンス521について、図11を用いて説明する
。本シーケンスの開始後(S060)、時間tを”0”に初期化する(S061)。次に
ステップS062乃至ステップS065において、オブジェクトの運動の表示を行う。す
なわち、オブジェクトの運動を時間tごとに表示させた後(S063)、tを加算して更
新し(S064)、再度オブジェクトの運動の表示を行うことを、時間tがΔtとなるま
で繰り返す(S065)。これにより、時間tがΔtとなるまでオブジェクトの運動が表
示され続ける。時間tがΔtとなると、オブジェクトの運動の表示シーケンス521は終
了する(S066)。
次に、オブジェクトの運動の演算シーケンス522について、図12を用いて説明する。
オブジェクトの運動の表示シーケンス521と同様に、シーケンス開始後(S070)に
時間tを初期化する(S071)。次にステップS072乃至ステップS077において
、Δtの期間における表示面102の立体形状に応じたオブジェクトの運動をシミュレー
トする。
まず、センサ156により、表示面102の所定の箇所の位置情報を取得する(S073
)。次に、取得した位置情報に基づき、表示面102の立体形状を算出する(S074)
。そして算出した表示面102の立体形状に係るデータに応じて、オブジェクトの運動を
Δtの期間分だけシミュレートして決定する(S075)。その後、tを加算して更新す
る(S076)。
以上のステップS073乃至ステップS076を、tがΔtとなるまで繰り返し行う(S
077)。ここで、期間Δtは、オブジェクトの運動の表示シーケンス521で定めた期
間Δtと同一の期間である。両シーケンスを同期させることで、同一期間(Δt)中に両
シーケンスを並行して処理する。すなわち、オブジェクトの運動の表示シーケンス521
において、オブジェクトの運動を表示している間に、オブジェクトの運動の演算シーケン
ス522により次の期間のためのオブジェクトの動作をあらかじめ決定しておくことがで
きる。
オブジェクトの運動の演算シーケンス522において、Δtの期間中に表示面102の形
状に変化があった場合には、決定されたオブジェクトの運動が上書きされることで、修正
される。なお図12においては、表示面102の形状の変化の有無にかかわらずオブジェ
クトの運動のシミュレーションを繰り返しているが、表示面102の形状の変化の判定を
途中に設け、形状に変化のない場合にはシミュレーションを省略させてもよい。さらに、
表示面102の立体形状の算出は、センサにより取得される位置情報に規定値以上の変更
があった場合としてもよい。
以上のような繰り返し動作により、tがΔtとなった場合は、オブジェクトの運動の演算
シーケンス522が終了する(S078)。
ステップS052の後、図10に示すように、オブジェクトが運動状態にあるか又は静止
状態にあるかが判断される(S053)。運動状態にあれば、ステップS052に処理が
戻り、静止状態にあれば、オブジェクト移動モード520は終了し(S054)、オブジ
ェクト待機モード530へ移行する。
以上のように、図10に示すオブジェクト移動モード520は、所定期間の間にオブジェ
クトの運動の表示と、次の期間のためのオブジェクトの運動のシミュレーションとを並列
に処理する。このような処理によって、ユーザにリアリティを直感させることができる。
次に、オブジェクト待機モード530について説明する。図13はオブジェクト待機モー
ド530の処理手順を示すフローチャートである。オブジェクト待機モードは、本アプリ
ケーションが起動した状態において、表示面102に表示されたオブジェクトが静止して
いる期間における電子機器100の内部処理を示すものである。
オブジェクト待機モードが開始されると(S030)、ステップS031において、アプ
リケーションの終了の有無を示すアプリケーション終了フラグと、オブジェクト待機モー
ド530の終了の有無を示すモード終了フラグとを初期化する。例えば両フラグを”0”
とする。
次に、センサ156を用いて表示面102の変形を確認する(S032)。変形の確認は
、ステップS005、ステップS042又はステップS074においてすでに算出された
表示面102の立体形状に係るデータと、ステップS032において再算出した表示面1
02の立体形状に係るデータとを比較する(S032)。なお、立体形状に係るデータの
比較のために、変化量に対する閾値を設けておくと、ノイズや、ユーザの知覚し得ない領
域における演算部203の不要な演算による負荷を低減することができる。すなわち、前
回算出した表示面102の立体形状に係るデータに対する、再算出した表示面102の立
体形状に係るデータの変化量が所定の閾値を超えた場合のみ、表示面102の立体形状に
変化があったとみなし、ステップS034に移行する処理とするとよい。
表示面102の立体形状に変化があると判断された場合には、モード終了フラグに”1”
を設定する(S034)。表示面102の形状に変化がない場合には、次に入力インター
フェース167からの入力を確認する。ここでの入力インターフェース167からの入力
とは、オブジェクトの動作に影響を与える入力に限るものとする。同様に、入力があれば
モード終了フラグに”1”を設定する(S034)。表示面102の形状変化や入力イン
ターフェース167からの入力のいずれもない場合には、モード終了フラグは”0”のま
ま、次のステップへと移行する。
ステップS035では、アプリケーションの終了命令が通知されているかを確認する。通
知されている場合には、本アプリケーションにおけるアプリケーション終了フラグに”1
”を設定する(S036)。アプリケーションの終了命令とは、例えば、プロセッサ15
1を介したユーザからのアプリケーション終了指示や、他のアプリケーション、プログラ
ム、オペレーティングシステムからのアプリケーション終了指示が含まれる。終了の命令
が通知されていない場合には、アプリケーション終了フラグは初期設定の”0”のままと
なる。
ステップS037において、フラグの判定を行う。すなわち、モード終了フラグ又はアプ
リケーション終了フラグのいずれか一方又は両方に”1”が設定されている場合には、オ
ブジェクト待機モードを終了させる(S038)。一方で、両フラグがともに”0”を示
す場合には、オブジェクト待機モードを継続させる。すなわち、ステップS032に戻る
以上のように、オブジェクト待機モード530では、所定の入力の確認をループさせるこ
とで、入力状況を監視している。そしていずれかの入力があった場合には、オブジェクト
待機モード530を終了させ、ステップS009に移行する。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することができる。なお、本発
明の表現を方法、ハードウエア(電子機器、コンピュータ、半導体装置、記録媒体等)、
システム、プログラム、ソフトウエアなどの間で変換したものもまた、本発明の態様とし
て有効である。
(実施の形態2)
実施の形態1では、オブジェクトの一例として球状の固体のオブジェクト301を示した
が、オブジェクトはこれに限らない。本実施の形態においては、オブジェクトが液体を模
したものである場合について図14を用いて説明する。
図14(A)は、表示面102に、液体のオブジェクト303を表示させた電子機器10
0の俯瞰図である。図6に記載した電子機器100と同様に、オブジェクト303の表示
動作を説明するために、その他の表示を捨象して記載しているが、実際にはオブジェクト
303の他、背景画像、アイコン、ツールバー、ポインタ、ウインドウ、テキスト、動画
、ウェブブラウザ等、表示し得るあらゆるものがオブジェクト303と同時に表示され得
る。
図14(A)において、オブジェクト303は液状の物体を模したものであり、所定の位
置に静止しているものとする。オブジェクト303の可動範囲はフィールドとして定義さ
れ、オブジェクト303の運動に影響を与える下地として機能する。
図14(B)は、電子機器100の右端を持ち上げ、湾曲させた場合を示す図である。電
子機器100の変形により、表示面102も併せて変形する。液状のオブジェクト303
は、この表示面102の形状にあわせて運動するように、その動作を演算部203により
シミュレートされる。図14(B)においては、表示面102の右側が持ち上がったため
、液状のオブジェクト303は、重力に引かれるように、表示面102の中央部へと移動
する(図において矢印の示す方向)。
オブジェクト303が液体であることは、オブジェクトデータ250中のオブジェクト物
理量253によって規定される。演算部203は、オブジェクト物理量253内に格納さ
れたオブジェクトが液体であることを示すデータ又はパラメータを参照して、シミュレー
トする。オブジェクト303が流体力学(水力学)の法則に従う実在流体の運動をシミュ
レートすることで、あたかも液体が高所から低所へ流れるようなオブジェクトの運動を表
示することができる。オブジェクトが液体であることを示すデータ又はパラメータとして
は、例えば物理量として密度、粘性、圧縮性、表面張力などの数値を用意しておいてもよ
いし、簡単化のため、粘度等の物理量の程度を数段階に分け数個のデータとして用意して
おいてもよい。また、液体が流れる様をユーザの視覚に知覚させるため、種々の状態の液
体の画像セットをオブジェクト画像254にあらかじめ格納しておくとよい。
フィールドもまた、あらかじめ物理量等が設定され、例えばフィールドで決定された摩擦
を受けて液状のオブジェクトが運動する。
このように、液状のオブジェクト303の動作に種々の法則を適用することで、ユーザに
リアリティを体感させることができる。
なお、オブジェクト303及びフィールドに付与する物理量等は、必ずしも全て参照する
必要はなく、そのうちの一部のみ参照するように設定してもよい。一部のみ参照すること
で、演算部203への負荷を低減することができる。同様に、シミュレーションに用いる
方程式は記憶部204に格納した方程式群のうち、一部のみを用いるように設定してもよ
い。また、図14(B)においては、フィールド上にオブジェクト303を1つのみ表示
しているが複数表示してもよい。例えば、さらに複雑な演算を行うことが可能である場合
には、液状のオブジェクト303を運動により複数のオブジェクトに分割させたり、複数
のオブジェクトを一つのオブジェクトに結合させたりすることもできる。この場合、オブ
ジェクトの生成、消滅にあわせて個々のオブジェクトにオブジェクトID251を付与し
定義づけてもよいし、一つのオブジェクトIDを有する単体とした上で、オブジェクト形
状252等に複数に分割したオブジェクトとして状態を格納してもよい。また、演算の簡
略化のため、液状のオブジェクト303の周囲に飛沫を表す画像を適宜表示させてもよい
図14(C)は、さらに電子機器100を湾曲させ、下に凸の形状に変形させた場合の液
状のオブジェクト303の運動を示す図である。例えば図14(B)の位置にあった液状
のオブジェクト303は、表示面102の湾曲によって形成された窪みに流れる。窪みに
流れた落ちたオブジェクト303は、左右を表示面102による高い壁に塞がれているた
め、左右に移動することはできず、窪みの底に溜まりやがて静止する。
このように、表示面102の立体形状に係る情報を、センサ156やプロセッサ151を
用いて算出することで、その形状に応じて運動する液状のオブジェクト303を表示する
ことができる。これにより、表示面102に表示した液状のオブジェクト303が、電子
機器100の表面にあたかも存在しているかのようなリアリティをユーザに直感させるこ
とができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することができる。なお、本発
明の表現を方法、ハードウエア(電子機器、コンピュータ、半導体装置、記録媒体等)、
システム、プログラム、ソフトウエアなどの間で変換したものもまた、本発明の態様とし
て有効である。
(実施の形態3)
本実施の形態においては、入力部に含まれる入力デバイスとしてタッチパネルを用い、タ
ッチパネルの入力によってオブジェクトを操作することが可能な電子機器について、図1
5を用いて説明する。
図15(A)は、すでに湾曲した電子機器100を俯瞰した図である。電子機器100が
有する表示面102の右端に、球状の固体でなるオブジェクト302が表示されている。
例えば、ユーザがこのオブジェクト302に触れ(実際にはオブジェクト302が表示さ
れている表示面102の上に設けられたタッチパネルを触れる)、左方向(図15(A)
において矢印の方向)に向かって指で表示面102を弾くと、オブジェクト302は指の
動きに応じて弾かれた方向に転がる。図15(B)では表示面102が中央部分で右側か
ら左側に向けて急激に落ち込むように湾曲しているため、オブジェクト302はこの湾曲
によって落下し、転がるように表示される。
このような、電子機器100が入力部にタッチパネルを用いた構成であっても、オブジェ
クトの表示の処理手順は原則として、実施の形態1で説明した手順と変わらない。ただし
、オブジェクトの運動開始の条件が、実施の形態1で説明した表示面102の変形の検出
によることに加えて、タッチパネルからのオブジェクトへのアクセスが含まれる。従って
実施の形態1で示した処理手順のうち、オブジェクトの移動の判断ステップ(S006、
S025、S053)には、タッチパネルによる入力の検出の確認が含まれる。
同様に、図8により示したオブジェクト移動モード510においては、表示面の立体形状
変化の更新ステップにおいて、あわせてタッチパネルからの入力の情報が更新される(S
023)。また、図10により示したオブジェクト移動モード520においては、センサ
による位置情報の取得ステップ(S073)及び表示面の立体形状算出ステップ(S07
4)において、あわせてタッチパネルからの入力の情報が確認される。さらに、図13に
より示したオブジェクト待機モード530においては、入力インターフェース167から
の入力確認ステップ(S033)において、タッチパネルからの入力の情報が確認される
なお、本実施の形態においては、オブジェクト302の動作のためにタッチパネルを用い
た例を示したが、入力部205の構成としてタッチパネルの他、筐体101に設けられた
筐体スイッチ、電子機器100に内蔵の又は外付けのキーボード、外部ポートに接続され
たマウスやコントローラ等のポインティングデバイス、音入力のためのマイクロフォン等
、種々の入力機器を用いてオブジェクト302を動作させることができる。例えばマイク
ロフォンを用いた場合、入力する音量の大小によりオブジェクト302の動作を適宜調整
して表示させることができる(図16(A)参照)。また、例えばユーザの「左へ動け」
という音声入力を解析してその意味内容を認識し、その内容に従ってオブジェクトを左方
向に運動させてもよい(図16(B)参照)。また、ユーザのジェスチャ(動作)を検知
して入力信号に変換するジェスチャデバイスを、入力部205の構成として電子機器10
0に設け、オブジェクト302を動作させてもよい。
このように、種々の入力装置を入力部205の構成として用い、これらにより表示面10
2に表示したオブジェクト302を運動させることができ、これによって電子機器100
の表面にあたかも存在しているかのようなリアリティをユーザに直感させることができる
本実施の形態は、他の実施の形態と適宜組み合わせて実施することができる。なお、本発
明の表現を方法、ハードウエア(電子機器、コンピュータ、半導体装置、記録媒体等)、
システム、プログラム、ソフトウエアなどの間で変換したものもまた、本発明の態様とし
て有効である。
(実施の形態4)
本実施の形態においては、表示面へのオブジェクトの表示処理が他のアプリケーションと
同時に実行される場合について、図17を用いて説明する。
図17(A)は、他のアプリケーションソフトウエアが起動し、表示面102に該アプリ
ケーションソフトウエアのウインドウ305に電子ドキュメントが表示されている。また
、表示面102には、電子機器100のオペレーティングシステムが表示するホーム画面
における複数のアイコン304が表示されている。
図17(A)では、他のアプリケーションソフトウエアとして文章作成アプリケーション
ソフトウエアを示しているがこれに限らず、表計算、データベース管理、電話、電子メー
ル、ウェブブラウザ、ブログ、ビデオ会議、音楽プレーヤ、動画プレーヤ、デジタルカメ
ラ、デジタルビデオカメラ、電子書籍、コンピュータゲーム等の種々のアプリケーション
ソフトウエアを含む。
表示面102には、本願発明に係るオブジェクト306a及びオブジェクト306bが表
示されている。オブジェクト306a及びオブジェクト306bは、実施の形態1乃至3
で説明したようなセンサや入力部からの入力によって運動している。ここで、オブジェク
ト306a及びオブジェクト306bは、表示面102の全領域で運動することを制限さ
れ、所定の領域への侵入ができないように設定されている。すなわち、図17(A)にお
いては、複数のアイコン304及びアプリケーションソフトウエアのウインドウ305が
表示されている領域をオブジェクトが侵入できない領域として設定され、オブジェクト3
06a及びオブジェクト306bは該領域を避けるように運動する。さらに、これら侵入
ができない領域を所定の物理量を有する物体とみなすことで、その物理量に応じてオブジ
ェクトの運動が規定されるように設定される。
また、図17(B)に示すように、表示面102の変形に伴い運動するオブジェクト30
6は、あわせてアイコン304にも影響を受けて運動する。これによって、現実の表示面
102の形状と、仮想のアイコン304の形状とが同じようにオブジェクト306の運動
に影響を与えるため、ユーザに一層のリアリティを認知させることができる。
このように、オブジェクト及びフィールドに限らず、アイコンやアプリケーションソフト
ウエアのウインドウ等、表示面102に表示される種々の画像に、物体として扱うための
物理量を与えることで、オブジェクトの動きにさらにリアリティを持たせることができる
なお、物理量を付与して物体として扱う対象は表示面に表示される画像に限らず、表示面
の端(四辺)や、タッチパネルで検出するユーザの指等であってもよい。
以上のような表示を実現するために、アイコンやウインドウなどの画像についても第2の
オブジェクトとみなし、あらかじめオブジェクトID、オブジェクト形状、オブジェクト
物理量等を設定しておくことができる。オブジェクトの運動を演算部でシミュレートする
際に、第2のオブジェクトの条件も取り込んで行えばよい。
あるいは、アイコンやウインドウなどの画像をフィールドの一部として定義し、フィール
ド情報に組み込むことで、オブジェクトの運動シミュレーションに反映させてもよい。
なお、アイコンやウインドウなどの画像はすべて物体と仮想する必要はなく、特定のアイ
コンやウインドウに限定してもよい。また、これらの画像を物体と仮想せずに、オブジェ
クトにとって背景として扱われるように、これらの画像上をオブジェクトが運動するよう
に表示してもよい。また、これらの画像を物体と仮想するか否かの選択をユーザに行わせ
るように設定してもよい。
このようなアイコンやアプリケーションソフトウエアのウインドウ等の画像、あるいは表
示面の端を物体として取り込んだオブジェクトの運動処理を行う場合には、これら画像等
の表示がオペレーティングシステムにより管理されるため、オペレーティングシステムと
の連動処理が必要となる。このため、オブジェクトの表示のための処理手順をモジュール
としてオペレーティングシステム中に組み込むことで、一連のオブジェクト表示処理を効
率的に実行することができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することができる。なお、本発
明の表現を方法、ハードウエア(電子機器、コンピュータ、半導体装置、記録媒体等)、
システム、プログラム、ソフトウエアなどの間で変換したものもまた、本発明の態様とし
て有効である。
(実施の形態5)
本実施の形態においては、湾曲した表示面の所定の領域を選択し、該領域内のみをオブジ
ェクトが運動する表示処理について、図18を用いて説明する。
図18(A)、(B)は湾曲した表示面102の一部にオブジェクト307が表示された
状態を示す電子機器100の俯瞰図である。表示面102は、中央部分で右側から左側に
向けて急激に落ち込むように湾曲している。
図18(A)では、湾曲した表示面102の高い右側の部分(領域308a)にオブジェ
クト307が表示されている。オブジェクト307は、湾曲した表示面102の高い部分
、すなわち領域308aを判断して領域308a中を選択的に運動する。
一方、図18(B)では、湾曲した表示面102の低い左側の部分(領域308b)にオ
ブジェクト307が表示されている。オブジェクト307は、湾曲した表示面102の低
い部分、すなわち領域308bを判断して領域308b中を選択的に運動する。
このようなオブジェクトの表示を、オペレーティングシステムのホーム画面やスクリーン
セーバ、その他種々のアプリケーションソフトウエアに用いることができる。
以上のオブジェクト表示を行うために、実施の形態1で説明した処理手順を用いることが
できる。ただし、該処理手順におけるオブジェクト移動モードでは、表示面102の立体
形状に基づいてオブジェクトが運動することが可能な領域を適宜定義づける必要がある。
そこで、オブジェクト移動モードについては、例えば図19に示す処理手順に従う。
図19は、本実施の形態に係るオブジェクト移動モード540の処理手順を示すフローチ
ャートであり、すでに説明したオブジェクト移動モード510にステップを追加した構成
である。オブジェクト移動モードの開始(S080)後、すでに演算部203により算出
された表示面102の立体形状に係る情報に基づいて、ステップS081において、オブ
ジェクトの運動可能領域を決定する。
本実施の形態においては、オブジェクトの運動可能領域は、表示面102の特定の高さと
して指定される。例えば、表示面の中心位置の高さを基準位置とした場合、基準位置より
も所定の高さだけ高い(又は低い)位置の二次元空間をオブジェクト運動可能領域と定め
ることができる。あるいは、基準位置よりも所定の高さの範囲だけ高い(又は低い)位置
の三次元空間をオブジェクト運動可能領域と定めることができる。このような二次元又は
三次元空間をあらかじめ数値として規定しておいてもよいし、オブジェクトが表示されて
いる場所を含む一定の空間を運動可能領域と定めてもよい。
オブジェクトの運動可能領域を決定した後、その領域内でのオブジェクトの運動をステッ
プS082において決定する。このときオブジェクトの運動のシミュレートには、ステッ
プS081において決定した領域の情報を境界条件として用いる。その後の表示等の処理
(S083乃至S089)については、図8で示したオブジェクト移動モード510と同
様である。なお、オブジェクトの運動中に表示面102の形状が変化した場合には、ステ
ップS086において再度オブジェクトの運動可能領域が決定され、オブジェクトの運動
表示が上書きされる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することができる。なお、本発
明の表現を方法、ハードウエア(電子機器、コンピュータ、半導体装置、記録媒体等)、
システム、プログラム、ソフトウエアなどの間で変換したものもまた、本発明の態様とし
て有効である。
(実施の形態6)
本実施の形態においては、表示面の形状にあわせてオブジェクトが運動する表示を利用し
たコンピュータゲームについて、図20を用いて説明する。
図20は、表示面102にコンピュータゲームの画像が表示された電子機器100を示す
俯瞰図である。図20(A)においては表示面102の形状は平坦であり、表示面102
中央に川309が流れ、川309の左岸にユーザが操作可能なキャラクタ310a、キャ
ラクタ310bが表示されている。このコンピュータゲームにおいては、キャラクタ31
0a及びキャラクタ310bは中央に流れる川309に阻まれ、右岸に移動することがで
きない。
そこで図20(B)のように、表示面102をユーザが表示面102の中央部が下に凸と
なるように湾曲させ(図20(B)中の矢印の方向に近づけ)、川309を下方に撓ませ
た部分に移動させ、左岸と右岸を近づけることで、キャラクタ310a及びキャラクタ3
10bを右岸に移動させることができる。
ここで、川309を上述したオブジェクトとして設定することで、川309の水の流れを
表示面102の変形に連動させ、ユーザにリアリティを与えることができる。また、セン
サ156を用いた表示面102の形状の算出によって、その形状にあわせてキャラクタの
移動範囲を制御することができる。
このようなコンピュータゲームを実現させるために、実施の形態1乃至5で説明したオブ
ジェクトの表示の処理手順をコンピュータゲームに登場させるキャラクタを含む物体に用
いればよい。オブジェクトの表示の処理手順はコンピュータプログラムにモジュールとし
て組み込んでもよいし、オブジェクトの表示の処理手順を組み込まれたオペレーティング
システムと連動させて実行してもよい。このようなプログラム、モジュール等は補助メモ
リ154やメインメモリ152等のコンピュータが読み取り可能な記録媒体に記録された
ものであってもよく、このような処理手段を電子回路や機械的なハードウエアとして実現
してもよい。
以上のように、表示面102の形状の変化にあわせたゲームの進行が可能となることから
、リアリティのあるコンピュータゲームをユーザに提供することができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することができる。なお、本発
明の表現を方法、ハードウエア(電子機器、コンピュータ、半導体装置、記録媒体等)、
システム、プログラム、ソフトウエアなどの間で変換したものもまた、本発明の態様とし
て有効である。
100 電子機器
101 筐体
102 表示面
103 ホームボタン
104 音量調整ボタン
105 ミュートボタン
106 マイクロフォン
107 スピーカ
108 スリープボタン
109 カメラ
150 システムバス
151 プロセッサ
152 メインメモリ
153 メモリコントローラ
154 補助メモリ
155 センサコントローラ
156 センサ
157 ディスプレイコントローラ
158 表示装置
159 電源コントローラ
160 電源
161 通信コントローラ
162 通信I/F
163 サウンドコントローラ
164 スピーカ
165 音出力コネクタ
166 マイクロフォン
167 入力インターフェース
168 筐体スイッチ
169 タッチパネル
170 キーボード
171 カメラ
172 外部ポート
173 出力インターフェース
174 振動モータ
180 RAM
181 ROM
182 オペレーティングシステム
183 アプリケーションプログラム
184 プログラムモジュール
185 プログラムデータ
186 BIOS
187 表示部物性データ
188 センサ特性データ
201 表示部
202 検出部
203 演算部
204 記憶部
205 入力部
206 出力部
250 オブジェクトデータ
251 オブジェクトID
252 オブジェクト形状
253 オブジェクト物理量
254 オブジェクト画像
255 オブジェクト初期設定
260 フィールドデータ
261 フィールドID
262 フィールド形状
263 フィールド物理量
264 フィールド画像
265 フィールド初期設定
301 オブジェクト
302 オブジェクト
303 オブジェクト
304 アイコン
305 ウインドウ
306 オブジェクト
306a オブジェクト
306b オブジェクト
307 オブジェクト
308a 領域
308b 領域
309 川
310a キャラクタ
310b キャラクタ

Claims (2)

  1. 表示面にオブジェクトを表示する、可撓性を有する表示装置を含む表示部と、
    前記表示面の所定の箇所の位置情報を検出する検出部と、
    前記位置情報に基づいて前記表示面の立体形状を算出し、前記算出された前記表示面の立体形状に応じて、前記オブジェクトが所定の法則に則って運動するように前記オブジェクトの動作を演算する演算部と、を有する電子機器であって、
    前記表示面が上方を向いた状態で撓ませ下方に窪んだ窪み領域を有する状態において、前記オブジェクトが前記窪み領域に移動すると、弾む動作をする、電子機器。
  2. 表示面にオブジェクトを表示する、可撓性を有する表示装置を含む電子機器を用いて、
    前記表示面の所定の箇所の位置情報を検出し、
    前記位置情報に基づいて前記表示面の立体形状を算出し、
    前記算出された前記表示面の立体形状に応じて、前記オブジェクトが所定の法則に則って運動するように前記オブジェクトの動作を演算し、
    前記演算された前記オブジェクトの動作を前記表示面に表示する表示方法であって、
    前記表示面が上方を向いた状態で撓ませ下方に窪んだ窪み領域を有する状態において、前記オブジェクトが前記窪み領域に移動すると、弾む動作をする、表示方法。
JP2019192348A 2012-05-11 2019-10-22 電子機器及び表示方法 Active JP6827510B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012109132 2012-05-11
JP2012109132 2012-05-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017226749A Division JP2018028953A (ja) 2012-05-11 2017-11-27 表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021006563A Division JP2021061067A (ja) 2012-05-11 2021-01-19 電子機器

Publications (2)

Publication Number Publication Date
JP2020009506A JP2020009506A (ja) 2020-01-16
JP6827510B2 true JP6827510B2 (ja) 2021-02-10

Family

ID=49548275

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2013097289A Withdrawn JP2013254486A (ja) 2012-05-11 2013-05-07 電子機器、記録媒体、プログラム及び表示方法
JP2017226749A Withdrawn JP2018028953A (ja) 2012-05-11 2017-11-27 表示方法
JP2019192348A Active JP6827510B2 (ja) 2012-05-11 2019-10-22 電子機器及び表示方法
JP2021006563A Withdrawn JP2021061067A (ja) 2012-05-11 2021-01-19 電子機器
JP2022130342A Withdrawn JP2022159488A (ja) 2012-05-11 2022-08-18 電子機器

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2013097289A Withdrawn JP2013254486A (ja) 2012-05-11 2013-05-07 電子機器、記録媒体、プログラム及び表示方法
JP2017226749A Withdrawn JP2018028953A (ja) 2012-05-11 2017-11-27 表示方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021006563A Withdrawn JP2021061067A (ja) 2012-05-11 2021-01-19 電子機器
JP2022130342A Withdrawn JP2022159488A (ja) 2012-05-11 2022-08-18 電子機器

Country Status (8)

Country Link
US (7) US9805494B2 (ja)
JP (5) JP2013254486A (ja)
KR (5) KR20240045365A (ja)
CN (2) CN109240427B (ja)
DE (1) DE112013002430T5 (ja)
IN (1) IN2014DN09687A (ja)
TW (2) TWI585668B (ja)
WO (1) WO2013168686A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9854667B2 (en) * 2012-07-09 2017-12-26 Sony Corporation Display unit and electronic apparatus
KR20140036499A (ko) * 2012-09-17 2014-03-26 삼성전자주식회사 플렉서블 디스플레이 장치 및 그의 디스플레이 방법
DE102014212911A1 (de) * 2013-07-12 2015-01-15 Semiconductor Energy Laboratory Co., Ltd. Datenverarbeitungsvorrichtung und Datenverarbeitungssystem
TWI723271B (zh) 2013-09-18 2021-04-01 日商半導體能源研究所股份有限公司 顯示裝置、顯示裝置的驅動方法、程式以及儲存介質
KR102256677B1 (ko) * 2013-12-02 2021-05-28 삼성디스플레이 주식회사 플렉서블 표시장치 및 이의 영상 표시방법
US9229481B2 (en) 2013-12-20 2016-01-05 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device
US10363480B2 (en) 2013-12-31 2019-07-30 Video Gaming Technologies, Inc. Gaming machine with a curved display
US11045726B2 (en) * 2013-12-31 2021-06-29 Video Gaming Technologies, Inc. Gaming machine having a curved display
USD750036S1 (en) * 2014-03-13 2016-02-23 Semiconductor Energy Laboratory Co., Ltd. Image display device
USD747284S1 (en) * 2014-03-13 2016-01-12 Semiconductor Energy Laboratory Co., Ltd. Image display device
US9692860B2 (en) * 2014-05-15 2017-06-27 Apple Inc. One layer metal trace strain gauge
WO2016043215A1 (ja) * 2014-09-19 2016-03-24 日本電気株式会社 表示装置の変形防止装置、変形防止方法及び変形防止プログラム
KR20160088764A (ko) * 2015-01-16 2016-07-26 삼성전자주식회사 플렉서블 디바이스 및 그 동작 방법
US10331112B2 (en) * 2015-04-01 2019-06-25 Balluff Gmbh Information display of an IO-link module
CN106371576B (zh) * 2015-12-11 2019-05-21 北京智谷睿拓技术服务有限公司 形变控制方法、形变控制装置及用户设备
USD850443S1 (en) 2015-12-22 2019-06-04 Lenovo (Beijing) Co., Ltd. Flexible electronic device
KR20170077670A (ko) * 2015-12-28 2017-07-06 삼성전자주식회사 컨텐츠를 제어하기 위한 방법 및 그 전자 장치
USD841612S1 (en) * 2016-03-31 2019-02-26 Lenovo (Beijing) Co., Ltd. Flexible electronic device
USD857645S1 (en) * 2016-08-23 2019-08-27 Lg Electronics Inc. Mobile phone
US10528079B2 (en) 2016-08-26 2020-01-07 Semiconductor Energy Laboratory Co., Ltd. Data processing device, display method, input/output method, server system, and computer program
WO2018045565A1 (zh) * 2016-09-09 2018-03-15 北京智谷睿拓技术服务有限公司 用于柔性显示设备的控件显示方法及装置
JP2018060404A (ja) * 2016-10-06 2018-04-12 株式会社ジャパンディスプレイ 表示装置およびタッチ操作の補正方法
DE102017000703A1 (de) 2017-01-26 2018-07-26 Bally Wulff Games & Entertainment Gmbh Rotierende symboltragende Anzeigemittel für Spielautomaten und Verfahren zur Steuerung der Anzeige
JP6946857B2 (ja) * 2017-08-24 2021-10-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN109144462B (zh) * 2018-07-23 2020-01-14 Oppo广东移动通信有限公司 发声控制方法、装置、电子装置及计算机可读介质
CN109491506B (zh) 2018-11-13 2020-06-09 云谷(固安)科技有限公司 一种显示终端以及显示控制方法
CN109806589B (zh) * 2019-02-19 2022-10-28 Oppo广东移动通信有限公司 虚拟对象控制方法及装置、电子设备以及存储介质
CN110300198B (zh) * 2019-06-28 2021-03-02 Oppo广东移动通信有限公司 壳体组件、电子设备及其控制方法
CN110300206B (zh) * 2019-06-28 2021-06-29 Oppo广东移动通信有限公司 壳体组件、电子设备及其控制方法
CN110227256A (zh) * 2019-07-22 2019-09-13 网易(杭州)网络有限公司 游戏中虚拟角色控制方法、装置、介质及电子设备
US11488331B2 (en) 2020-11-03 2022-11-01 International Business Machines Corporation Smart interactive simulation-based content on a flexible display device

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2827612B2 (ja) * 1991-10-07 1998-11-25 富士通株式会社 タッチパネル装置およびタッチパネル装置におけるオブジェクトの表示方法。
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
JP4434609B2 (ja) 2002-03-29 2010-03-17 株式会社東芝 表示入力システム
US7456823B2 (en) * 2002-06-14 2008-11-25 Sony Corporation User interface apparatus and portable information apparatus
US8504936B2 (en) 2010-10-01 2013-08-06 Z124 Changing stack when swapping
US8984440B2 (en) 2010-10-01 2015-03-17 Z124 Managing expose views in dual display communication devices
US20060062983A1 (en) * 2004-09-17 2006-03-23 Irvin Glen C Jr Coatable conductive polyethylenedioxythiophene with carbon nanotubes
TWI355223B (en) 2005-05-20 2011-12-21 Creator Technology Bv Display device
JP4749764B2 (ja) 2005-05-23 2011-08-17 富士フイルム株式会社 湾曲検出装置及び可撓性装置
JP4739858B2 (ja) 2005-08-12 2011-08-03 株式会社リコー 表示装置、制御装置、情報処理装置及び表示制御方法、表示制御プログラム
US20070097014A1 (en) 2005-10-31 2007-05-03 Solomon Mark C Electronic device with flexible display screen
US20070247422A1 (en) 2006-03-30 2007-10-25 Xuuk, Inc. Interaction techniques for flexible displays
US20100045705A1 (en) 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
TWI384413B (zh) 2006-04-24 2013-02-01 Sony Corp An image processing apparatus, an image processing method, an image processing program, and a program storage medium
KR100781708B1 (ko) * 2006-10-12 2007-12-03 삼성전자주식회사 플렉서블 표시부 및 그를 갖는 휴대 단말기
US7730250B2 (en) 2006-12-27 2010-06-01 Seiko Epson Corporation Interrupt control circuit, circuit board, electro-optic device, and electronic apparatus
JP2008181496A (ja) * 2006-12-27 2008-08-07 Seiko Epson Corp 割込み制御回路、回路基板、電気光学装置及び電子機器
US20090002328A1 (en) * 2007-06-26 2009-01-01 Immersion Corporation, A Delaware Corporation Method and apparatus for multi-touch tactile touch panel actuator mechanisms
JP4909922B2 (ja) * 2008-02-29 2012-04-04 株式会社日立製作所 可撓操作可能な情報表示端末装置、及び情報表示用インタフェース
KR20090107364A (ko) * 2008-04-08 2009-10-13 엘지전자 주식회사 이동 단말기 및 그 메뉴 제어방법
US8958848B2 (en) 2008-04-08 2015-02-17 Lg Electronics Inc. Mobile terminal and menu control method thereof
US20090262083A1 (en) 2008-04-16 2009-10-22 Jateen Parekh Systems and methods for receiving user input through a display with a flexible backplane via touch sensors
US8638301B2 (en) 2008-07-15 2014-01-28 Immersion Corporation Systems and methods for transmitting haptic messages
US20100214243A1 (en) 2008-07-15 2010-08-26 Immersion Corporation Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface
KR101472021B1 (ko) * 2008-09-02 2014-12-24 엘지전자 주식회사 플렉서블 디스플레이부를 구비한 휴대 단말기 및 그 제어방법
KR101827333B1 (ko) * 2008-09-19 2018-02-09 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체장치
WO2010041227A1 (en) 2008-10-12 2010-04-15 Barit, Efrat Flexible devices and related methods of use
KR101521219B1 (ko) 2008-11-10 2015-05-18 엘지전자 주식회사 플렉서블 디스플레이를 이용하는 휴대 단말기 및 그 제어방법
CN101763143A (zh) * 2008-11-17 2010-06-30 靳未一 笔记本电脑
JP2010157060A (ja) 2008-12-26 2010-07-15 Sony Corp 表示装置
WO2010088477A1 (en) 2009-01-29 2010-08-05 Immersion Corporation Systems and methods for interpreting physical interactions with a graphical user interface
JP5157971B2 (ja) 2009-03-09 2013-03-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8287386B2 (en) * 2009-06-08 2012-10-16 Cfph, Llc Electrical transmission among interconnected gaming systems
KR101602643B1 (ko) 2009-08-19 2016-03-11 삼성전자주식회사 전자 종이를 위한 사용자 인터페이스 제공 장치 및 방법
WO2011041424A1 (en) * 2009-09-29 2011-04-07 Monstrous Company Providing visual responses to musically synchronized touch input
JP5707694B2 (ja) 2009-12-04 2015-04-30 ソニー株式会社 表示装置及び表示装置の制御方法
KR101078899B1 (ko) * 2010-01-29 2011-11-01 주식회사 팬택 플렉서블 디스플레이의 영상 출력 위치 제어 장치
JP5099158B2 (ja) 2010-03-24 2012-12-12 コニカミノルタビジネステクノロジーズ株式会社 画像表示装置
KR20120059823A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 객체 제어 장치 및 방법
JP2012198454A (ja) * 2011-03-23 2012-10-18 Citizen Finetech Miyota Co Ltd 液晶表示素子
US8864583B1 (en) * 2011-05-03 2014-10-21 Open Invention Network, Llc Computing device independent and transferable game level design and other objects
KR101779504B1 (ko) * 2011-05-18 2017-09-18 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR101789625B1 (ko) 2011-06-23 2017-10-25 엘지전자 주식회사 플렉서블 디스플레이를 구비하는 영상 표시 장치 및 그 제어방법
US20130009882A1 (en) * 2011-07-07 2013-01-10 Nokia Corporation Methods and apparatuses for providing haptic feedback
US9007300B2 (en) * 2011-10-14 2015-04-14 Blackberry Limited Method and system to control a process with bend movements
KR101182922B1 (ko) * 2011-11-08 2012-09-13 아이리텍 잉크 홍채이미지를 이용한 보안이 강화된 잠금장치
JP5832666B2 (ja) 2011-12-20 2015-12-16 インテル・コーポレーション 複数のデバイスにまたがる拡張現実表現
US9607422B1 (en) * 2011-12-22 2017-03-28 Msc.Software Corporation Interactive vertex manipulation system and methods for geometry repair
KR20130073621A (ko) * 2011-12-23 2013-07-03 삼성전자주식회사 휴대용 단말기의 플렉시블 디스플레이 제어 방법 및 장치
US20130222276A1 (en) * 2012-02-29 2013-08-29 Lg Electronics Inc. Electronic device and method for controlling electronic device
KR101943435B1 (ko) 2012-04-08 2019-04-17 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 동작 방법
US20130293481A1 (en) * 2012-05-03 2013-11-07 Tuming You Method, electronic device, and computer readable medium for accessing data files
US20130321373A1 (en) 2012-05-31 2013-12-05 Semiconductor Energy Laboratory Co., Ltd. Electronic device, program, and recording medium
US20140173471A1 (en) * 2012-12-19 2014-06-19 Nokia Corporation Method, apparatus, and computer program product for a curved user interface

Also Published As

Publication number Publication date
CN104272214B (zh) 2018-12-04
KR20150012261A (ko) 2015-02-03
KR20200029065A (ko) 2020-03-17
IN2014DN09687A (ja) 2015-07-31
CN109240427A (zh) 2019-01-18
KR20240045365A (ko) 2024-04-05
TWI662465B (zh) 2019-06-11
JP2020009506A (ja) 2020-01-16
US20240077910A1 (en) 2024-03-07
US20210104089A1 (en) 2021-04-08
KR102273603B1 (ko) 2021-07-05
US20220075420A1 (en) 2022-03-10
TWI585668B (zh) 2017-06-01
KR20220088816A (ko) 2022-06-28
JP2018028953A (ja) 2018-02-22
US20130300732A1 (en) 2013-11-14
US20180012393A1 (en) 2018-01-11
KR20210084697A (ko) 2021-07-07
DE112013002430T5 (de) 2015-02-19
JP2013254486A (ja) 2013-12-19
TW201737052A (zh) 2017-10-16
WO2013168686A1 (en) 2013-11-14
US10467797B2 (en) 2019-11-05
US10719972B2 (en) 2020-07-21
US20190172248A1 (en) 2019-06-06
KR102652437B1 (ko) 2024-03-27
US10380783B2 (en) 2019-08-13
US11216041B2 (en) 2022-01-04
KR102090062B1 (ko) 2020-03-17
US9805494B2 (en) 2017-10-31
KR102413059B1 (ko) 2022-06-23
JP2021061067A (ja) 2021-04-15
US11815956B2 (en) 2023-11-14
CN104272214A (zh) 2015-01-07
CN109240427B (zh) 2022-04-15
JP2022159488A (ja) 2022-10-17
TW201413561A (zh) 2014-04-01
US20200020148A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
JP6827510B2 (ja) 電子機器及び表示方法
US9878239B2 (en) Systems and methods for performing haptic conversion
EP2375309A1 (en) Handheld device with localized delays for triggering tactile feedback
US20110248839A1 (en) Portable electronic device and method of controlling same
US20110248929A1 (en) Electronic device and method of controlling same
EP2375307A1 (en) Handheld device with localized thresholds for tactile feedback
EP2375308A1 (en) Handheld device with localized tactile feedback
TWI420365B (zh) 具有觸敏式顯示器之可攜式電子裝置及其控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210119

R150 Certificate of patent or registration of utility model

Ref document number: 6827510

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250