JP7314622B2 - 画像表示装置、及び画像表示プログラム - Google Patents

画像表示装置、及び画像表示プログラム Download PDF

Info

Publication number
JP7314622B2
JP7314622B2 JP2019100676A JP2019100676A JP7314622B2 JP 7314622 B2 JP7314622 B2 JP 7314622B2 JP 2019100676 A JP2019100676 A JP 2019100676A JP 2019100676 A JP2019100676 A JP 2019100676A JP 7314622 B2 JP7314622 B2 JP 7314622B2
Authority
JP
Japan
Prior art keywords
display
contact
image display
display device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019100676A
Other languages
English (en)
Other versions
JP2020194449A (ja
Inventor
潤吾 針貝
良隆 桑田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2019100676A priority Critical patent/JP7314622B2/ja
Priority to US16/726,197 priority patent/US11080818B2/en
Priority to CN202010080685.0A priority patent/CN112015317A/zh
Publication of JP2020194449A publication Critical patent/JP2020194449A/ja
Application granted granted Critical
Publication of JP7314622B2 publication Critical patent/JP7314622B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像表示装置、及び画像表示プログラムに関する。
特許文献１には、ユーザのつまみ操作を検出する検出部と、前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する制御部と、を備える、情報処理装置が開示されている。
特開２０１２－２５６１１０号公報
上記技術では、２本の指の動作がつまみ操作に対応するのみであり、一義的に決まったつまみ操作を実行することしかできない。
本発明は、２本の指の動作により一義的に決まったつまみ操作を実行する場合と比較して、表示画面に表示された物体の画像（表示対象）に対し多様な操作を実行できる画像表示装置、及び画像表示プログラムを提供することを目的とする。
第１の態様の画像表示装置は、物体を表す画像を表示対象として表示する表示画面と、表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、表示対象を変形させる内容を変化させる制御を行う制御部と、を有する。
第２の態様の画像表示装置において、制御部は、表示画面に対する接触の数が２ヶ所である場合は、表示対象を変形させず、表示画面に対する接触の数が３ヶ所以上である場合は、表示対象を変形させる。
第３の態様の画像表示装置において、制御部は、表示画面に対する接触の数が２ヶ所であり、接触位置同士の距離が縮まるよう、又は広がるように移動した場合、表示対象を変形させ、表示画面に対する接触の数が３ヶ所以上であり、接触位置同士の距離が縮まるように移動した場合は、表示対象を変形させ、広がるように移動した場合は、表示対象を変形させない。
第４の態様の画像表示装置において、制御部は、表示画面に対する接触の数が２ヶ所であり、２ヶ所の接触による接触位置同士の距離が変化した場合、前記表示対象を縮小又は拡大し、表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が変化した場合、３ヶ所で囲まれた領域内の部分を中心に、前記表示対象を変形させる。
第５の態様の画像表示装置において、制御部は、表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が縮まるように、接触位置が移動した場合、３ヶ所で囲まれた領域内の所定の箇所に画像をよせることにより、表示対象を変形させる。
第６の態様の画像表示装置において、制御部は、表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が広がるように、接触位置が移動した場合、３ヶ所で囲まれた領域内から画像を広げることにより、表示対象を変形させる。
第７の態様の画像表示装置において、制御部は、表示画面に対する接触が複数あり、複数の接触による複数の接触位置が同方向である第１の方向に移動した場合、第１の方向の先に存在する表示対象の端部に向かって、複数の接触位置に囲まれた領域がスライドするように、表示対象を変形させる。
第８の態様の画像表示装置は、表示対象が表す物体の物性に関する情報を取得する物性取得部をさらに有し、制御部は、物体の物性に応じて、表示対象の変形のさせ方を変化させる。
第９の態様の画像表示装置において、制御部は、物性に応じて、表示対象の変形量を変化させる。
第１０の態様の画像表示装置において、制御部は、物性に応じて、表示対象を変形させる際の変形速度を変化させる。
第１１の態様の画像表示装置において、制御部は、物性に応じて、異なる形に表示対象を変化させる。
第１２の態様の画像表示装置において、物性の一つは、弾性であり、制御部は、表示対象の弾性が高い程、表示対象を変形させた後に、元の形状に戻る速度を速くする。
第１３の態様の画像表示装置において、物性の一つは、光沢であり、制御部は、表示対象の光沢度が高い程、表示対象が変化した際の光の反射度合を大きくする。
第１４の態様の画像表示装置において、制御部は、表示対象の変形に応じて、光の反射度合を変化させる。
第１５の態様の画像表示装置は、表示対象の物性の一つである、表示対象の表面の質感に関する情報を取得する質感取得部を更に有し、制御部は、質感に応じて、を変形させる際の挙動を変化させる。
第１６の態様の画像表示装置は、物体を表す表示対象として表示する表示画面と、表示画面に対する接触の数が２ヶ所である場合は、接触位置が移動するベクトルに応じて、表示対象を変形させず表示対象を縮小又は拡大し、表示画面に対する接触の数が３ヶ所以上である場合は、最初に接触位置で囲まれた領域内の部分を中心に、接触位置が移動するベクトルに応じて表示対象を変形させる。
第１７の態様の画像表示プログラムは、物体を表す画像を表示対象として表示する表示ステップと、物体を表す画像を表示対象として表示する表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、表示対象を変形させる内容を変化させる制御を行う制御ステップと、をコンピュータに実行させる。
第１の態様の画像表示装置及び第１７の態様の画像表示プログラムによれば、表示画面に表示された物体の画像に対し多様な操作を実行できる。
第２の態様の画像表示装置によれば、接触位置の数に応じて、表示対象の変形を制御することができる。
第３の態様の画像表示装置によれば、接触位置の数に応じた表示対象の変形をより詳細に制御することができる。
第４の態様の画像表示装置によれば、接触の数に応じて、異なる操作を実行できる。
第５の態様の画像表示装置によれば、３ヶ所で囲まれた領域に画像をよせる操作を実行できる。
第６の態様の画像表示装置によれば、３ヶ所で囲まれた領域から画像を広げる操作を実行できる。
第７の態様の画像表示装置によれば、表示対象の端部に向かって、画像を変形させる操作を実行できる。
第８の態様の画像表示装置によれば、物性に応じて、表示対象の変形のさせ方を変化させることができる。
第９の態様の画像表示装置によれば、物性に応じて、表示対象の変形量を変化させることができる。
第１０の態様の画像表示装置によれば、物性に応じて、表示対象を変形させる際の変形の速度を変化させることができる。
第１１の態様の画像表示装置によれば、物性に応じて、表示対象の変形する形を変化させることができる。
第１２の態様の画像表示装置によれば、表示対象の弾性が高い程、元の形状に戻る際の速さを速くすることができる。
第１３の態様の画像表示装置によれば、表示対象の光沢度が高い程、表示対象が変化した際の光の反射度合が大きくすることができる。
第１４の態様の画像表示装置によれば、表示対象の変形に応じて、光の反射度合を変化させることができる。
第１５の態様の画像表示装置によれば、表示対象の物性の一つである、表示対象の表面の質感に応じて、表示対象が変形する際の挙動を変化させることができる。
第１６の態様の画像表示装置によれば、接触位置の数に応じて、表示対象の変形を制御することができる。
各実施形態に係る画像表示装置の一例を模式的に示す模式図である。 各実施形態に係る画像表示装置のハードウェア構成の一例を示すブロック図である。 各実施形態に係る画像表示装置の機能的な構成の一例を示すブロック図である。 各実施形態に係る表示対象が折れ曲げるように変形する説明に供する画像表示処理の一例を示す概略図である。 各実施形態に係る表示対象が触れられた状態に変形をする説明に供する画像表示処理の一例を示す概略図である。 各実施形態に係る表示対象を摘まみ上げる状態に変形する説明に供する画像表示処理の一例を示す概略図である。 各実施形態に係る表示対象が接触位置の移動方向に応じて、異なる変形する説明に供する画像表示処理の一例を示す概略図である。 第１実施形態に係る画像表示処理の一例を示すフローチャートである。 第１実施形態に係る座屈モデルによる変形表示処理の一例を示すフローチャートである。 第１実施形態に係るバネモデルによる変形表示処理の一例を示すフローチャートである。 第２実施形態に係る画像表示処理の一例を示すフローチャートである。 第３実施形態に係る画像表示処理の一例を示すフローチャートである。
［第１実施形態］
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。なお、本実施形態に係る画像表示装置は、画像を表示する画面にタッチセンサが搭載されているタッチパネルを有しており、タッチパネルは、画面に接触した位置（以下「接触位置」という。）の座標を検出する。また、画像表示装置は、検出した座標を用いて、接触した位置の移動する速度及び方向（以下「接触ベクトル」という。）を導出する。本実施形態では、画像表示装置が、画面に接触して入力された接触に応じて、画像を変形させる形態について説明する。しかし、これに限定されない。画像表示装置は、キーボード及びマウスの少なくとも一方から入力された情報に応じて、画像を変形させる形態としてよい。
図１は、本実施形態に係る画像表示装置１０の一例を模式的に示す模式図である。画像表示装置１０は、物体の画像（以下「表示対象」という。）１１の表示、及び接触位置１２の検出を行うタッチパネル１３を備える。
本実施形態に係る画像表示装置１０は、タッチパネル１３に接触した接触位置１２の座標、接触ベクトル、及び各々の接触位置同士の間の距離（以下、「接触距離」という。）に応じて、表示対象１１を変形させて、タッチパネル１３に表示する。一例として、図１に示すように、タッチパネル１３に表示された表示対象１１をつまむように、接触距離が縮まった場合、画像表示装置１０は、表示対象１１を折り曲げた形状に変形させてタッチパネル１３に表示する。
なお、本実施形態に係る画像表示装置１０は、タッチパネル１３を備えた形態について説明する。しかし、これに限定されない。タッチパネル１３に対する入力を離れた場所に設置されている画像表示装置１０に送信し、処理を行う形態としてもよい。
図２は、本実施形態に係る画像表示装置１０のハードウェア構成の一例を示すブロック図である。図２に示すように、本実施形態に係る画像表示装置１０は、タッチパネル１３、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３、ストレージ２４、通信インターフェース（通信Ｉ／Ｆ）２５、及び振動モータ２６を含んで構成されている。タッチパネル１３、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ストレージ２４、通信Ｉ／Ｆ２５、及び振動モータ２６の各々はバス２７により相互に接続されている。また、画像表示装置１０は、ＣＰＵ２１から受信したコマンドに応じて、画像処理に関する処理（域空間変換処理及び画像圧縮処理等）をＣＰＵ２１と非同期に行う図示しないＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。
タッチパネル１３は、画面に接触した位置の検出及び画像の表示を行う。なお、タッチパネル１３は、接触した位置の検出及び画像を表示できる限り、いかなる装置であってもよい。例えば、静電容量型タッチパネルであってもよいし、抵抗膜方式タッチパネルであってもよい。
ＣＰＵ２１は、画像表示装置１０の全体を統括し、制御する。ＲＯＭ２２は、本実施形態で用いる画像表示プログラムを含む各種プログラム及びデータ等を記憶している。ＲＡＭ２３は、各種プログラムの実行時のワークエリアとして用いられるメモリである。ＣＰＵ２１は、ＲＯＭ２２に記憶されたプログラムをＲＡＭ２３に展開して実行することにより、表示対象１１を変形させて、表示を行う。ストレージ２４は、一例としてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、又はフラッシュメモリ等である。なお、ストレージ２４には、画像表示プログラム等を記憶してもよい。通信Ｉ／Ｆ２５は、データの送受信を行う。振動モータ２６は、作動することで画像表示装置１０を振動させる。
次に、画像表示装置１０の機能構成について説明する。図３は、本実施形態に係る画像表示装置１０の機能的な構成の一例を示すブロック図である。
図３に示すように、画像表示装置１０は、取得部１０１、表示部１０２、物性取得部１０３、質感取得部１０４、制御部１０５、及び振動部１０６を有する。ＣＰＵ２１が画像表示プログラムを実行することで、取得部１０１、表示部１０２、物性取得部１０３、質感取得部１０４、制御部１０５、及び振動部１０６として機能する。
取得部１０１は、タッチパネル１３に接触した接触位置１２の座標、接触位置１２の数、接触ベクトル、及び接触距離等（以下、「接触情報」という。）を取得する。表示部１０２は、タッチパネル１３に表示対象１１を表示する。
物性取得部１０３は、表示対象１１が表す物体の物性に関する情報を取得する。本実施形態では、一例として、物性は、弾性及び光沢である形態について説明する。しかし、これに限定されない。例えば、物性は、重さ、密度、及び比重等の物質特性、引張特性、曲げ特性、せん断特性、圧縮特性の少なくとも１つである形態としてもよいし、剛性率、ヤング率、誘電率等の物性量である形態でもよい。
質感取得部１０４は、物性の一つである表示対象１１の表面の質感に関する情報（以下、「質感情報」という。）を取得する。質感情報は、例えば、表示対象１１の表面の凹凸と段差とに対応した座標、光の反射度合を示す光沢、及び物体の柔らかさを示す弾性等である。本実施形態では、質感情報として弾性を取得する形態について説明する。
制御部１０５は、表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、表示対象１１を変形させる内容を変化させる制御を行う。制御部１０５は、例えば、以下のような態様により制御を行う。
制御部１０５は、表示画面に対する接触の数が２ヶ所以上であり、２ヶ所以上の接触による接触位置同士の距離が縮まる又は広がるように、接触位置が移動した場合、２ヶ所以上で囲まれた領域内の部分を中心に、表示対象１１を変形させる。また、制御部１０５は、２ヶ所以上の接触による接触位置同士の距離が縮まるように、接触位置が移動した場合、２ヶ所以上で囲まれた領域で表示対象１１がつままれたように、当該領域内の所定の箇所に画像をよせることにより、表示対象１１を変形させる。また、制御部１０５は、２ヶ所以上の接触による接触位置同士の距離が広がるように、接触位置が移動した場合、２ヶ所以上で囲まれた領域で前記表示対象が押し広げられるように、当該領域内から画像を広げることにより、前記表示対象を変形させる。
また、制御部１０５は、複数の接触による複数の接触位置が同方向である第１の方向に移動した場合、第１の方向の先に存在する表示対象１１の端部に向かって、複数の接触位置に囲まれた領域がスライドするように、表示対象１１を変形させる。
また、制御部１０５は、物体の物性に応じて、表示対象１１の変形のさせ方を変化させる。また、制御部１０５は、物性に応じて、表示対象１１の変形量を変化させる。また、制御部１０５は、物性に応じて、表示対象を変形させる際の変形速度を変化させる。また、制御部１０５は、物性に応じて、異なる形に前記表示対象を変化させる。
また、制御部１０５は、表示対象１１の弾性が高い程、表示対象１１を変形させた後に、元の形状に戻る速度を速くする。また、制御部１０５は、表示対象１１の光沢度が高い程、表示対象が変化した際の光の反射度合の変化量を多くする。また、制御部１０５は、表示対象１１を変形させた後に、反射度合を変化させる。また、制御部１０５は、質感に応じて、表示対象１１を変形させる際の挙動を変化させる。
振動部１０６は、摘まんだりした場合に、凹凸が大きい場合には、振動モータ２６を起動する。
次に、画像表示装置１０の作用について説明する前に、図４、５、６、７を参照して、画像表示装置１０が行う画像を変形させるための手法について説明する。本実施形態では、表示対象１１毎に予め定められた弾性の値（以下、「弾性値」という。）に応じて、表示対象１１の変形のさせ方を変化させる形態について説明する。なお、本実施形態に係る変形とは、表示対象１１の形状が変わることである。変形とは、例えば、表示対象１１がたわむ、折れ曲がる、折り畳まれる、摘まみ上げられる、掴まれたようにしわが寄る、及び押し広げられるようにしわが広がる等のことを指す。また、一例として、弾性値は、フックの法則に用いられるバネ定数、及び物体に掛かる曲げ応力と、ひずみとの関係を示すヤング率である形態について説明する。
まず、図４を参照して、対象物が折れ曲がるように変形する場合について説明する。図４は、本実施形態に係る表示対象が折れ曲がるよう変形する説明に供する画像表示処理の一例を示す概略図である。特に、図４では、表示対象１１に対して、両側から中央に向かって力が働き、表示対象１１が中央を通る線に沿って折れ曲がるように変形する例を示している。
制御部１０５は、弾性値から表示対象１１の座屈荷重を算出し、表示対象１１の座屈荷重が、予め定められた座屈荷重の閾値（以下、「荷重閾値」という。）より大きい場合、画像表示装置１０は、表示対象１１が折れ曲がるように変形をさせ、表示する。なお、本実施形態に係る座屈荷重とは、座屈現象（例えば、棒が折れる等の大きな変形）を引き起こす際に物体に掛かる荷重（力）であり、座屈荷重は、物体の長さ、断面積、及び材料等によって決まる。
図４の左図は、表示対象１１が紙のように柔らかい物、図４の中央図は、金蘭生地のようにある程度の固さ（紙と板との中間の弾性）を有する物、図４右図は、薄い板のように弾力性のある固さを有する物を、表示対象１１として表現している。
画像表示装置１０は、表示対象１１に設定された弾性値から算出した座屈荷重によって、図４に示すように表示対象１１を変形させる。例えば、座屈荷重が、第１の荷重閾値以上、第１の荷重閾値よりも大きな第２の荷重閾値未満の場合、紙のように変形（図４左図）させ、第２の荷重閾値より大きく、第２の荷重閾値よりも大きな第３の荷重閾値未満の場合、金蘭生地のように変形（図４中央図）させる。座屈荷重が、第３の荷重閾値より大きい場合、薄い板のように変形（図４右図）させる。
また、画像表示装置１０は、接触情報に含まれる接触ベクトルに応じて、表示対象１１の変形のさせ方を変える。
例えば、接触距離が小さくなった場合、画像表示装置１０は、表示対象１１を左右から寄せるように（表示対象１１の中央を通る縦の線に寄るように）画像を変化させて、表示する。これは、画像を寄せるように変化させた一例である。具体的には、図４右図から図４中央図を経て図４左図になるように、表示対象１１の中央を通る縦の線に寄るように、周囲の画像を寄っていくように変化させている。また、接触距離が大きくなった場合、画像表示装置１０は、表示対象１１を左右に広げるように画像を変化させて表示する。これは、画像を広げるように変化させた一例である。具体的には、表示対象１１の中央を通る縦の線から外側に広がるように画像を変化させて、表示する。また、画像表示装置１０は、接触位置１２の距離の変化の速さに応じて、表示対象１１の拡大及び縮小の変化の速さを変えて表示する。
また、タッチパネル１３に対する接触が全てなくなった場合、すなわち、接触位置１２が検知されなくなった場合、画像表示装置１０は、変形した表示対象１１を初期状態に戻る変化をさせて表示する。また、弾性値に応じて、画像表示装置１０は、表示対象１１が初期状態に戻る変化の速さを変える。
次に、図５を参照して、触れた状態に変形する場合について説明する。図５は、本実施形態に係る表示対象が触れられた状態に変形をする説明に供する画像表示処理の一例を示す概略図である。
図５の左図は、こしの強い布に触れた状態、図５の中央図はこしの強さが中程度の布に触れた状態、図５の右図は、こしの弱い布に触れた状態を表現している。なお、本実施形態に係るこしの強さは、弾性値から算出した座屈荷重である。図５に示すように、画像表示装置１０は、座屈荷重によって、表示対象１１を変形させる。
例えば、座屈荷重が第１の荷重閾値未満、かつ表示対象１１の座屈荷重が第１の荷重閾値より小さい第４の荷重閾値以上の場合、画像表示装置１０は、表示対象１１をこしの強い布に触れた状態に変形（図５左図）させ、表示する。また、表示対象１１の座屈荷重が第４の荷重閾値未満、かつ第４の荷重閾値より小さい座屈荷重が第５の荷重閾値以上の場合、画像表示装置１０は、表示対象１１をこしの強さが中程度の布に触れた状態に変形（図５中央図）させ、表示する。また、表示対象１１の座屈荷重が第５の荷重閾値未満の場合、画像表示装置１０は、表示対象１１をこしの弱い布に触れた状態に変形（図５右図）させ、表示する。
つまり、図５に示すように、接触位置１２の移動した距離が同程度であった場合、座屈荷重が大きい表示対象１１は、変形の度合いが小さく、荷重が小さい表示対象１１は、変形の度合いが大きくなる。
また、バネ及び座屈現象等をモデルに導入し、シミュレーションを行うことで、表示対象１１が変形する形状及び変化量を導出することができる。例えば、触れられた状態を表現する場合、画面横方向、縦方向、及び斜め方向にバネを取り入れた線バネをモデルにしてシミュレーションを行うことで、表示対象１１を触れられた状態に変形させる際の形状及び変化量を導出することができる。また、摘まみ上げられた状態を表現する場合、接触位置１２をバネの中心部として円周方向に力が働く蝶番バネをモデルにしてシミュレーションを行い、表示対象１１の形状及び変化量を導出することができる。また、折り曲げられた状態を表現する場合、座屈現象をモデルにしてシミュレーションを行い、表示対象１１の形状及び変化量を導出することができる。また、バネ及び座屈現象をモデルにしてシミュレーションした場合、バネ及び座屈現象と共に抵抗力をシミュレーションに導入してもよい。
本実施形態では、一例として、フックの法則を用いたバネ及び荷重を加えた際にたわみが生じる座屈現象をモデルにしたシミュレーションを行い、表示対象１１が変形する形状を求める形態について説明する。具体的には、一次元におけるバネモデルは、以下の数式によって表すことができる。

ここで、式（１）のＦは、質点（接触位置）に掛かっている力であり、ｍｎは、質点の質量であり、ａは、質点の加速度である。また、式（２）のｋは、バネ係数であり、Ｌｋは、バネの自然長である。Ｌは、式（３）で表される質点からバネの他端（表示対象１１の変化の中心部）までの距離である。式（３）のＸｎは、バネの他端のｘ座標であり、ｘｎは、質点のｘ座標である。
式（２）を式（３）に適用すると、以下の数式によって表される。
また、質点の移動速度Ｖｎ＋１は、以下の数式によって表される。
Ｖｎは、直前の質点の速度であり、Δｔは質点の座標が変化するのに掛かった微小時間である。さらに、質点の位置Ｘｎは、以下の数式によって表される。

Ｘｎは、直前の質点の位置である。式（５）に式（４）を適用して導出した質点の移動速度Ｖｎ＋１を式（６）に適用することで、質点の位置Ｘｎを導出することができる。
上述したバネモデルを各々の接触位置に適用することで、表示対象１１の変化の中心位置及び表示対象１１の任意の位置の変化量を導出することができる。なお、バネ係数ｋ及び質量ｍｎは、任意の値を設定してもよいし、表示対象ごとに予め定められた値を設置してもよい。
また、本実施形態では、バネを表示対象１１に導入する形態について説明した。しかし、これに限定されない。接触位置の移動する速度に比例した抵抗力を導入してもよい。例えば、抵抗力は、以下の数式によって表すことができる。

ここで、Ｆｒは、抵抗力であり、ｄは、抵抗（ダンピング）係数である。抵抗力を導入することで、表示対象１１の硬さを表現することができる。例えば、接触位置の移動する速度が同一であっても、ダンピング係数ｄが小さい場合、抵抗力は小さくなり表示対象１１の変形する速さ早くなる。また、ダンピング係数が大きい場合、抵抗力は大きくなり、表示対象１１の変形する速さは遅くなる。また、表示対象１１が初期状態に戻る変化をする場合も同様である。
次に、座屈モデルについて説明する。紙をめくるように、表示対象の一端は床に接し、もう一方の他端は持ち上げられるような状態である片端を固定した片端固定モデルを考えると、座屈モデルは、以下の数式によって表すことができる。なお、本実施形態では、表示対象が接している床と平行である方向をｘ方向、床と垂直である方向をｙ方向とする２次元平面に座屈モデルを適用した場合を説明する。また、ｘは表示対象１１における任意の位置のｘ座標であり、ｙは表示対象１１がたわんだ際の任意の位置のｙ座標であるとする。
ここで、Ｐは座屈荷重（軸力）であり、Ｅはヤング率であり、Ｉは断面二次元モーメント（変形のしにくさ）であり、δは表示対象１１がたわんだ際の高さである。また、Ｃ１及びＣ２は、積分定数であり、モデル毎に与えられる境界条件によって決まる任意の値である。
片端が固定されている座屈モデルであることを考慮すると、境界条件は、ｘ＝０の場合、ｙ＝０、ｄｙ／ｄｘ＝０、となり、式（９）に代入すると積分定数は、それぞれＣ１＝０、Ｃ２＝－δとなる。また、表示対象に荷重Ｐを加えられた時の固定されていない他端（自由点）の高さがδであるとすると、ｘ＝Ｌの場合、ｙ＝δとなり、式（９）に代入するとcosαＬ＝０が求まり、αＬ＝（２ｎ－１）πとなる。この結果を式（１０）に代入すると、座屈荷重Ｐは次の式のよって表すことができる。なお、Ｌは、ｘ方向の表示対象の長さであり、ｎは任意の自然数である。
座屈荷重Ｐの最小値を考えると、ｎ＝１を式（１１）に代入することができる。よって、座屈荷重Ｐの最小値は、次の式によって表すことができる。

また、座屈荷重ＰはＰ＝σＡであることを考慮すると、曲げ応力σは、次の式によって表すことができる。なお、Ａは表示対象１１をｘ方向に直交する面で切断した際の断面積である。
ここで、λは表示対象１１の細長さを表す細長比である。
また、表示対象１１の両端が床に接しており、表示対象１１の中央でたわんだ状態である、両端を固定した両端固定モデルを考えると、座屈モデルは、以下の数式によって表すことができる。
ここで、Ｍは、表示対象のたわみに抵抗する力である曲げモーメントである。両端が固定されている座屈モデルで１１あることを考慮すると、境界条件は、ｘ＝０の場合、ｙ＝０、ｄｙ／ｄｘ＝０、となり、式（９）に代入すると積分定数は、それぞれＣ１＝０、Ｃ２＝－Ｍ／Ｐとなる。また、ｘ＝Ｌの場合、ｙ＝０となり、式（１６）に代入するとcosαＬ＝１が求まり、αＬ＝２ｎπとなる。この結果を式（１０）に代入すると、座屈荷重Ｐは次の式のよって表すことができる。
座屈荷重Ｐの最小値を考えると、ｎ＝１を式（１１）に代入することができる。よって、座屈荷重Ｐの最小値は、次の式によって表すことができる。
また、座屈荷重ＰはＰ＝σＡであることを考慮すると、曲げ応力σは、次の式によって表すことができる。
上述した座屈モデルを表示対象１１に適用することによって、表示対象１１の形状及び任意の位置の変化量を導出することができる。なお、本実施形態では、片端を固定した座屈モデル及び両端を固定した座屈モデルについて説明した。しかし、これに限定されない。両端が固定されていない座屈モデルを適用してもよい。また、本実施形態に係る座屈モデルは、表示対象に対してｘ方向に加えられた荷重Ｐ及び曲げモーメントＭを考慮したモデルについて説明した。しかし、これに限定されない。表示対象１１に対して鉛直軸方向に働く力であるせん断力を適用してもよい。せん断力を適用した場合、表示対象１１の任意の位置ｙ座標は、以下の式によって表すことができる。
ここで、Ｃ３及びＣ４は、積分定数であり、モデル毎に与えられる境界条件によって決まる任意の値である。
なお、本実施形態に係るバネモデル及び座屈モデルの適用については、弾性値を用いて、表示対象１１の座屈荷重を算出し、座屈荷重が第１の閾値未満の場合、バネモデルを適用し、座屈荷重が第１の荷重閾値以上の場合、座屈モデルを適用する。しかし、これに限定されない。表示対象１１に応じて、バネモデル及び座屈モデルを適用してもよい。例えば、表示対象１１が紙及び板等の弾力がある物体の場合、ヤング係数を参照して座屈モデルを適用し、表示対象１１が柔らかい布等の弾力がない物体の場合、バネ係数を参照して馬援モデルを適用してもよい。
次に、図６を参照して、表示対象１１が摘ままれるように変形する場合について説明する。図４、５では、表示対象１１の弾性値から算出した座屈荷重及びシミュレーションによって、表示対象１１が変形する例について説明したのに対して、図６、７では、接触距離及び接触位置の移動方向に応じて、表示対象１１が変形する一例について説明する。図６は、本実施形態に係る表示対象を摘まみ上げる状態に変形する説明に供する画像表示処理の一例を示す概略図である。
座屈荷重が第１の荷重閾値未満、かつ接触距離が閾値未満の場合、画像表示装置１０は、表示対象１１の中央が上昇するように変形をさせ、表示する。図６の左図は、床に置かれた布に触れた状態、図６の中央図は、床に置かれた布を摘まんだ状態、図６の右図は、床に置かれた布を掴み上げた状態を表現している。
図６に示すように、画像表示装置１０は、接触ベクトル、及び接触距離に応じて、表示対象１１を変形させる。
例えば、座屈荷重が第１の荷重閾値未満、かつ接触距離が変化した場合、画像表示装置１０は、表示対象１１を表示対象に触れた状態に変形（図６左図）させて、表示する。また、座屈荷重が第１の荷重閾値未満、かつ接触距離が、予め定められた接触距離の閾値（以下、「距離閾値」という。）未満の場合、画像表示装置１０は、表示対象１１を摘まんだ状態に変形（図６中央図）させ、表示する。また、座屈荷重が第１の荷重閾値未満、かつ接触距離が距離閾値未満、かつ接触位置１２が同一方向に移動した場合、画像表示装置１０は、表示対象１１を摘まみ上げた状態に変形（図６右図）させ、表示する。例えば、座屈荷重が第一の荷重閾値未満、かつ接触距離が接触閾値未満、かつ接触位置１２がタッチパネル１３の上方に移動した場合、画像表示装置１０は、図６右図に示すように表示対象１１を摘まみ上げた状態に変形させ、表示する。
次に、図７を参照して、対象物が折り畳まれるように変形する場合について説明する。図７は、本実施形態に係る表示対象が接触位置の移動方向に応じて、異なる変形する説明に供する画像表示処理の一例を示す概略図である。
図７の左図は、接触位置が移動する前の状態、図７の中央図は、接触位置が表示対象の中央付近まで移動した状態の状態、図７の右図は、接触位置が表示対象の固定されている一端まで移動した状態を表現している。
例えば、画像表示装置１０は、座屈荷重が第１の荷重閾値以上、かつ接触位置が同一の方向に移動した場合、移動方向の延長線上にある表示対象１１の端部を固定（以下「固定位置」という。）する。また、画像表示装置１０は、座屈荷重が第１の荷重閾値以上、かつ接触位置が同一の方向に移動した場合、固定位置に向かって、表示対象１１を（カーテンのように）折り曲げて（図７右図）表示する。また、画像表示装置１０は、表示対象１１の端部が固定された状態、かつ全ての接触位置が固定位置から離れる方向であって、かつ同一方向に移動した場合、表示対象１１を拡げて（図７左図）表示する。
なお、本実施形態では表示対象１１毎に弾性値が予め定められており、弾性値に応じて表示対象１１を変形する形態について説明した。しかし、これに限定されない。表示対象１１毎に予め定められた光沢の値（以下、「光沢値」という。）に応じて、表示画面における仮想光源に対する相対位置が変化したように見せてもよい。言い換えれば、変化に応じて、表示対象１１の光の反射度合を変化させてもよい。表示対象１１を変化させる前はあまり光って見えないようにし、変化させた後にだけ、表示対象１１の変形に応じて、表示対象１１の光沢が目立つようにしてもよい。具体的には、仮想光源をディスプレイの画面に垂直な方向ではなく、角度をつけたようにすると、表示対象１１が変形して、立体部分となった傾斜部でより光沢が目立つようになる。
つまり、本実施形態における光沢とは、入射角度に応じて変化する表示対象１１が反射する光のことともいえるものであり、光沢値とは、入射角度に応じて変化する光の反射度合である。光沢値は、表示対象１１毎に設定されるため、表示対象１１が変形しても変わらない。しかし、表示対象１１が変形することで、表示対象１１に対する光の入射角が変わり、光の反射度合は変化する。例えば、画像表示装置１０は、任意の一方向から表示対象１１に光を当てる光源を想定し、表示対象１１に光が反射した状態を表示する。画像表示装置１０は、表示対象１１毎に光沢値に応じて、光の反射度合を変化させる。また、画像表示装置１０は、表示対象１１の変形に応じて、光源から見て段差の手前側では、光沢を大きくして光の反射度合を大きくし、光源から見て段差の奥側では、光沢を小さくして光の反射度合を小さくする。
また、本実施形態は弾性値から算出した座屈荷重に応じて、バネモデル及び座屈モデルの
次に、図８、９、１０を参照して、本実施形態に係る画像表示プログラムの作用について説明する。まず、図８は、本実施形態に係る画像表示処理の一例を示すフローチャートである。ＣＰＵ２１がＲＯＭ２２又はストレージ２４から画像表示プログラムを読み出し、実行することによって、図８に示す画像表示処理が実行される。図８に示す画像表示処理は、例えば、ユーザが画像表示装置１０を起動した場合、画像表示プログラムの実行指示が入力され、画像表示処理が実行される。
ステップＳ１０１において、ＣＰＵ２１は、表示対象１１ごとに設定されている弾性値、及び光沢値を取得する。
ステップＳ１０２において、ＣＰＵ２１は、取得した弾性値、及び光沢値に応じて、初期状態の表示対象１１を画面に表示する。
ステップＳ１０３において、ＣＰＵ２１は、２ヶ所以上の接触があったか否かの判定を行う。２ヶ所以上の接触があった場合（ステップＳ１０３：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１０４に移行する。一方、２ヶ所以上の接触がない場合（ステップＳ１０３：ＮＯ）、ＣＰＵ２１は、２ヶ所以上の接触があるまで待機する。
ステップＳ１０４において、ＣＰＵ２１は、接触位置１２の接触情報を取得する。
ステップＳ１０５において、ＣＰＵ２１は、取得した弾性値を用いて、表示対象１１の座屈荷重を算出する。
ステップＳ１０６において、ＣＰＵ２１は、算出した座屈荷重が第１の閾値以上か否かの判定を行う。座屈荷重が第１の閾値以上の場合（ステップＳ１０６：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１０７に移行する。一方、座屈荷重が閾値未満の場合（ステップＳ１０６：ＮＯ）、ＣＰＵ２１は、ステップＳ１０８に移行する。
ステップＳ１０７において、ＣＰＵ２１は、座屈モデルを適用して、表示対象１１を変形させる。ステップＳ１０７における座屈モデルによる変形表示処理の詳細については、図９を参照して後述する。
ステップＳ１０８において、ＣＰＵ２１は、バネモデルを適用して、表示対象１１変形させる。ステップＳ１０８におけるバネモデルによる変形表示処理の詳細については、図１０を参照して後述する。
ステップＳ１０９において、ＣＰＵ２１は、接触位置１２がタッチパネル１３から離れたか否かの判定を行う。タッチパネル１３から離れた場合（ステップＳ１０９：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１１０に移行する。一方、タッチパネル１３から離れていない場合（ステップＳ１０９：ＮＯ）、ＣＰＵ２１は、ステップＳ１０３に移行する。
ステップＳ１１０において、ＣＰＵ２１は、接触位置１２がタッチパネル１３から離れた位置の座標を取得し、取得した座標を終点位置として接触情報に登録する。
ステップＳ１１１において、ＣＰＵ２１は、全ての接触位置１２の接触情報に終点位置が設定されているか否かの判定を行う。全ての接触位置の接触情報に終点位置が設定されている場合（ステップＳ１１１：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１１２に移行する。終点位置が設定されていない場合（ステップＳ１１１：ＮＯ）、ＣＰＵ２１は、ステップＳ１０３に移行する。
ステップＳ１１２において、ＣＰＵ２１は、表示対象１１から力が除かれた際の弾性的な変形をさせ、タッチパネル１３に表示する。なお、本実施形態に係る弾性的な変形とは、表示対象１１が元の形に戻ろうとする変形である。しかし、これに限定されない。床による摩擦、抵抗、及び弾性限界等を考慮することで、初期状態まで完全には元に戻らず、ある程度変形した状態で留まる変形をさせてもよい。
また、本実施形態では接触位置が全て離れた場合、元に戻ろうとする弾性的な変形をする形態について説明した。しかし、これに限定されない。接触位置が全て離れた場合でも、弾性的な変形をせずに表示対象１１の変形を留まらせておいてもよいし、初期状態に戻すか否かの選択肢を表示し、選択に応じて、初期状態に戻してもよい。
次に、図９を参照して、本実施形態に係る座屈モデルによる変形表示処理について説明する。図９は、本実施形態に係る座屈モデルによる変形表示処理の一例を示すフローチャートである。ＣＰＵ２１がＲＯＭ２２又はストレージ２４から座屈モデル変形表示プログラムを読み出し、実行することによって、図９に示す座屈モデルによる変形表示処理が実行される。
ステップＳ２０１において、ＣＰＵ２１は、表示対象１１を座標に対応付けた格子点情報を作成し、表示対象１１を表示する。
ステップＳ２０２において、ＣＰＵ２１は、タッチパネル１３に触れた接触情報を取得する。
ステップＳ２０３において、ＣＰＵ２１は、物性情報を取得する。
ステップＳ２０４において、ＣＰＵ２１は、各々の接触位置が移動した方向が同一の方向か否かの判定をする。各々の接触位置が同一の方向に移動している場合（ステップＳ２０４：ＹＥＳ）、ＣＰＵ２１は、ステップＳ２０５に移行する。一方、各々の接触位置が同一の方向に移動していない場合（ステップＳ２０４：ＮＯ）、ＣＰＵ２１は、ステップＳ２０７に移行する。
ステップＳ２０５において、ＣＰＵ２１は、接触位置が移動する方向の延長線上にある表示対象１１の端部を固定位置に決定する。
ステップＳ２０６において、ＣＰＵ２１は、固定位置に向かって、表示対象１１を折り畳む変形をして、表示する。なお、折り畳む変形とは、図７に示す広げられた状態（例えば、図７左図）から折り縮められた状態（例えば、図７右図）、又は折り縮められた状態（例えば、図７右図）から広げられた状態（例えば、図７左図）に変化する変形である。したがって、ＣＰＵ２１は、接触位置が移動する方向に応じて、表示対象１１の折り畳みの程度が変化するように変形して、表示する。
ステップＳ２０７において、ＣＰＵ２１は、接触距離が拡大したか否かの判定をする。接触距離が拡大した場合（ステップＳ２０７：ＹＥＳ）、ＣＰＵ２１は、ステップＳ２０８に移行する。一方、接触距離が縮小した場合（ステップＳ２０７：ＮＯ）、ＣＰＵ２１は、ステップＳ２０９に移行する。
ステップＳ２０８において、ＣＰＵ２１は、接触位置で囲まれた領域の外側に向けて、表示対象１１を押し広げる変形をして、表示する。なお、押し広げる変形とは、図４に示す折り曲げられた状態（例えば、図４左図）から元の表示状態に戻す状態（例えば、図４右図）に変化する変形である。したがって、ＣＰＵ２１は、表示対象１１の折り曲がりの程度が小さくなるように変形して、表示する。
ステップＳ２０９において、ＣＰＵ２１は、接触位置で囲まれた領域の内側に向けて、表示対象１１を縮める変形をして、表示する。なお、縮める変形とは、図４に示すように表示対象１１のたわみが小さい状態（例えば、図４右図）からたわみが大きい状態（例えば、図４左図）に変化する変形である。したがって、ＣＰＵ２１は、表示対象１１の折り曲がりの程度が大きくなるように変形して、表示する。
ステップＳ２１０において、ＣＰＵ２１は、光沢値に応じて、表示対象１１の光の反射度合を変化させて、表示する。
次に、図１０を参照して、本実施形態に係るバネモデルによる変形表示処理について説明する。図１０は、本実施形態に係るバネモデルによる変形表示処理の一例を示すフローチャートである。ＣＰＵ２１がＲＯＭ２２又はストレージ２４からバネモデル変形表示プログラムを読み出し、実行することによって、図１０に示すバネモデルによる変形表示処理が実行される。
ステップＳ３０１において、ＣＰＵ２１は、表示対象１１を座標に対応付けた格子点情報を作成し、表示対象１１を表示する。
ステップＳ３０２において、ＣＰＵ２１は、接触位置１２の接触情報を取得する。
ステップＳ３０３において、ＣＰＵ２１は、弾性値及び光沢値を取得する。
ステップＳ３０４において、ＣＰＵ２１は、接触距離が距離閾値未満か否かの判定をする。接触距離が距離閾値未満である場合（ステップＳ３０４：ＹＥＳ）、ＣＰＵ２１は、ステップＳ３０５に移行する。一方、接触距離が距離閾値以上である場合（ステップＳ３０４：ＮＯ）、ＣＰＵ２１は、ステップＳ３０８に移行する。
ステップＳ３０５において、ＣＰＵ２１は、接触位置が上方に移動したか否かの判定をする。接触位置が上方に移動した場合（ステップＳ３０５：ＹＥＳ）、ＣＰＵ２１は、ステップＳ３０６に移行する。一方、接触位置が上方に移動していない場合（ステップＳ３０５：ＮＯ）、ＣＰＵ２１は、ステップＳ３０７に移行する。
ステップＳ３０６において、ＣＰＵ２１は、接触位置１２で囲まれた領域に向けて、表示対象１１を縮め、上方に持ち上げる変形、すなわち、接触位置で囲まれた領域内の中央等の定められた箇所に向けて摘まみ上げた状態（例えば、図６右図）に変形をして、表示する。摘まみ上げられた状態は、蝶番バネモデルを適用することで、表現することができる。
ステップＳ３０７において、ＣＰＵ２１は、接触位置１２で囲まれた領域に向けて、表示対象１１を縮める変形、すなわち、接触位置で囲まれた領域内の中央等の定められた箇所に向けて摘まんだ状態（例えば、図６中央図）に変形をして、表示する。摘まんだ状態は、蝶番バネモデルを適用することで、表現することができる。
ステップＳ３０８において、ＣＰＵ２１は、接触距離が拡大したか否かの判定をする。接触距離が拡大している場合（ステップＳ３０８：ＹＥＳ）、ステップＳ３０９に移行する。一方、接触距離が拡大していない場合（ステップＳ３０８：ＮＯ）、ＣＰＵ２１は、ステップＳ３１０に移行する。
ステップＳ３０９において、ＣＰＵ２１は、接触位置で囲まれた領域の外側に向けて、表示対象１１を押し広げる変形をして、表示する。なお、ここでいう押し広げる変形とは、図５に示す触れた状態（例えば、図５右図）から元の表示状態に戻す状態（例えば、図５左図）に変化する変形である。したがって、ＣＰＵ２１は、表示対象１１の触れた程度が小さくなるように変形して、表示する。
ステップＳ３１０において、ＣＰＵ２１は、接触位置で囲まれた領域の内側に向けて、表示対象１１を縮める変形をして、表示する。なお、ここでいう縮める変形とは、図５に示すように表示対象１１が触れられていない状態（図５左図）から触れた状態（図５右図）に変化する変形である。したがって、ＣＰＵ２１は、表示対象１１の触れた程度が大きくなるように変形して、表示する。
ステップＳ３１１において、ＣＰＵ２１は、表示対象１１の変形に応じて、表示対象１１の光の反射度合を変化させて、表示する。
なお、本実施形態では、接触距離に応じて、表示対象１１の変形のさせ方が変化する形態について説明した。しかし、これに限定されない。複数の接触位置１２に囲まれた面積に応じて、表示対象１１を変形させてもよい。また、本実施形態では座屈荷重が第１荷重閾値以上の場合、座屈モデルを適用する形態について説明した。しかし、これに限定されない。接触位置の移動に応じて、座屈モデルを適用してもよい。例えば、接触位置が２箇所の場合において、両方の接触位置が当初の接触位置から移動した場合、両端固定モデルを適用し、一方の接触位置が当初の接触位置から移動し、もう一方の接触位置が当初の接触位置から移動しない場合、片端固定モデルを適用してもよい。
また、本実施形態では接触距離が拡大した場合、触れた状態から元の表示に戻る変形をする形態について説明した。しかし、これに限定されない。接触距離が拡大した場合、接触位置に囲まれた領域から外側に向かって表示対象１１を伸ばす変形をしてもよい。
以上説明したように、本実施形態によれば、弾性値から算出した座屈荷重と、当該接触による接触位置が移動するベクトルとに応じて、表示対象を変形させる内容を変化させる制御を行う。従って、表示画面に表示された物体の画像に対し多様な操作を実行できる。
［第２実施形態］
第１実施形態では、接触位置１２の数が一定であり、接触位置１２の移動ベクトルに応じて、表示対象１１の変形のさせ方を変化させる形態について説明した。本第２実施形態では、接触位置１２の数に応じて、表示対象１１の変形のさせ方（変形させる内容）を変化させる形態について説明する。なお、本実施形態に係る画像表示装置１０の構成（図１参照）、画像表示装置１０のハードウェアの構成（図２参照）、及び画像表示装置１０の機能的な構成（図３参照）は、第１実施形態と同様であるため、説明を省略する。また、本実施形態に係る画像表示処理の説明に供する概略図（図４、５、６、７）、座屈モデルによる変形表示処理のフロー図（図９参照）、及びバネモデルによる変形表示処理のフロー図（図１０参照）は、第１実施形態と同様であるため、説明を省略する。
まず、図３を参照して、画像表示装置１０の機能構成について説明する。第２実施形態においては、制御部１０５の機能が、第１実施形態と異なる。従って、制御部１０５についてのみ説明する。
制御部１０５は、表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、表示対象１１を変形させる内容を変化させる制御を行う。制御部１０５は、例えば、以下のような態様により制御を行う。
制御部１０５は、表示画面に対する接触の数が２ヶ所であり、２ヶ所の接触による接触位置同士の距離が縮まる又は広がるように、接触位置が移動した場合、表示対象１１を変形させない処理を行う。具体的には、表示対象１１を変形させずに、表示を縮小又は拡大する。
一方、制御部１０５は、表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が縮まる又は広がるように、接触位置が移動した場合、表示対象１１を変形させる処理を行う。具体的には、３ヶ所で囲まれた領域内の部分を中心に、表示対象１１を変形させる。また、制御部１０５は、３ヶ所の接触による接触位置同士の距離が縮まるように、接触位置が移動した場合、３ヶ所で囲まれた領域で表示対象１１がつままれたように、当該領域内の所定の箇所に画像をよせることにより、表示対象１１を変形させる。また、制御部１０５は、３ヶ所の接触による接触位置同士の距離が広がるように、接触位置が移動した場合、３ヶ所で囲まれた領域で前記表示対象が押し広げられるように、当該領域内から画像を広げることにより、前記表示対象を変形させる。
また、制御部１０５は、複数の接触による複数の接触位置が同方向である第１の方向に移動した場合、第１の方向の先に存在する表示対象１１の端部に向かって、複数の接触位置に囲まれた領域がスライドするように、表示対象１１を変形させる。
また、制御部１０５は、物体の物性に応じて、表示対象１１の変形のさせ方を変化させる。また、制御部１０５は、物性に応じて、表示対象１１の変形量を変化させる。また、制御部１０５は、物性に応じて、表示対象を変形させる際の変形速度を変化させる。また、制御部１０５は、物性に応じて、異なる形に前記表示対象を変化させる。
また、制御部１０５は、表示対象１１の弾性が高い程、表示対象１１を変形させた後に、元の形状に戻る速度を速くする。また、制御部１０５は、表示対象１１の光沢度が高い程、表示対象１１が変改した際の光の反射度合の変化量を多くする。また、制御部１０５は、表示対象１１を変形させた後に、反射度合を変化させる。また、制御部１０５は、質感に応じて、表示対象１１の表示を変化させる。制御部１０５は、質感に応じて、表示対象１１を変形させる際の挙動を変化させる。なお、実施形態では、弾性が高い程、元の形状に戻る速度を早くする形態について説明する。しかし、これに限定されない。表示対象１１に応じて、参照する物性を切り替えてもよい。例えば、表示対象１１が紙等の弾力がある物体の場合、ヤング係数を参照し、表示対象１１が柔らかい布等の弾力がない物体の場合、バネ係数を参照してもよい。
次に、図１１を参照して、本実施形態に係る画像表示プログラムの作用について説明する。まず、図１１は、本実施形態に係る画像表示処理の一例を示すフローチャートである。ＣＰＵ２１がＲＯＭ２２又はストレージ２４から画像表示プログラムを読み出し、実行することによって、図１１に示す画像表示処理が実行される。図１１に示す画像表示処理は、例えば、ユーザが画像表示装置１０を起動した場合、画像表示プログラムの実行指示が入力され、画像表示処理が実行される。なお、図１１における図８に示す画像表示装置１０の機能と同一の構成要素については、図８と同一の符号を付して、その説明を省略する。
ステップＳ１２１において、ＣＰＵ２１は、接触位置１２が３ヶ所以上あったか否かの判定を行う。接触位置１２が３ヶ所以上であった場合（ステップＳ１２１：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１０５に移行する。一方、接触位置１２が２ヶ所であった場合（ステップＳ１２１：ＮＯ）、ＣＰＵ２１は、ステップＳ１２２に移行する。
ステップＳ１２２において、ＣＰＵ２１は、２ヶ所の接触距離が拡大したか否かの判定を行う。接触距離が拡大した場合（ステップＳ１２２：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１２３に移行する。一方、接触距離が縮小した場合（ステップＳ１２２：ＮＯ）、ＣＰＵ２１は、ステップＳ１２４に移行する。
ステップＳ１２３において、ＣＰＵ２１は、表示対象１１を変形させず、表示対象１１を拡大して表示する。
ステップＳ１２４において、ＣＰＵ２１は、表示対象１１を変形させず、表示対象１１を縮小して表示する。
なお、本実施形態では、接触位置の数が２ヶ所の場合、表示対象１１を変形させず、表示対象１１を拡大縮小し、接触位置の数が３ヶ所の場合、表示対象１１を変形させる形態について説明した。しかし、これに限定されない。接触位置の数に応じて、表示対象１１の変形を制限してもよい。制御部１０５は、例えば、以下のような態様により制御を行う。
制御部１０５は、表示画面に対する接触の数が２ヶ所であり、接触位置同士の距離が縮まるように、又は広がるように移動した場合、表示対象１１を変形させる。具体的には、制御部１０５は、接触位置同士の距離が縮まるように移動した場合、摘ままれたり、接触位置の中央に寄ったりするように表示対象１１を変形させ、距離が離れるように移動した場合、押し広げるように表示対象１１を変形させる。一方、制御部１０５は、表示画面に対する接触位置の数が３ヶ所以上である場合、表示対象１１の変形を制限する。具体的には、制御部１０５は、接触位置同士の距離が縮まるように移動した場合は、表示対象１１を変形させ、広がるように移動した場合は、表示対象１１を変形させない。つまり、接触位置の数が３ヶ所の場合であって、接触位置同士の距離が広がるように移動した場合には、表示対象１１の変形が制限される。なお、上記は、接触位置の数による表示対象１１の変形の制限の一例である。いかなる制限をしてもよい。例えば、接触位置同士の距離が縮まるように移動した場合には、表示対象１１の変形が制限されてもよい。また、例えば、接触位置の数が２ヶ所の場合は制限なく、接触位置の数が４ヶ所の場合は、接触位置同士の距離が広がる場合のみ制限があってもよい。
また、本実施形態では、接触位置が２ヶ所の場合、表示対象１１を縮小又は拡大し、接触位置が３ヶ所の場合、表示対象１１を変形させる形態について説明した、しかし、これに限定されない。接触位置が２ヶ所の場合、表示対象１１を変形させ、接触位置が２ヶ所の場合、表示対象１１を縮小又は拡大させる等、接触位置の数に応じて、変形及び拡大縮小を切り替えてもよい。
以上説明したように、本実施形態によれば、第１実施形態と同様の効果を奏することができる。
［第３実施形態］
第２実施形態では、接触位置の数に応じて、表示対象１１の変形のさせ方を変化させる形態について説明した。本実施形態では、接触位置１２の座標に応じて、表示対象１１の変形のさせる際の挙動を変化させる形態について説明する。なお、本実施形態に係る画像表示装置１０の構成（図１参照）、画像表示装置１０のハードウェアの構成（図２参照）、及び画像表示装置１０の機能的な構成（図３参照）は、第１実施形態と同様であるため、説明を省略する。また、本実施形態に係る画像表示処理の説明に供する概略図（図４、５、６、７）、座屈モデルによる変形表示処理のフロー図（図９参照）、及びバネモデルによる変形表示処理のフロー図（図１０参照）は、第１実施形態と同様であるため、説明を省略する。
図１２を参照して、本実施形態に係る画像表示プログラムの作用について説明する。まず、図１２は、第２実施形態に係る画像表示処理の一例を示すフローチャートである。ＣＰＵ２１がＲＯＭ２２又はストレージ２４から画像表示プログラムを読み出し、実行することによって、図１２に示す画像表示処理が実行される。図１２に示す画像表示処理は、例えば、ユーザが画像表示装置１０を起動した場合、画像表示プログラムの実行指示が入力され、画像表示処理が実行される。なお、図１２における図８に示す画像表示装置１０の機能と同一の構成要素については、図８と同一の符号を付して、その説明を省略する。
ステップＳ１３１において、ＣＰＵ２１は、表示対象１１ごとに設定されている弾性値、光沢値、及び質感情報を取得する。
ステップＳ１３２において、ＣＰＵ２１は、質感情報に含まれる弾性値の大小を判定をする。質感情報に含まれる弾性値が閾値以上の場合（ステップＳ１３２：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１３３に移行する。一方、質感情報に含まれる弾性値が閾値より小さい場合（ステップＳ１３２：ＮＯ）、ＣＰＵ２１は、ステップＳ１０９に移行する。
ステップＳ１３３において、ＣＰＵ２１は、振動部１０６を起動して振動させる。ＣＰＵ２１は、例えば、接触位置１２が変化する際にユーザの指に伝わる弾力及び振動を、振動部１０６により再現する。
以上説明したように、本実施形態によれば、第１実施形態及び第２実施形態と同様の効果に加え、弾性値が閾値以上の場合には、摘まむ動作の際に振動させて弾力を感じせせる質感を再現できる。
その他、上記実施形態で説明した画像表示装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した画像表示処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、ＧＰＵで構成されている例、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、画像表示処理のプログラムがストレージ２４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
１０ 画像表示装置
１１ 表示対象
１２ 接触位置
１３ タッチパネル
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ストレージ
２５ 通信Ｉ／Ｆ
２６ 振動モータ
２７ バス
３６ 振動部
１０１ 取得部
１０２ 表示部
１０３ 物性取得部
１０４ 質感取得部
１０５ 制御部
１０６ 振動部

Claims (19)

  1. 物体を表す画像を表示対象として表示する表示画面と、
    前記表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、前記表示対象を変形させる内容を変化させる制御を行う制御部と、を備え、
    前記制御部は、
    前記表示対象への接触による前記接触位置と、前記接触位置が移動するベクトル、及び接触距離に対応して、平置きされた前記表示対象を上方に持ち上げるように、摘まみ上げた状態に変形させ、前記表示画面に表示させる
    ことを特徴とする画像表示装置。
  2. 前記制御部は、
    前記表示対象に予め定められた弾性値から、前記表示対象の座屈荷重を算出し、
    前記座屈荷重が第１の閾値未満の場合、バネモデルを適用して前記表示対象を変形させ、
    前記座屈荷重が前記第１の閾値以上の場合、座屈モデルを適用して前記表示対象を変形させる
    請求項１記載の画像表示装置。
  3. 前記表示対象を摘まみ上げた状態には、蝶番バネモデルが適用される
    請求項１又は請求項２記載の画像表示装置。
  4. 前記制御部は、
    前記表示画面に対する接触の数が２ヶ所である場合は、前記表示対象を変形させず、
    前記表示画面に対する接触の数が３ヶ所以上である場合は、前記表示対象を変形させる請求項１から請求項３の何れか１項に記載の画像表示装置。
  5. 前記制御部は、
    前記表示画面に対する接触の数が２ヶ所であり、接触位置同士の距離が縮まるように、又は広がるように移動した場合、表示対象を変形させ、
    前記表示画面に対する接触の数が３ヶ所以上であり、接触位置同士の距離が縮まるように移動した場合は、前記表示対象を変形させ、広がるように移動した場合は、前記表示対象を変形させない請求項１から請求項３の何れか１項に記載の画像表示装置。
  6. 前記制御部は、
    前記表示画面に対する接触の数が２ヶ所であり、２ヶ所の接触による接触位置同士の距離が変化した場合、前記表示対象を縮小又は拡大し、
    前記表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が変化した場合、３ヶ所で囲まれた領域内の部分を中心に、前記表示対象を変形させる請求項１から請求項４の何れか１項に記載の画像表示装置。
  7. 前記制御部は、
    前記表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が縮まるように、接触位置が移動した場合、３ヶ所で囲まれた領域内の所定の箇所に画像をよせることにより、前記表示対象を変形させる請求項６に記載の画像表示装置。
  8. 前記制御部は、
    前記表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が広がるように、接触位置が移動した場合、３ヶ所で囲まれた領域内から画像を広げることにより、前記表示対象を変形させる請求項６又は請求項７に記載の画像表示装置。
  9. 前記制御部は、前記表示画面に対する接触が複数あり、複数の接触による複数の接触位置が同方向である第１の方向に移動した場合、前記第１の方向の先に存在する前記表示対象の端部に向かって、前記複数の接触位置に囲まれた領域がスライドするように、前記表示対象を変形させる請求項１から請求項８の何れか１項に記載の画像表示装置。
  10. 前記表示対象が表す物体の物性に関する情報を取得する物性取得部をさらに有し、
    前記制御部は、物体の前記物性に応じて、前記表示対象の変形のさせ方を変化させる請求項１から請求項９の何れか１項に記載の画像表示装置。
  11. 前記制御部は、前記物性に応じて、前記表示対象の変形量を変化させる請求項１０に記載の画像表示装置。
  12. 前記制御部は、前記物性に応じて、前記表示対象を変形させる際の変形速度を変化させる請求項１０又は請求項１１に記載の画像表示装置。
  13. 前記制御部は、前記物性に応じて、異なる形に前記表示対象を変化させる請求項１０から請求項１２の何れか１項に記載の画像表示装置。
  14. 前記物性の一つは、弾性であり、
    前記制御部は、前記表示対象の弾性が高い程、前記表示対象を変形させた後に、元の形状に戻る速度を速くする請求項１０から請求項１３のいずれか一項に記載の画像表示装置。
  15. 前記物性の一つは、光沢であり、
    前記制御部は、前記表示対象の光沢度が高い程、前記表示対象が変化した際の光の反射度合を大きくする請求項１０から請求項１４の何れか１項に記載の画像表示装置。
  16. 前記制御部は、前記表示対象の変形に応じて、光の反射度合を変化させる請求項１５に記載の画像表示装置。
  17. 前記表示対象の物性の一つである、前記表示対象の表面の質感に関する情報を取得する質感取得部を更に有し、
    前記制御部は、前記質感に応じて、前記表示対象を変形させる際の挙動を変化させる
    請求項１から請求項１６の何れか１項に記載の画像表示装置。
  18. 物体を表す表示対象として表示する表示画面と、
    前記表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、前記表示対象を変形させる内容を変化させる制御を行う制御部と、を備え、
    前記制御部は、
    前記表示画面に対する接触の数が２ヶ所である場合は、接触位置が移動するベクトルに応じて、前記表示対象を変形させず前記表示対象を縮小又は拡大し、
    前記表示画面に対する接触の数が３ヶ所以上である場合は、前記接触位置と、前記接触位置が移動するベクトル、及び接触距離に対応して、平置きされた前記表示対象を上方に持ち上げるように、摘まみ上げた状態に変形させ、前記表示画面に表示させる画像表示装置。
  19. 物体を表す画像を表示対象として表示する表示ステップと、
    物体を表す画像を表示対象として表示する表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、前記表示対象を変形させる内容を変化させる制御を行う制御ステップと、
    前記表示対象への接触による前記接触位置と、前記接触位置が移動するベクトル、及び接触距離に対応して、平置きされた前記表示対象を上方に持ち上げるように、摘まみ上げた状態に変形させ、前記表示画面に表示させるステップと、
    をコンピュータに実行させる画像表示プログラム。
JP2019100676A 2019-05-29 2019-05-29 画像表示装置、及び画像表示プログラム Active JP7314622B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019100676A JP7314622B2 (ja) 2019-05-29 2019-05-29 画像表示装置、及び画像表示プログラム
US16/726,197 US11080818B2 (en) 2019-05-29 2019-12-23 Image display apparatus and non-transitory computer readable medium storing image display program for deforming a display target
CN202010080685.0A CN112015317A (zh) 2019-05-29 2020-02-05 图像显示装置、记录媒体及图像显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019100676A JP7314622B2 (ja) 2019-05-29 2019-05-29 画像表示装置、及び画像表示プログラム

Publications (2)

Publication Number Publication Date
JP2020194449A JP2020194449A (ja) 2020-12-03
JP7314622B2 true JP7314622B2 (ja) 2023-07-26

Family

ID=73506230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019100676A Active JP7314622B2 (ja) 2019-05-29 2019-05-29 画像表示装置、及び画像表示プログラム

Country Status (3)

Country Link
US (1) US11080818B2 (ja)
JP (1) JP7314622B2 (ja)
CN (1) CN112015317A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120176401A1 (en) 2011-01-11 2012-07-12 Apple Inc. Gesture Mapping for Image Filter Input Parameters
WO2013051050A1 (ja) 2011-10-03 2013-04-11 古野電気株式会社 タッチパネルを有する装置、レーダ装置、プロッタ装置、舶用ネットワークシステム、シンボル特定方法及びシンボル特定プログラム
JP2014225304A (ja) 2000-01-31 2014-12-04 キヤノン株式会社 情報処理装置及びその制御方法及びそのプログラム
JP2016048571A (ja) 2014-04-04 2016-04-07 株式会社コロプラ ユーザインターフェースプログラムおよびゲームプログラム
JP2017134851A (ja) 2017-03-08 2017-08-03 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
JP2019063178A (ja) 2017-09-29 2019-04-25 株式会社バンダイナムコエンターテインメント ゲームシステム及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644346A (ja) * 1992-07-24 1994-02-18 Canon Inc 距離画像処理方法及び装置
JP2000235589A (ja) 1999-02-15 2000-08-29 Toray Ind Inc 物品の表示方法および表示装置
US20050010326A1 (en) * 2003-05-28 2005-01-13 Vincent Hayward Method and apparatus for synthesizing virtual interaction between rigid and deformable bodies
US8786613B2 (en) * 2006-04-08 2014-07-22 Alan Millman Method and system for interactive simulation of materials and models
US8565909B2 (en) * 2010-02-24 2013-10-22 Disney Enterprises, Inc. Fabrication of materials with desired characteristics from base materials having determined characteristics
JP2012256110A (ja) 2011-06-07 2012-12-27 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8780108B2 (en) * 2011-11-02 2014-07-15 X-Rite Switzerland GmbH Apparatus, systems and methods for simulating a material
KR20130114336A (ko) * 2012-04-09 2013-10-17 삼성전자주식회사 단말기에서 페이지 표시 방법 및 장치
KR20140027690A (ko) * 2012-08-27 2014-03-07 삼성전자주식회사 확대 표시 방법 및 장치
US9811854B2 (en) * 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
US10049294B2 (en) * 2015-01-30 2018-08-14 X-Rite Switzerland GmbH Imaging apparatus, systems and methods
JP2016197284A (ja) * 2015-04-02 2016-11-24 富士通株式会社 電子機器、制御方法および制御プログラム
JP6432449B2 (ja) * 2015-06-02 2018-12-05 コニカミノルタ株式会社 情報処理装置、情報処理プログラム、及び情報処理方法
US10514839B2 (en) * 2015-06-05 2019-12-24 Kyocera Document Solutions Inc. Display device and display control method
CN109388229A (zh) * 2017-08-11 2019-02-26 哈尔滨工业大学 一种带有触感体验的沉浸式虚拟试衣方法及系统
US10955922B2 (en) * 2017-11-29 2021-03-23 International Business Machines Corporation Simulating tactile information for haptic technology

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014225304A (ja) 2000-01-31 2014-12-04 キヤノン株式会社 情報処理装置及びその制御方法及びそのプログラム
US20120176401A1 (en) 2011-01-11 2012-07-12 Apple Inc. Gesture Mapping for Image Filter Input Parameters
WO2013051050A1 (ja) 2011-10-03 2013-04-11 古野電気株式会社 タッチパネルを有する装置、レーダ装置、プロッタ装置、舶用ネットワークシステム、シンボル特定方法及びシンボル特定プログラム
JP2016048571A (ja) 2014-04-04 2016-04-07 株式会社コロプラ ユーザインターフェースプログラムおよびゲームプログラム
JP2017134851A (ja) 2017-03-08 2017-08-03 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
JP2019063178A (ja) 2017-09-29 2019-04-25 株式会社バンダイナムコエンターテインメント ゲームシステム及びプログラム

Also Published As

Publication number Publication date
CN112015317A (zh) 2020-12-01
US20200380637A1 (en) 2020-12-03
JP2020194449A (ja) 2020-12-03
US11080818B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
JP6697120B2 (ja) ユーザインターフェースプログラムおよびゲームプログラム
JP5357685B2 (ja) ３次元オブジェクト処理装置、３次元オブジェクト処理方法、プログラム、及び情報記憶媒体
US20220157020A1 (en) Method and apparatus for online fitting
JP5364035B2 (ja) 仮想力覚提示装置及び仮想力覚提示プログラム
JPWO2007086193A1 (ja) 有限要素法による構造解析方法及びプログラム
EP2187325B1 (en) Garment fit simulation device, garment fit simulation method and garment fit simulation program
JP7541160B2 (ja) ペン状態検出方法及び電子機器
JP5513973B2 (ja) 仮想力覚提示装置及び仮想力覚提示プログラム
EP4089562A1 (en) Designing garment using style line
JP7314622B2 (ja) 画像表示装置、及び画像表示プログラム
KR20160019449A (ko) 간접 입력의 명확화 기법
JP3722994B2 (ja) 物体の接触感シミュレーション装置
US20180314779A1 (en) Information processing apparatus, method for controlling the same, and storage medium
JP6749765B2 (ja) 画像生成プログラム及び記録媒体
JP4967060B2 (ja) 解析装置及び解析方法
JP4389060B2 (ja) コンピュータグラフィック立体的画像表示における物体の荷重伝達変位を表示する方法
JP6775742B1 (ja) 情報処理装置、方法、およびプログラム
JP4508776B2 (ja) 画像処理プログラムおよび画像処理装置
JPH11272157A (ja) 物体の把持動作シミュレーション装置
JP2017037558A (ja) 静電気放電検証プログラム、情報処理装置、及び静電気放電検証方法
KR100828185B1 (ko) 이미지 정보를 이용한 표면의 촉감정보 추출방법
WO2021199408A1 (ja) 擬似触覚制御装置、擬似触覚制御方法、およびプログラム
JP6091908B2 (ja) 端末装置及び表示プログラム
JP4472467B2 (ja) 画像処理プログラムおよび画像処理装置
JP7264844B2 (ja) 力覚提示システム、制御装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7314622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150