JP6500986B2 - 電子機器、及び、駆動制御方法 - Google Patents

電子機器、及び、駆動制御方法 Download PDF

Info

Publication number
JP6500986B2
JP6500986B2 JP2017524524A JP2017524524A JP6500986B2 JP 6500986 B2 JP6500986 B2 JP 6500986B2 JP 2017524524 A JP2017524524 A JP 2017524524A JP 2017524524 A JP2017524524 A JP 2017524524A JP 6500986 B2 JP6500986 B2 JP 6500986B2
Authority
JP
Japan
Prior art keywords
amplitude
image
subject
unit
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017524524A
Other languages
English (en)
Other versions
JPWO2016208036A1 (ja
Inventor
鈴木　達也
達也 鈴木
裕一 鎌田
裕一 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2016208036A1 publication Critical patent/JPWO2016208036A1/ja
Application granted granted Critical
Publication of JP6500986B2 publication Critical patent/JP6500986B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、電子機器、及び、駆動制御方法に関する。
従来より、被写体の３次元情報を持つ距離画像を用いて、指でなぞった部分における被写体の傾斜情報をもとに、凹凸などの形状に関する提示触感を自動決定する方法がある（例えば、非特許文献１参照）。
Kim, Seung-Chan, Ali Israr, and Ivan Poupyrev. "Tactile rendering of 3D features on touch surfaces." Proceedings of the 26th annual ACM symposium on User interface software and technology. ACM, 2013.
ところで、従来の提示触感の自動決定方法は、物体の形状に関する触感のみを提示するものであり、光沢の有無に応じた触感を提供することはできない。
そこで、光沢の有無に応じた触感を提供することができる電子機器と駆動制御方法を提供することを目的とする。
本発明の実施の形態の電子機器は、被写体を含む視野の画像と距離画像を取得する撮像部と、前記画像と、前記距離画像とに基づき、前記被写体の距離画像を抽出する距離画像抽出部と、前記被写体の距離画像に含まれるデータの欠落部に基づき、前記被写体が光沢のある物体であるかどうかを判定する光沢判定部と、前記画像を表示する表示部と、前記表示部の表示面側に配設され、操作面を有するトップパネルと、前記操作面に行われる操作入力の位置を検出する位置検出部と、前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動され、前記操作面に超音波帯の固有振動を発生させる振動素子と、前記光沢判定部によって光沢のある物体であると判定された前記被写体の表示領域に、前記駆動信号の振幅データとして第１振幅を割り当て、前記光沢判定部によって光沢のない物体であると判定された前記被写体の表示領域に、前記駆動信号の振幅データとして前記第１振幅よりも小さい第２振幅を割り当てる振幅データ割当部と、前記光沢判定部によって光沢のある物体であると判定される前記被写体が前記表示部に表示されている領域内で前記操作面への操作入力が行われると、前記操作入力の位置の時間的変化度合に応じて前記第１振幅が割り当てられた前記駆動信号で前記振動素子を駆動し、前記光沢判定部によって光沢のない物体であると判定される前記被写体が前記表示部に表示されている領域内で前記操作面への操作入力が行われると、前記操作入力の位置の時間的変化度合に応じて前記第２振幅が割り当てられた前記駆動信号で前記振動素子を駆動する、駆動制御部とを含む。
光沢の有無に応じた触感を提供することができる電子機器と駆動制御方法を提供することができる。
実施の形態１の電子機器を示す斜視図である。 実施の形態１の電子機器を示す平面図である。 図２に示す電子機器のＡ−Ａ矢視断面を示す図である。 実施の形態１の電子機器を示す底面図である。 超音波帯の固有振動によってトップパネルに生じる定在波のうち、トップパネルの短辺に平行に形成される波頭を示す図である。 電子機器のトップパネルに生じさせる超音波帯の固有振動により、操作入力を行う指先に掛かる動摩擦力が変化する様子を説明する図である。 実施の形態１の電子機器の構成を示す図である。 電子機器の利用の仕方の一例を示す図である。 赤外線カメラによって取得される距離画像を説明する図である。 赤外線カメラによって取得される距離画像を説明する図である。 ノイズを含む距離画像を示す図である。 実施の形態１の電子機器が振幅データを割り当てるために実行する処理を表すフローチャートを示す図である。 実施の形態１の電子機器が振幅データを割り当てるために実行する処理を表すフローチャートを示す図である。 図１２のフローの一部の詳細を示すフローチャートである。 図１４に示すフローによる画像処理を示す図である。 ノイズ割合を取得する処理を示すフローチャートである。 振幅データ割当部によって特定領域に割り当てられた振幅データを示す図である。 メモリに格納する光沢物体用の振幅データと、非光沢物体用の振幅データとを示す図である。 メモリに格納されるデータを示す図である。 実施の形態の電子機器の駆動制御部が実行する処理を示すフローチャートである。 実施の形態１の電子機器の動作例を示す図である。 電子機器の利用シーンを示す図である。 実施の形態２の電子機器が振幅データを割り当てるために実行する処理を表すフローチャートを示す図である。 ノイズ割合の確率分布を示す図である。 モード法により閾値を決定する方法を示す図である。 実施の形態３による特定領域の画像の取得方法の処理を示すフローチャートである。 図２６に示すフローによって行われる画像処理を示す図である。 実施の形態４の電子機器を示す側面図である。
以下、本発明の電子機器、及び、駆動制御方法を適用した実施の形態について説明する。
＜実施の形態１＞
図１は、実施の形態１の電子機器１００を示す斜視図である。
電子機器１００は、一例として、タッチパネルを入力操作部とする、スマートフォン端末機、又は、タブレット型コンピュータである。電子機器１００は、タッチパネルを入力操作部とする機器であればよいため、例えば、携帯情報端末機、又は、ＡＴＭ（Automatic Teller Machine）のように特定の場所に設置されて利用される機器であってもよい。
電子機器１００の入力操作部１０１は、タッチパネルの下にディスプレイパネルが配設されており、ディスプレイパネルにＧＵＩ(Graphic User Interface)による様々なボタン１０２Ａ、又は、スライダー１０２Ｂ等（以下、ＧＵＩ操作部１０２と称す）が表示される。
電子機器１００の利用者は、通常、ＧＵＩ操作部１０２を操作するために、指先で入力操作部１０１に触れる。
次に、図２を用いて、電子機器１００の具体的な構成について説明する。
図２は、実施の形態１の電子機器１００を示す平面図であり、図３は、図２に示す電子機器１００のＡ−Ａ矢視断面を示す図である。図４は、実施の形態１の電子機器１００を示す底面図である。なお、図２乃至図４では、図示するように直交座標系であるＸＹＺ座標系を定義する。
電子機器１００は、筐体１１０、トップパネル１２０、両面テープ１３０、振動素子１４０、タッチパネル１５０、ディスプレイパネル１６０、及び基板１７０を含む。また、電子機器１００は、カメラ１８０と、赤外線カメラ１９０及び赤外線光源１９１とを含む。カメラ１８０と、赤外線カメラ１９０及び赤外線光源１９１とは、電子機器１００の底面（図４参照）に設けられている。
筐体１１０は、例えば、樹脂製であり、図３に示すように凹部１１０Ａに基板１７０、ディスプレイパネル１６０、及びタッチパネル１５０が配設されるとともに、両面テープ１３０によってトップパネル１２０が接着されている。筐体１１０の底面（図４参照）には、カメラ１８０と、赤外線カメラ１９０及び赤外線光源１９１とが設けられている。
トップパネル１２０は、平面視で長方形の薄い平板状の部材であり、透明なガラス、又は、ポリカーボネートのような強化プラスティックで作製される。トップパネル１２０の表面１２０Ａ（Ｚ軸正方向側の面）は、電子機器１００の利用者が操作入力を行う操作面の一例である。
トップパネル１２０は、Ｚ軸負方向側の面に振動素子１４０が接着され、平面視における四辺が両面テープ１３０によって筐体１１０に接着されている。なお、両面テープ１３０は、トップパネル１２０の四辺を筐体１１０に接着できればよく、図３に示すように矩形環状である必要はない。
トップパネル１２０のＺ軸負方向側にはタッチパネル１５０が配設される。トップパネル１２０は、タッチパネル１５０の表面を保護するために設けられている。なお、トップパネル１２０の表面１２０Ａに、さらに別なパネル又は保護膜等が設けられていてもよい。
トップパネル１２０は、Ｚ軸負方向側の面に振動素子１４０が接着された状態で、振動素子１４０が駆動されることによって振動する。実施の形態１では、トップパネル１２０の固有振動周波数でトップパネル１２０を振動させて、トップパネル１２０に定在波を生じさせる。ただし、トップパネル１２０には振動素子１４０が接着されているため、実際には、振動素子１４０の重さ等を考慮した上で、固有振動周波数を決めることが好ましい。
振動素子１４０は、トップパネル１２０のＺ軸負方向側の面において、Ｙ軸正方向側において、Ｘ軸方向に伸延する短辺に沿って接着されている。振動素子１４０は、超音波帯の振動を発生できる素子であればよく、例えば、ピエゾ素子のような圧電素子を含むものを用いることができる。
振動素子１４０は、後述する駆動制御部から出力される駆動信号によって駆動される。振動素子１４０が発生する振動の振幅（強度）及び周波数は駆動信号によって設定される。また、振動素子１４０のオン／オフは駆動信号によって制御される。
なお、超音波帯とは、例えば、約２０ｋＨｚ以上の周波数帯をいう。実施の形態１の電子機器１００では、振動素子１４０が振動する周波数は、トップパネル１２０の振動数と等しくなるため、振動素子１４０は、トップパネル１２０の固有振動数で振動するように駆動信号によって駆動される。
タッチパネル１５０は、ディスプレイパネル１６０の上（Ｚ軸正方向側）で、トップパネル１２０の下（Ｚ軸負方向側）に配設されている。タッチパネル１５０は、電子機器１００の利用者がトップパネル１２０に触れる位置（以下、操作入力の位置と称す）を検出する位置検出部の一例である。
タッチパネル１５０の下にあるディスプレイパネル１６０には、ＧＵＩによる様々なボタン等（以下、ＧＵＩ操作部と称す）が表示される。このため、電子機器１００の利用者は、通常、ＧＵＩ操作部を操作するために、指先でトップパネル１２０に触れる。
タッチパネル１５０は、利用者のトップパネル１２０への操作入力の位置を検出できる位置検出部であればよく、例えば、静電容量型又は抵抗膜型の位置検出部であればよい。ここでは、タッチパネル１５０が静電容量型の位置検出部である形態について説明する。タッチパネル１５０とトップパネル１２０との間に隙間があっても、静電容量型のタッチパネル１５０は、トップパネル１２０への操作入力を検出できる。
また、ここでは、タッチパネル１５０の入力面側にトップパネル１２０が配設される形態について説明するが、トップパネル１２０はタッチパネル１５０と一体的であってもよい。この場合、タッチパネル１５０の表面が図２及び図３に示すトップパネル１２０の表面１２０Ａになり、操作面を構築する。また、図２及び図３に示すトップパネル１２０を省いた構成であってもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、この場合には、操作面を有する部材を、当該部材の固有振動で振動させればよい。
また、タッチパネル１５０が静電容量型の場合は、トップパネル１２０の上にタッチパネル１５０が配設されていてもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、タッチパネル１５０が静電容量型の場合は、図２及び図３に示すトップパネル１２０を省いた構成であってもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、この場合には、操作面を有する部材を、当該部材の固有振動で振動させればよい。
ディスプレイパネル１６０は、例えば、液晶ディスプレイパネル又は有機ＥＬ(Electroluminescence)パネル等の画像を表示できる表示部であればよい。ディスプレイパネル１６０は、筐体１１０の凹部１１０Ａの内部で、図示を省略するホルダ等によって基板１７０の上（Ｚ軸正方向側）に設置される。
ディスプレイパネル１６０は、後述するドライバＩＣ(Integrated Circuit)によって駆動制御が行われ、電子機器１００の動作状況に応じて、ＧＵＩ操作部、画像、文字、記号、図形等を表示する。
なお、ディスプレイパネル１６０の表示領域の位置と、タッチパネル１５０の座標とは関連付けられている。例えば、ディスプレイパネル１６０の各ピクセルと、タッチパネル１５０の座標とを関連付けておけばよい。
基板１７０は、筐体１１０の凹部１１０Ａの内部に配設される。基板１７０の上には、ディスプレイパネル１６０及びタッチパネル１５０が配設される。ディスプレイパネル１６０及びタッチパネル１５０は、図示を省略するホルダ等によって基板１７０及び筐体１１０に固定されている。
基板１７０には、後述する駆動制御装置の他に、電子機器１００の駆動に必要な種々の回路等が実装される。
カメラ１８０は、カラー画像を取得するデジタルカメラであり、被写体を含む視野の画像を取得する。カメラ１８０が取得する視野の画像には、被写体の画像と背景の画像とが含まれる。カメラ１８０は、第１撮像部の一例である。デジタルカメラは、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサを有するものを用いることができる。なお、カメラ１８０は、モノクロ撮影用のデジタルカメラであってもよい。
赤外線カメラ１９０は、赤外線光源１９１から被写体に照射した赤外線の反射光を撮像することにより、被写体を含む視野の距離画像を取得する。赤外線カメラ１９０が取得する視野の距離画像には、被写体の距離画像と背景の距離画像とが含まれる。
赤外線カメラ１９０は、投光型距離画像カメラである。投光型距離画像カメラとは、被写体に赤外線などを投光し、被写体で反射された赤外線を読み取るカメラである。投光型距離画像カメラの一例として、ＴＯＦ(Time Of Flight)距離画像カメラがある。ＴＯＦ距離画像カメラは、投光した赤外線が被写体との往復にかかる時間から、ＴＯＦ距離画像カメラから被写体までの距離を計測するカメラである。ＴＯＦ距離画像カメラは、赤外線カメラ１９０と赤外線光源１９１を含む。赤外線カメラ１９０及び赤外線光源１９１は、第２撮像部の一例である。
なお、カメラ１８０と赤外線カメラ１９０は、筐体１１０の底面に近接して並べて配設されている。これは、カメラ１８０で取得する画像と、赤外線カメラ１９０で取得する距離画像とを用いて画像処理を行うため、カメラ１８０と赤外線カメラ１９０を近接して配置することにより、カメラ１８０で取得する画像と、赤外線カメラ１９０で取得する距離画像とにおける物体の大きさ及び方向等を合わせるためである。カメラ１８０で取得する画像と、赤外線カメラ１９０で取得する距離画像とにおける物体の大きさ及び方向等のずれが小さい方が、画像処理を容易に行えるからである。
以上のような構成の電子機器１００は、カメラ１８０で取得した視野の画像と、赤外線カメラ１９０によって取得される距離画像とに基づき、被写体の距離画像を抽出する。そして、被写体の距離画像に含まれるノイズに基づき、被写体が光沢のある物体であるかどうかを判定する。ここで、光沢のある物体の一例は、金属製の置物である。また、光沢のない物体の一例は、ぬいぐるみである。
電子機器１００は、ディスプレイパネル１６０に表示される被写体の画像に利用者が触れてトップパネル１２０の表面１２０Ａに沿って指先を移動させると、振動素子１４０を駆動してトップパネル１２０を超音波帯の周波数で振動する。この超音波帯の周波数は、トップパネル１２０と振動素子１４０とを含む共振系の共振周波数であり、トップパネル１２０に定在波を発生させる。
また、このときに、電子機器１００は、被写体が光沢のある物体である場合には、被写体が光沢のない物体である場合よりも、振幅の大きい駆動信号で振動素子１４０を駆動する。
一方、電子機器１００は、被写体が光沢のない物体である場合には、被写体が光沢のある物体である場合よりも、振幅の小さい駆動信号で振動素子１４０を駆動する。
このように、被写体が光沢のある物体である場合に、被写体が光沢のない物体である場合よりも、振幅の大きい駆動信号で振動素子１４０を駆動するのは、利用者の指先につるつるとした滑らかな触感を提供するためである。
比較的振幅が大きい駆動信号で振動素子１４０を駆動すれば、スクイーズ効果によってトップパネル１２０の表面１２０Ａと指との間に介在する空気層が厚くなり、動摩擦係数が低くなるため、光沢のある物体の表面に触れたような触感を提供できるからである。
一方、被写体が光沢のない物体である場合に、被写体が光沢のある物体である場合よりも、振幅の小さい駆動信号で振動素子１４０を駆動するのは、利用者の指先にソフトで弱い触感を提供するためである。
比較的振幅が小さい駆動信号で振動素子１４０を駆動すれば、スクイーズ効果によってトップパネル１２０の表面１２０Ａと指との間に介在する空気層が薄くなり、被写体が光沢のある物体である場合よりも動摩擦係数が高くなるため、光沢のない物体の表面に触れたような触感を提供できるからである。
また、被写体が光沢のない物体である場合には、駆動信号の振幅を時間の経過に応じて変化させてもよい。例えば、被写体がぬいぐるみである場合には、駆動信号の振幅を時間の経過に応じて変化させることにより、利用者の指先にぬいぐるみに触れているような触感を提供するようにしてもよい。
なお、電子機器１００は、利用者がディスプレイパネル１６０に表示される被写体の画像以外の領域に触れると、振動素子１４０を駆動しない。
以上のように、電子機器１００は、被写体が光沢のある物体であるかどうかで駆動信号の振幅を変えることにより、トップパネル１２０を通じて利用者に被写体の触感を提供する。
次に、図５を用いて、トップパネル１２０に発生させる定在波について説明する。
図５は、超音波帯の固有振動によってトップパネル１２０に生じる定在波のうち、トップパネル１２０の短辺に平行に形成される波頭を示す図であり、図５の（Ａ）は側面図、（Ｂ）は斜視図である。図５の（Ａ）、（Ｂ）では、図２及び図３と同様のＸＹＺ座標を定義する。なお、図５の（Ａ）、（Ｂ）では、理解しやすさのために、定在波の振幅を誇張して示す。また、図５の（Ａ）、（Ｂ）では振動素子１４０を省略する。
トップパネル１２０のヤング率Ｅ、密度ρ、ポアソン比δ、長辺寸法ｌ、厚さｔと、長辺方向に存在する定在波の周期数ｋとを用いると、トップパネル１２０の固有振動数（共振周波数）ｆは次式（１）、（２）で表される。定在波は１／２周期単位で同じ波形を有するため、周期数ｋは、０．５刻みの値を取り、０．５、１、１．５、２・・・となる。
Figure 0006500986
Figure 0006500986
 なお、式（２）の係数αは、式（１）におけるｋ２以外の係数をまとめて表したものである。
図５の（Ａ）、（Ｂ）に示す定在波は、一例として、周期数ｋが１０の場合の波形である。例えば、トップパネル１２０として、長辺の長さｌが１４０ｍｍ、短辺の長さが８０ｍｍ、厚さｔが０．７ｍｍのGorilla（登録商標）ガラスを用いる場合には、周期数ｋが１０の場合に、固有振動数ｆは３３．５［ｋＨｚ］となる。この場合は、周波数が３３．５［ｋＨｚ］の駆動信号を用いればよい。
トップパネル１２０は、平板状の部材であるが、振動素子１４０（図２及び図３参照）を駆動して超音波帯の固有振動を発生させると、図５の（Ａ）、（Ｂ）に示すように撓むことにより、表面１２０Ａに定在波が生じる。
なお、ここでは、１つの振動素子１４０がトップパネル１２０のＺ軸負方向側の面において、Ｙ軸正方向側において、Ｘ軸方向に伸延する短辺に沿って接着される形態について説明するが、振動素子１４０を２つ用いてもよい。２つの振動素子１４０を用いる場合は、もう１つの振動素子１４０をトップパネル１２０のＺ軸負方向側の面において、Ｙ軸負方向側において、Ｘ軸方向に伸延する短辺に沿って接着すればよい。この場合に、２つの振動素子１４０は、トップパネル１２０の２つの短辺に平行な中心線を対称軸として、軸対称になるように配設すればよい。
また、２つの振動素子１４０を駆動する場合は、周期数ｋが整数の場合は同一位相で駆動すればよく、周期数ｋが小数（整数部と小数部とを含む数）の場合は逆位相で駆動すればよい。
次に、図６を用いて、電子機器１００のトップパネル１２０に生じさせる超音波帯の固有振動について説明する。
図６は、電子機器１００のトップパネル１２０に生じさせる超音波帯の固有振動により、操作入力を行う指先に掛かる動摩擦力が変化する様子を説明する図である。図６の（Ａ）、（Ｂ）では、利用者が指先でトップパネル１２０に触れながら、指をトップパネル１２０の奥側から手前側に矢印に沿って移動する操作入力を行っている。なお、振動のオン／オフは、振動素子１４０（図２及び図３参照）をオン／オフすることによって行われる。
また、図６の（Ａ）、（Ｂ）では、トップパネル１２０の奥行き方向において、振動がオフの間に指が触れる範囲をグレーで示し、振動がオンの間に指が触れる範囲を白く示す。
超音波帯の固有振動は、図５に示すようにトップパネル１２０の全体に生じるが、図６の（Ａ）、（Ｂ）には、利用者の指がトップパネル１２０の奥側から手前側に移動する間に振動のオン／オフを切り替える動作パターンを示す。
このため、図６の（Ａ）、（Ｂ）では、トップパネル１２０の奥行き方向において、振動がオフの間に指が触れる範囲をグレーで示し、振動がオンの間に指が触れる範囲を白く示す。
図６の（Ａ）に示す動作パターンでは、利用者の指がトップパネル１２０の奥側にあるときに振動がオフであり、指を手前側に移動させる途中で振動がオンになっている。
一方、図６の（Ｂ）に示す動作パターンでは、利用者の指がトップパネル１２０の奥側にあるときに振動がオンであり、指を手前側に移動させる途中で振動がオフになっている。
ここで、トップパネル１２０に超音波帯の固有振動を生じさせると、トップパネル１２０の表面１２０Ａと指との間にスクイーズ効果による空気層が介在し、指でトップパネル１２０の表面１２０Ａをなぞったときの動摩擦係数が低下する。
従って、図６の（Ａ）では、トップパネル１２０の奥側にグレーで示す範囲では、指先に掛かる動摩擦力は大きく、トップパネル１２０の手前側に白く示す範囲では、指先に掛かる動摩擦力は小さくなる。
このため、図６の（Ａ）に示すようにトップパネル１２０に操作入力を行う利用者は、振動がオンになると、指先に掛かる動摩擦力の低下を感知し、指先の滑り易さを知覚することになる。このとき、利用者はトップパネル１２０の表面１２０Ａがより滑らかになることにより、動摩擦力が低下するときに、トップパネル１２０の表面１２０Ａに凹部が存在するように感じる。
一方、図６の（Ｂ）では、トップパネル１２０の奥前側に白く示す範囲では、指先に掛かる動摩擦力は小さく、トップパネル１２０の手前側にグレーで示す範囲では、指先に掛かる動摩擦力は大きくなる。
このため、図６の（Ｂ）に示すようにトップパネル１２０に操作入力を行う利用者は、振動がオフになると、指先に掛かる動摩擦力の増大を感知し、指先の滑り難さ、あるいは、引っ掛かる感じを知覚することになる。そして、指先が滑りにくくなることにより、動摩擦力が高くなるときに、トップパネル１２０の表面１２０Ａに凸部が存在するように感じる。
以上より、図６の（Ａ）と（Ｂ）の場合は、利用者は指先で凹凸を感じ取ることができる。このように人間が凹凸の知覚することは、例えば、"触感デザインのための印刷物転写法とSticky-band Illusion"(第11回計測自動制御学会システムインテグレーション部門講演会論文集 (SI2010, 仙台)____174-177, 2010-12)に記載されている。また、"Fishbone Tactile Illusion"(日本バーチャルリアリティ学会第10 回大会論文集(2005 年9 月))にも記載されている。
なお、ここでは、振動のオン／オフを切り替える場合の動摩擦力の変化について説明したが、これは、振動素子１４０の振幅（強度）を変化させた場合も同様である。
次に、図７を用いて、実施の形態１の電子機器１００の構成について説明する。
図７は、実施の形態１の電子機器１００の構成を示す図である。
電子機器１００は、振動素子１４０、アンプ１４１、タッチパネル１５０、ドライバＩＣ(Integrated Circuit)１５１、ディスプレイパネル１６０、ドライバＩＣ１６１、カメラ１８０、赤外線カメラ１９０、赤外線光源１９１、制御部２００、正弦波発生器３１０、及び振幅変調器３２０を含む。
制御部２００は、アプリケーションプロセッサ２２０、通信プロセッサ２３０、駆動制御部２４０、及びメモリ２５０を有する。制御部２００は、例えば、ＩＣチップで実現される。
なお、ここでは、アプリケーションプロセッサ２２０、通信プロセッサ２３０、駆動制御部２４０、及びメモリ２５０が１つの制御部２００によって実現される形態について説明するが、駆動制御部２４０は、制御部２００の外部に別のＩＣチップ又はプロセッサとして設けられていてもよい。この場合には、メモリ２５０に格納されているデータのうち、駆動制御部２４０の駆動制御に必要なデータは、メモリ２５０とは別のメモリに格納すればよい。
図７では、筐体１１０、トップパネル１２０、両面テープ１３０、及び基板１７０（図２参照）は省略する。また、ここでは、アンプ１４１、ドライバＩＣ１５１、ドライバＩＣ１６１、アプリケーションプロセッサ２２０、駆動制御部２４０、メモリ２５０、正弦波発生器３１０、及び振幅変調器３２０について説明する。
アンプ１４１は、振幅変調器３２０と振動素子１４０との間に配設されており、振幅変調器３２０から出力される駆動信号を増幅して振動素子１４０を駆動する。
ドライバＩＣ１５１は、タッチパネル１５０に接続されており、タッチパネル１５０への操作入力があった位置を表す位置データを検出し、位置データを制御部２００に出力する。この結果、位置データは、アプリケーションプロセッサ２２０と駆動制御部２４０に入力される。
ドライバＩＣ１６１は、ディスプレイパネル１６０に接続されており、アプリケーションプロセッサ２２０から出力される描画データをディスプレイパネル１６０に入力し、描画データに基づく画像をディスプレイパネル１６０に表示させる。これにより、ディスプレイパネル１６０には、描画データに基づくＧＵＩ操作部又は画像等が表示される。
アプリケーションプロセッサ２２０は、電子機器１００の種々のアプリケーションを実行する処理を行う。ここでは、特に、アプリケーションプロセッサ２２０が含む構成要素のうちのカメラ制御部２２１、画像処理部２２２、距離画像抽出部２２３、光沢判定部２２４、及び振幅データ割当部２２５を示す。
カメラ制御部２２１は、カメラ１８０、赤外線カメラ１９０、及び赤外線光源１９１の制御を行う。カメラ制御部２２１は、ディスプレイパネル１６０にＧＵＩ操作部として表示されるカメラ１８０のシャッターボタンが操作されるとカメラ１８０で撮像処理を行う。また、カメラ制御部２２１は、ディスプレイパネル１６０にＧＵＩ操作部として表示される赤外線カメラ１９０のシャッターボタンが操作されると、赤外線光源１９１から赤外線を出力させて、赤外線カメラ１９０で撮像処理を行う。
カメラ制御部２２１には、カメラ１８０によって取得される画像を表す画像データと、赤外線カメラ１９０によって取得される距離画像を表す距離画像データとが入力される。カメラ制御部２２１は、画像データと距離画像データを距離画像抽出部２２３に出力する。
画像処理部２２２は、距離画像抽出部２２３と光沢判定部２２４が行う画像処理以外の画像処理を実行する。画像処理部２２２が実行する画像処理については後述する。
距離画像抽出部２２３は、カメラ制御部２２１から入力される画像データと距離画像データとに基づき、被写体の距離画像を抽出する。被写体の距離画像は、被写体を表す画像の各ピクセルに、赤外線カメラ１９０のレンズから被写体までの距離を表すデータを関連付けたデータである。なお、被写体の距離画像を抽出する処理については、図８及び図１２を用いて後述する。
光沢判定部２２４は、距離画像抽出部２２３によって抽出される被写体の距離画像に含まれるノイズを解析し、解析結果に基づいて被写体が光沢のある物体であるかどうかを判定する。ノイズの解析結果に基づいて被写体が光沢のある物体であるかどうかを判定する処理については、図１２を用いて後述する。
振幅データ割当部２２５は、光沢判定部２２４によって光沢のある物体と判定された被写体の画像、又は、光沢判定部２２４によって光沢のない物体と判定された被写体の画像に対して、振動素子１４０の駆動信号の振幅データを割り当てる。振幅データ割当部２２５が実行する処理の詳細については、図１２を用いて後述する。
通信プロセッサ２３０は、電子機器１００が３Ｇ(Generation)、４Ｇ(Generation)、LTE(Long Term Evolution)、WiFi等の通信を行うために必要な処理を実行する。
駆動制御部２４０は、２つの所定の条件が揃った場合に、振幅データを振幅変調器３２０に出力する。振幅データは、振動素子１４０の駆動に用いる駆動信号の強度を調整するための振幅値を表すデータである。振幅値は、位置データの時間的変化度合に応じて設定される。ここで、位置データの時間的変化度合としては、利用者の指先がトップパネル１２０の表面１２０Ａに沿って移動する速度を用いる。利用者の指先の移動速度は、ドライバＩＣ１５１から入力される位置データの時間的な変化度合に基づいて、駆動制御部２４０が算出する。
駆動制御部２４０は、利用者の指先がトップパネル１２０の表面１２０Ａに沿って移動したときに、指先に掛かる動摩擦力を変化させるためにトップパネル１２０を振動させる。動摩擦力は、指先が移動しているときに発生するため、駆動制御部２４０は、移動速度が所定の閾値速度以上になったときに、振動素子１４０を振動させる。移動速度が所定の閾値速度以上になることは、１つ目の所定の条件である。
従って、駆動制御部２４０が出力する振幅データが表す振幅値は、移動速度が所定の閾値速度未満のときはゼロであり、移動速度が所定の閾値速度以上になると、移動速度に応じて所定の振幅値に設定される。移動速度が所定の閾値速度以上のときには、移動速度が高いほど振幅値は小さく設定され、移動速度が低いほど振幅値を大きく設定される。
また、駆動制御部２４０は、操作入力を行う指先の位置が、振動を発生させるべき所定の領域内にある場合に、振幅データを振幅変調器３２０に出力する。操作入力を行う指先の位置が、振動を発生させるべき所定の領域内にあることは、２つ目の所定条件である。
操作入力を行う指先の位置が振動を発生させるべき所定の領域内にあるかどうかは、操作入力を行う指先の位置が、振動を発生させるべき所定の領域の内部にあるか否かに基づいて判定される。なお、振動を発生させるべき所定の領域とは、利用者によって特定される被写体を表示する領域である。
ここで、ディスプレイパネル１６０に表示するＧＵＩ操作部、画像を表示する領域、又は、ページ全体を表す領域等のディスプレイパネル１６０上における位置は、当該領域を表す領域データによって特定される。領域データは、すべてのアプリケーションにおいて、ディスプレイパネル１６０に表示されるすべてのＧＵＩ操作部、画像を表示する領域、又は、ページ全体を表す領域について存在する。
このため、２つ目の所定条件として、操作入力を行う指先の位置が、振動を発生させるべき所定の領域内にあるかどうかを判定する際には、電子機器１００が起動しているアプリケーションの種類が関係することになる。アプリケーションの種類により、ディスプレイパネル１６０の表示が異なるからである。
また、アプリケーションの種類により、トップパネル１２０の表面１２０Ａに触れた指先を移動させる操作入力の種類が異なるからである。トップパネル１２０の表面１２０Ａに触れた指先を移動させる操作入力の種類としては、例えば、ＧＵＩ操作部を操作する際には、所謂フリック操作がある。フリック操作は、指先をトップパネル１２０の表面１２０Ａに沿って、はじく（スナップする）ように比較的短い距離移動させる操作である。
また、ページを捲る場合には、例えば、スワイプ操作を行う。スワイプ操作は、指先をトップパネル１２０の表面１２０Ａに沿って掃くように比較的長い距離移動させる操作である。スワイプ操作は、ページを捲る場合の他に、例えば、写真を捲る場合に行われる。また、ＧＵＩ操作部によるスライダー（図１のスライダー１０２Ｂ参照）をスライドさせる場合には、スライダーをドラッグするドラッグ操作が行われる。
ここで一例として挙げるフリック操作、スワイプ操作、及びドラッグ操作のように、トップパネル１２０の表面１２０Ａに触れた指先を移動させる操作入力は、アプリケーションによる表示の種類によって使い分けられる。このため、操作入力を行う指先の位置が、振動を発生させるべき所定の領域内にあるかどうかを判定する際には、電子機器１００が起動しているアプリケーションの種類が関係することになる。
駆動制御部２４０は、ドライバＩＣ１５１から入力される位置データが表す位置が、振動を発生させるべき所定の領域の内部にあるか否かを判定する。
以上より、駆動制御部２４０が振幅データを振幅変調器３２０に出力するために必要な２つの所定の条件は、指先の移動速度が所定の閾値速度以上であることと、操作入力の位置の座標が振動を発生させるべき所定の領域の内部にあることである。
なお、電子機器１００は、利用者によって特定される被写体がディスプレイパネル１６０に表示される領域の内部に操作入力の位置があるときに、表示される被写体の画像に利用者が触れてトップパネル１２０の表面１２０Ａに沿って指先を移動させると、振動素子１４０を駆動してトップパネル１２０を超音波帯の周波数で振動する。
このため、振動を発生させるべき所定の領域とは、利用者によって特定される被写体がディスプレイパネル１６０に表示される領域である。
駆動制御部２４０は、指先の移動速度が所定の閾値速度以上であり、操作入力の位置の座標が振動を発生させるべき所定の領域の内部にある場合に、振幅値を表す振幅データをメモリ２５０から読み出して、振幅変調器３２０に出力する。
メモリ２５０は、アプリケーションプロセッサ２２０がアプリケーションの実行に必要とするデータ及びプログラム、及び、通信プロセッサ２３０が通信処理に必要とするデータ及びプログラム等を格納する。
正弦波発生器３１０は、トップパネル１２０を固有振動数で振動させるための駆動信号を生成するのに必要な正弦波を発生させる。例えば、トップパネル１２０を３３．５［ｋＨｚ］の固有振動数ｆで振動させる場合は、正弦波の周波数は、３３．５［ｋＨｚ］となる。正弦波発生器３１０は、超音波帯の正弦波信号を振幅変調器３２０に入力する。
振幅変調器３２０は、駆動制御部２４０から入力される振幅データを用いて、正弦波発生器３１０から入力される正弦波信号の振幅を変調して駆動信号を生成する。振幅変調器３２０は、正弦波発生器３１０から入力される超音波帯の正弦波信号の振幅のみを変調し、周波数及び位相は変調せずに、駆動信号を生成する。
このため、振幅変調器３２０が出力する駆動信号は、正弦波発生器３１０から入力される超音波帯の正弦波信号の振幅のみを変調した超音波帯の正弦波信号である。なお、振幅データがゼロの場合は、駆動信号の振幅はゼロになる。これは、振幅変調器３２０が駆動信号を出力しないことと等しい。
図８は、電子機器１００の利用の仕方の一例を示す図である。
まず、第１ステップとして、利用者は電子機器１００のカメラ１８０と赤外線カメラ１９０を用いて、ぬいぐるみ１と金属の置物２の写真を撮影する。より具体的には、カメラ１８０でぬいぐるみ１を撮影し、カメラ１８０で金属の置物２の写真を撮影する。また、赤外線カメラ１９０でぬいぐるみ１を撮影し、赤外線カメラ１９０で金属の置物２の写真を撮影する。第１ステップは、カメラ制御部２２１によって行われる。
ここで、ぬいぐるみ１は、動物のキャラクターのぬいぐるみである。ぬいぐるみ１は光沢のない布製であり、手で触れるとフワフワした触感である。ぬいぐるみ１は、光沢のない物体の一例である。
また、金属の置物２は、骸骨の形状の置物である。金属の置物２は、表面が滑らかな曲面であり、手で触れるとつるつるした触感である。金属の置物２は、光沢のある物体の一例である。
なお、光沢があるとは、物体の表面がある程度滑らかな平面又は曲面であり、光をある程度反射し、触れるとある程度つるつるした触感が得られることをいう。ここでは、光沢があるかないかは、触感で判断することとする。
触感には個人差があるため、ここでは一例として、光沢があるかないかを決める境界値（閾値）は、利用者が好みで設定できるようにする。
次に、第２ステップとして、ぬいぐるみ１の画像１Ａと金属の置物２の画像２Ａを得る。画像１Ａと画像２Ａは、カメラ１８０がぬいぐるみ１と金属の置物２を別々に撮影することによって得られる。画像１Ａと画像２Ａは、電子機器１００のディスプレイパネル１６０に表示される。第２ステップは、カメラ制御部２２１と画像処理部２２２によって行われる。
次に、第３ステップとして、電子機器１００が画像１Ａと画像２Ａに画像処理を行い、画像１Ａと画像２Ａにそれぞれ含まれる被写体（ぬいぐるみ１と金属の置物２）が表示される領域（以下、特定領域と称す）を表す画像１Ｂと画像２Ｂを作成する。
画像１Ｂでは、被写体が表示される領域である特定領域が白く示されており、被写体以外の背景の部分が黒く示されている。黒く示される部分は、データが存在しない領域である。白く示される部分は、被写体の画像が存在するピクセルを表し、ぬいぐるみ１の表示領域に対応している。
同様に、画像２Ｂでは、被写体が表示される領域である特定領域が白く示されており、被写体以外の背景の部分が黒く示されている。黒く示される部分は、データが存在しない領域である。白く示される部分は、被写体の画像が存在するピクセルを表し、金属の置物２の表示領域に対応している。なお、第３ステップは、画像処理部２２２によって行われる。
また、第４ステップでは、ぬいぐるみ１の距離画像１Ｃと金属の置物２の距離画像２Ｃを得る。距離画像１Ｃと距離画像２Ｃは、赤外線カメラ１９０がぬいぐるみ１と金属の置物２を別々に撮影することによって得られる。なお、第４ステップは、第２ステップ及び第３ステップと平行して、画像処理部２２２によって行われる。
次に、第５ステップでは、距離画像１Ｃと２Ｃのうち、画像１Ｂと２Ｂに含まれる特定領域の内部のピクセルに対応する画像を抽出することにより、特定領域の距離画像１Ｄと２Ｄをそれぞれ取得する。第５ステップは、距離画像抽出部２２３によって行われる。
次に、第６ステップでは、特定領域の距離画像１Ｄと２Ｄに含まれるノイズの割合を算出し、算出したノイズの割合が所定値以上であるかどうかを判定する。算出したノイズの割合が所定値以上であれば、特定領域の距離画像１Ｄ又は２Ｄに対応する被写体は光沢のある物体である。一方、算出したノイズの割合が所定値以上でなければ、特定領域の距離画像１Ｄ又は２Ｄに対応する被写体は光沢のない物体である。
ここでは、一例として、特定領域の距離画像１Ｄに対応する被写体（ぬいぐるみ１）は光沢のない物体であると判定され、特定領域の距離画像２Ｄに対応する被写体（金属の置物２）は光沢のある物体であると判定される。
光沢のない物体と判定された特定領域の距離画像１Ｄがある領域１Ｅ（以下、非光沢領域１Ｅ）に対しては、光沢のない物体に応じた比較的小さい振幅を表す振幅データが割り当てられる。
また、光沢のある物体と判定された特定領域の距離画像２Ｄがある領域２Ｅ（以下、光沢領域２Ｅ）に対しては、光沢のある物体に応じた比較的大きい振幅を表す振幅データが割り当てられる。
このように、振幅データが割り当てられた非光沢領域１Ｅと光沢領域２Ｅを表すデータは、メモリ２５０に格納される。これで第６ステップが終了する。なお、第６ステップは、光沢判定部２２４と振幅データ割当部２２５によって行われる。
そして、第７ステップとして、電子機器１００のディスプレイパネル１６０に金属の置物２の画像２Ａを表示し、利用者が画像２Ａが表示された部分を指でなぞると、振動素子１４０が駆動されて金属の置物２に応じた触感が提供される。
次に、図９及び図１０を用いて、赤外線カメラ１９０によって取得される距離画像について説明する。
図９及び図１０は、赤外線カメラ１９０によって取得される距離画像を説明する図である。
図９に示すように、赤外線光源１９１から物体３（被写体）に赤外線を照射すると、赤外線は物体３の表面で拡散反射する。そして、物体３によって反射された赤外線を赤外線カメラ１９０で撮像することにより、距離画像を得る。
図１０の下側に示す距離画像５は、物体３の距離画像３Ａと、背景の距離画像４Ａとを含む。距離画像５は、ピクセル毎に距離の情報が与えられているが、図１０の下側に示す距離画像５では、説明の便宜上、赤外線カメラ１９０からの距離をグレースケールで表す。図１０では、赤外線カメラ１９０に近いものほど薄いグレーで示し、赤外線カメラ１９０から遠いものほど濃いグレーで示す。赤外線カメラ１９０から見ると、背景よりも物体３が近いので、物体３の距離画像３Ａは薄いグレーで示され、背景の距離画像４Ａは濃いグレーで示されている。
図１０の上側には、図１０の下側に示す距離画像５のうちの一部（四角で囲んだ部分）を拡大して示す。距離画像５における距離の情報は、各ピクセルに与えられている。ここでは、一例として、物体３の距離画像３Ａには１００（ｍｍ）という距離の情報が与えられており、背景の距離画像４Ａには３００（ｍｍ）という距離の情報が与えられている。
次に、図１１を用いて、距離画像に含まれるノイズについて説明する。
図１１は、ノイズ３Ａ１を含む距離画像５を示す図である。
物体３が光沢物質製である場合には、ある特定の方向に強い反射を起こす鏡面反射の性質が強いため、一部の画素で反射光が赤外線カメラ１９０に戻らないことがある。赤外線光源１９１から照射される赤外線の反射光が戻らなかった部分の画素は、反射光の光のデータを有しないため、ノイズ３Ａ１となる。ノイズ３Ａ１は、光のデータがないため、黒く表示される。なお、ノイズ３Ａ１は、反射光のデータが欠落したデータ欠落部として取り扱うことができる。
実施の形態１の電子機器１００は、ノイズ３Ａ１を利用して、物体３が光沢のある物体であるかどうかを判定し、判定結果に応じて振幅データを割り当てる。
図１２及び図１３は、実施の形態１の電子機器１００が振幅データを割り当てるために実行する処理を表すフローチャートを示す図である。図１２及び図１３に示す処理は、アプリケーションプロセッサ２２０によって実行される。
アプリケーションプロセッサ２２０は、閾値を決定する（ステップＳ１００）。閾値は、後にステップＳ１７０で特定領域の距離画像に含まれるノイズの割合が多いか少ないかを判定する際の基準値として用いられる。ステップＳ１００は、アプリケーションプロセッサ２２０の画像処理部２２２によって実行される処理である。
ここでは、アプリケーションプロセッサ２２０が閾値を設定するための入力画面を１６０に表示し、入力画面を通じて利用者に閾値の設定を求める。利用者は１６０の入力画面を操作することによって、閾値を設定する。なお、利用者によって入力画面が操作されたときのアプリケーションプロセッサ２２０の処理については、図１３を用いて後述する。
アプリケーションプロセッサ２２０は、カメラ１８０と赤外線カメラ１９０で被写体を撮影する（ステップＳ１１０）。アプリケーションプロセッサ２２０が１６０に被写体の撮影を求めるメッセージを表示し、利用者がカメラ１８０と赤外線カメラ１９０で被写体を撮影することにより、ステップＳ１１０の処理が実現される。
なお、ステップＳ１１０は、カメラ制御部２２１によって実行される処理であり、図８に示す第１ステップに相当する。
ステップＳ１１０が終了すると、アプリケーションプロセッサ２２０は、ステップＳ１２０〜Ｓ１３０の処理と、ステップＳ１４０の処理とを平行して同時に行う。
アプリケーションプロセッサ２２０は、カメラ１８０からカラー画像を取得する（ステップＳ１２０）。ステップＳ１２０は、カメラ制御部２２１と画像処理部２２２によって実行される処理であり、図８に示す第２ステップに相当する。
アプリケーションプロセッサ２２０は、ステップＳ１２０で取得したカラー画像に対して画像処理を行うことにより、特定領域の画像を取得する（ステップＳ１３０）。ステップＳ１３０は、画像処理部２２２によって実行される処理であり、図８に示す第３ステップに相当する。なお、特定領域の画像を取得する処理の詳細については、図１４及び図１５を用いて後述する。
また、アプリケーションプロセッサ２２０は、赤外線カメラ１９０から距離画像を取得する（ステップＳ１４０）。ステップＳ１４０は、図８に示す第４ステップに相当する。
アプリケーションプロセッサ２２０は、ステップＳ１３０で取得した特定領域の画像と、ステップＳ１４０で取得した距離画像とに基づき、特定領域の距離画像を取得する（ステップＳ１５０）。特定領域の距離画像は、被写体の距離画像を表す。ステップＳ１５０は、カメラ制御部２２１と画像処理部２２２によって実行される処理であり、図８に示す第５ステップに相当する。
次に、アプリケーションプロセッサ２２０は、ステップＳ１５０で求めた特定領域の距離画像に含まれるノイズの特定領域の距離画像に対する割合を求める（ステップＳ１６０）。ステップＳ１６０は、光沢判定部２２４によって実行される処理であり、図８に示す第６ステップに相当する。なお、ノイズの割合の求め方の詳細については、図１６を用いて後述する。
アプリケーションプロセッサ２２０は、ノイズの割合がステップＳ１００で求めた閾値以上であるかどうかを判定する（ステップＳ１７０）。ステップＳ１７０は、図８に示す第６ステップに相当する。
アプリケーションプロセッサ２２０は、ノイズの割合が閾値以上ではない（Ｓ１７０：ＮＯ）と判定すると、特定領域を非光沢領域と判定する（ステップＳ１８０Ａ）。ステップＳ１８０Ａは、光沢判定部２２４によって実行される処理であり、図８に示す第６ステップに相当する。
一方、アプリケーションプロセッサ２２０は、ノイズの割合が閾値以上である（Ｓ１７０：ＹＥＳ）と判定すると、特定領域を光沢領域と判定する（ステップＳ１８０Ｂ）。ステップＳ１８０Ｂは、光沢判定部２２４によって実行される処理であり、図８に示す第６ステップに相当する。
アプリケーションプロセッサ２２０は、ステップＳ１８０Ａ又はステップＳ１８０Ｂの判定結果に応じた振幅データを特定領域に割り当てる（ステップＳ１９０）。アプリケーションプロセッサ２２０は、振幅データが割り当てられた特定領域を表すデータをメモリ２５０に格納する。ステップＳ１９０は、振幅データ割当部２２５によって実行される処理であり、図８に示す第６ステップに相当する。
図１３に示す処理は、ステップＳ１００の処理が開始することによってスタートされる。
まず、アプリケーションプロセッサ２２０は、光沢のある物体（以下、光沢物体）の数ｍ（ｍは１以上の整数）を１に設定する（ステップＳ１０１Ａ）。１個目の光沢物体についてカラー画像を取得するための準備である。
アプリケーションプロセッサ２２０は、ｍ個目の光沢物体の距離画像を取得する（ステップＳ１０２Ａ）。光沢物体の距離画像は、ステップＳ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０、及びＳ１５０の処理と同様に、カメラ１８０で取得したカラー画像と、赤外線カメラ１９０で取得した距離画像とを用いて、光沢物体に対応する特殊領域の距離画像を求めることによって取得される。
すなわち、カメラ１８０と赤外線カメラ１９０でそれぞれ撮影する視野に含まれる光沢物体のみの距離画像が、光沢物体に対応する特殊領域の距離画像として取得される。
なお、ステップＳ１０２Ａで用いるカラー画像と距離画像は、カメラ１８０と赤外線カメラ１９０で身の回りにある光沢物体を撮影することによって取得してもよいし、利用者が電子機器１００のメモリ２５０に予め保存してあるカラー画像と距離画像を読み出すことによって取得してもよい。
アプリケーションプロセッサ２２０は、ｍ個目の光沢物体のノイズ割合を取得する（ステップＳ１０３Ａ）。ノイズ割合は、ステップＳ１０２Ａで取得した特殊領域の距離画像に対して、ステップＳ１６０と同様の処理を行うことによって取得することができる。
アプリケーションプロセッサ２２０は、ノイズ割合は５０％以上であるかどうかを判定する（ステップＳ１０４Ａ）。ここでは、一例として判定に用いる閾値を５０％に設定しているが、利用者の好みで任意の値に設定できるようにしてもよい。
アプリケーションプロセッサ２２０は、ノイズ割合は５０％以上である（Ｓ１０４Ａ：ＹＥＳ）と判定すると、判定対象になっている特殊領域の距離画像を破棄する（ステップＳ１０５Ａ）。ノイズ割合が５０％以上の特殊領域の距離画像は、光沢のある物体の特定領域の距離画像がある領域（光沢領域）として適切ではないためである。
アプリケーションプロセッサ２２０は、数値ｍをインクリメントする（ステップＳ１０６Ａ）。すなわち、ｍ＝ｍ＋１となる。アプリケーションプロセッサ２２０は、ステップＳ１０６Ａの処理が終了すると、フローをステップＳ１０２Ａにリターンする。
また、アプリケーションプロセッサ２２０は、１０４Ａでノイズ割合は５０％以上ではない（Ｓ１０４Ａ：ＮＯ）と判定すると、判定対象になっている特殊領域の距離画像とノイズ割合とを光沢領域のデータとして採用する（ステップＳ１０７Ａ）。
アプリケーションプロセッサ２２０は、ステップＳ１０７Ａで採用した光沢領域のデータをメモリ２５０に保存する（ステップＳ１０８Ａ）。アプリケーションプロセッサ２２０は、ステップＳ１０８Ａを終えると、フローをステップＳ１０１Ｂに進行させる。
アプリケーションプロセッサ２２０は、光沢のない物体（以下、非光沢物体）の数ｎ（ｎは１以上の整数）を１に設定する（ステップＳ１０１Ｂ）。１個目の非光沢物体についてカラー画像を取得するための準備である。
アプリケーションプロセッサ２２０は、ｎ個目の非光沢物体の距離画像を取得する（ステップＳ１０２Ｂ）。非光沢物体の距離画像は、ステップＳ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０、及びＳ１５０の処理と同様に、カメラ１８０で取得したカラー画像と、赤外線カメラ１９０で取得した距離画像とを用いて、非光沢物体に対応する特殊領域の距離画像を求めることによって取得される。
すなわち、カメラ１８０と赤外線カメラ１９０でそれぞれ撮影する視野に含まれる非光沢物体のみの距離画像が、非光沢物体に対応する特殊領域の距離画像として取得される。
なお、ステップＳ１０２Ｂで用いるカラー画像と距離画像は、カメラ１８０と赤外線カメラ１９０で身の回りにある非光沢物体を撮影することによって取得してもよいし、利用者が電子機器１００のメモリ２５０に予め保存してあるカラー画像と距離画像を読み出すことによって取得してもよい。
アプリケーションプロセッサ２２０は、ｎ個目の非光沢物体のノイズ割合を取得する（ステップＳ１０３Ｂ）。ノイズ割合は、ステップＳ１０２Ｂで取得した特殊領域の距離画像に対して、ステップＳ１６０と同様の処理を行うことによって取得することができる。
アプリケーションプロセッサ２２０は、ノイズ割合は５０％以上であるかどうかを判定する（ステップＳ１０４Ｂ）。ここでは、一例として判定に用いる閾値を５０％に設定しているが、利用者の好みで任意の値に設定できるようにしてもよい。
アプリケーションプロセッサ２２０は、ノイズ割合は５０％以上である（Ｓ１０４Ｂ：ＹＥＳ）と判定すると、判定対象になっている特殊領域の距離画像を破棄する（ステップＳ１０５Ｂ）。ノイズ割合が５０％以上の特殊領域の距離画像は、光沢のない物体の特定領域の距離画像がある領域（非光沢領域）として適切ではないためである。
アプリケーションプロセッサ２２０は、数値ｎをインクリメントする（ステップＳ１０６Ｂ）。すなわち、ｎ＝ｎ＋１となる。アプリケーションプロセッサ２２０は、ステップＳ１０６Ｂの処理が終了すると、フローをステップＳ１０２Ｂにリターンする。
また、アプリケーションプロセッサ２２０は、１０４Ｂでノイズ割合は５０％以上ではない（Ｓ１０４Ｂ：ＮＯ）と判定すると、判定対象になっている特殊領域の距離画像とノイズ割合とを非光沢領域のデータとして採用する（ステップＳ１０７Ｂ）。
アプリケーションプロセッサ２２０は、ステップＳ１０７Ｂで採用した非光沢領域のデータをメモリ２５０に保存する（ステップＳ１０８Ｂ）。
アプリケーションプロセッサ２２０は、メモリ２５０に保存した光沢領域のデータと、非光沢領域のデータとに含まれる特殊領域のノイズ割合をディスプレイパネル１６０に表示する（ステップＳ１０９Ｂ）。
ノイズ割合の閾値を設定する利用者の参考用に、光沢領域のデータと、非光沢領域のデータとに含まれる特殊領域のノイズ割合を表示することとしたものである。
アプリケーションプロセッサ２２０は、利用者の操作入力によって指定される値に閾値を設定する（ステップＳ１０９Ｃ）。
例えば、金属の置物２についての特殊領域のノイズ割合が５％で、ぬいぐるみ１についての特殊領域のノイズ割合が０％である場合には、利用者は、例えば、ノイズ割合の閾値を２．５％に設定する。
以上により、ステップＳ１００の閾値が決定する。
図１４は、ステップＳ１３０の処理の詳細を示すフローチャートである。図１４に示すフローを説明するにあたり、図１５を用いる。図１５は、ステップＳ１３０による画像処理を示す図である。
アプリケーションプロセッサ２２０は、ステップＳ１３２の処理で分割されるカラー画像の中の２つの領域のうち面積の大きい方と面積の小さい方のどちらを特定領域として扱うかを設定する（ステップＳ１３１）。この設定は、利用者の入力内容に従って行われる。なお、特定領域は、被写体の表示領域を表す領域である。
このような設定を行うのは、被写体を含む視野において、被写体を大きく撮るか、又は、被写体を小さく取るかによって、カラー画像の中における被写体と背景の面積の大小関係が異なるからである。
なお、ここでは、一例として、２つの領域のうち面積の小さい方が特定領域として扱われるように設定されたこととする。
アプリケーションプロセッサ２２０は、グラフカットにより、カラー画像を被写体と背景との２つの領域に分割した画像を取得する（ステップＳ１３２）。例えば、図１５の（Ａ）に示す画像２Ａ（カラー画像）に対してグラフカットを行うことにより、図１５の（Ｂ）に示す画像２Ａ１を得る。画像２Ａ１の中では、領域２Ａ１１と、領域２Ａ１２とに分割されている。
なお、この時点では、領域２Ａ１１と領域２Ａ１２のうちのどちらが被写体の表示領域であるかは分かっていない。
次に、アプリケーションプロセッサ２２０は、一方の領域２Ａ１１の面積と、他方の領域２Ａ１２との面積を計算する（ステップＳ１３３Ａ、Ｓ１３３Ｂ）。面積の計算は、例えば、領域２Ａ１１と領域２Ａ１２とにそれぞれ含まれるピクセル数を数えることによって行うことができる。
ピクセル数の数えるときは、例えば、図１０に示すようなＸＹ座標系において、原点Ｏに最も近いピクセルからＸ軸正方向（列方向における正方向）に数えて行き、Ｙ軸正方向（行方向における正方向）に１行ずつずらしながら、すべてのピクセルを数えればよい。
例えば、図１５の（Ｃ）に示すように、領域２Ａ１１のピクセル数が92,160 [pixel]で、領域２Ａ１２のピクセル数215,040 [pixel]であったとする。
アプリケーションプロセッサ２２０は、ステップＳ１３３Ａ及びＳ１３３Ｂで計算した面積を比較する（ステップＳ１３４）。
次いで、アプリケーションプロセッサ２２０は、比較結果に基づいて、特定領域を決定する（ステップＳ１３５）。ここでは、一例として、ステップＳ１３１において、２つの領域のうち面積の小さい方が被写体の表示領域を表す特定領域として扱われるように設定されているため、領域２Ａ１１と領域２Ａ１２とのうち、面積の小さい領域２Ａ１１が特定領域として決定される。
次いで、アプリケーションプロセッサ２２０は、特定領域の画像を取得する（ステップＳ１３６）。例えば、図１５の（Ｂ）に示す領域２Ａ１１を特定領域とする画像２Ｂ（図１５の（Ｄ）参照）を取得する。
画像２Ｂでは、被写体が表示される領域である特定領域が白く示されており、被写体以外の背景の部分が黒く示されている。画像２Ｂは、特定領域にのみデータが存在し、特定領域のデータは、被写体の画像が存在するピクセルを表す。
次に、図１６を用いて、ノイズ割合の取得方法について説明する。
図１６は、ノイズ割合を取得する処理を示すフローチャートである。
図１６に示すフローは、ステップＳ１６０においてノイズ割合を決定する処理の詳細を示すものである。図１６に示すフローは、振幅データ割当部２２５によって実行される。
以下では、特定領域に含まれるピクセル数をＰ、特定領域に含まれるピクセルのうち、ｋ（１≦ｋ≦Ｐ）番目のピクセルに与えられる距離を表す値をＩ（ｋ）、ノイズの生じているピクセル数をＮ（０≦Ｎ≦Ｐ）、ノイズ割合をＲ（０％≦Ｒ≦１００％）とする。
なお、ｋ番目とは、ピクセルを数えるときの順番と同様に、原点Ｏ（図１０参照）に最も近いピクセルからＸ軸正方向（列方向における正方向）に順番を割り振り、Ｙ軸正方向（行方向における正方向）に１行ずつずらしながら、すべてのピクセルに順番を割り振ればよい。
アプリケーションプロセッサ２２０は、処理がスタートすると、特定領域に含まれる距離画像のピクセル数Ｐを取得する（ステップＳ１６１）。ピクセル数としては、ステップＳ１３３Ａ及びＳ１３３Ｂで数えたピクセル数のうち、ステップＳ１３５で特定領域であると判定された方のピクセル数を取得すればよい。例えば、図１５の（Ｃ）に示す領域２Ａ１１の92,160 [pixel]を取得する。
アプリケーションプロセッサ２２０は、ｋ＝１、Ｎ＝０に設定する（ステップＳ１６２）。
アプリケーションプロセッサ２２０は、ｋ番目のピクセルに与えられる距離を表す値Ｉ（ｋ）を参照する（ステップＳ１６３）。値Ｉ（ｋ）は、特定領域のｋ番目のピクセルから読み出せばよい。
アプリケーションプロセッサ２２０は、ｋ番目のピクセルの距離を表す値Ｉ（ｋ）があるかどうかを判定する（ステップＳ１６４）。距離を表す値Ｉ（ｋ）があるかどうかは、距離を表す値Ｉ（ｋ）が０（ゼロ）であれば値Ｉ（ｋ）がないと判定し、距離を表す値Ｉ（ｋ）が０（ゼロ）でなければ（正の値があれば）距離を表す値Ｉ（ｋ）があると判定する。
アプリケーションプロセッサ２２０は、距離を表す値Ｉ（ｋ）がない（Ｓ１６４：ＮＯ）と判定すると、ノイズの生じているピクセル数Ｎをインクリメントする（ステップＳ１６５）。すなわち、Ｎ＝Ｎ＋１となる。アプリケーションプロセッサ２２０は、ステップＳ１６５の処理が終わると、フローをステップＳ１６６に進行する。
一方、アプリケーションプロセッサ２２０は、距離を表す値Ｉ（ｋ）がある（Ｓ１６４：ＹＥＳ）と判定すると、フローをステップＳ１６６に進行させ、ｋの値をインクリメントする（ステップＳ１６６）。すなわち、ｋ＝ｋ＋１となる。
アプリケーションプロセッサ２２０は、ｋ＞Ｐが成立するかどうかを判定する（ステップＳ１６７）。
アプリケーションプロセッサ２２０は、ｋ＞Ｐが成立しない（Ｓ１６７：ＮＯ）と判定すると、フローをステップＳ１６３にリターンする。
一方、アプリケーションプロセッサ２２０は、ｋ＞Ｐが成立する（Ｓ１６７：ＹＥＳ）と判定すると、フローをステップＳ１６８に進行させる。なお、ｋ＞Ｐが成立するのは、特定領域に含まれるすべてのピクセルについて処理が終わり、ｋ＝Ｐ＋１になった場合である。
アプリケーションプロセッサ２２０は、ノイズ割合を求める（ステップＳ１６８）。ノイズ割合は、次の式（３）によって求められる。
Ｒ＝１００×Ｎ／Ｐ （３）
すなわち、ノイズ割合は、すべての画素の数Ｐに対する、ノイズの生じている画素数Ｎの割合を百分率で表したものである。
以上により、ステップＳ１６０におけるノイズ割合が求められる。
図１７は、振幅データ割当部２２５によって特定領域に割り当てられた振幅データを示す図である。
特定領域のピクセルは、図１０に示すＸＹ座標を用いて表される。図１７には、Ｘ軸方向において１列目、２列目、３列目で、Ｙ軸方向において１行目のピクセルに割り当てられる振幅データ（電圧値）を示す。
なお、Ｘ軸方向において１列目とは、Ｘ軸方向において原点Ｏに最も近い列を表す。また、Ｙ軸方向において１行目とは、Ｙ軸方向において原点Ｏに最も近い行を表す。図１７に示すデータは、特定領域の原点に最も近い一部のピクセルに与えられる振幅値を示しており、Ｘ軸方向及びＹ軸方向にさらにデータを有する。
なお、振幅データは、光沢物体用の振幅データと、非光沢物体用の振幅データとをメモリ２５０に格納しておき、特定領域の各ピクセルに振幅データ割当部２２５が振幅データを割り当てる際に読み出せばよい。
図１８は、メモリ２５０に格納する光沢物体用の振幅データと、非光沢物体用の振幅データとを示す図である。
図１８では、一例として、光沢物体用の振幅データは１．０（Ｖ）に設定されており、非光沢物体用の振幅データは０．５（Ｖ）に設定されている。なお、振幅データは、特定領域のピクセルによって異なる値に設定されてもよい。例えば、ぬいぐるみ１（図８参照）のように、表面に凹凸がある場合には、一定のピクセル数おきに、振幅データが周期的に変化するようにしてもよい。このような振幅データを特定領域に割り当てれば、ぬいぐるみ１の表面の触感をより忠実に再現することができる。
図１９は、メモリ２５０に格納されるデータを示す図である。
図１９に示すデータは、アプリケーションの種類を表すデータと、特定領域の座標値を表す領域データと、振動パターンを表すパターンデータとを関連付けたデータである。
アプリケーションの種類を表すデータとして、アプリケーションＩＤ(Identification)を示す。アプリケーションＩＤは、例えば、振動データを関連付ける特定領域毎に割り振ればよい。すなわち、例えば、ぬいぐるみ１（図８参照）の特定領域と、金属の置物２（図８参照）の特定領域とでは、アプリケーションＩＤが異なるようにすればよい。
また、領域データとして、特定領域の座標値を表す式f1~f4を示す。式f1~f4は、例えば、画像１Ｂと２Ｂに含まれる特定領域（図８の第３ステップ参照）のような特定領域の座標を表す式である。また、振動パターンを表すパターンデータとして、Ｐ１〜Ｐ４を示す。パターンデータＰ１〜Ｐ４は、特定領域内の各ピクセルについて、図１８に示す振幅データが割り当てられたデータである。
次に、図２０を用いて、実施の形態の電子機器１００の駆動制御部２４０が実行する処理について説明する。
図２０は、実施の形態の電子機器１００の駆動制御部２４０が実行する処理を示すフローチャートである。
電子機器１００のＯＳ（Operating System）は、所定の制御周期毎に電子機器１００を駆動するための制御を実行する。このため、駆動制御部２４０は、所定の制御周期毎に、図２０に示すフローを所定の制御周期毎に繰り返し実行する。
駆動制御部２４０は、電子機器１００の電源がオンにされることにより、処理をスタートさせる。
駆動制御部２４０は、現在のアプリケーションの種類に応じて、振動パターンと関連付けられた領域データを取得する（ステップＳ１）。
駆動制御部２４０は、移動速度が所定の閾値速度以上であるか否かを判定する（ステップＳ２）。移動速度は、ベクトル演算によって算出すればよい。なお、閾値速度は、所謂フリック操作、スワイプ操作、又はドラッグ操作等のように指先を移動させながら操作入力を行う際における指先の移動速度の最低速度として設定すればよい。このような最低速度は、実験結果に基づいて設定してもよく、タッチパネル１５０の分解能等に応じて設定してもよい。
駆動制御部２４０は、ステップＳ２で移動速度が所定の閾値速度以上であると判定した場合は、現在の位置データが表す座標が、ステップＳ１で求めた領域データが表す特定領域の中になるか否かを判定する（ステップＳ３）。
駆動制御部２４０は、現在の位置データが表す座標が、ステップＳ１で求めた領域データが表す特定領域の中にあると判定する場合は、現在の位置データが表す座標に対応する振動パターンを図１９に示すデータから求める（ステップＳ４）。
駆動制御部２４０は、振幅データ出力する（ステップＳ５）。これにより、振幅変調器３２０において、正弦波発生器３１０から出力される正弦波の振幅が変調されることによって駆動信号が生成され、振動素子１４０が駆動される。
一方、ステップＳ２で移動速度が所定の閾値速度以上ではないと判定した場合（Ｓ２：ＮＯ）と、ステップＳ３で現在の座標が、ステップＳ１で求めた領域データが表す特定領域の中にないと判定した場合は、駆動制御部２４０は、振幅値をゼロに設定する（ステップＳ６）。
この結果、駆動制御部２４０は、振幅値がゼロの振幅データが出力され、振幅変調器３２０において、正弦波発生器３１０から出力される正弦波の振幅がゼロに変調された駆動信号が生成される。このため、この場合は、振動素子１４０は駆動されない。
図２１は、実施の形態１の電子機器１００の動作例を示す図である。
図２１において、横軸は時間軸を表し、縦軸は振幅データの振幅値を表す。また、ここでは、利用者がトップパネル１２０の表面１２０Ａに沿って指先を移動させる速度は略一定であることとする。また、ディスプレイパネル１６０には、光沢のある物体が表示されており、利用者は、光沢のある物体の画像をなぞる操作を行う。
トップパネル１２０の特定領域の外に触れた指先を、時刻ｔ１において利用者が左方向に移動し始めたとする。そして、時刻ｔ２において、指先が光沢のある物体が表示される特定領域内に入ると、駆動制御部２４０は、振動素子１４０を振動する。
このときの振動パターンは、振幅がＡ１１であり、指先が特定領域内で移動している間は、振動が連続する駆動パターンである。
時刻ｔ３で利用者の指先が特定領域の外に出ると、駆動制御部２４０は、振幅値をゼロに設定する。このため、時刻ｔ３の直後に振幅がゼロになる。
このように、指先が特定領域内で移動している間は、駆動制御部２４０は、一例として、振幅が一定値（Ａ１１）の振幅データを出力する。このため、利用者が特定領域に表示される物体の画像に触れながら指先を移動している間は、利用者の指先に掛かる動摩擦力は低下し、利用者に指先がつるつると滑る感覚を提供することができ、利用者は光沢のある物体の触感を得ることができる。なお、光沢のない物体の場合は、振幅が小さくなるため、触感が弱くなる。例えば、ぬいぐるみ１（図８参照）の場合は、ふわふわした柔らかい触感が提供される。
図２２は、電子機器１００の利用シーンを示す図である。
特定領域に振幅データを割り当てた後に、利用者は、電子機器１００のディスプレイパネル１６０に骸骨の形をした金属の置物２の画像２Ａを表示し、トップパネル１２０を指でなぞると、金属の置物２が表示されている特定領域以外では、振動素子１４０（図２、３、７参照）が振動されないため、スクイーズ効果は生じない。
利用者の指先が、金属の置物２が表示されている特定領域の内部で移動すると、上述のように特定領域に割り当てられた振幅データによって強度が変調された駆動信号によって振動素子１４０が駆動される。
この結果、利用者は、金属の置物２が表示されている特定領域の内部で指先を移動させると、スクイーズ効果によってつるつるした触感を得ることができる。
すなわち、金属の置物２が表示されている特定領域以外では、短い矢印で示すように、利用者の指先はゆっくりと移動し、金属の置物２が表示されている特定領域の内部では、長い矢印で示すように利用者の指先が速い速度で移動する。
また、ディスプレイパネル１６０にぬいぐるみ１（図８参照）を表示して、ぬいぐるみ１が表示されている特定領域の内部で移動すると、金属の置物２よりも小さい振幅データによって強度が変調された駆動信号によって振動素子１４０が駆動される。このため、利用者は、ぬいぐるみ１を触っているようなふわふわした触感を得ることができる。
以上、実施の形態１によれば、光沢の有無に応じた触感を提供することができる電子機器１００と、駆動制御方法とを提供することができる。
なお、特定領域に割り当てる振幅データは、利用者が自由に設定できるようにしてもよい。この場合は、利用者の好みに応じた様々な触感を提供することができる。
また、以上では、カメラ１８０から取得したカラー画像に対して画像処理を行うことにより、特定領域の画像を取得する形態について説明した。しかしながら、電子機器１００は、カメラ１８０を含まずに、赤外線カメラ１９０で赤外線画像を取得し、上述したカラー画像の代わりに、赤外線画像に対して画像処理を行うことにより、特定領域の画像を取得してもよい。赤外線画像とは、被写体に赤外線を照射し、反射光の強度を画素値にした画像であり、白黒で表される画像である。
この場合には、電子機器１００のディスプレイパネル１６０に赤外線画像を表示すればよい。
また、カメラ１８０から取得したカラー画像に対して画像処理を行うことによって特定領域の画像を取得する場合に、赤外線カメラ１９０で取得した赤外線画像をディスプレイパネル１６０に表示してもよい。
また、これとは逆に、赤外線カメラ１９０で取得した赤外線画像に対して画像処理を行うことによって特定領域の画像を取得する場合に、カメラ１８０から取得したカラー画像をディスプレイパネル１６０に表示してもよい。
また、カメラ１８０で取得する画像は、カラー画像ではなく白黒の画像であってもよい。
＜実施の形態２＞
実施の形態２は、ステップＳ１００（図１２参照）における閾値の設定方法が実施の形態１と異なる。それ以外は、実施の形態１の電子機器１００と同様であるため、同様の構成要素には同一符号を付し、その説明を省略する。
図２３は、実施の形態２の電子機器１００が振幅データを割り当てるために実行する処理を表すフローチャートを示す図である。図２３に示す処理は、アプリケーションプロセッサ２２０によって実行される。
図２３に示すフローのうち、ステップＳ１０１Ａ〜Ｓ１０８Ａと、ステップＳ１０１Ｂ〜Ｓ１０８Ｂとは、図１３に示すステップＳ１０１Ａ〜Ｓ１０８Ａと、ステップＳ１０１Ｂ〜Ｓ１０８Ｂと同様である。
ただし、ステップＳ１０１Ａでは、光沢領域のデータの数ｘ１を０（ゼロ）に設定する処理が追加されている。また、ステップＳ１０１Ｂでは、非光沢領域のデータの数ｙ１を０（ゼロ）に設定する処理が追加されている。なお、ｘ１、ｙ１はともに２以上の整数である。
また、ステップＳ１０７ＡとＳ１０８Ａとの間には、ステップＳ２０８Ａが挿入されている。また、ステップＳ１０８ＡとＳ１０１Ｂとの間には、ステップＳ２０９Ａが挿入されている。
また、ステップＳ１０７ＢとＳ１０８Ｂとの間には、ステップＳ２０８Ｂが挿入されている。また、ステップＳ１０８Ｂの後には、ステップＳ２０９Ｂ、Ｓ２１０Ａ、Ｓ２１０Ｂが設けられている。
ここでは、一例として、判別分析法を用いて、アプリケーションプロセッサ２２０が閾値を自動的に決定する。判別分析法とは、ヒストグラムを２つのクラスに分割する手法である。このため、図２３に加えて、図２４を用いて説明を行う。図２４は、ノイズ割合の確率分布を示す図である。
実施の形態２では、アプリケーションプロセッサ２２０は、光沢のある物体（以下、光沢物体）の数ｍ（ｍは１以上の整数）を１に設定するとともに、光沢領域のデータの数ｘ１を０（ゼロ）に設定する（ステップＳ１０１Ａ）。１個目の光沢物体についてカラー画像を取得するための準備である。
次いで、アプリケーションプロセッサ２２０は、実施の形態１のステップＳ１０２ＡからステップＳ１０７Ａと同様の処理を行う。
アプリケーションプロセッサ２２０は、ステップＳ１０７Ａで光沢領域のデータを採用すると、光沢領域のデータの数ｘ１をインクリメントする（ステップＳ２０８Ａ）。
次いで、アプリケーションプロセッサ２２０は、ステップＳ１０７Ａで採用した光沢領域のデータをメモリ２５０に保存する（ステップＳ１０８Ａ）。
次いで、アプリケーションプロセッサ２２０は、光沢領域のデータの数ｘ１が所定の数ｘ２に達したかを判定する（ステップＳ２０９Ａ）。所定の数ｘ２は、予め設定された、必要な光沢領域のデータの数である。光沢領域のデータの数ｘ２の設定は、利用者が決めてもよいし、電子機器１００に予め設定されていてもよい。
アプリケーションプロセッサ２２０は、光沢領域のデータの数ｘ１が所定の数ｘ２に達した（Ｓ２０９Ａ：ＹＥＳ）と判定すると、フローをステップＳ１０１Ｂに進行させる。
また、アプリケーションプロセッサ２２０は、光沢領域のデータの数ｘ１が所定の数ｘ２に達していない（Ｓ２０９Ａ：ＮＯ）と判定すると、フローをステップＳ１０６Ａにリターンする。この結果、光沢領域のデータの数ｘ１が所定の数ｘ２に達するまで処理が繰り返される。
アプリケーションプロセッサ２２０は、光沢のない物体（以下、非光沢物体）の数ｎ（ｎは１以上の整数）を１に設定するとともに、非光沢領域のデータの数ｙ１を０（ゼロ）に設定する（ステップＳ１０１Ｂ）。１個目の非光沢物体についてカラー画像を取得するための準備である。
次いで、アプリケーションプロセッサ２２０は、実施の形態１のステップＳ１０２ＢからステップＳ１０７Ｂと同様の処理を行う。
アプリケーションプロセッサ２２０は、ステップＳ１０７Ｂで非光沢領域のデータを採用すると、非光沢領域のデータの数ｙ１をインクリメントする（ステップＳ２０８Ｂ）。
次いで、アプリケーションプロセッサ２２０は、ステップＳ１０７Ｂで採用した光沢領域のデータをメモリ２５０に保存する（ステップＳ１０８Ｂ）。
次いで、アプリケーションプロセッサ２２０は、非光沢領域のデータの数ｙ１が所定の数ｙ２に達したかを判定する（ステップＳ２０９Ｂ）。所定の数ｙ２は、予め設定された、必要な非光沢領域のデータの数である。非光沢領域のデータの数ｙ２の設定は、利用者が決めてもよいし、電子機器１００に予め設定されていてもよい。
アプリケーションプロセッサ２２０は、非光沢領域のデータの数ｙ１が所定の数ｙ２に達した（Ｓ２０９Ｂ：ＹＥＳ）と判定すると、フローをステップＳ２１０Ａに進行させる。
また、アプリケーションプロセッサ２２０は、非光沢領域のデータの数ｙ１が所定の数ｙ２に達していない（Ｓ２０９Ｂ：ＮＯ）と判定すると、フローをステップＳ１０６Ｂにリターンする。この結果、光沢領域のデータの数ｙ１が所定の数ｙ２に達するまで処理が繰り返される。
アプリケーションプロセッサ２２０は、ステップＳ２０９Ｂの処理を終えると、ノイズ割合の確率分布を作成し、分離度αを求める（ステップＳ２１０Ａ）。
アプリケーションプロセッサ２２０は、確率分布に対して、判別分析法により、図２４に示す通り、まず、仮の閾値Ｔｈを設定し、非光沢領域データのサンプル数ω１、ノイズ割合の平均ｍ１、ノイズ割合の分散σ１と、光沢領域データのサンプル数ω２、ノイズ割合の平均ｍ２、ノイズ割合の分散σ２とを求める。
なお、ここでは、光沢領域データとして採用された複数のデータの群を光沢領域データクラスと称し、非光沢領域データとして採用された複数のデータの群を非光沢領域データクラスと称す。
次に、アプリケーションプロセッサ２２０は、これらの値を用いて、式（４）、（５）に従って、クラス内分散とクラス間分散を求める。そして、クラス内分散とクラス間分散から、式（６）に従って分離度αを求める。
Figure 0006500986
 アプリケーションプロセッサ２２０は、分離度αを求める計算を、仮の閾値Ｔｈを動かしながら繰り返す。
アプリケーションプロセッサ２２０は、最終的に、分離度αを最大化する仮の閾値ＴｈをステップＳ１００で用いる閾値として決定する（ステップＳ２１０Ｂ）。
以上により、ステップＳ１００で用いる閾値を決定することができる。
また、判別分析法の代わりにモード法を用いてもよい。モード法とは、判別分析法と同様で、ヒストグラムを２つのクラスに分割する手法である。
モード法を用いる場合は、図２３に示すステップＳ２１０Ｂの代わりに、次のような処理を行う。
図２５は、モード法により閾値を決定する方法を示す図である。
まず、確率分布に含まれる２つの極大値を探索する。ここでは、極大値１と極大値２が求められたとする。
次に、極大値１と極大値２の間の極小値を探索し、極小値となる点をステップＳ１００で用いる閾値に決定する。
＜実施の形態３＞
実施の形態３は、ステップＳ１３０（図１２参照）における特定領域の画像の取得方法が実施の形態１と異なる。それ以外は、実施の形態１の電子機器１００と同様であるため、同様の構成要素には同一符号を付し、その説明を省略する。
図２６は、実施の形態３による特定領域の画像の取得方法の処理を示すフローチャートである。図２７は、図２６に示すフローによって行われる画像処理を示す図である。
アプリケーションプロセッサ２２０は、カメラ１８０を用いて背景画像を取得する（ステップＳ３３１）。例えば、図２７の（Ａ）に示すように、物体７（図２７の（Ｂ）参照）を配置しない状態で、背景のみを視野に入れてカメラ１８０で撮影を行うことにより、背景画像８Ａを取得する。
次に、アプリケーションプロセッサ２２０は、カメラ１８０を用いて物体７の画像を取得する（ステップＳ３３２）。例えば、図２７の（Ｂ）に示すように、物体７を配置した状態で、物体７と背景とを視野に入れてカメラ１８０で撮影を行うことにより、物体画像８Ｂを取得する。
次に、アプリケーションプロセッサ２２０は、物体画像８Ｂの画素値から背景画像８Ａの画素値を減算して、物体７の差分画像８Ｃを取得する（ステップＳ３３３）。図２７の（Ｃ）に示すように、物体画像８Ｂの画素値から背景画像８Ａの画素値を減算して、物体７についての差分画像８Ｃを取得する。
次に、アプリケーションプロセッサ２２０は、差分画像８Ｃを２値化して、特定領域の画像８Ｄを取得する（ステップＳ３３４）。特定領域の画像８Ｄは、図２７の（Ｄ）に示すように、物体７の表示領域８Ｄ１（白い領域）内に'１'の値を持ち、物体７の表示領域８Ｄ１以外の領域８Ｄ２（黒い領域）内に'０'の値を持つデータである。表示領域８Ｄ１は、特定領域である。
２値化を行う際には、差分画像８Ｃに対して、'０'に限りなく近い値の閾値を用いて、画素値がある表示領域８Ｄ１と、画素値がない領域８Ｄ２とに分割すればよい。
以上のような処理を行うことにより、特定領域を求めてもよい。
＜実施の形態４＞
図２８は、実施の形態４の電子機器４００を示す側面図である。図２８は、図３に対応する側面を示す図である。
実施の形態４の電子機器４００は、実施の形態１の電子機器１００のように振動素子１４０を用いて触感を提供するのではなく、トップパネル１２０とタッチパネル１５０との間に配設される透明な電極板４１０を利用して触感を提供する。なお、トップパネル１２０の表面１２０Ａと反対側の面は、絶縁面である。トップパネル１２０がガラス板の場合には、表面１２０Ａと反対側の面に絶縁コーティングを施してもよい。
電極板４１０に電圧を印加すると、トップパネル１２０の表面１２０Ａには電荷が生じる。ここで、一例として、トップパネル１２０の表面１２０Ａに負の電荷が生じたとする。
このような状態で、利用者が指先を近づけると、指先に正の電荷が誘導されるため、表面１２０Ａに負の電荷と指先に正の電荷とが引き合うことによって静電気力が発生し、指先にかかる摩擦力が増大する。
このため、利用者の指先がトップパネル１２０の表面に触れる位置（操作入力の位置）が特定領域の中にあって、かつ、操作入力の位置が移動しているときには、電極板４１０に電圧を印加しないようにする。電極板４１０に電圧を印加して静電気力が発生している場合よりも、利用者の指先にかかる摩擦力を低減するためである。
一方、操作入力の位置が特定領域以外の領域にあって、かつ、操作入力の位置が移動しているときには、電極板４１０に電圧を印加する。電極板４１０に電圧を印加して静電気力が発生させることにより、静電気力が発生していない場合よりも、利用者の指先にかかる摩擦力を増大させるためである。
このようにすれば、実施の形態１の電子機器１００と同様に、光沢の有無に応じた触感を提供することができる。
以上、本発明の例示的な実施の形態の電子機器、及び、駆動制御方法について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
１ ぬいぐるみ
２ 金属の置物
１００ 電子機器
１１０ 筐体
１２０ トップパネル
１３０ 両面テープ
１４０ 振動素子
１５０ タッチパネル
１６０ ディスプレイパネル
１７０ 基板
１８０ カメラ
１９０ 赤外線カメラ
１９１ 赤外線光源
２００ 制御部
２２０ アプリケーションプロセッサ
２２１ カメラ制御部
２２２ 画像処理部
２２３ 距離画像抽出部
２２４ 光沢判定部
２２５ 振幅データ割当部
２３０ 通信プロセッサ
２４０ 駆動制御部
２５０ メモリ
３１０ 正弦波発生器
３２０ 振幅変調器
４１０ 電極板

Claims (11)

  1. 被写体を含む視野の画像と距離画像を取得する撮像部と、
    前記画像と、前記距離画像とに基づき、前記被写体の距離画像を抽出する距離画像抽出部と、
    前記被写体の距離画像に含まれるデータの欠落部に基づき、前記被写体が光沢のある物体であるかどうかを判定する光沢判定部と、
    前記画像を表示する表示部と、
    前記表示部の表示面側に配設され、操作面を有するトップパネルと、
    前記操作面に行われる操作入力の位置を検出する位置検出部と、
    前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動され、前記操作面に超音波帯の固有振動を発生させる振動素子と、
    前記光沢判定部によって光沢のある物体であると判定された前記被写体の表示領域に、前記駆動信号の振幅データとして第１振幅を割り当て、前記光沢判定部によって光沢のない物体であると判定された前記被写体の表示領域に、前記駆動信号の振幅データとして前記第１振幅よりも小さい第２振幅を割り当てる振幅データ割当部と、
    前記光沢判定部によって光沢のある物体であると判定される前記被写体が前記表示部に表示されている領域内で前記操作面への操作入力が行われると、前記操作入力の位置の時間的変化度合に応じて前記第１振幅が割り当てられた前記駆動信号で前記振動素子を駆動し、前記光沢判定部によって光沢のない物体であると判定される前記被写体が前記表示部に表示されている領域内で前記操作面への操作入力が行われると、前記操作入力の位置の時間的変化度合に応じて前記第２振幅が割り当てられた前記駆動信号で前記振動素子を駆動する、駆動制御部と
    を含む、電子機器。
  2. 前記駆動制御部は、前記被写体が前記表示部に表示されている領域以外で前記操作面への操作入力が行われると、前記振動素子を駆動しない、請求項１記載の電子機器。
  3. 前記光沢判定部は、前記データの欠落部が所定の閾値以上の場合に、前記被写体が光沢のある物体であると判定する、請求項１又は２記載の電子機器。
  4. 前記第１振幅及び前記第２振幅を表す振幅データを格納するメモリをさらに含み、
    前記振幅データ割当部は、前記メモリに格納される前記第１振幅及び前記第２振幅を前記振幅データとして割り当てる、請求項１乃至３のいずれか一項記載の電子機器。
  5. 前記振幅データ割当部は、利用者による前記操作入力の内容に基づいて、前記第１振幅又は前記第２振幅を設定する、請求項１乃至３のいずれか一項記載の電子機器。
  6. 前記第２振幅は、前記光沢判定部によって光沢のない物体であると判定された前記被写体の表示領域内の位置によって異なる、請求項１乃至５のいずれか一項記載の電子機器。
  7. 前記撮像部は、
    前記画像を取得する第１撮像部と、
    前記距離画像を取得する第２撮像部と
    を有する、請求項１乃至６のいずれか一項記載の電子機器。
  8. 前記第１撮像部と前記第２撮像部は、近接して並べて配置される、請求項７記載の電子機器。
  9. 前記第１撮像部は、前記画像としてカラー画像を取得するカメラである、請求項７又は８記載の電子機器。
  10. 前記撮像部は、前記画像として赤外線画像を取得するとともに、前記距離画像を取得する赤外線カメラである、請求項１乃至６のいずれか一項記載の電子機器。
  11. 被写体を含む視野の画像と距離画像を取得する撮像部と、前記画像と、前記距離画像とに基づき、前記被写体の距離画像を抽出する距離画像抽出部と、前記被写体の距離画像に含まれるデータの欠落部に基づき、前記被写体が光沢のある物体であるかどうかを判定する光沢判定部と、前記画像を表示する表示部と、前記表示部の表示面側に配設され、操作面を有するトップパネルと、前記操作面に行われる操作入力の位置を検出する位置検出部と、前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動され、前記操作面に超音波帯の固有振動を発生させる振動素子とを含む電子機器の前記振動素子を駆動する、駆動制御方法であって、
    コンピュータが、
    前記光沢判定部によって光沢のある物体であると判定された前記被写体の表示領域に、前記駆動信号の振幅データとして第１振幅を割り当て、前記光沢判定部によって光沢のない物体であると判定された前記被写体の表示領域に、前記駆動信号の振幅データとして前記第１振幅よりも小さい第２振幅を割り当て、
    前記光沢判定部によって光沢のある物体であると判定される前記被写体が前記表示部に表示されている領域内で前記操作面への操作入力が行われると、前記操作入力の位置の時間的変化度合に応じて前記第１振幅が割り当てられた前記駆動信号で前記振動素子を駆動し、前記光沢判定部によって光沢のない物体であると判定される前記被写体が前記表示部に表示されている領域内で前記操作面への操作入力が行われると、前記操作入力の位置の時間的変化度合に応じて前記第２振幅が割り当てられた前記駆動信号で前記振動素子を駆動する、駆動制御方法。
JP2017524524A 2015-06-25 2015-06-25 電子機器、及び、駆動制御方法 Expired - Fee Related JP6500986B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/068370 WO2016208036A1 (ja) 2015-06-25 2015-06-25 電子機器、及び、駆動制御方法

Publications (2)

Publication Number Publication Date
JPWO2016208036A1 JPWO2016208036A1 (ja) 2018-03-29
JP6500986B2 true JP6500986B2 (ja) 2019-04-17

Family

ID=57585268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524524A Expired - Fee Related JP6500986B2 (ja) 2015-06-25 2015-06-25 電子機器、及び、駆動制御方法

Country Status (4)

Country Link
US (1) US20180088698A1 (ja)
JP (1) JP6500986B2 (ja)
CN (1) CN107710114A (ja)
WO (1) WO2016208036A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102591807B1 (ko) * 2016-11-21 2023-10-23 한국전자통신연구원 촉감자극을 생성하는 방법 및 장치
US10977910B1 (en) * 2017-09-06 2021-04-13 Apple Inc. Tactile outputs for input structures of electronic devices
CN110007841B (zh) * 2019-03-29 2021-05-18 联想(北京)有限公司 一种控制方法和电子设备
JP7054794B2 (ja) * 2019-12-09 2022-04-15 パナソニックＩｐマネジメント株式会社 入力装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06300543A (ja) * 1993-04-19 1994-10-28 Toshiba Eng Co Ltd 光沢物抽出装置
JP2003308152A (ja) * 2002-04-17 2003-10-31 Nippon Hoso Kyokai <Nhk> 触感提示装置
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
JP5541653B2 (ja) * 2009-04-23 2014-07-09 キヤノン株式会社 撮像装置及びその制御方法
CN103973971B (zh) * 2013-01-30 2017-10-13 奥林巴斯株式会社 信息设备以及信息设备的控制方法
US9158379B2 (en) * 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
KR101550601B1 (ko) * 2013-09-25 2015-09-07 현대자동차 주식회사 촉감 피드백을 제공하는 곡면 터치 디스플레이 장치 및 그 방법
CN104662495B (zh) * 2013-09-26 2017-06-23 富士通株式会社 驱动控制装置、电子设备以及驱动控制方法
WO2015121971A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 触感提供装置、及び、システム
CN104199547B (zh) * 2014-08-29 2017-05-17 福州瑞芯微电子股份有限公司 一种虚拟触屏操作装置、系统及方法

Also Published As

Publication number Publication date
US20180088698A1 (en) 2018-03-29
JPWO2016208036A1 (ja) 2018-03-29
WO2016208036A1 (ja) 2016-12-29
CN107710114A (zh) 2018-02-16

Similar Documents

Publication Publication Date Title
JP6500986B2 (ja) 電子機器、及び、駆動制御方法
US20220276713A1 (en) Touch Display Device with Tactile Feedback
CN104714733B (zh) 图像处理设备及触感控制方法
KR101516926B1 (ko) 구동 제어 장치, 전자 기기 및 구동 제어 방법
JP6234364B2 (ja) 電気振動型タクタイル・ディスプレイ
CN103649900B (zh) 边缘手势
JP6013583B2 (ja) 有効インターフェース要素の強調のための方式
US20120326995A1 (en) Virtual touch panel system and interactive mode auto-switching method
CN108431734B (zh) 用于非触摸式表面交互的触觉反馈
US20160349846A1 (en) Electronic device, input apparatus, and drive controlling method
US20120098753A1 (en) System and method for providing multi-dimensional touch input vector
CN111475059A (zh) 基于近距离传感器和图像传感器的手势检测
CN109725724B (zh) 有屏设备的手势控制方法和装置
CN107430455A (zh) 驱动控制装置、电子设备、驱动控制程序以及驱动控制方法
Zhang et al. Multidimensional tactile sensor with a thin compound eye-inspired imaging system
JP6819783B2 (ja) 駆動制御装置、電子機器、及び駆動制御方法
JP6589995B2 (ja) 電子機器、及び、電子機器の駆動制御方法
JP2015080090A (ja) 電気触覚提示装置およびプログラム並びに記録媒体
JP2017174210A (ja) 電子機器、及び、電子機器の駆動方法
WO2016178289A1 (ja) 電子機器及び振動制御プログラム
AU2015202408B2 (en) Drive controlling apparatus, electronic device and drive controlling method
JP6512299B2 (ja) 駆動制御装置、電子機器、駆動制御プログラム、及び駆動制御方法
Nakhate et al. Touchless Screen Technology
Blundell 3D Displays and Spatial Interaction: Exploring the Science, Art, Evolution and Use of

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190304

R150 Certificate of patent or registration of utility model

Ref document number: 6500986

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees