JP6627603B2 - 電子機器、及び、電子機器の駆動方法 - Google Patents

Description

本発明は、電子機器、及び、電子機器の駆動方法に関する。

従来より、原稿上の文書画像を読み取り画像データを出力する読取り手段と、前記読取り手段により読み取られた前記画像データを解析して前記原稿画像中から任意サイズの矩形領域を抽出する抽出手段と、前記抽出手段により抽出される各矩形領域の形態に基づいて異なる属性データを付加する付加手段とを有することを特徴とするデータ処理装置がある。

前記付加手段により属性データが付加された各矩形領域内の画像データを解析して文字情報を認識する認識手段と、各領域に対して前記認識手段により認識された文字情報および前記属性データを付加して前記画像データとともにメモリ資源に保存する保存手段と、をさらに有することを特徴とする。

また、文字情報を音声として出力する出力手段と、前記メモリ資源に保存された画像データに対して検索すべき領域の属性を指定する第１の指定手段と、前記第１の指定手段により指定された属性に基づく領域が前記メモリ資源から選択されたかどうかを判定する第１の判定手段と、をさらに有することを特徴とする。また、前記第１の判定手段の判定結果に基づいて前記出力手段による音声読み上げを制御する第１の制御手段をさらに有することを特徴とする（例えば、特許文献１参照）。

特開平１１−０８５４５７号公報

従来のデータ処理装置は、原稿上の文書画像を読取り、解析し、矩形領域を利用して文字情報を認識し、メモリ資源に保存する。そして、所定の条件を満たした場合に、文字情報を音声として出力する出力手段による音声読み上げを制御する。

従って、従来のデータ処理装置は、原稿画像全体のイメージを表示させなくても、短時間の内に原稿画像の内容を音声でオペレータに確認させることができる。

ところで、従来のデータ処理装置は、原稿画像の内容を音声で確認させることはできるが、単語等の文字情報の画像の中における文字等の位置を利用者に認識させることはできない。

このため、従来のデータ処理装置は、画像の中における文字等の位置を認識することが前提になる用途には利用できない。

そこで、音声と振動で文字又は数字の表示領域を判別できる電子機器、及び、電子機器の駆動方法を提供することを目的とする。

本発明の実施の形態の電子機器は、所定の電化製品を操作する電子機器であって、表示部と、前記表示部の表示面側に配設され、操作面を有するトップパネルと、前記操作面に行われる操作入力の位置を検出する位置検出部と、前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動されることにより、前記操作面に前記固有振動を発生させる振動素子と、前記電化製品に動作指令を送信する送信部と、音声出力部と、前記電化製品の操作部の画像を撮像する撮像部と、前記撮像部が撮像した前記操作部の画像に含まれる文字を認識する文字認識部と、電化製品の操作内容を表す所定の単語又は数字と、前記所定の単語又は数字が表す操作内容と、前記所定の単語又は数字又は前記操作内容を表す音声案内とを関連付けた制御データを格納する第１格納部と、前記文字認識部によって認識された文字と、前記第１格納部に格納された前記制御データに含まれる単語又は数字とを照合する照合部と、前記表示部に、前記照合が成立した単語又は数字を表すＧＵＩ部品を表示する表示制御部と、前記位置検出部によって検出される前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記振動素子を前記駆動信号で駆動する駆動制御部と、前記位置検出部によって検出される前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記音声案内を前記音声出力部に出力させる音声案内制御部とを含み、前記制御データによって関連付けられる前記所定の単語又は数字には、前記照合の成立が必須の単語又は数字があり、前記必須の単語又は数字についての前記照合が成立しない場合は、前記駆動制御部は前記振動素子を駆動せず、前記音声案内制御部は前記音声出力部に前記音声案内を出力させない。

音声と振動で文字又は数字の表示領域を判別できる電子機器、及び、電子機器の駆動方法を提供することができる。

実施の形態の電子機器１００と電子機器１００で操作される洗濯機１０とを示す斜視図である。 実施の形態の電子機器を示す平面図である。 図２に示す電子機器のＡ−Ａ矢視断面を示す図である。 超音波帯の固有振動によってトップパネルに生じる定在波のうち、トップパネル１２０の短辺に平行に形成される波頭を示す図である。 電子機器のトップパネルに生じさせる超音波帯の固有振動により、操作入力を行う指先に掛かる動摩擦力が変化する様子を説明する図である。 実施の形態の電子機器１００の構成を示す図である。 電子機器１００の利用シーンを説明する図である。 電子機器１００の利用シーンを説明する図である。 電子機器１００の利用シーンを説明する図である。 電子機器１００の利用シーンを説明する図である。 電子機器１００の利用シーンを説明する図である。 電子機器１００が利用する制御データの構造を示す図である。 電子機器１００のアプリケーションプロセッサ２２０が実行する処理を示すフローチャートである。 実施の形態の変形例による電子機器１００を示す図である。 図１４で説明する機能によって呼び出した電子機器１００の画面と、洗濯機１０を示す図である。 実施の形態の変形例による電子機器１００を示す図である。 実施の形態の変形例による画像の取得方法を説明する図である。 実施の形態の変形例による電子機器１００を示す図である。 実施の形態の変形例による電子機器１００を示す図である。 実施の形態の変形例による電子機器１００の利用方法を説明する図である。 実施の形態の変形例による電子機器１００の利用方法を説明する図である。

以下、本発明の電子機器、及び、電子機器の駆動方法を適用した実施の形態について説明する。

＜実施の形態＞
図１は、実施の形態の電子機器１００と電子機器１００で操作される洗濯機１０とを示す斜視図である。

洗濯機１０は、開閉部１０Ａと操作部１１を含む。図１には、洗濯機１０を上から見た状態で示す。開閉部１０Ａは、洗濯物を洗濯槽に出し入れする蓋が設けられている部分である。

操作部１１には、ボタン１１Ａ〜１１Ｈが設けられている。ボタン１１Ａは、電源を入れるための「入」ボタンであり、ボタン１１Ｂは、電源を切るための「切」ボタンである。ボタン１１Ｃは、水位を調整するための「水位」ボタンであり、ボタン１１Ｄは、工程を選択するための「工程」ボタンである。

ボタン１１Ｅは、コースを選択するための「コース」ボタンであり、ボタン１１Ｆは、予約運転を設定するための「予約」ボタンである。ボタン１１Ｇは、スタートさせるための「スタート」ボタンであり、ボタン１１Ｈは、ストップ（一時停止）させるための「ストップ」ボタンである。

ここでは、ボタン１１Ａ〜１１Ｈの操作内容を表すボタンが閉曲線で囲まれている形態について説明する。

電子機器１００は、一例として、タッチパネルを入力操作部とする、スマートフォン端末機、タブレット型コンピュータ、又は、携帯情報端末機である。電子機器１００の入力操作部１０１は、タッチパネルの下にディスプレイパネルが配設されており、ディスプレイパネルにＧＵＩ(Graphic User Interface)による様々なボタン１０２等（以下、ＧＵＩ操作部１０２と称す）が表示される。ＧＵＩ操作部１０２は、スライド式のスイッチ（スライダー）であってもよい。

電子機器１００の利用者は、通常、ＧＵＩ操作部１０２を操作するために、指先で入力操作部１０１に触れる。また、電子機器１００は、スピーカ１０３とカメラ１０４を有する。スピーカ１０３は、音声出力部の一例である。カメラ１０４は、撮像部の一例である。なお、図１では、電子機器１００のディスプレイパネル側にカメラ１０４を示すが、カメラ１０４は、ディスプレイパネルとは反対側にあってもよい。

次に、図２を用いて、電子機器１００の具体的な構成について説明する。

図２は、実施の形態の電子機器１００を示す平面図であり、図３は、図２に示す電子機器１００のＡ−Ａ矢視断面を示す図である。なお、図２及び図３では、図示するように直交座標系であるＸＹＺ座標系を定義する。

電子機器１００は、筐体１１０、トップパネル１２０、両面テープ１３０、振動素子１４０、タッチパネル１５０、ディスプレイパネル１６０、及び基板１７０を含む。

筐体１１０は、例えば、樹脂製であり、図３に示すように凹部１１０Ａに基板１７０、ディスプレイパネル１６０、及びタッチパネル１５０が配設されるとともに、両面テープ１３０によってトップパネル１２０が接着されている。

トップパネル１２０は、平面視で長方形の薄い平板状の部材であり、透明なガラス、又は、ポリカーボネートのような強化プラスティックで作製される。トップパネル１２０の表面（Ｚ軸正方向側の面）は、電子機器１００の利用者が操作入力を行う操作面の一例である。

トップパネル１２０は、Ｚ軸負方向側の面に振動素子１４０（以下、１４０）が接着され、平面視における四辺が両面テープ１３０によって筐体１１０に接着されている。なお、両面テープ１３０は、トップパネル１２０の四辺を筐体１１０に接着できればよく、図３に示すように矩形環状である必要はない。

トップパネル１２０のＺ軸負方向側にはタッチパネル１５０が配設される。トップパネル１２０は、タッチパネル１５０の表面を保護するために設けられている。なお、トップパネル１２０の表面に、さらに別なパネル又は保護膜等が設けられていてもよい。

トップパネル１２０は、Ｚ軸負方向側の面に振動素子１４０が接着された状態で、振動素子１４０が駆動されることによって振動する。実施の形態では、トップパネル１２０の固有振動周波数でトップパネル１２０を振動させて、トップパネル１２０に定在波を生じさせる。ただし、トップパネル１２０には振動素子１４０が接着されているため、実際には、振動素子１４０の重さ等を考慮した上で、固有振動周波数を決めることが好ましい。

振動素子１４０は、トップパネル１２０のＺ軸負方向側の面において、Ｘ軸負方向側において、Ｙ軸方向に伸延する長辺に沿って接着されている。振動素子１４０は、超音波帯の振動を発生できる素子であればよく、例えば、ピエゾ素子のような圧電素子を含むものを用いることができる。

ここで、振動素子１４０のうちのいずれか１つは、第１振動素子の一例であり、振動素子１４０のうちの他のいずれか１つは、第２振動素子の一例である。

振動素子１４０は、後述する駆動制御部から出力される駆動信号によって駆動される。振動素子１４０が発生する振動の振幅（強度）及び周波数は駆動信号によって設定される。また、振動素子１４０のオン／オフは駆動信号によって制御される。振動素子１４０のオン／オフは、互いに独立的に行われる。

なお、超音波帯とは、例えば、約２０ｋＨｚ以上の周波数帯をいう。実施の形態の電子機器１００では、振動素子１４０が振動する周波数は、トップパネル１２０の振動数と等しくなるため、振動素子１４０は、トップパネル１２０の固有振動数で振動するように駆動信号によって駆動される。これは、振動素子１４０をすべて駆動した場合と、いずれか２つを駆動した場合と、いずれか１つを駆動した場合とにおいてすべて同様である。

タッチパネル１５０は、ディスプレイパネル１６０の上（Ｚ軸正方向側）で、トップパネル１２０の下（Ｚ軸負方向側）に配設されている。タッチパネル１５０は、電子機器１００の利用者がトップパネル１２０に触れる位置（以下、操作入力の位置と称す）を検出する位置検出部の一例である。

タッチパネル１５０の下にあるディスプレイパネル１６０には、ＧＵＩによる様々なボタン等（以下、ＧＵＩ操作部と称す）が表示される。このため、電子機器１００の利用者は、通常、ＧＵＩ操作部を操作するために、指先でトップパネル１２０に触れる。

タッチパネル１５０は、利用者のトップパネル１２０への操作入力の位置を検出できる位置検出部であればよく、例えば、静電容量型又は抵抗膜型の位置検出部であればよい。ここでは、タッチパネル１５０が静電容量型の位置検出部である形態について説明する。タッチパネル１５０とトップパネル１２０との間に隙間があっても、静電容量型のタッチパネル１５０は、トップパネル１２０への操作入力を検出できる。

また、ここでは、タッチパネル１５０の入力面側にトップパネル１２０が配設される形態について説明するが、トップパネル１２０はタッチパネル１５０と一体的であってもよい。この場合、タッチパネル１５０の表面が図２及び図３に示すトップパネル１２０の表面になり、操作面を構築する。また、図２及び図３に示すトップパネル１２０を省いた構成であってもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、この場合には、操作面を有する部材を、当該部材の固有振動で振動させればよい。

また、タッチパネル１５０が静電容量型の場合は、トップパネル１２０の上にタッチパネル１５０が配設されていてもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、タッチパネル１５０が静電容量型の場合は、図２及び図３に示すトップパネル１２０を省いた構成であってもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、この場合には、操作面を有する部材を、当該部材の固有振動で振動させればよい。

ディスプレイパネル１６０は、例えば、液晶ディスプレイパネル又は有機ＥＬ(Electroluminescence)パネル等の画像を表示できる表示部であればよい。ディスプレイパネル１６０は、筐体１１０の凹部１１０Ａの内部で、図示を省略するホルダ等によって基板１７０の上（Ｚ軸正方向側）に設置される。

ディスプレイパネル１６０は、後述するドライバＩＣ(Integrated Circuit)によって駆動制御が行われ、電子機器１００の動作状況に応じて、ＧＵＩ操作部、画像、文字、記号、図形等を表示する。

基板１７０は、筐体１１０の凹部１１０Ａの内部に配設される。基板１７０の上には、ディスプレイパネル１６０及びタッチパネル１５０が配設される。ディスプレイパネル１６０及びタッチパネル１５０は、図示を省略するホルダ等によって基板１７０及び筐体１１０に固定されている。

基板１７０には、後述する駆動制御装置の他に、電子機器１００の駆動に必要な種々の回路等が実装される。

以上のような構成の電子機器１００は、トップパネル１２０に利用者の指が接触し、指先の移動を検出すると、基板１７０に実装される駆動制御部が振動素子１４０のうちの少なくとも１つを駆動し、トップパネル１２０を超音波帯の周波数で振動させる。この超音波帯の周波数は、トップパネル１２０と振動素子１４０とを含む共振系の共振周波数であり、トップパネル１２０に定在波を発生させる。

電子機器１００は、超音波帯の定在波を発生させることにより、トップパネル１２０を通じて利用者に触感を提供する。

次に、図４を用いて、トップパネル１２０に発生させる定在波について説明する。実施の形態の電子機器１００では、トップパネル１２０への操作入力の位置に応じて、振動素子１４０を駆動する。振動素子１４０は、上述のように、トップパネル１２０の裏面において、長辺に沿ってトップパネル１２０の端部に配設されている。

図４は、超音波帯の固有振動によってトップパネル１２０に生じる定在波のうち、トップパネル１２０の短辺に平行に形成される波頭を示す図であり、図４の（Ａ）は側面図、（Ｂ）は斜視図である。図４の（Ａ）、（Ｂ）では、図２及び図３と同様のＸＹＺ座標を定義する。なお、図４の（Ａ）、（Ｂ）では、理解しやすさのために、定在波の振幅を誇張して示す。また、図４の（Ａ）、（Ｂ）では、トップパネル１２０の１つの短辺に沿って、振動素子１４０と同様の１つの振動素子１４０を配置した場合に生じる定在波について説明する。トップパネル１２０の短辺は、図２でＸ軸方向に伸延する辺であり、Ｙ軸正方向側の短辺に沿って、トップパネル１２０の端部に１つの振動素子１４０Ｃを配置した場合に生じる定在波について説明する。

トップパネル１２０のヤング率Ｅ、密度ρ、ポアソン比δ、長辺寸法ｌ、厚さｔと、長辺方向に存在する定在波の周期数ｋとを用いると、トップパネル１２０の固有振動数（共振周波数）ｆは次式（１）、（２）で表される。定在波は１／２周期単位で同じ波形を有するため、周期数ｋは、０．５刻みの値を取り、０．５、１、１．５、２・・・となる。

なお、式（２）の係数αは、式（１）におけるｋ^２以外の係数をまとめて表したものである。

図４の（Ａ）、（Ｂ）に示す定在波は、一例として、周期数ｋが１０の場合の波形である。例えば、トップパネル１２０として、長辺の長さｌが１４０ｍｍ、短辺の長さが８０ｍｍ、厚さｔが０．７ｍｍのGorilla（登録商標）ガラスを用いる場合には、周期数ｋが１０の場合に、固有振動数ｆは３３．５［ｋＨｚ］となる。この場合は、周波数が３３．５［ｋＨｚ］の駆動信号を用いればよい。

トップパネル１２０は、平板状の部材であるが、振動素子１４０を駆動して超音波帯の固有振動を発生させると、図４の（Ａ）、（Ｂ）に示すように撓むことにより、表面に定在波が生じる。

なお、ここでは、１つの振動素子１４０がトップパネル１２０のＺ軸負方向側の面において、Ｙ軸正方向側において、Ｘ軸方向に伸延する短辺に沿って接着される形態について説明するが、振動素子１４０を２つ用いてもよい。２つの振動素子１４０を用いる場合は、もう１つの振動素子１４０をトップパネル１２０のＺ軸負方向側の面において、Ｙ軸負方向側において、Ｘ軸方向に伸延する短辺に沿って接着すればよい。この場合に、２つの振動素子１４０は、トップパネル１２０の２つの短辺に平行な中心線を対称軸として、軸対称になるように配設すればよい。

また、２つの振動素子１４０を駆動する場合は、周期数ｋが整数の場合は同一位相で駆動すればよく、周期数ｋが小数（整数部と小数部を含む数）の場合は逆位相で駆動すればよい。

次に、図５を用いて、電子機器１００のトップパネル１２０に生じさせる超音波帯の固有振動について説明する。

図５は、電子機器１００のトップパネル１２０に生じさせる超音波帯の固有振動により、操作入力を行う指先に掛かる動摩擦力が変化する様子を説明する図である。図５の（Ａ）、（Ｂ）では、利用者が指先でトップパネル１２０に触れながら、指をトップパネル１２０の奥側から手前側に矢印に沿って移動する操作入力を行っている。なお、振動のオン／オフは、振動素子１４０をオン／オフすることによって行われる。

また、図５の（Ａ）、（Ｂ）では、トップパネル１２０の奥行き方向において、振動がオフの間に指が触れる範囲をグレーで示し、振動がオンの間に指が触れる範囲を白く示す。

超音波帯の固有振動は、図４に示すようにトップパネル１２０の全体に生じるが、図５の（Ａ）、（Ｂ）には、利用者の指がトップパネル１２０の奥側から手前側に移動する間に振動のオン／オフを切り替える動作パターンを示す。

図５の（Ａ）に示す動作パターンでは、利用者の指がトップパネル１２０の奥側にあるときに振動がオフであり、指を手前側に移動させる途中で振動がオンになっている。

一方、図５の（Ｂ）に示す動作パターンでは、利用者の指がトップパネル１２０の奥側にあるときに振動がオンであり、指を手前側に移動させる途中で振動がオフになっている。

ここで、トップパネル１２０に超音波帯の固有振動を生じさせると、トップパネル１２０の表面と指との間にスクイーズ効果による空気層が介在し、指でトップパネル１２０の表面をなぞったときの動摩擦係数が低下する。

従って、図５の（Ａ）では、トップパネル１２０の奥側にグレーで示す範囲では、指先に掛かる動摩擦力は大きく、トップパネル１２０の手前側に白く示す範囲では、指先に掛かる動摩擦力は小さくなる。

このため、図５の（Ａ）に示すようにトップパネル１２０に操作入力を行う利用者は、振動がオンになると、指先に掛かる動摩擦力の低下を感知し、指先の滑り易さを知覚することになる。このとき、利用者はトップパネル１２０の表面がより滑らかになることにより、動摩擦力が低下するときに、トップパネル１２０の表面に凹部が存在するように感じる。

一方、図５の（Ｂ）では、トップパネル１２０の奥前側に白く示す範囲では、指先に掛かる動摩擦力は小さく、トップパネル１２０の手前側にグレーで示す範囲では、指先に掛かる動摩擦力は大きくなる。

このため、図５の（Ｂ）に示すようにトップパネル１２０に操作入力を行う利用者は、振動がオフになると、指先に掛かる動摩擦力の増大を感知し、指先の滑り難さ、あるいは、引っ掛かる感じを知覚することになる。そして、指先が滑りにくくなることにより、動摩擦力が高くなるときに、トップパネル１２０の表面に凸部が存在するように感じる。

以上より、図５の（Ａ）と（Ｂ）の場合は、利用者は指先で凹凸を感じ取ることができる。このように人間が凹凸の知覚することは、例えば、“触感デザインのための印刷物転写法とSticky-band Illusion”(第11回計測自動制御学会システムインテグレーション部門講演会論文集 (SI2010，仙台)____174-177，2010-12)に記載されている。また、”Fishbone Tactile Illusion”(日本バーチャルリアリティ学会第10回大会論文集(2005年9月))にも記載されている。

なお、ここでは、振動のオン／オフを切り替える場合の動摩擦力の変化について説明したが、これは、振動素子１４０の振幅（強度）を変化させた場合も同様である。

次に、図６を用いて、実施の形態の電子機器１００の構成について説明する。

図６は、実施の形態の電子機器１００の構成を示す図である。

電子機器１００は、振動素子１４０、アンプ１４１、タッチパネル１５０、ドライバＩＣ(Integrated Circuit)１５０Ａ、ディスプレイパネル１６０、ドライバＩＣ１６０Ａ、アンプ１８０Ａ、スピーカ１０３、カメラ１０４、制御装置２００、正弦波発生器３１０、及び振幅変調器３２０を含む。

制御装置２００は、アプリケーションプロセッサ２２０、通信プロセッサ２３０、駆動制御部２４０、及びメモリ２５０を有する。制御装置２００は、例えば、ＩＣチップで実現される。

また、駆動制御部２４０、正弦波発生器３１０、及び振幅変調器３２０は、駆動制御装置３００を構築する。

図６では、筐体１１０、トップパネル１２０、両面テープ１３０、及び基板１７０（図２参照）は省略する。また、ここでは、アンプ１４１、ドライバＩＣ１５０Ａ、ドライバＩＣ１６０Ａ、駆動制御部２４０、メモリ２５０、正弦波発生器３１０、及び振幅変調器３２０について説明する。

アンプ１４１は、それぞれ、駆動制御装置３００と振動素子１４０との間に配設されており、駆動制御装置３００から出力される駆動信号を増幅して振動素子１４０を駆動する。

ドライバＩＣ１５０Ａは、タッチパネル１５０に接続されており、タッチパネル１５０への操作入力があった位置を表す位置データを検出し、位置データを制御装置２００に出力する。この結果、位置データは、アプリケーションプロセッサ２２０と駆動制御部２４０に入力される。なお、位置データが駆動制御部２４０に入力されることは、位置データが駆動制御装置３００に入力されることと等価である。

ドライバＩＣ１６０Ａは、ディスプレイパネル１６０に接続されており、駆動制御装置３００から出力される描画データをディスプレイパネル１６０に入力し、描画データに基づく画像をディスプレイパネル１６０に表示させる。これにより、ディスプレイパネル１６０には、描画データに基づくＧＵＩ操作部又は画像等が表示される。

アンプ１８０Ａは、アプリケーションプロセッサ２２０に接続されており、アプリケーションプロセッサ２２０から入力される音声信号を増幅してスピーカ１０３に出力する。スピーカ１０３は、アンプ１８０Ａから入力される音声信号を音声として出力する。

アプリケーションプロセッサ２２０は、トップパネル１２０に行われる操作入力に応じて、メモリ２５０に格納された音声データを読み出し、アンプ１８０Ａに出力する。この結果、トップパネル１２０に行われる操作入力に応じた音声がスピーカ１０３から出力される。

アプリケーションプロセッサ２２０は、電子機器１００の種々のアプリケーションを実行する処理を行う。アプリケーションプロセッサ２２０は、主制御部２２１、文字認識部２２２、照合部２２３、表示制御部２２４、駆動制御部２４０、及び音声案内制御部２２５を有する。

主制御部２２１は、アプリケーションプロセッサ２２０の制御処理を統括する部分であり、文字認識部２２２、照合部２２３、表示制御部２２４、駆動制御部２４０、及び音声案内制御部２２５の処理を統括する。主制御部２２１は、指令生成部、要求部、読み出し部、統括処理部の一例である。

文字認識部２２２は、カメラ１０４によって撮像された画像に含まれる文字を認識する。文字認識部２２２は、ＯＣＲ（Optical Character Reader）を用いて、画像に対して２値化又はエッジ処理等の処理で画像に含まれるパターンを抽出し、内蔵する辞書データとの照合（パターンマッチング）を行うことにより、画像に含まれる文字を認識する。このような文字認識部２２２には、周知の文字認識技術を用いることができる。

照合部２２３は、文字認識部２２２によって文字が認識された単語と、メモリ２５０に格納される制御データに含まれる単語とを照合し、制御データに含まれる単語の中に、文字認識部２２２によって文字が認識された単語と同一の単語があるかどうかを判定する。

照合部２２３は、文字認識部２２２によって文字が認識された単語と同一の単語が制御データに含まれる単語の中にあると判定すると、照合が成立したことになる。文字認識部２２２によって文字が認識された単語と同一の単語が制御データに存在しない場合は、照合は不成立となる。

表示制御部２２４は、照合部２２３による照合が成立した単語に制御データの中で対応する領域のデータを読み出し、照合部２２３による照合が成立した単語を表すＧＵＩボタンを表すデータを生成する。表示制御部２２４は、ドライバＩＣ１６０Ａに、ＧＵＩボタンを表すデータを出力し、ＧＵＩボタンをディスプレイパネル１６０に表示させる。

なお、ＧＵＩボタンとは、図１に示すＧＵＩ部品１０２の一種であり、ボタンを押すように操作が可能なＧＵＩ部品１０２である。

駆動制御部２４０は、表示制御部２２４によって生成され、ディスプレイパネル１６０に表示されるＧＵＩボタンの表示領域に、タッチパネル１５０によって検出される利用者の指先の位置（操作入力の位置）が入り、かつ、操作入力の位置が移動すると、振動素子１４０を駆動する。このとき、駆動制御部２４０は、ＧＵＩボタンに表示される単語に制御データの中で対応する駆動パターンで振動素子１４０を駆動する。

駆動制御部２４０は、振動素子１４０を駆動するために、振幅データを振幅変調器３２０に出力する。振幅データは、振動素子１４０の駆動に用いる駆動信号の強度を調整するための振幅値を表すデータである。振幅値は、位置データの時間的変化度合に応じて設定される。ここで、位置データの時間的変化度合としては、利用者の指先がトップパネル１２０の表面に沿って移動する速度を用いる。利用者の指先の移動速度は、ドライバＩＣ１５０Ａから入力される位置データの時間的な変化度合に基づいて、駆動制御部２４０が算出する。

音声案内制御部２２５は、表示制御部２２４によって生成され、ディスプレイパネル１６０に表示されるＧＵＩボタンの表示領域に、タッチパネル１５０によって検出される利用者の指先の位置（操作入力の位置）が入ると、ＧＵＩボタンに表示される単語に制御データの中で対応する音声データに基づき、音声案内を行う。

音声案内制御部２２５は、音声データが表す音声案内の内容をアンプ１８０Ａに出力し、この結果、音声案内を表す音声がスピーカ１０３から出力される。

音声案内の制御処理と、音声案内の制御処理に伴って行われる振動素子１４０の駆動制御については、図７乃至図２１を用いて後述する。

通信プロセッサ２３０は、電子機器１００が３Ｇ(Generation)、４Ｇ(Generation)、LTE(Long Term Evolution)、WiFi等の通信を行うために必要な処理を実行する。通信プロセッサ２３０は、赤外線通信又はＲＦＩＤ(Radio Frequency Identification)タグとの通信に対応できるものであってもよい。

実施の形態の駆動制御装置３００は、一例として、指先の移動速度に関わらずに利用者が指先から感知する触感を一定にするために、移動速度が高いほど振幅値を小さくし、移動速度が低いほど振幅値を大きくする。

このような振幅値を表す振幅データと移動速度との関係を表すデータは、メモリ２５０に格納されている。

なお、ここでは、メモリ２５０に格納されるデータを用いて移動速度に応じた振幅値を設定する形態について説明するが、次式（３）を用いて振幅値Ａを算出してもよい。式（３）で算出される振幅値Ａは、移動速度が高いほど小さくなり、移動速度が低いほど大きくなる。

ここで、Ａ０は振幅の基準値であり、Ｖは指先の移動速度であり、ａは所定の定数である。式（３）を用いて振幅値Ａを算出する場合は、式（３）を表すデータと、振幅の基準値Ａ０と所定の定数ａを表すデータとをメモリ２５０に格納しておけばよい。

また、実施の形態の駆動制御装置３００は、利用者の指先がトップパネル１２０の表面に沿って移動したときに、指先に掛かる動摩擦力を変化させるためにトップパネル１２０を振動させる。動摩擦力は、指先が移動しているときに発生するため、駆動制御部２４０は、移動速度が所定の閾値速度以上になったときに、振動素子１４０を振動させる。

従って、駆動制御部２４０が出力する振幅データが表す振幅値は、移動速度が所定の閾値速度未満のときはゼロであり、移動速度が所定の閾値速度以上になると、移動速度に応じて所定の振幅値に設定される。移動速度が所定の閾値速度以上のときには、移動速度が高いほど振幅値は小さく設定され、移動速度が低いほど振幅値を大きく設定される。

また、実施の形態の駆動制御装置３００は、操作入力を行う指先の位置が、振動を発生させるべき所定の領域内にある場合に、振幅データを振幅変調器３２０に出力する。

操作入力を行う指先の位置が振動を発生させるべき所定の領域内にあるかどうかは、操作入力を行う指先の位置が、振動を発生させるべき所定の領域の内部にあるか否かに基づいて判定される。

ここで、ディスプレイパネル１６０に表示するＧＵＩ操作部、画像を表示する領域、又は、ページ全体を表す領域等のディスプレイパネル１６０上における位置は、当該領域を表す領域データによって特定される。領域データは、すべてのアプリケーションにおいて、ディスプレイパネル１６０に表示されるすべてのＧＵＩ操作部、画像を表示する領域、又は、ページ全体を表す領域について存在する。

メモリ２５０は、振幅値を表す振幅データと移動速度との関係を表すデータ、及び、アプリケーションの種類を表すデータと、操作入力が行われるＧＵＩ操作部等を表す領域データと、振動パターンを表すパターンデータとを関連付けたデータとを格納する。メモリ２５０は、第１格納部及び第２格納部の一例である。

また、メモリ２５０は、振動素子１４０の駆動制御と、音声案内とを行うために必要な制御データを格納する。制御データは、単語、操作内容、領域、振動パターン、音声データ、及び必須機能フラグを含む。

制御データは、様々な電化製品の操作部にある操作内容を示す単語と、その単語を表すＧＵＩボタンの表示領域と、そのＧＵＩボタンに操作入力が行われたときに振動素子１４０を駆動する振動パターンと、そのＧＵＩボタンに操作入力が行われたときに行う音声案内用の音声データとを関連付けたデータである。この制御データについては、図１２を用いて後述するが、
なお、電化製品とは、洗濯機１０の他に、例えば、電子レンジ、テレビ、ビデオレコーダ、オーディオ等の種々の電化された製品をいう。電化製品には、コンピュータ、タブレットコンピュータ、スマートフォン、ゲーム機等が含まれてもよい。

また、メモリ２５０は、アプリケーションプロセッサ２２０がアプリケーションの実行に必要とするデータ及びプログラム、及び、通信プロセッサ２３０が通信処理に必要とするデータ及びプログラム等を格納する。

正弦波発生器３１０は、トップパネル１２０を固有振動数で振動させるための駆動信号を生成するのに必要な正弦波を発生させる。例えば、トップパネル１２０を３３．５［ｋＨｚ］の固有振動数ｆで振動させる場合は、正弦波の周波数は、３３．５［ｋＨｚ］となる。正弦波発生器３１０は、超音波帯の正弦波信号を振幅変調器３２０に入力する。

なお、ここでは、正弦波発生器３１０を用いる形態について説明するが、正弦波発生器３１０の代わりに、クロックを生成するクロック発生器を用いてもよい。例えば、クロック発生器が発生するクロックのスルーレートを小さく設定することにより、クロックの立ち上がりと立ち下がりの波形を鈍らせることができる。このようにスルーレートを小さく設定したクロックを正弦波発生器３１０が発生する正弦波の代わりに用いてもよい。すなわち、正弦波の代わりに、振幅が周期的に変化する波形信号を用いてもよい。

振幅変調器３２０は、駆動制御部２４０から入力される振幅データを用いて、正弦波発生器３１０から入力される正弦波信号の振幅を変調して駆動信号を生成する。振幅変調器３２０は、正弦波発生器３１０から入力される超音波帯の正弦波信号の振幅のみを変調し、周波数及び位相は変調せずに、駆動信号を生成する。

このため、振幅変調器３２０が出力する駆動信号は、正弦波発生器３１０から入力される超音波帯の正弦波信号の振幅のみを変調した超音波帯の正弦波信号である。なお、振幅データがゼロの場合は、駆動信号の振幅はゼロになる。これは、振幅変調器３２０が駆動信号を出力しないことと等しい。

図7乃至図１１は、電子機器１００の利用シーンを説明する図である。

まず、利用者は、電子機器１００で洗濯機１０の操作部１１の写真を撮影する。この結果、図７に示すように、ディスプレイパネル１６０に操作部１１の画像が表示される。操作部１１には、ボタン１１Ａ〜１１Ｈが設けられている。ボタン１１Ａ〜１１Ｈを囲む円形の縁取り線は、閉曲線の一例である。

次に、利用者が電子機器１００に画像処理、文字認識、照合処理等の処理を行わせると、図８に示すように、ディスプレイパネル１６０に、ＧＵＩボタン１６１Ａ〜１６１Ｈと周辺領域１６２とが表示される。周辺領域１６２は、ＧＵＩボタン１６１Ａ〜１６１Ｈを囲む矩形状の領域であり、ＧＵＩボタン１６１Ａ〜１６１Ｈ以外のその他の情報も表示される。

その他の情報は、ＧＵＩボタン１６１Ａ〜１６１Ｆの操作によって選択される各種設定（水位（２２Ｌ、３４Ｌ、４５Ｌ）、工程（洗い、すすぎ、注水、脱水）、コース（標準、スピーディ、ドライ、毛布）、予約時間（１時間、３時間）、電源）の文字又は数字等の情報である。このようなその他の情報は、ステップＳ５において、閉曲線に囲まれる領域以外で認識された文字又は数字である。

ＧＵＩボタン１６１Ａ〜１６１Ｈ、周辺領域１６２、及びその他の情報は、電子機器１００が図７に示す操作部１１の画像に対して、画像処理、文字認識、照合処理等の処理を実行することによって生成され、ディスプレイパネル１６０に表示される。ＧＵＩボタン１６１Ａ〜１６１Ｈは、それぞれ、図１に示す洗濯機１０の操作部１１のボタン１１Ａ〜１１Ｈに対応している。

また、ＧＵＩボタン１６１Ａ〜１６１Ｈは、すべて円状の線（縁取り）で囲まれている。以下では、ＧＵＩボタン１６１Ａ〜１６１Ｈを囲む線上の領域と、線の内側の領域とをＧＵＩボタン１６１Ａ〜１６１Ｈの表示領域と称す。

ＧＵＩボタン１６１Ａは、電源を入れるための「入」ボタンであり、ＧＵＩボタン１６１Ｂは、電源を切るための「切」ボタンである。ＧＵＩボタン１６１Ｃは、水位を調整するための「水位」ボタンであり、ＧＵＩボタン１６１Ｄは、工程を選択するための「工程」ボタンである。

ＧＵＩボタン１６１Ｅは、コースを選択するための「コース」ボタンであり、ＧＵＩボタン１６１Ｆは、予約運転を設定するための「予約」ボタンである。ＧＵＩボタン１６１Ｇは、スタートさせるための「スタート」ボタンであり、ＧＵＩボタン１６１Ｈは、ストップ（一時停止）させるための「ストップ」ボタンである。

ＧＵＩボタン１６１Ａ〜１６１Ｈは、ＧＵＩ部品としてディスプレイパネル１６０に表示されており、電子機器１００は、無線通信で洗濯機１０に対して、ＧＵＩボタン１６１Ａ〜１６１Ｈが表す指令を送信することができる。

このため、利用者が指先等で各ＧＵＩボタン１６１Ａ〜１６１Ｈにタッチ（操作入力）を行うことにより、洗濯機１０は、操作部１１のボタン１１Ａ〜１１Ｈが押された場合と同様に動作する。

なお、ディスプレイパネル１６０には、その他の情報として、水位の量（２２Ｌ、３４Ｌ，４５Ｌ）、工程の具体的な内容（洗い、すすぎ、注水、脱水）、コースの具体的な内容（標準、スピーディ、ドライ、毛布）、予約時間（１時間、３時間）が表示される。

これらの情報は、ＧＵＩボタン１６１Ｃ、１６１Ｄ、１６１Ｅ、１６１Ｆを押すことにより、順番に選択可能になる。選択された内容は、例えば、選択されていない内容とは異なる色で表示されることにより、識別可能になる。

具体的には、例えば、ＧＵＩボタン１６１Ｃを一度押すと２２Ｌを選択することができ、ＧＵＩボタン１６１Ｃを二度押すと３４Ｌを選択することができ、ＧＵＩボタン１６１Ｃを三度押すと４５Ｌを選択することができる。そして、さらにもう一度（四回目の押圧）ＧＵＩボタン１６１Ｃを一度押すと２２Ｌを選択することができる。これは、ＧＵＩボタン１６１Ｄ、１６１Ｅ、１６１Ｆについても同様である。

次に、図９に示すように、利用者がＧＵＩボタン１６１Ｇ（スタートボタン）を押して、ＧＵＩボタン１６１Ｇの表示領域内で指先を移動させると、電子機器１００は、振動素子１４０を駆動して、トップパネル１２０に超音波帯の固有振動を発生させるとともに、「スタートボタンです」という音声案内をスピーカ１０３から出力する。なお、電子機器１００は、指先がＧＵＩボタン１６１Ｇの表示領域内にあれば、指先が移動していなくても、このような音声案内を出力するようにしてもよい。

ここで、電子機器１００は、図１０に示すような駆動パターンで振動素子１４０を駆動する。図１０では、横軸は時間を示し、縦軸は、振動素子１４０を駆動する駆動信号の振幅を表す。

時刻ｔ１で、利用者の指先がトップパネル１２０のＧＵＩボタン１６１Ａ〜１６１Ｈの表示領域以外の部分に触れると、電子機器１００は、振幅Ａ３の駆動信号で振動素子１４０を駆動する。このときの駆動信号の振幅はＡ３で一定であるため、利用者の指先には、つるつるした滑らかな触感が提供される。

時刻ｔ２において、人差し指がＧＵＩボタン１６１Ｇに入ると、時間の変化に伴って振幅が周期的に変動する駆動信号で振動素子１４０が駆動されるとともに、「スタートボタンです」という音声案内がスピーカ１０３から出力される。

この駆動信号の振幅は、Ａ１とＡ２の間で正弦波状に周期的に変動するため、利用者の指先には、ざらざらした触感が提供される。また、振幅Ａ１及びＡ２は、ともに振幅Ａ３よりも小さい。このため、人差し指がＧＵＩボタン１６１Ｇに入ると、利用者の指先にかかる触感の変化を知覚する。また、音声案内により、現在の指先の位置が「スタートボタン」（ボタン１６１Ｇ）の表示領域の中にあることが通知される。

このため、利用者は、触感と音声案内とによって、現在の指先の位置が「スタートボタン」のＧＵＩボタン１６１Ｇの中にあることを目視せずに認識することができる。

利用者が人差し指をさらに移動させ、時刻ｔ３において、ＧＵＩボタン１６１Ｇの表示領域の外に出ると、振幅Ａ３の駆動信号で振動素子１４０が駆動される。

これにより、利用者は、現在の指先の位置が「スタートボタン」（ＧＵＩボタン１６１Ｇ）から外れたことを目視せずに認識することができる。

時刻ｔ４において、利用者が人差し指の移動を停止すると、駆動信号の振幅がゼロになり、振動素子１４０の駆動が停止される。なお、時刻ｔ４において、利用者が人差し指をトップパネル１２０から離した場合も同様である。

このように、スクイーズ膜効果を利用した触感と、音声案内とを利用して、利用者の指先をＧＵＩボタン１６１Ｇに案内する。このため、利用者は、目視せずにＧＵＩボタン１６１Ｇの位置を正確に認識することができる。

そして、図１１に示すように、利用者がＧＵＩボタン１６１Ｇを強く押すと、電子機器１００は、操作が確定されたと判定し、洗濯をスタートさせる指令を洗濯機１０に送信する。これにより、洗濯機１０は、洗濯を開始する。

このように、利用者は、電子機器１００に確定操作を行うことで、ＧＵＩボタン１６１Ｇに関連付けられた洗濯機１１の操作（スタート）を実行することができる。

確定操作は、一例として、トップパネル１２０を強く押すことであり、確定操作を行うことで、電子機器１００は入力を受け付ける。このような確定操作を受け付け付ける機能は、例えば、アプリケーションプロセッサ２２０（図６参照）のＯＳによって実現される。確定操作は、トップパネル１２０を強く押すことに限られず、トップパネル１２０に触れている（操作入力を行っている）指先等の面積の増大に基づいて受け付けられるようになっていてもよい。

なお、ここでは、「スタートボタン」（ＧＵＩボタン１６１Ｇ）を押すシーンについて説明したが、他のＧＵＩボタン１６１Ａ〜１６１Ｆ、１６１Ｈについても同様である。

図１２は、電子機器１００が利用する制御データの構造を示す図である。制御データは、メモリ２５０に格納されている。図１２に示すデータは、一例として、図７乃至図１１に示す動作を実現するためのデータである。

制御データは、単語、操作内容、領域、振動パターン、音声データ、及び必須機能フラグを含む。

制御データは、単語として、「スタート」、「開始」、「ストップ」、「停止」、「水位」、「レベル」、「水量」、「工程」、「ステップ」、「作業」、「コース」、「自動」・・・を含む。ここには、制御データに含まれる単語として、洗濯機の操作内容を表す単語を示すが、制御データは、洗濯機以外の電化製品の操作内容を表す単語も含む。制御データには、様々な電化製品の操作内容を表す単語のリスト（単語リスト）が含まれている。

操作内容は、各単語に割り振られる。「スタート」と「開始」という単語には、「洗濯開始」という操作内容が割り振られる。「洗濯開始」という１つの操作内容に対して、「スタート」と「開始」という２つの単語を関連付けているのは、「洗濯開始」という操作内容を実現するためのボタンとして、「スタート」又は「開始」のいずれかの単語が記載されるボタンが洗濯機１０に設けられる可能性があるからである。このため、「スタート」と「開始」という２つの単語に加えて、さらに「ＳＴＡＲＴ」という単語を加えてもよい。

「ストップ」と「停止」という単語には、「洗濯停止」という操作内容が割り振られる。「洗濯停止」という１つの操作内容に対して、「ストップ」と「停止」という２つの単語を関連付けているのは、「洗濯停止」という操作を実現するためのボタンとして、「ストップ」又は「停止」のいずれかの単語が記載されるボタンが洗濯機１０に設けられる可能性があるからである。このため、「ストップ」と「停止」という２つの単語に加えて、さらに「ＳＴＯＰ」という単語を加えてもよい。

「水位」、「レベル」、「水量」という単語には、「水位設定」という操作内容が割り振られる。「水位設定」という１つの操作に対して、「水位」、「レベル」、「水量」という３つの単語が関連付けられている。３つのうちのいずれかの単語が記載されるボタンが洗濯機１０に設けられる可能性があるからである。

「工程」、「ステップ」、「作業」という単語には、「工程設定」という操作内容が割り振られる。「工程設定」という１つの操作に対して、「工程」、「ステップ」、「作業」という３つの単語が関連付けられている。３つのうちのいずれかの単語が記載されるボタンが洗濯機１０に設けられる可能性があるからである。

「コース」と「自動」という単語には、「コース設定」という操作内容が割り振られる。「コース設定」という１つの操作に対して、「コース」と「自動」という２つの単語が関連付けられている。２つのうちのいずれかの単語が記載されるボタンが洗濯機１０に設けられる可能性があるからである。

領域は、各単語を表示するＧＵＩボタンを表示する領域を表す。「スタート」と「開始」という単語を表示するＧＵＩボタンは、領域ｆ１（Ｘ，Ｙ）に表示される。領域ｆ１（Ｘ，Ｙ）は、ディスプレイパネル１６０の表示領域の全体の中における座標を表す。

領域ｆ１（Ｘ，Ｙ）が表す座標は、「スタート」又は「開始」という単語について照合部２２３による照合が成立した場合に、ディスプレイパネル１６０に表示する「スタート」又は「開始」のＧＵＩボタンを表示する表示領域を表す。この表示領域は、一例として、円形の領域である。

本実施の形態では、領域ｆ１（Ｘ，Ｙ）が表す円形の領域の境界に境界線を表す円の縁取りを表示し、円の縁取りの中に「スタート」又は「開始」の文字を表示することにより、「スタート」又は「開始」のＧＵＩボタンを生成する。

なお、これは、「スタート」と「開始」以外の単語について割り当てられている他の領域ｆ２（Ｘ，Ｙ）〜ｆ５（Ｘ，Ｙ）、・・・についても同様である。

「ストップ」と「停止」という単語を表示するＧＵＩボタンは、領域ｆ２（Ｘ，Ｙ）に表示される。「水位」、「レベル」、「水量」という単語を表示するＧＵＩボタンは、領域ｆ３（Ｘ，Ｙ）に表示される。

「工程」、「ステップ」、「作業」という単語を表示するＧＵＩボタンは、領域ｆ４（Ｘ，Ｙ）に表示される。「コース」と「自動」という単語を表示するＧＵＩボタンは、領域ｆ５（Ｘ，Ｙ）に表示される。

なお、領域ｆ１（Ｘ，Ｙ）〜Ｆ５（Ｘ，Ｙ）は、互いに重なり合わず、かつ、間が少し開くように、設定されている。

振動パターンは、各単語を表示するＧＵＩボタンの表示領域内で操作入力の位置が移動したときに振動素子１４０を駆動する駆動パターンを表す。

「スタート」と「開始」という単語には、波形Ａによる振動パターンが関連付けられている。「スタート」又は「開始」という単語を表示するＧＵＩボタンの表示領域で操作入力の位置が移動すると、振動素子１４０は、波形Ａによる振動パターンで駆動される。

「ストップ」と「停止」という単語には、波形Ｂによる振動パターンが関連付けられている。「水位」、「レベル」、「水量」という単語には、波形Ｃによる振動パターンが関連付けられている。「工程」、「ステップ」、「作業」という単語には、波形Ｄによる振動パターンが関連付けられている。「コース」と「自動」という単語には、波形Ｅによる振動パターンが関連付けられている。

音声データは、各単語を表示するＧＵＩボタンの表示領域内に操作入力の位置があるときに、スピーカ１０３から出力される音声案内を表すデータである。

「スタート」と「開始」という単語には、それぞれ、「スタートボタンです」と「開始ボタンです」という音声データが関連付けられている。「ストップ」と「停止」という単語には、それぞれ、「ストップボタンです」と「停止ボタンです」という音声データが関連付けられている。

「水位」、「レベル」、「水量」という単語には、それぞれ、「水位ボタンです」、「レベルボタンです」、「水量ボタンです」という音声データが関連付けられている。「工程」、「ステップ」、「作業」という単語には、それぞれ、「工程ボタンです」、「ステップボタンです」、「作業ボタンです」という音声データが関連付けられている。「コース」と「自動」という単語には、それぞれ、「コースボタンです」と「自動ボタンです」という音声データが関連付けられている。

必須機能フラグは、ＧＵＩボタンとして必須の単語であるかどうかを示すフラグである。必須機能フラグの値が‘１’であれば、必須の機能であることを示し、必須機能フラグの値が‘０’であれば、必須の機能であることを示す。

ここでは、一例として、「ストップ」と「停止」という単語の必須機能フラグの値が‘１’であり、「ストップ」と「停止」という単語のＧＵＩボタンが生成されることが必須になっている。洗濯機１０を停止させることができなければ、利用に支障が生じうるからである。

また、図１２には図示しないが、電源を切るための「切」ボタンを表す「切」という単語についても、必須機能フラグの値を‘１’に設定するとよい。「切」という単語のＧＵＩボタンがなければ、利用に支障が生じうるからである。

電子機器１００は、制御データの中に必須機能フラグが‘１’の単語が存在する場合には、その単語が文字認識され、かつ、照合が成立した場合に、利用することが可能になる。

なお、図１２の一番下の行には、ＧＵＩボタンの表示領域以外の部分（周辺領域）についての単語、操作内容、領域、振動パターン、音声データ、及び必須機能フラグを示す。ＧＵＩボタンの表示領域以外の部分については、単語は存在せず、操作内容は「なし」であり、領域はｆ９（Ｘ，Ｙ）であり、振動パターンは波形Ｉであり、音声データは「なし」である。

領域はｆ９（Ｘ，Ｙ）は、例えば、図８に示す周辺領域１６２を表す。領域ｆ９（Ｘ，Ｙ）は、ディスプレイパネル１６０の全体の表示領域から、照合が成立した単語についてのＧＵＩボタンの表示領域を除いた領域として捉えてもよい。

電子機器１００は、利用者が撮影した画像に対して文字認識を行い、認識された文字を制御データの単語と照合する。そして、照合が成立した単語について、ＧＵＩボタンを生成し、その単語に制御データの中で関連付けられている領域に、その単語を表すＧＵＩボタンを表示させる。

このときに、制御データの中に必須機能フラグが‘１’の単語が存在すれば、その単語が文字認識され、かつ、照合が成立した場合に、電子機器１００を利用することが可能になる。

そして、利用者がその単語のＧＵＩボタンの表示領域内で操作入力を行っている指先を移動させると、制御データの中で関連付けられている振動パターンで振動素子１４０を駆動するとともに、制御データの中で関連付けられている音声データに基づいて、音声案内をスピーカ１０３から出力する。

図１２に示すような制御データを利用することにより、図７乃至図１１に示すような動作及び駆動信号の生成が可能になる。

図１３は、電子機器１００のアプリケーションプロセッサ２２０が実行する処理を示すフローチャートである。

まず、アプリケーションプロセッサ２２０は、電化製品をリモコン操作するためのアプリケーションが洗濯されると、フローを開始する（スタート）。

アプリケーションプロセッサ２２０は、登録データを読み出す操作が行われたかどうかを判定する（ステップＳ１）。登録データとは、利用者によって取得された画像から文字認識で得た文字に対して照合を行い、照合が成立した単語について生成したＧＵＩボタンをメモリ２５０に格納したデータをいう。登録データの一例は、図８に示すＧＵＩボタン１６１Ａ〜１６１Ｈ、周辺領域１６２、及びその他の情報を含むデータである。

アプリケーションプロセッサ２２０は、登録データを読み出す操作が行われていない（Ｓ１：ＮＯ）と判定すると、画像の取得を求める（ステップＳ２）。具体的には、利用者がリモコン操作を行いたい電化製品の操作部の画像を取得することを求める。このとき、利用者は、カメラ１０４を起動して画像を取得してもよいし、メモリ２５０に格納されている写真データから、所望の写真を取得してもよい。また、ステップＳ２では、ディスプレイパネル１６０に「画像を選択して下さい」というメッセージを表示してもよい。ステップＳ２の処理は、主制御部２２１によって実行される。

アプリケーションプロセッサ２２０は、ステップＳ２で取得された画像をディスプレイパネル１６０に表示する（ステップＳ３）。ステップＳ３の処理は、主制御部２２１がステップＳ２で取得した画像を表示制御部２２４に出力し、表示制御部２２４が主制御部２２１から入力された画像をディスプレイパネル１６０に表示することによって実行される。

アプリケーションプロセッサ２２０は、ディスプレイパネル１６０に表示されている画像に対して、エッジ処理等の画像処理を行うことにより、閉曲線を抽出する（ステップＳ４）。閉曲線は、例えば、図１に示す洗濯機１０のような電化製品の操作部１１に設けられているボタン１１Ａ〜１１Ｈに含まれる単語を囲む閉曲線である。ステップＳ４の処理は、主制御部２２１によって実行される。

アプリケーションプロセッサ２２０は、ステップＳ４の処理で抽出された閉曲線に囲まれる領域に対して文字認識を行う（ステップＳ５）。ステップＳ５の処理は、文字認識部２２２がOCRを利用して、画像に対して２値化又はエッジ処理等の処理で画像に含まれるパターンを抽出し、内蔵する辞書データとの照合（パターンマッチング）を行うことにより、画像に含まれる文字を認識する。

なお、ステップＳ５は、基本的に、閉曲線に囲まれる領域に対して文字認識を行うが、ここでは、閉曲線に囲まれる領域以外に含まれる文字又は数字についても文字認識を行い、閉曲線に囲まれる領域以外で認識された文字又は数字としてデータを保持することとする。

アプリケーションプロセッサ２２０は、文字認識部２２２によって文字が認識された単語と、メモリ２５０に格納される制御データに含まれる単語とを照合し、制御データに含まれる単語の中に、文字認識部２２２によって文字が認識された単語と同一の単語があるかどうかを判定する（ステップＳ６）。ステップＳ６の処理は、照合部２２３によって実行される。

ステップＳ５で文字が認識された単語と同一の単語が制御データに含まれる単語の中にある場合は、照合が成立する。文字が認識された単語と同一の単語が制御データに存在しない場合は、照合は不成立となる。

アプリケーションプロセッサ２２０は、照合が成立した（Ｓ６：ＹＥＳ）と判定すると、ＧＵＩボタンを生成し、ディスプレイパネル１６０に表示させる（ステップＳ７）。ステップＳ７の処理は、表示制御部２２４によって実行される。

また、表示制御部２２４は、ＧＵＩボタンの他に、ＧＵＩボタンの周辺領域と、周辺領域に表示するその他の情報とを生成し、合わせてディスプレイパネル１６０に表示させる。

表示制御部２２４は、照合が成立した単語に制御データの中で対応する領域のデータを読み出し、照合部２２３による照合が成立した単語を表すＧＵＩボタンを表すデータを生成する。そして、表示制御部２２４は、ドライバＩＣ１６０Ａに、ＧＵＩボタンを表すデータを出力し、ＧＵＩボタンをディスプレイパネル１６０に表示させる。

ＧＵＩボタンは、領域が表す円形の領域の境界に境界線を表す円の縁取りと、円の縁取りの中に照合が成立した単語とを有するＧＵＩボタンである。なお、表示領域の色と、単語の色とは、予め設定しておけばよい。

アプリケーションプロセッサ２２０は、ステップＳ７で生成したＧＵＩボタン、周辺領域、及びその他の情報を表すデータを登録データとしてメモリ２５０に格納する（ステップＳ８）。ステップＳの処理は、主制御部２２１によって実行される。

アプリケーションプロセッサ２２０は、操作入力が行われているかどうかを判定する（ステップＳ９）。ステップＳ９の処理は、主制御部２２１によって実行される。

アプリケーションプロセッサ２２０は、タッチパネル１５０が座標を検出しているかどうか判定することにより、操作入力が行われているかどうかを判定する。アプリケーションプロセッサ２２０は、ステップＳ９で操作入力の位置の座標を検出する。

アプリケーションプロセッサ２２０は、操作入力が行われている（Ｓ９：ＹＥＳ）と判定すると、操作入力の位置が移動しているかどうかを判定する（ステップＳ１０）。ステップＳ１０の処理は、主制御部２２１によって実行される。

アプリケーションプロセッサ２２０は、タッチパネル１５０によって検出される座標が変化しているかどうかを判定することにより、操作入力の位置が移動しているかどうかを判定すればよい。

アプリケーションプロセッサ２２０は、操作入力の位置が移動している（Ｓ１０：ＹＥＳ）と判定すると、操作入力の位置がＧＵＩボタンの表示領域内であるかどうかを判定する（ステップＳ１１）。ステップＳ１１の処理は、主制御部２２１によって実行される。

ＧＵＩボタンの表示領域は、ステップＳ７の処理で生成されているため、アプリケーションプロセッサ２２０は、操作入力の位置の座標が、いずれかのＧＵＩボタンの表示領域内に含まれるかどうかを判定することにより、操作入力の位置がＧＵＩボタンの表示領域内であるかどうかを判定すればよい。

アプリケーションプロセッサ２２０は、操作入力の位置がＧＵＩボタンの表示領域内である（Ｓ１１：ＹＥＳ）と判定すると、操作入力の位置を含むＧＵＩボタンに制御データの中で対応する振動パターンに応じて、振動素子１４０を駆動する（ステップＳ１２）。ステップＳ１２の処理は、駆動制御部２４０によって実行される。

アプリケーションプロセッサ２２０は、操作入力の位置を含むＧＵＩボタンに制御データの中で対応する音声データに応じて、音声案内を行う（ステップＳ１３）。ステップＳ１３の処理は、音声案内制御部２２５によって実行される。

アプリケーションプロセッサ２２０は、確定操作が行われたかどうかを判定する（ステップＳ１４）。ステップＳ１４の処理は、主制御部２２１によって実行される。

確定操作は、一例として、トップパネル１２０を強く押すことであり、確定操作を行うことで、電子機器１００は入力を受け付ける。このような確定操作を受け付け付ける機能は、例えば、アプリケーションプロセッサ２２０（図６参照）のＯＳによって実現される。確定操作は、トップパネル１２０を強く押すことに限られず、トップパネル１２０に触れている（操作入力を行っている）指先等の面積の増大に基づいて受け付けられるようになっていてもよい。

アプリケーションプロセッサ２２０は、確定操作が行われた（Ｓ１４：ＹＥＳ）と判定すると、確定操作が行われたＧＵＩボタンに制御データの中で対応する操作内容を表すデータを電化製品に送信する（ステップＳ１５）。ステップＳ１５の処理は、主制御部２２１によって実行される。

アプリケーションプロセッサ２２０は、前回の操作入力が行われてから、所定時間以上にわたって操作入力が行われていないかどうかを判定する（ステップＳ１６）。ステップＳ１６の処理は、主制御部２２１によって実行される。

アプリケーションプロセッサ２２０は、所定時間以上にわたって操作入力が行われていない（Ｓ１６：ＹＥＳ）と判定すると、一連の処理を終了する（エンド）。電子機器１００による電化製品の操作は終了したと考えられるからである。

なお、アプリケーションプロセッサ２２０は、ステップＳ１において、登録データを読み出す操作が行われた（Ｓ１：ＹＥＳ）と判定すると、メモリ２５０から登録データを読み出し、フローをステップＳ９に進行させる。以前にメモリ２５０に格納した登録データに基づいて電化製品を操作することが利用者によって選択されたため、ステップＳ２〜Ｓ８の処理を行う必要がないからである。

また、アプリケーションプロセッサ２２０は、ステップＳ６において、照合が成立していない（Ｓ６：ＮＯ）と判定すると、フローをステップＳ２にリターンする。照合が成立していない場合は、例えば、文字認識された文字が、制御データの中に含まれる単語と一致していない場合と、文字が正しく認識されていない場合とが考えられる。

これらの場合には、電子機器１００で電化製品を操作することはできないため、フローをステップＳ２にリターンさせて、再度画像の取得を要求することとしたものである。

また、アプリケーションプロセッサ２２０は、ステップＳ９において、操作入力が行われていない（Ｓ９：ＮＯ）と判定すると、操作入力が行われるまでステップＳ９の処理を繰り返し実行する。以後の利用者の操作入力に備えるためである。

また、アプリケーションプロセッサ２２０は、ステップＳ１０において、操作入力の位置が移動していない（Ｓ１０：ＮＯ）と判定すると、フローをステップＳ９にリターンする。以後の利用者の操作入力に備えるためである。

また、アプリケーションプロセッサ２２０は、ステップＳ１１において、操作入力の位置がＧＵＩボタンの表示領域内ではない（Ｓ１１：ＮＯ）と判定すると、ＧＵＩボタンに制御データの中で対応する周辺領域での振動パターンに応じて、振動素子１４０を駆動する（ステップＳ１７）。ステップＳ１７の処理は、駆動制御部２４０によって実行される。

なお、アプリケーションプロセッサ２２０は、ステップＳ１７で振動素子１４０を駆動すると、フローをステップＳ９にリターンする。以後の利用者の操作入力に備えるためである。

また、アプリケーションプロセッサ２２０は、ステップＳ１４において、確定操作が行われていない（Ｓ１４：ＮＯ）と判定すると、フローをステップＳ９にリターンする。以後の利用者の操作入力に備えるためである。

また、アプリケーションプロセッサ２２０は、ステップＳ１６において、所定時間以上にわたって操作入力が行われていない状態ではない（Ｓ１６：ＮＯ）と判定すると、フローをステップＳ９にリターンする。以後の利用者の操作入力に備えるためである。

以上のような処理を実行することにより、利用者が取得した電化製品の操作部の画像に基づいて、電子機器１００で電化製品を操作することができる。また、利用者が電子機器１００で電化製品を操作する際に、電子機器１００は、操作入力がＧＵＩボタンの内部で移動すると、振動素子１４０を駆動することにより、指先がＧＵＩボタンの内部にあることを利用者に触感で伝達することができる。

例えば、図１０に示すように、時刻ｔ１からｔ２までに利用者の指先が周辺領域に触れていたときの振動パターンが、時刻ｔ２でＧＵＩボタン１６１Ｇの表示領域内に入ると、異なる駆動パターンに変化することによって、触感を通じて指先がＧＵＩボタンの内部にあることを利用者に知らせることができることに相当する。

また、操作入力がＧＵＩボタンの内部に入ると、ＧＵＩボタンによる操作内容を表す音声案内がスピーカ１０３から出力されるので、利用者は、触感と音声のみで、自分が触れているＧＵＩボタンが実行可能な操作内容を把握することができる。

以上、実施の形態によれば、振動と音声で領域を判別できる電子機器１００、及び、電子機器１００の駆動方法を提供することができる。

従って、利用者は、目視しなくても、振動と音声でＧＵＩボタンと、そのＧＵＩボタンの操作内容を把握することができ、目視しなくても、電子機器１００をリモコンとして用いて、電化製品を操作することができる。

このため、電子機器１００で様々な電化製品を操作することができる。例えば、洗濯機１０の他に、電子レンジ、テレビ、ビデオレコーダ、オーディオ等の種々の電化製品を電子機器１００ひとつで、振動と音声でＧＵＩボタンを認識して操作することができる。

また、以上では、ＧＵＩ部品の一例として、ＧＵＩボタンを利用する形態について説明したが、スライダー式のＧＵＩ部品を用いて、スライダーの操作内容の音声案内に加えて、操作の方向でどのようにレベル等が変わるかを音声案内してもよい。

また、以上では、電子機器１００がディスプレイパネル１６０を含む形態について説明したが、電子機器１００はディスプレイパネル１６０を含まなくてもよい。振動と音声で操作内容を認識できるからである。

また、以上では、周辺領域とＧＵＩボタンの表示領域内とで、振動パターンを変えている形態について説明したが、周辺領域では、振動素子１４０を駆動しないようにしてもよい。この場合は、振動が開始することによって、指先がＧＵＩボタンの表示領域内に入ったことを認識することができる。

また、以上では、ボタン１１Ａ〜１１Ｈの操作内容を表すボタンが閉曲線で囲まれている形態について説明したが、ボタン１１Ａ〜１１Ｈの操作内容を表すボタンが閉曲線で囲まれてなくてもよい。

このような場合は、閉曲線を抽出することなく、文字認識を行って、制御データの単語リストに含まれる単語と照合が成立した単語についてＧＵＩボタンによるスイッチを生成すればよい。そして、照合が成立しなかった文字については、その他の情報として、ＧＵＩボタンの周囲に表示すればよい。

また、以上では、制御データが単語リストを含み、文字認識された文字と単語とを照合する形態について説明したが、制御データが単語リストに加えて、数字のリストを含んでもよい。そして、照合の成立した単語と数字について、ＧＵＩボタンを生成してもよい。

図１４は、実施の形態の変形例による電子機器１００を示す図である。図１４に示す電子機器１００は、過去に登録した登録データを呼び出せるようになっている。ディスプレイパネル１６０には、○月×日△時にスタートさせた機能を選択するＧＵＩボタン１６４Ａ、×月△日○時にスタートさせた機能を選択するＧＵＩボタン１６４Ｂ、及び、△月○日×時に停止した機能を選択するＧＵＩボタン１６４Ｃが表示されている。

また、ＧＵＩボタン１６４Ａ、１６４Ｂ、１６４Ｃが表示する内容を音声案内する音声データが関連付けられている。

このため、例えば、利用者がＧＵＩボタン１６４Ｂを操作すると、「×月△日○時にスタートさせた機能を呼び出します」という音声案内がスピーカ１０３から出力される。

図１５は、図１４で説明する機能によって呼び出した電子機器１００の画面と、洗濯機１０を示す図である。電子機器１００のディスプレイパネル１６０には呼び出した登録データによるＧＵＩボタン１６１Ａ〜１６１Ｈが表示され、利用者は、電子機器１００を用いて、呼び出した登録データを利用して、洗濯機１０を操作することができる。

なお、音声案内の内容を利用者が録音できるようにしてもよい。自分の声、好みの音楽、又は、これらを合わせた音声を録音して、ＧＵＩボタン１６４Ａ、１６４Ｂ、１６４Ｃが表示する内容を音声案内するようにしてもよい。

図１６は、実施の形態の変形例による電子機器１００を示す図である。図１６に示すＧＵＩボタン１６３Ａ〜１６３Ｈのように、洗濯機１０の操作部１１のボタン１１Ａ〜１１Ｈとは異なる配列で、ＧＵＩボタン１６３Ａ〜１６３Ｈをディスプレイパネル１６０に表示してもよい。ＧＵＩボタン１６３Ａ〜１６３Ｈは、それぞれ、図８に示すＧＵＩボタン１６１Ａ〜１６１Ｈに対応する。また、ＧＵＩボタン１６３Ａ〜１６３Ｈのように、洗濯機１０の操作部１１のボタン１１Ａ〜１１Ｈとは異なる形状で表示してもよい。

図１７は、実施の形態の変形例による画像の取得方法を説明する図である。

図１７（Ａ）に示す洗濯機１０の操作部１１の画像を電子機器１００で取得した際に、１つの画像に操作部１１が収まりきらない場合は、例えば、図１７（Ｂ）に示すように、複数の画像に分けて操作部１１を撮像してもよい。図１７（Ｂ）では、一例として、操作部１１を３つ以上の画像に分けて撮像している。

そして、画像処理で複数の画像を合成することにより、図１７（Ｃ）に示すように、撮像部１１の全体の画像を１つの写真に加工してもよい。このようにして得た写真に基づき、図１３に示す処理を行えば、電子機器１００で登録データを生成することができる。

図１８は、実施の形態の変形例による電子機器１００を示す図である。図１８に示す電子機器１００では、ストップボタンとしてのＧＵＩボタン１６１Ｈが取得できていない。これは、文字認識で「ストップ」の文字を正しく認識できずに、照合が成立しなかった場合、又は、制御データの単語リストに「ストップ」という単語が含まれなかった場合に、生じうる事態である。このような場合には、ストップボタンの機能を利用することができない。

また、図１８では、ＧＵＩボタン１６１Ａの単語が「入」ではなく「人」になっている。これは、文字認識で洗濯機１０の操作部１１の「入」という文字が誤って「人」として認識され、「人」という単語について照合が成立した場合である。このような「人」のＧＵＩボタン１６１Ａは、電源を入れる機能が割り当てられないので、洗濯機１０の電源を入れることができない。

このような場合には、電子機器１００は、「再撮影してください」という音声案内をスピーカ１０３から出力し、利用者に写真の再取得を促す。

図１９は、実施の形態の変形例による電子機器１００を示す図である。図１９に示す電子機器１００では、「切」ボタンとしてのＧＵＩボタン１６１Ｂが取得できていない。「切」ボタンとしてのＧＵＩボタン１６１Ｂを表す単語「切」は、必須機能フラグの値が‘１’に設定されているからである。

このような場合には、電子機器１００は、「再撮影してください」という音声案内をスピーカ１０３から出力し、利用者に写真の再取得を促す。

図２０は、実施の形態の変形例による電子機器１００の利用方法を説明する図である。

図２０では、電子機器１００は、サーバ５０から１又は複数の登録データをダウンロードしてメモリ２５０に格納することができる。この場合に、電子機器１００が画像から生成した登録データもメモリ２５０に格納してもよい。

サーバ５０が保持する登録データは、電化製品の型式毎に割り振られている。図２０では、型式がAAA-111の電化製品と、BBB-222の電化製品との登録データである。

利用者は、サーバ５０にアクセスして自分が利用する電化製品の型式を入力し、登録データをサーバ５０からダウンロードして、電子機器１００で利用することができる。このため、電子機器１００を様々な電化製品のリモコンとして手軽に利用することができる。

図２１は、実施の形態の変形例による電子機器１００の利用方法を説明する図である。図２１に示す洗濯機１０は、ＲＦＩＤタグ１５を内蔵している。ＲＦＩＤタグ１５のＩＣチップには、操作部１１のスイッチ１１Ａ〜１１Ｈの種類と操作内容を表すデータが登録されている。

利用者は、ＲＦＩＤタグ１５のＩＣチップに登録されたデータを近距離無線通信で読み出し、読み出したデータに対して、照合処理を行い、ＧＵＩボタン１６１Ａ〜１６１Ｈを生成する。

このような手法でも、電子機器１００を電化製品のリモコンとして手軽に利用することができる。この場合には、カメラ１０４で操作部１１の写真を取得する必要がなくなり、文字認識を行う必要もなくなる。

また、ＲＦＩＤタグ１５のＩＣチップに洗濯機１０の型式を表すデータを登録しておき、電子機器１００がＲＦＩＤタグ１５から読み取った型式を表すデータを用いて、図２０に示すサーバ５０から型式に対応する登録データをダウンロードしてもよい。

また、洗濯機１０が、ＲＦＩＤタグ１５の代わりに、登録データを保持していて、電子機器１００が無線ＬＡＮ(Local Area Network)等による無線通信で洗濯機１０から登録データをダウンロードしてもよい。

以上、本発明の例示的な実施の形態の電子機器、及び、電子機器の駆動方法について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
所定の電化製品を操作する電子機器であって、
表示部と、
前記表示部の表示面側に配設され、操作面を有するトップパネルと、
前記操作面に行われる操作入力の位置を検出する位置検出部と、
前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動されることにより、前記操作面に前記固有振動を発生させる振動素子と、
前記電化製品に動作指令を送信する送信部と、
音声出力部と、
前記電化製品の操作部の画像を撮像する撮像部と、
前記撮像部が撮像した前記操作部の画像に含まれる文字を認識する文字認識部と、
電化製品の操作内容を表す所定の単語又は数字と、前記所定の単語又は数字が表す操作内容と、前記所定の単語又は数字又は前記操作内容を表す音声案内とを関連付けた制御データを格納する第１格納部と、
前記文字認識部によって認識された文字と、前記第１格納部に格納された前記制御データに含まれる単語又は数字とを照合する照合部と、
前記表示部に、前記照合が成立した単語又は数字を表すＧＵＩ部品を表示する表示制御部と、
前記位置検出部によって検出される前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記振動素子を前記駆動信号で駆動する駆動制御部と、
前記位置検出部によって検出される前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記音声案内を前記音声出力部に出力させる音声案内制御部と
を含む、電子機器。
（付記２）
前記ＧＵＩ部品を操作を確定する確定操作が行われると、前記照合が成立した単語又は数字に対応する操作内容を表す前記動作指令を生成し、前記送信部に送信させる指令生成部をさらに含む、付記１記載の電子機器。
（付記３）
前記文字認識部は、前記撮像部が撮像した前記操作部の画像の中で、閉曲線に囲まれる文字を認識する、付記１又は２記載の電子機器。
（付記４）
前記第１格納部は、前記制御データとして、前記所定の単語又は数字と、前記操作内容と、前記音声案内と、前記駆動信号の振動パターンとを関連付けて格納しており、
前記駆動制御部は、前記位置検出部によって検出される前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記照合が成立した単語又は数字に対応する前記振動パターンに基づいて、前記振動素子を前記駆動信号で駆動する、付記１乃至３のいずれか一項記載の電子機器。
（付記５）
前記画像に含まれる文字が認識されない場合、又は、前記照合が成立しない場合は、前記駆動制御部は前記振動素子を駆動せず、前記音声案内制御部は前記音声出力部に前記音声案内を出力させない、付記１乃至４のいずれか一項記載の電子機器。
（付記６）
前記画像に含まれる文字が認識されない場合、又は、前記照合が成立しない場合に、前記操作部の画像の再撮像を要求する要求部をさらに含み、
前記文字認識部は、前記撮像部によって再撮像された前記画像に含まれる文字を認識し、
前記照合部は、前記文字認識部によって前記再撮像された前記画像から認識された文字と、前記第１格納部に格納された前記制御データに含まれる単語又は数字とを照合し、
前記表示制御部は、前記再撮像された前記画像から認識された文字について前記照合が成立した単語又は数字を表すＧＵＩ部品を前記表示部に表示し、
前記画像に含まれる文字が認識され、かつ、前記照合が成立した場合に、前記駆動制御部は、前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記振動素子を前記駆動信号で駆動し、前記音声案内制御部は、前記音声案内を前記音声出力部に出力させる、付記５記載の電子機器。
（付記７）
前記制御データによって関連付けられる前記所定の単語又は数字には、前記照合の成立が必須の単語又は数字があり、
前記必須の単語又は数字についての前記照合が成立しない場合は、前記駆動制御部は前記振動素子を駆動せず、前記音声案内制御部は前記音声出力部に前記音声案内を出力させない、付記１乃至６のいずれか一項記載の電子機器。
（付記８）
前記必須の単語又は数字についての前記照合が成立した場合に、前記駆動制御部は前記振動素子を駆動し、前記音声案内制御部は前記音声出力部に前記音声案内を出力させる、付記７記載の電子機器。
（付記９）
前記照合が成立した単語又は数字を登録データとして格納する第２格納部と、
前記操作入力に基づいて前記登録データから所定の単語又は数字を読み出す読み出し部と、
前記読み出し部によって読み出された単語又は数字を表すＧＵＩ部品を前記表示制御部に前記表示部に表示させ、前記位置検出部によって検出される前記操作入力の位置が前記読み出された単語又は数字を表すＧＵＩ部品の表示領域内に入ると、前記駆動制御部に、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記振動素子を前記駆動信号で駆動させるとともに、前記音声案内制御部に前記音声案内を前記音声出力部に出力させる、統括処理部と
をさらに含む、付記１乃至８のいずれか一項記載の電子機器。
（付記１０）
所定の電化製品を操作する電子機器であって、
操作面を有するトップパネルと、
前記操作面に行われる操作入力の位置を検出する位置検出部と、
前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動されることにより、前記操作面に前記固有振動を発生させる振動素子と、
前記電化製品に動作指令を送信する送信部と、
音声出力部と、
前記電化製品の操作部の画像を撮像する撮像部と、
前記撮像部が撮像した前記操作部の画像に含まれる文字を認識する文字認識部と、
電化製品の操作内容を表す所定の単語又は数字と、前記所定の単語又は数字が表す操作内容と、前記所定の単語又は数字又は前記操作内容を表す音声案内とを関連付けた制御データを格納する第１格納部と、
前記文字認識部によって認識された文字と、前記第１格納部に格納された前記制御データに含まれる単語又は数字とを照合する照合部と、
前記照合が成立した単語又は数字に前記トップパネルの所定の領域を割り当てる割り当て部と、
前記位置検出部によって検出される前記操作入力の位置が前記所定の領域内に入ると、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記振動素子を前記駆動信号で駆動する駆動制御部と、
前記位置検出部によって検出される前記操作入力の位置が前記所定の領域内に入ると、前記音声案内を前記音声出力部に出力させる音声案内制御部と
を含む、電子機器。
（付記１１）
所定の電化製品を操作する電子機器であって、
表示部と、
前記表示部の表示面側に配設され、操作面を有するトップパネルと、
前記操作面に行われる操作入力の位置を検出する位置検出部と、
前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動されることにより、前記操作面に前記固有振動を発生させる振動素子と、
前記電化製品と動作指令を送信する送信部と、
音声出力部と、
前記電化製品の識別子を読み取る読み取り部と、
前記識別子と、電化製品の操作内容を表す所定の単語又は数字と、前記所定の単語又は数字が表す操作内容と、前記所定の単語又は数字又は前記操作内容を表す音声案内とを関連付けた制御データを格納する格納部と、
前記表示部に、前記読み取り部が読み取った前記識別子に前記制御データの中で関連付けられた前記所定の単語又は数字を表すＧＵＩ部品を表示する表示制御部と、
前記位置検出部によって検出される前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記振動素子を前記駆動信号で駆動する駆動制御部と、
前記音声案内を前記音声出力部に出力させる音声案内制御部と、
を含む、電子機器。
（付記１２）
所定の電化製品を操作する電子機器の駆動方法であって、
前記電子機器は、
表示部と、
前記表示部の表示面側に配設され、操作面を有するトップパネルと、
前記操作面に行われる操作入力の位置を検出する位置検出部と、
前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動されることにより、前記操作面に前記固有振動を発生させる振動素子と、
前記電化製品に動作指令を送信する送信部と、
音声出力部と、
前記電化製品の操作部の画像を撮像する撮像部と、
前記撮像部が撮像した前記操作部の画像に含まれる文字を認識する文字認識部と、
電化製品の操作内容を表す所定の単語又は数字と、前記所定の単語又は数字が表す操作内容と、前記所定の単語又は数字又は前記操作内容を表す音声案内とを関連付けた制御データを格納する第１格納部と、
前記文字認識部によって認識された文字と、前記第１格納部に格納された前記制御データに含まれる単語又は数字とを照合する照合部と、
前記表示部に、前記照合が成立した単語又は数字を表すＧＵＩ部品を表示する表示制御部と
を含み、
前記位置検出部によって検出される前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記振動素子を前記駆動信号で駆動するとともに、前記音声案内を前記音声出力部に出力させる、電子機器の駆動方法。

１００ 電子機器
１１０ 筐体
１２０ トップパネル
１３０ 両面テープ
１４０ 振動素子
１５０ タッチパネル
１６０ ディスプレイパネル
１７０ 基板
２００ 制御装置
２２０ アプリケーションプロセッサ
２２１ 主制御部
２２２ 文字認識部
２２３ 照合部
２２４ 表示制御部
２２５ 音声案内制御部
２３０ 通信プロセッサ
２４０ 駆動制御部
２５０ メモリ
３００ 駆動制御装置
３１０ 正弦波発生器
３２０ 振幅変調器

Claims (10)

1. 所定の電化製品を操作する電子機器であって、
   表示部と、
   前記表示部の表示面側に配設され、操作面を有するトップパネルと、
   前記操作面に行われる操作入力の位置を検出する位置検出部と、
   前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動されることにより、前記操作面に前記固有振動を発生させる振動素子と、
   前記電化製品に動作指令を送信する送信部と、
   音声出力部と、
   前記電化製品の操作部の画像を撮像する撮像部と、
   前記撮像部が撮像した前記操作部の画像に含まれる文字を認識する文字認識部と、
   電化製品の操作内容を表す所定の単語又は数字と、前記所定の単語又は数字が表す操作内容と、前記所定の単語又は数字又は前記操作内容を表す音声案内とを関連付けた制御データを格納する第１格納部と、
   前記文字認識部によって認識された文字と、前記第１格納部に格納された前記制御データに含まれる単語又は数字とを照合する照合部と、
   前記表示部に、前記照合が成立した単語又は数字を表すＧＵＩ部品を表示する表示制御部と、
   前記位置検出部によって検出される前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記振動素子を前記駆動信号で駆動する駆動制御部と、
   前記位置検出部によって検出される前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記音声案内を前記音声出力部に出力させる音声案内制御部と
   を含み、
   前記制御データによって関連付けられる前記所定の単語又は数字には、前記照合の成立が必須の単語又は数字があり、
   前記必須の単語又は数字についての前記照合が成立しない場合は、前記駆動制御部は前記振動素子を駆動せず、前記音声案内制御部は前記音声出力部に前記音声案内を出力させない、電子機器。
2. 前記ＧＵＩ部品を操作を確定する確定操作が行われると、前記照合が成立した単語又は数字に対応する操作内容を表す前記動作指令を生成し、前記送信部に送信させる指令生成部をさらに含む、請求項１記載の電子機器。
3. 前記文字認識部は、前記撮像部が撮像した前記操作部の画像の中で、閉曲線に囲まれる文字を認識する、請求項１又は２記載の電子機器。
4. 前記第１格納部は、前記制御データとして、前記所定の単語又は数字と、前記操作内容と、前記音声案内と、前記駆動信号の振動パターンとを関連付けて格納しており、
   前記駆動制御部は、前記位置検出部によって検出される前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記照合が成立した単語又は数字に対応する前記振動パターンに基づいて、前記振動素子を前記駆動信号で駆動する、請求項１乃至３のいずれか一項記載の電子機器。
5. 前記画像に含まれる文字が認識されない場合、又は、前記照合が成立しない場合は、前記駆動制御部は前記振動素子を駆動せず、前記音声案内制御部は前記音声出力部に前記音声案内を出力させない、請求項１乃至４のいずれか一項記載の電子機器。
6. 前記画像に含まれる文字が認識されない場合、又は、前記照合が成立しない場合に、前記操作部の画像の再撮像を要求する要求部をさらに含み、
   前記文字認識部は、前記撮像部によって再撮像された前記画像に含まれる文字を認識し、
   前記照合部は、前記文字認識部によって前記再撮像された前記画像から認識された文字と、前記第１格納部に格納された前記制御データに含まれる単語又は数字とを照合し、
   前記表示制御部は、前記再撮像された前記画像から認識された文字について前記照合が成立した単語又は数字を表すＧＵＩ部品を前記表示部に表示し、
   前記画像に含まれる文字が認識され、かつ、前記照合が成立した場合に、前記駆動制御部は、前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記振動素子を前記駆動信号で駆動し、前記音声案内制御部は、前記音声案内を前記音声出力部に出力させる、請求項５記載の電子機器。
7. 前記必須の単語又は数字についての前記照合が成立した場合に、前記駆動制御部は前記振動素子を駆動し、前記音声案内制御部は前記音声出力部に前記音声案内を出力させる、請求項１乃至６のいずれか一項記載の電子機器。
8. 前記照合が成立した単語又は数字を登録データとして格納する第２格納部と、
   前記操作入力に基づいて前記登録データから所定の単語又は数字を読み出す読み出し部と、
   前記読み出し部によって読み出された単語又は数字を表すＧＵＩ部品を前記表示制御部に前記表示部に表示させ、前記位置検出部によって検出される前記操作入力の位置が前記読み出された単語又は数字を表すＧＵＩ部品の表示領域内に入ると、前記駆動制御部に、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記振動素子を前記駆動信号で駆動させるとともに、前記音声案内制御部に前記音声案内を前記音声出力部に出力させる、統括処理部と
   をさらに含む、請求項１乃至７のいずれか一項記載の電子機器。
9. 所定の電化製品を操作する電子機器であって、
   操作面を有するトップパネルと、
   前記操作面に行われる操作入力の位置を検出する位置検出部と、
   前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動されることにより、前記操作面に前記固有振動を発生させる振動素子と、
   前記電化製品に動作指令を送信する送信部と、
   音声出力部と、
   前記電化製品の操作部の画像を撮像する撮像部と、
   前記撮像部が撮像した前記操作部の画像に含まれる文字を認識する文字認識部と、
   電化製品の操作内容を表す所定の単語又は数字と、前記所定の単語又は数字が表す操作内容と、前記所定の単語又は数字又は前記操作内容を表す音声案内とを関連付けた制御データを格納する第１格納部と、
   前記文字認識部によって認識された文字と、前記第１格納部に格納された前記制御データに含まれる単語又は数字とを照合する照合部と、
   前記照合が成立した単語又は数字に前記トップパネルの所定の領域を割り当てる割り当て部と、
   前記位置検出部によって検出される前記操作入力の位置が前記所定の領域内に入ると、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記振動素子を前記駆動信号で駆動する駆動制御部と、
   前記位置検出部によって検出される前記操作入力の位置が前記所定の領域内に入ると、前記音声案内を前記音声出力部に出力させる音声案内制御部と
   を含み、
   前記制御データによって関連付けられる前記所定の単語又は数字には、前記照合の成立が必須の単語又は数字があり、
   前記必須の単語又は数字についての前記照合が成立しない場合は、前記駆動制御部は前記振動素子を駆動せず、前記音声案内制御部は前記音声出力部に前記音声案内を出力させない、電子機器。
10. 所定の電化製品を操作する電子機器の駆動方法であって、
    前記電子機器は、
    表示部と、
    前記表示部の表示面側に配設され、操作面を有するトップパネルと、
    前記操作面に行われる操作入力の位置を検出する位置検出部と、
    前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動されることにより、前記操作面に前記固有振動を発生させる振動素子と、
    前記電化製品に動作指令を送信する送信部と、
    音声出力部と、
    前記電化製品の操作部の画像を撮像する撮像部と、
    前記撮像部が撮像した前記操作部の画像に含まれる文字を認識する文字認識部と、
    電化製品の操作内容を表す所定の単語又は数字と、前記所定の単語又は数字が表す操作内容と、前記所定の単語又は数字又は前記操作内容を表す音声案内とを関連付けた制御データを格納する第１格納部と、
    前記文字認識部によって認識された文字と、前記第１格納部に格納された前記制御データに含まれる単語又は数字とを照合する照合部と、
    前記表示部に、前記照合が成立した単語又は数字を表すＧＵＩ部品を表示する表示制御部と
    を含み、
    前記位置検出部によって検出される前記操作入力の位置が前記ＧＵＩ部品の表示領域内に入ると、前記操作入力の位置の時間的変化度合に応じて前記固有振動の強度が変化するように、前記振動素子を前記駆動信号で駆動するとともに、前記音声案内を前記音声出力部に出力させ、
    前記制御データによって関連付けられる前記所定の単語又は数字には、前記照合の成立が必須の単語又は数字があり、
    前記必須の単語又は数字についての前記照合が成立しない場合は、前記振動素子を駆動せず、前記音声出力部に前記音声案内を出力させない、電子機器の駆動方法。

Images