JP6304932B2 - 情報機器及び情報伝達方法 - Google Patents

Description

本発明は、情報機器及び情報伝達方法に関する。

一般に、背面表示部とタッチパネルとを備えた撮像装置が知られている。タッチパネルは、撮像に関する種々の入力を受け付ける。例えば特許文献１には、動画撮影を行っているときに、タッチパネルがタッチされると静止画を取得する撮像装置に係る技術が開示されている。

例えば特許文献２には、ディスプレイの表示面を覆うように設置されたタッチパネルを上下左右に変位させる機構が開示されている。特許文献２には、タッチパネルを種々の振動パターンで平面方向に振動させて、操作者の指先に触覚を通じて情報を提供したり、タッチパネルに触れた指を所定のボタン位置まで誘導したりすることについて開示されている。

特開２００５−１９８０６８号公報 特開２００３−０５８３２１号公報

撮像装置においては、視覚を撮影のために集中させるため、撮像装置からユーザへの情報伝達に視覚以外の感覚が用いられることは有効である。上記特許文献２のように、指先が触れている例えばタッチパネルを振動させることで情報を伝達することは、触覚を利用して情報伝達を行う意味で利点がある。しかしながら、特許文献２に開示されている振動機構は、複雑で大掛かりである。

本発明は、視覚以外の感覚を利用して情報伝達を行うための情報機器及び情報伝達方法を提供することを目的とする。

前記目的を果たすため、本発明の一態様によれば、情報機器は、ユーザに伝達する情報である伝達情報毎に異なる変形信号を出力する信号生成部と、複数の場所に配置される可撓性の薄板状の圧電部材であって、各々の前記圧電部材は、前記変形信号に応じた位置が部分的に変形可能なように構成されている、圧電部材と、各々の前記圧電部材に設けられており、前記圧電部材とユーザとの接触状態を前記圧電部材毎に検出する接触検出部と、前記接触状態に応じて変形させる前記圧電部材を複数の場所に配置された前記圧電部材のうちから選択する信号切換部とを具備し、前記接触検出部は、前記圧電部材とユーザとの接触面積を前記接触状態として検出し、前記信号切換部は、前記接触面積が最も広い前記圧電部材を、前記変形信号に基づいて変形させる前記圧電部材として選択する。

前記目的を果たすため、本発明の一態様によれば、情報伝達方法は、複数の場所に配置される可撓性の薄板状の圧電部材であって、各々の前記圧電部材は、変形信号に応じた位置が部分的に変形可能なように構成されている、圧電部材と、各々の前記圧電部材に設けられており、前記圧電部材とユーザとの接触状態を前記圧電部材毎に検出する接触検出部とを有する情報機器を用いた情報伝達方法であって、前記圧電部材とユーザとの接触面積を前記接触状態として検出することと、変形させる前記圧電部材として、複数の場所に配置された前記圧電部材のうちから前記接触面積が最も広い前記圧電部材を選択することと、ユーザに伝達する情報である伝達情報毎に異なる前記変形信号を出力することと、前記変形信号に基づいて選択された前記圧電部材を変形させることとを具備する。

本発明によれば、視覚以外の感覚を利用して情報伝達を行うための情報機器及び情報伝達方法を提供できる。

第１の実施形態に係るデジタルカメラの構成例の概略を示すブロック図。 第１の実施形態に係るデジタルカメラにおける圧電素子の配置例を示す概略図。 第１の実施形態に係るデジタルカメラにおける圧電素子の配置例を示す概略図。 第１の実施形態に係る圧電素子の構成例を示す概略図。 第１の実施形態に係る圧電素子の動作例を説明するための概略図。 第１の実施形態に係る圧電素子の動作例を説明するための概略図。 第１の実施形態に係る電力供給回路の構成例を示す概略図。 第１の実施形態に係るデジタルカメラにおける処理の一例の概略を示すフローチャート。 第１の実施形態に係るデジタルカメラが出力する音声の一例を示す図。 第１の実施形態に係るデジタルカメラにおける圧電制御処理の一例の概略を示すフローチャート。 第１の実施形態に係る有効範囲について説明するための図。 第１の実施形態に係る動作例について説明するための図。 第２の実施形態に係る動作例について説明するための図。 第２の実施形態に係るデジタルカメラにおける圧電制御処理の一例の概略を示すフローチャート。 第２の実施形態に係る有効範囲について説明するための図。

［第１の実施形態］
本発明の第１の実施形態について図面を参照して説明する。本実施形態に係るデジタルカメラ１００の構成例の概略を図１に示す。この実施形態で情報機器のアプリケーションとしてデジタルカメラを取り上げたのは、表示画面を利用したユーザインターフェースがありながら、アクティブな撮影シーンにおいては、それだけを目視できない状況があり、かつ機器を身近に把持して、視覚以外の感覚（触覚、聴覚等）を有効利用できるからである。本発明に係る情報機器は、同様に他の機器への応用が可能であることは言うまでもない。この図に示されるように、デジタルカメラ１００は、画像処理制御部１と、撮像部２と、操作部３と、記録部４とを備える。画像処理制御部１は、後述するとおり、デジタルカメラ１００の各部の動作を制御し、また、取得した画像の処理等を行う。撮像部２は、レンズ等を含む光学系や撮像素子等を含み、被写体像に基づいて画像信号を生成する。操作部３は、例えばレリーズボタンや、レンズの焦点距離を変更するためのズームボタンや、モードを選択するためのダイヤル等、ユーザからの各種入力を取得する。記録部４は、画像処理制御部１が処理を行うための各種プログラム等が記録されている。また、記録部４にはデータベース（ＤＢ４ａ）が記録されている。このＤＢ４ａには、後述するスピーカーからユーザに向けて出力する音声についてのデータや、圧電素子５を用いてユーザに伝達される振動のパターン等が含まれている。

デジタルカメラ１００は、表示部８と、エレクトロニックビューファインダー（ＥＶＦ）９と、アイセンサ１０と、タッチパネル１１とを備える。表示部８は、例えば液晶ディスプレイを含み、画像処理制御部１の制御下で各種画像を表示する。表示部８には、液晶ディスプレイに限らず、有機ＥＬディスプレイ等の他の表示素子が用いられてもよい。ＥＶＦ９は、高精細な表示素子を含み、画像処理制御部１の制御下で各種画像を表示する。ユーザは、ＥＶＦ９を覗き込むようにしてＥＶＦ９に表示された画像を見る。このため外光の影響を受けにくく、ＥＶＦ９は視認性のよい表示を行える。表示部８及びＥＶＦ９は、例えば撮像部２で取得し、画像処理制御部１で画像処理されたスルー画を表示する。また、表示部８及びＥＶＦ９は、例えば各種カメラの設定等を表示する。また、表示部８は、例えば撮影された画像を表示する。アイセンサ１０は、アイセンサ１０の付近に顔があるか否かを非接触に検出することで、ユーザがＥＶＦ９を覗いているか否かを検出するためのセンサである。タッチパネル１１は、表示部８上に設けられており、ユーザが表示部８をタッチしたときに、そのタッチ位置を検出する。しかしながら、これらの表示部は、機器の利用状況によっては凝視できない場合があり、視覚をそこに集中していると、アクティブなシーンでは危険な場合もある。撮影領域だけを見つめるのも、視野が制限されていて、もっとよい被写体が来るなど重要な状況変化に対応できない場合がある。また、表示部と異なる部位の操作用の部位を動かすのに集中していると、必ずしも表示部を見ていない場合がある。さらに、表示部が反射していたりすると、操作部位が表示部に近接していたり表示部上に設けられていても、目視確認が困難な場合がある。

デジタルカメラ１００は、複数の圧電素子５と、複数の電力供給回路６と、複数のタッチ検出部７とを有する。圧電素子５は、後述のとおり、ユーザの手に触れる位置に設けられている。圧電素子５は、撓むことによってユーザに情報を伝達する。電力供給回路６は、圧電素子５に電力を供給し、圧電素子５を駆動する。タッチ検出部７は、圧電素子５と組み合わされて、ユーザが圧電素子５に触れている位置を検出する。

本実施形態に係るデジタルカメラ１００において、圧電素子５が配置されている場所を図２及び図３を参照して説明する。図２に圧電素子５ａとして示されているように、圧電素子５は、例えばカメラ本体１１０のうち、ユーザが撮影を行うためにレリーズボタン６ａに右手人差し指を掛けてデジタルカメラ１００を把持したときに、右手３１０が触れる位置に設けられている。また、図２に圧電素子５ｂとして示されているように、圧電素子５は、撮影を行うためにユーザがデジタルカメラ１００を把持したときに左手３２０で触れる、例えばレンズ１２０のレンズリングに設けられている。また、図３に圧電素子５ｃとして示されているように、圧電素子５は、表示部８及びタッチパネル１１上の一部又は全面に設けられている。

圧電素子５は、上述の３箇所の全てに設けられてもよいし、これらのうち一部に設けられていてもよい。また、上述の３箇所は一例であり、ユーザが撮影のためにデジタルカメラ１００を把持したときに、右手又は左手が触れる位置に配置されていればよい。圧電素子５が配置される位置は、触覚が敏感である指先が触れる位置が好ましい。カメラの場合は、グリップ部やレンズ部周囲など代表的なホールディング場所が決まっており、こうした場所がそれに当たるが、他の機器においても、ユーザが把持する場所、皮膚が接触する場所が想定されている場合が多い。

本実施形態で用いられる圧電素子５について、図４及び図５を参照して説明する。図４は、圧電素子５の概略を示す。圧電素子５は、例えばＬ体のポリ乳酸又はＤ体のポリ乳酸を含む圧電素子層５１を有する。この圧電素子層５１を挟持するように、共通電極層５２と微小電極層５３とが設けられている。微小電極層５３には、個別にその電位が変化する複数の微小電極が設けられている。共通電極層５２と微小電極層５３との間に電位差があると、圧電素子層５１は伸縮し、その結果、圧電素子層５１は撓む。圧電素子層５１にポリ乳酸が用いられることで、単純な構造で大きな変位が得られる。

例えば、図５に示されるように、微小電極層５３のうち、ユーザの指３３０が触れている部分に対応する微小電極５３ａにのみ信号電圧が印加されると、その部分の圧電素子層５１が撓む。その結果、この部分に触れているユーザの指は、この撓みを感知する。例えば図６に示されるように、微小電極層５３のうち、信号電圧を印加する微小電極を順に変化させると、圧電素子層５１のうち撓んでいる位置が変化する。ユーザの指は、この撓みによって膨らんでいる位置の変化を感知することができる。ここで、ユーザが膨らんでいる位置を感知しやすいように、圧電素子５は、膨らみの大小を細かく変化させて振動させるようにしてもよいし、一定の膨らみを有したまま位置だけを変化させてもよい。

把持する場所、皮膚が接触する場所が想定されている場合でも、さらに厳密にユーザの癖や指や接触部位の個人差などを考慮して圧電素子５の撓み位置を決定した方がより効果的である。特に、平らな面やなだらかな曲面部では、ユーザによって触れられる領域に差異があり、触れられていない場所の圧電素子層５１を撓ませても、的確な情報伝達ができないからである。ただし、特定のボタン等の制限された領域では、特にこうした考慮は不要である。

圧電素子５は、外力によって撓むとその電位が変化する。この電位変化を検出することで、ユーザが圧電素子５に触れた位置を取得することができる。タッチ検出部７は、このような圧電素子５の電位変化に基づいて、ユーザが圧電素子５に触れた位置を取得する。

圧電素子５ａにはタッチ検出部７ａが設けられており、圧電素子５ｂにはタッチ検出部７ｂが設けられている。圧電素子５ｃは、タッチパネル１１に設けられているので、圧電素子５ｃには、タッチ検出部７は設けられていない。もちろん、別の検出部が設けられてもよい。

本実施形態に係る圧電素子５の微小電極層５３へ電力を供給する電力供給回路６の概略を図７に示す。微小電極層５３は、第１の微小電極５３−１、第２の微小電極５３−２のように、複数の微小電極を含む。電力供給回路６には、定電圧源６１が設けられている。定電圧源６１は、それぞれ供給電位が異なる第１の定電圧源６１−１と、第２の定電圧源６１−２と、第３の定電圧源６１−３と、第４の定電圧源６１−４とを含む。これら定電圧源の数は、圧電素子５の撓み量の刻みに依存し、４つに限らずいくつであってもよい。

電力供給回路６は、画像処理制御部１からの制御信号が入力されるデコード部６５を有する。デコード部６５は、第１のスイッチ（ＳＷ）制御回路６２−１、第２のＳＷ制御回路６２−２等のスイッチ制御回路６２に接続されており、これらスイッチ制御回路に制御信号を出力する。各スイッチ制御回路６２は、後述のスイッチのＯＮ又はＯＦＦを制御する。

第１乃至第４の定電圧源６１は、それぞれ第１のＳＷ制御回路６２−１によって制御されるスイッチ６３−１を介して第１の微小電極５３−１に接続されている。したがって、第１のＳＷ制御回路６２−１が複数の第１のスイッチ６３−１のそれぞれをＯＮ又はＯＦＦにすることで、ＯＮになった定電圧源の電圧に応じて第１の微小電極５３−１の電位は変化する。

同様に、第１乃至第４の定電圧源６１は、それぞれ第２のＳＷ制御回路６２−２によって制御されるスイッチ６３−２を介して第２の微小電極５３−２に接続されている。したがって、第２のＳＷ制御回路６２−２が複数の第２のスイッチ６３−２のそれぞれをＯＮ又はＯＦＦにすることで、ＯＮになった定電圧源の電圧に応じて第２の微小電極５３−２の電位は変化する。以下同様に、各微小電極の電位は、スイッチ制御回路６２によって制御される。

デジタルカメラ１００には、記録媒体１２が着脱自在に設けられている。記録媒体１２は、一般的な記録媒体であり、デジタルカメラ１００で取得された画像等を記録する。デジタルカメラ１００は、マイク１３と、スピーカー１４とを備える。マイク１３は、デジタルカメラ１００の外部の音声を受信し、音声信号を画像処理制御部１に出力する。スピーカー１４は、画像処理制御部１の制御下で、デジタルカメラ１００の外部へ音声を出力する。また、デジタルカメラ１００は、時計１５を備える。時計１５は、撮像時刻等を記録するために、画像処理制御部１に時刻を出力する。

画像処理制御部１は、撮影制御部１ａと、画像処理部１ｂと、表示制御部１ｃと、信号生成部１ｄと、タッチ位置特定部１ｆと、信号切換部１ｇと、音声解析部１ｈとを含む。撮影制御部１ａは、例えば撮像部２の各部のように撮影に係る部分の制御を行う。撮影制御部１ａは、シャッタ速度、絞り、フォーカシング、焦点距離調整等を行う。画像処理部１ｂは、撮像部２で取得された画像信号について画像処理を施し、撮像画像やスルー画を作成する。表示制御部１ｃは、表示部８やＥＶＦ９の表示を制御する。また、表示制御部１ｃは、アイセンサ１０の検出結果に基づいて、例えばアイセンサによってユーザがＥＶＦ９を覗いているときは画像をＥＶＦ９に表示させ、ユーザがＥＶＦ９を覗いていないときは表示部８に表示させる等の判断をする。

信号生成部１ｄは、圧電素子５を駆動するための駆動信号を出力する。また、信号生成部１ｄは、音声合成部１ｅを有する。音声合成部１ｅは、スピーカー１４から出力する音声の合成を行う。信号生成部１ｄは、ＤＢ４ａに記録されているデータに基づいて、圧電素子５やスピーカー１４へ出力する信号を生成する。タッチ位置特定部１ｆは、タッチパネル１１による検出信号や、タッチ検出部７による検出信号を解析し、ユーザによってタッチされた位置を特定する。信号切換部１ｇは、３つある圧電素子５ａ，５ｂ，５ｃのうち、何れの圧電素子５に駆動信号を出力するか決定する。音声解析部１ｈは、マイク１３で取得した音声を解析し、例えばユーザが発した声による指示を取得する。

次に本実施形態に係るデジタルカメラ１００の動作について説明する。本実施形態に係るデジタルカメラ１００は、ユーザが、表示部８等への表示を目視によって確認しなくても、圧電素子５の撓みや振動とスピーカー１４から出力される音声とによって、所定の動作について認識できるように構成されている。本実施形態では、ユーザが指定した動作について振動又は音声が出力される例を示す。本実施形態に係るデジタルカメラ１００の動作を示すフローチャートを図８に示す。

ステップＳ１０１において、画像処理制御部１は、撮影モードであるか否かを判定する。撮影モードであると判定されたとき、処理はステップＳ１０２に進む。ステップＳ１０２において、画像処理制御部１は、撮像部２から撮像画像を取得し、画像処理を施して、スルー画を作成する。

ステップＳ１０３において、画像処理制御部１は、アイセンサ１０から検出信号を取得し、アイセンサ１０が感知状態であるか否かを判定する。アイセンサ１０が感知状態でないと判定されたとき、すなわち、ユーザがＥＶＦ９を覗いていないと判定されたとき、処理はステップＳ１０４に進む。ステップＳ１０４において、画像処理制御部１は、ステップＳ１０２で作成したスルー画を、表示部８に表示させる。

ステップＳ１０５において、画像処理制御部１は、タッチパネル１１から検出信号を取得し、表示部８に表示された画面内についてタッチされたか否かを判定する。画面内がタッチされたと判定されたとき、処理はステップＳ１０６に進む。ステップＳ１０６において、画像処理制御部１は、タッチされた位置が表示部８に表示された種々の動作を示すアイコン上であるか否かを判定する。アイコン上であると判定されたとき、処理はステップＳ１２１に進む。一方、アイコン上でないと判定されたとき、処理はステップＳ１０７に進む。

ステップＳ１０７において、画像処理制御部１は、タッチレリーズ動作を行う。すなわち、画像処理制御部１は、タッチパネル１１がタッチされた位置に応じた表示部８に表示された被写体に合焦させる動作を行う。続いて撮像部２に撮像を行わせ、取得された画像に画像処理を施した画像を記録媒体１２に記録させる。

ステップＳ１０５の判定において画面内がタッチされていないと判定されたとき、処理はステップＳ１０８に進む。ステップＳ１０８において、画像処理制御部１は、例えば操作部３から入力信号を取得し、レリーズボタンが押圧された等の撮影操作が行われたか否かを判定する。撮影操作が行われていないと判定されたとき、処理はステップＳ１０１に戻る。一方、撮影操作が行われたと判定されたとき、処理はステップＳ１０９に進む。ステップＳ１０９において、画像処理制御部１は、撮像部２に撮像を行わせ、取得され画像処理を施した画像を記録媒体１２に記録させる。その後、処理はステップＳ１０１に戻る。

ステップＳ１０３の判定においてアイセンサ１０が感知状態であると判定されたとき、処理はステップＳ１１１に進む。ステップＳ１１１において、画像処理制御部１は、ＥＶＦ９に、ステップＳ１０２で作成したスルー画を表示させる。ステップＳ１１２において、画像処理制御部１は、動作選択がされたか否かを判定する。動作選択は、例えば操作部３のボタンやダイヤルなどが操作されることで行われる。また、動作選択は、例えばマイク１３への音声の入力によってなされる。このとき画像処理制御部１は、入力された音声に基づいて、音声認識を行う。動作選択がなされていないと判定されたとき、処理はステップＳ１０１に戻る。一方、動作選択がなされたと判定されたとき、処理はステップＳ１２１に進む。

ステップＳ１２１において、画像処理制御部１は、複数の圧電素子５について、ユーザの指が触れている位置を取得する。ここでユーザの指が触れている位置は、例えば表示部８に設けられた圧電素子５ｃであればタッチパネル１１から取得する。また、レンズやカメラ本体に設けられた圧電素子５においては、その圧電素子５とともに配置されたタッチ特定部７からタッチ位置を取得する。ステップＳ１２２において、画像処理制御部１は、複数ある圧電素子５のうち、最もユーザの指が触れている面積が大きい場所を特定し、選択された動作に対応する触覚刺激を出力する圧電素子５を選択する。

ステップＳ１２３において、画像処理制御部１は、圧電制御処理を行う。圧電制御処理では、選択された動作を表す音声と、その音声と同期した動作を表す触覚刺激とを出力する。例えば、「望遠ズーム」や「広角ズーム」動作が選択されたとき、図９に示されるような音声が出力される。この音声の音の高低に合わせて、図６を参照して説明したように、圧電素子５の膨らみ位置が変化する。例えば高音程膨らみ位置が指先方向となり、低音程膨らみ位置が指の根元方向となるように、膨らみ位置が変化する。

この選択した動作は、表示部上に設けられたタッチパネルの操作でもよいし、併設された十字キーやタッチパッドの操作でもよく、別の部分に設けられたリング操作部やスイッチ類の操作でもよい。触覚刺激は、タッチ操作の場合は、タッチ部に刺激を出してもよく、把持された部分や身体に接触した部分を検出してそこに刺激を出してもよい。タッチパネルのスライド操作等では、スライドする過程に応じた振動を発生する応用も可能で、平面上のおぼつかない感覚を補助することができる。例えば、ブラインドタッチ式のスライドや所定のパターンをなぞるようなスライドが正しく行われたか否かを、タッチされている点の振動や、他の把持部など皮膚接触部への振動によってユーザに正しく伝えることが可能となる。また、ユーザの感覚の個人差に応じて、この刺激の量を変更することも可能であり、例えば、把持の強さを検出し、把持が弱い人には弱い刺激、強い人には強い刺激を出すようにしてもよい。これによって、刺激に驚いて、機器を落としてしまうような問題を解決できる。

圧電制御処理について図１０に示すフローチャートを参照して詳述する。ステップＳ２０１において、画像処理制御部１は、同一の動作の選択操作がなされた回数が１００回未満であるか否かを判定する。１００回未満であると判定されたとき、処理はステップＳ２０２に進む。ステップＳ２０２において、画像処理制御部１は、ユーザが選択した動作に対応する音声パターンをＤＢ４ａから取得する。ステップＳ２０３において、画像処理制御部１は、ユーザが選択した動作に対応する振動パターンをＤＢ４ａから取得する。

ステップＳ２０４において、画像処理制御部１は、ステップＳ１２２で選択された触覚刺激を出力する圧電素子５における、接触位置の有効範囲を判定する。ここで、有効範囲は、例えば次のように決定される。すなわち、図１１に示されるように、例えば圧電素子５において、縦長の微小電極が横方向に並べられている場合、長さ方向は横方向となる。このとき、接触位置２０１が図のようになっていた場合、この接触位置２０１の重心を通り長さ方向に平行な直線が設定され、この直線上の接触位置２０１の範囲が有効範囲２０２と決定される。

ステップＳ２０５において、画像処理制御部１は、ステップＳ２０２で取得された音声パターンに基づいて、当該音声の一音の出力を行う。この音声出力と同時に、ステップＳ２０４で判定された有効範囲と、ステップＳ２０３で取得された振動パターンとに基づいて、出力する一音に相当する触覚刺激を圧電素子５に出力させる。当該触覚刺激については、例えば有効範囲内で触覚刺激がなされるように触覚刺激のパターンが調整される。また、有効範囲の中央が、出力音声の所定の音程となるように設定される。

ステップＳ２０６において、画像処理制御部１は、一音の出力時間である所定の時間が経過したか否かを判定する。所定の時間が経過していないと判定されたとき、処理はステップＳ２０５に戻り、その一音の出力を継続する。一方、所定の時間が経過していると判定されたとき、処理はステップＳ２０７に進む。ステップＳ２０７において、画像処理制御部１は、出力すべき言葉が終わり出力終了であるか否かを判定する。出力終了であると判定されたとき、処理は図８を参照して説明しているメインフローに戻る。一方、出力終了でないと判定されたとき、処理はステップＳ２０８に進む。ステップＳ２０８において、画像処理制御部１は、次の一音に対応する触覚刺激出力位置を決定する。その後処理はステップＳ２０５に戻り、次の一音の触覚刺激と音声とを出力する。このようにして、出力すべき言葉の音声と触覚刺激とを一連として出力する。

ステップＳ２０１の判定において、操作回数が１００回以上であると判定されたとき、処理はステップＳ２１１に進む。処理がステップＳ２１１に進むとき、ユーザは、音声と触覚刺激とを１００回にわたり繰り返し知覚しているので、当該音声と触覚刺激とを結びつけて記憶していると考えられる。このようなユーザは、触覚刺激を受けるだけで音声が無くても対応する音声を想起すると考えられる。そこで本実施形態では、操作回数が１００回以上であるとき、音声を出力せずに触覚刺激のみを出力する。このようにすることで、静かな場所での撮影において、出力音声が邪魔になることが防止され得る。

この実施例では、視覚的には二次元、三次元的に情報を明確に豊富に与えられるのに対し、聴覚では時間的な変化を要するし、同じ場所での触覚では感知できる情報量が少ないことを対策し聴覚、触覚、又は必要に応じて視覚も含め、複数の情報や刺激によって、情報の不確かさや少なさを補うようにしている。また、ユーザが刺激に対して慣れてくるにつけ、敏感になり、補助情報は減らしてもよいことを考慮した工夫をしている。これによって、省エネや、静音性などを確保できる。また、触覚刺激も、同一情報の伝達回数に応じて徐々に簡略化、制限するようにしてもよい。なお、１００回という回数は、変更可能であり、ユーザの操作の速度などを判定することで慣れ具合を検出して増減させてもよい。

ステップＳ２１１において、画像処理制御部１は、ユーザが選択した動作に対応する振動パターンをＤＢ４ａから取得する。ステップＳ２１２において、画像処理制御部１は、ステップＳ１２２で選択された触覚刺激を出力する圧電素子５における、接触位置の有効範囲を特定する。ステップＳ２１３において、画像処理制御部１は、ステップＳ２１２で特定された接触位置の有効範囲と、ステップＳ２１１で取得された振動パターンとに基づいて、一音に相当する触覚刺激を圧電素子５に出力させる。

ステップＳ２１４において、画像処理制御部１は、一音に相当する触覚刺激の出力時間である所定の時間が経過したか否かを判定する。所定の時間が経過していないと判定されたとき、処理はステップＳ２１３に戻り、その一音に相当する触覚刺激の出力を継続する。一方、所定の時間が経過していると判定されたとき、処理はステップＳ２１５に進む。ステップＳ２１５において、画像処理制御部１は、出力すべき言葉が終わり出力終了であるか否かを判定する。出力終了であると判定されたとき、処理は図８を参照して説明しているメインフローに戻る。一方、出力終了でないと判定されたとき、処理はステップＳ２１６に進む。ステップＳ２１６において、画像処理制御部１は、次の一音に対応する触覚刺激出力位置を決定する。その後処理はステップＳ２１３に戻り、次の一音に対応する触覚刺激を出力する。このようにして、出力すべき言葉に対応する触覚刺激を一連として出力する。

触覚に限らずユーザに対する五感の刺激をまとめて刺激情報と呼んでもよい。このように、単一の刺激では不慣れな刺激を、他の情報（刺激）で補助することで、ユーザに分かりやすい情報伝達が可能となる。特に、時間的に変化する情報や刺激は一過性であり、触り逃しや聞き逃しなどを対策するには複数情報の補助が好ましい。したがって、視覚的にも同様の表示を行ってもよい。このとき、表示をテロップ式にして時間変化を対応させてもよい。ユーザは頭の中でこの表示を読むので、その時のリズムや音程変化など、イントネーションに合わせて音声や振動を切り換えてもよい。

一過性の刺激は、現時点でどの部分まで出力されたのかがわかりにくいので、刺激の前後に始まりと終わりを示す補助的な刺激を出すようにしても良い。これによって、ユーザは心構えを持って刺激に対して神経を集中することも可能となり、伝達の確実さが増す。ただし、長々とした時間を要する情報伝達は機器の制御の軽快性を制限するので、中断操作用のスイッチを設けてもよい。また、時間がかかる刺激をどんどん短縮するようにしてもよい。

図８に戻って説明を続ける。ユーザは、ステップＳ１２３の圧電制御処理で提示された自らが選択した動作について、その選択で意図した選択であるか否かの判断結果を操作部３やタッチパネル１１を用いて入力する。ステップＳ１２４において、画像処理制御部１は、操作部３やタッチパネル１１から、ユーザが入力した意図した選択であるか否かの判断結果（選択ＯＫ又は選択ＮＧ）を取得し、選択ＯＫであるか否かを判定する。選択ＯＫでないと判定されたとき、処理はステップＳ１２６に進む。一方、選択ＯＫであると判定されたとき、処理はステップＳ１２５に進む。ステップＳ１２５において、画像処理制御部１は、ユーザによって選択された動作に応じた制御又は設定を行う。その後、処理はステップＳ１２６に進む。

このＯＫ表示を視覚的に行ってもよく、聴覚、触覚刺激（又は視覚）と合わせて行ってもよい。これによって、一つの情報が見逃され、聞き逃されても、別の感覚が補助して、確実性を増した操作を続行することができる。こうしたユーザに対する五感の刺激をまとめて、刺激情報と呼んでもよい。したがって、失敗してもすぐに挽回することもできる。また、スライド操作などではスピードや軌道の可変が可能となる。

ステップＳ１２６において、画像処理制御部１は、例えば操作部３から入力信号を取得し、撮影操作が行われたか否かを判定する。撮影操作が行われていないと判定されたとき、処理はステップＳ１０１に戻る。一方、撮影操作が行われたと判定されたとき、処理はステップＳ１２７に進む。ステップＳ１２７において、画像処理制御部１は、撮像部２に撮像を行わせ、取得された画像を記録媒体１２に記録させる。その後、処理はステップＳ１０１に戻る。

ステップＳ１０１の判定において、撮影モードでないと判定されたとき、処理はステップＳ１５１に進む。ステップＳ１５１において、画像処理制御部１は、再生モードであるか否かを判定する。再生モードであると判定されたとき、処理はステップＳ１５２に進む。ステップＳ１５２において、画像処理制御部１は、記録媒体１２に記録されている画像のうち選択されている画像を読出し、表示部８に表示させる。選択されている画像は、例えば表示モードが選択された初めは最新に記録された画像であってもよいし、サムネイル画像から選択された画像であってもよい。

ステップＳ１５３において、画像処理制御部１は、選択された画像の変更の操作が行われたか否かを判定する。画像変更の操作が行われていないと判定されたとき、処理はステップＳ１０１に戻る。一方、画像変更の操作が行われたと判定されたとき、処理はステップＳ１５４に進む。ステップＳ１５４において、画像処理制御部１は、選択画像を変更し、処理はステップＳ１０１に戻る。

ステップＳ１５１の判定において、再生モードが選択されていないと判定されたとき、処理はステップＳ１５５に進む。ステップＳ１５５において、画像処理制御部１は、通信動作等を行う。その後、処理はステップＳ１０１に戻る。

本実施形態によれば、デジタルカメラ１００は、ユーザによる動作選択を、視覚を用いる表示部８等によらず、触覚を用いる圧電素子５によってユーザに提示することができる。その結果、ユーザは視覚を例えば撮影のフレーミング等に集中させることができる。撮影でなくとも、表示部を凝視できないような機器操作では、同様の効果を奏する。なお、本実施形態ではパターンに応じて圧電素子５の撓み位置を変化させる例を示したが、撓むタイミングが変化するものでもよい。

また、本実施形態のように、所定回数が繰り返されるまでは、圧電素子５による触覚刺激と、スピーカー１４から出力される音声による聴覚刺激とが併用される。このため、触覚刺激と聴覚刺激とがそれぞれが弱い出力であっても、ユーザはデジタルカメラ１００による提示を認識することができる。さらに、圧電素子５の撓む位置が音声の音程の高低と相関を有することは、これら２つの刺激の関連度合いが増すことによってユーザに感知されやすくなるという効果を有する。また、所定回数触覚刺激と聴覚刺激とが併用されることで、ユーザにおいて触覚刺激の記憶と音声の記憶とが結びつき、触覚刺激だけでも音声を伴うようにユーザは知覚することができるようになる。もちろん、他の感覚を補助させてもよいことは言うまでもない。

また、本実施形態では、デジタルカメラ１００に複数の圧電素子５が設けられており、ユーザが触れている面積が大きい圧電素子５によって触覚刺激の出力が行われている。このように、圧電素子５が複数設けられることによって、使用状況に応じて様々な形態でユーザに把持されても、デジタルカメラ１００は、情報伝達が確実に行われるという効果を奏する。

望遠ズーム動作と広角ズーム動作との場合を例に挙げて説明したが、種々の動作について本実施形態に係る提示方法は用いられ得る。動作毎に圧電素子５の振動パターン等を有していることで、ユーザは複数の動作について識別することができる。

また、本実施形態では、ユーザがデジタルカメラ１００に動作を指示する入力を行ったときに、触覚刺激等が出力されることで確認が行われる例を示した。しかしながらこれに限らない。デジタルカメラ１００は、ユーザが指示を入力したときに、その指示に基づいた動作を行いつつ、同時に触覚刺激等による動作内容の提示を行うように構成されてもよい。また、本実施形態は、ユーザからの指示の入力に応答するものに限らず、デジタルカメラ１００からユーザへの種々の情報の伝達に用いられ得る。例えば合焦したか否かの判断結果や、露出がアンダーであるかオーバーであるか等の情報が出力され得る。

また、本実施形態では、日本語による音声と振動とが提示される場合を例示したが、例えば英語など他の言語で提示されてもよい。この場合、言語に応じて音声と振動とが一致するように、種々の言語に関して音声と振動のパターンがＤＢ４ａに記録されている。

また、例えば、露出補正のように、値を調整する必要がある動作については、圧電素子５にスライダのような動作を行わせてもよい。すなわち、例えば表示部８及びタッチパネル１１と重ね合されている圧電素子５ｃが用いられる。図１２に示されるように、圧電素子５ｃは、現在の露出補正の設定値に応じた位置が膨らむ。ユーザによって、この膨らみを移動させるようにタッチパネル１１上で指がスライドすると、このスライドに合わせて圧電素子５ｃは膨らみ位置を変更させる。その結果、ユーザはスライダを操作しているような触覚を感じることができる。このとき、音声の刺激を補助するようにしてもよいことは言うまでもない。また、振動させるのは、タッチ部である必要はなく、機器の把持部などを検出して、そこを振動させても良い。もちろん、振動部材は、圧電素子でなく、モータの回転などによる部材の応用によっても振動パターンを変更することが可能である。

［第２の実施形態］
本発明の第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。第１の実施形態では、圧電素子５の振動位置が変化することで動作パターンをユーザに提示する。これに対して本実施形態では、圧電素子５が順々に点字を出力する。このため、圧電素子５は、膨らませる位置を２次元的に変化させられる。

例えば「露出変更」が選択された場合、図１３に示されるように、「ロシュツヘンコウ」を表す点字が次々に圧電素子５によって提示される。すなわち、圧電素子５は、点字の突起部に相当する位置を次々に膨らませる。

圧電制御処理について図１４に示すフローチャートを参照して説明する。ステップＳ３０１において、画像処理制御部１は、同一の動作の選択操作がなされた回数が１００回未満であるか否かを判定する。１００回未満であると判定されたとき、処理はステップＳ３０２に進む。ステップＳ３０２において、画像処理制御部１は、ユーザが選択した動作に対応する音声パターンをＤＢ４ａから取得する。ステップＳ３０３において、画像処理制御部１は、ユーザが選択した動作に対応する点字パターンをＤＢ４ａから取得する。

ステップＳ３０４において、画像処理制御部１は、ステップＳ１２２で選択された触覚刺激を出力する圧電素子５における、接触位置の有効範囲を判定する。ここで、有効範囲は、図１５に示されるように、接触位置２０１に内接する長方形２０３とする。画像処理制御部１は、この長方形２０３内に点字を提示させる。また、有効範囲は、接触位置２０１の重心を中心とする所定の大きさの長方形としてもよい。この場合、点字の大きさが常に一定となるので、ユーザに認識されやすい。

ステップＳ３０５において、画像処理制御部１は、ステップＳ３０２で取得された音声パターンに基づいて、当該音声の一音の音声出力を行う。この音声出力と同時に、ステップＳ３０４で判定された有効範囲と、ステップＳ３０３で取得された点字パターンとに基づいて、出力する一音に相当する点字を表す触覚刺激を圧電素子５に出力させる。すなわち、圧電素子５は、点字に対応する点を突起させたり振動させたりする。

ステップＳ３０６において、画像処理制御部１は、一音の出力時間である所定の時間が経過したか否かを判定する。所定の時間が経過していないと判定されたとき、処理はステップＳ３０５に戻り、その一音の出力を継続する。一方、所定の時間が経過していると判定されたとき、処理はステップＳ３０７に進む。ステップＳ３０７において、画像処理制御部１は、出力すべき言葉が終わり出力終了であるか否かを判定する。出力終了であると判定されたとき、処理は図８を参照して説明したメインフローに戻る。一方、出力終了でないと判定されたとき、処理はステップＳ３０８に進む。ステップＳ３０８において、画像処理制御部１は、次の一音に対応する点字パターンの出力位置を決定する。その後処理はステップＳ３０５に戻り、次の一音の触覚刺激と音声とを出力する。このようにして、出力すべき言葉の音声と点字による触覚刺激とを一連として出力する。

ステップＳ３０１の判定において、操作回数が１００回以上であると判定されたとき、処理はステップＳ３１１に進む。本実施形態では、操作回数が１００回以上であるとき、音声を出力せずに点字による触覚刺激のみを出力する。ステップＳ３１１において、画像処理制御部１は、ユーザが選択した動作に対応する点字パターンをＤＢ４ａから取得する。ステップＳ３１２において、画像処理制御部１は、ステップＳ１２２で選択された触覚刺激を出力する圧電素子５における、接触位置の有効範囲を特定する。ステップＳ３１３において、画像処理制御部１は、ステップＳ３１２で特定された接触位置の有効範囲と、ステップＳ３１１で取得された点字パターンとに基づいて、一音に相当する点字を表す触覚刺激を圧電素子５に出力させる。

当然、ここで一例として挙げた１００回という回数は変更可能でもよい。また、音声と触覚刺激の他に視覚情報を併用してもよい。この場合、文字や記号やアイコンの他、色やパターンなどを利用して差異を表現してもよい。音声の場合、時間的な変化であり分かりやすいが即応性に欠けるので、他の感覚で代用できればよい。触覚について時間変化は必要ではないが、繊細な感覚を要し、慣れるのが大変である。触覚に加えて他の感覚を利用することで、このような慣れの問題を改善可能である。文字を読むような場合も、脳内で音声に変換しているので、文字情報を使ってもよい。代表的な例としては、テロップがある。しかしながら、テロップは、時間を要してユーザの視覚を制約するので、本発明のように、把持部などに情報伝達手段があると制約を取り払い、安全で分かりやすく、よりユーザの視覚を自由に有効利用した機器操作が可能となる。

ステップＳ３１４において、画像処理制御部１は、一音に相当する触覚刺激の出力時間である所定の時間が経過したか否かを判定する。所定の時間が経過していないと判定されたとき、処理はステップＳ３１３に戻り、その一音に相当する点字を表す触覚刺激の出力を継続する。一方、所定の時間が経過していると判定されたとき、処理はステップＳ３１５に進む。ステップＳ３１５において、画像処理制御部１は、出力すべき言葉が終わり出力終了であるか否かを判定する。出力終了であると判定されたとき、処理は図８を参照して説明したメインフローに戻る。一方、出力終了でないと判定されたとき、処理はステップＳ３１６に進む。ステップＳ３１６において、画像処理制御部１は、次の一音に対応する点字を表す触覚刺激の出力位置を決定する。その後処理はステップＳ３１３に戻り、次の一音に対応する触覚刺激を出力する。このようにして、出力すべき言葉に対応する点字による触覚刺激を一連として出力する。前述のように、音声はテロップなどの文字情報に置き換え可能である。

本実施形態によれば、ユーザは、第１の実施形態の場合と同様に、点字という、視覚以外の感覚によって、選択した動作を認識することができる。したがって、本実施形態によれば、ユーザは視覚を被写体の確認のために集中させることができる。その他、第１の実施形態の場合と同様の効果が得られる。点字は、音声同様、時間変化させてもよいが、詰めて表示したり、略字的に簡略化してもよい。即応性を増すにはこうした工夫を行うことが重要である。触覚は慣れるのに時間がかかるが、こうした工夫で、ユーザの感覚を繊細にして、伝達を確実にすることが可能である。操作の過程のみならず、操作の間違いを伝達してもよい。

なお、上述の第１及び第２の実施形態では、デジタルカメラ１００を例に挙げて説明を行ったが、本発明は、スマートフォンや内視鏡など、手で握って操作を行う種々の撮像装置に用いられ得る。特に、画面を見ずにブラインドタッチを要求されるシーンで有効なので、各種情報機器や、医療機器、産業用機器などに応用することが可能であることは言うまでもない。

なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムによって実行され得る。このプログラムは、記録媒体や記録部に収められる場合もある。この記録媒体や記録部への記録の仕方は、製品出荷時にデジタルカメラ内に記録されるものでもよく、また配布された記録媒体を用いてデジタルカメラに導入されて利用されてもよく、またインターネットを介してダウンロードしてデジタルカメラに導入されて利用されてもよい。

１…画像処理制御部、１ａ…撮影制御部、１ｂ…画像処理部、１ｃ…表示制御部、１ｄ…信号生成部、１ｅ…音声合成部、１ｆ…タッチ位置特定部、１ｇ…信号切換部、１ｈ…音声解析部、２…撮像部、３…操作部、４…記録部、４ａ…ＤＢ、５…圧電素子、６…電力供給回路、６ａ…レリーズボタン、７…タッチ検出部、８…表示部、９…ＥＶＦ、１０…アイセンサ、１１…タッチパネル、１２…記録媒体、１３…マイク、１４…スピーカー、５１…圧電素子層、５２…共通電極層、５３…微小電極層、５３−１…第１の微小電極、５３−２…第２の微小電極、６１−１…第１の定電圧源、６１−２…第２の定電圧源、６１−３…第３の定電圧源、６１−４…第４の定電圧源、６２−１…第１のＳＷ制御回路、６２−２…第２のＳＷ制御回路、６３−１…第１のスイッチ、６３−２…第２のスイッチ、６５…デコード部、１００…デジタルカメラ、１１０…カメラ本体、１２０…レンズ。

Claims (13)

1. ユーザに伝達する情報である伝達情報毎に異なる変形信号を出力する信号生成部と、
   複数の場所に配置される可撓性の薄板状の圧電部材であって、各々の前記圧電部材は、前記変形信号に応じた位置が部分的に変形可能なように構成されている、圧電部材と、
   各々の前記圧電部材に設けられており、前記圧電部材とユーザとの接触状態を前記圧電部材毎に検出する接触検出部と、
   前記接触状態に応じて変形させる前記圧電部材を複数の場所に配置された前記圧電部材のうちから選択する信号切換部と、
   を具備し、
   前記接触検出部は、前記圧電部材とユーザとの接触面積を前記接触状態として検出し、
   前記信号切換部は、前記接触面積が最も広い前記圧電部材を、前記変形信号に基づいて変形させる前記圧電部材として選択する、
   情報機器。
2. 音声信号に応じた音声、又は文字信号に応じた文字を出力する出力部をさらに具備し、
   前記信号生成部は、さらに前記圧電部材の変形に応じた音声又は文字を出力するように前記出力部に前記音声信号又は文字信号を出力する、
   請求項１に記載の情報機器。
3. 前記出力部は、音声を出力し、
   前記圧電部材の変形位置と前記音声の音程の高さとには相関がある、
   請求項２に記載の情報機器。
4. 前記伝達情報毎に前記変形信号を出力した回数を記録する記録部をさらに具備し、
   前記信号生成部は、
   前記音声信号と前記変形信号とを出力して、前記音声の出力と前記圧電部材の変形とによる刺激を同時に行わせ、
   同一の前記伝達情報の前記回数の変化に従って、前記刺激を削減する、
   請求項２又は３に記載の情報機器。
5. 前記圧電部材はポリ乳酸を含む請求項１乃至４のうち何れか１項に記載の情報機器。
6. 操作に応じた情報をユーザに伝達するために前記ユーザの複数の感覚に対する刺激を同時に出力する刺激部と、
   前記ユーザの慣れに従って前記刺激の種類又は程度を削減する刺激制御部と、
   をさらに具備する、
   請求項１乃至５のうち何れか１項に記載の情報機器。
7. 前記複数の感覚は、触覚と、視覚又は聴覚とであり、
   前記情報は、前記視覚を利用した文字情報の時間変化又は前記聴覚を利用した音声の時間変化と、前記触覚を利用した触覚刺激の時間変化とであり、
   前記刺激制御部は、前記ユーザの慣れに従って、前記刺激を利用した情報伝達にかかる時間を短縮させる、又は前記視覚若しくは前記聴覚を利用した情報伝達を、前記触覚を利用した情報伝達に代用させる、
   請求項６に記載の情報機器。
8. 複数の場所に配置される可撓性の薄板状の圧電部材であって、各々の前記圧電部材は、変形信号に応じた位置が部分的に変形可能なように構成されている、圧電部材と、各々の前記圧電部材に設けられており、前記圧電部材とユーザとの接触状態を前記圧電部材毎に検出する接触検出部とを有する情報機器を用いた情報伝達方法であって、
   前記圧電部材とユーザとの接触面積を前記接触状態として検出することと、
   変形させる前記圧電部材として、複数の場所に配置された前記圧電部材のうちから前記接触面積が最も広い前記圧電部材を選択することと、
   ユーザに伝達する情報である伝達情報毎に異なる前記変形信号を出力することと、
   前記変形信号に基づいて選択された前記圧電部材を変形させることと、
   を具備する情報伝達方法。
9. 前記圧電部材の変形に応じた音声又は文字を出力するように、前記音声に応じた音声信号、又は前記文字に応じた文字信号を出力することをさらに具備する、
   請求項８に記載の情報伝達方法。
10. 前記圧電部材の変形位置と相関がある音程の高さを有する音声を出力するように、前記音声に応じた音声信号を出力することをさらに具備する、
    請求項８に記載の情報伝達方法。
11. 前記音声信号と前記変形信号とは、前記音声の出力と前記圧電部材の変形とによる刺激を同時に行わせるように、同時に出力され、
    前記伝達情報毎に前記変形信号を出力した回数を記録することと、
    同一の前記伝達情報の前記回数の変化に従って、前記刺激を削減することと、
    をさらに具備する請求項９又は１０に記載の情報伝達方法。
12. 操作に応じた情報をユーザに伝達するために、前記ユーザの複数の感覚に対する刺激を同時に出力することと、
    前記ユーザの慣れに従って前記刺激の種類又は程度を削減することと、
    をさらに具備する、
    請求項８乃至１１のうち何れか１項に記載の情報伝達方法。
13. 前記複数の感覚は、触覚と、視覚又は聴覚とであり、
    前記情報は、前記視覚を利用した文字情報の時間変化又は前記聴覚を利用した音声の時間変化と、前記触覚を利用した触覚刺激の時間変化とであり、
    前記ユーザの慣れに従って、前記刺激を利用した情報伝達にかかる時間を短縮させる、又は前記視覚若しくは前記聴覚を利用した情報伝達を、前記触覚を利用した情報伝達に代用させることをさらに具備する、
    請求項１２に記載の情報伝達方法。

Images