JP4567817B2

JP4567817B2 - 情報処理装置及びその制御方法

Info

Publication number: JP4567817B2
Application number: JP24696997A
Authority: JP
Inventors: 伸一小笠原; 誠一三澤; 一康竹中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-09-11
Filing date: 1997-09-11
Publication date: 2010-10-20
Anticipated expiration: 2017-09-11
Also published as: JPH1185400A

Description

【０００１】
【発明の属する技術分野】
本発明は、表示画面に表示した画像を手指やポインティングデバイス等で指定することにより、所定の入力を行う機能を有する情報処理装置及びその制御方法に関する。
【０００２】
【従来の技術】
従来より、パーソナルコンピュータに設けられる表示装置において、表示画面上に座標検出装置を配置し、表示画面に表示されたアイコン等をタブレット等のペン入力装置によって指定することにより、この指定位置を座標検出装置によって検出し、その指定内容に応じて表示画面を切り換えたり、指定内容に対応したメッセージの音声合成出力を行うようにしたペン入力インタフェース機能を有するものが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来のペン入力インタフェース機能を有する表示装置においては、視覚と聴覚とによるフィードバックインタフェースであるため、例えば３次元立体表現等のように、リアリティを志向するデジタルコンテンツの情報提供において、質や操作性に限界があるため、一層の直感的リアリティを実現することが望まれる。
また、上述した従来の表示装置では、画面とペン先との接触感覚が一様で滑り易く、硬質であるため、メタファーとする実際の紙とペンの触感覚と比べ、違和感、不確実感があり、ペン入力になじめないユーザが少なくない。
【０００４】
そこで本発明の目的は、単純な視覚的手段や聴覚的手段によるインタフェース機構に加えて、よりリアリティのあるインタフェース機能を有する情報処理装置及びその制御方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は前記目的を達成するため、接触を受けるパネルを備え、前記パネルへの接触に応じて所定の処理を行う情報処理装置において、前記パネルに振動を付与する振動生成手段と、前記振動生成手段に生成させる振動に対応する信号を出力する振動制御手段と、前記パネルが受ける接触圧力を検出する接触圧力検出手段とを備え、前記振動制御手段は、前記接触圧力検出手段により検出された接触圧力に応じて、前記振動生成手段に生成させる振動に対応する信号を出力することを特徴とする。
【０００６】
また本発明は、パネルへの接触に応じて所定の処理を行う情報処理装置の制御方法において、前記パネルに振動を付与する振動生成ステップと、前記振動生成ステップによって生成させる振動に対応する信号を出力する振動制御ステップと、前記パネルが受ける接触圧力を検出する接触圧力検出ステップとを備え、前記振動制御ステップは、前記接触圧力検出ステップにより検出された接触圧力に応じて、前記振動生成ステップによって生成させる振動に対応する信号を出力することを特徴とする。
【０００７】
【発明の実施の形態】
以下、本発明による情報処理装置及びその制御方法の実施の形態例について説明する。
図１は、本発明による情報処理装置の外観例を示す斜視図であり、図２は、図１に示す表示装置の構成を示す分解斜視図である。
本例の情報処理装置は、ディスプレイパネル１００と、振動素子２００と、位置センサシート３００と、配線基板４００とを有し、例えばペン５００や手指等によってディスプレイパネル１００上の表示領域を指定するものである。
ディスプレイパネル１００は、ＬＣＤ表示画面を構成するものであり、各種の画像や文字列を表示するものである。
振動素子２００は、例えば圧電素子等より構成されたものであり、ディスプレイパネル１００をその両側から微動可能に支持するとともに、ディスプレイパネル１００に振動を付与するものである。
【０００８】
位置センサシート３００は、ディスプレイパネル１００に対するペン５００等の接触位置を、電磁誘導方式や静電結合方式等の原理によって検出するものである。
配線基板４００は、図示しないパーソナルコンピュータからの信号を入力してディスプレイパネル１００への表示情報を出力したり、位置センサシート３００からの検出信号を処理する制御回路４１０を設けたものである。
また、配線基板４００には、制御回路４１０からの制御信号に基づいて振動素子２００の駆動信号を出力する信号変換回路４２０が設けられている。
【０００９】
以上のような構成の情報処理装置において、制御回路４１０は、パーソナルコンピュータからの各種コマンドやデータに基づいて、ディスプレイパネル１００への画像表示を行う。この画像表示には、オペレータがペン５００により選択すべき選択肢をウインドウやアイコン等によって表示した画像や、オペレータがペン５００により任意の描画を行うための画像が含まれる。
そして、このような画像表示制御を行っている状態おいて、ディスプレイパネル１００上に接触しているペン５００の位置を位置センサシート３００で検出する。そして、位置センサシート３００は、この位置検出データを制御回路４１０に出力する。
【００１０】
制御回路４１０は、位置センサシート３００からの位置検出データに基づいて、例えばオペレータによる選択指示等を認識し、この指示に基づいて、画面の切り換えやデータの取り込み等の各種処理を行う。
また、制御回路４１０は、位置センサシート３００からの位置検出データと、ディスプレイパネル１００に表示している特定の画像（オブジェクト）の位置データとを照合し、一致している場合には、そのオブジェクトに対応した振動を所定のアルゴリスムに基づいてリアルタイムに決定する。なお、この決定は、予め制御回路４１０のメモリ内に、オブジェクトの位置データとともに、振動の種類を対応させたテーブルを記憶しておき、このテーブルを参照して振動の種類を決定してもよい。
【００１１】
そして、制御回路４１０は、その決定した振動に対応する制御信号を信号変換回路４２０に出力する。信号変換回路４２０は、この制御信号に対応して駆動信号を振動素子２００に出力する。これにより、振動素子２００が作動し、ディスプレイパネル１００を振動させる。
そして、このディスプレイパネル１００を振動させる場合の周波数や振幅等を変えることにより、オブジェクトに対応した振動をペン５００等を介してオペレータに伝えることができ、よりリアリティのあるインタフェース機能を得ることができる。
【００１２】
次に、オブジェクトの種類と振動の種類との対応関係の具体例について説明する。
図３は、オブジェクトのコントラストによって振動の強弱、波形を変化させる例を示す説明図である。
図３（Ａ）に示すように、ディスプレイパネル１００には、輪郭のはっきりしたストライプ画像１０Ａと、輪郭のはっきりした細いストライプ画像１０Ｂと、輪郭のはっきりしないストライプ画像１０Ｃと、輪郭のはっきりしない太いストライプ画像１０Ｄが表示されている。
【００１３】
そして、これらのストライプ画像１０Ａ〜１０Ｄを横断するように、ペン５０を進ませた場合、その接触点の変位に同期して、図３（Ｂ）に示すように、ストライプ画像１０Ａ〜１０Ｄの輪郭の強弱と幅に応じた振動１２Ａ〜１２Ｄを生成し、これをペン５００を介してオペレータに伝える。
これによりオペレータは、ペン５００を各ストライプ画像１０Ａ〜１０Ｄ上で操作しているときには、そのストライプ画像１０Ａ〜１０Ｄに応じた振動を受け、一定の抵抗感を感じることができる。
この結果、無機質で均一な接触感によりペン５００を操作するのに比較して、よりリアルな操作感を与えることができる。したがって、このようなペン５００より受ける振動による操作感の変化と、表示画像の切り換えによる視覚的な効果、さらには音声合成による聴覚的な効果とを連動させることで、よりリアリティのあるインタフェース機能を得ることができる。
【００１４】
なお、振動を選択する画像の条件としては、上述した画像のコントラストの他に、画像の色、意味性、画像属性等を用いることができる。ここで画像の意味性とは、例えば太陽を表した画像と月を表した画像とで振動を変えたり、人を表した画像と犬を表した画像とで振動を変えたりするものである。また、画像属性とは、例えば表示画像が文字列画像か、絵乃至図形の画像かで振動を変えるものである。
【００１５】
図４、図５は、以上のような各種オブジェクトの触感覚変換の例を示す説明図である。
図４（Ｂ）では、山の高さで振動の強度を示しており、図４（Ａ）に示すような視覚的な表示画像に対し、図４（Ｂ）に示すような強度の振動を生成し、その強度に応じて、ペン５００を移動した場合の抵抗感を変えることができる。
また、図５（Ｂ）では、斜線の種類によって振動の種類を示しており、図５（Ａ）に示すような視覚的な表示画像に対し、図５（Ｂ）に示すように振動を変化させて、ペン５００を移動した場合の抵抗感を変えることができる。
このような振動の変化によって各種オブジェクトの触感覚変換を行うことができ、立体感をもつオブジェクトとして認識させることができる。
【００１６】
また、以上の例では、ペン５００の接触位置を検出し、この接触位置に応じて振動を生成するようにしたが、上述した位置センサシート３００の代わりに、例えばディスプレイパネル１００の上面に、透明の圧力センサシートや接触面を検出可能なセンサシートを設け、ペン５００の接触圧力や接触面の大きさを検出することにより、この検出結果に基づいて振動を変化させるようにしてもよい。
例えば図６は、ペン５００の接触圧や接触面の大きさに基づいて、ペン５００の種類を識別し、その識別結果に応じて振動の強弱、波形を変化させる例を示す説明図である。
【００１７】
図６（Ａ）に示すように、フェルトペンによる描画２０Ａと、チョークによる描画２０Ｂと、クレヨンによる描画２０Ｃとを識別することにより、図６（Ｂ）に示すように、各筆記具に応じた２２Ａ〜２２Ｃを生成し、これをペン５００を介してオペレータに伝える。
また、筆記具に限らず、他のマテリアル（例えば手指でもよい）を想定し、それに応じて振動を変えることも勿論可能である。また、同様にペン５００による接触圧力を検出し、接触圧力に応じて振動を変化させることもできる。
【００１８】
また、接触位置の検出によって、マテリアルの移動速度を判定し、その結果によって振動を変化させることもできる。さらに、マテリアルの種類、接触圧力、移動速度の組み合わせによって、振動を変化させるようにしてもよい。
また、位置検出センサとパターン解析装置とを組み合わせることにより、入力途中の画像の属性や意味性を認識し、この認識結果に基づいて、振動を変化させるようにしてもよい。
例えば、ある選択肢に対し、ＹＥＳならマル、ＮＯならバツをペン５００で入力することにより選択するようなシステムにおいて、ペン５００の軌跡がマルかバツかを入力途中でリアルタイムに判断し、この判断に応じて振動の強度を徐々に変化させるような構成とすることも可能である。
【００１９】
【発明の効果】
以上説明したように本発明の情報処理装置及びその制御方法では、パネルに対する接触圧力、接触領域の大きさ、接触位置の変位、入力手段の種類に応じた振動を発生させることにより、従来は無機質であった接触感覚を改善でき、オペレータに感覚的なリアリティを与えることができる。
したがって、グラフィック−ユーザインタフェースの可能性を広げることができ、触感覚を生かしたデジタルコンテンツ（ゲーム、教育等）を構成することも可能となる。また、ペン入力装置と画面との間の接触感をペンと紙との接触感に近づけることができ、シミュレート装置としての表示装置の機能を向上することができる。
さらに、軽度視覚障害者に対して、グラフィック−ユーザインタフェースの補助機能としての利用も可能である。
【図面の簡単な説明】
【図１】本発明による情報処理装置の外観例を示す斜視図である。
【図２】図１に示す情報処理装置の構成を示す分解斜視図である。
【図３】図１に示す情報処理装置において、オブジェクトのコントラストによって振動を変化させる例を示す説明図である。
【図４】図１に示す情報処理装置において、オブジェクトの触感覚変換の例を示す説明図である。
【図５】図１に示す情報処理装置において、オブジェクトの触感覚変換の他の例を示す説明図である。
【図６】図１に示す情報処理装置において、ペンの接触圧や接触面の大きさに基づいて振動を変化させる例を示す説明図である。
【符号の説明】
１００……ディスプレイパネル、２００……振動素子、３００……位置センサシート、４００……配線基板、４１０……制御回路、４２０……信号変換回路、５００……ペン。

Claims

接触を受けるパネルを備え、前記パネルへの接触に応じて所定の処理を行う情報処理装置において、
前記パネルに振動を付与する振動生成手段と、
前記振動生成手段に生成させる振動に対応する信号を出力する振動制御手段と、
前記パネルが受ける接触圧力を検出する接触圧力検出手段と、
を備え、
前記振動制御手段は、前記接触圧力検出手段により検出された接触圧力に応じて、前記振動生成手段に生成させる振動に対応する信号を、前記接触圧力検出手段により検出された接触圧力に応じて変化させて出力する、
ことを特徴とする情報処理装置。
前記パネルは画像を表示する表示画面を有し、
前記パネルに対する接触位置に基づいて、前記パネルの表示画像を切り換える表示制御手段とを備えた、
ことを特徴とする請求項１記載の情報処理装置。
各種音声合成出力を行う音声合成手段と、
前記パネルに対する接触位置に基づいて、前記音声合成手段の出力を行う音声合成制御手段とを備えた、
ことを特徴とする請求項１記載の情報処理装置。
接触を受けるパネルを備え、前記パネルへの接触に応じて所定の処理を行う情報処理装置において、
前記パネルに振動を付与する振動生成手段と、
前記振動生成手段に生成させる振動に対応する信号を出力する振動制御手段と、
前記パネルが接触を受けている領域の大きさを検出する接触領域検出手段と、
を備え、
前記振動制御手段は、前記接触領域検出手段により検出された接触領域の大きさに応じ

て、前記振動生成手段に生成させる振動に対応する信号を出力する、
ことを特徴とする情報処理装置。
接触を受けるパネルを備え、前記パネルへの接触に応じて所定の処理を行う情報処理装置において、
前記パネルに振動を付与する振動生成手段と、
前記振動生成手段に生成させる振動に対応する信号を出力する振動制御手段と、
前記パネルにおける接触位置を検出する接触位置検出手段と、
を備え、
前記振動制御手段は、前記接触位置検出手段を用いて検出される単位時間当たりの接触点の変位に応じて、前記振動生成手段に生成させる振動に対応する信号を出力する、
ことを特徴とする情報処理装置。
接触を受けるパネルを備え、前記パネルへの接触に応じて所定の処理を行う情報処理装置において、
前記パネルに振動を付与する振動生成手段と、
前記振動生成手段に生成させる振動に対応する信号を出力する振動制御手段と、
前記パネルにおける接触位置を検出する接触位置検出手段と、
前記パネルにおける接触点の軌跡を前記パネルに表示させる表示制御手段と、
を備え、
前記振動制御手段は、前記パネルに表示される接触点の軌跡に応じて、前記振動生成手段に生成させる振動に対応する信号を出力する、
ことを特徴とする情報処理装置。
前記パネル上の接触点の軌跡を解析するパターン解析手段をさらに備え、
前記振動制御手段は、前記パターン解析手段により解析された接触軌跡のパターンに応じて、前記振動生成手段に生成させる振動に対応する信号を出力する、
ことを特徴とする請求項６に記載の情報処理装置。
パネルへの接触に応じて所定の処理を行う情報処理装置の制御方法において、
前記パネルに振動を付与する振動生成ステップと、
前記振動生成ステップによって生成させる振動に対応する信号を出力する振動制御ステップと、
前記パネルが受ける接触圧力を検出する接触圧力検出ステップと、
を備え、
前記振動制御ステップは、前記接触圧力検出ステップにより検出された接触圧力に応じて、前記振動生成ステップによって生成させる振動に対応する信号を、前記接触圧力検出ステップにより検出された接触圧力に応じて変化させて出力する、
ことを特徴とする情報処理装置の制御方法。
パネルへの接触に応じて所定の処理を行う情報処理装置の制御方法において、
前記パネルに振動を付与する振動生成ステップと、
前記振動生成ステップによって生成させる振動に対応する信号を出力する振動制御ステップと、
前記パネルが接触を受けている領域の大きさを検出する接触領域検出ステップと、
を備え、
前記振動制御ステップは、前記接触領域検出ステップにより検出された接触領域の大きさに応じて、前記振動生成ステップによって生成させる振動に対応する信号を出力する、
ことを特徴とする情報処理装置の制御方法。
パネルへの接触に応じて所定の処理を行う情報処理装置の制御方法において、
前記パネルに振動を付与する振動生成ステップと、
前記振動生成ステップによって生成させる振動に対応する信号を出力する振動制御ステップと、
前記パネルにおける接触位置を検出する接触位置検出ステップと、
を備え、
前記振動制御ステップは、前記接触位置検出ステップを用いて検出される単位時間当たりの接触点の変位に応じて、前記振動生成ステップによって生成させる振動に対応する信号を出力する、
ことを特徴とする情報処理装置の制御方法。
パネルへの接触に応じて所定の処理を行う情報処理装置の制御方法において、
前記パネルに振動を付与する振動生成ステップと、
前記振動生成ステップによって生成させる振動に対応する信号を出力する振動制御ステップと、
前記パネルにおける接触位置を検出する接触位置検出ステップと、
前記パネルにおける接触点の軌跡を前記パネルに表示させる表示制御ステップと、
を備え、
前記振動制御ステップは、前記パネルに表示される接触点の軌跡に応じて、前記振動生成ステップによって生成させる振動に対応する信号を出力する、
ことを特徴とする情報処理装置の制御方法。