JPH1185400A

JPH1185400A - 表示装置

Info

Publication number: JPH1185400A
Application number: JP24696997A
Authority: JP
Inventors: Shinichi Ogasawara; 伸一小笠原; Seiichi Misawa; 誠一三澤; Kazuyasu Takenaka; 一康竹中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-09-11
Filing date: 1997-09-11
Publication date: 1999-03-30
Anticipated expiration: 2017-09-11
Also published as: JP4567817B2

Abstract

(57)【要約】【課題】単純な視覚的手段や聴覚的手段によるインタ
フェース機構に加えて、よりリアリティのあるインタフ
ェース機能を有する表示装置を提供する。【解決手段】ディスプレイパネル１００は、振動素子
２００によって振動を付与される状態で支持されてい
る。、ディスプレイパネル１００の裏面には位置センサ
シート３００が配置され、ディスプレイパネル１００に
対するペン５００等の接触位置を検出する。位置センサ
シート３００の裏面には、配線基板４００が配置され、
制御回路４１０と信号変換回路４２０が設けられてい
る。制御回路４１０はペン５００の接触位置と表示中の
画像の内容に応じて、振動の種類を決定し、それを信号
変換回路４２０に伝える。信号変換回路４２０は、制御
回路４１０の指示に基づいて、振動素子２００を駆動
し、ディスプレイパネル１００を振動させ、ペン５００
を介してオペレータに伝える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、各種情報を表示す
る表示画面を有する表示装置に関し、特に表示画面に表
示した画像を手指やポインティングデバイス等で指定す
ることにより、所定の入力を行う機能を有する表示装置
に関する。

【０００２】

【従来の技術】従来より、パーソナルコンピュータに設
けられる表示装置において、表示画面上に座標検出装置
を配置し、表示画面に表示されたアイコン等をタブレッ
ト等のペン入力装置によって指定することにより、この
指定位置を座標検出装置によって検出し、その指定内容
に応じて表示画面を切り換えたり、指定内容に対応した
メッセージの音声合成出力を行うようにしたペン入力イ
ンタフェース機能を有するものが知られている。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
ペン入力インタフェース機能を有する表示装置において
は、視覚と聴覚とによるフィードバックインタフェース
であるため、例えば３次元立体表現等のように、リアリ
ティを志向するデジタルコンテンツの情報提供におい
て、質や操作性に限界があるため、一層の直感的リアリ
ティを実現することが望まれる。また、上述した従来の
表示装置では、画面とペン先との接触感覚が一様で滑り
易く、硬質であるため、メタファーとする実際の紙とペ
ンの触感覚と比べ、違和感、不確実感があり、ペン入力
になじめないユーザが少なくない。

【０００４】そこで本発明の目的は、単純な視覚的手段
や聴覚的手段によるインタフェース機構に加えて、より
リアリティのあるインタフェース機能を有する表示装置
を提供することにある。

【０００５】

【課題を解決するための手段】本発明は前記目的を達成
するため、各種情報を表示する表示画面を有する表示装
置において、前記表示画面に所定の接触手段が接触した
場合に、その接触条件を検出する接触条件検出手段と、
前記表示画面に対する接触手段の接触条件に応じて特定
の振動を生成し、前記表示画面を介して前記接触手段に
伝達する振動生成手段とを有することを特徴とする。

【０００６】本発明の表示装置では、例えば手指やペン
等の接触手段によって表示画面の特定位置を指定した場
合、その接触条件、例えば接触位置、接触圧力、移動速
度、接触手段の種類等を接触条件検出手段が検出する。
そして、その検出した接触条件に応じて振動生成手段が
特定の振動を生成し、これを表示画面を介して接触手段
に伝達する。この結果、オペレータの操作内容に応じた
振動が接触手段を介してオペレータに伝わる。これによ
り、従来は無機質であった接触感覚を改善でき、オペレ
ータに感覚的なリアリティを与えることができる。

【０００７】

【発明の実施の形態】以下、本発明による表示装置の実
施の形態例について説明する。図１は、本発明による表
示装置の外観例を示す斜視図であり、図２は、図１に示
す表示装置の構成を示す分解斜視図である。本例の表示
装置は、ディスプレイパネル１００と、振動素子２００
と、位置センサシート３００と、配線基板４００とを有
し、例えばペン５００や手指等によってディスプレイパ
ネル１００上の表示領域を指定するものである。ディス
プレイパネル１００は、ＬＣＤ表示画面を構成するもの
であり、各種の画像や文字列を表示するものである。振
動素子２００は、例えば圧電素子等より構成されたもの
であり、ディスプレイパネル１００をその両側から微動
可能に支持するとともに、ディスプレイパネル１００に
振動を付与するものである。

【０００８】位置センサシート３００は、ディスプレイ
パネル１００に対するペン５００等の接触位置を、電磁
誘導方式や静電結合方式等の原理によって検出するもの
である。配線基板４００は、図示しないパーソナルコン
ピュータからの信号を入力してディスプレイパネル１０
０への表示情報を出力したり、位置センサシート３００
からの検出信号を処理する制御回路４１０を設けたもの
である。また、配線基板４００には、制御回路４１０か
らの制御信号に基づいて振動素子２００の駆動信号を出
力する信号変換回路４２０が設けられている。

【０００９】以上のような構成の表示装置において、制
御回路４１０は、パーソナルコンピュータからの各種コ
マンドやデータに基づいて、ディスプレイパネル１００
への画像表示を行う。この画像表示には、オペレータが
ペン５００により選択すべき選択肢をウインドウやアイ
コン等によって表示した画像や、オペレータがペン５０
０により任意の描画を行うための画像が含まれる。そし
て、このような画像表示制御を行っている状態おいて、
ディスプレイパネル１００上に接触しているペン５００
の位置を位置センサシート３００で検出する。そして、
位置センサシート３００は、この位置検出データを制御
回路４１０に出力する。

【００１０】制御回路４１０は、位置センサシート３０
０からの位置検出データに基づいて、例えばオペレータ
による選択指示等を認識し、この指示に基づいて、画面
の切り換えやデータの取り込み等の各種処理を行う。ま
た、制御回路４１０は、位置センサシート３００からの
位置検出データと、ディスプレイパネル１００に表示し
ている特定の画像（オブジェクト）の位置データとを照
合し、一致している場合には、そのオブジェクトに対応
した振動を所定のアルゴリスムに基づいてリアルタイム
に決定する。なお、この決定は、予め制御回路４１０の
メモリ内に、オブジェクトの位置データとともに、振動
の種類を対応させたテーブルを記憶しておき、このテー
ブルを参照して振動の種類を決定してもよい。

【００１１】そして、制御回路４１０は、その決定した
振動に対応する制御信号を信号変換回路４２０に出力す
る。信号変換回路４２０は、この制御信号に対応して駆
動信号を振動素子２００に出力する。これにより、振動
素子２００が作動し、ディスプレイパネル１００を振動
させる。そして、このディスプレイパネル１００を振動
させる場合の周波数や振幅等を変えることにより、オブ
ジェクトに対応した振動をペン５００等を介してオペレ
ータに伝えることができ、よりリアリティのあるインタ
フェース機能を得ることができる。

【００１２】次に、オブジェクトの種類と振動の種類と
の対応関係の具体例について説明する。図３は、オブジ
ェクトのコントラストによって振動の強弱、波形を変化
させる例を示す説明図である。図３（Ａ）に示すよう
に、ディスプレイパネル１００には、輪郭のはっきりし
たストライプ画像１０Ａと、輪郭のはっきりした細いス
トライプ画像１０Ｂと、輪郭のはっきりしないストライ
プ画像１０Ｃと、輪郭のはっきりしない太いストライプ
画像１０Ｄが表示されている。

【００１３】そして、これらのストライプ画像１０Ａ〜
１０Ｄを横断するように、ペン５０を進ませた場合、そ
の接触点の変位に同期して、図３（Ｂ）に示すように、
ストライプ画像１０Ａ〜１０Ｄの輪郭の強弱と幅に応じ
た振動１２Ａ〜１２Ｄを生成し、これをペン５００を介
してオペレータに伝える。これによりオペレータは、ペ
ン５００を各ストライプ画像１０Ａ〜１０Ｄ上で操作し
ているときには、そのストライプ画像１０Ａ〜１０Ｄに
応じた振動を受け、一定の抵抗感を感じることができ
る。この結果、無機質で均一な接触感によりペン５００
を操作するのに比較して、よりリアルな操作感を与える
ことができる。したがって、このようなペン５００より
受ける振動による操作感の変化と、表示画像の切り換え
による視覚的な効果、さらには音声合成による聴覚的な
効果とを連動させることで、よりリアリティのあるイン
タフェース機能を得ることができる。

【００１４】なお、振動を選択する画像の条件として
は、上述した画像のコントラストの他に、画像の色、意
味性、画像属性等を用いることができる。ここで画像の
意味性とは、例えば太陽を表した画像と月を表した画像
とで振動を変えたり、人を表した画像と犬を表した画像
とで振動を変えたりするものである。また、画像属性と
は、例えば表示画像が文字列画像か、絵乃至図形の画像
かで振動を変えるものである。

【００１５】図４、図５は、以上のような各種オブジェ
クトの触感覚変換の例を示す説明図である。図４（Ｂ）
では、山の高さで振動の強度を示しており、図４（Ａ）
に示すような視覚的な表示画像に対し、図４（Ｂ）に示
すような強度の振動を生成し、その強度に応じて、ペン
５００を移動した場合の抵抗感を変えることができる。
また、図５（Ｂ）では、斜線の種類によって振動の種類
を示しており、図５（Ａ）に示すような視覚的な表示画
像に対し、図５（Ｂ）に示すように振動を変化させて、
ペン５００を移動した場合の抵抗感を変えることができ
る。このような振動の変化によって各種オブジェクトの
触感覚変換を行うことができ、立体感をもつオブジェク
トとして認識させることができる。

【００１６】また、以上の例では、ペン５００の接触位
置を検出し、この接触位置に応じて振動を生成するよう
にしたが、上述した位置センサシート３００の変わり
に、例えばディスプレイパネル１００の上面に、透明の
圧力センサシートや接触面を検出可能なセンサシートを
設け、ペン５００の接触圧力や接触面の大きさを検出す
ることにより、この検出結果に基づいて振動を変化させ
るようにしてもよい。例えば図６は、ペン５００の接触
圧や接触面の大きさに基づいて、ペン５００の種類を識
別し、その識別結果に応じて振動の強弱、波形を変化さ
せる例を示す説明図である。

【００１７】図６（Ａ）に示すように、フェルトペンに
よる描画２０Ａと、チョークによる描画２０Ｂと、クレ
ヨンによる描画２０Ｃとを識別することにより、図６
（Ｂ）に示すように、各筆記具に応じた２２Ａ〜２２Ｃ
を生成し、これをペン５００を介してオペレータに伝え
る。また、筆記具に限らず、他のマテリアル（例えば手
指でもよい）を想定し、それに応じて振動を変えること
も勿論可能である。また、同様にペン５００による接触
圧力を検出し、接触圧力に応じて振動を変化させること
もできる。

【００１８】また、接触位置の検出によって、マテリア
ルの移動速度を判定し、その結果によって振動を変化さ
せることもできる。さらに、マテリアルの種類、接触圧
力、移動速度の組み合わせによって、振動を変化させる
ようにしてもよい。また、位置検出センサとパターン解
析装置とを組み合わせることにより、入力途中の画像の
属性や意味性を認識し、この認識結果に基づいて、振動
を変化させるようにしてもよい。例えば、ある選択肢に
対し、ＹＥＳならマル、ＮＯならバツをペン５００で入
力することにより選択するようなシステムにおいて、ペ
ン５００の軌跡がマルかバツかを入力途中でリアルタイ
ムに判断し、この判断に応じて振動の強度を徐々に変化
させるような構成とすることも可能である。

【００１９】

【発明の効果】以上説明したように本発明の表示装置で
は、表示画面に所定の接触手段が接触した場合に、その
接触条件を検出し、その接触条件に応じて特定の振動を
生成し、表示画面を介して接触手段に伝達するようにし
た。このため、画面上の画像が単に視覚的要素として扱
われるのでなく、接触手段を介して伝えられる振動によ
り一定の触感をもった対象として捉え易くなり、従来は
無機質であった接触感覚を改善でき、オペレータに感覚
的なリアリティを与えることができる。したがって、グ
ラフィック−ユーザインタフェースの可能性を広げるこ
とができ、触感覚を生かしたデジタルコンテンツ（ゲー
ム、教育等）を構成することも可能となる。また、ペン
入力装置と画面との間の接触感をペンと紙との接触感に
近づけることができ、シミュレート装置としての表示装
置の機能を向上することができる。さらに、軽度視覚障
害者に対して、グラフィック−ユーザインタフェースの
補助機能としての利用も可能である。

【図面の簡単な説明】

【図１】本発明による表示装置の外観例を示す斜視図で
ある。

【図２】図１に示す表示装置の構成を示す分解斜視図で
ある。

【図３】図１に示す表示装置において、オブジェクトの
コントラストによって振動を変化させる例を示す説明図
である。

【図４】図１に示す表示装置において、オブジェクトの
触感覚変換の例を示す説明図である。

【図５】図１に示す表示装置において、オブジェクトの
触感覚変換の他の例を示す説明図である。

【図６】図１に示す表示装置において、ペンの接触圧や
接触面の大きさに基づいて振動を変化させる例を示す説
明図である。

【符号の説明】

１００……ディスプレイパネル、２００……振動素子、
３００……位置センサシート、４００……配線基板、４
１０……制御回路、４２０……信号変換回路、５００…
…ペン。

Claims

【特許請求の範囲】

【請求項１】各種情報を表示する表示画面を有する表
示装置において、前記表示画面に所定の接触手段が接触した場合に、その
接触条件を検出する接触条件検出手段と、前記表示画面に対する接触手段の接触条件に応じて特定
の振動を生成し、前記表示画面を介して前記接触手段に
伝達する振動生成手段と、を有することを特徴とする表示装置。
【請求項２】前記接触条件検出手段は、前記接触条件
として、表示画面に対する接触手段の接触位置を検出す
る機能を有し、前記振動生成手段は、前記接触手段の接
触位置に表示された画像の内容に対応する振動を生成す
ることを特徴とする請求項１記載の表示装置。
【請求項３】前記画像の内容には、画像のコントラス
ト、色、意味性、画像属性のいずれか１つまたは複数の
組み合わせを含むことを特徴とする請求項２記載の表示
装置。
【請求項４】前記画像属性とは、表示画像が文字列画
像か、絵乃至図形の画像かを区別するものあることを特
徴とする請求項３記載の表示装置。
【請求項５】前記接触条件検出手段は、前記接触条件
として、表示画面に対する接触手段の接触状態を検出す
る機能を有し、前記振動生成手段は、前記接触手段の接
触状態に対応する振動を生成することを特徴とする請求
項１記載の表示装置。
【請求項６】前記接触手段の接触状態には、前記接触
手段の接触圧力、移動速度、接触手段の種類のいずれか
１つまたは複数の組み合わせを含むことを特徴とする請
求項５記載の表示装置。
【請求項７】前記接触条件検出手段は、前記接触条件
として、入力途中の画像の属性及び／または意味性を認
識する機能を有し、前記振動生成手段は、入力途中の画
像の属性及び／または意味性に対応する振動を生成する
ことを特徴とする請求項１記載の表示装置。
【請求項８】前記接触条件検出手段によって検出され
る接触条件に応じて特定の音響出力を生成する音響出力
生成手段を有することを特徴とする請求項１記載の表示
装置。
【請求項９】前記接触条件検出手段によって検出され
る接触条件に応じて表示を切り換えるとともに、前記振
動生成手段による振動を切り換えることを特徴とする請
求項１記載の表示装置。
【請求項１０】前記特定の振動とは、特定の周波数及
び／または特定の振幅を有する振動であることを特徴と
する請求項１記載の表示装置。
【請求項１１】前記特定の振動とは、前記表示画面に
表示された画像の意味性に対応して周波数及び／または
振幅が変動する振動であることを特徴とする請求項１記
載の表示装置。
【請求項１２】前記表示画面を構成するディスプレイ
パネルと、前記ディスプレイパネルに振動を付与する振
動生成手段としての振動素子と、前記ディスプレイパネ
ルの裏面に配置され、前記ディスプレイパネルに対する
接触手段の接触位置を検出する位置センサと、前記位置
センサの検出出力に応じて振動の種類を決定する制御回
路と、前記制御回路からの制御信号に基づいて前記振動
素子へ駆動信号を出力する信号変換回路とを有すること
を特徴とする請求項２記載の表示装置。
【請求項１３】前記制御回路と前記信号変換回路は、
前記位置センサの裏面に配置された配線基板に設けられ
ていることを特徴とする請求項２記載の表示装置。