JP4926927B2

JP4926927B2 - 視触感ディスプレイ装置

Info

Publication number: JP4926927B2
Application number: JP2007314650A
Authority: JP
Inventors: ソンヒュンキム; ヨンスクヤン; ジンホイ
Original assignee: Electronics and Telecommunications Research Institute ETRI
Current assignee: Electronics and Telecommunications Research Institute ETRI
Priority date: 2006-12-05
Filing date: 2007-12-05
Publication date: 2012-05-09
Anticipated expiration: 2027-12-05
Also published as: US8212783B2; US20080129705A1; EP1930800A1; JP2008146649A

Description

本発明は一般に、能動駆動型視触感ディスプレイ装置に関し、より詳細には、触覚を誘発する部分と視覚を誘発する部分とが一体化した視触感ディスプレイ装置に関する。

人間の五感は、視覚、聴覚、嗅覚、味覚、触覚で構成されるが、現在のディスプレイ装置は、一般的に現象または事物の声と映像をデジタル信号化し、仮想の情報を伝達する装置であって、ほとんど視覚情報の伝達に主力を注いでいる。これより、最近、人間の五感のうち視覚を除いた残りの感覚に対する情報伝達及び交流の必要性が提起されている。特に、最近、情報通信の発達に伴って、インターネットショッピングモールやＴＶショッピングモールが活性化されていて、その市場規模が日々増加していることが現況である。仮に、インターネットショッピングモールにおいて製品の視覚的情報だけでなく、粗さ、摩擦程度など触感情報を共に提供すれば、その市場規模及び商業性がさらに大きくなるだろう。

それにも拘わらず、人間の五感のうち触覚に対する情報伝達やこれを定量化する方法が最も劣っている。現在、人間の五感を用いて情報媒体と人間との間の情報のやりとりをしようとする多様な方法が研究されているが、触覚は、力、振動、及び温度などに繊細に反応する感覚であって、事実上技術化や集積化が容易でない。

従来、物体の表面質感を具現する方法として、機械的な刺激剤（mechanical stimulator array）を使用する場合が大部分であった。機械的な刺激剤を使用する場合には、皮膚内の機械的刺激の受容体（mechanoreceptor）を刺激するために、直流（ＤＣ）モーター、圧電（piezoelectric）素子、形状記憶合金作動装置（shapememory alloy actuator）、超音波振動装置（ultrasonic vibrator）、空気ジェット（air jet）噴射、空気圧で動く作動装置（pneumatic actuator）、ペルティエ（Peltier）素子、表面弾性波（surface acoustic wave）素子、放射状の音響圧力（acoustic radiation pressure）を利用した素子、圧力バルブ素子、イオン電導性の高分子ジェル薄膜（ionic conducting polymer gel film）などを使用していた。

また、従来、機械的な刺激剤を利用する場合以外にも、電磁気的な力を利用した研究が進められていて、機械的な圧力を直接加えることなく、静電気力(electrostatic force)(“A microfabricaed electrostatic haptic display for persons with visual impairments” H. Tang, D. J. Beebe, IEEE Transactions on rehabilitation engineering, Vol. 6(3)(1998), pp241-248)を利用したり、電磁気マイクロコイル(electromagnetic micro-coil)(“VITAL:A new low-cost VIbro-TActiLe display system”M. B. Khoudja, M. Hafez, J. -M. Alexandre, A. Kheddar, V. Moreau, Proceeding of the 2004 International Conference on Robotics & Automation(2004), pp721-726)、電気刺激(electrostimulation)(“SmartTouch:skin to touch the untouchable” H. Kajimoto, N. Kawakami, S. Tachi, IEEE Computer Graphics and Application, Vol. 24 January/February (2004), pp36-43), ＤＣ電流(direct current)(“Pattern identification on a fingertip-scanned electrotactiel display” K. A. Kaczmarek, M. E. Tayler, P. Bach-y-Rita, Proc. of the 11th Symposium on Haptic Interfaces for Visual Environment and Teleoperator Systems, Haptic Symposium 2003 (2003), pp40-46)などから引力と斥力、摩擦力を誘発させて、皮膚の刺激を誘導した。これらのうち、静電気力を用いて人工的な質感を作りだして感触を感じさせようとするアイデアは、簡単な構造で触感を誘発することができ、電流のように人体に直接的な影響を与える要素がないため、以前からＭallinckrodtなど（“Perception by the skin of electrically induced vibration”E. Mallinckrodt, A. L. Hughes, J. W. Sleator, Science, Vol. 118(1953), pp277-278)と、Strongなど(“An electrotactile display”R. M. Strong, D. E. Troxel, IEEE Trans. Man-Machine Systems, Vol. 11(1)(1970), pp72-79)とにより提案されてきた。

韓国特許公開第２００５−００９６２１９号明細書 IEEE Trans. On Visualization and computer graphics, 2006, p.168-p.177 IEEE Trans. On Man-Machine system, 1970, p.72-p.79

前述した文献において、Ｔａｎｇなどは、静電気的触感ディスプレイを、４インチＳｉウェハにフォトリソグラフィを用いて７×７電極アレイ形態で製作し、簡単な形態で電圧を印加し、触感を測定する点字ディスプレイを実現した。しかし、このような構成の場合、各々の電極に対する配線が容易でなく、分解能に限界があるので、物質の質感を表現するのに充分でないという問題がある。しかも、前述した構造を利用する場合には、触感が感じる多様な情報を、単純な１つの物理量で表現することが容易ではないという問題もある。

本発明は、このような問題を鑑みてなされたものであって、その目的とするところは、能動駆動形態で触感を感知できるディスプレイ装置を製作し、ディスプレイイメージを示す視覚的信号及び質感に対する情報を触覚的に示す触覚的信号を具現する視触感ディスプレイ装置を提供することにある。

また、本発明の他の目的は、透明電極を用いて形成された触感誘発部を、既存の平板型ディスプレイ部の上部に装着することによって、視覚的情報を容易に伝達することができると共に、触感情報を感知することができる視触感ディスプレイ装置を提供することにある。

上記目的を達成するために、本発明の一態様によれば、本発明は、複数の走査線、複数のデータ線及び複数の画素を含むディスプレイ部と；前記ディスプレイ部の上部に装着され、前記画素から発光される光を透過させ、前記画素に対応する位置に形成された複数の対応画素と、前記隣接する対応画素を相互に電気的に連結するトランジスタとを含み、静電気力または静磁気力を誘発する触感誘発部と；前記対応画素と接触し、前記触感誘発部で誘発された静電気力または静磁気力を感知する感知部と；を含む。

好ましくは、前記触感誘発部の前記対応画素は、前記ディスプレイ部から発光される光を透過させる透明電極と、前記透明電極に電気的に接続される複数のアドレス線及び走査線と、前記走査線に印加される走査信号によって前記アドレス線に印加される信号を伝達する複数のトランジスタと、前記伝達された信号に対応する電圧を貯蔵するキャパシタとを含む。

好ましくは、前記感知部は、前記対応画素に対応する感知ピクセルを含むパッド部と、一端部が前記パッド部に連結され、他端部が前記触感誘発部に電気的に連結されるパッド連結部とを含む。

前記感知ピクセルは、静電気力を感知するために、金属物質及び透明性を有する導電物質のうち１つを利用する。前記感知ピクセルは、金、アルミニウム、鉄、銀、白金、ＩＴＯ及びＩＺＯのうち１つを利用する。前記感知ピクセルは、静磁気力を感知するために永久磁石を利用する。前記感知ピクセルは、電気力及び磁気力を感知するために金属性永久磁石を利用する。前記パッド部は、弾性及び軟性を有する物質を利用する。前記弾性及び軟性を有する物質は、ゴム、ポリマー、紙、天然繊維及び合成繊維を含む。本発明の視触感ディスプレイ装置は、前記各対応画素を連結する前記トランジスタを駆動して回転電流を形成することによって、磁場を誘導し、弾性及び粘性を示す。

本発明によれば、既存のディスプレイの視覚的情報以外に、触覚情報を加えることによって、視覚情報はもちろん、触覚情報を提供することができる。また、本発明は、触感発生部に静電気力だけでなく、コイル形態の回路が構成されるようにすることによって、単純な構造を通じて磁気力を同時に具現することができる。

また、触感誘発部を、電気力及び磁気力を提供できる２層構造で形成することによって、静電気力及び静磁気力を同時に表現することができる。また、感知部は、金属性物質からなる複数の感知ピクセルを絶縁線で連結することによって、感知効率を高めることができ、より精密度の高い情報をユーザに提供することができる。

以下、添付の図面を参照して本発明の構成を詳細に説明する。
図１は、本発明に係る視触感ディスプレイ装置の概略的な斜視図であり、図２ａは、本発明に係る視触感ディスプレイ装置を構成する触感誘発部の概略的な内部構成図であり、図２ｂは、図２ａに示された対応画素の回路構成図である。

図１、図２ａ及び図２ｂを参照すれば、本発明に係る視触感ディスプレイ装置は、基板上に形成されたディスプレイ部１００と、ディスプレイ部１００の上部に設置され、ディスプレイ部１００から提供される信号によって静電気力または静磁気力を誘発する触感誘発部２００と、触感誘発部２００から提供される静磁気力または静電気力を感知し、触感情報を感じさせる感知部３００とを含む。言い換えれば、触感誘発部２００は、ディスプレイ部１００の上段に装着され、ディスプレイから発光される光を透過させ、ユーザに視覚的情報を提供すると同時に、その表面の静電気力及び静磁気力を感知部３００に伝達し、ユーザが触感情報を感じるようにする部分である。感知部３００は、ユーザの指に装着され、触感誘発部２００から発生する触感情報を物理的変位に変化させ、人間が触覚を用いて文字を認識できるようにする部分である。

各構成要素をさらに詳しく説明すれば、次の通りである。
まず、ディスプレイ部１００は、複数の走査線１０１、複数のデータ線１０２及び複数の画素１０３を含む。触感誘発部２００は、各画素１０３に対応する位置に形成された複数の対応画素２０１と、前記隣接する対応画素２０１を相互に電気的に連結する複数の電界効果トランジスタ２２０（Ｔｒ１〜Ｔｒ２０）（図２ａ参照）とを含む。前記触感誘発部２００は、対応画素２０１を電界効果トランジスタ２２０で連結し、ユーザの所望する電界効果トランジスタにゲート電圧を印加し、所望の形状の電流が流れるようにすることによって、電場及び磁場を発生させることができる。前記電界効果トランジスタ２２０は、対応画素２０１を構成するトランジスタとは別途に形成される構成要素である。触感誘発部２００の各対応画素２０１は、ディスプレイ部１００の画素１０３の大きさと同じ大きさで構成することが好ましい。これは、ディスプレイ部１００から発生する光が散乱無しにユーザの目に伝達され得るようにするためである。

触感誘発部２００の各対応画素２０１は、能動駆動素子（ＬＣＤ）で使用する駆動回路のように、能動素子を用いて連結する。具体的に、図１、図２ａ及び図２ｂを参照すれば、触感誘発部２００の対応画素２０１は、ディスプレイ部１００の上部に装着され、画素１０３から発光される光を透過させる透明電極２１１と、透明電極２１１に電気的に接続する複数のアドレス線２１２及び走査線２１３と、走査線２１３に印加される走査信号によって前記アドレス線に印加される信号を伝達するトランジスタ２１４、２１５と、前記伝達された信号に対応する電圧を貯蔵するキャパシタ２１７と、キャパシタ２１７に貯蔵された電圧に対応する電流を前記透明電極２１１に供給するトランジスタ２１６とを含む。上述したように、触感誘発部２００の対応画素２０１を駆動する駆動回路を構成することによって、各対応画素２０１に含まれた能動駆動回路により各対応画素２０１に電荷を供給することができるので、感知部３００との電位差により力を発生させることができる。

図３は、本発明に係る感知部の一実施例を示す図であり、パッド部３１０を拡大した図であり、図４は、本発明に係る感知部の他の実施例を示す図である。

図３及び図４を参照すれば、感知部３００は、触感誘発部２００の対応画素２０１に対応する複数の感知ピクセル３１１を含むパッド部３１０と、一端部がパッド部３１０に連結され、他端部が触感誘発部２００に電気的に連結されるパッド連結部３２０とを含む。図３を参照すれば、パッド部３１０は、複数の感知ピクセル３１１と、隣接する感知ピクセル３１１を相互に連結する絶縁連結線３１２とを含む。絶縁連結線３１２は、電流が流れるようにすることなく、各感知ピクセル３１１間を連結する構成要素であって、木綿、絹、ゴム、合成繊維などを含み、線形態でなく他の多様な連結形態を利用してもよい。特に、絶縁連結線３１２は、各感知ピクセル３１１が自由に動きながら互いに相対的位置が大きくずれないように（２ｍｍ以内−人間の感知能力は約１ｍｍである）維持することを目的とする。

パッド部３１０の感知ピクセル３１１は、電気力を感知するために、導電物質からなるか、又は、磁気力を感知するために磁石物質（永久磁石を含む）からなる。絶縁連結線３１２によって感知ピクセル３１１を連結することは、相互に隣接する感知ピクセル３１１の絶縁のためのものである。一方、図４を参照すれば、図４に示された複数の感知ピクセル３１１は、相互に軟性があり、絶縁性がある絶縁部３１３上に設けられている。絶縁部３１３は、ゴム、ポリマー、紙、天然繊維及び合成繊維を含むことができ、例えば、ラテックスゴムに複数の感知ピクセル３１１を付着して使用することができる。感知ピクセル３１１は、下部の電気力や磁気力に対して互いに独立的に動くので、ユーザに精密な感覚を提供することができる。感知ピクセル３１１は、静電気力を提供するために、金、アルミニウム、鉄、銀及び白金などを含む金属と、ＩＴＯ、ＩＺＯなどを含む透明電極物質を使用したり、磁気力を提供するために、永久磁石を使用したりすることができる。さらに、感知ピクセル３１１は、電気力及び磁気力を共に提供するために、金属性永久磁石を利用したり、静電気力を提供する物質及び磁気力を提供する物質を二重で積層して使用したりすることができる。

前述した構成からなる視触感ディスプレイ装置の能動駆動形式を考察すれば、次の通りである。
前記構成を用いて質感を誘発し、触感を測定する過程は、大きく３つに分けられる。第一に、トランジスタ２１４、２１５、２１６を用いてキャパシタ２１７の両端に電圧を印加し、電位差を発生させる過程である書き込み過程（writing process）と、第二に、次の書き込み過程までトランジスタ２１５の蓄電された状態を維持する過程（sustaining process）と、第三に、感知部３００を透明電極２１１上に接近させて、両方の電極間に静電気力を誘発する過程（detecting process）とを含む。

まず、スキャンパルス電圧Ｖ₃をトランジスタ２１５及びトランジスタ２１６にＶだけ印加してオン状態を形成し、同時に１次アドレス電圧Ｖ₁及び２次アドレス電圧Ｖ₂を各々トランジスタ２１５、２１６に印加すれば、キャパシタ２１７の両端に｜Ｖ₁−Ｖ₂｜の電位差が発生する。キャパシタ２１７に発生する電位差は、触感誘発部２００を動作させる駆動電圧として使われる。前述のような書き込み過程が終わった後、スキャンパルス電圧Ｖ₃は、電位差が０である接地状態となり、トランジスタ２１５、２１６はオフ状態となる。

逆スキャンパルス電圧Ｖ₄は、スキャンパルス電圧Ｖ₃の反対信号を示す。すなわち、Ｖ₃がＶだけ電圧が印加された場合に、Ｖ₄は接地状態となり、Ｖ₃が接地状態となった場合に、Ｖ₄はＶだけ電圧が印加されるようになる。

次に、書き込み過程（writing process）においてトランジスタ２１５、２１６は、オン状態となるのに対し、トランジスタ２１４は、オフ状態となり、蓄電された状態を維持する過程（sustaining process）においてトランジスタ２１５、２１６は、オフ状態となり、トランジスタ２１４は、オン状態となる。この過程で、トランジスタ２１４がオン状態となり、Ｖ₃が接地状態となるので、仮に、感知部３００を透明電極２１１上に接近させれば、キャパシタ２１７、透明電極２１１及び感知部３００の間に閉回路が形成され、透明電極２１１と感知部３００との間に静電気力を誘発するようになる。これが両方の電極間に静電気力を誘発する過程（detecting process）であり、透明電極２１１と感知部３００との電位差は、キャパシタ２１７に発生する電位差｜Ｖ₁−Ｖ₂｜と同じである。そして、触感誘発部２００において感知部３００が動く時、静電気力と表面摩擦係数とを乗算した分だけの煎断力が発生し、電圧の大きさと極性（polarity）を各対応画素２０１毎に時間によって調節することによって、多様な煎断力の変化と質感を形成することができる。

図２ａ及び図２ｂを参照すれば、前述した構成からなる視触感ディスプレイ装置の触感誘発部２００では、コイル形態の電流を誘発させて静磁気力を誘発させることができ、感知部３００での磁化を用いて力を発生させることができる。例えば、触感誘発部２００の隣接する対応画素２０１を連結する電界効果トランジスタ５、７、８、９、１１、１２、１３、１４、１６、１８、２１、２２、２３、２４のゲート電極に電圧を印加する場合には、各番号に該当するトランジスタがＯＮとなり、２回回転する電流が形成される。図２ａを参照すれば、電圧が印加されたトランジスタは、電流が流れる導体となり、印加されないトランジスタは、電流が流れない絶縁体となり、図の中央を基準として考察すれば、電流が２回回転して流れるようになる形態で、（＋）から（−）に沿って電流がうず巻き形態で流れることを確認することができる。前述のような視触感ディスプレイ装置の駆動方法で、回転数を調節することができるコイル形態の電流を発生させることができる。

触感誘発部２００は、電場を誘発する部分及び磁場を誘発する部分を２層構造で形成し、電場及び磁場を同時に使用することができる。パッド部３１０の感知ピクセル３１１が電気力を感知するために導電物質からなる場合、触感誘発部２００において電場を誘発する部分は、高さ情報を提供することができる。感知部３００が「＋」電圧を維持し、ディスプレイ部１００に表示される画像の凸部位及び凹部位を表示するために触感誘発部２００に表示された画像の凸部位には「＋」電圧を印加し、凹部位には「−」電圧を印加する場合、感知部３００は、画像の凸部位ではディスプレイの外側に力を受けるようになり、凹部位には、ディスプレイの内側に力を受けるようになり、ユーザが視覚的な映像と共に触覚で凹凸を感じるようになる。

パッド部３１０の感知ピクセル３１１が磁気力を感知するために磁石物質からなる場合には、触感誘発部２００もやはり磁場を使用することができる。触感誘発部２００は、回路に形成された磁場のうち静磁場及び誘導磁場を同時に使用することができる。この際、静磁場の場合には、静電場と同様に高さを表現することができるので、凹凸を感じることができるが、誘導磁場の場合には、摩擦力や弾性、粘性などを表現することができる。すなわち、触感誘発部２００は、磁場により背景屈曲を表現し、電場により小さい屈曲を表現することによって、表現の幅を広めることができる。

触感誘発部２００に電流が流れて磁場が形成された場合には、磁石が遠くなれば、レンツの法則によって電流が増加し、感知部３００が遠くなることを妨害するようになる。このような現象を用いて磁石物質からなる感知部３００を触感誘発部２００に対して水平に動かす場合には、誘導磁場によりその動きが妨害を受けるようになるが、電流を調節して動きを妨害する力を調節することによって、摩擦力を調節することができる。また、磁石物質からなる感知部３００を触感誘発部２００に対して垂直に動かす場合には、水平に動かす時と同様に、接近する時に接近を妨害する力が生じるが、この力から弾性を調節することができ、遠くなる時に遠くなることを調節することができ、これにより、粘性を表現することができる。感知部２００と触感誘発部３００との距離は、両者の静電容量から換算して計算することができる。

詳細な説明と図面を通じて本発明の最適の実施例を開示した。用語は、本発明を説明するための目的で使用されたものであって、意味の限定や特許請求の範囲に記載された本発明の範囲を制限するために使用されたものではない。この技術分野における通常の知識を有する者なら、多様な変形及び均等な他の実施例が可能であることが分かるだろう。従って、本発明の真正な技術的保護範囲は、添付の特許請求の範囲の技術的思想により定められるべきである。

本発明に係る視触感ディスプレイ装置を示す概略的な斜視図である。本発明に係る視触感ディスプレイ装置を構成する触感誘発部の概略的な内部構成図である。図２ａに示された対応画素の回路構成図である。本発明に係る感知部の一実施例を示す図である。本発明に係る感知部の他の実施例を示す図である。

符号の説明

１００ディスプレイ部
２００触感誘発部
２０１対応画素
２１１透明電極
２１４、２１５、２１６トランジスタ
２１７キャパシタ
２２０トランジスタ
３０２感知部
３１０パッド部
３１１感知ピクセル
３１２連結絶縁線
３２０パッド連結部

Claims

複数の走査線、複数のデータ線及び複数の画素を含むディスプレイ部と、
前記ディスプレイ部の上部に装着され、前記画素に対応する位置に形成された複数の対応画素と、隣接する対応画素を相互に電気的に連結するトランジスタとを含み、前記画素から発光される光を透過させながら表面に静電気力または静磁気力を誘発する触感誘発部と、
前記対応画素と接触し、前記触感誘発部で誘発された静電気力または静磁気力を感知する感知部と
を含むことを特徴とする視触感ディスプレイ装置。
前記触感誘発部の前記対応画素は、
前記ディスプレイ部から発光される光を透過させる透明電極と、
前記透明電極に電気的に接続する複数のアドレス線及び走査線と、
前記走査線に印加される走査信号によって前記アドレス線に印加される信号を伝達する複数のトランジスタと、
前記伝達された信号に対応する電圧を貯蔵するキャパシタと
を含むことを特徴とする請求項１に記載の視触感ディスプレイ装置。
前記感知部は、
前記対応画素に対応する感知ピクセルを含むパッド部と、
一端部が前記パッド部に連結され、他端部が前記触感誘発部に電気的に連結されるパッド連結部と
を含むことを特徴とする請求項１に記載の視触感ディスプレイ装置。
前記感知ピクセルは、静電気力を感知するために、金属物質及び透明性を有する導電物質のうちいずれか１つを利用することを特徴とする請求項３に記載の視触感ディスプレイ装置。
前記感知ピクセルは、金、アルミニウム、鉄、銀、白金、ＩＴＯ及びＩＺＯのうちいずれか１つを利用することを特徴とする請求項４に記載の視触感ディスプレイ装置。
前記感知ピクセルは、静磁気力を感知するために永久磁石を利用することを特徴とする請求項３に記載の視触感ディスプレイ装置。
前記感知ピクセルは、電気力及び磁気力を感知するために金属性永久磁石を利用することを特徴とする請求項３に記載の視触感ディスプレイ装置。
前記パッド部は、弾性及び軟性を有する物質を利用することを特徴とする請求項３に記載の視触感ディスプレイ装置。
前記弾性及び軟性を有する物質は、ゴム、ポリマー、紙、天然繊維及び合成繊維を含むことを特徴とする請求項８に記載の視触感ディスプレイ装置。
前記各対応画素を連結する前記トランジスタを駆動して回転電流を形成することによって、磁場を誘導して弾性及び粘性を示すことを特徴とする請求項１に記載の視触感ディスプレイ装置。