JP5246490B2 - 入出力装置 - Google Patents

Description

本発明は、例えばタッチパネルなどに用いられ、画像の入出力が可能な入出力装置に関する。

従来、３次元空間上において、画像の入出力を行うことが可能な入出力装置が提案されている（例えば、特許文献１）。特許文献１では、ディスプレイの表示面側に、マイクロレンズアレイをその焦点距離の分だけ離隔して配置することにより、いわゆるインテグラル方式による３次元表示が実現される。このような手法では、ディスプレイを構成する複数の画素のうち、一つのマイクロレンズに割り当てられる画素数が、３次元画像の奥行き方向の分解能に相当し、マイクロレンズ数が３次元画像の２次元平面における画素数に相当する。

特開２００７−８６９３１号公報 特開２００５−１４１１０２号公報

すなわち、上記特許文献１の手法において、空間上に表示される３次元画像の２次元平面における解像度は、マイクロレンズアレイにおけるマイクロレンズ数（レンズピッチ）によって決まる。このため、レンズピッチによる制約を受け、結果として低解像度となってしまう。

そこで、ディスプレイの表示面側において、ディスプレイの表示面と空間上の一平面とが光学的に共役の位置関係となるように、マイクロレンズアレイを配置することにより、空間上の一平面に２次元画像を表示して、擬似的な立体表示を行う入出力装置が提案されている（例えば、特許文献２）。このような構成では、空間上の一平面に表示される画像の解像度を、ディスプレイにおける表示画素のピッチとマイクロレンズの結像倍率とによって調整することができるため、高解像度の画像を表示し易くなる。

しかしながら、上記特許文献２の構成では、指などの位置を検知する各種位置センサを、画像表示面よりも更に前面（観察者の側）に配置しているため、装置全体の厚みが増してしまうという問題があった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、薄型でありながら、高解像度の２次元画像を表示すると共に、３次元空間における物体の位置検知を実現することが可能な入出力装置を提供することにある。

本発明の入出力装置は、物体の撮像データを取得するための撮像領域と、画像データに基づいて画像を表示するための表示領域とが混在してなる表示部と、表示部の表示面側において、撮像領域に対向する選択的な領域に設けられたマイクロレンズと、表示部の撮像領域において取得された撮像データに基づき、物体の位置を検知する位置検知部とを備え、表示部において、撮像領域は、少なくとも２つの撮像画素を有すると共に複数箇所に互いに離隔して設けられているものである。

本発明の入出力装置では、表示部の表示領域において画像が表示されると、その画像光は表示部上方へ出射する。このとき、物体が表示部の上方へ近づけられると、上記画像光が物体へ向けて照射され、この照射された光が、マイクロレンズにより集光されたのち、撮像領域において受光される。これにより、撮像領域において、光線の進行方向についての情報が保持された状態で物体の撮像データが取得される。このようにして取得された撮像データに基づいて、位置検知部では物体の位置が検知される。

本発明の入出力装置によれば、表示部に表示領域と撮像領域とを混在させて配置したので、表示面よりも前面に物体の位置を検知するための位置センサを別途設けた場合に比べて、装置全体の厚みを小さくすることができる。また、マイクロレンズを撮像領域に対応して配置するようにしたので、表示部の全面に渡ってマイクロレンズを配したマイクロレンズアレイを介して３次元画像を表示する場合に比べて、高解像度の２次元画像を表示することができる。一方、光線の進行方向についての情報を保持して撮像データを取得することができるため、位置検知部では、そのような撮像データに基づいて、物体の２次元平面だけでなく高さ方向における位置を検知することができる。よって、薄型でありながら、高解像度の２次元画像を表示すると共に、３次元空間における物体の位置検知を実現することができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る入出力装置１の機能ブロック構成を表したものである。入出力装置１は、例えばタッチパネルとして用いられ、図形や文字などの画像を表示すると共に、例えば指などの物体を撮像することにより、物体の位置を検知すること（センシング）が可能となっている。入出力装置１は、入出力パネル１０、表示信号ドライバ２１、表示側スキャナ２２、撮像信号レシーバ３１、撮像側スキャナ３２、画像処理部４０、位置検知部５０および制御部６０を備えている。

入出力パネル１０は、複数の画素が全面に渡ってマトリクス状に配置されたディスプレイ部１１（表示部）の表示側、すなわち観察者の側に、レンズ基板１２（いずれも後述）が設けられたものである。この入出力パネル１０の詳細な構成については後述する。

表示信号ドライバ２１および表示側スキャナ２２は、制御部６０からの制御に応じて、表示信号（画像データＤ０）に基づいて、後述のディスプレイ部１１における各表示画素の表示駆動を行うものである。表示信号ドライバ２１は、表示駆動対象の各表示画素を駆動するものであり、表示側スキャナ２２は、表示駆動対象の表示画素を選択するものである。

撮像信号レシーバ３１および撮像側スキャナ３２は、制御部６０からの制御に応じて、物体側からの光を撮像画素上で受光し、物体の撮像データＤ１を取得するように、後述のディスプレイ部１１における各撮像画素を駆動するものである。撮像信号レシーバ３１は、撮像駆動対象の撮像画素を駆動するものであり、撮像側スキャナ３２は、撮像駆動対象の撮像画素を選択するものである。

画像処理部４０は、制御部６０からの制御に応じて、撮像信号レシーバ３１から供給される撮像データＤ１に対して所定の画像処理を施すことにより画像処理データＤ２を生成するものである。この画像処理部４０の詳細な画像処理動作については後述する。

位置検知部５０は、制御部６０からの制御に応じて、画像処理部４０から入力される画像処理データＤ２に基づき、指の位置（ｘ，ｙ，ｚ）を検知するものである。位置検知部５０により検知された指の位置についての情報は、位置データＤoutとして出力されるようになっている。

制御部６０は、表示信号ドライバ２１、表示側スキャナ２２、撮像側スキャナ３２、撮像信号レシーバ３１、画像処理部４０および位置検知部５０の動作を制御するものである。具体的には、表示信号ドライバ２１および表示側スキャナ２２による表示駆動動作、撮像信号レシーバ３１および撮像側スキャナ３２による撮像駆動動作、画像処理部４０による画像処理動作、ならびに位置検知部６０による位置検知動作を、それぞれ適宜制御するものである。なお、上記画像処理部４０、位置検知部５０および制御部６０は、例えばマイクロコンピュータなどにより構成されている。

続いて、図２および図３を参照して、入出力パネル１０の詳細構成について説明する。図２は、入出力パネル１０の断面構成を模式的に表すものである。図３は、ディスプレイ部１１の平面構成を模式的に表すものである。

ディスプレイ部１１は、図示しない駆動基板上に、表示画素Ｐａよりなる表示領域１１Ａと、撮像画素Ｐｂよりなる撮像領域１１Ｂとが混在して配置されたものである。駆動基板は、表示画素Ｐａおよび撮像画素Ｐｂをそれぞれ駆動するものであり、例えばＴＦＴ（Thin Film Transistor；薄膜トランジスタ）などにより構成されている。

表示画素Ｐａは、画像データＤ０に基づき、画像を表示する表示素子である。この表示画素Ｐａは、例えば液晶表示素子（ＬＣＤ：Liquid Crystal Display）によって構成されている。液晶表示素子は、例えば、バックライトと、一対の基板間に液晶層を封止した液晶セルと、この液晶セルの光入射側および光出射側に貼り合わせられた一対の偏光板と、液晶セルからの出射光のうち特定の波長領域の光を選択的に透過させるカラーフィルタとを含んで構成されている（いずれも図示せず）。バックライトは、例えば、ＣＣＦＬ（Cold Cathode Fluorescent Lamp；冷陰極管）やＬＥＤ（Light Emitting Diode；発光ダイオード）などにより構成されている。このような構成において、液晶セルの一対の基板間へ電圧を印加することにより、画像データＤ０に基づいてバックライトから発せられた光を変調して透過させるようになっている。

撮像画素Ｐｂは、レンズ基板１２のマイクロレンズ部１２ｂにより集光された光に基づき、撮像データＤ１を取得するものである。この撮像画素Ｐｂは、例えばＣＣＤ（Charge Coupled Device；電荷結合素子）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などにより構成されている。

レンズ基板１２は、ガラスなどの基板上の互いに離隔した複数の箇所に、マイクロレンズ部１２ｂを有している。レンズ基板１２において、マイクロレンズ部１２ｂ以外の部分は、平坦部１２ａとなっている。

このようなレンズ基板１２の平坦部１２ａに対向して、ディスプレイ部１１の表示領域１１Ａが配置され、マイクロレンズ部１２ｂに対向して撮像領域１１Ｂが配置されている。例えば、図３に示したように、複数の撮像領域１１Ｂが所定の間隔で配置され、各撮像領域１１Ｂはそれぞれ２×２＝４つの撮像画素Ｐｂにより構成されている。すなわち、撮像領域１１Ｂにのみ、マイクロレンズ部１２ｂが対向配置された構成となっている。

続いて、上記入出力装置１の作用、効果について説明する。

（画像表示動作）
まず、入出力装置１の画像表示動作（出力動作）について説明する。入出力装置１では、制御部６０の制御に応じて、画像データＤ０が表示信号ドライバ２１に供給されると、表示画素Ｐａがそれぞれ駆動され、表示領域１１Ａにおいて画像が表示される。表示された画像の画像光は、レンズ基板１２の平坦部１２ａを透過して、レンズ基板１２の上方へ出射する。

（センシング動作）
次いで、入出力装置１のセンシング動作（入力動作）について図１〜図６を参照して説明する。図４（Ａ）〜（Ｃ）は、画像処理部４０における視差画像生成動作を説明するための模式図である。図５は、実際の指の撮像画像と、この撮像画像から生成した視差画像である。図６は、位置検知動作を説明するための図である。

入出力装置１では、入出力パネル１０の上方に指１００が配置されると、上述した画像光により、指１００が照明される。この指１００を照明する光は、レンズ基板１２におけるマイクロレンズ部１２ｂによって集光され、撮像領域１１Ｂ（撮像画素Ｐｂ）において受光される。これにより、指１００の撮像データが取得され、撮像信号レシーバ３１へと出力される。撮像信号レシーバ３１へ出力された撮像データは、撮像データＤ１として画像処理部４０へ供給される。

ここで、各撮像領域１１Ｂでは、撮像画素Ｐｂごとに受光光線の進行方向が互いに異なっており、この進行方向についての情報が保持された状態で受光される。また、各撮像領域１１Ｂ同士の間で互いに同一の位置に配置された撮像画素Ｐｂにおける撮像画素データは、同一の進行方向についての情報を含んでいる。

画像処理部４０は、入力された撮像データＤ１に基づいて、視差画像生成処理を施し、指１００についての２つの視差画像データＤ１１，Ｄ１２を生成する。具体的には、まず、撮像データＤ１のうち、各撮像領域１１Ｂ同士の間で互いに同一の位置に配置された撮像画素Ｐｂ１から、撮像画素データ（例えば、図４（Ａ）中、数字１が付された位置の画素データ）をそれぞれ抽出し、これらの抽出した撮像画素データ同士を合成することにより、図４（Ｂ）に示した視差画像データＤ１１を生成する。同様にして、撮像画素Ｐｂ２における撮像画素データ（図４（Ａ）中、数字２が付された位置の画素データ）をそれぞれ抽出し、これらの抽出した撮像画素データ同士を合成することにより、図４（Ｃ）に示した視差画像データＤ１２を生成する。

生成された視差画像データＤ１１，Ｄ１２は、必要に応じて他の画像処理、例えば欠陥補正処理やノイズ低減処理などが施されることにより、画像処理データＤ２として、位置検知部５０へ出力される。

位置検知部５０は、入力された画像処理データＤ２に基づいて、指１００の位置（ｘ，ｙ，ｚ）を検知する。例えば、指１００の位置（ｘ、ｙ）については、１枚の指１００の視差画像データ（視差画像データＤ１１または視差画像データＤ１２）に対してエッジ検出処理を施すことにより検出する。他方、指１００の位置のｚ成分（高さＨ）については、例えば次のような手法により特定する。すなわち、視差画像データＤ１１，Ｄ１２の相関に基づいて、２視差の画像内の生体画像の位相差を算出し、その位相差に基づいて指１００のｚ成分を特定する。ここで、図６（Ａ）〜（Ｃ）に、高さＨをそれぞれ、０ｍｍ、５ｍｍ、１０ｍｍとした場合の視差画像データＤ１１，Ｄ１２に対応した視差画像を示す。このように、２つの視差画像間の指１００の位相差（Δδ₁，Δδ₂，Δδ₃）を、例えばエッジ検出処理により検出する。このとき、指１００の高さＨが小さくなると、指１００の２枚の視差画像間における位相差が小さくなっていることがわかる（Δδ₃＞Δδ₂＞Δδ₁）。よって、２つの視差画像の相関に基づいて指１００の位相差を検出することにより、指１００のｚ成分が特定される。

また、例えば、経時的に指１００の複数の視差画像データを生成し、これら複数の視差画像データのそれぞれに対してエッジ検出処理を施して、指１００の移動量を算出することにより、水平面内（ＸＹ平面内）における指１００の動きを検出するようにしてもよい。

このようにして位置検知部５０において検知された指１００の位置（ｘ、ｙ、ｚ）についての情報は、位置データＤoutとして出力される。他方、入出力装置１において、指１００の位置に応じて予め実行するファンクション動作を設定しておくことにより、出力された位置データＤoutに応じて、所望のファンクション動作が実行される。あるいは、位置データＤoutを、上述した画像データＤ０として表示信号ドライバ２１へ入力するようにしてもよい。

以上のように本実施の形態では、ディスプレイ部１１に表示領域１１Ａと撮像領域１１Ｂとを混在させて配置したので、表示面よりも前面に指１００の位置を検知するための位置センサを別途設けた場合に比べて、装置全体の厚みを小さくすることができる。また、レンズ基板１２の平坦部１２ａを表示領域１１Ａに対向させて配置するようにしたので、マイクロレンズアレイを介して３次元画像を表示する場合に比べて、高解像度の２次元画像を表示することができる。一方、レンズ基板１２のマイクロレンズ部１２ｂを撮像領域１１Ｂに対向させて配置するようにしたので、光線の進行方向についての情報を保持して撮像データを取得することができる。このため、位置検知部５０では、指１００の２次元平面だけでなく高さ方向における位置を検知することができる。よって、薄型でありながら、高解像度の２次元画像を表示すると共に、３次元空間における物体の位置を検知することが可能となる。

なお、上記実施の形態では、指１００の位置を検知する場合を例に挙げて説明したが、位置検知対象は指に限定されず、生体の他の部位や、スタイラスなどの生体以外の物体であってもよい。図７にスタイラスの撮像データに基づいて生成した２つの視差画像を示す。この場合にも、上述した手法により、２つの視差画像同士の位相差Δδsを検出することにより、スタイラスの位置（ｘ，ｙ，ｚ）を検知することができる。よって、指に限らずスタイラスを用いた３次元センシングも可能である。

（適用例１）
図８は、上記実施の形態の適用例１に係る携帯電話機２の概略構成を表すものである。携帯電話機２は、折り畳み式の筐体（第１筐体２３および第２筐体２４）を備えており、第１筐体２３には、上記実施の形態の入出力装置１が設けられている。一方、第２筐体２４には、入力操作を行うための操作部２５が設けられている。

本適用例では、入出力装置１が搭載されていることにより、この入出力装置１を、例えばユーザの指１００の位置に応じて入力操作が行われるタッチパネルとして機能させることができる。具体的には、指１００の位置のｚ成分を検知することにより、クリック動作による入力が可能となる。更に、経時的に指１００の接触する頻度を測定することにより、ダブルクリック動作による入力も可能である。また、指１００の動き、すなわち位置（ｘ，ｙ）の経時的な変化を検知することにより、マウスポインタとして機能させることも可能である。

なお、入出力装置１が適用される機器としては、上記携帯電話機に限られず、例えばノート型ＰＣ（Personal Computer：パーソナルコンピュータ）などの各種モバイル機器へ適用可能である。

（適用例２）
図９は、上記実施の形態の適用例２に係る携帯電話機３の概略構成を表すものである。本適用例では、光源２６が設けられていること以外は、上記適用例１に係る携帯電話機２と同様の構成を有している。光源２６は、例えば、第１筐体２３において、入出力装置１の両脇に配置され、例えばＬＥＤなどにより構成されている。上記実施の形態および適用例１においては、表示される画像光によって指１００を照明する場合を例に挙げて説明したが、本適用例のように、センシング用の光源２６を別途設けるようにしてもよい。これにより、例えば画像が表示されていない状況下においても、指１００の３次元センシングが可能となる。

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態等では、画像処理部４０において、撮像データＤ１に基づいて２つの視差画像データを生成するようにしたが、生成する視差画像データは２つに限定されず、３つ以上であってもよい。また、上記実施の形態等では、撮像領域１１Ｂを２×２＝４つの撮像画素Ｐｂにより構成した場合を例に挙げて説明したが、撮像領域１１Ｂに割り当てる撮像画素数は、少なくとも２つあれば足り、３つあるいは５つ以上であってもよい。

また、上記実施の形態等では、レンズ基板１２を用いた構成、すなわちマイクロレンズ部１２ｂが平坦部１２ａと共に基板上に設けられた構成を例に挙げて説明したが、マイクロレンズ部１２ｂは、必ずしも基板上に設けられていなくともよい。例えば、図１０（Ａ）に示したような入出力パネル３０を用いるようにしてもよい。入出力パネル３０では、パネル面内に、表示領域１１Ａと撮像領域１１Ｂとが混在しており、撮像領域１１Ｂ上にのみ、撮像領域１１Ｂと一体的にマイクロレンズ３０ａ（マイクロレンズ部）が設けられている。ここで、図１０（Ｂ）に、撮像領域１１Ｂ付近の拡大図を示す。撮像領域１１Ｂは、例えば２×２ピクセルの撮像画素Ｐｂから構成されており、各撮像画素Ｐｂの受光面には、受光光線を効率良く集光させるためのオンチップレンズ３３が設けられている。このオンチップレンズ３３上に、例えば樹脂層３４を介して、マイクロレンズ３０ａが形成されている。このように、必ずしもマイクロレンズを有するレンズ基板を用いる必要はなく、パネルの撮像領域１１Ｂにのみ、直にマイクロレンズ３０ａを形成するようにしてもよい。このように構成した場合であっても、本発明と同等の効果を得ることができる。

また、上記実施の形態等では、表示画素Ｐａの一例として液晶表示素子を挙げて説明したが、他の表示素子、例えば有機または無機のＥＬ(Electro Luminescence)素子などの自発光素子を用いてもよい。但し、上記自発光素子を用いる場合には、バックライトは特に設けなくともよい。

本発明の一実施の形態に係る入出力装置の全体構成を表す機能ブロック図である。 図１に示した入出力パネルの概略構成を表す断面模式図である。 図１のディスプレイ部の２次元構成を表す模式図である。 図１に示した画像処理部の視差画像生成動作を説明するための模式図である。 （Ａ）は実際の撮像画像、（Ｂ），（Ｃ）は視差画像である。 図１に示した位置検知部の位置検知動作を説明するための模式図である。 スタイラスについての視差画像である。 図１に示した入出力装置の適用例に係る携帯電話機の概略構成を表す斜視図である。 変形例に係る携帯電話機の概略構成を表す斜視図である。 図１に示した入出力パネルの他の例を表す断面模式図である。

符号の説明

１…入出力装置、２，３…携帯電話機、１０，３０…入出力パネル，１１…ディスプレイ部、１１Ａ…表示領域、１１Ｂ…撮像領域、１２…レンズ基板、１２ａ…平坦部、１２ｂ…マイクロレンズ部、３０ａ…マイクロレンズ、４０…画像処理部、５０…位置検知部、６０…制御部、１００…指、Ｐａ…表示画素、Ｐｂ…撮像画素、Ｄ０…画像データ、Ｄ１…撮像データ、Ｄ２…画像処理データ、Ｄout…位置データ。

Claims (5)

1. 物体の撮像データを取得するための撮像領域と、画像データに基づいて画像を表示するための表示領域とが混在してなる表示部と、
   前記表示部の表示面側において、前記撮像領域に対向する選択的な領域に設けられたマイクロレンズと、
   前記表示部の撮像領域において取得された撮像データに基づき、前記物体の位置を検知する位置検知部とを備え、
   前記表示部において、前記撮像領域は、少なくとも２つの撮像画素を有すると共に複数箇所に互いに離隔して設けられている
   入出力装置。
2. 前記マイクロレンズは基板上に形成され、
   前記基板は、前記表示領域に対応する領域に平坦部を有する
   請求項１に記載の入出力装置。
3. 前記マイクロレンズは、前記表示部の前記撮像領域上に、前記撮像領域と一体的に設けられている
   請求項１に記載の入出力装置。
4. 前記撮像領域において取得された撮像データに対して画像処理を施す画像処理部を備え、
   前記画像処理部は、前記撮像データから、各撮像領域における同一位置の撮像画素の撮像画素データをそれぞれ抽出し、それらの抽出した撮像画素データを合成することにより、少なくとも２つの視差画像データを生成する
   請求項１に記載の入出力装置。
5. 前記位置検知部は、２つの視差画像データ同士の位相差に基づいて前記物体の位置を検知する
   請求項４に記載の入出力装置。

Images