JP4956955B2 - 画像入出力装置、画像補正装置、画像補正プログラムおよび画像補正方法 - Google Patents

Description

本発明は、撮像画像の補正機能を備えた画像入出力装置、画像補正装置、画像補正プログラムおよび画像補正方法に関する。

従来より、撮像装置から得られた撮像画像に対して行う画像補正方法として、種々の技術が開示されている。また、本出願人は例えば特許文献１において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部を備えた表示装置を提案している。

特開２００４−１２７２７２号公報

上記表示装置を撮像装置として利用すれば、撮像画像を得ることが可能となる。しかしながら、上記特許文献１では、このようにして得られた撮像画像について、それ以上の技術については何ら触れられていなかった。したがって、従来の技術では、表示機能と撮像機能とを有する表示部（入出力パネル）から、適切な画像を得ることができるとは限らなかった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、表示機能と撮像機能とを有する入出力パネルを用いて、適切な画像を得ることを可能とする画像入出力装置、画像補正装置、画像補正プログラムおよび画像補正方法を提供することにある。

本発明の画像入出力装置は、画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルと、この入出力パネルに表示されている表示画像の輝度に基づいて、入出力パネルに取り込まれた撮像画像を補正する補正手段とを備えたものである。

この場合において、上記補正手段が、表示画像の輝度に基づいて、白基準により撮像画像を補正するようにするのがより好ましい。ここで、「白基準」とは、表示画像の最高輝度基準のことを意味する。また、上記補正手段が、表示画像の各色ごとの輝度に基づいて撮像画像を補正するようにするのが好ましく、この表示画像の各色ごとの輝度に基づいて、高輝度基準により撮像画像を補正するようにするのがより好ましい。ここで、「高輝度基準」とは、表示画像の各色ごとの最高輝度基準のことを意味する。

本発明の画像補正装置は、画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルを備えた画像入出力装置に適用されるものであって、上記入出力パネルに表示されている表示画像の輝度に基づいて、この入出力パネルに取り込まれた撮像画像を補正する補正手段を備えたものである。

本発明の画像補正プログラムは、画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体を撮像するステップと、この入出力パネルに表示されている表示画像の輝度に基づいて、入出力パネルに取り込まれた撮像画像を補正するステップとをコンピュータに実行させるようにしたものである。

本発明の画像補正方法は、画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体を撮像し、この入出力パネルに表示されている表示画像の輝度に基づいて、入出力パネルに取り込まれた撮像画像を補正するようにしたものである。

本発明の画像入出力装置、画像補正装置、画像補正プログラムおよび画像補正方法では、表示機能とこの表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体が撮像され、撮像画像がこの入出力パネルに取り込まれる。また、この入出力パネルに表示されている表示画像の輝度に基づいて、上記撮像画像が補正される。

本発明の画像入出力装置、画像補正装置、画像補正プログラムまたは画像補正方法によれば、表示機能と撮像機能とを有する入出力パネルに表示されている表示画像の輝度に基づいて、この入出力パネルの撮像機能により得られた物体の撮像画像を補正するようにしたので、表示機能と撮像機能とを有する入出力パネルから適切な画像を得ることが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像入出力装置の構成を表すものである。

この画像入出力装置は、入出力パネル１と、表示信号保持制御部２２と、表示信号ドライバ２３と、表示側スキャナ２４と、撮像信号選択スキャナ３１と、撮像信号レシーバ３２と、画像補正部５とを備えており、画像データに基づく画像を入出力パネル１に表示すると共に、表示画像からの光を利用して入出力パネル１に接触または近接する物体（後述する撮像対象物体１５Ａ，１５Ｂ）を撮像し、撮像して得られた撮像画像の補正を行うものである。

入出力パネル１は、複数の画素１１が全面に渡ってマトリクス状に配置された、例えば有機または無機のＥＬ（ElectroLuminescence）ディスプレイやＬＣＤ（Liquid Crystal Display）からなり、後述するように線順次動作をしながら所定の図形や文字などの画像を表示するものである。また、各画素１１は、例えば１つの表示撮像素子を含む表示撮像セルＣＷＲから構成され、後述するように各画素が表示機能と撮像機能とを併有するようになっている。

ここで、図２〜図４を参照して、入出力パネル１の構成の詳細について説明する。

図２は、入出力パネル１の平面構成の一例を表すものであり、水平ライン方向にｍ個、垂直ライン方向にｎ個、合計で（ｍ×ｎ）個からなる画素１１がマトリクス状に配置されているものとする。この入出力パネル１は、合計で（ｍ×ｎ）個からなる画素１１および各画素に含まれる表示撮像セルＣＷＲ11〜ＣＷＲmnと、その画素１１の数に応じて接続された、ｍ本のデータ供給線ＤＷ（ＤＷ1〜ＤＷm）およびデータ読出線ＤＲ（ＤＲ1〜ＤＲm）、ならびにｎ本の表示用ゲート線Ｇ（Ｇ1〜Ｇn）および切換線Ｓ（Ｓ1〜Ｓn）とを有している。

データ供給線ＤＷは表示信号ドライバ２３に接続され、データ読出線ＤＲは撮像信号レシーバ３２に接続され、表示用ゲート線Ｇは表示側スキャナ２４に接続され、切換線Ｓは撮像信号選択スキャナ３１に接続されている。また、各表示撮像セルＣＷＲに対してそれぞれ１本ずつのデータ供給線ＤＷ、データ読出線ＤＲ、表示用ゲート線Ｇおよび切換線Ｓが接続されている。また、例えば１垂直ラインの表示撮像セルＣＷＲ11，ＣＷＲ12，…，ＣＷＲ1nに対しては、１本ずつのデータ供給線ＤＷ1およびデータ読出線ＤＲ1が共通に接続され、例えば１水平ラインの表示撮像セルＣＷＲ11，ＣＷＲ21，…，ＣＷＲm1に対しては、１本ずつの表示用ゲート線Ｇおよび切換線Ｓが共通に接続されている。なお、図中の矢印Ｙは、表示用ゲート線Ｇおよび切換線Ｓのスキャン方向を示している。

図３は、入出力パネル１における表示撮像セルＣＷＲの配置構成の一例を断面図で模式的に表したものであり、図２におけるＡ−Ａ部分の矢視断面に対応するものである。

この入出力パネル１は、１対の透明基板１２Ａ，１２Ｂと、これらの透明基板１２Ａ，１２Ｂの間に配置され、隔壁１３によって互いに分離された複数の表示撮像セルＣＷＲ（ＣＷ21，ＣＷ22，ＣＷ23，ＣＷ24，ＣＷ25，…）とを有している。また、各表示撮像セルＣＷＲは、表示撮像素子ＥＬとして例えば有機ＥＬ素子を含んでおり、表示光ＬＷを出射するようになっている。なお、一般的な有機ＥＬ表示部におけるその他の層については図示せず、説明を省略している。

図４は、入出力パネル１における表示撮像セルＣＷＲの回路構成を表すものである。

この表示撮像セルＣＷＲは、１つの表示撮像素子ＥＬと、キャパシタＣと、抵抗Ｒと、表示用ゲート線Ｇから供給される選択信号に応じてデータ供給線ＤＷとキャパシタＣの一端との間を選択的に導通させるスイッチＳＷ１と、切換線Ｓから供給される切換信号に応じてキャパシタの他端と表示撮像素子ＥＬの一端との間を選択的に導通させるスイッチＳＷ２と、同じく切換線Ｓから供給される切換信号に応じて表示撮像素子ＥＬの一端とデータ読出線ＤＲとの間を選択的に導通させるスイッチＳＷ３とを有し、表示撮像素子ＥＬの他端は接地されている。なお、抵抗Ｒの一端はデータ読出線ＤＲに接続され、抵抗Ｒの他端は接地、または負バイアス点（図示せず）に接続されるようになっている。

ここで、具体的に表示動作時および撮像動作時における各構成要素の動作を説明する。まず、表示動作および撮像動作は、以下のような表示撮像素子ＥＬの性質を利用して行う。つまり、本実施の形態において表示撮像素子ＥＬとして構成する、例えば有機ＥＬ素子やＬＥＤ素子などは、順方向バイアス電圧を印加すると発光動作をするが、逆方向バイアス電圧を印加すると、受光して電流を発生する性質を有する。

したがって、表示動作時には、表示用ゲート線Ｇから供給される選択信号および切換線Ｓから供給される切換信号に従って、スイッチＳＷ１，ＳＷ２をオン状態とすると共に、スイッチＳＷ３をオフ状態とすることで、表示撮像素子ＥＬには順方向バイアス電圧が印加される。そして表示信号に応じた輝度の発光となるよう、データ供給線ＤＷからＩ１の経路にてキャパシタＣが充電され、充電された電荷に基づいてＩ２の経路にて表示撮像素子ＥＬに電流が流れることで、表示動作がなされる。

一方、撮像動作時には、切換線Ｓから供給される切換信号に従って、スイッチＳＷ２，ＳＷ３をオフ状態とすると共に、スイッチＳＷ２をオン状態とすることで、表示撮像素子ＥＬに逆方向バイアス電圧が印加される。そして表示撮像素子ＥＬにおいて、受光した光量に応じた電流がＩ３の経路にてデータ読出線ＤＲへ供給されることで、撮像動作がなされる。

なお、表示動作および撮像動作のいずれの動作も行っていない時には、スイッチＳＷ１〜ＳＷ３はいずれもオフ状態となっており、データ供給線ＤＷおよびデータ読出線ＤＲはそれぞれ、表示撮像素子ＥＬとは切断されるようになっている。また、データ読出線ＤＲに接続されている抵抗Ｒは、Ｉ３の経路でデータ読出線ＤＲに供給される電流に基づいてその両端に電位差を生じさせ、これを撮像信号として出力するためのものである。

表示信号保持制御部２２は、後述する画像補正部５内の表示用フレームメモリ５３などから供給される表示信号を、１画面ごと（１フレームの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）などから構成されるフレームメモリに格納して保持するものである。この表示信号保持制御部２２はまた、表示信号ドライバ２３、表示側スキャナ２４および撮像信号選択スキャナ３１が連動して動作するように制御する役割も果たしている。具体的には、表示側スキャナ２４に対しては表示タイミング制御信号４１を、撮像信号選択スキャナ３１に対しては撮像タイミング制御信号４２を、表示信号ドライバ２３に対しては、制御信号、およびフレームメモリに保持されている１画面分の表示信号に基づく１水平ライン分の表示信号を、それぞれ出力するようになっている。

表示側スキャナ２４は、表示信号保持制御部２２から出力される表示タイミング制御信号４１に応じて、表示駆動対象の表示撮像セルＣＷＲを選択するものである。また、表示信号ドライバ２３は、表示信号保持制御部２２から出力される１水平ライン分の表示信号に応じて、表示駆動対象の表示撮像セルＣＷＲへ表示データを供給するものである。

撮像信号選択スキャナ３１は、表示信号保持制御部２２から出力される撮像タイミング制御信号４２に応じて、撮像駆動対象の表示撮像セルＣＷＲを選択するものである。なお、この撮像信号選択スキャナ３１は、撮像信号レシーバ３２に対して撮像ブロック制御信号４３を出力し、これら撮像動作に寄与する部分の動作を制御する役割も果たしている。

撮像信号レシーバ３２は、撮像信号選択スキャナ３１から出力される撮像ブロック制御信号４３に応じて、各表示撮像セルＣＷＲから出力された１水平ライン分の撮像信号を取得するものである。

ここで、図５および図６を参照して、このような構成の画像入出力装置において、接触あるいは近接した物体を撮像する動作について説明する。

図５は、図１の画像入出力装置において撮像対象物体を撮像する処理の一例を断面図で表したものであり、図３に示した構成要素と同一の構成要素には同一の符号を付し、説明を適宜省略する。

入出力パネル１上に、例えば指などの撮像対象物体１５Ａを接触あるいは近接させると、表示撮像セルＣＷＲ（ここでは、表示撮像セルＣＷＲ23）からの表示光ＬＷ１が、この撮像対象物体１５Ａで反射する。ここで、表示撮像素子ＥＬでは、表示動作と撮像動作を時分割で行う必要があり、ある表示撮像素子で表示光を発光させながらその表示撮像素子で反射光を受光することができない。そこで、ある水平ラインの表示撮像素子から出射した表示光を、逆方向バイアス電圧が印加された他の水平ラインの表示撮像素子が受光することにより、撮像対象物体１５Ａの撮像が可能になる。例えば、図５に示したように、表示撮像セルＣＷＲ23から位置が近い水平ライン上の表示撮像セル、例えばＣＷＲ24やＣＷＲ25などには反射光ＬＲ１が入射するが、この表示撮像セルＣＷＲ23から位置が遠い水平ライン上の表示撮像セルには、反射光が入射しない。したがって、ある撮像対象物体１５Ａから位置が近い表示撮像セルＣＷＲのみから撮像信号が得られるので、この画像入出力装置では、表示駆動されている水平ライン上の表示撮像セルＣＷＲから発せられて撮像対象物体１５Ａで反射された光が、その水平ラインに隣接する水平ライン上の表示撮像セルＣＷＲによって受光されるように、タイミング駆動がなされるようになっている。このようにすれば、撮像対象物体１５Ａ近傍の表示撮像セルＣＷＲからは撮像信号が出力される一方、それ以外の領域からは撮像信号が出力されないので、撮像対象物体１５Ａが入出力パネル１上のどの領域に位置するのかが検知され、撮像動作が可能となる。

また、図６に示したように、このような表示駆動と撮像駆動とを各水平ラインについて順次行う（線順次駆動）ことにより、入出力パネル１全体で画像を表示しながら、撮像対象物体１５Ａを撮像することが可能となる。なお、図６において、符号Ｐ２，Ｐ３，Ｐ８，Ｐ９はそれぞれ、スキャン中のラインの位置を表しており、符号６１，６１Ａ，６１Ｂは表示領域を、符号６３は撮像領域を表している。

図１の説明に戻り、画像補正部５は、Ｉ／Ｆ５１と、実際に画像補正処理を担っている補正機能部５２と、表示用フレームメモリ５３と、ＵＳＢ−Ｉ／Ｆ５４と、通信Ｉ／Ｆ５５とを有しており、これらはバス５０によって互いに接続されている。

Ｉ／Ｆ５１は、撮像信号レシーバ３２との間のインターフェース部分であり、撮像信号レシーバ３２から撮像データＤinを入力するようになっている。また、ＵＳＢ−Ｉ／Ｆ５４は、この画像入出力装置の外部とのＵＳＢ（Universal Serial Bus）接続によるインターフェース部分であり、例えば補正機能部５２による画像補正後の撮像データＤout１を外部へ出力するようになっている。また、通信Ｉ／Ｆ５５は、同じくこの画像入出力装置の外部との有線もしくは無線の通信によるインターフェース部分であり、例えば補正機能部５２による画像補正後の撮像データＤout２を外部へ出力するようになっている。

表示用フレームメモリ５３は、例えばＣＰＵ５２２によって作成された１画面分（１フレーム分）の表示画像データ（表示信号）を保持するメモリであり、この表示画像データを入出力パネル１における表示画像データ（表示信号）Ｄoutとして、前述の表示信号保持制御部２２へ出力するようになっている。

補正機能部５２は、上記のように実際に画像補正処理を担っている部分であり、メモリ５２１と、ＣＰＵ（Central Processing Unit）５２２と、プログラムメモリ５２３とを含んで構成されている。

ＣＰＵ５２２は、画像補正処理を実行するための演算処理を行う部分であると共に、この画像入出力装置全体を統括する部分である。また、メモリ５２１は、このＣＰＵ５２２が演算処理を実行するためのワーキングメモリであり、プログラムメモリ５２３は、ＣＰＵ５２２が実行する画像補正処理のためのプログラム等を格納するメモリである。

また、図７は、補正機能部５２の機能ブロック構成を表したものである。このように、この補正機能部５２は、機能ブロックで表現すると、表示画像記憶部５２Ａと、メモリ５２Ｂと、補正実行部５２Ｃとから構成されている。

表示画像記憶部５２Ａは、表示用フレームメモリ５３からバス５０を介して入力される、現在入出力パネル１において表示されている表示画像の表示画像データＤin（Ｗ）を一時的に保持する部分である。また、メモリ５２Ｂは、１画面分（１フレーム分）の表示画像データＤin（Ｗ）を保持する部分である。

補正実行部５２Ｃは、メモリ５２Ｂから入力される現在入出力パネル１において表示されている表示画像の表示画像データＤin（Ｗ）に基づいて、Ｉ／Ｆ５１およびバス５０を介して入力される撮像データＤin（Ｒ）に対し画像補正処理を実行する部分であり、画像補正後の撮像データＤout１，Ｄout２を、ＵＳＢ−Ｉ／Ｆ５４または通信Ｉ／Ｆ５５へそれぞれ出力するようになっている。

具体的には、この補正実行部５２Ｃは、表示画像データＤin（Ｗ）の輝度に基づいて、白基準により撮像データＤin（Ｒ）の画像補正処理を行うようになっており、より具体的には、以下の式（１）を用いて画像補正処理を行うようになっている。このような式を用いて画像補正処理を行っているので、撮像データＤin（Ｒ）における各画素の輝度を、対応する表示画像データＤin（Ｗ）の各画素の輝度が白基準となっている場合に換算するようにして、補正することができる。
Ｙｒ２＝Ｙｒ１×（Ｙｗ＿ｗ／Ｙｗ） …（１）
但し、Ｙｒ１ ：補正前の撮像画像（撮像データＤin（Ｒ））の輝度
Ｙｗ＿ｗ ：表示画像（表示画像データＤin（Ｗ））の白基準の輝度
Ｙｗ ：表示画像（表示画像データＤin（Ｗ））の輝度
Ｙｒ２ ：補正後の撮像画像（撮像データＤout１，Ｄout２）の輝度

次に、図８〜図１０を参照して、本実施の形態の画像補正部５による補正処理について説明する。ここで、図８は、本実施の形態に係る補正処理を流れ図で表したものであり、図９および図１０はそれぞれ、補正処理の態様を表したものである。

まず、前述した入出力パネル１の撮像機能により、この入出力パネル１の近傍に位置する物体を撮像すると共に、このときの撮像画像（撮像データＤin（Ｒ））を、補正実行部５２ＣがＩ／Ｆ５１およびバス５０を介して取得する（図８のステップＳ１０１）。具体的には、例えば図９（Ａ）に示したように、入出力パネル１上の撮像対象物体１５Ｂを、入出力パネル１からの表示光ＬＷ２およびその反射光ＬＲ２を利用して撮像し、例えば図９（Ｂ）に示したような撮像データＤin（Ｒ）を取得する。

次に、補正実行部５２Ｃは、取得した撮像データＤin（Ｒ）を画像変換することにより、（Ｒ（赤），Ｇ（緑），Ｂ（青））からなる各色ごとの輝度データを、輝度Ｙおよび色差ｕ，ｖからなる（Ｙ，ｕ，ｖ）データに変換する（ステップＳ１０２）。なお、輝度Ｙは、各色成分を総合した明るさを意味する一方、色差信号ｕ，ｖはそれぞれ、Ｂ（青）から輝度Ｙを引いた信号Ｂ−Ｙ、Ｒ（赤）から輝度Ｙを引いた信号Ｒ−Ｙに対応しており、これらｕ信号，ｖ信号を輝度Ｙと組み合わせることにより、色（色相，彩度，輝度）が表現されるようになっている。

次に、補正実行部５２Ｃは、メモリ５２Ｂから、現在入出力パネル１において表示されている表示画像の表示画像データＤin（Ｗ）を取得する（ステップＳ１０３）。そして補正実行部５２Ｃは、上記した撮像データＤin（Ｒ）の場合と同様にして、取得した表示画像データＤin（Ｗ）を画像変換することにより、（Ｒ，Ｇ，Ｂ）からなる各色ごとの輝度データを、（Ｙ，ｕ，ｖ）データに変換する（ステップＳ１０４）。

補正実行部５２Ｃは、ステップＳ１０４を各画素について行うことにより（Ｙ，ｕ，ｖ）データに変換された表示画像データＤin（Ｗ）における１画面分（１フレーム分）の輝度マップを作成する（ステップＳ１０５）。

次に、補正実行部５２Ｃは、それぞれ（Ｙ，ｕ，ｖ）データに変換された撮像データＤin（Ｒ）および表示画像データＤin（Ｗ）に基づいて、前述の式（１）を用いることにより、この撮像データＤin（Ｒ）（具体的には、輝度Ｙｒ１）の補正をする（ステップＳ１０６）。これにより、撮像データＤin（Ｒ）における各画素の輝度Ｙｒ１が、対応する表示画像データＤin（Ｗ）の各画素の輝度Ｙｗを白基準とした場合（輝度Ｙｗ＿ｗ）に換算するようにして、補正される。

最後に、補正実行部５２Ｃは、このようにして補正された撮像画像データ（撮像データＤout１，Ｄout２）を、それぞれバス５０を介してＵＳＢ−Ｉ／Ｆ５４または通信Ｉ／Ｆ５５へ出力することにより、この補正処理が終了する。

このようにして、例えば図９（Ｂ）に示した撮像画像を補正した場合、例えば図１０に示したようになり、撮像対象物体１５Ｂの部分の輝度が向上し、撮像画像が見やすくなっていることが分かる。

以上のように、本実施の形態では、画像補正部５内の補正機能部５２に構成される補正実行部５２Ｃが、表示機能と撮像機能とを有する入出力パネル１に表示されている表示画像の画像データ（表示画像データＤin（Ｗ））に基づいて、この入出力パネル１の撮像機能により得られた物体の撮像画像（撮像データＤin（Ｒ））を補正するようにしたので、表示機能と撮像機能とを有する入出力パネルから適切な画像を得ることが可能となる。

また、表示画像データＤin（Ｗ）の輝度Ｙｗに基づいて、白基準により、具体的には式（１）を用いて補正するようにしたので、撮像データＤin（Ｒ）の輝度Ｙｒ１を、対応する表示画像データＤin（Ｗ）の輝度Ｙｗが白基準である場合（輝度Ｙｗ＿ｗ）に換算させて補正することができ、撮像画像データＤin（Ｒ）が見やすくなるようにすることが可能となる。

さらに、上記式（１）からも分かるように、表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１とを比例関係により対応付けて補正するようにしたので、第２の実施の形態で以下説明するような、表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１との関係を対応付けた対応テーブルを用いた場合と比べて、補正処理を簡単にすることが可能となる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。

上記第１の実施の形態においては、表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１とを比例関係により対応付けて補正する場合について説明したが、本実施の形態では、これらの関係を対応付けた対応テーブルを用いて補正する場合について説明する。なお、説明の簡潔化を図るため、以下、第１の実施の形態と同様の部位については、同じ符号を付して説明する。

図１１は、本実施の形態に係る補正処理を説明するためのものであり、（Ａ）は上記した対応テーブル７Ａの内容を、（Ｂ）はこの対応テーブルに基づく、表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１との対応関係を、それぞれ表している。なお、図１１（Ｂ）の特性図では、横軸が表示画像データＤin（Ｗ）の輝度Ｙｗを示し、縦軸が撮像データＤin（Ｒ）の輝度Ｙｒ１を示している。

図１１（Ａ），（Ｂ）に示したように、この対応テーブル７Ａによる表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１との対応関係は、第１の実施の形態のような比例関係ではなく、曲線によって対応付けられている。つまり、本実施の形態におけるこれらの対応関係では、表示画像データＤin（Ｗ）の輝度Ｙｗの大きさに応じて、撮像データＤin（Ｒ）の輝度Ｙｒ１の増加分が変化するようになっている。

また、図１２は、対応テーブル７Ａを作成方法について表したものである。具体的には、この補正テーブル７Ａは、例えば図１２（Ａ）に示したような表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを、いわゆるグラデーションにより１つの表示画像全体で入出力パネル１に表示した状況のもとで、例えば図１２（Ｂ），（Ｃ）に示したように、この入出力パネル１上の全面に鏡面反射物体８を配置し、この鏡面反射物体８を入出力パネル１からの表示光ＬＷ３およびその反射光ＬＲ３を利用して撮像することにより、作成されるようになっている。

このようにして、表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを１つの表示画像全体で表すようにしているので、この１つの表示画像における表示画像データＤin（Ｗ）の輝度Ｙｗと、これによる撮像データＤin（Ｒ）の輝度Ｙｒ１との関係を得ることにより、対応テーブル７Ａが作成される。また、撮像対象物体として鏡面反射物体８を用いているので、入出力パネル１上のどの領域においても、反射の態様が一様となる。

以上のように、本実施の形態では、表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１との関係を対応付けた対応テーブル７Ａを用いて補正するようにしたので、第１の実施の形態のようにこれらの関係を単純に比例関係として補正した場合と比べ、表示画像データＤin（Ｗ）の輝度Ｙｗの大きさに応じた補正をすることができ、より適切な補正を行うことが可能となる。

また、表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを１つの表示画像全体で表すようにしたので、この１つの表示画像のみを用いて、対応テーブル７Ａを作成することができる。

次に、本実施の形態の変形例について、いくつか説明する。なお、説明の簡潔化を図るため、以下、第１または第２の実施の形態と同様の部位については、同じ符号を付して説明する。

［変形例１］
上記第２の実施の形態においては、表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを１つの表示画像全体で表すようにして対応テーブル７Ａを作成する場合について説明したが、本変形例では、この表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを、複数の表示画像を用いて入出力パネル１の各画素１１ごとで表すようにして、対応テーブル７Ａを作成する場合について説明する。

本変形例に係る補正処理では、例えば図１３に示したように、表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを、複数の表示画像を用いて、各輝度レベルごとに入出力パネル１の全面に一様に表示するようにして、対応テーブル７Ａを作成するようになっている。具体的には、例えば最低輝度レベルの黒表示画像１Ｂから始まり、中間輝度レベルのグレイ（灰色）表示画像１Ｇを複数経て、最後に最高輝度レベルの白表示画像１Ｗを、入出力パネル１の全面に一様に表示するようになっている。

また、このようにして対応テーブル７Ａを作成する場合には、各画素１１ごとに、全ての輝度レベルの対応関係が得られることから、例えば図１４に示したように、入出力パネル１上の複数の画素１１ａ〜１１ｃにおいてそれぞれ輝度レベルの対応関係が異なる場合においても、対応することができる。

つまり、例えば図１５（Ａ）〜（Ｃ）にそれぞれ示したように、これらの画素１１ａ〜１１ｃにおける表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１との対応関係がそれぞれ異なるような場合であっても、各画素の個々の対応関係を、補正処理に反映させることができるようになる。

以上のように、本変形例では、表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを複数の表示画像を用いて入出力パネル１の各画素１１ごとに表すようにして、対応テーブル７Ａを作成するようにしたので、入出力パネル１上の複数の画素における対応関係がそれぞれ異なるような場合であっても、各画素の個々の対応関係を補正処理に反映させることができ、上記第２の実施の形態の場合と比べ、より適切に補正することが可能となる。

［変形例２］
上記第２の実施の形態においては、表示画像データＤin（Ｗ）の輝度Ｙｗ、すなわち各色成分を総合した明るさに基づいて、撮像データＤin（Ｒ）の輝度Ｙｒ１を補正する場合について説明したが、本変形例では、表示画像の各色ごとの輝度、すなわち（Ｒ（赤），Ｇ（緑），Ｂ（青））からなる各色ごとの輝度データに基づいて、撮像データＤin（Ｒ）の各色ごとの輝度を補正する場合について説明する。

本変形例に係る補正処理では、例えば図１６に示したように、表示画像（表示画像データＤin（Ｗ））の各色ごとの輝度（Ｒｗ，Ｇｗ，Ｂｗ）と、撮像画像（撮像データＤin（Ｒ））の各色ごとの輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）との関係を対応付けた対応テーブル７Ｂを用いて、撮像データＤin（Ｒ）の各色ごとの輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）を補正するようになっている。

具体的には、前述の式（１）と同様にして、以下の式（２）〜（４）をそれぞれ用いて、撮像データＤin（Ｒ）の各色ごとの輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）を、各色ごとの輝度（Ｒｒ２，Ｇｒ２，Ｂｒ２）に補正するようになっている。
Ｒｒ２＝Ｒｒ１×（Ｒｗ＿ｗ／Ｒｗ） …（２）
Ｇｒ２＝Ｇｒ１×（Ｇｗ＿ｗ／Ｇｗ） …（３）
Ｂｒ２＝Ｂｒ１×（Ｂｗ＿ｗ／Ｂｗ） …（４）
但し、Ｒｒ１，Ｇｒ１，Ｂｒ１ ：補正前の撮像データＤin（Ｒ）の各色ごとの輝度
Ｒｗ＿ｗ，Ｇｗ＿ｗ，Ｂｗ＿ｗ：表示画像データＤin（Ｗ）の白基準の各色ごとの輝度
Ｒｗ，Ｇｗ，Ｂｗ ：表示画像データＤin（Ｗ）の各色ごとの輝度
Ｒｒ２，Ｇｒ２，Ｂｒ２ ：補正後の撮像データＤout１，Ｄout２の各色ごとの輝度

したがって、例えば図１７（Ａ），（Ｂ）に示したように、表示画像（表示画像データＤin（Ｗ））の輝度（Ｒｗ，Ｇｗ，Ｂｗ）が、撮像画像（撮像データＤin（Ｒ））の輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）との間で、各色ごとに対応関係が異なるような場合（この場合、（Ｒｗ，Ｇｗ，Ｂｗ）＝（６４，１２８，１９２）がそれぞれ、（Ｒｒ１，Ｇｒ１，Ｂｒ１）＝（３２，６４，９４）に対応している）であっても、各色ごとに対応することができる。

以上のように、本変形例では、表示画像データＤin（Ｗ）の各色ごとの輝度（Ｒｗ，Ｇｗ，Ｂｗ）と撮像データＤin（Ｒ）の各色ごとの輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）との関係を対応付けた対応テーブル７Ｂを用いて、撮像データＤin（Ｒ）の各色ごとの輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）を補正するようにしたので、各色ごとに輝度の対応関係が異なるような場合であっても、これらの対応関係の違いを反映させて補正することができ、上記第２の実施の形態の場合と比べ、より適切に補正することが可能となる。

なお、本変形例においても、上記変形例１の場合のように、各画素１１ごとの対応テーブルを作成するようにしてもよい。このように構成した場合、さらに適切に補正することが可能となる。

また、本変形例では、対応テーブルを用いて補正を行う第２の実施の形態の変形例として説明したが、対応テーブルを用いずに補正を行う第１の実施の形態において、撮像データＤin（Ｒ）の各色ごとの輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）を補正するようにしてもよい。そのように構成した場合、第１の実施の形態と比べ、より適切に補正することが可能となる。

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。本実施の形態では、入出力パネル１の表示画像からの光の拡散を考慮して補正を行う場合について説明する。なお、説明の簡潔化を図るため、以下、第１または第２の実施の形態と同様の部位については、同じ符号を付して説明する。

図１８は、本実施の形態に係る補正機能部５２の機能ブロック構成を表すものであり、第１の実施の形態における図７に対応するものである。本実施の形態に係る補正機能部５２は、図７における画像表示記憶部５２Ａの代わりに、拡散画像生成部５２Ｄを備えている。

この拡散画像生成部５２Ｄは、表示用フレームメモリ５３からバス５０を介して入力される、現在入出力パネル１において表示されている表示画像の表示画像データＤin（Ｗ）に基づいて、入出力パネル１の表示画像からの光の拡散を考慮した拡散画像データを作成するものである。なお、作成された拡散画像データは、メモリ５２Ｂへ出力される。

ここで、図１９〜図２１を参照して、この拡散画像データの詳細について説明する。まず、この拡散画像データは、例えば図１９（Ａ）に示したように、入出力パネル１の表示画像からの光（表示光ＬＷ４）の拡散を考慮して作成されるものである。本来であれば、例えば図１９（Ｂ）に示したように、鏡面反射物体８などでの反射光ＬＲ４の拡散をも考慮して作成されるべきであるが、この反射光ＬＲ４の拡散の度合いは反射物によって異なってくることから、表示光ＬＷ４の拡散を考慮して作成されている。

また、この拡散画像データは、ある画素１１からの表示光の周囲への拡散が、例えば図２０（Ａ）に示したようなガウス分布により広がっているものとして作成されるようになっている。具体的には、ある画素１１における表示画像データＤin（Ｗ）の輝度が、例えば図２０（Ｂ）に示したように２００であった場合に、その画素の周囲に対して、例えば図２０（Ｃ）に示したような輝度分布によって表示光が拡散するものとして、入出力パネル１上の全ての画素について、そのようなガウス分布による表示光の輝度拡散を演算するようになっている。

図２１は、本実施の形態に係る補正処理の一例を説明するための画像写真であり、（Ａ）は元の表示画像データＤin（Ｗ）による表示画像を、（Ｂ）は（Ａ）の表示画像に基づいて拡散画像生成部５２Ｄにより作成された拡散画像データによる表示画像を、それぞれ表している。このようにして、元の表示画像である図２１（Ａ）と比べ、拡散画像データによる表示画像である図２１（Ｂ）は、各画素１１からの表示光が拡散しているため、画像がぼやけたようになっていることが分かる。

以上のように、本実施の形態では、拡散画像生成部５２Ｄが、入出力パネル１の表示画像からの光（表示光ＬＷ４）の拡散を考慮して拡散画像データを作成し、元の表示画像データＤin（Ｗ）の代わりにこの拡散画像データを利用して、撮像データＤin（Ｒ）を補正するようにしたので、実際の各画素からの表示光の拡散を考慮して補正することができ、上記第１および第２の実施の形態と比べ、より適切に補正することが可能となる。

以上、第１〜第３の実施の形態およびその変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態等では、撮像データＤin（Ｒ）の輝度を、表示画像データＤin（Ｗ）の最高輝度基準により補正しているが、基準とする輝度レベルは最高輝度には限られず、高輝度領域の輝度レベル（例えばこの場合、２５０階調レベルなど）を基準とすればよい。

また、上記実施の形態等では、表示機能と撮像機能とを併有する表示撮像素子ＥＬによって入出力パネル１を構成した場合で説明したが、表示機能を有する表示素子（例えば、液晶素子やＬＥＤ（Light Emitting Diode）など）と、撮像機能を有する素子（例えば、フォトダイオードやＣＣＤ（Charge Coupled Device）など）とを別々に設けて入出力パネルを構成するようにしてもよい。

また、上記実施の形態では、一連の補正処理をソフトウェアにより実行させる場合について説明したが、これらの処理をハードウェアによって実行させることも可能である。

本発明の第１の実施の形態に係る画像入出力装置の全体構成を表すブロック図である。 図１に示した入出力パネルの構成を表す平面図である。 入出力パネルにおける表示撮像セルの配置構成の一例を模式的に表す断面図である。 図１に示した表示撮像セルの構成を表す回路図である。 図１に示した画像入出力装置において撮像対象物体を撮像する処理の一例を表す模式断面図である。 入出力パネルにおける線順次表示動作および線順次撮像動作の一例を表す模式図である。 図１に示した補正機能部の構成を表す機能ブロック図である。 第１の実施の形態に係る画像補正部による補正処理を表す流れ図である。 第１の実施の形態に係る補正処理を説明するための模式図である。 図９に示した撮像画像に対して補正処理を行ったときの画像を表す模式図である。 第２の実施の形態に係る補正処理のための対応テーブルおよび対応グラフを表す模式図および特性図である。 第２の実施の形態に係る補正処理を説明するための模式図である。 第２の実施の形態の変形例１に係る補正処理を説明するための模式図である。 第２の実施の形態の変形例１に係る補正処理を説明するための模式図である。 第２の実施の形態の変形例１に係る対応グラフを表す特性図である。 第２の実施の形態の変形例２に係る対応テーブルを表す模式図である。 第２の実施の形態の変形例１に係る対応グラフを表す特性図である。 第３の実施の形態に係る補正機能部の構成を表す機能ブロック図である。 第３の実施の形態に係る補正処理を説明するための模式図である。 第３の実施の形態に係る補正処理を説明するための特性図および模式図である。 第３の実施の形態に係る補正処理の一例を説明するための画像写真である。

符号の説明

１…入出力パネル、１１，１１ａ〜１１Ｃ…画素、１２Ａ，１２Ｂ…透明基板、１３…隔壁、１５Ａ，１５Ｂ…撮像対象物体、２２…表示信号保持制御部、２３…表示信号ドライバ、２４…表示側スキャナ、３１…撮像信号選択スキャナ、３２…撮像信号レシーバ、４１…表示タイミング制御信号、４２…撮像タイミング制御信号、４３…撮像ブロック制御信号、５…画像補正部、５１…Ｉ／Ｆ、５２…補正機能部、５２Ａ…表示画像記憶部、５２Ｂ…メモリ、５２Ｃ…補正実行部、５２Ｄ…拡散画像生成部、５２１…メモリ、５２２…ＣＰＵ、５２３…プログラムメモリ、５３…表示用フレームメモリ、５４…ＵＳＢ−Ｉ／Ｆ、５５…通信Ｉ／Ｆ、６１，６１Ａ，６１Ｂ…表示領域、６３…撮像領域、７Ａ，７Ｂ…対応テーブル、８…鏡面反射物体、ＣＷＲ…表示撮像セル、ＤＷ…データ供給線、ＤＲ…データ読出線、Ｇ…表示用ゲート線、Ｓ…切換線、ＬＷ，ＬＷ１〜Ｗ４…表示光、ＬＲ１〜ＬＲ４…反射光、ＥＬ…表示撮像素子、Ｃ…キャパシタ、Ｒ…抵抗、ＳＷ１，ＳＷ２，ＳＷ３…スイッチ、Ｉ１…表示信号電流路、Ｉ２…撮像信号電流路、Ｙ…スキャン方向、Ｐ２，Ｐ３，Ｐ８，Ｐ９…スキャン中の水平ラインの位置。

Claims (12)

1. 画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルと、
   前記入出力パネルに表示されている表示画像の輝度に基づいて、前記入出力パネルに取り込まれた撮像画像を補正する補正手段と
   を備えた画像入出力装置。
2. 前記補正手段は、以下の式（１）を用いて前記撮像画像を補正する
   請求項１に記載の画像入出力装置。
   Ｙｒ２＝Ｙｒ１×（Ｙｗ＿ｗ／Ｙｗ） …（１）
   但し、Ｙｒ１ ：補正手段により補正前の撮像画像の輝度
   Ｙｗ＿ｗ ：表示画像の白基準の輝度
   Ｙｗ ：表示画像の輝度
   Ｙｒ２ ：補正手段により補正後の撮像画像の輝度
3. 前記補正手段は、前記表示画像の各色ごとの輝度に基づいて前記撮像画像を補正する
   請求項１に記載の画像入出力装置。
4. 前記補正手段は、前記表示画像の各色ごとの輝度と前記撮像画像の各色ごとの輝度との関係を対応付けた対応テーブルを用いて、前記撮像画像を補正する
   請求項３に記載の画像入出力装置。
5. 前記補正手段は、前記表示画像の輝度と前記撮像画像の輝度との関係を対応付けた対応テーブルを用いて、前記撮像画像を補正する
   請求項１に記載の画像入出力装置。
6. 前記対応テーブルは、前記入出力パネル上に配置された鏡面反射物体を撮像することにより、作成されたものである
   請求項５に記載の画像入出力装置。
7. 前記対応テーブルは、前記表示画像が取り得るすべての輝度レベルを１つの表示画像全体で表して前記入出力パネルに表示した状況のもとで、前記鏡面反射物体を撮像することにより、作成されたものである
   請求項６に記載の画像入出力装置。
8. 前記対応テーブルは、前記表示画像が取り得るすべての輝度レベルを、複数の表示画像を用いて前記入出力パネルの各画素ごとで表して前記入出力パネルに表示した状況のもとで、前記鏡面反射物体を撮像することにより、作成されたものである
   請求項６に記載の画像入出力装置。
9. 前記補正手段は、入力される表示画像の画像データに基づいてその表示画像からの光の拡散を考慮した拡散画像データを作成すると共に、この拡散画像データを用いて表示される表示画像の輝度に基づいて、前記撮像画像を補正する
   請求項１に記載の画像入出力装置。
10. 画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルを備えた画像入出力装置に適用される画像補正装置であって、
    前記入出力パネルに表示されている表示画像の輝度に基づいて、前記入出力パネルに取り込まれた撮像画像を補正する補正手段を備えた
    画像補正装置。
11. 画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体を撮像するステップと、
    前記入出力パネルに表示されている表示画像の輝度に基づいて、この入出力パネルに取り込まれた撮像画像を補正するステップと
    をコンピュータに実行させる画像補正プログラム。
12. 画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体を撮像し、
    前記入出力パネルに表示されている表示画像の輝度に基づいて、この入出力パネルに取り込まれた撮像画像を補正する
    画像補正方法。

Images