JP4634732B2

JP4634732B2 - 表示装置

Info

Publication number: JP4634732B2
Application number: JP2004107833A
Authority: JP
Inventors: 村卓中; 宏宜林
Original assignee: Toshiba Mobile Display Co Ltd
Current assignee: Japan Display Central Inc
Priority date: 2003-03-31
Filing date: 2004-03-31
Publication date: 2011-02-16
Anticipated expiration: 2024-03-31
Also published as: JP2004318127A

Description

本発明は、画像取込み機能を備えた表示装置に関する。

液晶表示装置は、信号線、走査線及び画素ＴＦＴが列設されたアレイ基板と、信号線及び走査線を駆動する駆動回路とを備えている。最近の集積回路技術の進歩発展により、駆動回路の一部をアレイ基板上に形成するプロセス技術が実用化されている。これにより、液晶表示装置全体を軽薄短小化することができ、携帯電話やノート型コンピュータなどの各種の携帯機器の表示装置として幅広く利用されている。

ところで、アレイ基板上に、画像取込みを行う密着型エリアセンサを配置した画像取込み機能を備えた表示装置が提案されている（例えば、特許文献１，２参照）。

この種の画像取込み機能を備えた従来の表示装置は、センサに接続されたキャパシタの電荷量をセンサでの受光量に応じて変化させるようにし、キャパシタの両端電圧を検出することで、画像取込みを行っている。
特開2001-292276号公報特開2001-339640号公報

しかしながら、液晶表示装置は、背面に配置されるバックライト光源の光を液晶画素が透過させるか否かを制御して任意の表示を行っている。この際、画素の中に多くの光電変換素子や回路を集積してしまうと、十分な開口率を確保することができず、必要な表示輝度を確保できないおそれがある。

バックライトの輝度を高める方法も考えられるが、消費電力が増大してしまうという別の問題が生じる。表示装置では、画素内に1ビットの光電変換素子及び回路を設けるのが精一杯である。このため、デジタルカメラ等で用いられるCMOSイメージセンサやCCDなどと異なり、表示装置から直接出力される撮像データは1bitのみである。これを多階調化するためには、露光時間などの撮像条件を変化させながら多数回の撮像を繰り返し外部で加算・平均化処理を行う特有の処理が必要となる。また、多階調化の後に、通常デジタルカメラ等で行われる階調補正、欠陥補正等の一般的な画像処理を行う必要がある。

これらを行うために専用の画像処理ICを設けることも考えられるが、その分コストアップの問題が生じる。

本発明は、このような点に鑑みてなされたものであり、その目的は、画素内で画像取込を行って得られた画像の画像処理を簡易な構成及び手順で行うことができる表示装置を提供することにある。

本発明の一態様に係る表示装置は、表示素子と2値撮像データを出力する手段を有するアレイ基板と、CPUとの双方向バスを有する画像処理部と、CPUとの双方向バスを有するLCDCと、を備える。

また、本発明の一態様に係る表示装置は、表示素子と2値撮像データを出力する手段を有するアレイ基板と、CPUとの双方向バス及びLCDCとの双方向バスを有する画像処理部と、を備える。

また、本発明の一態様に係る表示装置は、表示装置は、縦横に列設される信号線及び走査線の各交点付近に形成される画素内の表示素子と、前記表示素子のそれぞれに対応して少なくとも一個ずつ設けられ、それぞれが所定範囲の撮像を行う撮像部と、前記撮像部の撮像結果に対応する２値データを格納する２値データ格納部と、行方向もしくは列方向の少なくとも1方向で互いに隣接しない複数の画素の前記２値データを先に出力するように構成されたアレイ基板を有する。

また、本発明の一態様に係る表示装置は、縦横に列設される信号線及び走査線の各交点付近に形成される表示素子と、撮像部と、前記撮像部で撮像された画像に対応する２値データを出力する出力部と、を有する画素アレイ部と、別個の撮像装置と、複数の撮影条件にて前記撮像部で撮像された複数の前記２値データに基づいて、多階調データを生成する第１の画像処理部と、前記撮像装置で撮像された撮像データと、前記第１の画像処理部で生成された多階調データとを択一的に受信して、所定の画像処理を行う第２の画像処理部とを備える。

また、本発明の一態様に係る表示装置は、表示装置は、縦横に列設される信号線及び走査線の各交点付近に形成される画素内の表示素子と、前記表示素子のそれぞれに対応して少なくとも一個ずつ設けられ、それぞれが所定範囲の撮像を行う撮像部と、前記撮像部の撮像結果に対応する２値データを格納する２値データ格納部と、互いに隣接しない一部の走査線に接続された各画素の前記２値データに基づいて、表示画面全体の平均階調を推測する平均階調推測部と、を備える。

また、本発明の一態様に係る表示装置は、縦横に列設される信号線及び走査線の各交点付近に形成される画素内の表示素子と、前記表示素子のそれぞれに対応して少なくとも一個ずつ設けられ、それぞれが所定範囲の撮像を行う撮像部と、前記撮像部の撮像結果に対応する２値データを格納する２値データ格納部と、前記撮像部で撮像された第１色、第２色及び第３色の前記２値データに基づいて、前記第１〜第３色の多階調データを生成する多階調データ生成部と、前記第１〜第３色の多階調データに基づいて、第４色の撮像データを合成する色合成部と、を備える。

本発明によれば、撮像に時間のかかる色で撮像を行わなくて済み、全体的な撮像時間を短縮できる。

以下、本発明に係る表示装置について、図面を参照しながら具体的に説明する。

図１は本発明に係る表示装置の全体構成を示すブロック図であり、カメラ付き携帯電話の表示装置の構成を示している。図１の表示装置は、画素TFTが列設されるLCD（Liquid Crystal Display）基板１と、LCD基板１上に実装される液晶ドライバIC（以下、LCDC）２と、ベースバンドLSI３と、カメラ４と、カメラ４の撮像データの画像処理を行う画像処理IC５と、基地局との通信を行う送受信部６と、各部への電源供給を行う電源回路７とを備えている。

ベースバンドLSI３は、CPU１１と、メインメモリ１２と、MPEG処理部１３と、DRAM１４と、図示しない音声信号処理部等を有し、携帯電話全体の制御を行う。図１では、ベースバンドLSI３とは別個に画像処理IC５と送受信部６を設けているが、これらを一つのチップにまとめてもよい。CPU１１とメインメモリ１２で一つのチップとし、他を別の一つのチップとしてもよい。

LCDC２は、制御部１５とフレームメモリ１６を有する。カメラ４は、CCD（Charge Coupled Device）やCMOSイメージ画像取込センサで実現される。

本実施形態のLCD基板１には、画像取込を行う画像取込センサが画素ごとに設けられている。LCD基板１には共通電極をITO等の透明電極により形成した対向基板を所定間隔（約5ミクロン）で配置し、これらの間に液晶材料を注入し所定の方法で封止して、さらに両基板の外側に偏光板を貼り付けて用いる。

図２はLCD基板１上に形成される回路を示すブロック図である。図示のように、LCD基板１上には、信号線及び走査線が列設される画素アレイ部２１と、信号線を駆動する信号線駆動回路２２と、走査線を駆動する走査線駆動回路２３と、画像取込を制御する画像取込センサ制御回路２４と、画像取込後の信号処理を行う信号処理出力回路２５とが形成される。これらの回路は、例えば低温ポリシリコン技術を利用したポリシリコンTFTにより形成される。信号線駆動回路２２は、デジタル画素データを表示素子の駆動に適したアナログ電圧に変換するD/A変換回路を含む。D/A変換回路は公知のものを用いる。

図３は画素アレイ部２１の１画素分の詳細回路図、図４はガラス基板上の１画素分のレイアウト図である。図４に示すように、本実施形態の画素は略正方形状である。

各画素は、図３に示すように、画素TFT３１と、補助容量Ｃsに電荷を蓄積するか否かを制御する表示制御TFT３２と、画像取込センサ３３と、画像取込センサ３３の撮像結果を格納するキャパシタＣ１と、キャパシタＣ１の蓄積電荷に応じた２値データを格納するSRAM３４と、キャパシタＣ１に初期電荷を蓄積するための初期化用TFT３５とを有する。

ここで、各画素の輝度は、補助容量Csに蓄積された電荷に基づいて決まる画素電極電位と対向基板上に形成されたコモン電極の電位との差により、これらの間に挟まれた液晶層の透過率を制御することにより、階調制御される。

図３では、各画素ごとに１個の画像取込センサ３３を設ける例を示しているが、画像取込センサ３３の数に特に制限はない。１画素当たりの画像取込センサ３３の数を増やすほど、画像取込みの解像度を向上できる。

キャパシタＣ１の初期化を行う場合は、画素TFT３１と初期化用TFT３５をオンする。表示素子の輝度を設定するためのアナログ電圧（アナログ画素電圧）を補助容量Ｃsに書き込む場合は、画素TFT３１と表示制御TFT３２をオンする。キャパシタC1の電圧のリフレッシュを行う場合は、初期化用TFT３５とSRAM３４内のデータ保持用TFT３６をともにオンする。キャパシタC1の電圧がSRAM３４の電源電圧(5V)に近い値であれば多少リークしていてもリフレッシュの結果5Vになるし、逆にキャパシタC1の電圧がSRAM３４のGND電圧(0V)に近い値であればリフレッシュの結果0Vになる。また、TFT35とTFT36とがともにオンしている限り、SRAM３４のデータ値は極めて安定に保持されつづける。TFT35とTFT36のいずれかがオフしてもキャパシタC1の電位のリークが少ないうちはSRAM３４のデータ値は保持されつづける。キャパシタC1の電位リークが多くなり、データ値が変わってしまわない前にリフレッシュを行うようにすれば、SRAM３４のデータ値を保持しつづけることができる。SRAM３４に格納された撮像データを信号線に供給する場合は、画素TFT３１とデータ保持用TFT３６をともにオンする。

本実施形態の表示装置は、通常の表示動作を行うこともできるし、スキャナと同様の画像取込みを行うこともできる。通常の表示動作を行う場合は、TFT３５、３６はオフ状態に設定され、バッファには有効なデータは格納されない。この場合、信号線には、信号線駆動回路２２からの信号線電圧が供給され、この信号線電圧に応じた表示が行われる。

一方、画像取込みを行う場合は、図５に示すようにLCD基板１の上面側に画像取込み対象物（例えば、紙面）３７を配置し、バックライト３８からの光を対向基板３９とLCD基板１を介して紙面３７に照射する。紙面３７で反射された光はLCD基板１上の画像取込センサ３３で受光され、画像取込みが行われる。ここで、撮像対象側に配置されるガラス基板及び偏光板はできるだけ薄いものが良い。名刺等を読取るためには望ましくはセンサと名刺等の紙面との間隔が0.3mm程度以下となるようにガラス基板や偏光板を薄くするのがよい。紙面はふつう拡散反射面であることが多く、照射される光をつよく拡散する。撮像対象側のガラス基板が厚いと、画像取込センサ受光部と紙面の距離が広がりその分拡散反射光が隣接画その画像取込センサに入りやすくなり取り込み画像がぼやける原因となることがあるからである。ほぼセンサ受光部と紙面の距離だけぼやける。逆に言えば、ほぼセンサ受光部と紙面の距離程度までは解像できる。

取り込んだ画像データは、図３に示すようにSRAM３４に格納された後、信号線を介して、図１に示すLCDC２に送られる。すなわち、SRAM３４はセンサの信号を2値化する（A/D変換する）働きと、センサの信号を画素から外に出力するための増幅をする働きをする。このLCDC２は、本実施形態の表示装置から出力されるデジタル信号を受けて、データの並び替えやデータ中のノイズの除去などの演算処理を行う。

図６は画像処理IC５の内部構成を示すブロック図である。図６の画像処理IC５は、カメラ４で撮像された撮像データを受け取るカメラI/F部４１と、制御部４２と、カメラ４の動作制御を行う制御I/F４３と、LCDC２からの撮像データを受け取るLCD-I/F４４と、撮像データを格納する画像処理用メモリ４５と、CPU１１との間で制御信号のやり取りを行うホストI/F４６と、撮像データの階調補正を行う階調補正部４７と、撮像データの色補正を行う色補正部４８と、欠陥画素補正部４９と、撮像データのエッジ補正を行うエッジ補正部５０と、撮像データのノイズを除去するノイズ除去部５１と、撮像データのホワイトバランスを調整するホワイトバランス補正部５２とを有する。従来の画像処理ICとの差異としては、撮像データを受け取るLCD-I/F４４を有する点が特徴的である。

LCD基板１の表示は、原則的にベースバンドLSI３からの指示及び監視の下で行われる。例えば、ベースバンドLSI３にカメラ４の撮像データが入力されると、ベースバンドLSI３はその撮像データを所定のタイミングでLCDC２に出力する。LCDC２は、ベースバンドLSI３からのカメラ４の撮像データをフレームメモリ１６に格納する。ベースバンドLSI３から供給されるカメラ４の撮像データが間欠的であっても、LCDC２は、フレームメモリ１６に格納された１画面分のカメラ４の撮像データを、所定のタイミングでLCD基板１に出力する。LCD基板１は、LCDC２からのカメラ４の撮像データをアナログ画素電圧に変換して信号線に書き込む。

図７はLCDC２の内部構成の一例を示すブロック図である。図７のLCDC２は、MPEG-IF６１と、LUT（Lookup Table）６２と、LCD-I/F６３と、撮像データを格納するラインバッファ６４と、LCDC２から供給された撮像データを保持する画像処理メモリ６５と、表示用のデジタル画素データを保持するフレームメモリ１６と、出力前演算部６６と、第１バッファ６７と、第２バッファ６８と、画像処理部６９と、ホストI/F７０と、発振器７１とを有する。

これに対して、図８は従来のLCDC２の内部構成を示すブロック図である。図示のように、従来のLCDC２は、MPEG-I/F６１と、LUT６２と、LCD-I/F６３と、フレームメモリ１６と、バッファ６７と、発振器７１とを有する。

従来は、動画像を表示する際、MPEG-IFを介して入力されたMPEGコーデック信号を、LUT６２を参照してRGBデータに変換してフレームメモリ１６に格納していた。また、テキストを表示する際は、ホストI/F４５を介してCPU１１から供給された描画コマンドをRGBデータに変換してフレームメモリ１６に格納していた。発振器７１は必要に応じて基準クロックを生成する。携帯電話の待ち受け時など、CPUが休止しているときに待ち受け画面を表示しつづけなければならない場合に該基準クロックに同期してLCDC２からLCD基板１に表示のための画素データを定常的に送りつづける。

LCDC２は、フレームメモリ１６から読み出したデジタル画像データを、例えば表示画面の第１行から順に１行ずつ必要に応じて並び替えてLCD基板１に出力する。

本実施形態のLCDC２は、図７に示すように、従来のLCDC２が持たなかった画像処理メモリ６５を備えており、LCD基板１からLCD-I/F４３を介して供給される画像取込センサ３３の撮像データを保持する。この画像取込センサ３３の撮像データは、ホストI/F４５とベースバンドLSI３を介して、画像処理IC５に供給される。

LCD基板１内の各画素は、開口率を確保しなければならないため、画像取込用の画像取込センサ３３や周辺回路を配置するスペースが限られている。開口率が小さくなると、通常表示の際の画面の表示輝度を確保するために、バックライトをより高輝度に点灯しなければならず、バックライトの消費電力が増大してしまう問題を生じるからである。できるだけ各画素の中には少ない数の画像取込センサ３３と関連回路を内蔵するに留めることが望ましい。また、画像取込センサ３３が１つでも、画像取込センサ３３によるキャパシタC1の電位の微妙な変化を精密に外部に取り出すことができれば、それにより多階調の画像取り込みが実現できるが、困難である。なぜならガラス基板上に形成されるTFTや画像取込センサ３３は同一基板上であっても動作閾値等に無視できないばらつきを有するからである。さらに画素内にばらつき補償回路を設けることも考えられるが、ばらつき補償回路自体それなりの面積を占有し開口率を損なう問題がある。したがって、多階調の画像取込を行うために、画素内に、複数の画像取込センサ３３を設けたり、複雑な補償回路を設けることをせず、撮像条件を変えながら複数回の撮像を行ってこれらのデータに基づいて多階調化のための処理やノイズ補償のための処理を行うようにした。

図９はLCDC２が行う画像取込時の処理手順を示すフローチャートである。まず、撮像条件を変えながら、Ｎ回画像取込センサ３３による画像取込を行う（ステップＳ１）。次に、（１）式に基づいて、Ｎ回の撮像データの単純平均を計算する（ステップＳ２）。ここで、L(x,y)iは、ｉ回目の座標(x,y)の階調値を示している。

…（１）
ステップＳ１及びＳ２の処理を行う際は、図１０に示すように、各回の階調値を順に加算する逐次加算を行い、Ｎ回目まで逐次加算を行った後に、Ｎで割ればよい。逐次加算の過程で既に加算済みとなった撮像データは保持しておく必要がない。

図１０のような逐次加算を行う場合、フレームメモリ１６は２回分程度の撮像データを格納できる容量があればよく、メモリ容量を削減できる。

次に、むらパターンの減算処理を行う（ステップＳ３）。次に、ホワイトバランス調整や欠陥補正などを行う（ステップＳ４）。このほか、撮像条件を少しずつ変化させながらN回撮像を行い、１からi回目は黒、それ以降64回目までは白であったなら「i階調」とする方法も可能である。

図１１は、LCD基板１上の信号線駆動回路２２、走査線駆動回路２３、画像取込センサ制御回路２４及び信号処理出力回路２５と、LCDC２と、ベースバンドLSI３との間の信号のやり取りを示す図である。

図１２はガラス基板の詳細構成を示すブロック図である。本実施形態の画素アレイ部２１は、水平方向320画素×垂直方向240画素の表示解像度を有する。バックライトを赤色、緑色及び青色で順繰りに発光させる、いわゆるフィールドシーケンシャル駆動を行うものである。フィールドシーケンシャル駆動ではバックライトの発光色は赤色、緑色及び青色のほか、白色に点灯することもある。画素はそれぞれごとに信号線及び走査線等が設けられる。信号線の総数は、320本で、走査線の総数は240本である。

走査線駆動回路２３は、240段のシフトレジスタ７１と、３選択デコーダ７２と、レベルシフタ（L/S）７３と、マルチプレクサ（MUX）７４と、バッファ７５とを有する。

信号処理出力回路２５は、320個のプリチャージ回路７６と、4選択デコーダ７７と、10段毎にデータバスが接続されたの合計80段のシフトレジスタ７８と、８個の出力バッファ７９とを有する。

図１３（ａ）は図１２の走査線駆動回路２３の内部構成を示す回路図である。図１３の走査線駆動回路２３は、240段のシフトレジスタ７１と、隣接する３本の走査線ごとに設けられる３選択デコーダ７２と、走査線ごとに設けられるレベルシフタ（L/S）７３、マルチプレクサ（MUX）７４及びバッファ（BUF）７５とを有する。

シフトレジスタ７１を構成する各レジスタは図１３（ｂ）のような回路で構成され、MUX７４は図１３（ｃ）のような回路で構成される。

３選択デコーダ７２は、制御信号Field1,Field2,Field3により、隣接する３本の走査線のうちいずれか１本を選択するため、240本の走査線を３本ごとに駆動することができる。例えば、Field[1:3]＝(H,L,L)のときは、走査線G1,G4,G7,…の順に駆動され、Field[1:3]＝(L,H,L)のときは、走査線G2,G5,G8,…の順に駆動される。

このような走査線の駆動方法を行うことにより、画面全体の平均階調（単位画素数に対する白画素数の割合）を短時間で検出できる。すなわち、走査線を３本おきに駆動して、その走査線に対応する画像取込センサ３３の撮像結果を読み出して平均階調を計算し、その計算結果に基づいて、残りの画像取込センサ３３の撮像結果を読み出すか、あるいは撮像条件を変えて撮像をやり直すかを決定するため、撮像条件がふさわしくない撮像データを無駄に取り込まなくて済む。これにより、撮像結果を最終的に表示するまでの時間を短縮できる。

MUX７４は、走査線を１ラインごとにオンするか、全走査線を同時にオンするかを切り替える。全走査線を同時にオンするのは、画像取込センサ３３の撮像結果を格納するキャパシタＣ１に同時に初期電荷を蓄積するためである。

このように、MUX７４を設けることにより、キャパシタＣ１に初期電荷を蓄積するか否かを切り替える専用のTFTが不要となり、回路規模を削減できる。

図１４は図１１の信号処理出力回路２５の内部構成を示すブロック図である。図示のように、信号処理出力回路２５は、320個の画像取込センサ３３の出力を、８本のバスにまとめてシリアル出力を行う。より具体的には、信号処理出力回路２５は、40本の信号線ごとに設けられるP/S変換回路９１及び出力バッファ９２と、同期信号発生回路９３とを有する。

図１５は図１４の同期信号発生回路９３の内部構成を示すブロック図である。図１５に示すように、同期信号発生回路９３は、NANDゲート９４と、クロック制御されるD型F/F９５とを有し、D型F/F９５の後段には出力バッファ９２が接続されている。LCD基板１上に形成されるNANDゲート等の組み合わせ回路のみでは、TFTの特性ばらつきのため、出力データに対する位相ばらつきが大きくなり、同期信号の役割を果たせないことがある。そこで図１５に示すように、絶縁基板上のクロックによって制御されるD型F/F９５を設けることにより、絶縁基板上のクロックとの位相差を小さくするのが望ましい。また出力振幅を外部のLSIのインタフェース電圧に変換するためのレベル変換回路を設けてもよい。

図１６は図１４のP/S変換回路９１の詳細構成を示すブロック図である。図１６に示すように、P/S変換回路９１は、4入力１出力のデコーダ９６と、ラッチ９７と、10段のシフトレジスタ９８とを有する。デコーダ９６は、図１７のような回路で構成される。ラッチ９７は、図１８のような回路で構成される。シフトレジスタ９８の制御に用いるクロックは図１５のD型F/Fの制御に用いるクロックと共通化とすることによって、データと同期信号との位相差を小さくすることができる。また出力振幅を外部のLSIのインタフェース電圧に変換するためのレベル変換回路を設けることができる。

図１９は出力バッファ９２の詳細構成を示すブロック図である。図示のように、複数のバッファ（インバータ）９３を縦続接続して構成される。後段のものほど、各インバータを構成するTFTのチャネル幅を大きくして必要な外部負荷（フレキシブルケーブル（FPC）等）駆動力を確保する。

図２０は本実施形態の表示装置の動作を説明する図、図２１は通常表示時のタイミング図、図２２は画像取込センサ３３のプリチャージ及び撮像時のタイミング図、図２３は画像取込センサ３３の撮像データ出力時のタイミング図である。

通常の表示を行う場合には、図２０のモードｍ１の動作を行う。一方、画像取込センサ３３による画像取込を行う場合は、まずモードｍ１の動作を行い、全画素の輝度を所定値（液晶透過率が最も高くなるようにする）に設定する。この場合、図２１に示すように、まず、走査線G1,G4,G7,…を駆動して画面の1/3の表示を行った後、走査線G2,G5,G8,…を駆動して画面の残り1/3の表示を行い、最後に、走査線G3,G6,G9,…を駆動して画面の最後の1/3の表示を行う。そしてバックライトを特定の色で点灯する。本実施形態ではまず白色を点灯する。

次に、モードｍ２で、全画素のキャパシタＣ１をプリチャージ（初期電荷の蓄積）した後、撮像を行う。このとき、図２２に示すように、走査線駆動回路２３が全走査線を駆動している間に、全画素のキャパシタＣ１に５Ｖを書き込む。全画素のキャパシタC1のプリチャージを同時に行うようにしたため、プリチャージに要する時間を短くできる。

次に、モードｍ３で、一部の撮像データ（全画面の12分の1）の出力を行う。具体的には、走査線駆動回路２３のシフトパルスに基づいて所定の走査線をオンすることにより、当該行に属するSRAM３４に保持されたデータが信号線に書き込まれる。この場合、図２３に示すように、まず、走査線G1,G4,G7,…に接続された画素内の画像取込センサ３３の撮像データが信号線に出力される。残りの撮像データ（全画面の12分の11）すなわち、走査線G1,G4,G7,…に接続された画素内の画像取込センサ３３の撮像データがのうちまだラッチ９７に保持されているだけで出力されずにいるデータの出力、走査線G2,G5,G8,…に接続された画素内の画像取込センサ３３の撮像データの信号線への出力、及び走査線G3,G6,G9,…に接続された画素内の画像取込センサ３３の撮像データの信号線への出力はモードｍ４で行う（モードｍ３ではこれらは行わない）。

信号線上に出力された撮像データは、図１６のP/S変換回路９１内のラッチ回路９７に保持される。HSW[3:0]を(1,0,0,0)とすることにより、４つのラッチ回路９７のうちいずれか一つのデータがシフトレジスタに書き込まれる。シフトレジスタ列をクロック(HCK)駆動することにより順に出力される。

まず最初は、1,4,…,238行のデータのうち、1,5,9,…列のデータの出力が出力される。これは、全画素データの1/12に相当する。ここまでのデータに基づいて平均階調Ｌmeanを計算する。この動作の際には、LCDC２側では平均階調Lmeanをカウントする。LCDC２のLCD-I/F部４４には、不図示のカウンタと、平均階調及び平均階調の増分の判定基準値を格納するメモリと、平均階調の増分を計算する論理回路と、平均階調の増分を判定基準値との比較を行う比較器とが設けられる。

全画素データの1/12の平均階調が飽和していないか否かを判定し（ステップＳ１１）、飽和している場合は、データ出力を中止して、画像処理に移行する（モードｍ５）。

次に、平均階調が小さすぎないか否かを判定し（ステップＳ１２）、小さすぎる場合には、次の撮像時間をT+2×ΔTと長めにしてモードｍ２以降の処理を繰返す。小さすぎない場合には、平均階調が大きすぎないか否かを判定し（ステップＳ１３）、大きすぎる場合には、次の撮像時間をT＋0.5×ΔTと短めにしてモードｍ２以降の処理を繰り返す。大きすぎない場合には、モードm4により、残り１２分の１１のデータ出力を継続して行う。

以上のモードm1からモードm4の動作を、平均階調が飽和してしまうまで繰り返す。

モードm5では、こうして得られた撮像データを平均化処理することにより、白色成分の階調情報を合成することができる。

同様に、モードm5では、緑色成分の合成と、青色成分の合成とを行う。白色、緑、青は、バックライト（LED）の発光色を白にするか、緑にするか、青にするかで切り替える。白色を点灯するためには、白色LEDを用いることもできるし、赤色・緑色・青色の3種類のLEDを同時に点灯することにより全体として白色となるようにしてもよい。

ここでは、バックライトを赤色点灯した状態では撮像は略することができる。合成された白色成分から、合成された青成分及び緑成分を減算することにより、赤成分を合成できる。画像取込センサ３３の光電流は波長分散を有し、赤色の光を検出するには撮像時間を長くする必要がある場合に、全体の撮像時間が長くなってしまう問題を防ぐことができる。。

上述した手法により、RGBの各色の階調情報が求まった場合には、これら各色の合成結果を重ね合わせることにより、カラー撮像画面を合成できる。このカラー撮像画面はLCDC２の画像メモリ上に格納され、ベースバンドLSI３を経由して画像処理IC５に送られる。そして、汎用的な画像処理（階調補正、色補正、欠陥画素補正、エッジ補正、ノイズ除去、ホワイトバランス補正など）が行われ、再度LCDC２の表示用のフレームメモリ１６に所定の手順で格納され、LCDC２からLCDに所定のフォーマットで出力することにより、LCDに表示することができる。

図２４はLCDC２の処理動作を示すフローチャートである。図２０で説明した表示装置全体の動作のうち、撮像の際にLCDC2が具体的に行う処理動作を抜き出したものである。LCDC２は、撮像時間T=T+ΔTで撮像するよう画像取込センサ３３に対して指示する（ステップＳ２１）。次に、画像取込センサ３３の撮像データのうち、水平方向は信号線のｍ本ごとに、垂直方向は走査線のｎ本ごとに、画像取込センサ３３の撮像データを取り込む（ステップＳ２２）。これにより、全画素のＭ（＝ｍ×ｎ）分の１個の撮像データを取り込み、撮像データの平均階調Lmeanを計算する。（上述の実施形態においては、m=4、n=3の例を説明したが、m,nはこれらに限定されない）
次に、平均階調Lmeanが所定の基準値（例えば、"64"）以下か否かを判定する（ステップＳ２３）。基準値以下の場合には、直前の撮像データの平均階調Lmean0との差異が所定の基準値ΔH0以上か否かを判定する（ステップＳ２４）。

差異が基準値以上であれば、差異が所定の基準値ΔH1以下か否かを判定する（ステップＳ２５）。差異が基準値ΔH1以下であれば、残りの画像取込センサ３３の撮像データを順に取り込み、画像処理メモリ６５に格納されている各画素の撮像データに加算する（ステップＳ２６）。次に、通算の撮像回数Ａを"1"カウントアップした（ステップＳ２７）後、ステップＳ２１以降の処理を繰り返す。

一方、ステップＳ２４で差異が基準値ΔH0未満と判定された場合、またはステップＳ２５で差異が基準値ΔH1より大きいと判定された場合には、ステップＳ２１に戻る。

また、ステップＳ２３で平均階調Lmeanが64より大きいと判定された場合は、座標(x,y)の画素の階調値L(x,y)を（２）式に基づいて求める。

L(x,y)＝L(x,y)／Ａ …（２）
このように、本実施形態では、画像取込センサ３３からの撮像データを２値データの状態でLCD基板１からLCDC２に供給し、LCDC２は複数の撮像条件での各２値データに基づいて画像処理を行って多階調の撮像データを生成して画像処理IC５に供給し、画像処理IC５にて階調補正や色補正等の汎用的な画像処理を行う。すなわち、画像取込センサ３３からの撮像データの画像処理をLCDC２ですべて行うのではなく、画像処理の一部については、カメラ４からの撮像データに対して画像処理を行う画像処理IC５で行うため、LCDC２の構成を簡略化できる。また、本実施形態によれば、携帯電話内で同様の処理を行うICチップを複数設けなくて済み、チップ面積の削減と携帯電話機全体のコストダウンが図れる。

また、本実施形態では、撮像に長い時間を要する赤色で撮像する代わりに、白、緑及び青の撮像結果から赤色成分を色合成するようにしたため、全体的な撮像時間を短縮でき、撮像してから撮像結果が表示されるまでの時間を短縮できる。

さらに、本実施形態では、一部の走査線及び信号線に接続された画素内の画像取込センサ３３の撮像結果に基づいて平均階調を求めるため、平均階調を短時間で計算でき、平均階調の計算に適していない撮像条件時にすべての画像取込センサ３３の撮像結果を出力するという無駄な処理を行わなくて済む。これにより、平均階調を精度よく短時間で計算できる。

本実施形態は、フィールドシーケンシャル駆動を行うLCDを例に説明したが、1画素を3個の副画素に分割しR/G/Bカラーフィルタを設けて表示を行う一般的に知られたLCDにも同様に適用できる。また、各画素にLEDを備える有機EL表示装置でも同様に適用できる。また、携帯電話に限らず、PDA（パーソナルデータアシスタント）やモバイルPCなどのカメラ付携帯情報端末等でも同様に適用できる。

本実施形態では、「白色、緑色、青色」の３つの合成結果から「赤色、緑色、青色」の最終的な結果を得たが、種々変形が可能である。「シアン、マゼンタ、イエロー」の３つの合成結果から「赤色、緑色、青色」の最終的な結果を得ることもできる。バックライトのLEDにシアン、マゼンタ、イエローを用いても良いし、「赤と緑を点灯、緑と青を点灯、青と赤を点灯」することによって行っても良い。撮像時間を短縮する効果がある。

平均階調を計算するためには、LCD基板上にカウンタを設けてデータバスを利用して出力してもよいし、LCDC側で撮像データを受信する際にカウントしてもよい。また、平均階調を計算するための少量の撮像データのサンプリング方法は種々変形が可能である。

（第２の実施形態）
第２の実施形態も、バックライトを赤色、緑色及び青色で順繰りに発光させる、いわゆるフィールドシーケンシャル駆動を行うものである。この場合、観察者には、多色表示を行っているように視認される。

第２の実施形態の１画素分の構造は、図３と同様である。図３に示すように、１画素には１個の画像取込センサ３３しかなく、開口率が十分に確保される。このため、図２５のレイアウト図からわかるように、画像取込センサ３３の形成位置の周囲には十分は空き領域があり、画像取込センサ３３を１画素内で上下左右にずらすことができる。

この点に着目し、本実施形態では、図２６に示すように、水平方向に配置された各画素内の画像取込センサ３３を千鳥状に配置している。すなわち、隣接画素の画像取込センサ３３の形成位置を互いにずらしている。これにより、図２６の点線で示す位置（仮想画像取込センサ３３位置）に、実際には画像取込センサ３３が配置されていなくても、その位置の撮像データを、周囲４画素の画像取込センサ３３の撮像データから計算により求めることができる。

図２７はLCDC２の第２の実施形態の内部構成を示すブロック図である。図７と比較して、図２７のLCDC２は３ラインバッファ６４ａを有する。３ラインバッファ６４ａには、隣接する３ライン分の画像取込センサ３３の撮像データが格納される。例えば、ｎラインの現実の撮像データと仮想の撮像データを出力する場合について図２８を用いて説明する。３ラインバッファ６４ａに、(n-1)ライン、ｎライン及び(n+1)ラインの画像取込センサ３３の撮像データが格納されているとする。この場合、出力前演算部６６は、図２８に示すように、ｎラインの仮想画像取込センサ３３の撮像データを、現実のｎラインの画像取込センサの撮像データと(n-1)ラインと(n+1)ラインの画像取込センサ３３の撮像データから平均化処理により計算し、その計算結果をバッファ６８に格納する。具体的には、仮想画像取込センサを取り囲む上下左右4画素のデータの平均値をもって、仮想画像取込センサの値とする。バッファ６８の内部で並び換えられた撮像データは、ホストI/F７０を介してベースバンドLSI３に供給される。ベースバンドLSI３は、撮像データを画像処理IC５に供給して、画像処理IC５の内部で各種の画像処理を行う。

画像処理IC５は、実際の画像取込センサ３３からの撮像データと仮想画像取込センサ３３からの撮像データとを区別できないため、両方の撮像データを区別することなく画像処理を行う。このため、本実施形態によれば、見かけ上、画像取込センサ３３の数を行方向及び列方向に各々倍に増やしたのと同様の効果が得られる。したがって、第１の実施形態よりも、画像取込の解像度を２倍に上げることができる。表示画面を用いてユーザーの指紋を読取り、それを携帯電話機の通信手段を利用して遠方のホストコンピュータに転送し、オンラインバンキングの可否を判断（認証）させるような場合に、撮像画像が高解像度となり、認証の精度を高めることができる。

また、LCDCのデータ出力部に仮想画像取込センサの値の演算部を設けたため、LCDCの画像処理メモリをいたずらに増大させる必要がない。

画素内の画像取込センサの配置は千鳥としたが種々変形は可能である。ひとつの行又は列に渡り、画像取込センサの受光部が単一の直線上に単純に繰返し配置しないことが特徴である。2以上の直線に交互に配置するようにするとよい。仮想画像の演算方法は種々変形が可能である。周囲画素の周波数成分を考慮した演算など考えられる。

上述した各実施形態では、本発明を液晶表示装置に適用した例について主に説明したが、本発明は画像取込機能をもつすべての種類の平面表示装置に適用可能である。

（第3の実施形態）
第3の実施形態はシステム構成に関する。図２９に従来の構成のブロック図を示す。LCDC２からCPU１１、またはLCDC２からカメラ４の画像処理IC５へ信号が送信されることはない。カメラ４の撮像画像は画像処理IC５により所定の画像処理を受け、画像データを所定の形式（Yuvフォーマット等）でCPU１１に送信される。CPU１１は所定のタイミングで前記画像データをLCDC２に送信する。LCDC２はCPU１１から送信される前記画像データをいったんフレームメモリに蓄えるなどして所定のタイミングでLCDにデジタル画素データを送信する。LCDはデジタル画素データをもとに表示を行う。

本実施形態のシステム構成を図３０に示す。LCDC２がCPU１１との双方向インタフェースを有している点が特徴の一つである。撮像データはいったんLCDC２のメモリに蓄えられ、CPU１１からの指示に基づいてCPU１１バスを介して画像処理IC５に送信され汎用的な画像処理を受ける。LCDC２からの出力形式を画像処理IC５のインタフェースに整合させることにより一般的な画像処理IC５を用いることができる。この場合は、ホスト-I/FをもってLCD-I/Fにかえることができる。そうすると専用の画像処理IC５を用いる必要がないため低コストにできる。LCDC２、画像処理IC５、及びLCD１は、第1の実施形態、第2の実施形態と同様であるため、説明を省略する。

（第4の実施形態）
第4の実施形態はシステム構成に関する。本発明のシステム構成を図３１に示す。LCDC２が画像処理IC５との間に専用のインタフェースを有している点が特徴の一つである。撮像データはいったんLCDC２のメモリに蓄えられ、「画像処理IC５からの要求」もしくは「CPU１１からの指示」に基づいて画像処理IC５に直接送信され汎用的な画像処理を受ける。画像処理IC５に撮像データを送信する際にCPU１１バスを占有しないのでCPU１１に大きな負荷をかけなくてすむ。LCDC２、画像処理IC５及びLCD１は、第1の実施形態、第2の実施形態、第3の実施形態と同様であるため、説明を省略する。

本発明に係る表示装置の全体構成を示すブロック図。 LCD基板１上に形成される回路を示すブロック図。画素アレイ部２１の１画素分の詳細回路図。ガラス基板上の１画素分のレイアウト図。画像取込の方法を説明する図。画像処理IC５の内部構成を示すブロック図。 LCDC２の内部構成の一例を示すブロック図。従来のLCDC２の内部構成を示すブロック図。 LCDC２が行う画像取込時の処理手順を示すフローチャート。逐次加算方法を説明する図。 LCD基板１上の信号線駆動回路２２、走査線駆動回路２３、センサ制御回路２４及び信号処理出力回路２５と、LCDC２と、ベースバンドLSI３との間の信号のやり取りを示す図。ガラス基板の詳細構成を示すブロック図。図１２の走査線駆動回路２３の内部構成を示す回路図。図１１の信号処理出力回路２５の内部構成を示すブロック図。図１４の同期信号発生回路９３の内部構成を示すブロック図。図１４のP/S変換回路９１の詳細構成を示すブロック図。デコーダの内部構成を示す回路図。ラッチの内部構成を示す回路図。出力バッファ９２の詳細構成を示すブロック図。本実施形態の表示装置の動作を説明する図。通常表示時のタイミング図。センサ３３のプリチャージ及び撮像時のタイミング図。センサ３３の撮像データ出力時のタイミング図。 LCDC２の処理動作を示すフローチャート。１画素のレイアウト図。センサを千鳥状に配置したレイアウト図。 LCDC２の第２の実施形態の内部構成を示すブロック図。 LCDCの処理動作を説明する図。従来のシステム構成図。本発明の第３の実施形態に係る表示装置のシステム構成図。本発明の第４の実施形態に係る表示装置のシステム構成図。

符号の説明

１ LCD基板
２液晶ドライバIC
３ベースバンドLSI
４カメラ
５画像処理IC
６送受信部
７電源回路
１１ CPU
１２メインメモリ
１３ MPEG処理部
１４ DRAM
１５制御部
１６フレームメモリ
２１画素アレイ部
２２信号線駆動回路
２３走査線駆動回路
２４センサ制御回路
２５信号処理出力回路
３１画素TFT
３２制御TFT
３３画像取込センサ
３４ SRAM
３５初期化TFT

Claims

縦横に列設される信号線及び走査線の各交点付近に形成される画素内の表示素子と、
前記表示素子のそれぞれに対応して前記画素内に少なくとも一個ずつ設けられ、それぞれが所定範囲の撮像を行う撮像部と、
前記撮像部の撮像結果を２値化した２値データを格納する２値データ格納部と、
行方向もしくは列方向の少なくとも1方向で互いに隣接しない複数の画素の前記２値データを先に前記信号線に出力するように構成されたアレイ基板を有することを特徴とする表示装置。