KR20040088372A

KR20040088372A - 표시 장치

Info

Publication number: KR20040088372A
Application number: KR1020040022178A
Authority: KR
Inventors: 나까무라다까시; 하야시히로따까
Original assignee: 도시바 마쯔시따 디스플레이 테크놀로지 컴퍼니, 리미티드
Priority date: 2003-03-31
Filing date: 2004-03-31
Publication date: 2004-10-16
Also published as: CN1312512C; US7450105B2; CN1534340A; US20040189566A1; KR100603874B1; TWI278817B; TW200506796A

Abstract

본 발명에 따른 표시 장치는, 매트릭스 형상으로 배치되는 신호선 및 주사선의 각 교점 부근에 형성되는 표시 소자와, 상기 표시 소자의 각각에 대응하여 적어도 한 개씩 형성되는 촬상부와, 상기 표시 소자와, 상기 촬상부와, 상기 촬상부에서 촬상된 화상에 대응하는 2치 데이터를 저장하는 2치 데이터 저장부를 갖는 화소 어레이부와, 복수의 촬영 조건으로 상기 촬상부에서 촬상된 복수의 상기 2치 데이터에 기초하여, 다계조 데이터를 생성하는 제1 화상 처리부와, 상기 촬상 장치로 촬상된 촬상 데이터와, 상기 제1 화상 처리부에서 생성된 다계조 데이터를 택일적으로 수신하여, 소정의 화상 처리를 행하는 제2 화상 처리부를 구비한다.

Description

표시 장치{DISPLAY DEVICE}

<관련 출원들에 대한 상호 참조>

본 출원 발명은 35USC119에 따라 2003년 3월 31일자 출원된 일본 특허 출원 제2003-96373호, 제2003-96432호 및 제2003-96519호의 우선권을 주장하며, 그 내용은 본 명세서에 참조로 포함된다.

본 발명은 화상 취득 기능을 구비한 표시 장치에 관한 것이다.

액정 표시 장치는 신호선, 주사선 및 화소 TFT가 배열된 어레이 기판과, 신호선 및 주사선을 구동하는 구동 회로를 구비하고 있다. 최근의 집적 회로 기술의 진보 발전에 의해, 구동 회로의 일부를 어레이 기판 위에 형성하는 프로세스 기술이 실용화되어 있다. 이에 의해, 액정 표시 장치 전체를 경박단소화할 수 있어, 휴대 전화나 노트형 컴퓨터 등의 각종 휴대 기기의 표시 장치로서 폭넓게 이용되고 있다.

그런데, 어레이 기판 위에, 화상 취득을 행하는 밀착형 에리어 센서를 배치한 화상 취득 기능을 구비한 표시 장치가 제안되어 있다(예를 들면, 일본 특개2001-292276호 공보 및 일본 특개2001-339640호 공보를 참조).

이러한 종류의 화상 취득 기능을 구비한 종래의 표시 장치는, 센서에 접속된 캐패시터의 전하량을 센서에서의 수광량에 따라 변화시키도록 하여, 캐패시터의 양단 전압을 검출함으로써, 화상 취득을 행하고 있다.

그러나, 액정 표시 장치는 배면에 배치되는 백 라이트 광원의 빛을 액정 화소가 투과시킬지의 여부를 제어하여 임의의 표시를 행하고 있다. 이 때, 화소 내에 많은 광전 변환 소자나 회로를 집적하면, 충분한 개구율을 확보할 수 없어, 필요한 표시 휘도를 확보할 수 없는 우려가 있다.

백 라이트의 휘도를 높이는 방법도 생각되지만, 소비 전력이 증대한다고 하는 다른 문제가 발생한다. 표시 장치에서는, 화소 내에 1비트의 광전 변환 소자 및 회로를 형성하는 것이 고작이다. 이 때문에, 디지털 카메라 등으로 이용되는CMOS 이미지 센서나 CCD 등과 달리, 표시 장치로부터 직접 출력되는 촬상 데이터는 1bit뿐이다. 이것을 다계조화하기 위해서는, 노광 시간 등의 촬상 조건을 변화시키면서 다수회의 촬상을 반복하여 외부에서 가산·평균화 처리를 행하는 특유의 처리가 필요하게 된다. 또한, 다계조화 후에, 통상 디지털 카메라 등에서 행해지는 계조 보정, 결함 보정 등의 일반적인 화상 처리를 행할 필요가 있다.

이를 행하기 위해서 전용의 화상 처리 IC를 설치하는 것도 고려되지만, 그 만큼 비용 상승의 문제가 발생한다.

본 발명은 이러한 점을 감안하여 이루어진 것으로, 그 목적은 화소 내에서 화상 취득을 행하여 얻어진 화상의 화상 처리를 간이한 구성 및 수순으로 행할 수 있는 표시 장치를 제공하는 것에 있다.

도 1은 본 발명에 따른 표시 장치의 전체 구성을 나타내는 블록도.

도 2는 LCD 기판(1) 상에 형성되는 회로를 나타내는 블록도.

도 3은 화소 어레이부(21)의 1화소분의 상세 회로도.

도 4는 유리 기판 위의 1화소분의 레이아웃도.

도 5는 화상 취득의 방법을 설명하는 도면.

도 6은 화상 처리 IC(5)의 내부 구성을 나타내는 블록도.

도 7은 LCDC(2)의 내부 구성의 일례를 나타내는 블록도.

도 8은 종래의 LCDC(2)의 내부 구성을 나타내는 블록도.

도 9는 LCDC(2)가 행하는 화상 취득 시의 처리 수순을 설명하는 흐름도.

도 10은 순차 가산 방법을 설명하는 도면.

도 11은 LCD 기판(1) 상의 신호선 구동 회로(22), 주사선 구동 회로(23), 센서 제어 회로(24) 및 신호 처리 출력 회로(25)와, LCDC(2)와, 기저 대역 LSI(3)와의 사이의 신호의 교환을 나타내는 도면.

도 12는 유리 기판의 상세 구성을 나타내는 블록도.

도 13은 도 12의 주사선 구동 회로(23)의 내부 구성을 나타내는 회로도.

도 14는 도 11의 신호 처리 출력 회로(25)의 내부 구성을 나타내는 블록도.

도 15는 도 14의 동기 신호 발생 회로(93)의 내부 구성을 나타내는 블록도.

도 16은 도 14의 P/S 변환 회로(91)의 상세 구성을 나타내는 블록도.

도 17은 디코더의 내부 구성을 나타내는 회로도.

도 18은 래치의 내부 구성을 나타내는 회로도.

도 19는 출력 버퍼(92)의 상세 구성을 나타내는 블록도.

도 20은 본 실시예의 표시 장치의 동작을 설명하는 도면.

도 21은 통상 표시 시의 타이밍도.

도 22는 센서(33)의 프리차지 및 촬상 시의 타이밍도.

도 23은 센서(33)의 촬상 데이터 출력 시의 타이밍도.

도 24는 LCDC(2)의 처리 동작을 도시하는 플로우차트.

도 25는 1화소의 레이아웃도.

도 26은 센서를 지그재그 형상으로 배치한 레이아웃도.

도 27은 LCDC(2)의 제2 실시예의 내부 구성을 나타내는 블록도.

도 28은 LCDC의 처리 동작을 설명하는 도면.

도 29는 종래의 시스템 구성도.

도 30은 본 발명의 제3 실시예에 따른 표시 장치의 시스템 구성도.

도 31은 본 발명의 제4 실시예에 따른 표시 장치의 시스템 구성도.

〈도면의 주요 부분에 대한 부호의 설명〉

1 : LCD 기판

2 : LCDC

3 : 기저 대역 LSI

4 : 카메라

5 : 화상 처리

6 : 송수신부

7 : 전원 회로

11 : CPU

12 : 메인 메모리

13 : MPEG

14 : DRAM

15 : 제어부

16 : 프레임 메모리

본 발명의 일 실시예에 따른 표시 장치는, 매트릭스 형상으로 배치되는 신호선 및 주사선의 각 교점 부근에 형성되는 표시 소자와, 촬상부와, 상기 표시 소자와, 상기 촬상부와, 상기 촬상부에서 촬상된 화상에 대응하는 2치 데이터를 출력하는 출력부를 갖는 화소 어레이부와, 복수의 촬영 조건으로 상기 촬상부에서 촬상된 복수의 상기 2치 데이터에 기초하여, 다계조 데이터를 생성하는 제1 화상 처리부와, 상기 촬상 장치로 촬상된 촬상 데이터와, 상기 제1 화상 처리부에서 생성된 다계조 데이터를 택일적으로 수신하여, 소정의 화상 처리를 행하는 제2 화상 처리부를 구비한다.

또한, 본 발명의 일 실시예에 따른 표시 장치는, 매트릭스 형상으로 배치되는 신호선 및 주사선의 각 교점 부근에 형성되는 화소 내의 표시 소자와, 상기 표시 소자의 각각에 대응하여 적어도 한 개씩 설치되고, 각각이 소정 범위의 촬상을 행하는 촬상부와, 상기 촬상부의 촬상 결과에 대응하는 2치 데이터를 저장하는 2치 데이터 저장부와, 상호 인접하지 않는 일부의 주사선에 접속된 각 화소의 상기 2치 데이터에 기초하여, 표시 화면 전체의 평균 계조를 추측하는 평균 계조 추측부를 구비한다.

또한, 본 발명의 일 실시예에 따른 표시 장치는, 매트릭스 형상으로 배치되는 신호선 및 주사선의 각 교점 부근에 형성되는 화소 내의 표시 소자와, 상기 표시 소자의 각각에 대응하여 적어도 한 개씩 설치되고, 각각이 소정 범위의 촬상을 행하는 촬상부와, 상기 촬상부의 촬상 결과에 대응하는 2치 데이터를 저장하는 2치 데이터 저장부와, 상기 촬상부에서 촬상된 제1 색, 제2 색 및 제3 색의 상기 2치 데이터에 기초하여, 상기 제1∼제3 색의 다계조 데이터를 생성하는 다계조 데이터 생성부와, 상기 제1∼제3 색의 다계조 데이터에 기초하여, 제4 색의 촬상 데이터를 합성하는 색 합성부를 구비한다.

또한, 표시 장치는 표시 소자와 2치 촬상 데이터를 출력하는 수단을 포함하는 어레이 기판과, CPU와의 쌍방향 버스를 갖는 화상 처리부와, CPU와의 쌍방향 버스를 갖는 LCDC를 구비한다.

또한, 표시 장치는 표시 소자와 2치 촬상 데이터를 출력하는 수단을 포함하는 어레이 기판과, CPU와의 쌍방향 버스 및 LCDC와의 쌍방향 버스를 갖는 화상 처리부를 구비한다.

또한, 표시 장치는 표시 소자와 2치 촬상 데이터를 출력하는 수단을 포함하는 어레이 기판과, 1칩화된 화상 처리부와 LCDC를 구비한다.

〈실시예〉

이하, 본 발명에 따른 표시 장치에 대하여, 도면을 참조하여 구체적으로 설명한다.

도 1은 본 발명에 따른 표시 장치의 전체 구성을 나타내는 블록도로서, 카메라가 부착된 휴대 전화의 표시 장치의 구성을 나타내고 있다. 도 1의 표시 장치는, 화소 TFT가 배치되는 LCD(Liquid Crystal Display) 기판(1)과, LCD 기판(1) 상에 실장되는 액정 드라이버 IC(이하, LCDC)(2)와, 기저 대역 LSI(3)와, 카메라(4)와, 카메라(4)의 촬상 데이터의 화상 처리를 행하는 화상 처리 IC(5)와, 기지국과의 통신을 행하는 송수신부(6)와, 각부에의 전원 공급을 행하는 전원 회로(7)를 구비하고 있다.

기저 대역 LSI(3)는 CPU(11)와, 메인 메모리(12)와, MPEG 처리부(13)와, DRAM(14)과, 도시하지 않는 음성 신호 처리부 등을 갖고, 휴대 전화 전체의 제어를 행한다. 도 1에서는, 기저 대역 LSI(3)와는 별개로 화상 처리 IC(5)와 송수신부(6)를 설치하고 있지만, 이들을 하나의 칩부에 통합해도 된다. CPU(11)와 메인 메모리(12)를 하나의 칩으로 하고, 그 나머지를 다른 하나의 칩으로 해도 된다.

LCDC(2)는 제어부(15)와 프레임 메모리(16)를 포함한다. 카메라(4)는 CCD(Charge Coupled Device)나 CMOS 이미지 화상 취득 센서로 실현된다.

본 실시예의 LCD 기판(1)에는, 화상 취득을 행하는 화상 취득 센서가 화소마다 설치되어 있다. LCD 기판(1)에는 공통 전극을 ITO 등의 투명 전극에 의해 형성한 대향 기판을 소정 간격(약 5㎛)으로 배치하여, 이들 사이에 액정 재료를 주입하여 소정의 방법으로 밀봉하고, 또한 양 기판의 외측에 편광판을 접착하여 이용한다.

도 2는 LCD 기판(1) 상에 형성되는 회로를 나타내는 블록도이다. 도 2에 도시한 바와 같이, LCD 기판(1) 상에는 신호선 및 주사선이 배치되는 화소 어레이부(21)와, 신호선을 구동하는 신호선 구동 회로(22)와, 주사선을 구동하는 주사선 구동 회로(23)와, 화상 취득을 제어하는 화상 취득 센서 제어 회로(24)와, 화상 취득 후의 신호 처리를 행하는 신호 처리 출력 회로(25)가 형성된다. 이들 회로는, 예를 들면 저온 폴리실리콘 기술을 이용한 폴리실리콘 TFT에 의해 형성된다. 신호선 구동 회로(22)는 디지털 화소 데이터를 표시 소자의 구동에 적합한 아날로그 전압으로 변환하는 D/A 변환 회로를 포함한다. D/A 변환 회로는 공지의 것을 이용한다.

도 3은 화소 어레이부(21)의 1화소분의 상세 회로도, 도 4는 유리 기판 위의 1화소분의 레이아웃 도면이다. 도 4에 도시한 바와 같이, 본 실시예의 화소는 대략 정방 형상이다.

각 화소는, 도 3에 도시한 바와 같이, 화소 TFT(31)와, 보조 용량 Cs에 전하를 축적할 것인지의 여부를 제어하는 표시 제어 TFT(32)와, 화상 취득 센서(33)와, 화상 취득 센서(33)의 촬상 결과를 저장하는 캐패시터 C1과, 캐패시터 C1의 축적전하에 따른 2치 데이터를 저장하는 SRAM(34)과, 캐패시터 C1에 초기 전하를 축적하기 위한 초기화용 TFT(35)를 갖는다.

여기서, 각 화소의 휘도는 보조 용량 Cs에 축적된 전하에 기초하여 결정되는 화소 전극 전위와 대향 기판 위에 형성된 공통 전극의 전위와의 차에 의해, 이들 사이에 끼워진 액정층의 투과율을 제어함으로써, 계조 제어된다.

도 3에서는 각 화소마다 1개의 화상 취득 센서(33)를 설치하는 예를 나타내고 있지만, 화상 취득 센서(33)의 수에 특별히 제한은 없다. 1화소당 화상 취득 센서(33)의 수를 늘릴수록, 화상 취득의 해상도를 향상시킬 수 있다.

캐패시터 C1의 초기화를 행하는 경우에는, 화소 TFT(31)와 초기화용 TFT(35)를 온 상태로 한다. 표시 소자의 휘도를 설정하기 위한 아날로그 전압(아날로그 화소 전압)을 보조 용량 Cs에 기입하는 경우에는, 화소 TFT(31)와 표시 제어 TFT(32)를 온 상태로 한다. 캐패시터 C1의 전압의 리프레시를 행하는 경우에는, 초기화용 TFT(35)와 SRAM(34) 내의 데이터 유지용 TFT(36)를 모두 온 상태로 한다. 캐패시터 C1의 전압이 SRAM(34)의 전원 전압(5V)에 가까운 값이면 다소 누설되어 있어도 리프레시 결과 5V가 되고, 반대로 캐패시터 C1의 전압이 SRAM(34)의 GND 전압(0V)에 가까운 값이면 리프레시 결과 0V가 된다. 또한, TFT(35)와 TFT(36)가 모두 온 상태로 되어 있는 한, SRAM(34)의 데이터값은 매우 안정적으로 계속 유지된다. TFT(35)와 TFT(36) 중 어느 하나가 오프해도 캐패시터 C1의 전위의 누설이 적은 동안에는 SRAM(34)의 데이터값은 계속 유지된다. 캐패시터 C1의 전위 누설이 많아져, 데이터값이 변하지 않기 전에 리프레시를 행하도록 하면, SRAM(34)의 데이터값을 계속 유지할 수 있다. SRAM(34)에 저장된 촬상 데이터를 신호선에 공급하는 경우에는, 화소 TFT(31)와 데이터 유지용 TFT(36)를 모두 온 상태로 한다.

본 실시예의 표시 장치는, 통상의 표시 동작을 행할 수도 있고, 스캐너와 마찬가지의 화상 취득을 행할 수도 있다. 통상의 표시 동작을 행하는 경우에는 TFT(35, 36)는 오프 상태로 설정되어, 버퍼에는 유효한 데이터는 저장되지 않는다. 이 경우, 신호선에는 신호선 구동 회로(22)로부터의 신호선 전압이 공급되어, 이 신호선 전압에 따른 표시가 행해진다.

한편, 화상 취득을 행하는 경우에는, 도 5에 도시한 바와 같이 LCD 기판(1)의 상면측에 화상 취득 대상물(예를 들면, 지면)(37)을 배치하고, 백 라이트(38)로부터의 빛을 대향 기판(39)과 LCD 기판(1)을 개재하여 지면(37)에 조사한다. 지면(37)에서 반사된 광은 LCD 기판(1) 상의 화상 취득 센서(33)로 수광되어, 화상 취득이 행해진다. 여기서, 촬상 대상측에 배치되는 유리 기판 및 편광판은 가능한 한 얇은 것이 좋다. 명함 등을 판독하기 위해서는, 바람직하게는 센서와 명함 등의 지면과의 간격이 0.3㎜ 정도 이하가 되도록 유리 기판이나 편광판을 얇게 하는 것이 좋다. 지면은 보통 확산 반사면인 것이 많아, 조사되는 빛을 강하게 확산한다. 촬상 대상측의 유리 기판이 두꺼우면, 화상 취득 센서 수광부와 지면의 거리가 넓어져 그 만큼 확산 반사광이 인접 화소의 화상 취득 센서에 들어가기 쉬워져 취득 화상이 희미해지는 원인이 되는 경우가 있기 때문이다. 거의 센서 수광부와 지면의 거리만큼 희미해진다. 반대로 말하면, 거의 센서 수광부와 지면의 거리 정도까지는 해상할 수 있다.

취득한 화상 데이터는, 도 3에 도시한 바와 같이 SRAM(34)에 저장된 후, 신호선을 통하여, 도 1에 도시한 LCDC(2)에 보내진다. 즉, SRAM(34)은 센서의 신호를 2치화하는(A/D 변환하는) 기능과, 센서의 신호를 화소로부터 밖으로 출력하기 위한 증폭을 행하는 기능을 한다. 이 LCDC(2)는 본 실시예의 표시 장치로부터 출력되는 디지털 신호를 받아, 데이터의 재배열이나 데이터 내의 노이즈의 제거 등의 연산 처리를 행한다.

도 6은 화상 처리 IC(5)의 내부 구성을 나타내는 블록도이다. 도 6의 화상 처리 IC(5)는 카메라(4)로 촬상된 촬상 데이터를 수취하는 카메라 I/F부(41)와, 제어부(42)와, 카메라(4)의 동작 제어를 행하는 제어 I/F(43)와, LCDC(2)로부터의 촬상 데이터를 수취하는 LCD-I/F(44)와, 촬상 데이터를 저장하는 화상 처리용 메모리(45)와, CPU(11)와의 사이에서 제어 신호의 교환을 행하는 호스트 I/F(46)와, 촬상 데이터의 계조 보정을 행하는 계조 보정부(47)와, 촬상 데이터의 색 보정을 행하는 색 보정부(48)와, 결함 화소 보정부(49)와, 촬상 데이터의 에지 보정을 행하는 에지 보정부(50)와, 촬상 데이터의 노이즈를 제거하는 노이즈 제거부(51)와, 촬상 데이터의 화이트 밸런스를 조정하는 화이트 밸런스 보정부(52)를 갖는다. 종래의 화상 처리 IC와의 차이로서는, 촬상 데이터를 수취하는 LCD-I/F(44)를 갖는 점이 특징적이다.

LCD 기판(1)의 표시는, 원칙적으로 기저 대역 LSI(3)로부터의 지시 및 감시 하에서 행해진다. 예를 들면, 기저 대역 LSI(3)에 카메라(4)의 촬상 데이터가 입력되면, 기저 대역 LSI(3)는 그 촬상 데이터를 소정의 타이밍에서 LCDC(2)에 출력한다. LCDC(2)는 기저 대역 LSI(3)로부터의 카메라(4)의 촬상 데이터를 프레임 메모리(16)에 저장한다. 기저 대역 LSI(3)로부터 공급되는 카메라(4)의 촬상 데이터가 간헐적이라도, LCDC(2)는 프레임 메모리(16)에 저장된 1화면분의 카메라(4)의 촬상 데이터를 소정의 타이밍에서 LCD 기판(1)에 출력한다. LCD 기판(1)은 LCDC(2)로부터의 카메라(4)의 촬상 데이터를 아날로그 화소 전압으로 변환하여 신호선에 기입한다.

도 7은 LCDC(2)의 내부 구성의 일례를 나타내는 블록도이다. 도 7의 LCDC(2)는 MPEG-I/F(61)와, LUT(Lookup Table)(62)와, LCD-I/F(63)와, 촬상 데이터를 저장하는 라인 버퍼(64)와, LCDC(2)로부터 공급된 촬상 데이터를 보유하는 화상 처리 메모리(65)와, 표시용의 디지털 화소 데이터를 보유하는 프레임 메모리(16)와, 출력 전 연산부(66)와, 제1 버퍼(67)와, 제2 버퍼(68)와, 화상 처리부(69)와, 호스트 I/F(70)와, 발진기(71)를 갖는다.

이에 대하여, 도 8은 종래의 LCDC(2)의 내부 구성을 나타내는 블록도이다. 도 8에 도시한 바와 같이, 종래의 LCDC(2)는 MPEG-I/F(61)와, LUT(62)와, LCD-I/F(63)와, 프레임 메모리(16)와, 버퍼(67)와, 발진기(71)를 갖는다.

종래는 동화상을 표시할 때, MPEG-IF를 통하여 입력된 MPEG 코덱 신호를, LUT(62)를 참조하여 RGB 데이터로 변환하여 프레임 메모리(16)에 저장하고 있었다. 또한, 텍스트를 표시할 때에는 호스트 I/F(45)를 통하여 CPU(11)로부터 공급된 묘화 커맨드를, RGB 데이터로 변환하여 프레임 메모리(16)에 저장하고 있었다. 발진기(71)는, 필요에 따라 기준 클럭을 생성한다. 휴대 전화의 대기 시간 등, CPU가휴지하고 있을 때에 대기 화면을 계속 표시해야 하는 경우에 해당 기준 클럭에 동기하여 LCDC(2)로부터 LCD 기판(1)에 표시를 위한 화소 데이터를 정상적으로 계속 보낸다.

LCDC(2)는 프레임 메모리(16)로부터 판독한 디지털 화상 데이터를, 예를 들면 표시 화면의 제1 행으로부터 순서대로 1행씩 필요에 따라 재배열하여 LCD 기판(1)에 출력한다.

본 실시예의 LCDC(2)는, 도 7에 도시한 바와 같이 종래의 LCDC(2)가 갖지 않은 화상 처리 메모리(65)를 구비하고 있으며, LCD 기판(1)으로부터 LCD-I/F(43)를 통하여 공급되는 화상 취득 센서(33)의 촬상 데이터를 보유한다. 이 화상 취득 센서(33)의 촬상 데이터는, 호스트 I/F(45)와 기저 대역 LSI(3)를 통하여 화상 처리 IC(5)에 공급된다.

LCD 기판(1) 내의 각 화소는 개구율을 확보해야만 하기 때문에, 화상 취득용의 화상 취득 센서(33)나 주변 회로를 배치하는 스페이스가 한정되어 있다. 개구율이 작아지면, 통상 표시 시의 화면의 표시 휘도를 확보하기 위해서, 백 라이트를 보다 고휘도로 점등해야 하고, 백 라이트의 소비 전력이 증대되는 문제를 일으키기 때문이다. 가능한 한, 각 화소 내에는 적은 수의 화상 취득 센서(33)와 관련 회로를 내장하는 것에 그치는 것이 바람직하다. 또한, 화상 취득 센서(33)가 1개라도, 화상 취득 센서(33)에 의한 캐패시터 C1의 전위의 미묘한 변화를 정밀하게 외부로 추출할 수 있으면, 그에 따라 다계조의 화상 취득을 실현할 수 있지만, 곤란하다. 왜냐하면, 유리 기판 위에 형성되는 TFT나 화상 취득 센서(33)는 동일 기판 위라도동작 임계값 등에 무시할 수 없는 변동을 갖기 때문이다. 또한, 화소 내에 변동 보상 회로를 형성하는 것도 고려되지만, 변동 보상 회로 자체만의 면적을 점유하여 개구율을 손상시키는 문제가 있다. 따라서, 다계조의 화상 취득을 행하기 위해서, 화소 내에, 복수의 화상 취득 센서(33)를 설치하거나, 복잡한 보상 회로를 설치하지 않고, 촬상 조건을 바꾸면서 복수회의 촬상을 행하여 이들 데이터에 기초하여 다계조화를 위한 처리나 노이즈 보상을 위한 처리를 행하도록 했다.

도 9는 LCDC(2)가 행하는 화상 취득 시의 처리 수순을 설명하는 흐름도이다. 우선, 촬상 조건을 바꾸면서, N회 화상 취득 센서(33)에 의한 화상 취득을 행한다(단계 S1). 다음으로, 수학식 1에 기초하여, N회의 촬상 데이터의 단순 평균을 계산한다(단계 S2). 여기서, L(x, y)i는 i회째의 좌표(x, y)의 계조값을 나타내고 있다.

단계 S1 및 S2의 처리를 행할 때에는, 도 10에 도시한 바와 같이 각회의 계조값을 순서대로 가산하는 순차 가산을 행하여, N회째까지 순차 가산을 행한 후에, N으로 나누면 된다. 순차 가산의 과정에서 이미 가산된 촬상 데이터는 보유해 둘 필요가 없다.

도 10과 같은 순차 가산을 행하는 경우, 프레임 메모리(16)는 2회분 정도의 촬상 데이터를 저장할 수 있는 용량이 있으면 되므로, 메모리 용량을 삭감할 수 있다.

다음으로, 얼룩 패턴의 감산 처리를 행한다(단계 S3). 다음으로, 화이트 밸런스 조정이나 결함 보정 등을 행한다(단계 S4). 그 외, 촬상 조건을 조금씩 변화시키면서 N회 촬상을 행하여, 1부터 i회째는 흑, 그 이후 64회째까지는 백이었으면 「i 계조」로 하는 방법도 가능하다.

도 11은 LCD 기판(1) 상의 신호선 구동 회로(22), 주사선 구동 회로(23), 화상 취득 센서 제어 회로(24) 및 신호 처리 출력 회로(25)와, LCDC(2)와, 기저 대역 LSI(3)와의 사이의 신호 교환을 나타내는 도면이다.

도 12는 유리 기판의 상세 구성을 나타내는 블록도이다. 본 실시예의 화소 어레이부(21)는, 수평 방향 320화소×수직 방향 240화소의 표시 해상도를 갖는다. 백 라이트를 적색, 녹색 및 청색의 순으로 발광시키는, 소위 필드 시퀀셜 구동을 행하는 것이다. 필드 시퀀셜 구동에서는 백 라이트의 발광색은 적색, 녹색 및 청색 외에, 백색으로 점등하는 경우도 있다. 화소는 각각마다 신호선 및 주사선 등이 설치된다. 신호선의 총수는 320개이고, 주사선의 총수는 240개이다.

주사선 구동 회로(23)는 240단의 시프트 레지스터(71)와, 3선택 디코더(72)와, 레벨 시프터(L/S)(73)와, 멀티플렉서(MUX)(74)와, 버퍼(75)를 갖는다.

신호 처리 출력 회로(25)는 320개의 프리차지 회로(76)와, 4선택 디코더(77)와, 10단마다 데이터 버스가 접속된 합계 80단의 시프트 레지스터(78)와, 8개의 출력 버퍼(79)를 갖는다.

도 13의 (a)는 도 12의 주사선 구동 회로(23)의 내부 구성을 나타내는 회로도이다. 도 13의 주사선 구동 회로(23)는 240단의 시프트 레지스터(71)와, 인접하는 3개의 주사선마다 설치되는 3선택 디코더(72)와, 주사선마다 설치되는 레벨 시프터(L/S)(73)와, 멀티플렉서(MUX)(74) 및 버퍼(BUF)(75)를 갖는다.

시프트 레지스터(71)를 구성하는 각 레지스터는 도 13의 (b)와 같은 회로로 구성되고, MUX(74)는 도 13의 (c)와 같은 회로로 구성된다.

3선택 디코더(72)는 제어 신호 Field1, Field2, Field3에 의해, 인접하는 3개의 주사선 중 어느 하나를 선택하므로, 240개의 주사선을 3개마다 구동할 수 있다. 예를 들면, Field[1:3]=(H, L, L)일 때에는 주사선 G1, G4, G7, …의 순으로 구동되고, Field[1:3]=(L, H, L)일 때에는 주사선 G2, G5, G8, …의 순으로 구동된다.

이러한 주사선의 구동 방법을 행함으로써, 화면 전체의 평균 계조(단위 화소 수에 대한 백 화소 수의 비율)를 단시간에 검출할 수 있다. 즉, 주사선을 3개 간격으로 구동하고, 그 주사선에 대응하는 화상 취득 센서(33)의 촬상 결과를 판독하여 평균 계조를 계산하고, 그 계산 결과에 기초하여, 남은 화상 취득 센서(33)의 촬상 결과를 판독할지, 또는 촬상 조건을 바꾸어 촬상을 다시 할지를 결정하기 때문에, 촬상 조건이 맞지 않는 촬상 데이터를 쓸데없이 취득하지 않는다. 이에 의해, 촬상 결과를 최종적으로 표시하기까지의 시간을 단축할 수 있다.

MUX(74)는 주사선을 1라인마다 온 상태로 하거나, 전체 주사선을 동시에 온 상태로 할지를 전환한다. 전체 주사선을 동시에 온 상태로 하는 것은, 화상 취득 센서(33)의 촬상 결과를 저장하는 캐패시터 C1에 동시에 초기 전하를 축적하기 위함이다.

이와 같이 MUX(74)를 설치함으로써, 캐패시터 C1에 초기 전하를 축적할지를 전환하는 전용의 TFT가 불필요해져, 회로 규모를 삭감할 수 있다.

도 14는 도 11의 신호 처리 출력 회로(25)의 내부 구성을 나타내는 블록도이다. 도 14에 도시한 바와 같이, 신호 처리 출력 회로(25)는 320개의 화상 취득 센서(33)의 출력을 8개의 버스에 통합하여 직렬 출력을 행한다. 보다 구체적으로는, 신호 처리 출력 회로(25)는 40개의 신호선마다 설치되는 P/S 변환 회로(91) 및 출력 버퍼(92)와, 동기 신호 발생 회로(93)를 갖는다.

도 15는 도 14의 동기 신호 발생 회로(93)의 내부 구성을 나타내는 블록도이다. 도 15에 도시한 바와 같이, 동기 신호 발생 회로(93)는 NAND 게이트(94)와, 클럭 제어되는 D형 F/F(95)를 갖고, D형 F/F(95)의 후단에는 출력 버퍼(92)가 접속되어 있다. LCD 기판(1) 상에 형성되는 NAND 게이트 등의 조합 회로에서만은 TFT의 특성 변동 때문에, 출력 데이터에 대한 위상 변동이 커져, 동기 신호의 역할을 할 수 없는 경우가 있다. 따라서, 도 15에 도시한 바와 같이, 절연 기판 위의 클럭에 의해 제어되는 D형 F/F(95)를 설치함으로써, 절연 기판 상의 클럭과의 위상 차를 작게 하는 것이 바람직하다. 또한, 출력 진폭을 외부의 LSI의 인터페이스 전압으로 변환하기 위한 레벨 변환 회로를 설치해도 된다.

도 16은 도 14의 P/S 변환 회로(91)의 상세 구성을 나타내는 블록도이다. 도 16에 도시한 바와 같이, P/S 변환 회로(91)는 4입력 1출력의 디코더(96)와, 래치 회로(97)와, 10단의 시프트 레지스터(98)를 갖는다. 디코더(96)는, 도 17과 같은 회로로 구성된다. 래치 회로(97)는, 도 18과 같은 회로로 구성된다. 시프트 레지스터(98)의 제어에 이용하는 클럭은, 도 15의 D형 F/F의 제어에 이용하는 클럭과 공통화로 함으로써, 데이터와 동기 신호와의 위상 차를 작게 할 수 있다. 또한, 출력 진폭을 외부의 LSI의 인터페이스 전압으로 변환하기 위한 레벨 변환 회로를 설치할 수 있다.

도 19는 출력 버퍼(92)의 상세 구성을 나타내는 블록도이다. 도 19에 도시한 바와 같이, 복수의 버퍼(인버터)(93)를 종속 접속하여 구성된다. 후단의 것일수록, 각 인버터를 구성하는 TFT의 채널 폭을 크게 하여 필요한 외부 부하(플렉시블 케이블(FPC) 등) 구동력을 확보한다.

도 20은 본 실시예의 표시 장치의 동작을 설명하는 도면, 도 21은 통상 표시 시의 타이밍도, 도 22는 화상 취득 센서(33)의 프리차지 및 촬상 시의 타이밍도, 도 23은 화상 취득 센서(33)의 촬상 데이터 출력 시의 타이밍도이다.

통상의 표시를 행하는 경우에는, 도 20의 모드 m1의 동작을 행한다. 한편, 화상 취득 센서(33)에 의한 화상 취득을 행하는 경우에는, 우선 모드 m1의 동작을 행하여, 전체 화소의 휘도를 소정값(액정 투과율이 가장 높아지도록 함)으로 설정한다. 이 경우, 도 21에 도시한 바와 같이, 우선, 주사선 G1, G4, G7, …을 구동하여 화면의 1/3의 표시를 행한 후, 주사선 G2, G5, G8, …을 구동하여 화면의 남은 1/3의 표시를 행하고, 마지막으로 주사선 G3, G6, G9, …을 구동하여 화면의 마지막 1/3의 표시를 행한다. 그리고, 백 라이트를 특정한 색으로 점등한다. 본 실시예서는, 우선 백색을 점등한다.

다음으로, 모드 m2에서, 전체 화소의 캐패시터 C1을 프리차지(초기 전하의 축적)한 후, 촬상을 행한다. 이 때, 도 22에 도시한 바와 같이, 주사선 구동 회로(23)가 전체 주사선을 구동하고 있는 동안에, 전체 화소의 캐패시터 C1에 5V를 기입한다. 전체 화소의 캐패시터 C1의 프리차지를 동시에 행하도록 했기 때문에, 프리차지에 요하는 시간을 짧게 할 수 있다.

다음으로, 모드 m3에서, 일부의 촬상 데이터(전체 화면의 1/12)의 출력을 행한다. 구체적으로는, 주사선 구동 회로(23)의 시프트 펄스에 기초하여 소정의 주사선을 온 상태로 함으로써, 해당 행에 속하는 SRAM(34)에 보유된 데이터가 신호선에 기입된다. 이 경우, 도 23에 도시한 바와 같이, 우선 주사선 G1, G4, G7, …에 접속된 화소 내의 화상 취득 센서(33)의 촬상 데이터가 신호선에 출력된다. 남은 촬상 데이터(전체 화면의 11/12), 즉 주사선 G1, G4, G7, …에 접속된 화소 내의 화상 취득 센서(33)의 촬상 데이터 중, 아직 래치 회로(97)에 보유되어 있을뿐 출력되지 않고 있는 데이터의 출력, 주사선 G2, G5, G8, …에 접속된 화소 내의 화상 취득 센서(33)의 촬상 데이터의 신호선에의 출력, 및 주사선 G3, G6, G9, …에 접속된 화소 내의 화상 취득 센서(33)의 촬상 데이터의 신호선에의 출력은, 모드 m4에서 행한다(모드 m3에서는 이들은 행하지 않는다).

신호선 상에 출력된 촬상 데이터는, 도 16의 P/S 변환 회로(91) 내의 래치 회로(97)에 보유된다. HSW[3:0]을 (1, 0, 0, 0)으로 함으로써, 4개의 래치 회로(97) 중 어느 하나의 데이터가 시프트 레지스터에 기입된다. 시프트 레지스터 열을 클럭(HCK) 구동함으로써 순서대로 출력된다.

우선, 처음에는 1, 4, …, 238행의 데이터 중, 1, 5, 9, … 열의 데이터의 출력이 출력된다. 이는 전체 화소 데이터의 1/12에 상당한다. 여기까지의 데이터에 기초하여 평균 계조 Lmean을 계산한다. 이 동작 시에는 LCDC(2)측에서는 평균 계조 Lmean을 카운트한다. LCDC(2)의 LCD-I/F부(44)에는 도시되지 않은 카운터와, 평균 계조 및 평균 계조의 증가분의 판정 기준값을 저장하는 메모리와, 평균 계조의 증가분을 계산하는 논리 회로와, 평균 계조의 증가분을 판정 기준값과의 비교를 행하는 비교기가 설치된다.

전체 화소 데이터의 1/12의 평균 계조가 포화되어 않는지를 판정하여(단계 S11), 포화되어 있는 경우에는 데이터 출력을 중지하고, 화상 처리로 이행한다(모드 m5).

다음으로, 평균 계조가 지나치게 작지 않은지를 판정하여(단계 S12), 지나치게 작은 경우에는 다음의 촬상 시간을 T+2×ΔT로 길게 하여 모드 m2 이후의 처리를 반복한다. 지나치게 작지 않은 경우에는 평균 계조가 지나치게 큰지를 판정하여(단계 S13), 지나치게 큰 경우에는 다음의 촬상 시간을 T+0.5×ΔT로 작게 하여 모드 m2 이후의 처리를 반복한다. 지나치게 크지 않은 경우에는 모드 m4에 의해, 남은 11/12의 데이터 출력을 계속해서 행한다.

이상의 모드 m1 내지 모드 m4의 동작을, 평균 계조가 포화할 때까지 반복한다.

모드 m5에서는, 이렇게 해서 얻어진 촬상 데이터를 평균화 처리함으로써, 백색 성분의 계조 정보를 합성할 수 있다.

마찬가지로, 모드 m5에서는 녹색 성분의 합성과, 청색 성분의 합성을 행한다. 백색, 녹, 청은 백 라이트(LED)의 발광색을 백으로 할지, 녹으로 할지, 청으로 할지로 전환한다. 백색을 점등하기 위해서는 백색 LED를 이용할 수도 있고, 적색·녹색·청색의 3종류의 LED를 동시에 점등함으로써 전체적으로 백색이 되도록 해도 된다.

여기서는 백 라이트를 적색 점등한 상태에서는 촬상은 생략할 수 있다. 합성된 백색 성분으로부터, 합성된 청 성분 및 녹 성분을 감산함으로써, 적 성분을 합성할 수 있다. 화상 취득 센서(33)의 광전류는 파장 분산을 갖고, 적색의 빛을 검출하기 위해서 촬상 시간을 길게 할 필요가 있는 경우에, 전체적으로 촬상 시간이 길어지는 문제를 방지할 수 있다.

상술한 방법에 의해, RGB의 각 색의 계조 정보가 구해진 경우에는, 이들 각 색의 합성 결과를 겹침으로써, 컬러 촬상 화면을 합성할 수 있다. 이 컬러 촬상 화면은 LCDC(2)의 화상 메모리상에 저장되고, 기저 대역 LSI(3)을 경유하여 화상 처리 IC(5)에 보내진다. 그리고, 범용적인 화상 처리(계조 보정, 색 보정, 결함 화소 보정, 에지 보정, 노이즈 제거, 화이트 밸런스 보정 등)가 행해지고, 재차 LCDC(2)의 표시용의 프레임 메모리(16)에 소정의 수순으로 저장되고, LCDC(2)로부터 LCD에 소정의 포맷으로 출력함으로써, LCD에 표시할 수 있다.

도 24는 LCDC(2)의 처리 동작을 설명하는 흐름도이다. 도 20에서 설명한 표시 장치 전체의 동작 중, 촬상 시에 LCDC(2)가 구체적으로 행하는 처리 동작을 추출한 것이다. LCDC(2)는 촬상 시간 T=T+ΔT로 촬상하도록 화상 취득 센서(33)에대하여 지시한다(단계 S21). 다음으로, 화상 취득 센서(33)의 촬상 데이터 중, 수평 방향은 신호선의 m개마다, 수직 방향은 주사선의 n개마다, 화상 취득 센서(33)의 촬상 데이터를 취득한다(단계 S22). 이에 의해, 전체 화소의 M(=m×n)분의 1개의 촬상 데이터를 취득하여, 촬상 데이터의 평균 계조 Lmean을 계산한다(상술한 실시예에서는 m=4, n=3의 예를 설명했지만, m, n은 이들에 한정되지 않는다).

다음으로, 평균 계조 Lmean이 소정의 기준값(예를 들면, "64") 이하인지를 판정한다(단계 S23). 기준값 이하인 경우에는 직전의 촬상 데이터의 평균 계조 Lmean0과의 차이가 소정의 기준값 ΔH0 이상인지를 판정한다(단계 S24).

차이가 기준값 이상이면, 차이가 소정의 기준값 ΔH1 이하인지를 판정한다(단계 S25). 차이가 기준값 ΔH1 이하이면, 남은 화상 취득 센서(33)의 촬상 데이터를 순서대로 취득하고, 화상 처리 메모리(65)에 저장되어 있는 각 화소의 촬상 데이터에 가산한다(단계 S26). 다음으로, 통산의 촬상 횟수 A를 "1" 카운트 업(단계 S27)한 후, 단계 S21 이후의 처리를 반복한다.

한편, 단계 S24에서 차이가 기준값 ΔH0 미만이라고 판정된 경우, 또는 단계 S25에서 차이가 기준값 ΔH1보다 크다고 판정된 경우에는, 단계 S21로 되돌아간다.

또한, 단계 S23에서 평균 계조 Lmean이 64보다 크다고 판정된 경우에는, 좌표(x, y)의 화소의 계조값 L(x, y)를 수학식 2에 기초하여 구한다.

이와 같이 본 실시예에서는, 화상 취득 센서(33)로부터의 촬상 데이터를 2치 데이터의 상태에서 LCD 기판(1)으로부터 LCDC(2)에 공급하고, LCDC(2)는 복수의 촬상 조건에서의 각 2치 데이터에 기초하여 화상 처리를 행하여 다계조의 촬상 데이터를 생성하여 화상 처리 IC(5)에 공급하고, 화상 처리 IC(5)로 계조 보정이나 색 보정 등의 범용적인 화상 처리를 행한다. 즉, 화상 취득 센서(33)로부터의 촬상 데이터의 화상 처리를 LCDC(2)로 전부 행하는 것이 아니라, 화상 처리의 일부에 대해서는 카메라(4)로부터의 촬상 데이터에 대하여 화상 처리를 행하는 화상 처리 IC(5)로 행하기 때문에, LCDC(2)의 구성을 간략화할 수 있다. 또한, 본 실시예에 따르면, 휴대 전화 내에서 마찬가지의 처리를 행하는 IC 칩을 복수 설치하지 않아도 되므로, 칩 면적의 삭감과 휴대 전화기 전체의 비용 절감을 도모할 수 있다.

또한, 본 실시예에서는 촬상에 긴 시간을 요하는 적색으로 촬상하는 대신에, 백, 녹 및 청의 촬상 결과로부터 적색 성분을 색 합성하도록 하였기 때문에, 전체적인 촬상 시간을 단축할 수 있어, 촬상하고 나서 촬상 결과가 표시되기까지의 시간을 단축할 수 있다.

또한, 본 실시예에서는 일부의 주사선 및 신호선에 접속된 화소 내의 화상 취득 센서(33)의 촬상 결과에 기초하여 평균 계조를 구하기 때문에, 평균 계조를 단시간에 계산할 수 있어, 평균 계조의 계산에 적합하지 않은 촬상 조건 시에 모든 화상 취득 센서(33)의 촬상 결과를 출력하는 등의 불필요한 처리를 행하지 않아도 된다. 이에 의해, 평균 계조를 양호한 정밀도로 단시간에 계산할 수 있다.

본 실시예는 필드 시퀀셜 구동을 행하는 LCD를 예로 들어 설명하였지만, 1화소를 3개의 부 화소로 분할하고 R/G/B 컬러 필터를 설치하여 표시를 행하는 일반적으로 알려진 LCD에도 마찬가지로 적용할 수 있다. 또한, 각 화소에 LED를 구비하는 유기 EL 표시 장치라도 마찬가지로 적용할 수 있다. 또한, 휴대 전화에 한정되지 않고, PDA(Personal Data Assistant)나 이동 PC 등의 카메라가 부착된 휴대 정보 단말기 등이라도 마찬가지로 적용할 수 있다.

본 실시예에서는 「백색, 녹색, 청색」의 3개의 합성 결과로부터 「적색, 녹색, 청색」의 최종적인 결과를 얻었지만, 여러가지 변형이 가능하다. 「시안, 마젠더, 옐로우」의 3개의 합성 결과로부터 「적색, 녹색, 청색」의 최종적인 결과를 얻을 수도 있다. 백 라이트의 LED에 시안, 마젠더, 옐로우를 이용해도 되고, 「적과 녹을 점등, 녹과 청을 점등, 청과 적을 점등」함으로써 행해도 된다. 촬상 시간을 단축하는 효과가 있다.

평균 계조를 계산하기 위해서는, LCD 기판 위에 카운터를 설치하여 데이터 버스를 이용하여 출력해도 되고, LCDC 측에서 촬상 데이터를 수신할 때에 카운트해도 된다. 또한, 평균 계조를 계산하기 위한 소량의 촬상 데이터의 샘플링 방법은 여러가지 변형이 가능하다.

〈제2 실시예〉

제2 실시예도, 백 라이트를 적색, 녹색 및 청색의 순으로 발광시키는, 소위 필드 시퀀셜 구동을 행하는 것이다. 이 경우, 관찰자에게는 다색 표시를 행하고 있는 것처럼 시인된다.

제2 실시예의 1화소분의 구조는 도 3과 마찬가지이다. 도 3에 도시한 바와같이, 1화소에는 1개의 화상 취득 센서(33)밖에 없어, 개구율이 충분히 확보된다. 이 때문에, 도 25의 레이아웃도로부터 알 수 있듯이, 화상 취득 센서(33)의 형성 위치의 주위에는 충분히 빈 영역이 있어, 화상 취득 센서(33)를 1화소 내에서 상하 좌우로 어긋나게 할 수 있다.

이 점에 주목하여, 본 실시예에서는 도 26에 도시한 바와 같이 수평 방향으로 배치된 각 화소 내의 화상 취득 센서(33)를 지그재그 형상으로 배치하고 있다. 즉, 인접 화소의 화상 취득 센서(33)의 형성 위치를 서로 어긋나게 하고 있다. 이에 의해, 도 26의 점선으로 나타내는 위치(가상 화상 취득 센서(33) 위치)에, 실제로는 화상 취득 센서(33)가 배치되어 있지 않아도, 그 위치의 촬상 데이터를 주위 4화소의 화상 취득 센서(33)의 촬상 데이터로부터 계산에 의해 구할 수 있다.

도 27은 LCDC(2)의 제2 실시예의 내부 구성을 나타내는 블록도이다. 도 7과 비교하여, 도 27의 LCDC(2)는 3라인 버퍼(64a)를 갖는다. 3라인 버퍼(64a)에는 인접하는 3라인분의 화상 취득 센서(33)의 촬상 데이터가 저장된다. 예를 들면, n라인의 현실의 촬상 데이터와 가상의 촬상 데이터를 출력하는 경우에 대하여, 도 28을 이용하여 설명한다. 3라인 버퍼(64a)에, (n-1)라인, n라인 및 (n+1)라인의 화상 취득 센서(33)의 촬상 데이터가 저장되어 있는 것으로 한다. 이 경우, 출력 전 연산부(66)는, 도 28에 도시한 바와 같이 n라인의 가상 화상 취득 센서(33)의 촬상 데이터를, 현실의 n라인의 화상 취득 센서의 촬상 데이터와 (n-1)라인과 (n+1)라인의 화상 취득 센서(33)의 촬상 데이터로부터 평균화 처리에 의해 계산하고, 그 계산 결과를 버퍼(68)에 저장한다. 구체적으로는, 가상 화상 취득 센서를 둘러싸는상하 좌우 4화소의 데이터의 평균값을, 가상 화상 취득 센서의 값으로 한다. 버퍼(68)의 내부에서 재배열된 촬상 데이터는, 호스트 I/F(70)를 통하여 기저 대역 LSI(3)에 공급된다. 기저 대역 LSI(3)는 촬상 데이터를 화상 처리 IC(5)에 공급하여, 화상 처리 IC(5)의 내부에서 각종 화상 처리를 행한다.

화상 처리 IC(5)는 실제의 화상 취득 센서(33)로부터의 촬상 데이터와 가상 화상 취득 센서(33)로부터의 촬상 데이터를 구별할 수 없기 때문에, 양방의 촬상 데이터를 구별하지 않고 화상 처리를 행한다. 이 때문에, 본 실시예에 따르면, 외관상, 화상 취득 센서(33)의 수를 행 방향 및 열 방향으로 각각 배로 늘린 것과 마찬가지의 효과가 얻어진다. 따라서, 제1 실시예보다, 화상 취득의 해상도를 2배로 높일 수 있다. 표시 화면을 이용하여 사용자의 지문을 판독하고, 그것을 휴대 전화기의 통신 수단을 이용하여 먼 곳의 호스트 컴퓨터에 전송하여, 온라인 뱅킹의 가부를 판단(인증)시키는 경우에, 촬상 화상이 고해상도가 되어, 인증의 정밀도를 높일 수 있다.

또한, LCDC의 데이터 출력부에 가상 화상 취득 센서의 값의 연산부를 설치했기 때문에, LCDC의 화상 처리 메모리를 불필요하게 증대시킬 필요가 없다.

화소 내의 화상 취득 센서의 배치는 지그재그로 했지만 여러가지 변형은 가능하다. 하나의 행 또는 열에 걸쳐, 화상 취득 센서의 수광부가 단일의 직선 상에 단순하게 반복 배치하지 않은 것이 특징이다. 2 이상의 직선에 교대로 배치하도록 하면 된다. 가상 화상의 연산 방법은 여러가지 변형이 가능하다. 주위 화소의 주파수 성분을 고려한 연산 등이 고려된다.

상술한 각 실시예에서는 본 발명을 액정 표시 장치에 적용한 예에 대하여 주로 설명했지만, 본 발명은 화상 취득 기능을 갖는 모든 종류의 평면 표시 장치에 적용 가능하다.

〈제3 실시예〉

제3 실시예는 시스템 구성에 관한 것이다. 도 29에 종래의 구성의 블록도를 도시한다. LCDC(2)로부터 CPU(11), 또는 LCDC(2)로부터 카메라(4)의 화상 처리 IC(5)로 신호가 송신되지 않는다. 카메라(4)의 촬상 화상은 화상 처리 IC(5)에 의해 소정의 화상 처리를 받아, 화상 데이터를 소정의 형식(Yuv 포맷 등)으로 CPU(11)에 송신된다. CPU(11)는 소정의 타이밍에서 상기 화상 데이터를 LCDC(2)에 송신한다. LCDC(2)는 CPU(11)로부터 송신되는 상기 화상 데이터를 일단 프레임 메모리에 저장하는 등으로 하여 소정의 타이밍에서 LCD에 디지털 화소 데이터를 송신한다. LCD는 디지털 화소 데이터에 기초하여 표시를 행한다.

도 30에 본 실시예의 시스템 구성을 도시한다. LCDC(2)가 CPU(11)와의 쌍방향 인터페이스를 갖고 있는 점이 하나의 특징이다. 촬상 데이터는 일단 LCDC(2)의 메모리에 저장되고, CPU(11)로부터의 지시에 기초하여 CPU(11) 버스를 통하여 화상 처리 IC(5)에 송신되어 범용적인 화상 처리를 받는다. LCDC(2)로부터의 출력 형식을 화상 처리 IC(5)의 인터페이스에 정합시킴으로써 일반적인 화상 처리 IC(5)를 이용할 수 있다. 이 경우에는 호스트-I/F로써 LCD-I/F로 바꿀 수 있다. 그렇게 하면, 전용의 화상 처리 IC(5)를 이용할 필요가 없기 때문에 저비용으로 할 수 있다. LCDC(2), 화상 처리 IC(5), 및 LCD(1)는 제1 실시예, 제2 실시예와 마찬가지이므로, 설명을 생략한다.

〈제4 실시예〉

제4 실시예는 시스템 구성에 관한 것이다. 도 31에 본 발명의 시스템 구성을 도시한다. LCDC(2)가 화상 처리 IC(5)와의 사이에 전용의 인터페이스를 갖고 있는 점이 하나의 특징이다. 촬상 데이터는 일단 LCDC(2)의 메모리에 저장되고, 「화상 처리 IC(5)로부터의 요구」 또는 「CPU(11)로부터의 지시」에 기초하여 화상 처리 IC(5)에 직접 송신되어 범용적인 화상 처리를 받는다. 화상 처리 IC(5)에 촬상 데이터를 송신할 때에 CPU(11) 버스를 점유하지 않기 때문에 CPU(11)에 큰 부하를 걸지 않아도 된다. LCDC(2), 화상 처리 IC(5) 및 LCD(1)는 제1 실시예, 제2 실시예, 제3 실시예와 마찬가지이므로, 설명을 생략한다.

이상 설명한 바와 같이, 본 발명에 따르면, 화소 내에서 화상 취득을 행하여 얻어진 화상의 화상 처리를 간이한 구성 및 수순으로 행할 수 있다.

Claims

매트릭스 형상으로 배치되는 신호선 및 주사선의 각 교점 부근에 형성되는 표시 소자와, 촬상부와, 상기 표시 소자와, 상기 촬상부와, 상기 촬상부에서 촬상된 화상에 대응하는 2치 데이터를 출력하는 출력부를 갖는 화소 어레이부와,

별개의 촬상 장치와,

복수의 촬영 조건으로 상기 촬상부에서 촬상된 복수의 상기 2치 데이터에 기초하여, 다계조 데이터를 생성하는 제1 화상 처리부와,

상기 촬상 장치로 촬상된 촬상 데이터와, 상기 제1 화상 처리부에서 생성된 다계조 데이터를 택일적으로 수신하여, 소정의 화상 처리를 행하는 제2 화상 처리부를 구비하는 표시 장치.
제1항에 있어서,

상기 제2 화상 처리부는 계조 보정, 색 보정, 결함 화소 보정, 에지 보정 및 노이즈 보정 중 적어도 하나를 행하는 표시 장치.
제1항에 있어서,

상기 화소 어레이부는 절연 기판 상에 TFT(Thin Film Transistor)를 이용하여 형성되고,

상기 제1 화상 처리부는 반도체 칩인 표시 장치.
제3항에 있어서,

상기 제1 화상 처리부를 내장함과 함께, 상기 화소 어레이부에 표시용의 디지털 화소 데이터를 공급하는 디스플레이 컨트롤러 IC를 구비하는 표시 장치.
제1항에 있어서,

신호선이 배열하는 방향으로 배치되는 상기 촬상부는, 각 화소마다 지그재그 형상으로 배치되는 표시 장치.
제4항에 있어서,

지그재그 형상으로 배치된 상기 촬상부 중, 주위 4개의 상기 촬상부로 둘러싸이는 중앙부의 촬상 데이터를, 상기 주위 4개의 상기 촬상부의 촬상 데이터에 기초하여 계산하는 가상 촬상 데이터 검출 수단을 포함하는 표시 장치.
제6항에 있어서,

상기 가상 촬상 데이터 검출 수단은, 상기 주위 4개의 상기 촬상부의 촬상 데이터를 평균화함으로써, 상기 중앙부의 촬상 데이터를 계산하는 표시 장치.
제6항에 있어서,

상기 제1 화상 처리부는 3수평 라인분의 상기 촬상부의 촬상 데이터를 저장가능한 일시 기억부를 갖고,

상기 일시 기억부에 저장되어 있는 촬상 데이터를 상기 제1 화상 처리부가 상기 제2 화상 처리부에 한창 전송하고 있는 동안에, 상기 가상 촬상 데이터 검출 수단은 상기 중앙부의 촬상 데이터를 계산하여, 그 계산 결과를 상기 일시 기억부에 전송하는 표시 장치.
매트릭스 형상으로 배치되는 신호선 및 주사선의 각 교점 부근에 형성되는 화소 내의 표시 소자와,

상기 표시 소자의 각각에 대응하여 적어도 한 개씩 설치되고, 각각이 소정 범위의 촬상을 행하는 촬상부와,

상기 촬상부의 촬상 결과에 대응하는 2치 데이터를 저장하는 2치 데이터 저장부와,

상호 인접하지 않는 일부의 주사선에 접속된 각 화소의 상기 2치 데이터에 기초하여, 표시 화면 전체의 평균 계조를 추측하는 평균 계조 추측부를 구비하는 표시 장치.
제9항에 있어서,

상기 평균 계조 추측부는, 상호 인접하지 않는 일부의 신호선의 각각에 대응하는 상기 촬상부의 촬상 결과에 기초하여, 표시 화면 전체의 평균 계조를 추측하는 표시 장치.
제9항에 있어서,

상기 평균 계조 추측부는 m(m은 2 이상의 정수)개 간격으로 배치된 주사선과, n(n은 2 이상의 정수)개 간격으로 배치된 신호선에 접속된 화소의 상기 2치 데이터에 기초하여, 표시 화면 전체의 평균 계조를 추측하는 표시 장치.
제9항에 있어서,

복수 화소분의 상기 2치 데이터를 직렬 변환하여 출력하는 신호 처리 출력 회로와,

상기 평균 계조 추측부의 추측 결과에 기초하여, 남은 상기 촬상부의 촬상 데이터를 상기 신호 처리 출력 회로로부터 출력할지를 판단하는 출력 판단부를 구비하는 표시 장치.
제12항에 있어서,

상기 촬상부는, 상기 출력 판단부가 남은 상기 촬상부의 촬상 데이터를 출력하지 않는다고 판단한 경우에는, 촬상 조건을 바꾸어 새롭게 화상 취득을 행하는 표시 장치.
제9항에 있어서,

상기 표시 소자, 상기 촬상부 및 상기 2치 데이터 저장부가 형성되는 절연기판과,

상기 절연 기판의 배면에 배치되고, 백, 녹 및 청의 빛을 택일적으로 발광 가능한 백 라이트 장치를 구비하고,

상기 평균 계조 추측부는 상기 백 라이트 장치의 발광색의 각각에 대하여, 상기 촬상부에서 촬상된 상기 2치 데이터에 기초하여, 평균 계조를 추측하는 표시 장치.
매트릭스 형상으로 배치되는 신호선 및 주사선의 각 교점 부근에 형성되는 화소 내의 표시 소자와,

상기 표시 소자의 각각에 대응하여 적어도 한 개씩 설치되고, 각각이 소정 범위의 촬상을 행하는 촬상부와,

상기 촬상부의 촬상 결과에 대응하는 2치 데이터를 저장하는 2치 데이터 저장부와,

상기 촬상부에서 촬상된 제1 색, 제2 색 및 제3 색의 상기 2치 데이터에 기초하여, 상기 제1∼제3 색의 다계조 데이터를 생성하는 다계조 데이터 생성부와,

상기 제1∼제3 색의 다계조 데이터에 기초하여, 제4 색의 촬상 데이터를 합성하는 색 합성부를 구비하는 표시 장치.
제15항에 있어서,

상기 제1∼제3 색은 적색 이외의 색이고,

상기 제4 색은 적색인 표시 장치.
제15항에 있어서,

상기 색 합성부는 상기 제1∼제3 색의 다계조 데이터에 기초하여, 적, 녹 및 청 성분의 촬상 데이터를 생성하는 표시 장치.
제15항에 있어서,

상기 제1 색은 백, 상기 제2 색은 녹, 상기 제3 색은 청이고,

상기 색 합성부는 백, 녹 및 청의 상기 다계조 데이터에 기초하여, 적색의 상기 다계조 데이터를 연산하는 표시 장치.
제15항에 있어서,

상기 표시 소자 및 상기 촬상부가 형성되는 절연 기판의 배면에 배치되고, 상기 제1∼제3 색의 빛을 택일적으로 발광 가능한 백 라이트 장치를 구비하고,

상기 촬상부는 상기 백 라이트의 발광색이 상기 제1∼제3 색의 각각의 경우에 대해서 반복 촬상을 행하는 표시 장치.
제15항에 있어서,

상기 촬상부는 상기 백 라이트의 발광색이 상기 제1∼제3 색의 각각의 경우에 대해서 복수의 촬상 조건으로 반복 촬상을 행하고,

상기 다계조 데이터 생성부는 상기 복수의 촬상 조건의 각각에 있어서의 상기 2치 데이터에 기초하여, 상기 제1∼제3 색의 다계조 데이터를 생성하는 표시 장치.
제15항에 있어서,

각 화소는 대략 정방 형상인 표시 장치.
제15항에 있어서,

상호 인접하지 않는 일부의 주사선과 상호 인접하지 않는 일부의 신호선과의 각각에 접속된 각 화소의 상기 2치 데이터에 기초하여, 표시 화면 전체의 평균 계조를 추측하는 평균 계조 추측부를 구비하는 표시 장치.
제22항에 있어서,

복수 화소분의 상기 2치 데이터를 직렬 변환하여 출력하는 신호 처리 출력 회로와,

상기 평균 계조 추측부의 추측 결과에 기초하여, 남은 상기 촬상부의 촬상 데이터를 상기 신호 처리 출력 회로로부터 출력할지를 판단하는 출력 판단부를 구비하는 표시 장치.
표시 소자와 2치 촬상 데이터를 출력하는 수단을 갖는 어레이 기판과,

CPU와의 쌍방향 버스를 갖는 화상 처리부와,

CPU와의 쌍방향 버스를 갖는 LCDC를 구비하는 표시 장치.
표시 소자와 2치 촬상 데이터를 출력하는 수단을 갖는 어레이 기판과,

CPU와의 쌍방향 버스 및 LCDC과의 쌍방향 버스를 갖는 화상 처리부를 구비하는 표시 장치.
표시 소자와 2치 촬상 데이터를 출력하는 수단을 갖는 어레이 기판과,

1칩화된 화상 처리부와 LCDC를 구비하는 표시 장치.