KR20060017750A - 표시 장치 및 정보 단말 장치 - Google Patents

Abstract

본 발명에 따른 액정 표시 장치는, 신호선 및 주사선이 줄지어 설치되는 화소 어레이부(1)와, 신호선을 구동하는 신호선 구동 회로(2)와, 주사선을 구동하는 주사선 구동 회로(3)와, 센서로부터의 촬상 데이터를 시리얼 출력하는 신호 처리 출력 회로(4)와, 동기 신호 발생 회로(5)를 구비하고 있다. 화소 어레이부(1)에 손가락을 가까이 하거나 접촉시켰을 때의 촬상 데이터의 흑백의 변화를 검출하고, 또한 주위의 밝기를 고려하여 손가락의 좌표 위치를 특정하도록 하였기 때문에, 주위가 밝은 경우든, 어두운 경우든, 좌표 위치를 정밀도 높게 검출할 수 있다. 또한, 좌표 검출을 행할 때에는, 전체 화소분의 촬상 데이터를 검출하는 것이 아니라, 신호선 방향 및 주사선 방향 모두 복수 화소마다 촬상 데이터를 검출하기 때문에, 좌표 검출에 필요한 시간을 단축할 수 있다.

촬상 데이터, 신호 처리 출력 회로, 화소 어레이부, 표시 장치

Description

표시 장치 및 정보 단말 장치{DISPLAY DEVICE AND INFORMATION TERMINAL DEVICE}

본 발명은, 화상 취득 기능을 구비한 표시 장치 및 정보 단말 장치에 관한 것이다.

마우스 등의 좌표 지시 부재를 설치하는 대신에, 표시 장치 자체에 좌표 입력 기능을 설정하는 기술이 제안되고 있다. 예를 들면, 표시 장치의 표면에 감압식 터치 패널을 배치하는 구성이나, 표시 장치의 배면에 전자 유도 타블렛을 배치하는 구성이 알려져 있다. 감압식 터치 패널은, 투명 전극 재료로 이루어지는 투명 전극 패턴이 부착된 2매의 투명 평판을 소정 간격으로 대향시키고, 손가락 등으로 눌러진 부분만, 전극 패턴끼리 접촉시켜, 해당 전극 패턴의 저항값을 변화시켜, 손가락 등으로 눌러진 부분의 좌표를 계산한다. 전자 유도 타블렛은, 표시 장치의 배면에 배치된 전용의 타블렛으로부터 소정의 전자파를 출력하여, 공진 회로를 가진 전용 펜이 표시 장치 표면에 접근한 경우에, 전용 펜의 공진 회로로부터 발해지는 전자파를, 타블렛에서 받아 그 위치의 좌표를 소정의 방법으로 계산한다. 모두 휴대용 퍼스널 컴퓨터나 휴대 전화기로 이용되고 있다(일본 특개평8-254682호 공보 및 일본 특개평7-225371호 공보 참조).

그러나, 종래의 좌표 입력 기능이 부가된 표시 장치는, 소형화하는 것이 곤란하며, 중량도 무거운 것이 많았다. 또한, 통상의 표시 장치에 비하여, 코스트가 꽤 높고, 또한 구조가 복잡하기 때문에, 파손되기 쉽다는 등의 보수성(保守性)에 문제가 있었다. 또한, 여러가지 노이즈에 의해 오동작하지 않는 것이 강하게 요구된다.

<발명의 개시>

본 발명은, 이러한 점을 감안하여 이루어진 것으로, 그 목적은, 소형화 및 저가격화가 가능하고, 고정밀도로 좌표 검출을 행할 수 있는 표시 장치 및 정보 단말 장치를 제공하는 것에 있다.

본 발명의 일양태에 따른 표시 화면의 소정의 장소를 인간의 손 또는 지시 부재에 의해 지시한 것을 검지하는 것이 가능한 표시 장치는, 종횡으로 줄지어 설치되는 신호선 및 주사선의 각 교점 부근에 형성되는 표시 소자와, 상기 표시 소자의 각각에 대응하여 설치되고, 표시 화면에 상기 표시 소자에 의해 소정의 표시 화상을 표시시킨 상태에서, 각각 소정 범위의 입사광을 촬상하는 촬상부와, 촬상 화상으로부터, 촬상 시의 표시 화상과 상관이 높은 부분을, 손 또는 지시 부재에 의한 표시 화면 상의 지시 위치로서 검출하는 포인터 검출 수단을 구비한다.

또한, 본 발명의 일양태에 따른 표시 화면의 임의의 장소를 인간의 손 또는 지시 부재에 의해 지시한 것을 검지하는 것이 가능한 표시 장치는, 종횡으로 줄지어 설치되는 신호선 및 주사선의 각 교점 부근에 형성되는 표시 소자와, 각각이 소정 범위의 입사광을 촬상하는 촬상부와, 복수의 신호선마다 설치되고, 대응하는 복 수의 신호선에 표시용의 화소 데이터를 공급하는 D/A 변환 회로와, 상기 D/A 변환 회로가 복수의 신호선에 순서대로 화소 데이터를 공급하고 있는 동안에, 화소 데이터가 공급되어 있지 않은 신호선을 이용하여 상기 촬상부의 촬상 데이터를 화소로부터 출력하는 증폭 회로와, 화소로부터 출력된 촬상 데이터를 시리얼 변환하여 출력하는 신호 처리 출력 회로와, 상기 촬상 데이터에 기초하여, 손 또는 지시 부재에 의한 표시 화면 상의 지시 위치를 검출하는 포인터 검출 수단을 구비한다.

도 1은 액정 표시 장치의 일 실시예의 개략 구성을 도시하는 블록도.

도 2는 화소 어레이부(1)의 1 화소분의 상세 회로도.

도 3은 글래스 기판 상의 1 화소분의 레이아웃도.

도 4는 화상 취득의 방법을 설명하는 도면.

도 5는 수평 방향에 인접 배치되는 4 화소의 등가 회로도.

도 6은 도 5의 처리 동작의 타이밍도.

도 7은 도 6의 상세 타이밍도.

도 8a ∼ 도 8d는 화소 어레이부(1)의 표면을 손가락으로 접촉하는 전후의 센서의 취득 화상을 도시하는 도면.

도 9는 손가락의 지시 좌표를 계산하는 처리 수순을 나타내는 플로우차트.

도 10은 화면의 좌표를 설명하는 도면.

도 11은 신호 처리 출력 회로(4)의 내부 구성의 일례를 도시하는 블록도.

도 12는 신호 처리 출력 회로(4) 또는 컨트롤러(6)가 행하는 손가락의 좌표 검출 처리를 나타내는 플로우차트.

도 13a ∼ 도 13d는 촬상 화상의 일례를 도시하는 도면.

도 14a ∼ 도 14e는 손가락과 화소 어레이부(1)의 거리에 따라 촬상 화상이 변화하는 모습을 도시하는 도면.

도 15는 제2 실시예의 동작 타이밍도.

도 16은 화면의 버튼 표시 영역 r1, r2만의 휘도를 손가락 좌표 검출 시에 주기적으로 변경하는 예를 도시하는 도면.

도 17은 휴대 전화 등에 부속의 스트랩에 연성의 지시 부재를 부착하는 도면.

도 18은 표시 프레임 기간 사이에 손가락 좌표 검출 기간을 설정하는 예를 나타내는 동작 타이밍도.

도 19는 글래스 기판 상에 저온 폴리실리콘 TFT 기술을 이용하여 형성한 회로를 갖는 표시 장치의 개략 구성도.

도 20은 표시 프레임 사이에, 하나의 더미 프레임과 2개의 촬상 프레임을 삽입하는 예를 도시하는 도면.

도 21은 표시 프레임 사이에, 하나의 더미 프레임과 하나의 촬상 프레임을 삽입하는 예를 도시하는 도면.

도 22는 노이즈 광의 입사 상황을 도시하는 도면.

도 23은 도 21의 패턴을 이용하여 촬상된 촬상 화상을 도시하는 도면.

도 24는 복수의 특수 패턴을 이용하여 촬상을 행하는 예를 도시하는 도면.

도 25a ∼ 도 25b는 도 24의 특수 패턴을 이용하여 촬상을 행함으로써 얻을 수 있는 촬상 화상을 도시하는 도면.

도 26은 백과 흑의 체크 패턴으로 촬상하고, 다음 촬상 프레임에서는 적과 흑의 체크 패턴으로 촬상하는 예를 도시하는 도면.

도 27a ∼ 도 27b는 도 26의 패턴을 이용하여 촬상된 촬상 화상을 도시하는 도면.

도 28은 선택 버튼만 특수 패턴을 표시시키는 예를 도시하는 도면.

도 29는 노이즈 광의 입사 상황을 도시하는 도면.

도 30은 선택 버튼의 촬상 결과를 나타내는 도면.

도 31은 지시 부재의 표면을 특사 패턴으로 한 예를 도시하는 도면.

도 32는 접촉 전의 접촉 면적을 도시하는 도면.

도 33은 접촉 후의 접촉 면적을 도시하는 도면.

도 34는 촬상 프레임에서의 격자 형상의 패턴을 도시하는 도면.

도 35a ∼ 도 35b는 지시 부재의 변형예를 도시하는 도면.

<발명을 실시하기 위한 최량의 형태>

이하, 본 발명에 따른 표시 장치 및 정보 단말 장치에 대하여, 도면을 참조하면서 구체적으로 설명한다. 이하에서는, 본 발명에 따른 표시 장치 및 정보 단말 장치의 일례로서, 액정 표시 장치에 대하여 설명한다.

(제1 실시예)

제1 실시예의 액정 표시 장치는, 각 화소에, 화상 취득을 행하는 센서를 배 치하고 있다. LCD 기판에는 공통 전극을 ITO 등의 투명 전극 재료에 의해 형성한 대향 기판을 소정 간격(약 5미크론)으로 배치하고, 이들 사이에 액정 재료를 주입하여 소정의 방법으로 밀봉하고, 또한 양 기판의 외측에 편광판을 접착하여 이용한다.

도 1은 액정 표시 장치의 일 실시예의 개략 구성을 도시하는 블록도이다. 도 1의 액정 표시 장치는, 신호선 및 주사선이 줄지어 설치되는 화소 어레이부(1)와, 신호선을 구동하는 신호선 구동 회로(2)와, 주사선을 구동하는 주사선 구동 회로(3)와, 센서로부터의 촬상 데이터를 시리얼 출력하는 신호 처리 출력 회로(4)와, 동기 신호 발생 회로(5)와, CPU로부터 디지털 화소 데이터를 받아 소정 타이밍에서 신호선 구동 회로에 디지털 화소 데이터를 공급함과 함께 촬상 데이터의 처리를 행하는 컨트롤러(6)를 구비하고 있다.

화소 어레이부(1)는 LCD 기판 상에 저온 폴리실리콘 TFT(Thin Film Transistor)를 이용하여 형성된다. 또한, 신호선 구동 회로(2), 주사선 구동 회로(3), 신호 처리 출력 회로(4) 및 동기 신호 발생 회로(5) 중 적어도 일부도, 저온 폴리실리콘 TFT로 LCD 기판 상에 형성된다. 컨트롤러(6)는, LCD 기판에 형성 또는 실장하여도 되고, 별도의 기판에 설치하여도 된다.

화소 어레이부(1)는, 수평 방향 320 화소 × 수직 방향 240 화소의 표시 해상도를 갖는다. 신호선의 총 수는 320개이고, 주사선의 총 수는 240개이다. 각 화소는 정사각 형상이고, 컬러 필터를 갖지 않는다. LCD 기판의 배면에 배치되는, 도시되지 않은 백라이트는, 적어도 적, 녹 및 청으로 발광하는 LED를 구비한다.

보조 용량 Cs에 기입되는 전압에 기초하여, 액정 표시를 백으로부터 흑으로 64 계조로 가변 가능하다. 이것에 동기하여, 백라이트의 색을 적, 녹 및 청 중 어느 하나로 점등시킴으로써 각 색 64 계조의 표시, 소위 필드 시퀀셜 구동을 행한다.

신호선 구동 회로(2)의 내부에는 DAC(20)가 신호선 4개마다 하나의 비율로 합계 80개 설치되어 있다. 신호선 구동 회로(2)는, 표시 기간 내에는, 1 수평 기간을 4 분할하여, 4개의 신호선을 조로 하여, 각 조 모두 신호선을 하나씩 구동한다. 외부 IC로부터 소정 주기로 입력되는 디지털 화소 데이터를 액정의 구동에 적합한 아날로그 화소 전압으로 변환하여 4개의 신호선을 순서대로 구동한다.

주사선 구동 회로(3)는, 80단의 시프트 레지스터(11)와, 3 선택 회로(12)와, 레벨 시프터(13)와, 멀티플렉서(MUX 회로)(14)와, 버퍼(15)를 갖는다.

3 선택 디코더(12)는, 인접하는 3개의 주사선 중 어느 하나를 선택한다. 따라서, 3 선택 디코더(12)는, 240개의 주사선을 3개마다 구동할 수 있다. 이러한 주사선의 구동 방법을 행함으로써, 화면 전체의 평균 계조(단위 화소수에 대한 백 화소수의 비율)를 단시간에 검출할 수 있다. 즉, 주사선을 3개 간격으로 구동하여 그 주사선에 대응하는 센서의 촬상 결과를 판독하여 평균 계조를 계산하고, 그 계산 결과에 기초하여, 남은 센서의 촬상 결과를 판독할지, 혹은 촬상 조건을 바꿔 촬상을 다시 행할지를 결정하기 때문에, 촬상 조건이 맞지 않는 촬상 데이터를 쓸데 없이 취득하지 않아도 된다. 이에 의해, 촬상 결과를 최종적으로 표시하기까지의 시간을 단축할 수 있으며, 또한 촬상 데이터를 출력하기 위한 소비 전력을 작게 할 수 있다.

신호 처리 출력 회로(4)는, 프리차지 회로(16)와, 4개의 신호선 출력 중 하나를 선택하는 4 선택 디코더(17)와, 4 선택 디코더(17)의 출력을 시프트하는 시프트 레지스터(18)와, 시프트 레지스터(18)의 출력에 접속된 출력 버퍼(19)를 갖는다. 출력 버퍼(19)는, 종속 접속된 복수의 인버터로 이루어지고, 각 인버터는 출력 부하에 따라 채널 폭을 서서히 확대하고 있다. 시프트 클록에 동기하여, 시프트 레지스터(18)의 소정 노드에 축차적으로 나타나는 촬상 데이터를 증폭시켜 외부에 송출한다.

도 2는 화소 어레이부(1)의 1 화소분의 상세 회로도이고, 도 3은 글래스 기판 상의 1 화소분의 레이아웃도이다. 도 2에 도시한 바와 같이, 1 화소는, 화소 TFT(31)와, 보조 용량 Cs에 전하를 축적할지의 여부를 제어하는 표시 제어 TFT(32)와, 각각이 소정 범위의 입사광을 촬상하는 화상 취득 센서(33)와, 센서(33)의 촬상 결과를 저장하는 캐패시터 C1(이하에서는 센서 용량이라고도 함)과, 캐패시터 C1의 축적 전하에 따른 2치 데이터를 저장하는 SRAM(34)과, 캐패시터 C1에 초기 전하를 축적하기 위한 초기화용 TFT(35)를 갖는다. SRAM(34)은 종속 접속된 2개의 인버터를 구비하고, 캐패시터 C1의 전위를 2치화하거나, TFT(35)와 TFT(36)가 동시에 온한 경우에는 루프 형상으로 접속되어 2치화한 데이터를 유지할 수 있다.

여기서, 각 화소의 휘도는, 보조 용량 cs에 축적된 전하에 기초하여 결정되는 화소 전극 전위와, 대향 기판 상에 형성된 커먼 전극의 전위와의 차에 의해, 이들 사이에 끼워진 액정층의 투과율을 제어함으로써, 계조 제어된다.

도 2에서는, 각 화소마다 하나의 센서(33)를 설치하는 예를 도시하고 있지만, 센서(33)의 수에 특별히 제한은 없다. 1 화소당 센서(33)의 수를 늘릴수록, 화상 취득의 해상도를 향상시킬 수 있다.

캐패시터 C1의 초기화를 행하는 경우에는, 화소 TFT(31)와 초기화용 TFT(35)를 온한다. 표시 소자의 휘도를 설정하기 위한 아날로그 화소 전압(아날로그 화소 데이터)을 보조 용량 Cs에 기입하는 경우에는, 화소 TFT(31)와 표시 제어 TFT(32)를 온한다. SRAM(34)의 데이터 유지(리프레시)를 행하는 경우에는, 초기화용 TFT(35)와 SRAM(34) 내의 데이터 유지용 TFT(36)를 모두 온한다. SRAM(34)에 저장된 촬상 데이터를 신호선에 공급하는 경우에는, 화소 TFT(31)와 데이터 유지용 TFT(36)를 모두 온한다.

본 실시예의 표시 장치는, 통상의 표시 동작을 행하는 것도 가능하고, 스캐너와 마찬가지의 화상 취득을 행하는 것도 가능하다. 또한, 유저의 손가락 등이 접근하여 오는 것에 의해 발생하는 손가락의 그림자 내지 손가락의 볼록한 부분에서의 반사광이나, 광 펜의 접근에 의한 명부 내지 투영 패턴을 판독하여, 지시 좌표의 검출에 이용할 수도 있다. 통상의 표시 동작을 행하는 경우에는, TFT(35, 36)는 오프 상태로 설정되고, SRAM(34)에는 유효한 데이터는 저장되지 않는다. 이 경우, 신호선에는, 신호선 구동 회로(2)로부터의 신호선 전압이 공급되어, 이 신호선 전압에 따른 표시가 행하여진다.

한편, 화상 취득을 행하는 경우에는, 도 4에 도시한 바와 같이 LCD 기판(1)의 상면측에 화상 취득 대상물(예를 들면, 지면)(37)을 배치하고, 백라이트(38)로 부터의 광을 대향 기판(39)과 LCD 기판(1)을 통하여 지면(37)에 조사한다. 지면(37)에서 반사된 광은 LCD 기판(1) 상의 센서(33)로 수광되어, 화상 취득이 행해진다.

여기서, 촬상 대상측에 배치되는 글래스 기판 및 편광판은 가능한 한 얇은 것이 좋다. 센서와 촬상 대상의 최단 거리(즉 센서 기판의 두께와 센서 기판에 접착하는 편광판 등의 광학 필름 등의 두께의 합계)가 0.3㎜ 이하, 바람직하게는 합계 0.2㎜ 정도 이하가 좋다. 지면은 보통 확산 반사면인 것이 많고, 조사되는 광을 강하게 확산시킨다. 촬상 대상측의 글래스 기판이 두꺼우면, 센서 수광부와 지면의 거리가 확대되어 그 만큼 확산 반사광이 인접 화소의 센서에 들어가기 쉽게 되어 취득 화상이 희미해지는 원인으로 되는 경우가 있기 때문이다. 또한 센서를 내장한 어레이 기판(1)은 도 4와 같이 프론트측에 배치하는 것이 바람직하다. 리어측(백라이트측)에 배치하면, 손가락의 반사광은 액정층을 통과하여 센서에 도달하게 되기 때문에, 광량이 저하하기 때문이다.

취득한 화상 데이터는, 도 2에 도시하는 SRAM(34)에 저장된 후, 신호선을 통하여, 도시되지 않은 LCDC에 보내여진다. 이 LCDC는, 본 실시예의 표시 장치로부터 출력되는 디지털 신호를 받아, 데이터의 재배열이나 데이터 중 노이즈의 제거 등의 연산 처리를 행한다.

인간의 손가락 등의 화소 피치(수백 미크론 정도)에 비하여 비교적 큰 것의 좌표 검출을 행하는 경우, 반드시 고해상도로 화상 취득을 행할 필요는 없다. 따라서, 본 실시예에서는, 행(수평) 방향에는, 신호면의 4개마다 화상 취득을 행하 고, 열(수직) 방향에는, 주사선의 3개마다 화상 취득을 행하고 있다.

도 5는 수평 방향으로 인접 배치되는 4 화소(화소 n, 화소(n + 1), 화소(n + 2), 화소(n + 3))의 등가 회로도이다. 제어선 중, Gate 선 및 CRT를 각 행마다, SFB 및 PCC를 각 열마다 구동할 수 있도록 하고 있는 점에 특징이 있다. 또한, SRAM(34)의 출력부에 게이트 TFT를 설치하고 있다. 도 5의 4 화소에는 동일한 DAC(20)로부터의 아날로그 화소 전압이 공급된다. 또한, 도 5의 4 화소 중 1 화소만(가장 좌측의 화소)의 촬상 데이터가 신호 처리 출력 회로(4)로부터 출력된다. 즉, 4 화소 중, 촬상 데이터를 출력하는 것은, 화소 n뿐이다. 다른 화소의 촬상 데이터를 출력해도 되지만 그 만큼 쓸데없이 시간을 소비하게 된다. 또한, 4 화소중 어느 하나로부터 아날로그 화소 전압을 기입하고, 어느 한 화소로부터 촬상 데이터를 출력할지는 한정되지 않는다. 각 행마다 적당하게 순서를 교체하여도 된다. 라이트 펜이나 손가락 등의 화소 피치에 비하여 큰 물체의 지시 좌표를 계산하는 데 있어서는 큰 차이는 없다. 또한, 본 예에서는, 아날로그 화소 전압의 기입이 완료되어 있는 화소로부터 센서의 데이터를 출력하는 예를 나타내었지만, 반대로 센서의 데이터를 먼저 출력하고 그 후, 아날로그 화소 전압을 기입하는 구성 등 여러가지 변형이 가능하다. 수평 기간을 복수의 기간으로 분할하여 하나의 DAC가 신호선을 순서대로 구동하는 구성에서는, 개개의 신호선이 표시를 위해 점유되는 기간은 짧고, 아무것도 기입되지 않은 시간은 길다. 이 긴 시간을 센서의 데이터 출력에 이용하려는 것이다.

이하에서는, 도 5의 4 화소 중, 화소 n에의 디지털 화소 데이터의 기입이 끝 나고, 화소(n + 1)에의 디지털 화소 데이터를 기입 중인 경우의 동작을 설명한다. 이 경우, 화소 n에서는, 도 2의 신호 PCC(n)를 로우, 신호 SFB(n)를 하이로 하여, 보조 용량 Cs의 전위를 유지하면서, SRAM(34)로부터 신호선 n에 디지털 화소 데이터를 기입한다.

이에 의해, 화소 n에서는, 보조 용량 Cs에의 기입을 행하지 않고, SRAM(34)로부터 데이터 유지용 TFT(36)를 경유하여 신호선 n에, SRAM(34)에서 유지하고 있었던 촬상 데이터가 출력된다.

또한, 화소폭(n + 1)에서는, 신호 PCC(n + 1)를 하이, 신호 SFB(n + 1)을 로우로 하여, 신호선(n + 1) 상의 디지털 화소 데이터를 보조 용량 Cs에 기입한다. 그 때문에, 화소(n + 1)에서는, SRAM(34)로부터 신호선(n + 1)에 촬상 데이터가 출력되지 않고, DAC(20)에 의해 구동되는 신호선 전압이 보조 용량 Cs에 취득된다.

또한, 화소(n + 2)에서는, 신호 PCC(n+ 2)를 하이, 신호 SFB(n + 2)를 로우로 한 상태에서, 신호선(n + 2)으로부터 보조 용량 Cs에의 기입을 대기한다. 또한, 화소(n + 3)에서는, 신호 PCC(n + 3)를 하이, 신호 SFB(n + 3)를 로우로 한 상태에서, 신호선(n + 3)으로부터 보조 용량 Cs에의 기입을 대기한다.

도 6은 도 5의 처리 동작의 타이밍도이고, 도 7은 상세 타이밍도이다. 우선, 시각 t1에서, 화소 n에의 디지털 화소 데이터의 기입이 개시된다. 그 후, 시각 t2에서는, 화소(n + 1)에서 디지털 화소 데이터의 기입이 개시됨과 함께, 일단 CRT(m)와 SFB(n)를 모두 온하고, 캐패시터 C1 전위를 2치화한 데이터를 SRAM(34)에 저장한 후, 화소 n의 촬상 데이터가 신호선 n에 출력된다. 라이트 펜이 해당 화소 에 접근하고 있는 경우나, 손가락이 해당 화소에 접근하고 있는 경우에는, 손가락의 표면에서 표시 장치의 각 화소로부터 발한 광이 반사하여 해당 화소의 광 센서에 광 누설을 발생하고, 그 결과, 캐패시터 c1의 전위가 저하한다. SRAM(34)의 2치화 동작에 의해, 디지털 신호의 L(로우) 신호로 바꾼 후에, 신호선 n에 출력한다. 한편, 라이트 펜이나 손가락 표면에 의한 반사광이 미치지 않는 화소의 경우에는 캐패시터 C1의 전위는 저하하지 않고, 2치화 동작 후에 H(하이) 신호로서 출력된다. 그 후, 시각 t3에서, 화소(n + 2)의 디지털 화소 데이터의 기입이 개시됨과 함께, 신호선 상의 화소 n의 촬상 데이터가 신호 처리 출력 회로(4) 내에서 래치되고, 그 후에 시프트 레지스터(18)에의 기입이 행해진 후, 시프트 레지스터(18)로부터 촬상 데이터가 시리얼 출력된다.

그 후, 시각 t6으로 되면, 화소(n + 3)의 디지털 화소 데이터의 기입이 개시된다. 그 후, 시각 t7로 되면, 신호 Pcc가 로우 레벨로 설정된 후, 시각 t8에서 센서 용량(캐패시터 c1)의 프리차지가 행하여진다. 그리고 또한 1 프레임 후에 센서 용량의 전위가 열화하였는지의 여부를 SRAM(34)에 의해 2치화하여 출력하도록 동작한다.

본 실시예는, 열(수직) 방향에 대해서는, 주사선 구동 회로(3) 내에 멀티플렉서를 설치하여, 적/청/녹의 각 1 화면의 표시를 행하는 동안에 3회의 인터레이스 구동을 행한다. 인터레이스 구동이란 주사를 제1행부터 순서대로가 아니고, 수 행 건너뛰어 행하는 것을 의미한다. 손가락 등의 지시 좌표의 계산을 위해서는 3 행을 하나로 묶어서 생각하여도 지장이 없다. 연속하는 수 행 중 어느 하나의 행만 의 촬상 데이터에 기초하여 계산하면 충분하다. 그렇게 하면 수직 방향의 좌표는 1 화면의 표시 동안에 3회 계산된다. 적/청/녹의 3 화면으로 생각하면 9회 계산된다.

또한, 1 화면의 표시를 위한 인터레이스 구동은 3회에 한정되지 않는다. 시프트 레지스터 수를 줄이고, 멀티플렉서를 늘리면, 1 프레임 기간 내의 스캔 수를 늘릴 수 있다. 라이트 펜이나 손가락 등의 보다 빠른 움직임에 추종할 수 있다. 반대로 시프트 레지스터 수를 늘리고, 멀티플렉서를 줄이면, 위치 정밀도가 향상한다.

도 8a 및 도 8b는 화소 어레이부(1)의 표면을 손가락으로 접촉하는 전후의 센서의 취득 화상을 도시하는 도면이다. 실내 등과 같이 주위가 그다지 밝지 않은 경우, 손가락으로 접촉하기 전에는, 화소 어레이부(1)의 근처에는 화소 어레이부(1)로부터의 광을 반사하는 경우가 없기 때문에, 도 8a에 도시한 바와 같이 취득 화상은 전면 흑으로 된다. 화소 어레이부(1)를 손가락으로 접촉하거나, 혹은 손가락을 가까이 하면, 손가락의 그림자가 되는 부분의 센서의 취득 화상만이 도 8b에 도시한 바와 같이 백색으로 된다.

이와 같이, 손가락을 가까이 하면, 취득 화상에 흑백의 명암이 생기기 때문에, 촬상 데이터의 값에 따라 흑백의 경계 부분을 검출함으로써, 화면 상의 손가락의 위치를 정확하게 특정할 수 있다.

단, 손가락의 윤곽 부근은 외광이 차단되고, 화소 어레이부(1)의 발광의 반사가 약하기 때문에, 검게 된다. 따라서, 흑색부로 둘러싸인 백색부의 중심 부분 을 손가락의 지시 좌표로 하는 것이 바람직하다.

한편, 옥외 등의 주위가 밝은 장소에서는, 손가락을 접촉하지 않은 장소에서 외광에 의해 센서가 반응하여, 거의 전면이 백에 가까운 상태로 된다. 이 상태에서, 손가락을 가까이 하면, 손가락이 외광을 차단하여 그림자를 만들고, 도 8c와 같이 손가락의 부분만 검은 촬상 데이터가 얻어진다. 그리고, 손가락을 화소 어레이부(1)에 접촉시키면, 도 8d에 도시한 바와 같이, 손가락의 접촉면은 화소 어레이부(1)로부터의 발광을 반사하여 희게 된다. 단, 손가락의 경계 부근에서는 외광이 차단되어, 화소 어레이부(1)의 발광의 반사도 약하기 때문에, 검게 된다. 따라서, 손가락으로 지시한 좌표를 구하기 위해서는, 흑색부로 둘러싸인 백색부의 중심부를 구하는 것이 바람직하다.

도 9는 손가락의 지시 좌표를 계산하는 처리 수순의 일례를 나타내는 플로우차트이다. 이 플로우차트는, 신호 처리 출력 회로(4) 또는 컨트롤러(6)에 의해 실행된다. 우선, 1 화면분의 센서의 취득 화상 중, 흑의 비율이 백의 비율보다도 많은지의 여부를 판정한다(스텝 S1). 흑의 비율이 더 많은 경우에는, 주위가 어둡다고 판단하여, 촬상 데이터가 흑으로부터 백으로 급격하게 변화한 영역의 선단부의 좌표를, 손가락으로 접촉한 지시 좌표로 한다(단계 S2).

한편, 흑의 비율보다도 백의 비율이 더 많은 경우에는, 주위가 밝다고 판단하여, 백으로부터 흑으로 변화한 영역 내의 백부의 중심 좌표를, 손가락으로 접촉한 지시 좌표로 한다(스텝 S3).

다음으로, 손가락으로 접촉한 지시 좌표의 계산 방법에 대하여 상술한다. 이 계산은 어레이 기판 상에서 행하는 것이 바람직하다. 그 이유는, 외부 IC에서 이 계산을 행하면, 어레이 기판으로부터 전체 화소분의 백/흑 데이터를 출력해야하므로, 소비 전력이 증대할 뿐만 아니라, 좌표 검출에도 시간이 걸리기 때문이다.

일례로서, 320 × 240 도트의 소위 QVGA 패널에 대하여 설명한다. 각 화소의 좌표를 (x, y)로 한다. 단, x는 0, 1, …, 319이고, y는 0, 1, …, 239이다.

도 1O에 도시하는 손가락의 지시 좌표(Ex, Ey)는, 수학식 1로 구할 수 있다.

수학식 1의 분모의 ∑L(x, y)는 백의 화소의 총 수로 된다.

또한, 손가락의 면적(Vx, Vy)은, 수학식 2로 구할 수 있다.

본 실시예에서는, 화소 어레이부(1)를 신호선 방향으로 8 분할하여 손가락의 지시 좌표를 산출한다. 이 경우, 촬상 데이터의 1 화면분의 가산값 W는 수학식 3으로 표현되고, 지시 좌표의 x 좌표 Ex는 수학식 4로 표현된다.

여기서, 수학식 5와 같이 둔다.

이 때, 수학식 4는 수학식 6과 같이 된다.

수학식 6 중에서 w는 수학식 7로 표현된다.

마찬가지로 하여, Ey는 수학식 8과 같이 된다.

전술한 좌표 계산은 신호 처리 출력 회로(4) 또는 컨트롤러(6)에 의해 행해진다. 도 11은 좌표 계산을 신호 처리 출력 회로(4)에서 행하는 경우의 신호 처리 출력 회로(4)의 내부 구성의 일례를 도시하는 블록도이다. 도 11의 내부 구성은, 도 1의 프리차지 회로(16), 4 선택 디코더(17), 시프트 레지스터(18) 및 출력 버퍼(19)를 대신하는 것이다.

도 11의 신호 처리 출력 회로(4)는, 수학식 5의 연산을 행하는 종속 접속된 n 개의 DSP(41)와, DSP(41)에 의해 계산된 Xi(y)(0 ≤ i ≤ 7)을 저장하는 레지스터(42)와, DSP(41)에 의해 계산된 Wi(y)(0 ≤ i ≤ 7)을 저장하는 레지스터(43)와, 수학식 9의 연산을 행하는 DSP(44)와, 수학식 10의 연산을 행하는 DSP(45)와, 레지스터 X(y)와, 레지스터 W(y)와, 수학식 11의 연산을 행하는 DSP(46)와, 수학식 12의 연산을 행하는 DSP(47)와, 수학식 13의 연산을 행하는 DSP(48)를 갖는다.

이들 회로는 저온 폴리실리콘 TFT 기술 등을 이용하여 LCD 기판(1) 상에 내장하는 것이 유리하다. 전체 화면의 비트 맵을 모두 외부 IC에 인도하는 구성보다, 수학식 11, 수학식 12, 수학식 13의 곱의 합 연산의 결과만을 외부 IC에 인도하는 것이 유리하다. 최종적인 좌표 계산은 외부 IC로 시키지만, 그 때문에 외부 IC에 인도하는 데이터량은 적을수록, 좌표 검출에 필요한 시간 및 소비 전력면에서 유리하게 되기 때문이다. 또한, 수학식 1, 수학식 2의 계산까지 LCD 기판(1) 상에서 행하는 것은 손해이다. 수학식 1, 수학식 2의 「나눗셈」을 위한 회로는 일반적으로 복잡하고, LCD 기판 중 표시 에리어가 아닌 프레임 에리어(여기에 연산 회로가 형성됨)가 커지기 때문이다. LCD 기판(1) 상에서의 처리는 수학식 11, 수학 식 12, 수학식 13과 같은 「행마다 행하여 축차적으로 가산할 수 있는 곱의 합 연산」까지로 제한하는 것이 바람직하다. 「전체 화소의 데이터에 기초하여 행하는 나눗셈」과 같은 복잡한 계산은 컨트롤러(6) 등의 외부 반도체로 행하는 것이 유리하다. 또한, 수학식 11, 수학식 12, 수학식 13의 우변은 전체 데이터가 출력하고 비로소 계산할 수 있는 양이 아니라, 각 행의 데이터가 출력할 때마다 우변을 계산할 수 있다. 이와 같이 전체 데이터의 출력을 기다리지 않고, 평행하게 계산해 둘 수 있게 되어 있으면, 데이터 출력 후, 좌표가 확정되기까지의 시간을 단축할 수 있는 이점이나, 계산을 행하기 위한 하드웨어로서, 비교적 동작 속도가 느린 저음 폴리실리콘 TFT로 이루어지는 회로를 이용할 수 있는 이점이 있다. 이와 같이, 본 실시예에서는, 화상 취득 기능을 갖는 액정 표시 장치에서, 화소 어레이부(1)에 손가락을 접근시키거나 접촉시켰을 때의 촬상 데이터의 흑백의 변화를 검출하고, 또한 주위의 밝기를 고려하여 손가락의 좌표 위치를 특정하도록 하였기 때문에, 주위가 밝은 경우든, 어두운 경우든, 좌표 위치를 정밀도 높게 검출 가능하다.

또한, 좌표 검출을 행할 때에는, 전체 화소분의 촬상 데이터를 검출하는 것이 아니라, 신호선 방향 및 주사선 방향 모두 복수 화소마다 촬상 데이터를 검출하기 때문에, 좌표 검출에 필요한 시간을 단축할 수 있다.

또한, 좌표 위치를 계산하는 촬상 데이터는, 촬상 화상에 대하여 노이즈 제거나 특정 형상(손가락이나 지시 부재를 식별하기 위한 형상)의 검출 등의 화상 처리를 실시한 후의 것(처리 화상)이어도 된다. 이에 의해, 검출 정밀도를 향상시킬 수 있다.

센서의 밀도는 화소 : 센서 = 1 : 1이 아니라, 10 화소에 1 센서와 같이 하여도 된다. 또한, 센서는 표시 에리어의 최외주에만 배치하여도 된다.

전술한 실시예에서는, 본 발명을 액정 표시 장치에 적용한 예에 대하여 주로 설명하였지만, 본 발명은 화상 취득 기능을 갖는 모든 종류의 평면 표시 장치에 적용 가능하다.

(제2 실시예)

제2 실시예는, 연속하여 촬상된 2매의 촬상 화상의 차분 화상에 기초하여, 손가락의 좌표 검출을 행하는 것이다.

도 12는 신호 처리 출력 회로(4) 또는 컨트롤러(6)가 행하는 손가락의 좌표 검출 처리를 도시하는 플로우차트이고, 도 13은 촬상 화상의 일례를 도시하는 도면이다. 우선, 백라이트를 점등한 상태에서 1 프레임분의 촬상을 행하여, 그 촬상 결과(이하, 제1 화상)를 도시되지 않은 기억 장치에 기억해 둔다(스텝 S11).

촬상 화상에는, 도 13a에 도시한 바와 같이 백라이트의 점등/소등에 관계없이 노이즈 광에 의한 백색 부분을 포함하고, 백라이트를 점등한 상태에서는, 도 13b에 도시한 바와 같이 손가락에 의한 백색 부분과 노이즈 광에 의한 백색 부분을 포함한 화상이 얻어진다.

다음으로, 백라이트가 비점등의 상태에서 1 프레임분의 촬상을 행하고, 그 촬상 결과(이하, 제2 화상)를 도시되지 않은 기억 장치에 기억해 둔다(스텝 S12). 백라이트를 소등한 상태에서는, 도 13c에 도시한 바와 같이손가락에 의한 백색 부분은 존재하지 않지만, 노이즈 광에 의한 백색 부분을 포함한 화상이 얻어진다.

다음으로, 제1 및 제2 화상의 차분(이하, 차분 화상)을 검출한다(스텝 S13). 예를 들면, 촬상 결과가 백인 경우를 1, 흑인 경우를 0으로 하면, 양 화상 모두 동일한 색인 경우에는, 차분은 제로이고, 제1 화상이 1이고 제2 화상이 0이면, 차분은 1이다. 제1 및 제2 화상의 차분을 취함으로써, 도 13d에 도시한 바와 같이 노이즈 광에 의한 백색 부분이 없는 차분 화상이 얻어진다.

다음으로, 전술한 수학식 1과 수학식 2를 이용하여, 차분 화상의 중심 좌표와 직경을 계산한다(스텝 S14).

다음으로, 차분 화상의 직경이 급격히 증대하였는지의 여부를 판정한다(스텝 S15). 도 14는 손가락과 화소 어레이부(1)의 거리에 의해 촬상 화상이 변화하는 모습을 도시하는 도면이다. 도 14a는 손가락과 화소 어레이부(1)의 거리를 개념적으로 도시하는 도면이고, 도 14b는 거리 = 5㎜, 도 14c는 거리 = 2㎜, 도 14d는 거리 = 0㎜, 도 14e는 거리 = 0㎜에서 손가락을 화소 어레이부(1)에 누른 경우를 나타내고 있다. 거리 = 5㎜ 및 2㎜인 경우, 손가락의 볼록한 부분으로부터의 반사광은 거의 화소 어레이부(1)의 센서에 도달하지 않는다. 거리 = 0㎜로 되면, 손가락의 볼록한 부분으로부터의 반사광이 센서에 입력된 부분만 희게 된다. 그 백 부분의 면적은, 손가락을 누른 경우에는 크게 된다.

그 때문에, 도 12의 스텝 S14에서, 차분 화상의 직경이 급격히 증대하였다고 판정된 경우에는, 손가락이 화소 어레이부(1)에 확실하게 접촉되었다고 판단할 수 있다. 이 경우, 차분 화상의 중심 좌표를 손가락의 접촉 위치로 하고(스텝 S16), 스텝 S11의 처리로 되돌아간다. 한편, 스텝 S15에서 차분 화상의 직경이 급격히 증대하지 않았다고 판정된 경우에는, 손가락은 접촉되어 있지 않다고 판단하여 스텝 S11의 처리로 되돌아간다.

도 15는 제2 실시예의 동작 타이밍도이다. 도 15에 도시한 바와 같이 통상 표시 기간 t1과 손가락 좌표 검출 기간 t2가 설정된다. 통상 표시 기간은, 손가락 좌표 검출은 행해지지 않는다. 이 기간은, 신호선 구동 회로(2)로부터 각 신호선에 표시용 아날로그 전압이 공급되어, 주사선 구동 회로(3)에 의해 각 행의 주사선이 소정의 순서로 구동된다. 1초 동안에 50회(50㎐, 즉 20㎳ec)의 주기로 화면 표시가 반복된다.

손가락 좌표 검출 기간은, 표시를 행하면서 손가락의 좌표 검출을 행한다. 구체적으로는, 1 프레임마다, 백라이트의 점등/소등을 반복한다. 그 때문에, 유저에게는 화면이 점멸(blink)하는 것처럼 시인되고, 손가락 좌표 검출 기간인 것을 유저에게 통지할 수 있다. 점멸의 주파수는 50㎐ 이상에서는, 「화면의 깜빡임」으로 되어 유저에게 불쾌감을 주는 경우가 있다. 그와 같은 경우에는 점멸의 주파수를 15㎐ 정도 이하로 하는 것이 좋다.

1 프레임 기간(20㎳)에는, 현실적으로 주사선을 구동하여 영상 신호를 화소에 기입하는 표시 기간(16㎳ec)과, 최종행까지 다 기입하고나서 다음 프레임을 기입하여 시작할 때까지의 블랭크 기간(4㎳ec)이 있다. 블랭크 기간에는, 화소 내의 센서로부터의 데이터 출력을 행함과 함께, 다음 프레임에서의 촬상을 위하여 각 화소의 센서 용량에 프리차지를 행한다. 이 데이터 출력과 센서 용량에의 프리차지는, 각 프레임마다 행한다.

손가락 좌표 검출 기간 내에는, 도 15에 도시한 바와 같이 백라이트를 주기적으로 점등/소등하여, 도 12의 수순으로 차분 화상을 반복하여 검출한다.

이와 같이, 제2 실시예에서는, 백라이트를 점등시킨 상태에서의 촬상 화상과 소등시킨 상태에서의 촬상 화상과의 차분 화상에 기초하여 손가락의 접촉 위치를 검출하기 때문에, 노이즈 광의 영향을 받지 않고, 정밀도 높게 손가락의 접촉 위치를 검출할 수 있다.

(제3 실시예)

전술한 제2 실시예에서는, 손가락 좌표 검출 기간 내에 백라이트를 점등/소등시키는 예를 설명하였지만, 백라이트를 점등시킨 상태에서, 화소 어레이부(1) 전체의 색을 바꿔 차분 화상을 검출하여도 된다.

보다 구체적으로는, 손가락 좌표 검출 기간 내에는, 화소 어레이부(1) 전체를 1 프레임분의 촬상을 행할 때마다 흑 표시한다. 그리고, 흑 표시한 경우로 하지 않은 경우의 촬상 화상의 차분에 의해 차분 화상을 검출한다. 화소 어레이부(1) 전체를 흑 표시하면, 화소 어레이부(1)로부터의 광이 손가락의 볼록한 부분에 조사되지 않기 때문에, 손가락의 볼록한 부분으로부터의 반사광이 센서에 입력되지 않고, 제2 실시예와 마찬가지의 손가락 좌표 검출이 가능하게 된다.

이와 같이, 제3 실시예에서는, 백라이트를 점등/소등시키지 않아도 되기 때문에, 백라이트의 제어가 간이화되고, 또한 백라이트의 수명 향상이 도모된다.

또한, 차분 화상을 취득하기 위한 2 종류의 표시는 여러가지로 생각할 수 있다. 즉, 제1 표시에서는, 손가락 등의 지시 부재에 의한 지시부가 촬상 화상에서 「백」이 많아지고, 제2 표시에서는 「흑」이 많아지도록(즉 촬상 콘트라스트비가 높은) 2 종류의 표시이면 된다. 이것은 센서의 분광 특성이나 지시 부재의 반사 특성 등을 고려하여 최적화하면 된다.

(제4 실시예)

제2 및 제3 실시예에서는, 손가락 좌표 검출 시에 화소 어레이부(1)의 전체의 휘도를 주기적으로 변화시키는 예를 나타내었지만, 일부의 화면 영역만의 휘도를 바꾸어도 된다.

화면에 버튼을 표시하여, 그 버튼을 손가락으로 접촉시키도록 한 터치 스크린 방식을 채용하는 표시 장치가 알려져 있다. 이러한 터치 스크린을 본 실시예에서 채용하는 경우, 손가락 좌표 검출 시에 화면 전체의 휘도를 변경할 필요는 없고, 버튼의 표시 영역만의 휘도를 변경하면 된다.

따라서, 본 실시예에서는, 도 16에 도시한 바와 같이 화면의 버튼 표시 영역 r1, r2만의 휘도를 손가락 좌표 검출 시에 주기적으로 변경한다. 보다 구체적으로는, 백라이트는 점등한 상태로 해 두고, 버튼의 표시 영역에 대응하는 화소의 색을 1 프레임마다 흑으로 한다. 손가락 좌표 검출을 행하는 수순은, 도 12의 플로우차트를 그대로 이용할 수 있다.

이와 같이, 제4 실시예는, 손가락 좌표 검출 시에, 버튼의 표시 영역만 휘도를 변경하기 때문에, 손가락 좌표 검출 시의 화면의 재기입 처리 부담을 경감시킬 수 있다.

또한, 버튼부의 표시는 여러가지 변형이 가능한데, 즉 촬상 콘트라스트비가 높은 2 종류의 표시이면 되는 것은 제3 실시예의 말미에 설명한 것과 마찬가지이다.

(제5 실시예)

제5 실시예는, 인간의 손가락 이외의 지시 부재를 이용하여 특정 위치를 지정하는 것이다.

인간의 손가락의 표면의 색이나 손가락의 굵기에는 개인차가 있고, 또한 장갑을 끼고 있는 경우 등도 있어, 검출 감도가 인간에 따라, 또는 시간과 경우에 따라 변동될 우려가 있다.

따라서, 볼 형상의 연성의 지시 부재를 화소 어레이부(1)에 눌러 특정 위치를 지시하는 것이 생각되어진다. 본 실시예의 표시 장치를 휴대 전화 등에 적용하는 경우에는, 도 17에 도시한 바와 같이 휴대 전화 등에 부속의 스트랩에 전술한 지시 부재(50)를 부착하면 된다.

이러한 종류의 지시 부재는, 반사율이 예를 들면 50% 이상, 바람직하게는 100%에 가까워지는 도장을 행하는 것이 바람직하다. 여기서 반사율이란 황산바륨 등을 도포하여 작성하는 표준 백색판의 반사율을 기준으로 한다. 지시 부재의 예로서, 사진 인화지나 상질지 등을 지시 부재로서 이용할 수 있다. 또한 도 35a 또는 도 35b와 같은 알루미늄 등을 증착시킨 거울과 같은 면(경면 반사면)이어도 된다. 이러한 경우에는 종이와 달리 표면이 확산 반사면이 아니므로 촬상 화상이 흐려지기 어려워, 고정밀도의 위치 검출이 가능하게 된다. 표시면 상에 표시 장치가 깨어지는 것을 방지하기 위한 보호 아크릴판을 배치하는 것이 바람직하다. 혹은, 센서가 화상 검출하기 쉬운 도장을 행하는 것이 바람직하다. 또한, 연성의 재질을 선택함으로써, 화소 어레이부(1)에 살짝 눌렀을 때에, 접촉 면적이 넓어지기 때문에, 센서의 화상으로서 확실하게 검출할 수 있다.

이와 같이, 제5 실시예에서는, 지시 부재를 이용하여 화소 어레이부(1) 상의 특정 위치를 지정하도록 하였기 때문에, 손가락의 표면의 색이나 손가락의 굵기 등에 의하지 않고, 손가락 좌표 검출을 행할 수 있어, 손가락 좌표 검출의 정밀도가 향상된다.

또한, 지시 부재의 표면을 도 31에 도시한 바와 같이 체크 무늬 등의 특수 패턴으로 하면 된다. 촬상 결과 중에서 체크 패턴을 검출할 수 있던 부분이 지시 위치라고 판단할 수 있기 때문이다. 이것을 표시면에 강하게 눌렀을 때의 접촉면은, 도 32의 상태로부터 도 33와 같이 접촉 면적이 증대한다. 이에 의해, 촬상 화상에 차지하는 체크 무늬의 면적의 비율이 증대한다. 이것을 탭이라고 판단하면 된다. 또한, 특수 패턴은 모양이든 형상이든 상관없다. 또한, 지시 부재에 LED 등의 도시하지 않은 광원을 내장하여, 지시 부재가 표시면에 접했을 때에 센서를 판독할 수 있을 정도의 모양을 투영하도록 하여도 된다. 또한, 지시 부재의 접촉 면적은, 유저가 표시면에 눌렀을 때에 어느 정도 확대되어야 하지만, 너무 부드러워 직경이 100% 이상 증가하면 오히려 사용감이 나빠진다.

(제6 실시예)

통상적으로, 백라이트에는 형광관이 이용되지만, 손가락 좌표 검출 기간 내에 백라이트의 점등/소등을 반복하는 경우에는, 응답 속도가 빠른 LED를 백라이트 의 광원으로서 이용하면 된다. 이 경우, LED를 화소 어레이부(1) 전체적으로 균일하게 복수개 설치하여도 되고, 하나 혹은 소수의 LED를 화소 어레이부(1)의 단부에 배치하여도 된다.

혹은, 백라이트는, 손가락 좌표 검출시간도 항상 점등한 상태로 해 두고, 백라이트와는 별개의 광원을 손가락 좌표 검출에 이용하여도 된다. 이 별개의 광원은, LED, EL(Electroluminescence) 또는 적외광원이 바람직하다.

또한, 도 18의 동작 타이밍도에 도시한 바와 같이, 표시 프레임 기간 사이에 손가락 좌표 검출 기간을 설정하는 경우, 손가락 좌표 검출 기간 내의 백라이트 점등 기간과 소등 기간의 폭을 임의로 변경하여도 된다. 이에 의해, 위상 검파를 행할 수 있어, 촬상 화상의 S/N비가 좋아진다. 즉, 백라이트의 점등/소등은 촬상 화상 중 손가락 등의 반사광의 부분에 가장 강하게 영향을 준다. 이 부분에서는 백라이트가 점등하고 있을 때에는 백에 대응하는 데이터가 많아지고, 백라이트가 비점등일 때에는 흑에 대응하는 데이터가 많아진다. 다른 부분은 외광 등의 주위광에 의존하므로 백라이트의 점등/비점등에 가장 잘 추종하는 부분이 손가락 등에 의해 지시되고 있는 지시 위치라고 판단할 수 있다.

(제7 실시예)

제7 실시예는, 통상의 표시 프레임 사이에, 촬상을 위한 프레임(촬상 프레임)을 삽입하고, 연속하여 촬상된 2매의 촬상 화상의 차분 화상에 기초하여, 손가락의 좌표 검출을 행하는 것이다.

도 19는 글래스 기판(Glass substrate)(51) 상에 저온 폴리실리콘 TFT 기술 을 이용하여 형성하는 회로와, 외부 콘트롤러(6)와, 호스트 장치(52)를 구비하는 표시 장치의 개략 구성도이다. 글래스 기판(51) 상에는, 화소 어레이부(1), 신호선 구동 회로(2), 주사선 구동 회로(3), 신호 처리 출력 회로(4), 센서 컨트롤러(53) 및 A/D 컨버터(54) 등이 형성된다. 컨트롤러(6)는, 표시 데이터를 글래스 기판(51)에 공급하는 것 외에, 글래스 기판(51)의 신호 처리 출력 회로(4)로부터 출력되는 화상 데이터에 기초하여, 손가락이 지시하는 좌표나 탭(손가락에 의한 클릭 동작) 지시 유무의 판정을 행한다.

손가락에 의한 입력을 접수하지 않는 통상 표시에서는, 프레임 주파수 50㎐에서 컨트롤러(6)로부터 표시 데이터가 글래스 기판(51)에 공급된다. 손가락 입력을 접수하는 상태에서는, 도 20에 도시한 바와 같이 표시 프레임 사이에, 촬상을 위한 3개의 프레임 F1, F2, F3이 삽입된다. 이들 프레임 중 하나는 더미 프레임 F1이고, 나머지 2개는 촬상 프레임 F3이다.

더미 프레임 F1에서는, 표시를 백 래스터 표시로 변화시킨다. 자주 사용되는 트위스테드 네마틱 액정의 응답 속도는 10㎳ 정도로 느리기 때문에, 바로 촬상하면, 표시 프레임의 그림이 잔상으로서 남기 때문에, 손가락의 반사광 외에 흰 부분이 남아 좌표 연산을 잘못하는 원인으로 된다. 이것을 회피하기 위해 더미 프레임 F1을 설정하였다.

촬상 프레임 F2, F3 중 하나는 백 래스터이고, 또 하나는 흑 래스터이다. 여기서 흑 래스터는, 표시 데이터로서 흑을 기입하지 않고, 백라이트를 소등함으로써 실현한다. 이와 같이 하면, 액정의 응답이 느려도, 빠르고 균일한 흑 표시를 행할 수 있다. 백라이트 점등 시의 촬상 화상과, 백라이트 소등 시의 촬상 화상을 이용하여, 노이즈 광을 제거한 좌표 연산을 컨트롤러(6)에 의해 행한다. 이것은 제2 실시예와 마찬가지의 방법으로 행한다.

이와 같이, 제7 실시예에서는, 표시 프레임과 촬상 프레임의 사이에 더미 프레임을 설치하기 때문에, 촬상 프레임이 표시 프레임의 잔상의 영향을 받지 않게 되어, 촬상 화상의 화질이 좋아진다. 또한, 촬상 프레임을 2개 설치하기 때문에, 노이즈 광을 확실하게 제거할 수 있다.

(제8 실시예)

제8 실시예는, 통상의 표시 프레임 사이에 설치하는 촬상 프레임을 특수 패턴으로 하여, 2매의 촬상 결과의 차분 연산을 불필요하게 한다.

손가락에 의한 입력을 접수하지 않는 통상 표시에서는, 프레임 주파수 50㎐에서 컨트롤러(6)로부터 표시 데이터가 글래스 기판에 공급된다. 손가락 입력을 접수하는 상태에서는, 도 21에 도시한 바와 같이 표시 프레임 사이에, 촬상을 위한 2개의 프레임 F4, F5를 삽입한다. 이들 프레임 중 하나는 더미 프레임 F4이고, 또 하나는 촬상 프레임 F5이다.

더미 프레임 F4에서는, 표시를 특수 표시로 변화시킨다. 본 예에서는 체크 패턴으로 하였다. 자주 사용되는 트위스트 네마틱 액정의 응답 속도는 10㎳ 정도로 느리기 때문에, 바로 촬상하면, 표시 프레임의 그림이 잔상으로서 남기 때문에, 손가락의 반사광 이외에 흰 부분이 남아 좌표 연산을 잘못하는 원인으로 된다. 이것을 회피하기 위해 더미 프레임 F4를 설치하였다.

촬상 프레임 F5는 백라이트를 점등한 상태의 체크 표시이다. 도 22와 같이 손가락이 액정 표시면에 닿아 있을 뿐 아니라, 노이즈 광(태양광이나 형광등)이 표시면에 입사하고 있는 상황에서, 손가락의 좌표를 정확하게 연산할 수 있을지가 문제된다. 이 경우, 표시면에서 체크 무늬를 표시하고 있기 때문에, 액정 표시면으로부터 발해지는 광은 체크 무늬를 가지고 있다. 이것이 손가락에 반사되면 체크 무늬가 액정 표시 장치에 내장된 센서(33)로 판독된다.

한 쪽 노이즈 광은 액정 표시면의 밝기에 의하지 않는다. 도 22의 상황에서의 촬상 결과는 도 23과 같이, 손가락으로 접촉한 영역만이 체크 무늬가 되고, 노이즈 광이 입사한 부분은 백색으로 된다. 따라서, 컨트롤러(6)는, 액정 표시 장치로부터 출력되는 촬상 데이터 중, 체크 무늬로 되어 있는 부분을 검색하여, 그 중심 좌표를 연산하면 된다. 또한, 탭의 검출을 행하는 경우도 마찬가지이며, 체크 무늬를 갖는 부분의 직경을 계산하여, 직경이 급변 시에 탭이라고 간주하면 된다.

또한, 특수 패턴의 반복 주기(본 예에서는, 체크 무늬의 미세함)를 너무 작게 하면, 촬상 화상 내에서 특수 패턴이 손상되어(희미해져) 노이즈 광과 지시 부재에 의한 반사광과의 식별을 할 수 없는 경우가 있다. 특히 마이크로 렌즈 등의 광학계를 갖지 않는 표시 장치로 판독을 행하는 경우에는, 손가락이 표시면을 탭하고 있는 상태에서, 손가락과 광 센서 사이의 거리 d0보다 미세한 체크 무늬를 인식하는 것은 어렵다. 반대로 체크 무늬가 지나치게 거칠면 손가락의 중심 위치를 계산할 때의 정밀도가 나빠진다. 따라서 체크 무늬의 흑이나 백의 패턴의 폭의 최소값은, d0보다 크고, 바람직하게는 d0의 2배로부터 5배 정도로 하는 것이 바람직하 다. 본 실시예에서는, 글래스 기판의 두께가 0.4㎜, 편광판 등의 광학 필름의 두께가 0.2㎜ 이므로, d0 = 0.4 + 0.2 = 0.6㎜로 된다. 체크는 1.2㎟ 외곽선의 정사각형과 1.2㎟의 흑색의 정사각형을 조합하는 패턴으로 하였다.

촬상 프레임에서 이용하는 특수 패턴은 여러가지 변형이 가능하다. 도 34에 도시한 바와 같은 격자이어도 된다. 체크 무늬에서는 단위 면적당 백 화소수와 흑 화소수가 동일한 데 대하여, 격자에서는 백 화소수의 수가 많아진다. 특수 패턴의 단위 면적당 백 화소수가 흑 화소수에 대하여 많을 때일수록, 손가락이나 지시 부재에 해당하는 광량이 많아지고, 손가락이나 지시 부재에 반사되어 센서에 입사하는 광량이 증가하기 때문에, 보다 단시간에서의 검출을 행할 수 있다. 한편, 백 화소의 비율을 극단적으로 증대시키면 노이즈 광과 지시 부재의 반사광과의 식별 능력이 저하된다. 단위 면적당 백 화소/흑 화소의 비는 2∼9의 범위가 바람직하다.

도 34에서, 흑 화소의 폭을 a, 백 화소의 폭을 b, 센서와 촬상 대상물이 가장 근접한 경우의 간격을 d0으로 하면, 이하의 수학식 14 ∼ 수학식 16을 만족시킬 필요가 있다.

수학식 14와 수학식 15는, 흑 화소 또는 백 화소의 폭을 d0으로 나눈 값을 2 ∼ 5로 설정하는 것을 나타내고 있다. 2 ∼ 5는 실험에 의해 얻을 수 있는 경험값이다. 수학식 16은, 단위 면적당 백 화소의 면적의 비율을 2 ∼ 9로 설정하는 것을 나타내고 있다. 2∼9는 실험에 의해 얻어진 경험값이다.

또한, 특수 패턴에 이용하는 색은 백과 흑으로 한정되는 것은 아니다. 촬상 콘트라스트비가 높은 2색이면 되며, 센서의 분광 특성이나 지시 부재의 반사 특성 등도 고려하여 최적화하면 된다. 외광이 특수 패턴을 나타내어 표시면에 입사하는 것이 있는 것을 고려하여, 외광으로는 구성하기 어려운 패턴으로 하는 것이 좋다. 또한, 단일 패턴에 한하지 않는다. 몇개의 촬상 프레임용의 특수 패턴을 준비해 두고, 조합하여 사용하여도 된다.

도 24는 복수의 특수 패턴을 이용하여 촬상을 행하는 예를 도시하는 도면이다. 도 24에서는, 체크 패턴을 표시하여 촬상하고, 촬상 결과로부터 체크 패턴부를 검색한다. 다음 촬상 프레임에서는 세로 줄무늬 패턴을 표시하여 촬상하고, 촬상 결과로부터 세로 줄무늬 패턴부를 검색한다.

도 25는 도 24의 특수 패턴을 이용하여 촬상을 행함으로써 얻어진 촬상 화상을 도시하는 도면이고, 도 25a는 체크 패턴을 이용한 경우의 촬상 화상이고, 도 25b는 세로 줄무늬 패턴을 이용한 경우의 촬상 화상을 도시하고 있다. 도 25와 같 이 체크 패턴부와 세로 줄무늬 패턴부가 거의 동일한 위치에 검출된 경우에 손가락 좌표라고 판단한다. 만약, 어느 한쪽뿐이면, 예를 들면 세로 줄무늬의 노이즈 광이 운 나쁘게 입사한 것뿐이라고 판단한다. 이와 같이 하여 손가락의 식별력을 높일 수 있다. 이에 의해, 노이즈 광에 의한 오동작의 확률을 더 저감할 수 있다.

특수 패턴의 색도, 백과 흑의 조합 이외에도 가능하다. 도 26과 같이, 예를 들면 백과 흑의 체크 패턴으로 촬상하고, 다음 촬상 프레임에서는 적과 흑의 체크 패턴으로 촬상하여도 된다. 저온 폴리실리콘 프로세스를 이용하여 형성하는 포토다이오드로서는 적에 대한 감도가 비교적 낮기 때문에, 백과 흑의 체크 패턴에서의 촬상 결과에서는 도 27a와 같이 체크 무늬가 명확하고, 적과 흑의 체크 패턴에서의 촬상 결과에서는 도 27b와 같이 체크 무늬가 희미하다. 한편, 외 노이즈 광의 영향은 특수 패턴의 색이 바뀌어도 불변하는 그 이유는, 도 4와 같이 센서(33)가 내장된 어레이 기판을 프론트측에 배치되어 있기 때문에, 액정 표시가 변화하였다고 해도 센서(33)에의 도달 신호는 변화하지 않기 때문이다. 즉 센서(33)가 내장된 어레이 기판이 리어측(백라이트측)에 배치되어 있는 경우에는, 외광이 센서에 도달하기 전에 액정층을 통과하기 때문에 표시에 의한 영향을 받는 것으로 되어, 손가락의 반사광과의 구별이 어렵게 되는 문제점이 있다. 이와 같이, 촬상 결과 중, 촬상 시의 표시 조건에 응답하고 있는 부분을 손가락, 응답하지 않는 부분을 노이즈로 하는 취지로써 여러가지 변형이 가능하다.

(제9 실시예)

제9 실시예는, 도 28에 도시한 바와 같이 표시 프레임의 일부에 손가락 입력 위치를 지시하는 패턴(선택 버튼 등)을 표시하는 것이다. 선택 버튼 등의 부분이 특수 패턴으로 된다. 본 예에서는 체크 패턴으로 하고 있다. 이와 같이 하면 컨트롤러(6)는 화상 데이터의 해석을 선택 버튼의 표시 영역에 대해서만 행하면 되므로 처리를 고속화할 수 있다. 또한, 노이즈 광에 의한 오동작이 발생하는 확률을 더 저감할 수 있다.

본 장치가 오동작하는 요인은, (1) 체크 패턴을 갖은 노이즈 광이, (2) 선택 버튼에 입사하는 경우이다. (2)의 요청이 가해지는 점에서 제7 실시예보다 오동작 확률이 감소한다. 또한, 제7 실시예와 상이하고, 표시 프레임 사이에 촬상을 위한 특수 패턴을 삽입할 필요가 없다. 컨트롤러의 동작이 비교적 단순하게 되기 때문에, 컨트롤러의 게이트수를 적게 할 수 있으며, 컨트롤러를 저가로 할 수 있다.

손가락에 의한 입력을 접수하지 않는 통상 표시에서는, 프레임 주파수 50㎐에서 컨트롤러(6)로부터 표시 데이터가 글래스 기판에 공급된다. 이 때에는 굳이 스위치 등을 표시할 필요는 없다. 손가락 입력을 접수하는 상태에서는, 도 28에 도시한 바와 같이 표시 프레임의 임의의 위치에, 선택 버튼을 표시한다. 선택 버튼의 표시 영역은 특수 패턴으로 한다. 본 예에서는 체크 패턴으로 하였다.

도 29와 같이 표시면에 임의 화상과 3개의 스위치가 세로로 배열되어 표시되어, 손가락으로 위에서부터 2번째의 선택 버튼을 선택하고, 노이즈 광이 위에서부터 3번째의 선택 버튼에 입사되는 경우를 생각한다. 촬상 화상 중 선택 버튼만 추출한 것이 도 30이다. 가장 위의 스위치는 흑이므로 선택되어 있지 않다고 판단할 수 있다. 위에서부터 3번째의 스위치는 단지 '백'일 뿐이므로, 외광 노이즈에 의 한 것이라고 판단할 수 있다. 위에서부터 2번째의 스위치에는 체크 패턴이 있으므로 손가락에 의해 선택되었다고 판단할 수 있다. 이와 같이 하여 손가락에 의한 지시와 노이즈 광을 구별할 수 있다.

또한, 특수 패턴은 체크 패턴에 한하지 않고 여러가지 변형이 가능하다. 특수 패턴의 색도 여러가지로 생각되어진다. 즉 센서의 분광 특성이나 지시 부재의 반사 특성 등을 고려하여 촬상 콘트라스트비가 높은 색을 조합하는 것이 바람직하다. 패턴을 구성하는 선분 등의 가늘기는 제8 실시예와 마찬가지이다.

제1 실시예 ∼ 제9 실시예는 모두 공지된 「촬상 화상으로부터의 노이즈 제거 수단」, 「촬상 화상 중에서 특수한 패턴을 검색·추출하는 수단」 등으로 조합하여 이용할 수 있다

본 발명에 따르면, 촬상부에서 촬상된 2치 데이터와 주위의 밝기에 기초하여, 손 또는 지시 부재의 지시 위치를 검출하기 때문에, 주위가 밝든 어둡든, 고정밀도의 검출이 가능하게 된다.

Claims (30)

1. 표시 화면의 소정의 장소를 인간의 손 또는 지시 부재에 의해 지시한 것을 검지하는 것이 가능한 표시 장치로서,

   종횡으로 줄지어 설치되는 신호선 및 주사선의 각 교점 부근에 형성되는 표시 소자와,

   상기 표시 소자 각각에 대응하여 설치되고, 표시 화면에 상기 표시 소자에 의해 소정의 표시 화상을 표시시킨 상태에서, 각각 소정 범위의 입사광을 촬상하는 촬상부와,

   촬상 화상으로부터, 촬상 시의 표시 화상과 상관이 높은 부분을, 손 또는 지시 부재에 의한 표시 화면 상의 지시 위치로서 검출하는 포인터 검출 수단

   을 구비하는 표시 장치.
2. 제1항에 있어서,

   상기 표시 소자는, 상기 촬상 시에, 촬상 콘트라스트비가 높은 2 종류의 표시 화상을 시간을 달리하여 표시하고,

   상기 촬상부는, 상기 2 종류의 표시 화상 각각이 표시되어 있을 때에, 각각 별개로 촬상을 행하는 표시 장치.
3. 제2항에 있어서,

   상기 2 종류의 표시 화상은, 상호 표시 휘도차가 큰 표시 화상인 표시 장치.
4. 제3항에 있어서,

   상기 2 종류의 표시 화상의 한 쪽은, 백라이트를 소등한 상태에서의 표시 화상인 표시 장치.
5. 제3항에 있어서,

   표시 휘도가 높은 상태에서의 촬상과 낮은 상태에서의 촬상을 소정 주기로 교대로 행함으로써, 위상 검파를 행하는 표시 제어 회로를 구비하는 표시 장치.
6. 제2항에 있어서,

   상기 2 종류의 표시 화상은, 상기 촬상부의 감도가 높은 색을 포함하는 표시 화상과, 상기 촬상부의 감도가 낮은 색을 포함하는 표시 화상인 표시 장치.
7. 제2항에 있어서,

   상기 표시 소자는, 화면이 점멸하고 있다고 인간이 인식 가능한 정도의 주기로, 상기 2 종류의 표시 화상을 절환하는 표시 장치.
8. 제1항에 있어서,

   상기 2 종류의 표시 화상은 각각 적어도 2 종류의 색이 소정 피치 및 소정 비율로 조합된 패턴의 화상인 표시 장치.
9. 제8항에 있어서,

   상기 패턴은 촬상 콘트라스트비가 높은 2개의 색을 포함하는 표시 장치.
10. 제9항에 있어서,

    상기 2 종류의 색의 표시 면적의 비율은, 상기 촬상부의 감도가 높은 색의 쪽이 많은 표시 장치.
11. 제8항에 있어서,

    상기 패턴의 최소 선분은, 상기 촬상부와 상기 지시 위치와의 최소 간격 이상인 표시 장치.
12. 제1항에 있어서,

    상기 표시 소자는, 촬영 시에 복수 종류의 표시예의 표시 화상을 표시하고,

    상기 촬상부는, 상기 복수 종류의 표시예의 표시 화상 각각에 대하여 촬상을 행하고,

    상기 포인트 검출 수단은, 모든 표시예에서의 촬상 화상의 상관이 높은 부분을, 상기 지시 위치로서 검출하는 표시 장치.
13. 제1항에 있어서,

    연속한 표시 프레임 기간 사이에 촬상 프레임 기간이 설정되고,

    상기 표시 소자는, 상기 표시 프레임 기간에 대응하는 표시와, 상기 촬상 프레임 기간에 대응하는 표시를 행하고,

    상기 촬상부는, 상기 촬상 프레임 기간만 촬상 처리를 행하는 표시 장치.
14. 제13항에 있어서,

    상기 표시 소자는, 상기 표시 프레임 기간의 표시로부터 상기 촬상 프레임 기간의 표시로 절환할 때, 상기 표시 소자의 응답성을 보상하기 위한 더미 프레임에 대응하는 표시를 행하는 표시 장치.
15. 제1항에 있어서,

    손 또는 지시 부재에 의해 지시할 장소를 나타내는 지시 화상을 작성하는 지시 화상 작성 수단을 구비하고,

    상기 표시 소자는, 상기 지시 화상을 화면 상에 표시하는 표시 장치.
16. 제1항에 있어서,

    상기 촬상부 및 상기 표시 소자를 갖는 제1 기판과,

    상기 제1 기판에 대향 배치되는 제2 기판을 구비하고,

    상기 제1 기판은, 상기 제2 기판보다도 관찰자측에 배치되는 표시 장치.
17. 화상 취득 센서를 내장한 표시 장치를 구비한 정보 단말 장치로서,

    상기 화상 취득 센서의 촬상 화상에 의해 식별 가능한 표면 형태를 갖고, 표시 화면에 누르면 접촉 면적이 넓어지는 연성 재료로 형성된 휴대형 스트랩과,

    상기 스트랩을 표시 화면의 임의의 위치에 누른 상태에서, 상기 화상 취득 센서에 의해 얻어진 촬상 화상에 기초하여, 상기 스트랩을 누른 위치를 검출하는 위치 검출 수단을 구비하는 정보 단말 장치.
18. 제17항에 있어서,

    상기 연성 재료는, 반사율 50% 이상이고, 또한 표시면에 누르면 접촉 면적이 증대하는 재료인 정보 단말 장치.
19. 제18항에 있어서,

    상기 연성 재료의 표면에는, 상기 화상 취득 센서가 판독하기 용이한 모양이 첨부되어 있는 정보 단말 장치.
20. 제18항에 있어서,

    상기 연성 재료는, 상기 화상 취득 센서가 판독하기 용이한 모양을 표시면에 투영하는 광원을 갖는 정보 단말 장치.
21. 제17항에 있어서,

    상기 연성 재료는, 표시면에 누르면 접촉 면적이 증대하여, 내부에 상기 표시 장치로부터의 광을 반사하는 경면을 갖는 투명 연성 재료인 정보 단말 장치.
22. 표시 화면의 임의의 장소를 인간의 손 또는 지시 부재에 의해 지시한 것을 검지하는 것이 가능한 표시 장치로서,

    종횡으로 줄지어 설치되는 신호선 및 주사선의 각 교점 부근에 형성되는 표시 소자와,

    각각이 소정 범위의 입사광을 촬상하는 촬상부와,

    복수의 신호선마다 설치되고, 대응하는 복수의 신호선에 표시용의 화소 데이터를 공급하는 D/A 변환 회로와,

    상기 D/A 변환 회로가 복수의 신호선에 순서대로 화소 데이터를 공급하고 있는 동안에, 화소 데이터가 공급되어 있지 않은 신호선을 이용하여 상기 촬상부의 촬상 데이터를 화소로부터 출력하는 증폭 회로와,

    상기 촬상 데이터에 기초하여, 손 또는 지시 부재에 의한 표시 화면 상의 지시 위치를 검출하는 포인터 검출 수단

    을 구비하는 표시 장치.
23. 제22항에 있어서,

    상기 포인트 검출 수단은, 상기 D/A 변환 회로가 화소 데이터를 공급하는 복 수의 신호선 중, 어느 하나의 신호선에 접속된 화소 내의 촬상 데이터에 기초하여 지시 위치를 검출하는 표시 장치.
24. 제22항에 있어서,

    상기 포인트 검출 수단은, 인접하는 복수의 주사선 중 하나의 주사선에 접속된 화소 내의 촬상 데이터에 기초하여 지시 위치를 검출하는 표시 장치.
25. 제22항에 있어서,

    상기 포인트 검출 수단은, 상기 촬상부가 촬상을 행할 때마다, 지시 위치를 나타내는 화상을 검출하고, 해당 화상의 직경이 최대로 된 경우에, 손 또는 지시 부재에 의해 표시면을 강하게 누른다고 판단하는 표시 장치.
26. 제22항에 있어서,

    상기 포인터 검출 수단은, 주사선마다의 화소 데이터를 축차적으로 가산하는 복수의 곱의 합 연산과, 이들 곱의 합 연산한 결과를 분자 혹은 분모로서 행하는 제산 연산을 포함하는 표시 장치.
27. 제26항에 있어서,

    상기 표시 소자와 동일 기판 상에 형성되어 상기 곱의 합 연산을 행하는 제1 연산 회로와,

    상기 표시 소자와는 상이한 반도체 기판 상에 형성되어 상기 제산 연산을 행하는 제2 연산 회로

    를 구비하는 표시 장치.
28. 제22항에 있어서,

    상기 포인터 검출 수단은, 표시 화면의 신호선 방향의 화소수를 X, 주사선 방향의 화소수를 Y, 임의의 화소(x, y)(단, 0 ≤ x ≤ X, 또한 0 ≤ y ≤ Y)에서의 촬상 데이터를 L(x, y)로 하였을 때에,

    상기 수 또는 지시 부재의 중심 좌표(Ex, EY)를 수학식 17로 구하고, 또한 상기 수 또는 지시 부재의 x 방향 및 y 방향의 폭(Vx, Vy)를 수학식 18로 구하는 표시 장치.

    <수학식 17>

    

    <수학식 18>

    
29. 제28항에 있어서,

    상기 촬상 데이터는 화상 처리된 촬상 화상인 표시 장치.
30. 표시 화면의 임의의 장소를 인간의 손 또는 지시 부재에 의해 지시한 것을 검지하는 것이 가능한 표시 장치로서,

    종횡으로 줄지어 설치되는 신호선 및 주사선의 각 교차점 부근에 형성되는 표시 소자와,

    각각이 소정 범위의 입사광을 촬상하는 촬상부와,

    상기 촬상부에서 촬상된 화상에 대응하는 2치 데이터를 저장하는 2치 데이터 저장부와,

    상기 2치 데이터의 논리가 변화하는 장소와 주위의 밝기에 기초하여, 손 또는 지시 부재에 의한 표시 화면 상의 지시 위치를 검출하는 포인터 검출 수단을 구비하는 표시 장치.

Images