KR20060089166A - 광에 의해 화면에서 정보를 입력하는 기능을 구비한 표시장치 - Google Patents

Abstract

물체가 화면에 접촉했는지 여부의 판정의 정밀도 및 물체의 좌표 위치의 산출의 정밀도를 향상시키기 위해서, 엣지 검출 회로(76)에 의해, 촬영된 화상의 엣지를 검출하고, 접촉 판정 회로(77)에 의해, 엣지를 이용하여 물체가 화면에 접촉했는지 여부를 판정한다. 또, 외광에 따라서 광센서의 감도를 적절하게 제어하기 위해, 캘리브레이션 회로(93)에 의해, 외광에 따라 변동하는 광센서의 출력값에 기초하여 광센서의 구동 조건을 변경한다.

어레이 기판, 표시부, 엣지 검출 회로, 접촉 판정 회로, 캘리브레이션 회로

Description

광에 의해 화면에서 정보를 입력하는 기능을 구비한 표시 장치{DISPLAY DEVICE INCLUDING FUNCTION TO INPUT INFORMATION FROM SCREEN BY LIGHT}

도 1은 제1 실시예에서의 표시 장치의 구성을 도시하는 평면도.

도 2는 상기 표시 장치에서의 표시부의 구성을 도시하는 단면도.

도 3은 상기 표시부가 구비하는 화소의 구성을 도시하는 회로도.

도 4는 상기 화소에서의 광센서계의 구성을 도시하는 회로도.

도 5는 상기 표시 장치의 동작을 도시하는 타이밍차트.

도 6은 상기 표시 장치에서의 센서용 IC의 구성을 도시하는 회로 블록도.

도 7은 상기 센서용 IC에서의 데이터 처리부의 구성을 도시하는 회로 블록도.

도 8의 (a)는 손가락이 화면에 접촉하지 않은 경우에서의 노광 시간 중의 시각 t1∼t3에서의 손가락과 화면의 위치 관계를 도시하고, 도 8의 (b)는 계조화·2치화 후의 촬상 화상, 도 8의 (c)는, 엣지 화상, 도 8의 (d)는 엣지의 좌표를 각각 도시하는 도면.

도 9의 (a)는 손가락이 화면에 접촉한 경우에서의 노광 시간 중의 시가 t1∼t3에서의 손가락과 화면의 위치 관계를 도시하고, 도 9의 (b)는 계조화·2치화 후의 촬상 화상, 도 9의 (c)는 엣지 화상, 도 9의 (d)는, 엣지의 좌표를 각각 도시하 는 도면.

도 10은 제2 실시예에서의 센서용 IC의 구성을 도시하는 회로 블록도.

도 11은 도 10의 센서용 IC에서의 계조화 회로에서의 처리가 예를 도시하는 도면.

도 12는 도 10의 센서용 IC에서의 프레임간 차분 처리 회로에서의 처리의 예를 도시하는 도면.

도 13은 도 10의 센서용 IC에서의 엣지 검출 회로에서의 처리의 예를 도시하는 도면.

도 14는 손가락이 화면에 접촉하기 직전의 다계조 화상을 도시하는 도면.

도 15는 손가락이 화면에 접촉한 순간의 다계조 화상을 도시하는 도면.

도 16은 도 14의 화상의 계조값을 도시하는 3차원 그래프.

도 17은 도 15의 화상의 계조값을 도시하는 3차원 그래프.

도 18은 도 14의 화상을 2치화한 화상을 도시하는 도면.

도 19는 도 15의 화상을 2치화한 화상을 도시하는 도면.

도 20은 도 14의 화상과 도 15의 화상과의 차분 화상을 도시하는 도면.

도 21은 도 20의 화상의 계조값을 도시하는 3차원 그래프.

도 22는 도 20의 화상을 2치화한 화상을 도시하는 도면.

도 23은 밝은 환경 하에서 손가락이 화면에 접촉하기 직전의 다계조 화상을 도시하는 도면.

도 24는 밝은 환경 하에서 손가락이 화면에 접촉한 순간의 다계조 화상을 도 시하는 도면.

도 25는 도 23의 화상의 계조값을 도시하는 3차원 그래프.

도 26은 도 24의 화상의 계조값을 도시하는 3차원 그래프.

도 27은 도 23의 화상을 2치화한 화상을 도시하는 도면.

도 28은 도 24의 화상을 2치화한 화상을 도시하는 도면.

도 29는 도 23의 화상의 엣지를 검출한 화상을 도시하는 도면.

도 30은 도 24의 화상의 엣지를 검출한 화상을 도시하는 도면.

도 31은 도 29의 엣지 화상에서의 엣지 강도를 도시하는 3차원 그래프.

도 32는 도 30의 엣지 화상에서의 엣지 강도를 도시하는 3차원 그래프.

도 33은 도 29의 엣지 화상을 2치화한 화상을 도시하는 도면.

도 34는 도 30의 엣지 화상을 2치화한 화상을 도시하는 도면.

도 35는 제3 실시예의 표시 장치가 화면에 표시하는 화상 패턴을 도시하는 도면.

도 36은 제3 실시예의 표시 장치에서의 센서용 IC의 구성을 도시하는 회로 블록도.

도 37은 백색 화소의 비율과 노광 시간과의 관계를 도시하는 그래프.

도 38은 스위치마다의 백색 화소수의 시간 변화의 특징을 통합한 도면.

도 39는 접촉 판정 회로와 좌표 계산 회로에 의해, 차분 화상과 엣지 화상을 이용하여 접촉 플래그와 좌표 데이터를 계산하기 위한 구성 및 연산 처리의 흐름을 도시하는 도면.

도 40은 차분 면적 보정 회로에서의 입출력의 관계를 도시하는 그래프.

도 41은 환경광이 어두운 경우의 엣지 화상을 도시하는 도면.

도 42는 환경광이 밝은 경우의 엣지 화상을 도시하는 도면.

도 43은 접촉 판정 스테이트머신에서의 상태, 이들의 천이 패스, 천이 조건을 도시하는 도면.

도 44는 흑 배경에 백색의 스위치를 표시한 화면을 도시하는 도면.

도 45는 도 44의 화면에 대하여 S/N 비와 조도의 관계를 도시하는 그래프.

도 46은 백 배경에 흑색의 스위치를 표시한 화면을 도시하는 도면.

도 47은 도 46의 화면에 대하여 S/N 비와 조도의 관계를 도시하는 그래프.

도 48은 도 44의 백색 스위치의 내부에 흑 영역을 설치한 화면을 도시하는 도면.

도 49는 도 48의 화면에 대하여 S/N 비와 조도의 관계를 도시하는 그래프.

도 50은 도 44의 화면의 다른 변형예를 도시하는 도면.

도 51은 도 44의 화면의 또 다른 변형예를 도시하는 도면.

도 52는 도 44의 화면의 또 다른 변형예를 도시하는 도면.

도 53은 접촉 판정의 처리의 흐름을 도시하는 도면.

도 54는 외광 200lux 일 때의 접근도와 시간의 관계를 도시하는 그래프.

도 55는 외광 1000lux 일 때의 접근도와 시간의 관계를 도시하는 그래프.

도 56은 외광 200lux 일 때의 엣지 강도와 시간의 관계를 도시하는 그래프.

도 57은 외광 1000lux 일 때의 엣지 강도와 시간의 관계를 도시하는 그래프.

도 58의 (a)는 표시 장치를 탑재한 케이싱의 측면도, 도 58의 (b)는 그 케이싱의 상면도, 도 58의 (c)는 표시 장치의 상면도를 각각 모식적으로 도시하는 도면.

도 59는 계조 정보로부터 보정량을 산출하는 방법을 설명하기 위한 모식도.

도 60은 좌표 X와 평균 계조값 G(X)의 관계를 도시하는 그래프.

도 61은 화면 전체의 광센서의 출력값에 기초하여 평균값을 출력하는 경우의 화면을 도시하는 도면.

도 62는 화면 전체의 광센서를 이용한 경우의 계조 히스토그램을 도시하는 도면.

도 63은 화면 상부의 스위치 이외의 영역에서의 광센서의 출력값에 기초하여 평균값을 출력하는 경우의 화면을 도시하는 도면.

도 64는 화면 상부의 스위치 이외의 영역에서의 광센서를 이용한 경우의 계조 히스토그램을 도시하는 도면.

도 65는 손가락이 접근하여 오는 전후에서의 계조 평균값의 시간 변화를 도시하는 도면.

도 66은 화면 상부의 좌측의 영역에 캘리브레이션을 위한 영역을 설정한 경우의 화면을 도시하는 도면.

도 67은 화면 상부의 우측의 영역에 캘리브레이션을 위한 영역을 설정한 경우의 화면을 도시하는 도면.

도 68은 계조화 회로에서의 화소간 연줄의 처리를 설명하기 위한 도면.

도 69는 손가락 접근 전의 계조 히스토그램에서의 평균값과 메디안값을 도시하는 도면.

도 70은 손가락 접근 후의 계조 히스토그램에서의 평균값과 메디안값을 도시하는 도면.

도 71은 프리차지 전압, 노광 시간, 메디안값의 최소값, 최대값의 관계를 설정한 테이블을 도시하는 도면.

도 72는 도 71의 테이블을 그래프화한 도면.

도 73은 프리차지 시간과 노광 시간의 관계를 도시하는 그래프.

도 74는 선형 탐색법에 의해 노광 시간, 프리차지 전압을 설정하는 처리의 흐름을 설명하는 플로우차트.

도 75는 2분 탐색법에 의해 노광 시간, 프리차지 전압을 설정하는 처리의 흐름을 설명하는 플로우차트.

도 76은 광센서의 구성을 도시하는 회로도.

도 77은 비교기용의 가변 기준 전압값을 결정하는 연산 회로의 배치 장소를 도시하는 평면도.

도 78은 제11 실시예에서의 표시 장치의 개략 구성을 도시하는 블록도.

도 79는 도 78에 도시하는 표시 장치의 단면도.

도 80은 도 78에 도시하는 표시 장치의 화면의 일부 확대 영역에서의 광센서 소자의 감도를 도시하는 도면.

도 81은 도 78에 도시하는 표시 장치의 화상혼잡 시에서의 제1 촬영 조건예 를 도시하는 도면.

도 82는 도 81에 도시하는 촬영 조건 예로 촬상한 화상을 도시하는 도면.

도 83은 도 82의 화상을 다계조 데이터로 나타낸 그래프.

도 84는 도 78에 도시하는 표시 장치의 화상 취득 시에서의 제2 촬영 조건예를 도시하는 도면.

도 85는 제14 실시예에서의 표시 장치의 단면도.

도 86은 도 85의 표시 장치로 촬상된 촬상 결과를 다계조 데이터로 도시하는 그래프.

<도면의 주요 부분에 대한 부호의 설명>

1 : 어레이 기판

2 : 표시부

3 : 플렉시블 기판

8 : 광센서

33 : 스위치 소자

34 : 출력 제어 스위치

41, 115a∼115e : 비교기

61, 91 : 레벨 시프터

79 : 출력 레지스터

81 : 계조화 회로

[특허문헌1] 일본 특허 공개 2004-318819호 공보

본 출원은 일본에서 2005년 2월 3일에 출원된 일본 특허출원 번호 2005-28178, 2005년 3월 1일에 출원된 일본 특허출원 번호 2005-55997, 2005년 6월 28일에 출원된 일본 특허출원 번호 2005-188744를 기초로 우선권을 주장하는 것이며, 이 출원은 참조함으로써 본 출원에 원용된다.

본 발명은, 광에 의해 화면에서 정보를 입력하는 것이 가능한 표시 장치에 관한 것이다.

최근, 액정 표시 장치는, 휴대 전화, 노트형 컴퓨터 등의 각종 기기에 널리 이용되고 있다. 액정 표시 장치는, 교차하도록 배선된 복수의 주사선과 복수의 신호선과의 각 교차부에 화소를 구비한 표시부와, 주사선을 구동하는 구동 회로와, 신호선을 구동하는 구동 회로를 구비한다. 각 화소는, 박막 트랜지스터, 액정 용량, 보조 용량을 갖는다. 일반적으로, 표시부는, 글래스제의 어레이 기판 상에 형성된다. 최근의 회로 집적 기술의 발전에 따라, 구동 회로의 일부도 어레이 기판 상에 형성 가능하게 되어, 액정 표시 장치 전체의 경량화·소형화가 도모되고 있다.

그리고, 특허문헌1에 개시되어 있는 바와 같이, 화소 내에 광센서를 배치하고, 광에 의해 화면에서 정보의 입력을 가능하게 한 표시 장치가 개발되어 있다.

이 종류의 표시 장치에서는, 광센서로서 예를 들면 포토다이오드가 이용되고, 각 화소로서는 포토다이오드에 캐패시터가 접속된다. 그리고, 포토다이오드에서의 수광량의 변화에 따라서 캐패시터의 전하량을 변화시켜, 캐패시터의 양단의 전압을 검출함으로써, 촬상 화상의 데이터를 생성한다.

이러한 표시 장치의 응용으로서, 터치패널 기능이나 디지타이저 기능을 구비한 것이 제안되어 있다. 터치패널 기능은, 화면 상에 투영된 손가락 등의 물체가 만드는 그림자를 검출함으로써 정보 입력을 행하는 것이다. 디지타이저 기능은, 라이트펜 등의 발광 물체로부터 조사된 광을 검출함으로써 정보 입력을 행하는 것이다.

그러나, 종래의 광 입력 기능을 구비한 표시 장치에서는, 손가락이나 라이트펜 등의 물체가 화면에 접촉했는지 여부의 판정, 및, 물체의 좌표 위치의 정확한 산출이 어렵다고 하는 문제가 있다.

특히, 물체가 만드는 그림자를 이용하는 방법에서는, 주위 환경이 어두운 경우, 화면에 근접한 물체가 만드는 그림자를 정확하게 식별할 수 없기 때문에, 정보 입력의 정밀도가 떨어진다. 또한, 주위 환경이 지나치게 밝아도 정보 입력의 정밀도는 떨어진다.

그 위에, 광 입력으로 얻어지는 촬상 화상은 백 또는 흑의 2 계조 화상이기 때문에, 화면 상의 물체로부터의 반사광과 그 이외의 광을 2치 판정할 때의 판정 정밀도에 한계가 있다.

본 발명의 목적은, 물체가 화면에 접촉했는지 여부의 판정 정밀도를 향상시키는 것에 있다.

본 발명의 다른 목적은, 화면 상에서의 물체의 좌표 위치의 산출 정밀도를 향상시키는 것에 있다.

본 발명의 또 다른 목적은, 화면 상의 물체로부터의 반사광과 그 이외의 광과의 2치 판정을 정밀도 좋게 행하는 것에 있다.

제1 본 발명에 따른 표시 장치는, 화상을 화면에 표시하는 표시 기능 및 화면에 근접한 물체의 화상을 촬영하는 광 입력 기능을 구비한 표시부와, 촬영된 화상의 엣지를 검출하여 엣지 화상으로 하는 엣지 검출 회로와, 상기 엣지를 이용하여 물체가 화면에 접촉했는지 여부의 판정을 하는 접촉 판정 회로와, 물체가 화면에 접촉했다고 판정했을 때에, 상기 엣지를 이용하여 물체의 위치 좌표를 계산하는 좌표 계산 회로를 갖는 것을 특징으로 한다.

본 발명에 있어서는, 물체가 화면에 접촉했을 때에는, 촬상된 화상에서의 접촉 부분과 비접촉 부분의 공간적 변화가 명확하게 되기 때문에, 촬영된 화상을 이용하여 엣지를 검출함으로써 접촉 부분과 비접촉 부분의 경계를 구별하고, 이것을 접촉 판정에 이용함으로써, 접촉 판정의 정밀도의 향상을 도모한다. 또한, 물체가 화면에 접촉했다고 판정했을 때에, 검출된 엣지를 이용하여 물체의 위치 좌표를 계산함으로써, 물체가 화면에 접촉하지 않을 때에는 좌표 위치를 산출하지 않도록 하여, 위치 좌표의 산출 정밀도의 향상을 도모한다.

제2 본 발명에 따른 표시 장치는, 화상을 화면에 표시하는 표시 기능 및 화면에 근접한 물체의 화상을 촬영하는 광 입력 기능을 구비한 표시부와, 촬영된 화상에 대하여 현재의 프레임의 다계조 화상과 과거의 프레임의 다계조 화상과의 차분을 취한 차분 화상을 구하는 프레임간 차분 처리 회로와, 상기 차분 화상을 이용하여 물체가 화면에 접촉했는지 여부의 판정을 하는 접촉 판정 회로와, 물체가 화면에 접촉했다고 판정했을 때에, 상기 차분 화상을 이용하여 물체의 위치 좌표를 계산하는 좌표 계산 회로를 갖는 것을 특징으로 한다.

본 발명에 있어서는, 물체가 화면에 접촉했을 때에는 촬영된 화상에 시간적 변화가 발생하기 때문에, 현재의 프레임의 다계조 화상과 과거의 프레임의 다계조 화상과의 차분을 취한 차분 화상을 구함으로써, 촬영된 화상의 시간적 변화에 기초하여 접촉 부분과 비접촉 부분의 경계를 구별하고, 이것을 접촉 판정에 이용함으로써 접촉 판정의 정밀도의 향상을 도모한다.

제3 본 발명에 따른 표시 장치는, 화상을 화면에 표시하는 표시 기능 및 화면에 근접한 물체의 화상을 촬영하는 광 입력 기능을 구비한 표시부와, 촬영된 화상을 다계조 화상으로 변환하는 계조화 회로와, 다계조화 화상을 이용하여 엣지를 검출하는 엣지 검출 회로와, 현재의 프레임의 다계조 화상과 과거의 프레임의 다계조 화상과의 차분을 취한 차분 화상을 구하는 프레임간 차분 처리 회로와, 엣지 화상 또는 차분 화상의 적어도 한 쪽을 이용하여 물체의 위치 좌표를 계산하는 좌표 계산 회로와, 엣지 화상 또는 차분 화상의 적어도 한 쪽을 이용하여 물체가 화면에 접촉했는지 여부의 판정을 하는 접촉 판정 회로를 갖는 것을 특징으로 한다.

본 발명에 있어서는, 엣지 화상은 밝은 환경 하에서의 접촉 판정·좌표 계산에 적합하고, 차분 화상은 어두운 환경 하에서의 접촉 판정·좌표 계산에 적합한 한편, 환경광의 밝기는 다계조 화상의 계조값으로부터 판단 가능하기 때문에, 다계조화 화상에 기초하여 엣지 화상 또는 차분 화상의 적어도 한 쪽을 이용하여 물체가 화면에 접촉했는지 여부의 판정을 함으로써, 환경 하에 따른 접촉 판정을 가능하게 하고, 한층 더 정밀도의 향상을 도모한다. 또한, 엣지 화상 또는 차분 화상의 적어도 한 쪽을 이용하여 물체의 위치 좌표를 계산함으로써, 환경 하에 따른 좌표 계산을 가능하게 하여, 한층 더 정밀도의 향상을 도모한다.

제4 본 발명에 따른 표시 장치는, 복수의 스위치를 화면에 표시하는 표시 기능 및 스위치에 근접한 물체를 촬영하는 광 입력 기능을 구비한 표시부와, 촬영된 화상에 대하여 스위치마다 백색의 화소수를 계수하고, 현재의 프레임에서의 계수값과 과거의 프레임에서의 계수값과의 차분값을 산출하고, 스위치마다의 차분값 중 최대의 것이 소정의 임계값 이상인 경우에, 물체가 해당 스위치에 접촉했다는 취지를 나타내는 신호를 출력하는 계수 회로와, 현재의 프레임에서의 다계조 화상과 과거의 다계조 화상과의 차분을 취한 차분 화상을 구하고, 그 차분 화상으로부터 물체를 나타내는 영역을 추출하고, 그 영역의 무게 중심을 산출하고, 물체가 그 무게 중심에 위치하는 스위치에 접촉했다는 취지를 나타내는 신호를 출력하는 프레임간 차분 처리 회로와, 다계조 화상에 대하여 엣지를 검출하고, 강도가 소정의 임계값 이상인 엣지의 무게 중심을 산출하고, 물체가 그 무게 중심에 위치하는 스위치에 접촉했다는 취지를 나타내는 신호를 출력하는 엣지 검출 회로와, 상기 계수 회로, 상기 프레임간 차분 처리 회로, 상기 엣지 검출 회로로부터 각각 출력된 신호에 기초하여 스위치마다 접촉 확률을 계산하는 접촉 확률 계산 회로를 갖는 것을 특징으로 한다.

본 발명에 있어서는, 계수 회로, 프레임간 차분 처리 회로, 엣지 검출 회로에 의해서, 각각 다른 방법에 의해 물체가 접촉한 가능성이 높은 스위치를 나타내는 신호를 출력하고, 접촉 확률 계산 회로에 의해, 이것들의 신호에 기초하여 스위치마다 접촉 확률을 계산함으로써, 신뢰성이 높은 접촉 확률의 제공이 가능하기 때문에, 시스템에 요구되는 신뢰성에 따른 고정밀도 또한 유연한 접촉 판정 및 좌표 계산이 가능하게 된다.

제5 본 발명에 따른 표시 장치는, 화상을 화면에 표시함과 함께, 화면에 근접한 물체를 광센서를 이용하여 촬영하는 표시부와, 광센서의 출력값의 통계량에 기초하여 광센서의 구동 조건을 변경하는 센서 구동부를 갖는 것을 특징으로 한다.

본 발명에 있어서는, 외광에 따라서 변동하는 광센서의 출력값에 기초하여 광센서의 구동 조건을 변경함으로써, 광센서의 감도를 적절하게 제어하는 것이 가능하게 된다.

제6 본 발명에 따른 화상 취득 기능을 갖는 표시 장치는, 복수의 화소를 구비한 화소 영역과, 화소마다 설치된 광센서 소자와, 광센서 소자에서 받은 광의 강도에 대응하는 화소마다의 다계조 데이터에 기초하는 판정 대상값과 임계값을 대소 비교하여 2치 판정하는 판정부를 갖는 것을 특징으로 한다.

본 발명에 있어서는, 광센서 소자에서 받은 광의 강도에 대응하는 화소마다 의 다계조 데이터를, 표시 화면 상의 물체로부터의 반사광과 그 이외의 광과의 2치 판정에 이용함으로써 정확한 판정을 행하기 위한 임계값을 설정하는 것이 가능해져서, 판정 정밀도를 향상시킬 수 있다.

<실시예>

제1 실시예

도 1은, 본 실시예에서의 표시 장치의 구성을 도시하는 평면도이다. 동 도면의 표시 장치는, 글래스제의 어레이 기판(1)에 형성된 표시부(2), 플렉시블 기판(3), 플렉시블 기판(3)에 형성된 센서용 IC(Integrated Circuit)(4) 및 표시용 IC(5), 센서용 IC(4)의 인터페이스(I/F)(6), 표시용 IC의 인터페이스(7)를 구비한다.

표시부(2)는, 복수의 신호선과 복수의 주사선이 교차하도록 배선되고, 각 교차부에 화소를 구비한다. 이 표시부(2)는, 호스트 측의 CPU로부터 표시용 인터페이스(7) 및 표시용 IC(5)을 통하여 전송되어 오는 영상 신호에 기초하여 화상을 표시하는 표시 기능, 화면에 근접하여 온 외부의 물체의 화상을 촬영하는 광 입력 기능, 촬영한 화상을 센서용 IC(4) 및 센서용 인터페이스(6)를 통하여 호스트로 전송하는 기능을 구비한다. 센서용 IC(4)은, 촬영된 화상의 처리를 행하여, 이 처리 결과를 센서용 인터페이스(6)를 통하여 호스트 측의 CPU로 전송한다. 표시용 IC(5)은, 표시 처리의 제어를 행한다.

도 2는, 표시부(2)의 구성을 도시하는 단면도이다. 어레이 기판(1)에서는 화소 내에 광센서(8) 등이 형성되고, 이것을 피복하도록 절연층(9)이 형성된다. 어레이 기판(1)과, 이것에 대향하여 배치된 글래스제의 대향 기판(12)과의 간극에 액정층(11)이 형성된다. 대향 기판(12)의 외측에는 백 라이트(13)가 배치된다. 광센서(8)에는, 손가락 등의 물체(20)에 의해서 차단되고 있지 않은 외광과, 백 라이트(13)로부터 방출되어, 물체(20)에서 반사된 광이 입사한다.

도 3은, 화소의 구성을 도시하는 회로도이다. 표시부(2)에서는, 적(R), 청(B), 녹(G)의 화소가 규칙적으로 배치되어 있고, 각 화소는, 표시계(31)로서, 스위치 소자(33), 액정 용량 LC, 보조 용량 CS를 구비한다. 동 도면에서, Gate(m)는 주사선, Sig(n)은 신호선, CS(m)은 보조 용량선이다. 스위치 소자(33)는 MOS형이며, 그 게이트가 주사선에 접속되고, 소스는 신호선에 접속되고, 드레인은 보조 용량 CS 및 액정 용량 LC에 접속된다. 보조 용량 CS의 다른 쪽의 단자는 보조 용량선 CS(m)에 접속된다.

호스트 측의 CPU로부터 신호선을 통하여 전송되어 온 영상 신호는, 주사선에 전송되어 온 주사 신호에 의해 스위치 소자(33)가 온한 때에, 스위치 소자(33)를 통하여 보조 용량 CS 및 액정 용량 LC에 공급되어, 표시에 이용된다.

표시부(2)는, R, G, B의 3 화소에 대하여 광센서계(32)를 1개 구비한다. 광센서계(32)는, 광센서(8), 센서 용량(37), 출력 제어 스위치(34), 소스 팔로워 앰프(35), 프리차지 제어 스위치(38)를 1개씩 구비한다. 여기서는, 광센서(8)의 일례로서, PIN 형의 광 다이오드를 이용한다.

광 센서(8)와 센서 용량(37)은 병렬로 접속된다. 이들 광센서(8) 및 센서 용량(37)은, 소스 팔로워 앰프(35), 출력 제어 스위치(34)를 통하여 적의 신호선 Sig(n)에 접속되고, 프리차지 제어 스위치(38)를 통하여 청의 신호선 Sig(n+2)에 접속된다.

출력 제어 스위치(34)의 온·오프는 제어선 OPT(m) 상의 신호에 의해 제어되고, 프리차지 제어 스위치(38)의 온·오프는 제어선 CRT(m) 상의 신호에 의해 제어된다.

다음으로, 광센서(8)의 동작에 대하여 설명한다. 프리차지 제어 스위치(38)를 통하여 청의 신호선으로부터 예를 들면 4V의 전압이 센서 용량(37)에 프리차지 된다. 소정의 노광 시간 동안, 광센서(8)에 입사하는 광량에 따라서 광센서(8)에 누설 전류가 발생하면, 센서 용량(37)의 전위가 변화한다. 센서 용량(37)은, 누설 전류가 적으면 거의 4V를 유지하고, 누설 전류가 많으면 0V에 근접한다. 한편으로, 적의 신호선을 5V로 프리차지한 후, 출력 제어 스위치(34)를 온하여 소스 팔로워 앰프(35)를 적의 신호선에 도통시킨다. 센서 용량(37)은, 소스 팔로워 앰프(35)의 게이트에 접속되어 있기 때문에, 센서 용량(37)의 잔존 전압이 예를 들면 4V인 그대로이면 소스 팔로워 앰프(35)는 온하여, 적의 신호선의 전위는 5V에서 0V를 향하여 변화한다. 센서 용량(37)의 잔존 전압이 0V이면 소스 팔로워 앰프(35)는 오프하여, 적의 신호선의 전위는 5V인 채로 거의 변화하지 않는다.

도 4의 회로도에 도시한 바와 같이, 비교기(41)는, 적의 신호선의 전위와 기준 전원(40)의 기준 전압을 비교하여, 신호선의 전위가 기준 전압보다 큰 경우에는 하이 레벨의 신호를 출력하고, 신호선의 전위가 기준 전압보다 작은 경우에는 로우 레벨의 신호를 출력한다.

이에 의해, 비교기(41)는, 광센서(8)가 소정값보다도 밝은 광을 검출한 경우에는 하이 레벨의 신호를 출력하고, 소정값보다도 어두운 광을 검출한 경우에는 로우 레벨의 신호를 출력한다. 비교기(41)의 출력은, 센서용 IC(4)으로 전송된다.

도 5는, 표시 장치의 동작을 도시하는 타이밍차트이다. 동 도면에서는, 각 행(주사선)에 대하여, 상부에 표시계, 하부에 촬상계의 타이밍차트를 도시한다. 동 도면에 도시한 바와 같이, 표시 장치는, 표시계에서 영상 신호의 화소에의 기입이 완료한 후, 일정한 블랭크 기간을 두고 나서, 화면 상의 물체에 대하여 일정한 노광 시간만 촬상한다. 노광 시간은 변경 가능하다. 블랭크 기간에서는, 센서 용량(37)이 프리차지 된다.

도 6은, 센서용 IC의 구성을 도시하는 회로 블록도이다. 동 도면의 센서용 IC은, 표시부(2)와의 주고받기 위해 신호의 전압을 조정하는 레벨 시프터(61), 비교기(41)로부터의 출력 신호를 처리하는 데이터 처리부(62), 데이터를 일시적으로 저장하여 두는 RAM(Random Access Memory)(63), 신호선을 프리차지할 때의 프리차지 전압을 출력하는 DAC(Digital Analog Converter)(64)를 구비한다.

도 7은, 데이터 처리부(62)의 구성을 도시하는 회로 블록도이다. 데이터 처리부(62)는, 라인 메모리(71), 타이밍 발생 회로(72), 결함 보정 회로(73), 계조화 회로(74), 2치화 회로(75), 엣지 검출 회로(76), 접촉 판정 회로(77), 좌표 계산 회로(78), 출력 레지스터(79), 임계값 레지스터(80)를 구비한다.

라인 메모리(71)는, 전술한 비교기(41)로부터 레벨 시프터(61)를 통하여 촬상 데이터로서 전송되어 온 복수행 분의 2치 신호를 일시적으로 저장한다.

결함 보정 회로(73)는, 근방의 화소의 값에 기초하여, 각 화소의 값을 수정하는 필터를 구비한다. 이 필터로서는 예를 들면 메디안 필터를 이용한다. 결함 보정 회로(73)는, 타이밍 발생 회로(72)가 발생시킨 타이밍에 따라서 동작한다. 결함 보정 회로(73)는 생략할 수도 있다.

계조화 회로(74)는, 각 화소에 대하여 근방의 화소값의 평균값을 취하는 것에 의해 다계조의 계조값을 산출하여 다계조 화상을 얻는다. 여기서 근방이란 주목 화소를 중심으로 하여 1.5mm각∼6mm각의 영역으로 한다. 이 영역의 크기가 지나치게 작으면 노이즈가 많아지고, 이 영역의 크기가 지나치게 크면 판독 화상이 지나치게 평활화되어, 후에 행하는 엣지 검출이 어렵게 된다. 또한, 이 처리는 결함 보정의 효과도 구비한다. 또한, 면적 계조의 계산은 모든 화소마다 계산할 수 있지만, 모든 계조값을 유지하지 않더라도, 소정 간격으로 씨닝하는 것을 유지하여도 된다. 구체적으로는 원래의 2치 화상이 240×320×1bit의 사이즈인 경우, 계조 화상은 240×320×8bit가 아니고, 15×20×8bit로 씨닝하여도 된다. 씨닝의 비율은 손가락 등의 지시 부재의 굵기나 센서의 피치에 의한다. 어른의 1cm 정도의 폭의 손가락과 화소 피치 0.15mm의 예로서는 15×20×8bit(종횡 각각 1/16으로 씨닝한 것에 상당) 정도이어도 된다.

2치화 회로(75)는, 호스트 측의 CPU로부터 공급된 임계값을 이용하여 다계조 화상을 2치화한다. 이 임계값은, 임계값 레지스터(80)에 미리 저장된 것을 사용한다.

엣지 검출 회로(76)는, 촬영된 화상으로부터 복수의 엣지를 검출한다. 엣지 의 검출에는, 예를 들면 라플라시안 필터를 이용한다(상세에 대해서는 제2 실시예를 참조).

접촉 판정 회로(77)는, 물체가 화면에 접촉했을 때에는, 촬상된 화상에서의 접촉 부분과 비접촉 부분의 공간적 변화가 명확하게 되기 때문에, 검출된 엣지를 이용하여 물체가 화면에 접촉했는지 여부를 판정한다. 구체적으로는, 엣지마다 이동 방향을 조사하여, 상호 역방향으로 이동하는 엣지가 있는 경우에, 물체가 화면에 접촉하였다고 판정한다. 이 때, 역방향으로의 이동량이 소정의 임계값 이상인 경우에 접촉했다고 판정함으로써 판정의 정밀도를 높일 수 있다.

좌표 계산 회로(78)는, 접촉 판정 회로(77)에 의해 물체가 화면에 접촉했다고 판정했을 때에, 엣지 검출 회로(76)에 의해 검출된 엣지를 이용하여 물체의 좌표 위치를 계산한다. 좌표 위치의 구체적인 계산에는, 예를 들면 엣지의 무게 중심을 구하도록 한다.

출력 레지스터(79)는, 무게 중심 계산의 결과에 기초하는 물체의 좌표 위치를 저장하는 레지스터와, 접촉 판정 회로(77)에 의한 판정 결과를 저장하는 레지스터를 구비한다. 그리고, 호스트 측의 CPU로부터의 요구 혹은 소정의 타이밍에 의해, 이들의 좌표 위치와 판정 결과를 호스트 측의 CPU에 출력한다.

임계값 레지스터(80)는, 2치화 회로(75)에서 사용하는 임계값, 접촉 판정 회로(77)에서 사용하는 임계값을 저장한다. 이들의 임계값은, 호스트 측의 CPU로부터 전송되어 온 것을 저장해 둔다.

다음으로, 엣지 검출, 접촉 판정의 일례에 대하여 도 8, 도 9를 이용하여 설 명한다. 도 8은, 손가락이 화면에 접촉하지 않던 경우의 노광 시간 중의 시각 t1∼t3에서의 상태를 도시한다. 도 8의 (a)는 손가락과 화면의 위치 관계, 도 8의 (b)는 계조화·2치화 후의 촬상 화상, 도 8의 (c)는 엣지 화상, 도 8의 (d)는 엣지의 좌표를 각각 도시한다. 도 8의 (d)는, 도 8의 (c)의 시각 t1에 대하여 나타낸 프로파일 라인 P에 교차하는 2개의 엣지의 좌표의 시간 변화를 도시한다. 한편, 도 9는, 손가락이 화면에 접촉한 경우의 상태를 도 8과 마찬가지로 도시한다. 단, 도 9에서는, 시각 t2일 때에 손가락이 화면에 접촉하고 있다.

도 8의 (d)에 도시한 바와 같이, 손가락이 화면에 접촉하지 않은 경우에는, 2개의 엣지의 좌표의 사이의 거리는 거의 변화하지 않는다. 이것에 대하여, 도 9의 (d)에 도시한 바와 같이, 손가락이 화면에 접촉했을 때에는, 손가락이 상하 좌우로 팽창되기 때문에, 2개의 엣지는, 상호 역의 방향으로 이동한다. 따라서, 접촉 판정 회로(77)에서는, 상호 역방향으로 임계값 이상으로 이동하는 엣지가 검출된 경우에는, 손가락이 화면에 접촉했다고 판정한다.

이상 설명한 바와 같이, 본 실시예에 따르면, 물체가 화면에 접촉한 때에는, 촬상된 화상에서의 접촉 부분과 비접촉 부분의 공간적 변화가 명확하게 되기 때문에, 촬영된 화상을 이용하여 엣지를 검출함으로써 접촉 부분과 비접촉 부분의 경계를 구별한다. 그리고, 이것을 접촉 판정에 이용함으로써, 접촉 판정의 정밀도의 향상을 도모한다. 구체적으로는, 엣지 검출 회로(76)에 의해, 촬영된 화상의 엣지를 검출하고, 접촉 판정 회로(77)에 의해, 상호 역방향으로 이동하는 엣지가 있는 경우에 물체가 화면에 접촉했다고 판정한다. 물체가 화면에 접촉하지 않는 한은 엣지가 상호 역방향으로 이동하는 경우는 없기 때문에, 접촉 판정의 정밀도를 높일 수 있다.

본 실시예에 따르면, 물체가 화면에 접촉했다고 판정된 때에, 좌표 계산 회로(78)에 의해, 검출된 엣지를 이용하여 물체의 위치 좌표를 계산함으로써, 물체가 화면에 접촉하지 않은 때에는 좌표 위치를 산출하지 않기 때문에, 위치 좌표의 산출 정밀도의 향상을 도모할 수 있다. 좌표 위치의 산출 시에는, 엣지의 무게 중심을 물체의 좌표 위치로서 계산함으로써, 높은 정밀도로 좌표 위치를 산출할 수 있다.

본 실시예에서의 접촉 판정의 방법은, 단독으로 이용하여도 되지만, 다른 판정 방법과 조합하여도 된다. 예를 들면, 손가락이 화면에 접촉한 경우에는, 도 9의 (b)의 시각 t2에 도시한 바와 같이, 물체의 무게 중심 부분에서 백색의 화소가 증대하기 때문에, 백색의 화소수를 계수하여, 이 수가 소정의 임계값 이상으로 된 경우에, 손가락이 화면에 접촉했다고 판정하는 것을 더욱 행해도 된다. 이에 의해, 접촉 판정의 정밀도를 더욱 높일 수 있다.

또한, 물체가 화면에 접촉하고 있는 동안에는, 도 9의 (d)의 시각 t2에 도시한 바와 같이, 엣지 좌표가 일정하게 되고, 무게 중심 좌표도 일정하게 되기 때문에, 엣지 좌표, 무게 중심 좌표 중의 적어도 한 쪽이 일정하게 되었을 때에, 물체가 화면에 접촉했다고 판정하는 것을 더 행해도 된다. 이 경우에도 접촉 판정의 정밀도를 더욱 높일 수 있다.

제2 실시예

본 실시예에서는, 센서용 IC 구성만이 제1 실시예와 상이하고, 표시 장치의 기본적인 구성은 마찬가지이기 때문에, 여기서는, 센서용 IC에 대해서만 설명한다. 그 밖의 제1 실시예와 마찬가지의 부분에 대한 중복한 설명은 생략한다.

도 10은, 본 실시예의 센서용 IC에서의 데이터 처리부의 구성을 도시하는 회로 블록도이다. 동 도면의 데이터 처리부는, 계조화 회로(81), 프레임간 차분 처리 회로(82), 메모리(83), 엣지 검출 회로(84), 접촉 판정 회로(85), 좌표 계산 회로(86)를 구비한다. 또한, 센서용 IC이, 이 데이터 처리부 외에 레벨 시프터(61), DAC(64)를 구비하는 점은, 제1 실시예와 마찬가지이다.

계조화 회로(81)는, 도 4를 이용하여 설명한 비교기(41)로부터 전송되어 온 2치 화상을 다계조 화상으로 변환한다. 이 변환의 방법으로서는, 예를 들면, 도 11에 도시한 바와 같이, 각 화소에 대하여, 그 주위의 12×12 화소의 정방형 영역에서 0 또는 1로 이루어지는 2치 데이터의 합을 취하는 것에 의해, 0∼144의 사이의 다계조값을 얻는다. 또는 16×16 화소의 정방형 영역에서 0∼256의 사이의 다계조값을 얻도록 해도 된다. 센서 IC의 내부에 설치하는 메모리 영역을 고려하여 다계조의 적성값을 정하는 것이 좋다.

또한, 표시부(2)에서, 촬상 화상의 데이터를 아날로그 신호로 출력하고, 이것을 계조화 회로(81)에서 A/D 변환기에 의해 다계조의 디지털 신호로 변환하도록 하여도 된다. 또한, 계조 화상은 제1 실시예와 마찬가지로 하여 씨닝한 것을 이용하여도 이하의 처리에서는 영향이 적다. 센서 IC의 내부에 설치하는 메모리 영역의 배치 효율을 고려하여 씨닝의 적성값을 정하는 것이 좋다.

프레임간 차분 처리 회로(82)는, 현재의 프레임에서의 다계조 화상과, 메모리(83)에 저장되어 있는 과거의 다계조 화상과의 차분을 계산하여, 이 차분 화상을 출력한다.

차분 화상을 구할 때에는, 예를 들면, 도 12에 도시한 바와 같이, 임의의 시각 t1에서의 다계조 화상의 계조값으로부터 1 프레임 전의 다계조 화상의 계조값을 화소마다 감산한다. 또한, 동 도면에서는, 시각 t에서의 좌표(x, y)에서의 계조값을 F(x, y, t)로 한다. 이 외, 1 프레임마다 화소의 구동 전압의 극성이 변하는 경우에는, 이 영향을 제거하기 위해, 어떤 프레임의 다계조 화상과 2 프레임 전의 다계조 화상과의 차분을 취하도록 하여도 된다. 이와 같이 하면, 센서로부터의 데이터 출력이 2 프레임에 1회로 되어 횟수가 적어지게 되기 때문에, 소비 전력을 작게 할 수 있어 전지를 오래 가게 할 수 있다. 또한, 짝수번째의 프레임과 홀수번째의 프레임과 다계조 화상의 평균값을 취한 후에, 그 평균값끼리 차분을 취하도록 하여도 된다.

엣지 검출 회로(84)는, 각 프레임의 다계조 화상에 대해 엣지(계조의 공간적 변화가 큰 부분)를 검출하여, 그 엣지 화상을 출력한다.

엣지의 검출 시에는, 예를 들면, 도 13에 도시한 바와 같이, 임의의 화소에 대해, 그 화소의 계조값을 4배한 값으로부터, 그 화소의 상하 좌우에 인접하는 4개의 화소의 계조값을 감산한 결과를, 그 화소의 계조값으로 하는 라플라시안 필터를 이용한다. 이 외, Sobel 필터나, Roberts 필터 등의 잘 알려진 필터를 이용해도 된다.

또한, 연산의 대상으로 하는 화소는, 임의 화소의 상하 좌우에 인접하는 화소에 한하지 않고, 비스듬히 인접하는 화소이어도 되고, 노이즈에 대한 과민한 반응을 방지하기 위해 임의 화소의 상하 좌우 비스듬히 수 화소분만큼 떨어진 화소를 이용하도록 하여도 된다. 필터 처리에 이용하는 화소의 범위가, 손가락 등의 지시 부재의 그림자로부터 비어져 나오도록 하는 것이 좋다. 지시 부재의 그림자의 폭을 W로 한 경우, 필터 처리에 이용하는 화소는 주목 화소로부터 W/2 이상 떨어져 있도록 하는 것이 좋다. W 이상 분리할 필요는 없다. 예를 들면, 어른의 손가락(폭 1cm 정도)을 입력에 이용할 때는, 화소의 범위를 주목 화소로부터 5mm 이상으로 하면 된다. 1cm 보다 크게 할 필요는 없다.

또한, 엣지 검출 회로(84)에서는, 엣지의 검출 시에, 계조화 회로(82)가 출력한 다계조 화상을 이용하여도 되고, 프레임간 차분 처리 회로(322)에 의해 차분을 취한 후의 다계조 화상을 이용해도 된다. 이들의 처리는 씨닝한 후의 계조 화상을 이용하여 행하여도 된다.

접촉 판정 회로(85)는, 상기한 바와 같이 하여 얻어진 차분 화상, 엣지 화상, 그리고 원래의 다계조 화상 중의 적어도 1개를 이용하여, 물체가 화면에 접촉했는지 여부의 판정을 행한다. 물체가 화면에 접촉한 경우에는, 촬상 화상에서의 물체를 나타내는 영역의 면적이 넓어지기 때문에, 이것을 이용하여 판정한다. 예를 들면, 차분 화상을 이용하는 경우에는, 차분 화상을 소정의 임계값으로 2치화하는 것에 의해 물체를 나타내는 영역을 추출하여, 그 영역의 면적이 소정의 임계값 이상으로 된 경우에, 물체가 화면에 접촉했다고 판정한다. 한편, 엣지 화상을 이 용하는 경우에는, 엣지 화상을 소정의 임계값으로 2치화 함으로써 물체를 나타내는 영역을 추출하고, 그 영역의 면적이 소정의 임계값 이상으로 된 경우에, 물체가 화면에 접촉했다고 판정한다.

좌표 계산 회로(86)는, 물체가 화면에 접촉했다고 판정된 때에, 차분 화상, 엣지 화상, 그리고 원래의 다계조 화상 중의 적어도 1개를 이용하여, 그 물체의 좌표 위치를 계산한다. 예를 들면, 차분 화상 혹은 엣지 화상을 이용하는 경우에는, 상기의 처리에 의해서 얻은 면적이 소정의 임계값 이상으로 된 영역에 대하여, 그 영역의 무게 중심을 물체의 위치 좌표로서 산출한다.

전술한 계조화 회로(81), 프레임간 차분 처리 회로(82), 메모리(83), 엣지 검출 회로(84), 접촉 판정 회로(85), 좌표 계산 회로(86)는, ASIC이나 DSP를 이용하여 실현할 수 있다. 또한, 표시용 IC(5)과 일체화하여 형성하는 것도 가능하다.

다음으로, 프레임간 차분 처리 회로(82), 엣지 검출 회로(84)에 의한 처리의 효과에 대하여, 각각 비교예와 대비하면서 설명한다.

도 14, 도 15는, 수백 룩스 정도의 어두운 환경 하에서 손가락 끝이 화면의 중앙 부근에 닿는 움직임을 했을 때에, 계조화 회로(81)의 출력으로서 얻어지는 다계조 화상의 예이다. 도 14는 손가락이 접촉한 순간의 2 프레임 전의 화상, 도 15는 손가락이 접촉한 순간의 화상이다. 도 16, 도 17은, 도 14, 도 15의 각 화상에서의 계조값의 분포를 3차원 그래프로 각각 표시한 것이다.

도 17로부터 알 수 있는 바와 같이, 손가락이 접촉한 부위에서 계조값이 극소로 되지만, 광센서의 특성 변동이나 주위 광 자체의 조도 분포의 경사 등에 기인 하여, 화상의 계조값이 변동되거나 면내 경사를 갖기도 한다.

도 18, 도 19는, 도 14, 도 15의 화상을 소정의 임계값으로 2치화 했을 때의 화상을 각각 도시한다. 도 18에서는, 손가락이 접촉하지 않았음에도 불구하고 잘못 접촉 영역이 검출되어 있다. 도 19에서는, 손가락이 접촉하지 않은 영역이 잘못 접촉 영역으로서 검출되어 있다. 이들은, 임계값을 엄밀히 설정할 필요가 있는 것을 설명하고 있지만, 주위의 환경이 더 어두우면 임계값의 설정은 보다 곤란하게 된다.

이것에 대하여, 도 20은, 프레임간 차분 처리 회로(82)에 의해, 프레임간에서 차분을 취한 차분 화상이며, 도 21은, 도 20의 계조값을 3차원 그래프로 표시한 것이다. 손가락이 화면에 접촉하는 순간에는 그림자가 급격히 어두워지는 특징이 있으므로, 이 때의 차분값은 최소값을 갖는다. 도 22는, 도 20의 화상을 소정의 임계값으로 2치화한 화상이다. 차분을 취하는 것에 의해 계조값의 변동이나 경사가 보상되므로, 손가락의 접촉 부분과 비접촉 부분은 분명히 구별되어, 손가락의 접촉 영역이 정밀도 좋게 추출되어 있는 것을 알 수 있다.

도 23, 도 24는, 수천 룩스 정도의 밝은 환경 하에서 손가락 끝이 화면의 중앙 부근에 닿는 움직임을 했을 때에, 계조화 회로(81)의 출력으로 하여 얻어지는 다계조 화상의 예이다. 도 23은 손가락이 접촉한 순간의 2 프레임 전의 화상, 도 24는 손가락이 접촉한 순간의 화상이다. 도 25, 도 26은, 도 23, 도 24의 각 화상에서의 계조값의 분포를 3차원 그래프로 각각 표시한 것이다.

도 27, 도 28은, 도 23, 도 24의 화상을 소정의 임계값으로 2치화 했을 때의 화상을 각각 도시하고 있다. 도 27에서는, 손가락이 접촉하지 않았음에도 불구하고 잘못하여 접촉 영역이 검출되어 있고, 도 28에서는, 화면의 중앙 부근만을 손가락 끝에서 닿아 있음에도 불구하고, 손가락의 근원 방향으로 연장 영역이 접촉 영역으로서 잘못 검출되어 있다. 이것들도, 임계값을 엄밀히 설정할 필요가 있는 것을 설명하고 있지만, 주위의 환경이 더 밝아지면, 광센서의 다이내믹 레인지가 좁으므로, 그림자의 상이 어두워지기 쉽게 되어, 임계값의 설정은 보다 곤란하게 되어 있다.

이것에 대하여, 도 29, 도 30은, 도 23, 도 24의 화상에 대하여 각각 엣지 검출 회로(84)에 의해 엣지를 검출한 화상이다. 여기서는, 라플라시안 필터를 이용했다. 도 31, 도 32는, 도 29, 도 30의 각 화상에서의 엣지 강도를 3차원 그래프로 각각 표시한 것이다. 손가락이 닿지 않은 경우에는, 광의 회절에 의해서 그림자와 환경광의 경계가 불분명해지는 데 대하여, 손가락이 닿은 경우에는 경계가 분명해진다고 하는 특징이 있으므로, 도 32에서는 도 31에 대하여 큰 피크가 관찰되고 있다. 이 점은, 손가락의 접촉 영역을 검출하는 데 있어서 형편이 좋다. 도 33, 도 34는, 도 29, 도 30의 화상을 각각 소정의 임계값으로 2치화한 화상이다. 도 34의 2치 화상을 보면, 손가락 끝의 접촉 부분이 정밀도 좋게 추출되고 있는 것을 알 수 있다.

이상 설명한 바와 같이, 본 실시예에 따르면, 물체가 화면에 접촉한 경우에는 접촉 부분의 면적이 크게 되기 때문에, 엣지 검출 회로(84)에 의해 엣지를 검출하여, 접촉 판정 회로(85)에 의해 엣지 화상으로부터 물체를 나타내는 영역을 추출 하고, 이 영역의 면적이 소정의 임계값 이상으로 된 경우에 물체가 화면에 접촉했다고 판정함으로써 접촉 판정의 정밀도를 향상시킬 수 있다.

본 실시예에 따르면, 물체의 접촉이 확인된 때에, 좌표 계산 회로(86)에 의해, 엣지 화상에 대하여 면적이 소정의 임계값 이상으로 된 영역의 무게 중심을 물체의 위치 좌표로서 산출함으로써, 좌표 위치의 산출 정밀도를 향상시킬 수 있다.

본 실시예에 따르면, 물체가 화면에 접촉했을 때에는 촬영된 화상에 시간적 변화가 발생하기 때문에, 프레임간 차분 처리 회로(82)에 의해 현재의 프레임의 다계조 화상과 과거의 프레임의 다계조 화상과의 차분 화상을 구함으로써 촬영된 화상의 시간적 변화에 기초하여 접촉 부분과 비접촉 부분의 경계를 구별하여, 이것을 접촉 판정에 이용함으로써 접촉 판정의 정밀도를 향상시킬 수 있다.

본 실시예에 따르면, 물체가 화면에 접촉한 경우에는 접촉 부분의 면적이 크게 되기 때문에, 좌표 계산 회로(86)에 의해 차분 화상을 이용하여 물체를 나타내는 영역을 추출하고, 그 영역의 면적이 소정의 임계값 이상으로 된 경우에 물체가 화면에 접촉했다고 판정함으로써 접촉 판정의 정밀도를 향상시킬 수 있다.

본 실시예에 따르면, 물체의 접촉이 확인되었을 때에, 좌표 계산 회로(86)에 의해, 차분 화상에 대하여 면적이 소정의 임계값 이상으로 된 영역의 무게 중심을 물체의 위치 좌표로서 산출함으로써, 좌표 위치의 산출 정밀도를 향상시킬 수 있다.

본 실시예에 따르면, 프레임간 차분 처리에 의해서 어두운 환경 하에서의 접촉 판정과 좌표 계산의 정밀도를 향상시킬 수 있어, 엣지 검출 처리에 의해서 밝은 환경 하에서의 접촉 판정과 좌표 계산의 정밀도를 향상시킬 수 있다.

또한, 계조화 회로(81)가 출력한 다계조 화상으로부터 환경광의 강도를 파악할 수 있으므로, 이 다계조 화상을 항상 모니터해 두고, 접촉 판정 회로(85)에 의해, 다계조 화상의 계조값에 기초하여 환경광이 어두운 경우와 밝은 경우에서 프레임간 차분 처리와 엣지 검출 처리를 자동적으로 절환하도록 해도 된다. 이 경우의 좌표 위치의 계산은, 전술한 것과 마찬가지의 처리를 적용할 수 있다.

예를 들면, 어두운 환경 하에서는 차분 화상에 의한 접촉 판정 결과와 좌표 계산 결과를 보다 확실하게 하고, 밝은 환경 하에서는 엣지 화상에 의한 접촉 판정 결과와 좌표 계산 결과를 보다 확실하게 하면, 퍼지 처리 등도 생각된다.

제3 실시예

본 실시예에서도, 센서용 IC 구성만이 제1 실시예와 상이하고, 표시 장치의 기본적인 구성은 마찬가지이기 때문에, 여기서는, 센서용 IC에 대해서만 설명하는 것으로 하고, 그 밖의 제1 실시예와 마찬가지의 부분에 대한 중복한 설명은 생략한다.

본 실시예의 표시 장치에서는, 도 35에 도시한 바와 같이 제1∼ 제12 스위치를 화면에 표시시키는 것으로 하여, 손가락(20)이 어느 스위치에 접촉했는가를 판정하는 것을 상정한다.

도 36은, 본 실시예에서의 센서용 IC(90)의 구성을 도시하는 회로 블록도이다. 동 도면의 센서용 IC(90)은, 레벨 시프터(91), 계조화 회로(92), 캘리브레이션 회로(93), DAC(Digital Analog Convertor)(94), 계수 회로(95), 프레임간 차분 처리 회로(96), 엣지 검출 회로(97), 접촉 확률 계산 회로(98), RAM(Random Access Memory)(99)를 구비한다.

레벨 시프터(91)는, 도 6에서 설명한 레벨 시프터(61)와 기본적으로는 마찬가지의 것이다.

계조화 회로(92)는, 도 4를 이용하여 설명한 비교기(41)로부터 전송되어 온 2치 화상을 다계조 화상으로 변환한다. 그 변환의 방법은, 도 10의 계조화 회로(81)와 마찬가지이다.

캘리브레이션 회로(93)는, 촬상 화상에 대하여 백색의 화소수를 카운트하고, 전체 화소의 30∼70%가 백색으로 되도록 제어 신호를 출력한다. 이 제어 신호를 받은 DAC(94), 레벨 시프터(91)에서는, 노광 시간이나 프리차지 시간을 조절한다. 구체적으로는, 출력되는 백색 화소의 수가 70%로 증대한 경우에는, 노광 시간을 짧게 하든지 혹은 프리차지 전압을 높게 함으로써, 백색 화소의 수를 50% 정도로 되돌린다. 한편, 출력되는 백색 화소의 수가 30%로 저감한 경우에는, 노광 시간을 길게 하든지 혹은 프리차지 전압을 낮게 함으로써, 백색 화소의 수를 50% 정도로 되돌린다. 이와 같이, 백색의 화소수를 전체 화소의 30∼70%로 하여 둠으로써, 도 37의 그래프에 도시한 바와 같이, 광센서의 응답을 민감하게 할 수 있다.

계수 회로(95)는, 화면에 표시되어 있는 스위치마다 백색의 화소의 수를 계수하고, 이것들의 계수값을 스위치마다 유지한다. 또한, 현재의 n 번째의 프레임에서의 계수값과, 과거의 n-1번째의 프레임에서의 계수값과의 차분값을 산출하여 유지하고, 스위치마다의 차분값 중 최대의 것이 소정의 임계값 이상인 경우에, 확 률 계산의 후보로서, 손가락이 그 스위치에 접촉했다는 취지를 나타내는 신호를 출력한다. 도 38에 도시한 바와 같이, 특정한 스위치(동 도면의 제5 스위치)에 손가락이 접촉한 경우에는, 다른 스위치에서도 차분 계산의 대상으로 되는 화상 간의 계조 변화가 연동하여 발생하게 되지만, 실제로 손가락이 접촉하고 있는 스위치에서 가장 계조 변화가 심하게 되기 때문에, 상기의 최대의 차분값을 판정의 대상으로 하는 것에 의해, 판정의 정밀도를 높인다. 계수 회로(95)의 출력 신호는, 접촉 확률 계산 회로(98)에 보내어진다.

프레임간 차분 처리 회로(96)는, 현재의 프레임에서의 다계조 화상과 RAM(99)에 저장되어 있는 과거의 다계조 화상과의 차분을 취한 차분 화상을 구하고, 이의 차분 화상을 2치화하여 물체를 나타내는 영역을 추출하고, 이 영역의 무게 중심을 산출하고, 확률 계산의 후보로서 손가락이 이 무게 중심에 위치하는 스위치에 접촉했다는 취지를 나타내는 신호를 출력한다. 차분 화상의 도출 방법은, 제2 실시예와 마찬가지이다.

엣지 검출 회로(97)는, 각 프레임의 다계조 화상에 대해 엣지의 강도(계조의 공간적 변화의 크기)를 산출하고, 계조값이 소정의 임계값 이상인 엣지에 대하여 그 무게 중심을 산출하고, 확률 계산의 후보로서 손가락이 이 무게 중심에 위치하는 스위치에 접촉했다는 취지를 나타내는 신호를 출력한다. 엣지의 산출 방법은, 제2 실시예와 마찬가지이다. 또한, 캘리브레이션 완료 시점의 다계조 화상을 메모리에 유지해 놓고, 최신의 다계조 화상으로부터 유지하여 온 다계조 화상을 감산한 새로운 다계조 화상에 대하여 엣지 검출을 하는 것도 유효하다. 이것에 의해, 센 서의 특성 변동에 기인하는 촬상 얼룩짐을 감쇄할 수 있어서, 참으로 손가락에 의한 엣지만을 추출할 수 있기 때문이다.

접촉 확률 계산 회로(98)는, 계수 회로(95), 프레임간 차분 처리 회로(96), 엣지 검출 회로(97)로부터 각각 출력된 신호에 기초하여 스위치마다 접촉 확률을 계산한다. 예를 들면, 각 회로(95, 96, 97)에 의해 손가락이 접촉했다고 한 스위치에 대해서는 각각 10 포인트 부여하고, 다른 스위치에 부여하는 포인트는 0으로 한다. 일례로서, 접촉 확률 계산 회로(98)가 각 회로(95, 96, 97)의 각각으로부터 제5 스위치에 손가락이 접촉한 가능성이 높은 취지의 신호를 수취한 경우에는, 제5 스위치는 합계 30 포인트, 다른 스위치는 0 포인트로 되기 때문에, 제5 스위치는 30/30×100(%)=100%, 다른 스위치는 0/30×100(%)=0%로 확률이 계산된다. 다른 예로서, 접촉 확률 계산 회로(98)가 회로(95, 96)로부터 제5 스위치에 접촉했다고 하는 신호를 수취하고, 회로(97)로부터 제6 스위치에 접촉했다고 하는 신호를 수신한 경우에는, 제5 스위치는 합계 20 포인트, 제6 스위치는 10 포인트, 다른 스위치는, 0 포인트로 되기 때문에, 제5 스위치는 67%, 제6 스위치는 33%, 다른 스위치는 0%이라고 확률이 계산된다.

그리고, 접촉 확률 계산 회로(98)의 출력을 받는 호스트 측의 CPU에서, 접촉 확률이 100%일 때만 손가락이 화면에 접촉했다고 판단하도록 설정한 경우에는, 접촉 판정의 정밀도가 매우 높은 시스템을 실현할 수 있다. 한편, 호스트 측에서 접촉 확률이 67%일 때에도 손가락이 화면에 접촉했다고 판단하도록 설정한 경우에는, 응답성이 좋은 시스템을 실현할 수 있다. 전자는 은행의 ATM 등의 신뢰성이 필요 한 어플리케이션에 적용할 수 있고, 후자는 게임 등의 신뢰성이 그다지 요구되지 않는 어플리케이션에 적용할 수 있다.

이상 설명한 바와 같이, 본 실시예에 따르면, 계수 회로(95), 프레임간 차분 처리 회로(96), 엣지 검출 회로(97)에 의해서, 각각 다른 방법에 의해 물체가 접촉한 스위치를 나타내는 신호를 출력하고, 접촉 확률 계산 회로(98)에 의해, 이들의 신호에 기초하여 스위치마다 접촉 확률을 계산함으로써, 신뢰성이 높은 스위치마다의 접촉 확률의 제공이 가능하게 되기 때문에, 시스템에 요구되는 신뢰성에 따른 고정밀도 또한 유연한 접촉 판정 및 좌표 계산을 가능하게 할 수 있다.

본 실시예에 따르면, 캘리브레이션 회로(93)에 의해, 백색의 화소수가 전체 화소의 30∼70%로 되도록 광센서의 동작을 제어하는 제어 신호를 출력함으로써, 광센서의 응답을 민감하게 할 수 있고, 정밀도가 높은 접촉 판정, 좌표 계산에 기여할 수 있다. 이 캘리브레이션 회로(93)는, 제1 실시예, 제2 실시예에서도 마찬가지로 적용할 수 있다.

또한, 상기 각 실시예에서는, 사람의 손가락이 화면에 접촉한 경우를 예로 설명했지만, 본 발명은 이것에 한정되는 것이 아니다. 화면에 접촉하는 물체로서는, LED 등의 광원이 붙은 라이트펜이어도 되고, 백색의 마스코트 등이어도 된다. 혹은, 메탈릭 경면을 갖는 금속편이나, 연필캡 등이어도 된다.

제4 실시예

본 실시예에서의 표시 장치의 기본적인 구성은 제1 실시예와 마찬가지이며, 또한 센터용 IC의 기본적인 구성은 제2 실시예에서 도 10을 이용하여 설명한 것과 마찬가지이지만, 접촉 판정 회로(85)와 좌표 계산 회로(86)의 내부 구성 및 처리가 제2 실시예의 것과 다르기 때문에, 여기서는, 그 점만을 설명하는 것으로 하고, 그 밖의 제1, 제2 실시예와 마찬가지의 부분에 대한 중복한 설명은 생략한다.

도 39는, 접촉 판정 회로(85)와 좌표 계산 회로(86)에 의해, 차분 화상과 엣지 화상을 이용하여 접촉 플래그와 좌표 데이터를 계산하기 위한 구성 및 연산 처리의 흐름을 설명한다. 이것들의 연산은 전용의 ASIC에 의해서 병렬 연산해도 되고, CPU나 DSP 등을 이용하여 축차 연산해도 된다.

본 실시예에서는, 접촉 판정 회로(85)는, 차분 면적 계산 회로(101), 차분 면적 보정 회로(102), 차분 면적 기억 회로(103), 차분 좌표 계산 회로(104), 차분 좌표 기억 회로(105), 엣지 강도 계산 회로(106), 엣지 강도 기억 회로(107), 접근/이탈도 계산 회로(111), 좌표간 거리 계산 회로(112), 엣지 강도 변동 계산 회로(113), 엣지 좌표 변동 계산 회로(114), 비교기(115a∼115e), 접촉 판정 스테이트머신(116)을 갖는 구성이다.

좌표 계산 회로(86)는, 임계값 보정 계산 회로(108), 엣지 좌표 계산 회로(109), 엣지 좌표 기억 회로(110)를 갖는 구성이다. 레지스터(100a∼100j)는, 각종의 임계값이나 기준값을 저장하기 위한 것이다.

차분 면적 계산 회로(101)는, 차분 화상의 계조값이 소정의 임계값보다 큰 혹은 작은 화소에 대하여 그 총수를 카운트하여, 그 결과를 차분 면적으로서 출력한다. 이것은, 손가락이나 라이트펜 등의 움직임에 기인하여 촬상 화상에 변화가 발생한 경우에, 그 영역의 면적을 구하는 것에 상당한다. 예를 들면 손가락인 경 우, 손가락이 패널에 접근하면 손가락이 주위의 환경광을 가로막기 때문에 그 부분의 화상은 어두워져서 차분 화상은 마이너스의 값을 갖는 것이 많다. 따라서, 차분 면적 계산 회로(101)에서 이용하는 임계값을 적절하게 설정함으로써, 손가락이 접근한 부분의 면적을 산출할 수 있다.

또한, 차분 면적 계산 회로(101) 대신에, 차분 화상의 계조값이 소정의 임계값보다 큰 혹은 작은 화소에 대하여, 계조값과 임계값의 차에 의존한 가중 계수를 산출하고, 그 가중 계수를 누산한다고 하는 회로를 이용하여도 된다. 가중 계수로서는, 예를 들면 계조값과 임계값의 차에 비례한 것을 이용하는 것이 바람직하다. 물론, 계조값과 임계값의 차 그 자체를 이용해도 된다. 이 경우, 출력되는 누산값은, 움직임이 있었던 부분의 크기와 움직임의 속도에 의존하는 양으로 된다. 단, 여기서는 차분 면적 계산 회로(101)를 채용하는 것으로 한다.

차분 면적 계산 회로(101)에서는, 예를 들면 표시 장치가 옥내에서 옥외로 나온 순간 등 주위의 환경광이 갑자기 변화한 경우에, 큰 차분 면적값을 출력하기 때문에, 이것을 손가락 등의 인식 대상물의 움직임과 구별하기 위해 차분 면적을 보정할 필요가 있다.

차분 면적 보정 회로(102)는 그를 위한 회로이며, 인식 대상물 면적의 기준값을 미리 설정해 놓고, 차분 면적이 그 기준값을 초과하는 경우에, 차분 면적을 본래의 값보다도 작은 값으로 보정한다. 보정의 방법으로서는, 예를 들면 도 40에 도시한 바와 같이, 입력된 차분 면적이 기준값을 초과한 경우에, 차분 면적과 기준값의 차에 비례하여 보정 차분 면적이 감소하는 연산을 행하여, 이것을 출력한다.

이와 같이 하여 얻어진 보정 차분 면적값을, 수 프레임에 걸쳐 차분 면적 기억 회로(103)에 기억해 놓고, 후술하는 바와 같이 대상 물체의 접근·이탈의 판정에 이용한다. 이 차분 면적 기억 회로(103)에는, 예를 들면 시프트 레지스터를 이용한다.

차분 좌표 계산 회로(104)는, 차분 화상의 계조값이 소정의 임계값보다 큰 혹은 작은 화소에 대하여, 이들의 위치 좌표의 평균값을 계산하고, 그 결과인 차분 좌표를 물체의 위치 좌표로서 출력한다. 차분 좌표는, 예를 들면 손가락의 접근 등에 의해 화상의 차분이 발생한 경우에, 그 중심의 좌표를 나타내는 값이다. 차분 좌표는, 수 프레임에 걸쳐 도면 중의 차분 좌표 기억 회로에 기억되고, 후술하는 바와 같이 접촉 판정에 이용된다.

또한, 차분 좌표 계산 회로(104)에서는, 상기의 방법 대신에, 차분 화상의 계조값이 소정의 임계값보다 큰 혹은 작은 화소에 대하여, 계조값과 소정의 임계값과의 차에 의존하는 가중 계수를 이용한 무게 중심 계산에 의해서 위치 좌표를 구해도 된다. 이것은, 주사선 방향 및 신호선 방향을 따른 위치 좌표의 가중 계수에 의한 가중 평균 계산에 상당한다. 이 경우, 가중 계수는, 계조값과 임계값과의 차에 비례하는 것이 바람직하다.

엣지 강도 계산 회로(106)는, 엣지 화상의 계조값이 소정의 임계값보다 큰 혹은 작은 화소에 대하여, 계조값과 임계값과의 차를 누산하는 회로이며, 그 누적값을 엣지 강도로서 출력한다. 손가락 등의 대상물이 패널에 근접할수록, 주위의 환경광이 대상물에 의해 가로막히는 부분과 그의 주위와의 계조 차가 크게 된다. 즉 엣지 화상의 계조값의 절대값이 커진다. 또한, 손가락이 패널에 닿은 경우에, 패널에의 미는 방법에 따라서 접촉 부분의 면적이 다르기 때문에 엣지 화상의 계조값의 절대값이 커지는 면적도 변화한다. 따라서 엣지 강도는, 손가락 등의 대상물과 패널과의 거리, 혹은 대상물과 패널과의 접촉 영역의 크기를 나타내는 지표로 된다. 엣지 강도는 수 프레임에 걸쳐 엣지 강도 기억 회로(107)에 기억되어, 후술하는 바와 같이 접촉 판정에 이용된다.

엣지 강도 계산 회로(106)에서는, 임계값을 초과한 화소에 대하여 계조값과 임계값의 차를 그대로 누산하고 있지만, 계조값과 임계값의 차에 의해 정해지는 가중 계수를 누산하여도 된다. 이 가중 계수로서는, 예를 들면 계조값과 임계값의 차에 비례하는 것을 이용한다. 또한, 계조값이 소정의 임계값보다 큰 혹은 작은 화소의 총수를 카운트하고, 그 결과를 엣지 강도로서 출력해도 된다. 단, 여기서는 계조값과 임계값의 차를 그대로 누산하는 것으로 한다.

엣지 좌표 계산 회로(109)는, 엣지 화상의 계조값이 임계값보다도 큰 혹은 작은 화소에 대하여, 계조값과 임계값의 차에 의존하는 가중 계수를 이용하여 무게 중심 좌표를 계산하고, 그 결과를 엣지 좌표로서 출력한다. 엣지 좌표는 예를 들면 손가락 등의 인식 대상물이 닿은 영역의 중심 좌표를 나타낸다. 엣지 좌표는 수 프레임에 걸쳐 엣지 좌표 기억 회로(110)에 기억되어, 후술하는 바와 같이 접촉 판정에 이용됨과 함께, 최종적으로 위치 좌표로서도 출력된다.

이 무게 중심 계산에 이용하는 가중 계수로서는, 계조값과 임계값의 차에 비례하는 값을 이용하는 것이 바람직하다. 혹은, 계조값과 임계값의 차 그 자체를 이용하여도 되고, 가중 계수를 계조값과 임계값의 차에 상관없이 1로 하여도 된다. 단, 여기서는 계조값과 임계값의 차 그 자체를 가중 계수로서 채용하는 것으로 한다.

또한, 엣지 좌표 계산 회로(109)는, 상기의 방법에 대신하여, 엣지 화상의 계조값이 소정의 임계값보다 큰 혹은 작은 화소에 대하여, 이 위치 좌표의 평균값을 계산하고, 그 결과를 엣지 좌표로서 출력해도 된다.

위치 좌표의 정밀도를 더욱 높이기 위해서는, 임계값 보정 계산 회로(108)에 의해서, 엣지 화상의 계조값의 분포에 의존하여 엣지 화상에 대한 임계값을 동적으로 변경하는 처리를 행하는 것이 유효하다. 이것은, 환경광이 어두운 경우와 밝은 경우에서 계조 차가 크기 때문이다. 도 41은, 옥내 등 환경광이 어두운 경우의 엣지 화상을 도시하고, 도 42는, 환경광이 밝은 경우의 엣지 화상을 도시한다. 이것들의 도면에서, R은 계조값이 88∼69인 화소, G는 계조값이 68∼49인 화소, B는 계조값이 48 이하인 화소를 각각 나타내고 있다. 도 41에 도시한 바와 같이 환경광이 어두운 경우에는, 화상 중에서 환경광을 가리는 부분과 가리지 않는 부분과의 계조 차는 그다지 크지 않다. 그러나, 도 42에 도시한 바와 같이, 맑은 날의 옥외 등 환경광이 매우 밝은 경우에는, 계조 차가 매우 커진다. 이와 같이, 주위의 환경광에 따라서 엣지 화상의 계조가 크게 다르기 때문에, 임계값을 고정하면, 엣지 좌표가 실제로 물체가 접촉하고 있는 부분으로부터 크게 괴리될 우려가 있다. 따라서, 예를 들면, 엣지 화상을 일단 주사하여 계조 도수 분포에서의 최대값 혹은 최소값을 구하고, 그 최대값 혹은 최소값과 미리 설정해 둔 임계값과의 평균값을 새로운 임계값으로 하는 보정을 행한다. 이 보정에 의해서, 접촉 부분에 대응하는 정확한 위치 좌표가 산출 가능하게 된다.

접근/이탈도 계산 회로(111)는, 과거의 복수 프레임에 대하여 유지되어 있는 차분 면적값과 엣지 강도값을 이용하여, 손가락 등 인식 대상물의 접근하는 정도·이탈하고 있는 정도를 나타내는 접근/이탈도라는 값을 계산한다. 구체적으로는, 접근/이탈도는, 2개의 값을 적산하여 얻어지는 값으로서 정의된다. 제1 값은, 어떤 프레임에서의 엣지 강도로부터, 소정 프레임 전에서의 엣지 강도를 감산한 값이며, 제2 값은, 차분 면적이다. 예를 들면, 현재의 프레임의 엣지 강도로부터 2 프레임 전의 엣지 강도를 감산한 값과, 현재의 프레임의 차분 면적을 적산한 값으로 한다. 그 외에도, 예를 들면, 현재의 프레임의 엣지 강도로부터 1 프레임전의 엣지 강도를 감산한 값과, 현재의 프레임의 차분 면적과의 곱 등의 정의이어도 된다. 차분 면적은, 보정한 후의 것을 이용하는 것이 바람직하지만, 보정하지 않는 것이어도 적용 가능하다.

손가락 등이 패널에 접근하는 순간에는, 차분 면적의 값이 크게 됨과 동시에 엣지 강도가 증가하기 때문에, 접근/이탈도는 플러스의 피크를 갖는다. 한편, 손가락 등이 패널로부터 떠나는 순간에는, 차분 면적의 값이 크게 됨과 동시에 엣지 강도가 감소하기 때문에, 접근/이탈도는 마이너스의 피크를 갖는다. 따라서, 적절하게 설정된 플러스의 임계값과 접근/이탈도를 비교함으로써, 손가락 등의 인식 대상물이 패널에 접근한 타이밍을 알 수 있다. 마찬가지로, 적절하게 설정된 마이너스의 임계값과 접근/이탈도를 비교함으로써, 손가락 등의 인식 대상물이 패널로부 터 떨어진 타이밍을 알 수 있다. 이들의 비교 연산의 결과는 도 39에 도시한 바와 같이, 접촉 판정 스테이트머신(116)에 입력되어, 후술하는 바와 같이 일련의 접촉 판정에 이용할 수 있다.

엣지 강도 변동 계산 회로(113)는, 엣지 강도가 과거 수 프레임의 사이에 얼마만큼 변동했는지의 지표로 되는 엣지 강도 변동값을 계산한다. 엣지 강도 변동은, 복수의 프레임에서의 엣지 강도값의 최대값과 최소값의 차로 정의된다. 예를 들면, 과거 3 프레임의 엣지 강도값으로부터, 그 최대값과 최소값을 구하고, 최대값으로부터 최소값을 감산한 것으로 한다. 프레임 수는, 촬상의 프레임 레이트와, 손가락 등의 상정되는 접촉 시간에 따라서, 과거 4 프레임, 5 프레임 등, 별도의 보다 적절한 값을 선택하는 것도 가능하다. 또한, 엣지 강도 변동은, 최대값과 최소값의 차가 아니라, 엣지 강도의 누적값 그 자체로 정의해도 되고, 표준편차 등으로 정의해도 된다.

손가락 등이 패널에 확실하게 접촉하고, 또한 정지하고 있는 중에는 엣지 화상이 안정되기 때문에, 엣지 강도 변동은 작은 값이 된다. 따라서, 엣지 강도 변동을 적절하게 설정된 임계값과 비교함으로써, 손가락 등의 인식 대상이 패널에 닿아 정지하고 있다고 하는 판정을 할 수 있다. 이 비교 연산의 결과는, 도 39에 도시한 바와 같이 접촉 판정 스테이트머신(116)에 입력되어, 후술하는 일련의 접촉 판정에 이용할 수 있다.

또한, 엣지 강도값 그 자체는, 상술한 바와 같이 손가락 등의 대상물과 패널과의 거리가 가까움, 혹은 대상물과 패널과의 접촉 영역의 크기의 지표로 되기 때 문에, 현재의 프레임의 엣지 강도값을 적당한 임계값과 비교함으로써 손가락 등의 접촉·비접촉을 판정할 수 있다. 상기의 비교 연산의 결과는 접촉 판정 스테이트머신(116)에 입력되어, 후술하는 바와 같이 일련의 접촉 판정에 이용할 수 있다.

엣지 좌표 변동 계산 회로(114)는, 엣지 좌표가 과거 수 프레임간에 얼마만큼 변동했는지의 지표로 되는 엣지 좌표 변동값을 계산한다. 구체적으로는, 엣지 좌표 기억 회로(110)에서, 엣지 좌표로서 나타내는 위치 좌표를 복수 프레임에 대하여 기억해 놓고, 엣지 좌표 변동 계산 회로(114)는, 복수의 위치 좌표의 최대값과 최소값의 차와 소정의 임계값과의 비교 연산을 행한다. 예를 들면, 과거의 4 프레임의 엣지 좌표로부터, 주사선 방향 좌표와 신호선 방향 좌표의 각각에 대해 따로따로 그 최대값과 최소값을 구하고, 최대값으로부터 최소값을 감산한다. 프레임 수는, 촬상의 프레임 레이트와, 손가락 등의 상정되는 접촉 시간에 따라서, 과거 3 프레임, 5 프레임 등, 별도의 보다 적절한 값을 선택하는 것도 가능하다. 또 최대값과 최소값의 차가 아니라, 표준편차 등으로 정의해도 된다. 손가락 등이 패널에 정확히 접촉하고, 또한 정지하고 있는 중에는 엣지 좌표가 안정되기 때문에, 엣지 좌표 변동은 작은 값이 된다. 따라서, 엣지 좌표 변동을 적절하게 설정된 임계값과 비교함으로써, 손가락 등의 인식 대상이 패널에 닿아 정지했다고 판정을 할 수 있다. 이 비교 연산의 결과는, 접촉 판정 스테이트머신(116)에 입력되어, 후술하는 바와 같이 일련의 접촉 판정에 이용할 수 있다.

좌표간 거리 계산 회로(112)는, 차분 좌표 계산 회로(104)에 의해 차분 화상을 이용하여 얻어진 위치 좌표와, 엣지 좌표 계산 회로(109)에 의해 엣지 화상을 이용하여 얻어진 위치 좌표 사이의 거리(좌표간 거리)를 계산한다. 예를 들면, 손가락 등의 대상물이 패널에 접근한 순간의 차분 좌표와, 패널에 접촉하여 정지한 순간의 엣지 좌표와, 패널로부터 떠나는 순간의 차분 좌표의 3개의 타이밍에서의 좌표를 비교함으로써, 접근한 위치와 떨어진 위치의 거리, 접촉하여 정지한 위치와 떨어진 위치의 거리라고 한 좌표간 거리를 계산한다. 3개 타이밍은 전술한 접근/이탈도나 엣지 강도 변동 등의 비교 연산 결과에 의해 알 수 있기 때문에 그때의 차분 좌표나 엣지 좌표를 일시적으로 기억해 두면 좌표간 거리의 계산이 가능하다. 예를 들면, 접근한 위치와 떨어진 위치의 좌표간 거리를 소정의 임계값과 비교함으로써, 누른 위치와 떨어진 위치가 동일한 "클릭 동작"인지, 누른 위치와 떨어진 위치가 다른 "드래그&드롭 동작"인지, 등의 식별에 이용할 수 있다. 이 비교 연산의 결과는, 접촉 판정 스테이트머신(116)에 입력되고, 후술하는 바와 같이 일련의 접촉 판정에 이용할 수 있다. 또한, 도 39에서는, 도면이 번잡하게 되지 않도록, 각 비교 연산 결과를 좌표간 거리 계산 회로(112)에 입력하는 선은 생략하고 있다.

접촉 판정 스테이트머신(116)은, 전술한 접근/이탈도의 비교 연산 결과, 엣지 강도 변동의 비교 연산 결과, 엣지 강도의 비교 연산 결과, 엣지 좌표 변동의 비교 연산 결과, 좌표간 거리의 비교 연산 결과 중의 적어도 1개의 연산 결과, 및 현재의 프레임의 상태, 현재의 상태에서 경과한 프레임 수, 각 상태에 대응하여 미리 설정된 타임아웃 프레임 수를 입력으로 하여, 다음 프레임의 상태를 결정한다. 또한, 접촉 판정 스테이트머신(116)은, 현재의 프레임의 상태에 기초하여, 손가락 등의 인식 대상물이 접촉했는지 여부의 접촉 플래그를 출력한다. 또한, 도 39에서 는, 도면이 번잡하게 되어 버리기 때문에, 현재의 프레임의 상태, 경과 프레임 수, 타임아웃 프레임 수 등의 입력을 나타내는 선은 생략하고 있다.

도 43은, 스테이트머신(116)에서의 천이 상태와, 이들의 사이의 천이 패스 및 천이 조건의 일례를 도시한다. 단지 번잡하게 되는 것을 방지하기 위해서, 도 43에서는 모든 천이 패스와 천이 조건을 기술하고 있는 것은 아니다. 또한, 타임아웃에 의한 천이에 대해서도 생략하고 있다. 도 43의 예에서는, 손가락 등의 인식 대상물이 한 번 패널 상의 어떤 위치에 닿아 정지한 후에, 동일한 위치에서 떨어졌다고 하는 "싱글 클릭" 동작에 대하여 접촉했다고 하는 판정을 내리는 것이다. 스테이트머신(116)은, 접촉 판정의 결과를 아이들 상태, 접근 상태, 접촉 상태, 이탈 상태, 완료 상태의 각 상태로 나타낸다.

아이들 상태는 손가락의 접근을 기다리고 있는 상태이다. 전술한 접근/이탈도가 설정된 플러스의 임계값보다 크고, 또한 엣지 강도가 임계값보다도 큰 경우에 손가락 등이 접근했다고 판정되고, 천이 상태는 접근상태로 변화한다. 접근 상태는, 손가락 등이 패널에 닿아 확실하게 안정되는 것을 대기하는 상태이다.

엣지 강도가 임계값보다도 큰 상태에서, 또한 엣지 강도 변동, 엣지 좌표 변동이 각각 설정한 임계값보다도 작아진 경우에, 손가락 등이 패널에 확실하게 닿아 안정되었다고 판정하여, 접촉 상태로 천이한다. 접촉 상태에서는 손가락 등이 떨어지기 시작하는 것을 대기한다.

엣지 강도가 임계값보다 작아진 경우에, 손가락 등이 떨어지기 시작했다고 판정하고 이탈 상태로 천이한다. 이탈 상태는, 손가락이 완전하게 떠나는 것을 대 기하는 상태이다. 접근/이탈도가 마이너스의 임계값보다도 작고, 또한, 접근 시의 좌표와 이탈 시의 좌표의 거리인 좌표간 거리가 임계값보다도 작은 경우에 "싱글 클릭"이 성립했다고 판정하여 완료 상태로 천이한다. 완료 상태에서는, 접촉 판정 플래그를 온으로 하여, "싱글 클릭"이 있었던 것과, 그 위치 좌표를 호스트의 CPU 등에 알린다. 완료 상태로부터는 타임아웃 프레임 수의 설정에 따라 자동적으로 아이들 상태로 되돌아간다.

또한, 상기의 스테이트머신(116) 외, "더블 클릭" 동작을 인식하는 스테이트머신이나, "드래그&드롭" 동작, 패널을 "문지르는" 동작 등을 인식하는 스테이트머신을 이용해도 된다.

제5 실시예

본 실시예에서는, 도 35를 이용하여 설명한 입력 시의 화면을 소프트웨어적으로 표시시킬 때의 스위치의 표시 휘도에 대하여 설명한다. 또한, 그 밖의 구성에 대해서는, 상기 각 실시예와 마찬가지이기 때문에, 여기서는 중복한 설명은 생략한다.

도 44는, 흑 배경에 백색의 스위치가 12개 표시되고, 개개의 스위치에 번호가 표시된 상태를 도시하고 있다. 도 38을 이용하여 설명한 바와 같이 하여, 스위치가 눌러져 있을 때와 눌러져 있지 않을 때의 S/N 비를 도 45에 도시한다. 종축은 S/N비, 횡축은 외광의 조도이다. 외광이 높을 때는 문제가 아니지만 100룩스(lx) 근방에서는 S/N 비가 작아 없어지는 문제가 있다. 그 이유는, 손가락이 광을 가로막는 것에 의해 해당 스위치에 속하는 광센서에 투영되는 그림자(시그널)에 대 하여, 스위치의 표시광이 손가락에서 반사되어 반사광의 성분이 상대적으로 눈에 띄어 그림자(시그널)를 감하는 노이즈로 되기 때문이다. 또한, 100lx 근방에서 S/N 비가 작아지지만 0lx로 향하여 상승한다. 이것은 외광이 충분히 작아지고, 스위치의 표시광이 손가락에서 반사되어 발생하는 반사광의 성분이 시그널로 되어, 이 시그널에 대해서는 외광이 노이즈로 되고, 외광이 충분히 작게 될 때 S/N 비가 양호하게 되기 때문이다.

여기서, 도 46에 도시한 바와 같이, 스위치를 흑색으로 하고 배경색을 백으로 했다. 이렇게 함으로써, 전술한 외광 근방에서 노이즈로서 기능하는 표시광이 손가락에서 반사되어 센서에 입사하는 그림자를 감하는 현상을 억제할 수 있어, 도 47에 도시한 바와 같이 100lx 근방의 S/N 비가 개선한다. 100lx정도 이상으로 동작하면 되는 어플리케이션에서 유효하다.

도 48은, 또한 스위치의 표시에 연구를 더한 것이다. 도 44의 스위치의 내부에 흑 영역을 설치한 것이다. 도 44인 경우에 대하여 흑 부분의 비율이 많기 때문에 외광에 의한 그림자를 판독하는 범위가 넓어진다. 또한, 적당하게 흰 부분도 갖기 때문에 암소에서도 S/N 비가 확보 가능하다.

실험에 의하면 흰 부분은 그다지 커지지 않아도 0lx부근의 암소에서 정보는 판독할 수 있다. 스위치에 차지하는 흑(저휘도)의 면적을 스위치의 50% 이상으로 하는 것이 좋다. 도 50, 도 51, 도 52에 변형예를 도시한다. 백(고휘도)의 부분을 적게 하는 것에 의해 유저도 손가락으로 터치하는 부분도 한정되어, 혼동스러운 입력을 방지하는 효과가 있다. 이와 같은 이유로부터, 백(고휘도)의 부분을 흑(저 휘도)의 부분보다 적게 하는 것은 특히 유효하다.

제6 실시예

본 실시예에서는, 상기 각 실시예에서의 각 임계값의 결정 방법에 대하여 설명한다. 또한, 그 밖의 구성에 대해서는, 상기 각 실시예와 마찬가지이기 때문에, 여기서는 중복한 설명은 생략한다.

도 53과 같이 하여 접촉 판정을 행하는 경우, 접근도, 이탈도, 엣지 안정도, 좌표안정도에 대하여 각각 임계값을 결정할 필요가 있다. 그런데, 이들은 외광이나 온도 등의 환경에 따라 최적값이 변화하기 때문에, 특정한 값으로 결정하는 것이 어렵다. 특정한 값으로 결정하여 버리면, 오히려 오동작할 우려가 있다.

따라서, 본 실시예에서는, 특정한 타이밍에서의 신호의 노이즈를 계측해 놓고, 이것에 기초하여 임계값을 산출한다. 구체적으로는, 직전의 상태(아이들 상태)에서의 각 신호의 노이즈 레벨을 계측해 놓고, 안정도에 대해서는 신호의 진폭이 아이들 상태인 때의 60% 이하로 되고, 접근도·이탈도에 대해서는 진폭이 아이들 상태일 때의 노이즈 진폭의 5-20배로 되도록 임계값을 자동 설정한다.

구체예에 대하여 도 54 내지 57을 이용하여 설명한다. 각 도에서는, 아이들 시의 접근도의 노이즈 진폭을 S로 나타내고, 엣지 강도의 노이즈 진폭을 E로 나타낸다. 손가락이 접근하고 있을 때, 접근 강도를 나타내는 신호가 서서히 증가하고 있지만, 이것이 S×10에 달한 때에 접근이라고 간주한다. 즉, S×10을 접근 강도의 임계값으로 한다. 이탈 신호에 대해서도 마찬가지다. 한편, 엣지 강도에 대해서는 손가락이 접하여 있을 때에 일단 손가락이 LCD 표면에 고정되기 때문에 엣지 강도는 안정된다고 생각된다. 즉 엣지 강도의 진폭이 작아진다. 아이들 시의 엣지 강도의 노이즈 진폭의 0.5배 정도 이하로 작아졌을 때에 엣지 강도가 안정되었다고 간주한다. 즉 엣지 안정도의 임계값을 E×0.5로 한다. 좌표안정도에 대해서도 마찬가지이다.

이와 같이 함으로써 여러 가지의 환경 하에서 적절하게 임계값을 결정하는 것이 가능하게 되어 오입력 및 오동작을 격감시킬 수 있다.

제7 실시예

도 58의 (a)는 본 실시예에서의 표시 장치를 탑재한 케이싱의 측면도, 도 58의 (b)는 그 케이싱의 상면도, 도 58의 (c)는 표시 장치의 상면도를 각각 모식적으로 도시한다.

표시 장치(134)는, 광 검지부(134a)를 구비하고 있고, 케이싱(133)은, 이 표시 장치(134)와, 투명부(133a), 차폐부(133b)를 구비한다. 표시 장치(134)는, 예를 들면 광센서를 집적한 액정 디스플레이 등이다. 케이싱(133)은, 예를 들면 휴대 전화기의 케이싱 등이며, 표시 장치(134)의 표시부 및 광 검지부(134a)의 상방에 투명부(133a)가 배치되고, 그 주변은 광을 통과시키지 않는 차폐부(133b)로 되어있다.

이러한 구성에서, 손가락(132)이 투명부(133a)에 접촉하면, 손가락(132)이 주위의 환경광(131)을 차단하는 것에 의해 화면 상에 그림자(137)가 발생한다. 광 검지부(134a)에서 이 그림자를 검지함으로써 손가락이 닿은 위치의 좌표(139)를 산출할 수 있다.

그러나, 일반적으로 화면의 보호를 위해 케이싱(133)의 투명부(133a)와 표시 장치(134)는 다소 떨어져 있기 때문에, 도 58의 (a)와 같이 환경광(131)이 경사 방향으로부터 입사한 경우 등에는, 실제로 투명부(133a) 상에서 접촉한 위치(136)와 산출된 좌표(139)가 어긋나게 되는 문제가 있다.

한편, 환경광(131)이 경사로부터 입사한 경우에 케이싱(133)의 차폐부(133b)에 의해서도 화면 상에 그림자(138)가 발생한다. 케이싱(133)과 표시 장치(134)와의 상대 위치는 미리 알 수 있기 때문에, 케이싱(133)의 그림자(138)를 광 검지부(134a)에서 검지한 계조 정보에 기초하여, 옳은 접촉 위치를 알기 위한 보정량(140)을 산출할 수 있다.

따라서, 본 실시예에서는, 차폐부(133b)에 의해서 화면에 투영되는 그림자를 광 검지부(134a)에 의해 검지함으로써, 주위로부터 화면에 입사하는 광의 입사 방향을 검지하고, 그 입사 방향에 기초하여 좌표 입력의 좌표값을 보정한다.

도 59는, 계조 정보로부터 보정량을 산출하는 방법의 구체예를 도시하고 있다. 동 도면의 파선으로 나타낸 바와 같이, 광 검지부에서의 화소 중 4변으로부터의 거리가 예를 들면 8 화소 이내에 있는 화소를 보정량 산출 전용으로 이용한다. 도 60은, 환경광이 우측으로부터 입사하는 경우에, X 좌표의 큰 쪽으로부터 8 화소 이내에 있는 화소에 대해, 좌표 X와 Y축 방향으로 연장한 평균 계조값 G(X)의 관계를 도시하고 있다. 우변측에 있는 케이싱의 그림자가 발생하므로, 평균 계조는 X가 증가하면 감소한다. 이 평균 계조의 값이 임계값 G0을 하회하는 화소수를 X 좌표의 보정량으로 한다. 예를 들면 도 60으로서는 X 좌표의 보정량은 +4로 된다.

마찬가지로 X 좌표의 작은 쪽으로부터 8 화소 이내로 평균 계조값이 임계값을 하회한 경우에도 그 화소수를 X 좌표의 보정량으로 한다. 단지 이 경우에는 마이너스측으로 보정한다. Y 좌표의 보정량에 대해서도 전부 마찬가지로 하여 구할 수 있다.

제8 실시예

본 실시예의 표시 장치의 기본적인 구성은, 도 1∼도 5를 이용하여 설명한 것과 마찬가지이다. 또한, 본 실시예에서도, 도 35에 도시하는 바와 같이, 물체를 근접시키기 위한 영역으로서 제1∼제12 스위치를 화면에 표시시키는 것으로 하여, 손가락(20)이 어느 스위치에 접촉했는지를 판정하는 것을 상정한다.

본 실시예의 표시 장치에서의 센서용 IC(4)의 기본적인 구성은, 제3 실시예에서 도 36을 이용하여 설명하고 것과 마찬가지이다. 즉, 캘리브레이션 회로(93)는, 외광의 변화에 기초하여 동작점을 변경한다.

그러나, 손가락/손이 접근하여 오는 것에 의해 동작점이 빈번하게 변하여 정확한 판독을 할 수 없다. 즉, 차분 화상에 의해 손가락의 움직임을 검출하고자 하는 경우에, 광센서의 구동 조건이 변화하는 상태에서 판독 화상 전체의 차분이 검출되면 현저한 노이즈로 된다.

따라서, 화면 전체의 광센서의 출력값에 기초하여 평균값을 출력하는 것이 아니고, 화면에서의 스위치가 표시된 영역 이외의 영역에 배치된 광센서의 출력값에 기초하여 구동 조건을 변경하도록 한다. 이 영역으로서는, 예를 들면, 손가락이 접근해도 그림자가 드리워지지 않는 화면 상부로 한다.

도 61은, 화면 전체의 광센서의 출력값에 기초하여 평균값을 출력하는 경우의 화면을 도시한다. 도 62는, 그 때의 계조 히스토그램을 도시한다. 파선은, 손가락이 접근하기 전의 히스토그램이며, 실선은 손가락이 접근했을 때의 히스토그램이다.

이것에 대하여, 도 63은, 화면 상부에서의 스위치 이외의 영역의 광센서의 출력값에 기초하여 평균값을 출력하는 경우의 화면을 도시하고, 도 64는, 그 때의 계조 히스토그램을 도시한다. 여기서는, 도 63의 파선으로 도시하는 영역에 배치되어 있는 광센서의 출력값을 이용한다. 도 64의 실선과 파선의 관계는 도 62와 마찬가지이다.

도 62, 도 64를 보고 알 수 있는 바와 같이, 손가락이 접근하면, 손가락의 그림자에 대응하는 저계조값이 되는 영역이 증가하여, 히스토그램은 낮은 계조값 측으로 시프트한다.

양자를 비교하면, 화면 전체의 광센서를 이용한 경우에는, 손가락이 접근하기 전의 히스토그램의 평균값1이, 손가락이 접근했을 때에는 평균값2로 되고, 계조 평균값은 크게 저하한다. 이것에 대하여, 화면 상부의 광센서만을 이용한 경우에는, 계조 히스토그램의 샘플링 영역을 도 63의 점선부에 한정하게 된다. 이와 같이 하면 손가락의 접근 전후에서 샘플링 영역에 그림자가 투영되는 경우가 적으므로, 이 샘플링 영역에서의 계조 평균값의 시프트가 적게 된다. 따라서, 손가락이나 손의 접근에 과민하게 반응하는 것을 피할 수 있고, 외광의 변화만을 정확하게 판독하는 것이 가능하게 된다.

도 65는, 손가락이 접근하기 전후에서의 계조 평균값의 시간 변화를 도시한다. 동 도면의 점선은, 화면 전체의 광센서를 이용한 경우의 평균값의 시간 변화를 나타내고, 손가락 접근에 따라 평균값이 크게 변화하고 있다. 이것에 대하여, 실선은, 화면 상부의 샘플링 영역 내에서의 평균값의 시간 변화를 나타내고, 손가락의 접근 전후로 평균값은 그다지 변화하지 않는다. 한편, 외광 조도가 크게 변화한 경우에는, 점선의 샘플링 영역의 계조 평균은 외광에 연동하여 시프트하기 때문에 캘리브레이션이 유효하게 기능한다.

이 캘리브레이션을 센서용 IC의 내부에서 행하는 것을 생각하면, 화면 전체로 평균값을 계산하는 경우에는 화면 전체의 광센서로부터의 출력값을 대기해야만 한다. 이것에 대하여, 화면 상부의 특정 영역만의 평균값을 계산하면, 화면 전체의 광센서로부터의 출력값을 대기할 필요가 없다고 하는 이점이 있다.

또한, 본 실시예에서는, 「평균값」을 관찰하여 캘리브레이션을 할 지의 여부를 결정하고 있지만, 이것은「평균값」에 한정되는 것은 아니다. 광센서의 구동 조건이 적절한지 아닌지를 판단하기 위해서는, 화상의 출력값에 기초하여 얼마간의 통계량을 이용하면 된다. 예를 들면, 계조 히스토그램의 중앙 값(메디안값)을 이용하여도 된다. 단지「평균값」을 구하기 위한 회로 규모의 쪽이 작아서, 센서용 IC을 저코스트화 할 수 있는 이점이 있다.

샘플링 영역은, 손가락의 그림자가 투영되지 않는 범위에서 다소 크게 하는 것이 바람직하다. 그래서 도 66, 67에 도시한 바와 같이, 유저가 입력하는 손이 오른손인 경우와 왼손인 경우에서 샘플링 영역을 화면 센터에 대하여 비대칭으로 하는 것이 유효하다. 이 설정은 유저가 단말기 구입 시에 설정하도록 한다. 예를 들면, 오른손잡이의 유저는, 도 66과 같이 오른손으로 입력하는 경우가 많으므로 화면의 우측은 그림자가 투영될 가능성이 약간 높고, 화면의 좌측은 그림자가 투영될 가능성이 낮다고 생각된다. 따라서, 동 도면의 점선과 같이, 화면 상부의 좌측에 캘리브레이션을 위한 샘플링 영역을 정하는 것이 좋다. 이것에 대하여, 왼손잡이의 유저는, 도 67과 같이 왼손으로 입력하는 것이 많으니까, 동 도면의 점선과 같이, 화면 상부의 우측에 샘플링 영역을 정하는 것이 좋다.

이상 설명한 바와 같이, 본 실시예에 따르면, 물체를 근접시키는 영역 이외의 영역에 배치된 광센서의 출력값에 기초하여 광센서의 구동 조건을 변경함으로써, 캘리브레이션을 행할 때에 물체가 근접하여 왔을 때의 그림자의 영향을 받기 어렵게 되기 때문에, 외광의 조도 변화에 의한 광센서의 출력의 변동을 정확하게 파악하는 것이 가능하게 된다.

제9 실시예

본 실시예에서는, 캘리브레이션 회로(93)의 기능만이 제3 실시예와 상이하고, 그 밖의 기본적인 구성은 제3 실시예와 마찬가지이기 때문에, 여기서는, 캘리브레이션 회로(93)에 대해서만 설명하는 것으로 하고, 제3 실시예와 마찬가지의 부분에 대해서는 중복한 설명을 생략한다.

본 실시예에서는 캘리브레이션은 리얼타임으로 행한다. 표시 장치의 출하 시 혹은 전원 투입 시에 캘리브레이션을 행하는 것 만으로는 불충분한 경우가 있다. 예를 들면, 사용 중에 외광 조도가 변화하거나, 외광 조도가 일정하더라도 디 스플레이를 갖는 손의 각도의 변화 등으로 패널 표면의 조도가 크게 변화하는 경우가 있기 때문이다.

본 실시예의 캘리브레이션 회로(93)에는, 도 68에 도시한 바와 같이, 촬상 화상에 대해 16×16 화소마다의 면적 계조화 처리로 형성된 15×20×8bit의 계조 데이터가 순서대로 입력된다. 이와 같이 씨닝 처리를 행함으로써, 캘리브레이션 회로(93)에서의 리얼타임의 처리 부담의 경감을 도모한다.

한편, 손가락이 접근/접촉하는 경우에 과민하게 캘리브레이션에 의한 동작점 변경이 발생하는 것은 바람직하지 않다. 따라서, 캘리브레이션 회로(93)는, 계조 히스토그램을 작성하여, 계조 히스토그램에서의 중앙을 포함하는 상위의 값이 소정 범위 내로 되도록 제어 신호를 출력한다. 이 제어 신호를 받은 DAC(94), 레벨 시프터(91)는, 노광 시간 또는 프리차지 시간의 적어도 한 쪽을 조절한다.

계조 히스토그램의 상위의 값에 주목한 캘리브레이션은, 평균값에 주목한 캘리브레이션보다 안정성이 우수한 것을 다음에 설명한다.

도 69는, 손가락이 접근하기 전의 계조 히스토그램을 도시하고, 도 70은, 손가락이 접근했을 때의 계조 히스토그램을 도시한다. 각각의 도면에서, 평균값과 중앙 값(메디안값)을 도시하고 있다. 또한, 도 70에서, 파선은 도 69와 동일한 히스토그램이며, 파선의 화살표는 그 평균값을 도시하고 있다.

이들의 도면에 도시한 바와 같이, 외광 하에서 화면 중앙 부근의 스위치를 누르는 것을 상정한 경우, 손가락 및 손바닥이 화면에 접근하여 오면 점차로 광센서에 입사하는 광량이 감소하여, 계조 평균값은 저하하는 방향으로 변화한다. 이 것에 민감하게 반응하여 광센서의 동작 조건을 변화시키면, 차분 처리 시에, 손가락의 움직임 성분 이외의 동작점 변경에 수반하는 전체적인 계조 변화가 노이즈로서 차분 화상에 가산되게 된다.

이것에 대하여, 히스토그램의 중앙으로부터 상위의 계조값은, 이러한 영향이 적다. 이것은, 손가락의 그림자는 저계조값이기 때문에, 계조 히스토그램의 하위의 부분에 끼치는 영향은 크지만, 계조 히스토그램의 중앙으로부터 상위의 부분에 끼치는 영향은 작기 때문이다. 도 70에 도시한 바와 같이, 평균값은 하위의 계조로 시프트하지만, 메디안값은 시프트량이 작기 때문에, 안정성이 우수하다고 하는 것이 가능하다.

물론, 메디안값에 대신하여, 예를 들면, 계조 히스토그램의 상위로부터 1/3의 위치에서의 계조값이나 계조 히스토그램의 상위로부터 1/4의 위치에서의 계조값을 이용하여 마찬가지의 처리를 행하여도 된다. 상위의 계조값을 사용함으로써 광원이나 손의 덮이는 방법에 따라 화면의 전체에 손가락 접근 시의 그림자가 발생하게 되어 버리는 경우에도, 불필요한 캘리브레이션이 걸리지 않게 되어 동작 안정성을 향상시킬 수 있다.

외광이 현저하게 변화했을 때만 계조 히스토그램의 상위의 계조값은 변화한다. 어느 정도의 상위의 계조값을 이용할지는, 손가락 접근 시에 화면에 어느 정도의 그림자가 걸치는지에 따른다. 예를 들면, 화면의 크기가 손가락이나 손과 같은 물체보다 충분히 크면 메디안값이어도 되고, 화면의 크기가 손가락이나 손과 동일한 정도의 크기이면 상위로부터 1/5 정도의 계조값 쪽이 좋다. 이와 같이, 캘리 브레이션 회로(93)에서는, 화면과 물체의 크기에 따라, 상위의 계조값을 변경 가능하게 하는 것이 바람직하다.

또한, 프리차지 전압이나 노광 시간 등의 센서 구동 조건의 파라미터를 연속적으로 변화시켰다면 제어에 시간이 걸리기 때문에, 광센서의 노광 시간 또는 프리차지 전압 중 적어도 한 쪽과 계조값에 대한 소정의 범위와의 관계를 이산적으로 나타내는 테이블을 준비해 두는 것이 바람직하다. 이 때의 테이블 내의 파라미터는 인접의 것끼리가 중첩되는 부분을 가지게 된다. 그렇게 하지 않으면 경계부에서 캘리브레이션이 걸렸을 때에 처리가 무한 루프에 빠지는 경우가 발생하기 때문이다. 또한, 테이블은, 노광 시간을 허용 가능의 범위에서 최대로 하고, 프리차지 전압 쪽을 변화시키는 것으로 한다. 이것들의 조건을 만족하는 테이블로서, 프리차지 전압이나 노광 시간을 변화시키는 방법을 예를 들면 도 71의 테이블과 같이 정한다.

이 테이블은, 프리차지 전압 Vprc, 노광 시간, 메디안값의 범위를 나타내는 최소값, 최대값의 관계를 설정하고 있다. 도 72는, 이 테이블을 그래프화한 것이다.

프리차지 전압, 노광 시간의 쌍방에 대하여, 일정 단위로 조금씩 변화시키는 것은 아니고, 이들이 적정 조건으로의 이행에 요하는 시간이 짧아지도록 단위가 설정되어 있다. 또한, 노광 시간을 허용 가능의 범위에서 최대로 하여, 프리차지 전압을 우선적으로 변화시키는 것은, 도 73에 도시한 바와 같이, 노광 시간이 길수록 S/N 비가 양호하기 때문이다.

다음에, 이러한 테이블을 이용하여 노광 시간, 프리차지 전압을 리얼타임으로 제어하는 처리에 대하여 설명한다.

도 74는, 선형 탐색법에 의해 노광 시간, 프리차지 전압을 설정하는 처리의 흐름을 설명하는 플로우차트이다. 여기서는, 도 71의 테이블에 도시한 바와 같이, 프리차지 전압, 노광 시간, 메디안값의 최소값, 최대값으로 한 각 파라미터의 관계마다 위로부터 내려가는 순서대로 1씩 증가하는 번호 N을 할당한다. 또한, 번호 N이 증가함에 따라서, 메디안값에 대하여 최소값과 최대값으로 정해지는 소정의 범위가 높은 계조값 쪽으로 변화함과 함께, 프리차지 전압, 노광 시간에 대해서도 이것에 추종하여 변화하도록 설정해 두는 것으로 한다.

도 74의 선형 탐색 처리는, 초기값의 설정 처리(스텝 S1, S2)와, 측정한 메디안값이 소정의 범위 내에 있는 경우의 통상의 촬상 루프(스텝 S3∼S5)와, 측정한 메디안값이 소정의 범위 내에 있지 않은 경우의 선형 탐색 루프(스텝 S6∼S9)를 갖는다.

스텝 S1에서는, N의 최대값 Nmax의 1/2를 초기값 N으로 설정한다.

스텝 S2에서는, 테이블에서 N 번째의 란에 대응하는 프리차지 전압 Vprc, 노광 시간을 판독하고, 캘리브레이션 회로(93)에 의해 이들 값을 세트하고, 이들 값에 기초하여 제어 신호를 출력한다.

스텝 S3에서는, 표시부(2)에 의해 광센서(8)를 이용하여 화상을 촬상하고, 계조화 회로(92)에 의해 촬상 화상의 출력값을 계조화하고, 캘리브레이션 회로(93)에 의해 계조 히스토그램의 메디안값을 측정한다.

스텝 S4에서는, 캘리브레이션 회로(93)는, 테이블의 N 번째의 란에 대응하는 메디안의 최대값 Dn을 판독하고, 이것을 측정한 메디안값과 비교한다. 이 최대값보다도 측정한 메디안값 쪽이 작은 경우에는 스텝 S5로 진행하고, 큰 경우에는 스텝 S6으로 진행한다.

스텝 S5에서는, 캘리브레이션 회로(93)는, 테이블의 N번째의 란에 대응하는 메디안의 최소값 Cn을 판독하고, 이것을 측정한 메디안값과 비교한다. 이 최소값보다도 측정한 메디안값 쪽이 큰 경우에는 스텝 S3으로 되돌아가고, 작은 경우에는 스텝 S8로 진행한다.

스텝 S6, S7에서는, 측정한 메디안값이 최대값보다도 작은 범위 내에 들어가도록 하기 위해, N을 1개 올려서 스텝 S2로 되돌린다. 올릴 수 없는 경우에는, N을 변경하지 않고서 스텝 S3으로 되돌린다.

스텝 S8, S9에서는, 측정한 메디안값이 최소값보다도 큰 범위 내에 들어가도록 하기 위해, N을 1개 내려서 스텝 S2로 되돌아간다. 내릴 수 없는 경우에는, N을 변경하지 않고서 스텝 S3으로 되돌린다.

이러한 선형 탐색 처리에 의해, 적절한 프리차지 전압과 노광 시간을 리얼타임으로 설정하는 것이 가능하게 된다. 이 방법에서는, 어두운 상태로부터 갑자기 밝은 상태로 된 경우나, 반대로 밝은 상태로부터 갑자기 어두운 상태로 된 경우에, 적절한 설정이 이루어지는 데까지 최장으로 N 프레임분의 시간이 필요로 된다.

다음으로, 다른 방법으로서 2분 탐색법에 대하여 설명한다. 도 75는, 2분 탐색법에 의해 노광 시간, 프리차지 전압을 설정하는 처리의 흐름을 설명하는 플로 우차트이다. 여기서도, 테이블은 전술한 것을 사용한다.

동 도면의 2분 탐색 처리는, 초기값의 설정 처리(스텝 S21∼S22)와, 측정한 메디안값이 소정의 범위 내에 있는 경우의 통상의 촬상 루프(스텝 S24∼S26)와, 수 막힘 판정 처리(스텝 S27∼S28, 스텝 S32∼S33)와, 측정한 메디안값이 소정의 범위 내에 있지 않은 경우의 2분 탐색 루프(스텝 S29∼S31, 스텝 S34∼S36)를 갖는다.

스텝 S21에서는, N의 최대값 Nmax의 1/2를 초기값 N에 설정한다.

스텝 S22에서는, 테이블로부터 N의 란에 대응하는 프리차지 전압 Vprc 노광 시간을 판독하고, 캘리브레이션 회로(93)에 의해 이들 값을 세트하고, 이들 값에 기초하여 제어 신호를 출력한다.

스텝 S24에서는, 표시부(2)에 의해 광센서(8)를 이용하여 화상을 촬상하고, 계조화 회로(92)에 의해 촬상 화상의 출력값을 계조화하고, 캘리브레이션 회로(93)에 의해 계조 히스토그램의 메디안값을 측정한다.

스텝 S25에서는, 캘리브레이션 회로(93)는, 테이블의 N 번째의 란에 대응하는 메디안의 최대값 Dn을 판독하고, 이것을 측정한 메디안값과 비교한다. 이의 최대값보다도 측정한 메디안값의 쪽이 작은 경우에는 스텝 S26으로 진행하고, 큰 경우에는 스텝 S27로 진행한다.

스텝 S26에서는, 캘리브레이션 회로(93)는, 테이블의 N 번째의 란에 대응하는 메디안의 최소값 Cn을 판독하고, 이것을 측정한 메디안값과 비교한다. 이 최소값보다도 측정한 메디안값의 쪽이 큰 경우에는 스텝 S24로 되돌아가고, 작은 경우에는 스텝 S32로 진행한다.

스텝 S27에서는, 현재의 N의 값을 변수 L에 대입하고, Nmax의 값을 변수 R에 대입한다.

스텝 S28에서는, L=R인지 여부를 판정한다. 이것은, N이 테이블의 끝에 도달했는지 아닌지의 판정이다. L=R인 경우에는, N을 변경할 수 없으므로, 그대로 스텝 S24로 되돌아간다. 한편, L과 R이 상이한 경우에는 스텝 S29로 진행한다.

스텝 S29에서는, 캘리브레이션 회로(93)는, (L+R)/2의 값을 새로운 N의 값으로 하고, 이 N 번째의 란에 대응하는 프리차지 전압, 노광 시간을 판독하여 세트하고, 이들 값에 기초하는 제어 신호를 출력한다.

스텝 S30에서는, 표시부(2)에 의해 광센서(8)를 이용하여 화상을 촬상하고, 계조화 회로(92)에 의해 촬상 화상의 출력값을 계조화하고, 캘리브레이션 회로(93)에 의해 계조 히스토그램의 메디안값을 측정한다.

스텝 S31에서는, 측정된 메디안값을, 그 번호 N의 란에 대응하는 최소값, 최대값으로 정해지는 범위 내에 있는지 아닌지를 판정한다. 측정값이 최대값보다도 큰 경우에는 L=N으로 하고 스텝 S28로 되돌아간다. 측정값이 최소값보다도 작은 경우에는, R=N으로 하고 스텝 S28로 되돌아간다. 측정값이 최소값과 최대값의 범위 내에 있는 경우에는, 정상적인 범위에 있기 때문에 그대로 스텝 S24개 통상 루프로 되돌아간다.

한편, 스텝 S32에서는, 현재의 N의 값을 변수 R에 대입하고, Nmin의 값을 변수 L에 대입한다.

스텝 S33에서는, L=R인지 여부를 판정한다. 이것은, N이 테이블의 끝에 도 달했는지 아닌지의 판정이다. L=R인 경우에는, N을 변경하는 것이 가능하지 않기 때문에, 그대로 스텝 S24로 되돌아간다. 한편, L과 R이 상이한 경우에는 스텝 S34로 진행한다.

스텝 S34에서는, 캘리브레이션 회로(93)는, (L+R)/2의 값을 새로운 N의 값으로 하고, 이 N 번째의 란에 대응하는 프리차지 전압, 노광 시간을 판독하여 세트하고, 이들 값에 기초하여 제어 신호를 출력한다.

스텝 S35에서는, 표시부(2)에 의해 광센서(8)를 이용하여 화상을 촬상하고, 계조화 회로(92)에 의해 촬상 화상의 출력값을 계조화하고, 캘리브레이션 회로(93)에 의해 계조 히스토그램의 메디안값을 측정한다.

스텝 S36에서는, 측정된 메디안값을, 그 번호 N의 란에 대응하는 최소값, 최대값으로 정해지는 범위 내에 있는지 아닌지를 판정한다. 측정값이 최대값보다도 큰 경우에는 L=N으로 하고 스텝 S33으로 되돌아간다. 측정값이 최소값보다도 작은 경우에는, R=N으로 하고 스텝 S33으로 되돌아간다. 측정값이 최소값과 최대값의 범위 내에 있는 경우에는, 정상적인 범위에 있기 때문에 그대로 스텝 S24의 통상 루프로 되돌아간다.

이러한 2분 탐색 처리에 의해, 적절한 프리차지 전압과 노광 시간을 리얼타임으로 설정하는 것이 가능하게 된다. 이 방법에서는, 적절한 설정이 이루어지는 데까지 최장으로 log₂N 프레임분의 시간이 필요해지는 만큼이며, 전술한 선형 탐색 처리보다도 고속으로 처리하는 것이 가능하게 된다.

이상 설명한 바와 같이, 본 실시예에 따르면, 계조 히스토그램에서의 중앙을 포함하는 상위의 값이 소정의 범위 내로 되도록 광센서의 구동 조건을 제어함으로써, 물체가 근접하여 왔을 때에 발생하는 그림자에 의한 낮은 계조값의 변화의 영향을 캘리브레이션은 받기 어렵게 되기 때문에, 외광의 조도 변화에 의한 광센서의 출력의 변동을 정확하게 파악할 수 있다.

본 실시예에 따르면, 광센서의 노광 시간, 프리차지 전압, 소정의 범위의 관계를 이산적으로 나타내는 테이블을 이용하여 제어함으로써, 노광 시간, 프리차지 전압을 연속적으로 변화시키는 것보다도 제어에 시간이 걸리지 않도록 하는 것이 가능하다.

본 실시예에 따르면, 상위의 계조값을 화면과 물체의 크기에 따라 변경 가능하게 함으로써, 화면과 물체의 크기에 따른 적절한 계조값을 이용한 제어를 행할 수 있다.

본 실시예에 따르면, 프리차지 전압 쪽을 변화시켜, 노광 시간을 허용 가능의 범위에서 최대로 함으로써 S/N을 향상시킬 수 있다.

본 실시예에 따르면, 선형 탐색법을 이용함으로써 계조값이 소정 범위 내에 들어가도록 노광 시간, 프리차지 전압을 신속 또 정확하게 구하는 것이 가능하다.

본 실시예에 따르면, 2분 탐색법을 이용함으로써 선형 탐색법보다도 고속으로 노광 시간, 프리차지 전압을 구할 수 있다.

본 실시예에 따르면, 일정한 영역마다 화소의 씨닝 처리가 이루어진 후의 계조값을 이용함으로써 광센서의 구동 조건을 변경하는 처리의 부담을 경감할 수 있 다.

또한, 본 실시예에서는, 도 63, 도 66, 도 67에 도시한 바와 같이, 메디안 등을 계산하기 위한 광센서의 영역을 한정하는 것도 유효하다. 화면 상부의 스위치 표시부 이외의 부분은 통상 손가락이나 손의 그림자가 걸리기 어렵기 때문에, 손의 접근에 의한 계조 히스토그램의 변화가 거의 없다고 생각되어, 참으로 외광 조도가 크게 변화했을 때에만 계조 히스토그램의 변화가 발생하여 메디안값 등의 값이 변화하기 때문이다.

또한, 본 실시예에서는, 메디안 등의 변화의 후, 바로 프리차지 전압 등의 구동 조건의 변경을 행하는 예를 나타냈지만, 소정의 대기 기간을 마련해도 된다. 메디안이 변화하기 시작했을 때에는, 아직 그것이 외광의 변화에 의한 것이 손가락의 접근 동작에 의한 것인지 잘 모른다. 외광의 변화에 의한 것이라면 구동 조건을 변경하여야 하고, 손가락의 접근에 의한 변화이면, 얼마 후에 원래대로 되돌아가기 때문에 구동 조건을 변경할 필요는 없다. 소정의 대기 시간(예를 들면 1초) 후에, 메디안 등의 값이, 구동 조건의 변경이 필요 없을 정도로 원래대로 돌아가면, 구동 조건은 변경하지 않는다. 소정의 대기 시간 후에 메디안 등의 값이, 역시 구동 조건 변경이 필요한 정도로 계속 변화하고 있는 경우에 구동 조건을 변경한다. 이것에 의해, 일시적인 손가락의 접근 시의 지나친 캘리브레이션을 격감하는 것이 가능하다.

센서용 IC의 변경점에서의 소정 기간이라고 하는 것은, 손가락의 접촉 판정에 요하는 시간이다. 예를 들면, 도 38에서, 손가락이 접근하여 왔을 때의 최초의 피크와, 손가락이 이탈하여 갈 때의 제2 피크 사이의 시간보다 다소 긴 정도의 시간으로 한다. 이것은「0.5초 이내」라고 한 상한이 결정되어 있는 시간이다. 그리고, 이 소정 기간에서의 메디안 등을 센서용 IC 내의 메모리나 레지스터에 저장해 둔다.

또한, 상기 각 실시예에서는, 사람의 손가락이 화면에 접촉한 경우를 예로 설명했지만 이것에 한정되는 것이 아니다. 화면에 접촉하는 물체로서는, LED 등의 광원이 붙은 라이트펜이어도 되고, 백색의 마스코트 등이어도 된다. 혹은, 메탈릭 경면을 갖는 금속편이나, 연필캡 등이어도 된다.

제10 실시예

제1 실시예에서는, 비교기(41)에서 신호선의 전위와 고정의 기준 전압을 비교했지만, 본 실시예에서는, 고정의 기준 전압에 대신하여 비교기의 출력에 따라 변화하는 가변의 기준 전압을 이용한다. 본 실시예에서의 표시 장치의 기본적인 구성은 제1 실시예와 마찬가지이기 때문에, 여기서는 비교기와 기준 전압에 대해서만 설명하는 것으로 하고, 제1 실시예와 마찬가지의 부분에 대해서는 중복한 설명을 생략한다.

제1 실시예와 같이, 비교기(41)의 기준 전압을 고정으로 한 경우에는, 주위의 환경광의 조도의 변화에 적절하게 대응한 비교 결과를 출력할 수 없다. 또한, 고정의 기준 전압을 제공하기 위해, 비교기(41)마다 기준 전원(40)을 가지면, 회로 규모가 거대한 것으로 되어 버린다.

따라서, 본 실시예에서는, 도 76에 도시한 바와 같이, 각 화소마다 설치된 각 비교기(41)로부터의 출력값을 병렬·직렬 변환부(42)에 의해 병렬·직렬 변환하여 출력하고, 이 출력값에 따라서 비교기(41)의 기준 전압을 변경한다. 이 가변의 기준 전압값은, 도 77에 도시하는 연산 회로(51)로 결정한다.

도 77에 도시한 바와 같이, 본 실시예의 표시 장치는, 어레이 기판(1) 상에 표시부(2), 연산 회로(51), LCD 게이트·드라이버 회로(52), 표시 회로(53), 광 입력 게이트 드라이버 회로(54)를 구비한다.

연산 회로(51)는, 1 프레임 내의 비교기(41)의 출력값에 기초하여, 다음의 프레임에서의 비교기의 기준 전압을 변동시킴으로써, 비교기(41)가 외광의 조도에 따른 적절한 비교 결과를 출력할 수 있도록 한다. 예를 들면, 손가락이나 펜에 의해 발생하는 그림자를 인식시키는 광 입력 기능을 구비한 표시 장치에서, 밝을을 "1", 어두움을 "0"으로 했을 때에, 주위가 밝아 각 비교기(41)의 출력값이 전부 1인 경우에는, 비교기의 출력에 "0"이 발생하도록 기준 전압값을 조정한다. 반대로, 주위가 어두워 각 비교기(41)의 출력값에 "0"이 많은 경우에는, 비교기의 출력에 "1"이 증가하도록 기준 전압값을 조정한다. 이 조정은, 일정 면적의 명암의 차를 인식할 수 있도록 한 값이 될 때까지 계속한다.

LCD 게이트·드라이버 회로(52)는, 각 화소의 영상 신호를 화소 전극에 출력하기 위한 스위치의 온·오프 제어를 행한다. 표시 회로(53)는, 보내져 온 영상 신호를 표시부(2)에 출력한다. 광 입력 게이트·드라이버 회로(54)는, 각 화소의 광센서의 출력을 제어하는 스위치의 온·오프 제어를 행한다.

이상 설명한 바와 같이, 본 실시예에 따르면, 비교기(41)의 출력값에 따라 비교기(41)의 기준 전압을 변경함으로써, 비교기(41)는 주위의 환경광의 조도에 따라서 적절한 비교 결과를 출력할 수 있다. 또한, 본 실시예에서는, 패널의 배선을 거의 증가시키지 않고 실현 가능하다.

제11 실시예

도 78은, 본 실시예에서의 표시 장치의 개략적인 구성을 도시하는 블록도이다. 동 도면의 표시 장치는, 화소 영역(1)과, 마이크로컴퓨터(3)를 구비하고, 또한, 신호선 구동 회로(4)와, 주사선 구동 회로(5)와, 직렬 신호 출력 회로(6)를 구비한다.

화소 영역(1)에서는, 복수의 주사선과 복수의 신호선이 교차하도록 배선되고, 각 교차부에 각각 화소를 구비한다. 마이크로컴퓨터(3)는, 광센서 소자(2)로 받은 광의 강도에 대응하는 화소마다의 다계조 데이터에 기초하여 판정 대상값과 임계값을 대소 비교하여 2치 판정한다. 신호선 구동 회로(4)는 신호선을 구동하고, 주사선 구동 회로(5)는 주사선을 구동한다. 직렬 신호 출력 회로(6)는, 각 광센서 소자(2)에 의해서 촬상하여 얻어진 2 계조의 촬상 데이터를 마이크로컴퓨터(3)에 직렬 출력한다. 여기서는, 마이크로컴퓨터(3)는, 버스를 통하여 글래스제의 어레이 기판(7) 상의 회로와 접속되는 외부 IC를 사용하고 있지만, 어레이 기판(7) 상에 탑재하여도 된다.

화소 영역(1)에서의 각 화소는, 액정층에 전압을 인가하기 위한 화소 전극과, 스위칭 소자와, 광센서 소자(2)를 구비한다. 스위칭 소자는, 주사선에 공급되어 온 주사 신호의 지시에 의해 온·오프함으로써, 신호선에 공급되어 온 영상 신 호를 적절한 타이밍에서 화소 전극에 인가한다. 스위칭 소자에는, 예를 들면 박막 트랜지스터를 사용한다. 광센서 소자(2)는, 외부로부터의 광을 수광하여 전류로 변환한다. 광센서 소자(2)에는, 예를 들면, p 영역, i 영역, n 영역을 구비한 게이트 제어형의 다이오드를 사용한다.

광 센서 소자(2)의 감도는, 광센서 소자(2)가 게이트 제어형의 다이오드인 경우에는, 게이트 전극의 전압을 바꿈으로써 조정할 수가 있고, 또 광센서 소자(2)의 폭과 길이 중의 적어도 한 쪽을 바꿈으로써 조정하는 것이 가능하다.

마이크로컴퓨터(3)는, 판정 대상값과 비교하여 2치 판정하기 위한 임계값을 설정하는 레지스터를 갖는다. 그리고, 광센서 소자(2)에 의해 촬상된 화소마다의 2 계조 데이터로부터 다계조 데이터를 산출하고, 다계조 데이터에 기초하여 판정 대상값과 임계값을 대소 비교하여 2치 판정을 행한다.

도 79의 단면도에 도시한 바와 같이, 본 표시 장치는, 글래스제의 어레이 기판(7)과 이것에 대향 배치된 대향 기판(8)과의 간극에 액정층(9)을 구비한 액정 셀(10)을 갖고, 대향 기판(8)의 외측에는 백 라이트(11)가 배치된다. 또한, 어레이 기판(7)의 외측에는, 화면을 기계적 스트레스로부터 보호하기 위해 표면 처리가 실시된 보호판(12)이 배치된다.

백 라이트(11)가 출력한 광은 대향 기판(8), 액정층(9), 어레이 기판(7), 보호판(12)을 통하여 표시 장치의 외부에 출력된다. 그 일부의 광은, 액정 셀(10)과 보호판(12)의 계면에서 반사된다. 또한, 이하에서는 이 계면에서 반사되는 광을 미광이라고 부른다.

보호판(12)의 외측 표면에 물체인 사람의 손가락(13)이 근접하여 온 경우에, 손가락(13)에서 반사된 반사광은, 미광 및 외부로부터 조사되는 외광과 함께 액정 셀(10) 내의 어레이 기판(7) 상의 각 광센서 소자(2)에 의해 수광된다. 광센서 소자(2)는 수광량에 따른 전류를 출력한다. 마이크로컴퓨터(3)는, 디지털 신호 처리에 의해 각 광센서 소자(2)에서 검출된 2치 데이터로부터 다계조 데이터를 산출하여, 화면 상에서의 손가락(13)이 위치하는 영역을 인식 가능한 촬상 화상을 얻는다.

다음으로, 2 계조 데이터로부터 다계조 데이터를 얻기 위한 구성 및 디지털 신호 처리에 대하여 구체적으로 설명한다. 도 80은, 표시 장치의 화면의 일부 확대 영역에서의 광센서 소자(2)의 감도를 도시한다. 여기서는, 감도가 서로 다른 9 종류의 광센서 소자(2)를 3×3 화소마다 마방진으로 되도록 배치했다. 동 도면의 숫자는 광센서 소자(2)의 감도를 나타내고 있다. 숫자에 비례하여 일정한 광에 대하여, 센서 소자(2)에 흐르는 광전류의 값이 커진다.

마이크로컴퓨터(3)는, 광센서 소자(2)가 판독한 2치 신호를, 다음과 같이 디지털 처리한다. 우선, 주목 화소 자신을 포함한 주위 9 화소에서 판독된 2 계조 데이터(각각은 0이나 1)의 평균값을 갖고 해당 주목 화소의 계조값으로 한다. 그리고, 이것을 전체 화소에 대하여 행함으로써, 새로운 다계조 데이터를 얻는다.

다음으로, 본 표시 장치의 동작을 실험 결과에 기초하여 설명한다. 표시 장치는, 화상 입력 시에서, 도 81의 제1 촬상 조건 예에 도시한 바와 같이 화소 영역(1) 상에 설치한 3개의 영역 A, B, C에 바둑판 무늬의 특수 패턴을 각각 표시시킨 다. 여기서는 영역 B 상에 물체인 사람의 손가락(13)을 배치하고 촬상을 행한다. 그리고, 마이크로컴퓨터(3)에 의해, 광센서 소자(2)에서 판독한 2치 신호를 이용하여, 주목 화소 자신도 포함한 주위 9개의 화소에서 판독한 2 계조 데이터(각각은 0이나 1)의 평균값을 전체 화소에 대하여 계산하고, 계산으로 얻어진 다계조 데이터로부터 도 82와 같은 촬상 화상을 얻었다. 촬상 화상 중, 손가락(13)이 위치한 영역 B에서는, 손가락(13)으로부터의 반사광으로서 특수 패턴이 검출되어 있다. 또한, 손가락(13)이 위치하지 않은 영역 A, C에도, 액정 셀 표면 및 보호판 표면의 계면에서 반사된 미광 및 외광에 의해, 특수 패턴이 검출되어 있다.

도 83은, 도 82에서 얻어진 촬상 화상을 256 계조의 다계조 데이터로 나타낸 그래프이다. 종축은 계조값이며, 횡축은 도 82의 촬상 화상에서의 점선 방향에 따른 Y 좌표를 나타낸다. 이 그래프에 도시되는 바와 같이, 물체로부터의 반사광과 그 이외의 광에서는 계조값에 큰 차이가 있는 것으로, 마이크로컴퓨터(3)에서, 미리 적절한 임계값을 레지스터에 설정해 둠으로써 물체로부터의 반사광과 그 이외의 광을 정확하게 2치 판정하는 것이 가능하게 된다.

이 판정의 방법에 대하여, 도 84의 제2 촬영 조건 예를 이용하여 구체적으로 설명한다. 우선, 표시 장치는 화상 입력 시에서, 동 도면에 도시하는 바와 같이 화소 영역(1) 상에 입력이 기대되는 3개의 판정 대상 영역 a, b, c에 바둑판 무늬의 특수 패턴을 표시시킨다. 그리고, 판정 영역 b에 손가락(13)이 근접한 경우에, 표시 장치에서는 각 판정 대상 영역 a∼c에 입사한 광을, 광센서 소자(2)에 의해 수광량에 따른 전류로 변환한다. 계속해서, 마이크로컴퓨터(3)에서의 디지털 신호 처리에 의해, 각 광센서 소자(2)에서 검출된 2치 데이터로부터 판정 대상값으로서 다계조 데이터를 산출하고, 각 판정 대상 영역에서의 판정 대상값과, 미리 레지스터에 설정되어 있는 임계값을 대소 비교함으로써, 각 판정 대상 영역에 입사한 광이 손가락(13)으로부터의 반사광인지 그 이외의 광인지를 2치 판정한다. 이에 의해, 표시 장치는, 손가락(13)이 판정 영역 b에 근접한 것을 인식 가능하게 된다.

따라서, 본 실시예에 따르면, 마이크로컴퓨터(3)에서, 화소마다 광센서 소자(2)로 촬상된 2 계조 데이터로부터 다계조 데이터를 산출하고, 다계조 데이터에 기초하는 판정 대상값과 미리 레지스터에 설정해 둔 임계값을 대소 비교함으로써, 화면 상의 물체로부터의 반사광과 그 이외의 광을 정확하게 2치 판정하는 것이 가능하게 된다.

제12 실시예

본 실시예의 표시 장치의 기본적인 구성은, 도 81을 이용하여 설명한 제11 실시예와 마찬가지이다. 제11 실시예와 다른 점은, 마이크로컴퓨터(3)에서 미리 레지스터에 설정되는 임계값을, 물체에 의해 반사된 반사광이 검출된 영역에서의 화소의 계조값의 평균값과, 반사광 이외의 광이 검출된 영역에서의 화소의 계조값의 평균값 사이에 있는 값으로 한 점이다.

이 임계값에 대하여 도 83의 그래프를 예로 설명한다. 도 83의 촬영 결과에서는, 물체에 의해 반사된 반사광이 검출된 영역 B에서의 화소의 계조값의 평균값은 55이다. 또한, 반사광 이외의 광이 검출된 영역 A, C에서의 화소의 계조값의 평균값은 190이다. 이것으로부터, 55와 190의 사이에 위치하는 125를 계조값의 평 균값의 임계값으로서 설정한다.

마이크로컴퓨터(3)는, 제11 실시예와 같이, 각 판정 대상 영역에서의 판정 대상값을 구한 후, 이 판정 대상값과 미리 레지스터에 설정되어 있는 임계값(125)을 대소 비교함으로써, 각 판정 대상 영역에 입사한 광이 손가락(13)으로부터의 반사광인지 그 이외의 광인지를 2치 판정한다.

따라서, 본 실시예에 따르면, 마이크로컴퓨터(3)에서, 물체에 의해 반사된 반사광이 검출된 영역에서의 화소의 계조값의 평균값과, 미광이 검출된 영역에서의 화소의 계조값의 평균값과의 사이에 있는 값을 2치 판정의 임계값으로 설정함으로써, 화소 영역 상의 판정 대상 영역에서의 물체로부터의 반사광과 그 이외의 광과의 2치 판정의 판정 정밀도를 향상시키는 것이 가능하다.

또한, 본 실시예에서의 임계값은, 외광 조도나 표시 장치의 표면 휘도에 따라서 변화하지만, 통상 사용 조건에서 행한 실험 결과로부터, 계조값의 평균값은 100 이상, 150 이하로 하는 것이 적절한 것이 확인되었다.

제13 실시예

본 실시예의 표시 장치의 기본적인 구성은, 도 78을 이용하여 설명한 제11 실시예와 마찬가지이다. 제11 실시예와 다른 점은, 마이크로컴퓨터(3)에서, 2치 판정을 행하는 판정 대상값을, 화소 영역(1) 상의 판정 대상 영역에서의 화소의 콘트라스트값으로 함과 함께, 2치 판정을 위한 임계값을, 물체에 의해 반사된 반사광이 검출된 영역에서의 화소의 콘트라스트값과, 반사광 이외의 광이 검출된 영역에서의 화소의 콘트라스트값 사이에 있는 값으로 한 것이다. 콘트라스트값은, 화소 의 계조값의 최대값을 최소값으로 나눈 값이다.

이 임계값에 대하여 도 83의 그래프를 예로 설명한다. 도 83의 촬상 결과에서는, 물체에 의해 반사된 반사광이 검출된 영역 B에서의 화소의 계조값의 최대값을 최소값으로 나눈 콘트라스트값은 약 1.3이다. 또한, 반사광 이외의 광이 검출된 영역 A, C에서의 화소의 계조값의 최대값을 최소값으로 나눈 콘트라스트값은 약 3이다. 이것으로부터, 1.3과 3의 사이에 있는 2를 콘트라스트값의 임계값으로서 설정한다.

판정 방법으로서, 마이크로컴퓨터(3)는, 제11 실시예와 같이 각 판정 대상 영역에서의 화소의 다계조 데이터를 구한 후, 계조값의 최대값을 최소값으로 나눈 콘트라스트값을 판정 대상값으로서 구한다. 그리고, 이의 판정 대상값과 미리 레지스터에 설정되어 있는 임계값을 대소 비교함으로써, 각 판정 대상 영역에 입사한 광이 손가락(13)으로부터의 반사광인지 그 이외의 광인지를 2치 판정한다.

따라서, 본 실시예에 따르면, 마이크로컴퓨터(3)에서, 물체에 의해 반사된 반사광이 검출된 영역에서의 화소의 계조값의 최대값을 최소값으로 나눈 콘트라스트값과, 미광이 검출된 영역에서의 화소의 계조값의 최대값을 최소값으로 나눈 콘트라스트값 사이에 있는 값을 2치 판정의 임계값으로 설정함으로써, 화소 영역 상의 판정 대상 영역에서의 물체로부터의 반사광과 그 이외의 광과의 2치 판정의 판정 정밀도를 향상시킬 수 있다.

또한, 본 실시예에서의 임계값은, 외광 조도나, 표시 장치의 표면 휘도에 따라 변화하지만, 통상 사용 조건에서 행한 실험 결과로부터, 콘트라스트값은 1.5 이 상, 3.0 이하로 하는 것이 적절한 것이 확인되었다.

제14 실시예

본 실시예에서의 표시 장치의 기본적인 구성은, 도 78을 이용하여 설명한 제11 실시예와 마찬가지이다. 제11 실시예와 다른 점은, 2치 판정을 위한 임계값의 설정이다. 보호판의 표면에 물체가 없는 경우에, 보호판에서 반사된 반사광에 대응하는 화소마다의 다계조 데이터를 백색으로서 판독한다. 한편, 보호판의 표면에 물체가 있는 부분의 다계조 데이터를 흑색으로서 판독하도록 설정한다.

보호판에서 계면 반사된 반사광은 그 정도 강하지 않지만, 예를 들면 센서의 노광 시간이나 프리차지 전압 등의 센서의 동작 조건을 조절함으로써, 보호판의 반사광을 백으로서 파악하기 쉽게 된다. 예를 들면 임의의 노광 시간에 판독을 행한 결과, 임의의 어두운 계조 화상이 얻어진 경우에는, 센서의 노광 시간을 길게 하여 재차 판독한 바, 계조 화상이 다소 밝게 시프트하여 보호판의 반사광을 백으로서 파악하기 쉽게 된다.

이러한 구성으로 함으로써, 표시 장치의 화상 입력 시에서, 도 85의 단면도에 도시한 바와 같이, 보호판(12)의 표면에 손가락(13)이 근접한 경우, 손가락(13)이 없는 영역에서는, 미광 및 외광이 액정 셀(10)에 입사하기 때문에 화상은 백으로 된다. 한편, 보호판(12)의 표면에 손가락(13)이 있는 영역에서는, 손가락(13)이 백 라이트(11)로부터 보호판(12)의 계면으로 향하는 광을 흡수하기 때문에 화상은 검게 된다. 따라서, 이 때의 화상이 검은 부분을 검출함으로써 손가락의 좌표를 판독하는 것이 가능하다.

도 86은, 도 85의 표시 장치에 의해 촬상되는 촬상 결과를 256 계조의 다계조 데이터로 도시한 도면이다. 보호판(12)의 표면에 손가락(13)이 없는 영역에서는, 보호판(12)의 계면에서 반사된 미광 및 외광을 수광한 영역이 희게 촬상되기 때문에 계조값은 높게 된다. 한편, 손가락(13)이 있는 영역에서는, 손가락(13)이 백 라이트(11)로부터 보호판(12)의 계면으로 향하는 광을 흡수하여 반사광이 감소하기 때문에, 어둡게 촬상되어 계조값은 낮아진다. 따라서, 손가락이 없는 영역에서의 높은 계조값과 손가락이 있는 영역에서의 낮은 계조값 사이에 있는 값으로 임계값을 설정하는 것이 용이해진다. 이에 의해, 물체에 의해 반사광이 흡수되는 영역과 그렇지 않은 영역을 임계값에 의해 정확하게 2치 판정하는 것이 가능하게 된다.

판정 방법으로서, 마이크로컴퓨터(3)는, 제11 실시예와 같이 각 판정 대상 영역에서의 화소의 다계조 데이터를 판정 대상값으로서 구한 후, 이 판정 대상값과, 미리 레지스터에 설정되어 있는 임계값을 대소 비교하여, 임계값보다 어두운 저계조 부분과, 임계값보다 밝은 고계조 부분으로 나눈다. 이에 의해, 각 판정 대상 영역에 입사한 광이 손가락(13)으로부터의 반사광인지 그 이외의 광인지 여부를 2치 판정하는 정밀도를 높일 수 있다.

여기서, 미리 레지스터에 설정되는 임계값은, 제12 실시예에서 설명한 바와 같이, 영역마다의 계조값의 평균값을 이용하여 설정해도 되고, 제13 실시예에서 설명한 바와 같이, 영역마다의 계조값의 최대값을 최소값으로 나눈 콘트라스트값을 이용하여 설정하여도 된다.

따라서, 본 실시예에 따르면, 화소 영역 상에 보호판을 구비하여, 보호판 표면에 물체가 없는 경우에, 보호판에서 반사된 반사광에 대응하는 다계조 데이터를 백색으로 설정함으로써, 보호판 표면에 물체가 없는 영역에서는, 외광이 강한 경우에도 약한 경우에도 계면 반사된 반사광에 의해 희게 촬상되어 계조값은 높아진다. 한편, 물체가 있는 영역에서는, 물체가 백 라이트로부터 보호판의 계면으로 향하는 광을 흡수하여 반사광이 감소하기 때문에 검게 촬상되어 계조값은 낮아진다. 따라서, 물체가 없는 영역에서의 높은 계조값과 물체가 있는 영역에서의 낮은 계조값 사이의 값에 임계값을 설정하는 것이 용이해져, 물체에 의해 반사광이 흡수되는 영역과 그렇지 않은 영역을 임계값에 의해 정확하게 2치 판정할 수 있다.

또한, 본 실시예에서는, 표시 장치의 액정층에 구동 전압을 인가하지 않은 상태에서, 표시 화면이 고휘도 표시로 되는 노멀리화이트 모드를 상정했지만, 이것에 한정되는 것이 아니다. 예를 들면 노멀리블랙 모드에서도, 화상 입력 시에서, 어레이 기판(7) 상의 신호선 구동 회로로부터 전 신호선에 대하여 공급하는 프리차지 전압을 약간 높게 설정함으로써, 보호판에서 계면 반사된 반사광에 의한 표시 화면을 백색으로 설정하여 둘 수 있다.

보호판에는 굴절율이 높은 아크릴판을 사용해도 된다. 이에 따라 보호판에서의 계면 반사에 의한 반사광이 많아지기 때문에, 표시 화면을 백으로 설정하는 것이 가능하게 된다.

상기 각 실시예에서는, 표시 장치의 화소 영역에서 감도가 서로 다른 9 종류의 광센서 소자를 이용하여, 3×3 화소마다 마방진을 구성했지만, 본 발명은 이것 에 한정되는 것이 아니다. 광센서 소자에서 검출된 2치 데이터를 다계조 데이터로 확장 가능한 구성이면, 얻어진 다계조 데이터에 대하여 임계값을 설정함으로써, 화면 상에서의 물체로부터의 반사광의 2치 판정을 정확하게 행하는 것이 가능하다.

본 발명에 따르면, 물체가 화면에 접촉했는지 여부의 판정 정밀도를 향상시킬 수 있다.

또한 본 발명에 따르면, 화면 상에서의 물체의 좌표 위치의 산출 정밀도를 향상시킬 수 있다.

또한 본 발명에 따르면, 화면 상의 물체로부터의 반사광과 그 이외의 광과의 2치 판정을 정밀도 좋게 행할 수 있다.

Claims (48)

1. 화상을 화면에 표시하는 표시 기능 및 화면에 근접한 물체의 화상을 촬영하는 광 입력 기능을 구비한 표시부와,

   촬영된 화상의 엣지를 검출하여 엣지 화상으로 하는 엣지 검출 회로와,

   상기 엣지 화상을 이용하여 물체가 화면에 접촉했는지 여부의 판정을 하는 접촉 판정 회로와,

   물체가 화면에 접촉했다고 판정된 때에, 상기 엣지 화상을 이용하여 물체의 위치 좌표를 계산하는 좌표 계산 회로

   를 갖는 것을 특징으로 하는 표시 장치.
2. 제1항에 있어서,

   상기 접촉 판정 회로는, 상기 엣지마다 이동 방향을 조사하여, 상호 역방향으로 이동하는 엣지가 있는 경우에 물체가 화면에 접촉했다고 판정하는 것을 특징으로 하는 표시 장치.
3. 제1항에 있어서,

   상기 접촉 판정 회로는, 상기 엣지 화상을 이용하여 물체를 나타내는 영역을 추출하고, 그 영역의 면적이 소정의 임계값 이상으로 된 경우에 물체가 화면에 접촉했다고 판정하는 것을 특징으로 하는 표시 장치.
4. 제1항에 있어서,

   상기 좌표 계산 회로는, 상기 엣지의 무게 중심을 물체의 위치 좌표로서 계산하는 것을 특징으로 하는 표시 장치.
5. 제3항에 있어서,

   상기 좌표 계산 회로는, 면적이 소정의 임계값 이상으로 된 영역의 무게 중심을 물체의 위치 좌표로서 계산하는 것을 특징으로 하는 표시 장치.
6. 화상을 화면에 표시하는 표시 기능 및 화면에 근접한 물체의 화상을 촬영하는 광 입력 기능을 구비한 표시부와,

   촬영된 화상에 대하여 현재의 프레임의 다계조 화상과 과거의 프레임의 다계조 화상과의 차분을 취한 차분 화상을 구하는 프레임간 차분 처리 회로와,

   상기 차분 화상을 이용하여 물체가 화면에 접촉했는지 여부의 판정을 하는 접촉 판정 회로와,

   물체가 화면에 접촉했다고 판정했을 때에, 상기 차분 화상을 이용하여 물체의 위치 좌표를 계산하는 좌표 계산 회로

   를 갖는 것을 특징으로 하는 표시 장치.
7. 제6항에 있어서,

   상기 접촉 판정 회로는, 상기 차분 화상을 이용하여 물체를 나타내는 영역을 추출하고, 그 영역의 면적이 소정의 임계값 이상으로 된 때에, 물체가 화면에 접촉했다고 판정하는 것을 특징으로 하는 표시 장치.
8. 제7항에 있어서,

   상기 좌표 계산 회로는, 면적이 소정의 임계값 이상으로 된 영역의 무게 중심을 물체의 위치 좌표로서 계산하는 것을 특징으로 하는 표시 장치.
9. 화상을 화면에 표시하는 표시 기능 및 화면에 근접한 물체의 화상을 촬영하는 광 입력 기능을 구비한 표시부와,

   촬영된 화상을 다계조 화상으로 변환하는 계조화 회로와,

   다계조화 화상을 이용하여 엣지를 검출하는 엣지 검출 회로와,

   현재의 프레임의 다계조 화상과 과거의 프레임의 다계조 화상과의 차분을 취한 차분 화상을 구하는 프레임간 차분 처리 회로와,

   엣지 화상 또는 차분 화상의 적어도 한 쪽을 이용하여 물체의 위치 좌표를 계산하는 좌표 계산 회로와,

   엣지 화상 또는 차분 화상의 적어도 한 쪽을 이용하여 물체가 화면에 접촉했는지 여부의 판정을 하는 접촉 판정 회로

   를 갖는 것을 특징으로 하는 표시 장치.
10. 복수의 스위치를 화면에 표시하는 표시 기능 및 스위치에 근접한 물체를 촬영하는 광 입력 기능을 구비한 표시부와,

    촬영된 화상에 대하여 스위치마다 백색의 화소수를 계수하고, 현재의 프레임에서의 계수값과 과거의 프레임에서의 계수값과의 차분값을 산출하여, 스위치마다의 차분값 중 최대의 것이 소정의 임계값 이상인 경우에, 물체가 해당 스위치에 접촉했다는 취지를 나타내는 신호를 출력하는 계수 회로와,

    현재의 프레임에서의 다계조 화상과 과거의 다계조 화상과의 차분을 취한 차분 화상을 구하고, 그 차분 화상으로부터 물체를 나타내는 영역을 추출하고, 그 영역의 무게 중심을 산출하고, 물체가 그 무게 중심에 위치하는 스위치에 접촉했다는 취지를 나타내는 신호를 출력하는 프레임간 차분 처리 회로와,

    다계조 화상에 대하여 엣지를 검출하고, 강도가 소정의 임계값 이상인 엣지의 무게 중심을 산출하고, 물체가 그 무게 중심에 위치하는 스위치에 접촉했다는 취지를 나타내는 신호를 출력하는 엣지 검출 회로와,

    상기 계수 회로, 상기 프레임간 차분 처리 회로, 상기 엣지 검출 회로로부터 각각 출력된 신호에 기초하여 스위치마다 접촉 확률을 계산하는 접촉 확률 계산 회로

    를 갖는 것을 특징으로 하는 표시 장치.
11. 제9항에 있어서,

    상기 접촉 판정 회로는, 상기 차분 화상에서의 계조값이 소정의 임계값보다 큰 혹은 작은 화소의 총수를 세어, 그 화소수를 이용하여 접촉의 판정을 행하는 것을 특징으로 하는 표시 장치.
12. 제11항에 있어서,

    상기 화소수를 이용한 접촉의 판정은, 상기 화소수가 소정의 기준값보다도 큰 경우에, 상기 화소의 총수를 본래의 값보다도 작은 값으로 보정하는 연산을 포함하는 것을 특징으로 하는 표시 장치.
13. 제9항에 있어서,

    상기 접촉 판정 회로는, 상기 차분 화상에서의 계조값이 소정의 임계값보다 큰 혹은 작은 화소에 대하여, 계조값과 상기 임계값과의 차에 의존하는 가중 계수를 누산하그, 그 누산값을 이용하여 접촉의 판정을 행하는 것을 특징으로 하는 표시 장치.
14. 제13항에 있어서,

    상기 가중 계수는, 계조값과 상기 임계값과의 차에 비례하는 것을 특징으로 하는 표시 장치.
15. 제9항에 있어서,

    상기 좌표 계산 회로는, 상기 차분 화상의 계조값이 소정의 임계값보다 큰 혹은 작은 화소에 대하여, 그들 화소의 위치의 평균값을 계산하는 것에 의해 상기 위치 좌표를 구하는 것을 특징으로 하는 표시 장치.
16. 제9항에 있어서,

    상기 좌표 계산 회로는, 상기 차분 화상의 계조값이 소정의 임계값보다 큰 혹은 작은 화소에 대하여, 계조값과 상기 임계값과의 차에 의존하는 가중 계수를 이용한 중심 계산에 의해서 상기 위치 좌표를 구하는 것을 특징으로 하는 표시 장치.
17. 제16항에 있어서,

    상기 가중 계수는, 계조값과 상기 임계값과의 차에 비례하는 것인 것을 특징으로 하는 표시 장치.
18. 제9항에 있어서,

    상기 접촉 판정 회로는, 상기 엣지 화상에서의 계조값이 소정의 임계값보다 큰 혹은 작은 화소에 대하여, 계조값과 상기 임계값과의 차를 누산하고, 그 누산값을 이용하여 접촉의 판정을 행하는 것을 특징으로 하는 표시 장치.
19. 제9항에 있어서,

    상기 접촉 판정 회로는, 상기 엣지 화상에서의 계조값이 소정의 임계값보다 도 큰 혹은 작은 화소에 대하여, 계조값과 상기 임계값과의 차에 의존하는 가중 계수를 누산하고, 그 누산값을 이용하여 접촉의 판정을 행하는 것을 특징으로 하는 표시 장치.
20. 제19항에 있어서,

    상기 가중 계수는, 계조값과 상기 임계값과의 차에 비례하는 것인 것을 특징으로 하는 표시 장치.
21. 제9항에 있어서,

    상기 접촉 판정 회로는, 상기 엣지 화상에서의 계조값이 소정의 임계값보다도 큰 혹은 작은 화소의 총수를 세어, 그 화소수를 이용하여 접촉의 판정을 행하는 것을 특징으로 하는 표시 장치.
22. 제9항에 있어서,

    상기 좌표 계산 회로는, 상기 엣지 화상에서의 계조값이 임의의 임계값보다도 큰 혹은 작은 화소에 대하여, 계조값과 임계값의 차에 의존하는 가중 계수를 이용하여 무게 중심 좌표를 계산함으로써 상기 위치 좌표를 구하는 것을 특징으로 하는 표시 장치.
23. 제22항에 있어서,

    상기 가중 계수는, 계조값과 상기 임계값과의 차에 비례하는 것을 특징으로 하는 표시 장치.
24. 제9항에 있어서,

    상기 좌표 계산 회로는, 상기 엣지 화상의 계조값이 임계값보다 큰 혹은 작은 화소에 대하여, 그들 화소의 위치의 평균값을 계산하는 것에 의해 상기 위치 좌표를 구하는 것을 특징으로 하는 표시 장치.
25. 제22항에 있어서,

    상기 임계값을, 상기 엣지 화상의 계조 도수 분포에 의존하여 변화시키는 것을 특징으로 하는 표시 장치.
26. 제25항에 있어서,

    상기 엣지 화상의 계조 도수 분포에서의 최대값 혹은 최소값과 미리 설정되어 있던 임계값과의 평균값을 새로운 임계값으로 하는 것을 특징으로 하는 표시 장치.
27. 제9항에 있어서,

    상기 접촉의 판정에서의 연산은, 임의의 프레임에서의 제18항 또는 제19항의 누적값으로부터 소정 프레임 수 전에서의 상기 누적값을 감산한 값과, 제11항 또는 제12항의 화소의 총수를 적산하고, 그 적산 값과 소정의 임계값과의 비교 연산을 포함하는 것을 특징으로 하는 표시 장치.
28. 제9항에 있어서,

    상기 접촉의 판정에서의 연산은, 복수의 프레임에서의 제18항 또는 제19항의 누적값의 최대값과 최소값의 차와, 소정의 임계값과의 비교 연산을 포함하는 것을 특징으로 하는 표시 장치.
29. 제9항에 있어서,

    상기 접촉의 판정에서의 연산은, 제18항 또는 제19항의 누적값과 소정의 임계값과의 비교 연산을 포함하는 것을 특징으로 하는 표시 장치.
30. 제9항에 있어서,

    상기 접촉의 판정에서의 연산은, 복수의 프레임에서의 제22항 내지 제26항 중 어느 한 항의 엣지 화상을 이용하여 얻어진 위치 좌표를 복수 프레임에 대하여 기억해 놓고, 그 복수의 위치 좌표의 최대값과 최소값의 차와 소정의 임계값과의 비교 연산을 포함하는 것을 특징으로 하는 표시 장치.
31. 제9항에 있어서,

    상기 접촉의 판정에서의 연산은, 제15항 내지 제17항 중 어느 한 항의 차분 화상을 이용하여 얻어진 위치 좌표와, 제22항 내지 제26항 중 어느 한 항의 엣지 화상을 이용하여 얻어진 위치 좌표 사이의 거리와 소정의 임계값과의 비교 연산을 포함하는 것을 특징으로 하는 표시 장치.
32. 제9항에 있어서,

    상기 접촉의 판정은, 아이들 상태, 접근 상태, 접촉 상태, 이탈 상태를 포함하는 각 상태에 따라 결과가 나타나는 것인 것으로서,

    상기 접촉 판정 회로는, 제27항 내지 제31항 중 어느 한 항의 비교 연산의 결과, 현재의 프레임의 상태, 현재의 상태에서 경과한 프레임 수, 각 상태에 대응하여 설정된 타임아웃 프레임 수를 이용하여 다음 프레임의 상태를 결정하는 접촉 판정 스테이트머신을 구비한 것을 특징으로 하는 표시 장치.
33. 화상을 화면에 표시함과 함께, 화면에 근접한 물체를 광센서를 이용하여 촬영하는 표시부와,

    광 센서의 출력값의 통계량에 기초하여 광센서의 구동 조건을 변경하는 센서 구동부

    를 갖는 것을 특징으로 하는 표시 장치.
34. 제33항에 있어서,

    상기 구동 조건은, 광센서의 노광 시간 또는 프리차지 시간 중 적어도 한 쪽 인 것을 특징으로 하는 표시 장치.
35. 제33항에 있어서,

    상기 표시부는, 물체를 근접시키기 위한 영역을 화면에 표시하는 것으로서,

    상기 센서 구동부는, 화면에서의 상기 영역 이외의 영역에 배치된 광센서의 출력값의 통계량에 기초하여 구동 조건을 변경하는 것을 특징으로 하는 표시 장치.
36. 제33항에 있어서,

    상기 센서 구동부는, 상기 출력값을 계조화한 계조값의 히스토그램에서의 중앙을 포함하는 상위의 계조값이 소정의 범위 내로 되도록 상기 구동 조건을 제어하는 제어 신호를 출력하는 것을 특징으로 하는 표시 장치.
37. 제36항에 있어서,

    상기 센서 구동부는, 상기 상위의 계조값을 화면과 물체의 크기에 따라서 변경 가능한 것을 특징으로 하는 표시 장치.
38. 제36항에 있어서,

    상기 센서 구동부는, 광센서의 노광 시간, 프리차지 전압, 상기 소정의 범위의 관계를 나타내는 테이블을 이용하여 상기 제어 신호를 결정하는 것을 특징으로 하는 표시 장치.
39. 제38항에 있어서,

    상기 테이블은, 노광 시간을 허용 가능의 범위에서 최대로 하고, 프리차지 전압 쪽을 변화시키는 것인 것을 특징으로 하는 표시 장치.
40. 제38항에 있어서,

    상기 센서 구동부는, 선형 탐색법에 의해 상기 테이블을 이용하여 상기 제어 신호를 결정하는 것을 특징으로 하는 표시 장치.
41. 제38항에 있어서,

    상기 센서 구동부는, 2분 탐색법에 의해 상기 테이블을 이용하여 상기 제어 신호를 결정하는 것을 특징으로 하는 표시 장치.
42. 제36항에 있어서,

    상기 센서 구동부는, 상기 화면을 일정 범위에서 복수의 영역으로 구획한 때의 영역마다 화소의 씨닝 처리가 이루어진 후의 계조값을 이용하는 것을 특징으로 하는 표시 장치.
43. 제33항에 있어서,

    상기 센서 구동부는, 상기 광센서의 출력값이 상기 광센서의 구동 조건을 변 경해야 되는 정도로 변화한 시점과, 현실에 상기 센서의 구동 조건을 변경하는 시점 사이에 소정의 대기 기간을 부여하는 것을 특징으로 하는 표시 장치.
44. 제43항에 있어서,

    상기 소정의 대기 기간에서의 상기 통계량을 유지하는 유지부를 갖는 것을 특징으로 하는 표시 장치.
45. 복수의 화소를 구비한 화소 영역과,

    화소마다 설치된 광센서 소자와,

    상기 광센서 소자에서 받은 광의 강도에 대응하는 화소마다의 다계조 데이터에 기초하여 판정 대상값과 임계값을 대소 비교하여 2치 판정하는 판정부

    를 갖는 것을 특징으로 하는 표시 장치.
46. 제45항에 있어서,

    상기 판정 대상값은, 상기 화소 영역 상의 판정 대상 영역에서의 화소의 계조값으로서,

    상기 임계값은, 물체에 의해 반사된 반사광이 검출된 영역에서의 화소의 계조값의 평균값과, 상기 반사광 이외의 광이 검출된 영역에서의 화소의 계조값의 평균값 사이에 있는 값인 것을 특징으로 하는 표시 장치.
47. 제45항에 있어서,

    상기 판정 대상값은, 상기 화소 영역 상의 판정 대상 영역에서의 화소의 계조값의 최대값을 최소값으로 나눈 콘트라스트값으로서,

    상기 임계값은, 물체에 의해 반사된 반사광이 검출된 영역에서의 화소의 계조값의 최대값을 최소값으로 나눈 콘트라스트값과, 상기 반사광 이외의 광이 검출된 영역에서의 화소의 계조값의 최대값을 최소값으로 나눈 콘트라스트값 사이에 있는 값인 것을 특징으로 하는 표시 장치.
48. 제45항에 있어서,

    상기 화소 영역 상에 보호판을 더 갖고,

    상기 보호판 표면에 물체가 없는 경우에, 상기 보호판에서 반사된 반사광에 대응하는 다계조 데이터를 백색으로 설정하는 것을 특징으로 하는 표시 장치.

Images