KR20100098302A

KR20100098302A - 화상 입력 장치, 화상 입출력 장치 및 전자 장치

Info

Publication number: KR20100098302A
Application number: KR1020100014973A
Authority: KR
Inventors: 요꼬 후꾸나가; 쯔또무 하라다; 요시하루 나까지마; 히로까즈 다쯔노; 미찌루 센다
Original assignee: 소니 주식회사
Priority date: 2009-02-27
Filing date: 2010-02-19
Publication date: 2010-09-06
Also published as: JP2010198575A; EP2224319A2; CN101819491B; EP2224319A3; TWI427516B; JP5366045B2; CN101819491A; TW201044243A; US20100220077A1

Abstract

사용 조건에 관계없이, 물체의 정보를 획득하는 것이 가능한 화상 입력 장치가 제공된다. 화상 입력 장치는, 광원, 광원 구동부, 제1 광검출 소자, 광검출 소자 구동부 및 화상 처리부를 포함한다. 광원 구동부는 IR 광원의 ON 기간이 OFF 기간보다도 짧아지도록 광원을 구동한다. 광검출 소자 구동부는 ON 기간 및 OFF 기간에서 모두 동일한 수광 시간 경과 후에 판독 동작을 행하도록 제1 광검출 소자를 구동한다. 화상 처리부는 ON 화상 및 OFF 화상에 기초하여 제1 차분 화상을 생성하고, 제1 차분 화상에 기초하여 물체의 정보를 획득한다. ON/OFF 화상은 ON/OFF 기간에서 제1 광검출 소자로부터의 출력 신호 각각에 기초하여 획득된다.

Description

화상 입력 장치, 화상 입출력 장치 및 전자 장치{IMAGE INPUT DEVICE, IMAGE INPUT-OUTPUT DEVICE AND ELECTRONIC UNIT}

본 발명은 손가락과 스타일러스와 같이 근접하는 물체의 화상을 촬상함으로써 그것의 위치, 형상 또는 크기가 광학적으로 검출되도록 하는 화상 입력 장치, 화상 입출력(이하, I/O로서 참조됨) 장치 및 전자 장치에 관한 것이다.

최근, 휴대 전화, 휴대 정보 단말기(PDA:personal digital assistant), 디지털 스틸 카메라, 개인용 컴퓨터(PC) 모니터 및 텔레비전 등의 전자 장치는 포토센서(photosensor)를 사용하는 터치 패널의 기능을 갖추는 추세이다. 터치 패널은, 화상 표시 구동용 포토센서와 TFT(박막 트랜지스터)를 구비하고, 포토센서를 사용한 광검출을 통해 손가락이나 스타일러스 등의 물체의 위치를 검출할 수 있다.

종래, 그러한 위치 검출은 외광에 의해 생성된 물체의 그림자를 사용하거나, 표시광이 백라이트로부터 방출되어 물체의 표면에서 반사된 반사광을 검출함으로써 실현되었다. 그러나, 그림자는 암흑에서 이용될 수 없다. 한편, 반사광을 사용하는 방법은 흑색 표시의 경우에 이용될 수 없고, 또한 표시 패턴이 반사광의 레벨에 영향을 미치므로, 포토센서로부터의 신호가 표시 노이즈(noise)에 파묻혀버릴 수 있다.

이러한 문제 해결을 목적으로, LCD(액정 디스플레이)의 백라이트 부에 검출용 광으로서 적외광을 방출하는 광원을 배치한 터치 패널이 일본 특허 공개 공보 제2006-301864호에 개시되어 있다(JP2006-301864A). 이러한 터치 패널에서, 포토센서는, 편광판이 적외 영역에서 그 편광 특성을 상실하고 디스플레이의 구성 부재(component members)가 높은 적외광 투과율을 갖는 현상을 이용함으로써 물체의 표면으로부터 반사된 적외광을 검출한다. 이에 따라, 암흑이나 흑색 표시의 경우에도 위치 검출이 가능하고, 어떠한 신호도 표시 패턴에 의해 영향을 받지 않는다. 이 밖에도, 광원이 시분할 구동되어, 광원의 점등시(ON-light period) 및 소등시(OFF-light period)의 각각에서 획득된 두 개의 화상의 차분을 취함으로써 외광과 노이즈의 영향이 제거되어, 보다 높은 S/N비(신호 대 노이즈 비)를 획득하는 방법이 일본 특허 공개 공보 제2006-276223호(JP2006-276223A)에 개시되어 있다.

그러나, 위의 특허 문헌에 개시된 바에 따르면, 외광 레벨(외광 조도)이 강할 경우, 포토센서가 포화되거나, 검출 대상이 되는 물체의 후방으로 외광이 유입되고, 이러한 포토센서의 포화와 외광의 누설은 반사광 검출의 정밀성을 열화시킬 수 있다는 문제가 있다.

또한, 특허 문헌(JP2006-276223A)에 개시된 바에 따르면, 시분할 제어에 의해 점등시와 소등시 사이에 시간차가 있기 때문에, 검출 대상이 되는 물체가 움직이고 있을 경우에는, 시간차에 의해 위(false)신호가 생성되고, 이 때문에 검출의 정밀성이 열화될 수 있다. 특히, 위신호에 의한 영향은, 물체의 이동 속도가 큰 경우나 물체의 검출 면적이 작은 경우에 특히 현저해진다. 또한, 시간차에 의해 외광 레벨이 변경된 경우에도 이러한 위신호가 생성될 수 있다.

사용 조건에 관계없이, 근접하는 물체의 위치, 형상 또는 크기에 대한 정보를 정밀하게 획득할 수 있는 화상 입력 장치, 화상 I/O 장치 및 전자 장치를 제공하는 것이 바람직하다.

화상 입력 장치는 광원과, 광원의 on-off 교대 구동을 ON 기간이 OFF 기간보다 짧은 방식으로 제어하는 광원 구동부와, 광원으로부터 방출된 광의 파장 영역을 커버하는 감광(photosensitive) 파장 영역을 갖는 제1 광검출 소자와, ON 기간 및 OFF 기간 모두에서 각각 동일한 수광 기간 경과 후 판독 동작을 행하도록 제1 광검출 소자를 구동하는 광검출 소자 구동부와, 제1 광검출 소자로부터의 출력 신호에 기초하여 물체의 위치, 형상 또는 크기에 대한 물체 정보를 획득하는 화상 처리부를 포함한다. 화상 처리부는, ON 기간 및 OFF 기간에서 제1 광검출 소자로부터의 각 출력 신호에 기초하여 획득된 ON 화상과 OFF 화상 사이의 차분으로서 제1 차분 화상을 생성하고, 그 후, 화상 처리부는 제1 차분 화상에 기초한 데이터 처리를 통해 물체 정보를 획득한다.

화상 입출력 장치는 표시 패널과, 광이 표시 패널로부터 방출되는 ON 기간이 광이 표시 패널로부터 방출되지 않는 OFF 기간보다 짧은 방식으로 표시 패널의 on-off 구동을 제어하는 표시 패널 구동부와, 표시 패널로부터 방출된 광의 파장 영역을 커버하는 감광 파장 영역을 갖는 제1 광검출 소자와, ON 기간 및 OFF 기간 모두에서 각각 동일한 수광 기간 경과 후 판독 동작을 행하도록 제1 광검출 소자를 구동하는 광검출 소자 구동부와, 제1 광검출 소자로부터의 출력 신호에 기초하여 물체의 위치, 형상 및 크기에 대한 물체 정보를 획득하는 화상 처리부를 포함한다. 화상 처리부는, ON 기간 및 OFF 기간에 제1 광검출 소자로부터의 출력 신호에 기초하여 각각 획득된 ON 화상과 OFF 화상 사이의 차분으로서 제1 차분 화상을 생성하고, 그 후, 화상 처리부는 제1 차분 화상에 기초한 데이터 처리를 통해 물체 정보를 획득한다.

본 발명의 실시예에 따른 전자 장치는 본 발명의 화상 입력 장치를 포함한다. 그러나, 본 발명의 실시예에 따라, 외광은, 태양광이나 실내 조명 등의 외부 환경 하에서 획득된 광뿐만 아니라 장치 내의 구성 요소로부터 반사된 화상 표시 광으로 이루어진 미광(stray light)도 포함한다.

본 발명의 실시예에 따른 화상 입력 장치, 화상 I/O 장치 및 전자 장치에서는, ON 기간에는, 광원 또는 표시 패널로부터 방출된 광이 검출 대상이 되는 물체의 표면으로부터 반사되고, 반사광과 외광이 모두 제1 광검출 소자에서 검출된다. 한편, OFF 기간에는, 외광만이 제1 광검출 소자에서 검출된다. 이러한 출력에 기초하여, 화상 처리부는, 차분 화상에 기초한 물체의 위치 등을 검출하기 위해서 ON 기간에서의 ON 화상과 OFF 기간에서의 OFF 화상으로부터 차분 화상을 생성하고, 차분 화상에 기초하여 물체의 위치 등을 검출한다. 여기에서, ON 기간은 OFF 기간보다 짧게 설정되고, ON/OFF 기간에서의 각 판독 동작은 상호 동일한 수광 시간 경과 후에 행해지기 때문에, 시분할 구동에 의해 구동되는 ON/OFF 기간이 서로 동일한 경우에 비해, ON 기간 및 OFF 기간에서의 각각의 수광 시간이 감소할 수 있다.

화상 입력 장치 및 화상 I/O 장치 및 전자 장치에 따르면, 광원 혹은 표시 패널은, ON 기간이 OFF 기간보다 짧게 설정되도록 ON 기간과 OFF 기간 사이를 교대하고, 각각의 기간에서의 제1 광검출 소자에 의한 판독은 상호 동일한 수광 시간 경과 후에 행해진다. 화상 처리부는, 제1 광검출 소자의 출력에 기초하여 각각의 ON 기간에서 획득된 ON 화상과 OFF 기간에서 획득된 OFF 화상으로부터 차분 화상을 생성하고, 차분 화상에 기초한 데이터 처리를 행한다. 이와 같이 하여, 외광 레벨이 강할 경우에도 제1 광검출 소자는 거의 포화되지 않고, 물체가 이동할 경우나 외광 레벨이 일정치 않은 경우에도 위신호의 생성이 억제된다. 이에 따라, 사용 조건에 관계없이, 근접하는 물체의 위치, 형상 또는 크기에 대한 정보를 보다 정밀하게 획득하는 것이 가능하다.

도 1은 본 발명의 일 실시예에 따른 화상 I/O 장치의 전체 구성을 나타내는 블록도이다.
도 2는 도 1에 나타낸 표시 패널의 개략적인 구성을 나타내는 단면도이다.
도 3의 (a) 및 도 3의 (b)는 도 2에 나타낸 메인 센서 및 서브 센서의 배치 구성을 나타내는 모식도이다.
도 4의 (a) 내지 도 4의 (c)는 도 2에 나타낸 메인 센서 및 서브 센서의 감광 파장 영역을 나타내는 파장 차트이다.
도 5의 (A) 내지 도 5의 (E)는 도 2에 나타낸 IR 광원의 구동 타이밍 차트 등을 나타내는 도이다.
도 6은 메인 센서 및 서브 센서의 개략적인 등가 회로도이다.
도 7의 (A) 및 도 7의 (B)는 센서 스캔 및 광원 점등의 타이밍 차트의 제1 예를 나타내는 도이다.
도 8의 (A) 및 도 8의 (B)는 센서 스캔 및 광원 점등의 타이밍 차트의 제2 예를 나타내는 도이다.
도 9의 (A) 및 도 9의 (B)는 센서 스캔 및 광원 점등의 타이밍 차트의 제3 예를 나타내는 도이다.
도 10은 광검출 처리 및 화상 처리의 흐름도이다.
도 11의 A 및 도 11의 B는 메인 센서의 출력 전압을 나타내는 도이다.
도 12는 물체가 이동 중인 경우, ON/OFF 기간에서의 메인 센서의 출력 전압과 그것들 사이의 차분 전압을 나타내는 도이다.
도 13은 물체가 이동 중인 경우, ON/OFF 기간에서의 메인 센서로부터 획득된 화상과 그것의 차분 화상을 나타내는 도이다.
도 14는 물체가 이동 중인 경우, ON/OFF 기간에서의 서브 센서의 출력 전압과 그것들 사이의 차분 전압을 나타내는 도이다.
도 15는 물체가 이동 중인 경우, ON/OFF 기간에서의 서브 센서로부터 획득된 화상과 그것의 차분 화상을 나타내는 도이다.
도 16은 화상 처리부에서 행해지는 합성 처리를 설명하는 도이다.
도 17은 설정 처리에 있어, ON 기간의 길이(ON 시간)를 설정하는 방식을 나타내는 흐름도이다.
도 18은 설정 처리에 있어, ON 기간에서의 ON-상태 전류(ON 기간에서의 광강도)를 설정하는 방식을 나타내는 흐름도이다.
도 19의 (A) 내지 도 19의 (E)는 비교예에 따른 IR 광원의 시분할 구동의 타이밍 차트 등을 나타내는 도이다.
도 20의 (A) 및 도 20의 (B)는 외광 레벨의 차이에 의한 검출 정밀도의 차이를 설명하는 도이다.
도 21은 제1 변형예에 따른 표시 패널의 개략적인 구성을 나타내는 횡단면도이다.
도 22는 제1 적용예의 외관을 나타내는 사시도이다.
도 23의 A는 제2 적용예의 정면으로부터 본 외관을 나타내는 사시도이고, 도 23의 B는 그것의 배면으로부터 본 외관을 나타내는 사시도이다.
도 24는 제3 적용예의 외관을 나타내는 사시도이다.
도 25는 제4 적용예의 외관을 나타내는 사시도이다.
도 26의 A는 제5 적용예의 개방된 상태의 정면도이고, 도 26의 B는 도 26의 A의 측면도이고, 도 26의 C는 그것의 폐쇄된 상태의 정면도이고, 도 26의 D는 도 26의 C의 좌측면도이고, 도 26의 E는 그것의 우측면도이고, 도 26의 F는 그것의 평면도이고, 도 26의 G는 그것의 하면도이다.

이하, 본 발명의 실시예에 대해서, 도면을 참조하여 상세하게 설명한다. 설명은 이하의 순서로 행한다.

(1) 실시예: 액정 디스플레이를 채용한 화상 I/O 장치의 예

(2) 제1 변형예: 유기 전자 루미네센스(이하, EL로서 참조됨) 디스플레이를 채용한 화상 I/O 장치의 예

(3) 제1 적용예 내지 제5 적용예: 위에서 설명된 화상 I/O 장치를 탑재한 전자 장치의 예

<실시예>

[화상 I/O 장치(1)의 전체 구성]

도 1은 본 발명의 실시예에 따른 화상 I/O 장치(화상 I/O 장치(1))의 전체 구성을 나타낸다. 화상 I/O 장치(1)는 구비된 입력 기능이 표시 패널(10) 상에 소정의 도형과 문자 등의 화상을 표시하는 표시 기능뿐만아니라, 물체의 화상을 촬상함으로써 스크린에 접촉 또는 근접하는 물체의 위치 등의 정보를 획득하는 입력 기능도 갖는 표시 장치이다. 화상 I/O 장치(1)는 표시 패널(10), 백라이트(15), 표시 구동 회로(12), 수광 구동 회로(13), 화상 처리부(14) 및 응용 프로그램 실행부(11)를 포함한다.

표시 패널(10)은 복수의 화소가 전면에 걸쳐서 매트릭스 형상으로 배치된 액정 패널(LCD;액정 디스플레이)을 채용하도록 구성된다. 백라이트(15)는 화상 표시용 혹은 물체의 검출용 광원으로서 기능한다. 이러한 표시 패널(10) 및 백라이트(15)의 구성에 대해서는 이후 상세히 설명한다.

표시 구동 회로(12)는, 표시 데이터에 기초한 화상이 표시 패널(10)에 표시될 수 있도록, 표시 패널(10)의 선 순차 화상 표시 구동 및 백라이트(15)의 점등 구동을 행하는 회로이다. 본 실시예에 따라, 표시 구동 회로(12)가, 백라이트(15)를 구성하는 IR 광원(151B)(후술)의 점등(ON) 및 소등(OFF)을 시분할 구동에 따라 제어하여, ON 기간 및 OFF 기간은 외광 강도의 레벨에 따라 최적화될 수 있다. 여기에서, 표시 구동 회로(12)는, 본 발명에 따른 광원 구동부에 대응한다.

수광 구동 회로(13)는, 표시 패널(10)에 배치된 포토센서(후술의 메인 센서(111A) 및 서브 센서(111B))의 선 순차 수광 구동을 행하는 회로이다. 즉, 수광 구동 회로(13)는, 위에서 설명된 IR 광원(151B)의 시분할 구동에 의해 제어되는 ON 기간 및 OFF 기간에 따라 광검출이 적절히 행해질 수 있도록 메인 센서(111A) 및 서브 센서(111B)를 구동한다. 메인 센서(111A) 및 서브 센서(111B)로부터의 출력(광검출 신호)은 화상으로서 프레임 메모리(13A) 상에 기록된다. 여기에서, 수광 구동 회로(13)는 본 발명에 따른 광검출 소자 구동부에 해당한다.

화상 처리부(14)는, 수광 구동 회로(13)로부터 공급된 화상에 기초하여 소정의 화상 처리 및 데이터 처리를 행하여, 데이터 처리된 물체의 위치, 형상 또는 크기에 관한 정보를 획득한다.

응용 프로그램 실행부(11)는, 화상 처리부(14)로부터 획득된 물체의 정보에 기초하여, 소정의 응용 소프트웨어에 따른 처리를 행한다. 이러한 처리 중 하나는, 예를 들어, 물체의 위치 좌표를 표시 데이터에 포함시켜 표시 패널(10) 상에 표시시키는 것일 수 있다. 응용 프로그램 실행부(11)에 의해 생성된 표시 데이터는 표시 구동 회로(12)에 공급된다.

(표시 패널(10)의 구성)

다음으로, 표시 패널(10)의 구성에 대해서 상술한다. 도 2는 표시 패널(10) 및 백라이트(15)의 횡단면 구성을 나타낸다. 표시 패널(10)은, 예를 들어 R, G 및 B의 3원색의 표시 화소(화상 표시 장치)가 매트릭스 형상으로 배치되도록 구성된다. 표시 패널(10)에서, 한 쌍의 기판(110 및 120)의 사이에 액정층(130)이 밀봉되고, 기판(110) 뒤에 백라이트(15)가 배치된다. 기판(110)의 광 입사측(백라이트(15) 측) 상에는 편광판(116)이 접합되고, 기판(120)의 광 출사측(표시 측) 상에는 편광판(123)이 접합된다. 편광판(116 및 123)은, 크로스니콜(crossed Nicol) 상태로 배치되고, 각각은 특정한 편광 성분을 선택적으로 투과시킨다.

액정층(130)은, 전계의 상태에 따라 그곳을 통과하는 광을 변조하고, FFS(프린지 필드 스위칭) 모드와 IPS(면내 스위칭) 모드 등의 횡전계 모드의 액정으로 구성된다. 그러나, 액정 소자는 FFS 모드 등의 횡전계 모드에 한정되지 않고, 다양한 구동 모드의 액정이 사용될 수 있다.

기판(110)은, 구동측의 기판이며, 예를 들어 유리 등으로 이루어진다. 기판(110) 상에는, 복수의 화소 구동용 복수의 TFT(110A)와, 2 종류의 포토센서(메인 센서(111A) 및 서브 센서(111B))와, 메인 센서(111A) 및 서브 센서(111B)의 수광 회로용 TFT(도시하지 않음)가 순환적으로 배치된다. 메인 센서(111A), 서브 센서(111B), 메인 센서(111A)와 서브 센서(111B)의 수광 회로용 TFT 및 화소 구동용 TFT(110A)는, 예를 들어 동일한 실리콘 박막 형성 프로세스에 의해 기판(110) 상에 형성된다. TFT(110A)는, 액티브 매트릭스 방식에 따라 각 표시 화소를 구동하고, 후술의 화소 전극(115)에 전기적으로 접속된다.

메인 센서(111A) 및 서브 센서(111B)는, 반도체의 PN 접합부에 광을 조사했을 때, 전류나 전압을 검출할 수 있는 광검출 소자이다. 메인 센서(111A) 및 서브 센서(111B)의 수광 회로는, 상세한 것은 후술될 것이지만, 예를 들어 각 센서용의 3개의 트랜지스터를 포함한다. 이러한 메인 센서(111A) 및 서브 센서(111B)는, 예를 들어 실리콘 반도체로 이루어진 PIN 포토다이오드와 PDN(광검출 도핑된 층;P-doped-N) 등으로 구성된다. 여기에서, 본 발명의 실시예에 따라, 메인 센서(111A)는 제1 광검출 소자에 대응하고, 서브 센서(111B)는 제2 광검출 소자에 대응한다.

기판(110) 상에는, TFT(110A), 메인 센서(111A) 및 서브 센서(111B)의 요철을 평탄화시키기 위해서 평탄화 막(112)이 적절히 형성된다. 평탄화 막(112) 상에는, 공통 전극(113) 및 복수의 화소 전극(115)이 그 사이에 절연막(114)을 두고 서로 대향하면서 형성된다. 이들 중, 공통 전극(113)은 모든 표시 화소에 공통인 전극으로서 배치되고, 화소 전극(115)은 각 표시 화소마다 분리되어 배치된다. 실시예에 따라, 각 화소 전극(115)은, 예를 들어 빗살모양(comb-like)으로 패터닝된다. 이러한 구성을 액정층(130)과 함께 사용하여, FFS 모드 및 IPS 모드 등의 횡전계 모드의 화상 표시 구동이 가능하다.

기판(120)은 컬러 필터측의 기판이며, 예를 들어 유리 등으로 이루어진다. 기판(120)의 한 측면 상에, 컬러 필터로서 적색 필터(121R), 녹색 필터(121G) 및 청색 필터(121B)가 각각의 표시 화소를 대향하도록 구비된다. 이러한 적색 필터(121R), 녹색 필터(121G) 및 청색 필터(121B)와 동층에는, IR 투과 블랙(122)이 형성된다. IR 투과 블랙(122)은 가시광을 차단하고 적외광을 투과시키는 필터이다.

IR 투과 블랙(122)은 예를 들어 감광성을 갖는 레지스트 재료에 특정한 파장 영역의 광을 선택적으로 투과 및 차단하는 안료를 분산시켜 만들어진 안료 분산 레지스트로 구성된다. 레지스트 재료의 예로서는, 아크릴계, 폴리이미드계 및 노볼락계 등을 들 수 있다. 안료의 예로서는, 제조 프로세스에 있어서 내열성 및 내광성을 갖으면서 컬러 필터 등에 사용되는 것들을 들 수 있고, 그것들은 근적외광을 투과한다. 더 구체적으로, 안료는 아조(azo) 안료, 프탈로시아닌(phthalocyanine) 안료 및 디옥사진(dioxazine) 안료 등 중에서 적어도 하나를 포함한다. 아조 안료는 적색(red), 황색(yellow), 주황색(orange)을 나타낸다. 프탈로시아닌 안료는 청색(blue)과 녹색(green)을 나타내고, 디옥사진 안료는 보라색(violet)을 나타낸다. 대안적으로, 유기계 흑색의 안료를 사용할 수 있다.

이러한 구성에서, 메인 센서(111A)는 IR 투과 블랙(122)의 하방에 배치된다. 서브 센서(111B)는 예를 들어 G 화소와 B 화소 사이의 영역에 배치되고, 본 실시예에 따라, 서브 센서(111B)의 상방에 녹색 필터(121G)가 연장되어 있다. 예를 들어, 도 3의 (a) 및 도 3의 (b)에 나타낸 바와 같이, 메인 센서(111A) 및 서브 센서(111B)는 표시 영역(21)에서 1 대 1의 비율로 교대로 배치된다.

(백라이트(15)의 구성)

백라이트(15)는 검출용의 광으로서 근적외광(파장:780 내지 1100 nm)을 방출함과 함께 표시용 광으로서 백색광을 방출한다. 이러한 백라이트(15)의 예시로서, 백색광을 방출하는 백색 광원(151A)과 근적외광을 방출하는 IR 광원(151B)은 평판 형상의 도광판(150)의 양측 종단에 접합되는 타입을 들 수 있다. 백색 광원(151A) 및 IR 광원(151B)의 예로서, 발광 다이오드(LED)를 들 수 있다. 이러한 구성에서, 백색 광원(151A)으로부터 방출된 백색광과, IR 광원(151B)으로부터 방출된 근적외광은 각각 도광판(150) 내부를 통과하며 전파되고, 그 표면으로부터 취출된다. 본 실시예에 따라, 위에서 설명된 바와 같이, IR 광원(151B)의 ON 기간 및 OFF 기간은 표시 구동 회로(12)에 의해 전환된다.

검출용 광으로서는, 위에서 설명된 근적외광에 한정되지 않으나, 인간의 눈이 반응하지 않을 수 있는 파장 영역(예를 들어, 380 내지 780 nm의 영역을 제외한 영역) 내의 임의의 광, 즉, 비가시광이 사용될 수 있다. 예를 들어, 가시광보다 단파장측의 자외광, 특히 근자외광(300 내지 380 nm)이 사용될 수 있다. 그러나, 근자외광이 사용된 경우, 편광판(116 및 123)은, 근자외광 영역 및 가시 영역에서 편광 특성을 갖기 때문에, 광 투과율이 저하됨으로써 검출 광량이 저하되고 표시 화상에 영향을 끼칠 우려가 있다. 한편, 근적외광이 사용된 경우, 편광판(116 및 123)의 편광 특성이 근적외 영역에서 상실되기 때문에, 검출 광량의 저하를 억제할 수 있다. 이로 인해, 본 실시예와 같이, 편광판을 필요로 하는 액정 패널이 사용된 경우, 비가시광으로서 근적외광을 사용하는 것이 바람직하다.

(메인 센서(111A) 및 서브 센서(111B)의 감광 파장 영역)

여기에서, 이하, 도 4의 (a) 내지 도 4의 (c)를 참조하여, 메인 센서(111A) 및 서브 센서(111B)의 각각의 감광 파장 영역에 대해서 설명한다. 도 4의 (a)는 IR 광원(151B)의 발광 파장 영역을 나타내고, 도 4의 (b)는 메인 센서(111A)의 감광 파장 영역을 나타내고, 도 4의 (c)는 서브 센서(111B)의 감광 파장 영역을 각각 나타낸다.

도 4 의 A에 나타낸 바와 같이, IR 광원(151B)의 발광 파장 영역(근적외 영역)을 Δλ23(파장 λ2 내지 λ3의 파장)이라고 했을 경우, 메인 센서(111A)의 감광 파장 영역은 도 4의 (b)에서 G21로 나타낸 바와 같이, 파장 λ1보다 장파장측의 영역으로 설정된다. 즉, 메인 센서(111A)가 도 4의 (a)에서 참조 부호 G1로 나타낸 파장 영역 Δλ23을 그것의 감광 파장 영역 내에 포함하기 때문에, 이는 메인 센서(111A)가 물체로부터의 반사광을 검출할 수 있음을 의미한다.

한편, 서브 센서(111B)의 감광 파장 영역은 도 4의 (c)에서 G31로 나타낸 바와 같이, 파장 λ2보다 단파장의 영역으로 설정된다. 즉, IR 광원(151B)의 발광 파장 영역 Δλ23에서 서브 센서(111B)의 감광도는 메인 센서(111A)보다 낮다(예를 들어, 파장 영역 Δλ23에서 감광도는 0(제로)이다). 이에 따라, 서브 센서(111B)는, IR 광원(151B)이 ON 기간이든 OFF 기간이든, 물체의 그림자를 촬상한다. 위에서 설명된 메인 센서(111A) 및 서브 센서(111B)의 감광 파장 영역은, 포토다이오드의 수광면 상에 각 감광 파장 영역에 매칭(matching)되는 광학 필터 등을 설치함으로써 실현될 수 있다. 광학필터로서, 예를 들어 감광성을 갖는 레지스트 재료에, 특정한 파장 영역의 광을 선택적으로 투과 및 차단하는 안료를 분산시켜 만들어진 안료 분산 레지스트가 사용된다.

여기에서, 파장 영역 Δλ12(파장 λ1 내지 파장 λ2의 파장 영역)은 가시 영역에 해당하고, 메인 센서(111A) 및 서브 센서(111B) 모두가 감광 파장 영역으로서 가시 영역을 포함한다. 검출용의 광의 발광 파장 영역과 메인 센서(111A) 및 서브 센서(111B)의 감광 파장 영역 사이의 관계는, 위에서 설명된 경우에만 한정되지는 않음을 알 수 있다. 그러나, 검출 광의 파장 영역에서, 메인 센서(111A)의 감광도를 서브 센서(111B)보다 높게 하고, 메인 센서(111A)가 응답 가능한 파장 영역의 외광은 서브 센서(111B)에서도 수광 가능하게 하는 것이 바람직하다. 이것은, 상세한 것은 후술하지만, 서브 센서(111B)가 메인 센서(111A)에서 수광되는 외광에 기인한 위신호를 검출하는 기능을 갖기 때문이다.

여기에서, 본 실시예에서, 외광은 IR 광원(151B)으로부터 방출되어 물체 표면으로부터 반사된 광 이외의 광을 가리킨다. 구체적으로, 이는 태양광이나 실내 조명 등의 환경 광을 의미하고, 백라이트(15)로부터 방출된 백색광 중 미광이 된 광을 또한 포함할 수도 있다.

다음으로, 이하, 화상 I/O 장치(1)의 기능 및 효과에 대해서 설명한다.

[화상 I/O 장치(1)의 표시 동작]

화상 I/O 장치(1)에서는, 응용 프로그램 실행부(11)로부터 공급되는 표시 데이터에 기초하여, 표시 구동 회로(12)에서 화상 표시 구동 신호가 생성된다. 그 후, 구동 신호에 기초하여, 표시 패널(10)에서 선 순차 화상 표시 구동이 행해진다. 이때, 표시 구동 회로(12)는 백라이트(15)의 백색 광원(151A)의 점등 구동도 행한다. 표시 패널(10)에서는, 위에서 설명된 구동 신호에 기초하여, 소정의 임계치 전압 이상의 구동 전압이 공통 전극(113)과 화소 전극(115) 사이에 인가된 경우, 액정층(130)에서의 액정 배향이 바뀐다. 이에 따라, 백라이트(15)로부터 방출되어 편광판(116)을 통과하여 액정층(130)에 입사한 백색광은 표시 화소마다 각각 바뀐 뒤, 대응하는 컬러 필터(121R, 121G 및 121B)를 통과하고, 편광판(123)을 통하여 상방으로 방출된다. 이와 같이 하여, 표시 패널(10) 상에 화상이 표시된다.

[화상 I/O 장치(1)의 입력 동작]

한편, 표시 패널(10)에 물체(예를 들어, 손 끝(2) 등)가 근접 혹은 접촉할 경우, 수광 구동 회로(13)에 의해 행해지는 선 순차 수광 구동에 따라, 표시 패널(10)에 구비된 메인 센서(111A) 및 서브 센서(111B)에 의해 물체의 화상이 촬상된다. 이때, 표시 구동 회로(12)는 백라이트(15)에 구비된 IR 광원(151B)의 점등 구동을 행한다. 메인 센서(111A)의 상방에 IR 투과 블랙(122)이 배치되고, 서브 센서(111B)의 상방에 녹색 필터(121G)가 배치되므로, 메인 센서(111A)에는 근적외광이 선택적으로 입사되고, 서브 센서(111B)에는 가시광(이 경우에는, 녹색 광)이 선택적으로 입사되기 쉽다.

이러한 메인 센서(111A) 및 서브 센서(111B)로부터 생성된 광검출 신호는 수광 구동 회로(13)에 공급되어, 촬상 화상으로서 화상 처리부(14)에 출력된다. 화상 처리부(14)는 촬상 화상에 기초하여 소정의 화상 처리 및 데이터 처리를 행함으로써, 물체의 위치 등에 관한 데이터를 획득한다.

이하, 위에서 설명된 입력 동작(광원 구동 동작, 광검출 동작, 화상 처리 동작 및 설정 처리 동작)에 대해서 상술한다. 도 5의 (A)는, 단위 프레임 기간에 해당하는 IR 광원(151B)에 적용된 시분할 구동의 타이밍 차트(ON 기간 및 OFF 기간에서의 일례)이다. 도 5의 (B)는, IR 광원(151B)으로부터의 출력을 나타내고, 도 5의 (C)는 IR 광원(151B)에 적용된 시분할 구동에 따른 외광의 변화를 나타내고, 도 5의 (D)는 메인 센서(111A)(서브 센서(111B))에서의 판독 타이밍을 나타내고, 도 5의 (E)는 메인 센서(111A)로부터의 출력을 나타낸다.

(1. IR 광원(151B)의 시분할 구동 동작)

본 실시예에 따라, 위에서 설명된 바와 같이 물체의 화상을 촬상할 시에, 표시 구동 회로(12)가 백라이트(15)에서의 IR 광원(151B)의 시분할 구동 동작을 행함으로써, IR 광원(151B)의 ON 기간 및 OFF 기간이 전환될 수 있다. 이 경우에, 예를 들어 도 5의 (A)에 나타낸 바와 같이, 단위 프레임 기간(여기서는, 1/60 초)에 ON 기간 Ton은 OFF 기간 Toff보다 짧아지도록 설정할 수 있다.

도 5의 (B)에 나타낸 바와 같이, IR 광원(151B)으로부터의 출력은 예를 들어 피크치(peak value) A의 단펄스 구형파(a short rectangular pulse wave)이다. IR 광원(151B)으로부터 방출된 근적외광의 신호 강도는 피크치 A와 ON 기간 Ton 사이의 적분 값이다. 따라서, 상세한 것은 후술되겠지만, 근적외광의 출력이 외광 레벨에 따라서 최적화 되도록 ON 기간 Ton의 피크치 A가 제어된다. 피크치 A는 IR 광원(151B)으로부터 방출된 광의 강도에 해당하고, 구동 전류에 의해 제어가능하다.

이와 같이 하여, IR 광원(151B)으로부터 출력된 근적외광은 표시 패널(10)을 통과한 뒤, 표시 패널(10)로 근접하는 물체의 표면 상에서 반사되어 다시 표시 패널(10)에 입사한다.

(2. 메인 센서(111A) 및 서브 센서(111B)에 의한 광검출 동작)

표시 패널(10)에 입사하여 물체로부터 반사된 광은 IR 투과 블랙(122)을 투과하는 반면, 서브 센서(111B)의 상방에 배치된 녹색 필터(121G)에서는 차단된다. 이에 따라, 위에서 설명된 수광 구동 회로(13)에서 행해지는 선 순차 수광 구동에 따라, 메인 센서(111A)에서는 주로 물체로부터 반사된 광(근적외광)이 수광(검출)된다. 동시에, 메인 센서(111A) 및 서브 센서(111B)에서 외광이 검출된다.

이때, 도 5의 (D)에 나타낸 바와 같이, 메인 센서(111A) 및 서브 센서(111B)의 판독의 타이밍은 ON 기간 Ton에 따라서 설정된다. 구체적으로, 우선, ON 기간 개시 직전에 동작 리셋(Operational Reset)이 행해지고, ON 기간이 개시되면서부터 검출 광의 축적이 시작된다, 그 후, ON 기간 종료시(수광 시간;Tr)에 축적된 광검출 신호가 판독(Read(on)) 된다. 한편, OFF 기간 Toff에서는, ON 기간 Ton과 동일한 수광 시간(수광 시간;Tr) 경과 후에 판독(Read(off)) 동작이 행해진다.

이러한 메인 센서(111A) 및 서브 센서(111B)의 판독(및 리셋) 동작은 수광 구동 회로(13)의 제어에 의해 선 순차 스캔을 통하여 행해진다. 구체적으로는, 다음과 같은 스캔 타이밍에 따라 광검출이 행해진다. 여기에서, 도 6은 메인 센서(111A)를 포함하는 개략적인 등가 회로도를 나타내고, 도 7의 (A) 내지 도 9의 (B)에는 각각, 메인 센서(111A)의 스캔 타이밍 및 IR 광원(151B)의 발광 타이밍을 나타낸다. 여기에서, 메인 센서(111A)를 예로서 설명했지만, 서브 센서(111B)에도 동일하게 적용된다.

도 6에 나타낸 바와 같이, 메인 센서(111A)를 포함하는 수광 회로는, 예를 들어 메인 센서(111A) 이외에, 3개의 트랜지스터 Tr1 내지 Tr3을 포함하여 구성된다. 이들 트랜지스터 Tr1 내지 Tr3는 각각, 예를 들어 TFT(박막 트랜지스터) 등으로 형성된다. 이러한 수광 회로에서는, 메인 센서(111A)의 캐소드는 전원 VDD에 접속되고, 애노드는 트랜지스터 Tr1의 드레인 및 트랜지스터 Tr2의 게이트에 각각 접속된다. 트랜지스터 Tr1의 소스는 접지 VSS에 접속되고, 게이트는 리셋 신호선(310)에 접속된다. 트랜지스터 Tr2의 소스는 전원 VDD에 접속되고, 드레인은 트랜지스터 Tr3의 드레인에 접속된다. 트랜지스터 Tr3의 게이트는 판독(read) 신호선(320)에 접속되고, 소스는 수광 신호 출력선(330)에 접속된다. 수광 신호 출력선(330)은, 도시되지 않았지만 정전류원에 접속된다.

이러한 구성에서는, 리셋 신호선(310)이 "H(높음)" 상태가 될 때, 트랜지스터 Tr1은 ON 상태가 된다. 그 결과, 광검출량에 따라 결정되는 메인 센서(111A)의 애노드측의 수광 전위가 접지 VSS로 리셋된다. 한편, 판독 신호선(320)이 "H" 상태가 되면, 메인 센서(111A)의 애노드측의 수광 전위에 따라, 소스 폴로워로서 기능하는 트랜지스터 Tr2 및 Tr3은 ON 상태가 되고, 수광 전위가 수광 신호 출력선(330)에 출력된다(데이터가 판독됨). 매트릭스 형상으로 배치된 메인 센서(111A)에 선 순차적으로(첫번째 내지 n번째 선) 광검출 동작이 적용되어, ON 기간 Ton에 따라, 위에서 설명된 판독 및 리셋 동작이 소정의 타이밍(예를 들어, 이하의 타이밍 차트 1 내지 차트 3에 나타냄)으로 행해질 수 있다.

(타이밍 차트 1)

구체적으로는, 도 7의 (A) 및 도 7의 (B)에 나타낸 바와 같은 타이밍 차트에 기초하여 메인 센서(111A)와 IR 광원(151B)을 각각 구동할 수 있다. 도 7의 (A)에 나타낸 바와 같이, 메인 센서(111A)에서는 첫번째 내지 n번째선에 대한 각 노광 시간(수광 시간)L1 내지 Ln(도 7의 (A)의 사선 영역)에서 광검출 신호가 획득된다. 첫번째 선의 노광 시간 L1은 첫번째 선의 리셋 지점(Reset(1))으로부터 첫번째 선의 판독 지점(Read(1))까지 지속된다. 마찬가지로, n번째선의 노광 시간 Ln은, n번째선의 리셋 지점(Reset(n))으로부터 판독 지점(Read(n))까지 지속된다. 또한, 이와 같은 선 순차 스캔은 첫번째 선 내지 n번째선까지의 리셋 동작을 순차적으로 행하기 위한 리셋 기간 ΔReset과 첫번째 선 내지 n번째선까지의 판독 동작을 순차적으로 행하기 위한 판독 기간 ΔRead을 필요로 한다. 이하, 이러한 리셋 기간 ΔReset 및 판독 기간 ΔRead를 단순히 스캔 기간이라 말한다.

한편, 도 7의 (B)에 나타낸 바와 같이, IR 광원(151B)의 ON 기간 Ton은, 위에서 설명된 Reset(1)으로부터 Read(n)까지의 스캔 타이밍 기간과 동일하다. 즉, IR 광원(151B)의 ON 기간 Ton이, 메인 센서(111A)의 스캔 기간을 커버할 수 있도록 설정된다.

이러한 ON 기간 Ton의 광검출 동작이 종료되면, 메인 센서(111A)에서는 OFF 기간 Toff의 스캔 동작을 개시한다. 구체적으로, 메인 센서(111A)에서, ON 기간 Ton의 n번째선의 판독 Read(n) 시점에서 동시에 첫번째 선의 리셋 Reset(1)과 IR 광원(151B)의 소등(OFF)이 행해지도록 구동된다.

(타이밍 차트 2)

대안적으로, 도 8의 (A) 및 도 8의 (B)에 나타낸 바와 같은 타이밍 차트에 기초하여, 메인 센서(111A)와 IR 광원(151B)이 구동될 수 있다. 이 경우에도, 도8의 (A)에 나타낸 바와 같이, 메인 센서(111A)에서 각각의 노광 시간 L1 내지 Ln(도 8의 (A)의 사선 영역)에서 광검출 신호가 획득되며, 리셋 기간 ΔReset과 판독 기간 ΔRead를 필요로한다.

그러나, 이 경우에서, 도 8의 (B)에 나타낸 바와 같이, IR 광원(151B)의 ON 기간 Ton은 위에서 설명된 스캔 타이밍 기간에서의 Reset(n) 내지 Read(1)의 기간과 동일하다. 즉, IR 광원(151B)의 ON 기간 Ton이 메인 센서(111A)의 스캔 기간을 피하도록 설정되어 있다. 이러한 설정에서, 발광분 모두가 노광 시간(수광 시간)의 범위 내에 있고, 이 때문에 발광 출력의 낭비가 절감되어 소비 전력의 삭감을 가져온다. 또한, OFF 기간에서 Toff의 스캔은, 위에서 설명된 타이밍 차트 1과 같이 ON 기간 Ton에서의 Read(n)의 종료시에 개시된다.

(타이밍 차트 3)

위에서 설명된 바와 같이, IR 광원(151B)의 ON 기간 Ton이 메인 센서(111A)의 스캔 기간을 피할 수 있도록 IR 광원(151B)이 설정되면, 도 9의 (A), 도 9의 (B)에 나타낸 바와 같은 타이밍이 가능하다. 즉, 도 9의 (A)에 나타낸 바와 같이, ON 기간 Ton에서의 Read(1)와 OFF 기간 Toff에서의 Reset(n)이 연속적으로 행해질 수 있다. 이에 따라, ON 기간 Ton의 판독과 OFF 기간 Toff의 판독 사이의 시간차를 단축함으로써, 출력의 지연을 개선함과 함께, 위신호의 생성을 효과적으로 억제할 수 있다.

즉, 본 실시예에 따라, 단위 프레임 기간에서, ON 기간 Ton이 OFF 기간 Toff보다 짧다지만, OFF 기간 Toff의 판독의 타이밍은, ON 기간 Ton의 길이에 기초하여 결정된다. 이에 따라, 메인 센서(111A)에서는 예를 들어 도 5의 (E)에 나타낸 바와 같은 출력이 가능하다.

여기에서, 위에서 설명된 광검출 동작(단계 S11 및 S12) 및 화상 처리부(14)의 화상 처리 동작(단계 S13 내지 S16)의 흐름도가 도 10에 나타나 있다. 예를 들어, 우선, ON 기간 Ton에 있어서, 메인 센서(111A)로부터 광검출 신호 Von1를 판독하고, 서브 센서(111B)로부터 광검출 신호 Von2를 판독하여, 광검출 신호 Von1에 기초한 화상 MA 및 광검출 신호 Von2에 기초한 화상 SA를 각각 획득한다(단계 S11). 다음으로, OFF 기간 Toff에 있어서, 메인 센서(111A) 및 서브 센서(111B)로부터 광검출 신호 Voff1 및 광검출 신호 Voff2를 각각 판독하여, 광검출 신호 Voff1에 기초한 화상 MB 및 광검출 신호 Voff2에 기초한 화상 SB를 획득한다(단계 S12). 그 결과, 메인 센서(111A)에서는, ON 기간에서의 화상 MA 및 OFF 기간에서의 화상 MB가 순차적으로 획득되고, 서브 센서(111B)에서는, ON 기간에서의 화상 SA 및 OFF 기간에서의 화상 SB가 순차적으로 획득된다. 그 후, 획득된 화상 MA와 SA 및 화상 MB와 SB는, 화상 처리부(14)로 하나씩 출력된다.

ON 기간 Ton의 길이나 광강도는 검출 대상이 되는 물체의 상태나 외광의 강도 등에 따라 최적화된다(설정 처리). 이러한 설정 처리 동작의 상세 설명은 후술한다.

(3. 화상 처리부(14)에 의한 화상 처리 동작)

(3-1.차분 화상 생성 처리)

우선, 화상 처리부(14)는 메인 센서(111A)로부터 획득된 화상 MA와 화상 MB의 차분 화상 MC를 생성하고, 서브 센서(111B)로부터 획득된 화상 SA와 화상 SB의 차분 화상SC를 생성한다(단계 S13). 여기에서, 화상 MA는 반사광에 의한 신호(이하, 반사광 신호라함) 및 외광에 의한 신호(이하, 외광 신호라 함)를 포함하는 한편, 화상 MB는 외광 신호만을 포함하고 있다. 이에 따라, 뺄셈(MA-MB)함으로써, 노이즈로서의 외광 신호가 제거되어, 반사광 신호의 차분 화상 MC가 획득된다.

예를 들어, 도 11의 A에 나타낸 바와 같이, 물체(손 끝(2))가 스크린 표면에 접하고 있을 경우, 메인 센서(111A)의 ON 기간 Ton에서의 광검출 신호 Von1은, 도 11의 B에 나타낸 바와 같이, 손 끝(2)이 접촉한 화소 위치에서는, 손 끝(2)의 표면 상에서의 반사율에 대응하는 전압치 Vb를 나타낸다. 한편에서는, 그것이 외광 레벨에 따른 전압치 Va를 나타낸다. 한편, 메인 센서(111A)에서의 OFF 기간 Toff의 광검출 신호 Voff1이, 손 끝이 접촉한 부분 이외에서는, 외광 레벨에 대응하는 전압치 Va를 나타낸다는 점에서 동일하더라도, 손 끝이 접촉한 부분에서는, 외광이 차단되어 있기 때문에, 매우 낮은 레벨의 전압치 Vc를 나타낸다. 이에 따라, ON 기간과 OFF 기간 사이의 수광 전압의 차분을 검출함(차분 화상 MC를 생성함)으로써, 전압치 Vb와 전압치 Vc 사이의 경우와 같이, 전압에서 일정 이상의 차를 보이는 부분을, 손 끝(2)이 스크린에 접촉 혹은 근접했던 부분으로서 검출할 수 있다.

(3-2.합성 화상 생성 처리)

다음으로, 생성된 차분 화상 MC 및 SC에 기초하여, 합성 화상 MS를 생성한다(단계 S14). 도 12 내지 도 15는, 합성 화상 MS의 생성 처리의 일례를 나타낸다.

여기에서, 도 12에 나타낸 바와 같이, ON 기간과 OFF 기간에서의 사이에 일정한 시간 차가 있기 때문에, 물체가 이동할 경우, 물체에 대응하는 부분에서, ON 기간에서의 광검출 신호 Von1(MA)과 OFF 기간에서의 광검출 신호 Voff1(MB) 사이의 위치 어긋남이 나타난다. 이로 인해, 이들 두 개의 화상 MA 및 화상 MB의 차분 화상 MC와 그 광검출 신호 V1(=Von1-Voff1)에 있어서, 물체의 위치에 대응하는 본래의 신호와 다른, 위신호 F101이 다른 위치에서 생성된다(도 12 및 도 13). 이러한 위신호F101은 물체의 위치를 검출할 시 검출 정밀도를 열화시키는 주요한 요인이 되기 때문에, 가능한 한 제거하는 것이 바람직하다.

이에 따라, 화상 처리부(14)는, 메인 센서(111A)에 의해 획득되는 차분 화상MC와 서브 센서(111B)에 의해 획득되는 차분 화상 SC에 기초하여 합성 화상을 생성한다. 여기에서, 도 14 및 도 15에 나타낸 바와 같이, 물체가 이동할 경우, 차분 화상 MC와 마찬가지로 차분 화상 SC에 해당하는 위신호 F101도 생성된다.

수광 구동 회로(13)는, 우선, 도 16에 나타낸 바와 같이, 서브 센서(111B) 에 의해 획득되는 차분 화상 SC에 기초하여 소정의 마스크 화상 E를 생성하고, 이 마스크 화상 E와 차분 화상 MC 사이의 논리곱(logical product)을 취하여, 이들 화상의 합성 화상 MS를 생성한다. 이때, 수광 구동 회로(13)는, 차분 화상 SC에 대하여, 예를 들어 이진화(binarization) 처리 및 화상 반전 처리를 행함으로써, 마스크 화상 E를 생성한다. 이진화 처리는, 차분 화상 SC에서 소정의 값(임계치)과 동일하거나 그 이상의 수광 신호를 위신호로서 정의하고, 위신호의 부분을 마스크 화상으로 전환함으로써 행해질 수 있다. 대안적으로, 위에서 설명된 마스크 화상 E를 사용해서 합성 화상 MS를 생성하는 방법 외에, 예를 들어, 차분 화상 MC와 차분 화상 SC 사이의 차분 화상(=MC-SC)을 획득함으로써, 합성 화상 MS를 획득할 수 있다.

(3-3. 위치 판정 처리)

화상 처리부(14)는, 이와 같이 하여 생성된 합성 화상 MS를 사용하여, 물체의 무게 중심 G와 면적 S를 산출하는 데이터 처리를 행하고(단계 S15), 물체의 위치 등을 판정한다(단계 S16). 이 경우에, 예를 들어 합성 화상 MS에서 소정의 임계치 레벨(후술)과 동일하거나 그 이상의 값을 갖는 영역을 이진수화하고, 그것으로부터 노이즈를 제거한다. 그 후, 중심 좌표의(x, y) 값의 평균치를 산출하여, 물체의 무게 중심 좌표 G나 면적 S를 획득한다. 따라서, 이와 같이 하여, 메인 센서(111A)의 차분 화상 MC와, 서브 센서(111B)의 차분 화상 SC에 기초한 합성 화상 MS를 사용하여, 물체 정보가 획득된다. 그 결과, 예를 들어 물체가 표시 패널(10) 상에서 움직이는 경우에도, 합성 화상 MS에서의 위신호의 생성이 억제된다.

(4. 셋업 처리)

다음으로, 위에서 설명된 물체의 위치 등의 입력 동작을 행하기 전에, 검출 대상이 되는 물체의 상태와 외광 레벨 등에 따라서 ON 기간 Ton의 길이와 광강도를 최적화하기 위한 셋업 처리를 행한다. 본 실시예에 따라, ON 기간 Ton은 프레임 주파수 60 Hz, 주기 1/60 초에 대하여, 수 백 ㎲ 내지 1/120 초(=1/60 초 * 0.5)의 범위 내에서 가변된다. 또한, 광검출 신호는 AD 변환된 뒤 화상 처리되고, 이러한 AD 변환의 입력 가능 범위를 다이나믹 레인지(dynamic range)라고 한다. 도 17 및 도 18은 셋업 처리의 흐름도의 일례를 나타낸다.

우선, 손 끝 등이 표시 패널(10) 표면을 길게 누를 때, 시스템은 파워 세이브 상태로부터 액티브 상태로 변경되고, 표시 구동 회로(12)가 구동되어 단위 프레임 기간에서, IR 광원(151B)의 ON 기간 Ton과 OFF 기간 Toff 사이의 전환을 구동한다.

(4-1.ON 기간 Ton의 길이의 설정)

예를 들어, 도 17에 나타낸 바와 같이, OFF 기간 Toff에, 메인 센서(111A) 및 서브 센서(111B)의 각각에서 광검출 신호 Voff1 및 Voff2을 판독하여 화상 MB 및 SB를 획득한다(단계 S21). 이때, 메인 센서(111A) 및 서브 센서(111B)에서의 각 판독 동작은, ON 기간 Ton과 동일한 수광 기간 경과 후에 행해진다. 이와 같이 하여 획득된 광검출 신호 Voff1 및 Voff2(MB 및 SB)가, 그 후, 다이나믹 레인지의 범위 내, 바람직하게는 10 내지 90 %의 다이나믹 레인지에 들어가도록 ON 기간 Ton의 길이가 설정된다(단계 S22). 이는, 다이나믹 레인지를 초과하는 신호가 들어가면 AD 출력치가 포화되어, 고정된 값이 출력되기 시작하기 때문이다. 그 결과, 반사광 신호의 변화를 검출하기 어려워진다. 결과적으로, 설정한 ON 기간 Ton의 길이가 위에서 설명된 범위 내에 수렴되는 것을 확인하고, 설정 처리를 종료한다.

(4-2.ON 기간 Ton에서의 광강도의 설정)

또한, 도 18에 나타낸 바와 같이, 우선, 위에서 설명된 단계 S11 및 S12(도 10)과 마찬가지로, ON 기간 Ton에서 화상 MA 및 SA를 획득하고(단계 S31), OFF 기간 Toff 에서 화상 MB 및 SB을 획득한다(단계 S32). 다음으로, 위에서 설명된 단계 S13과 마찬가지로 차분 화상 MC 및 SC을 생성한 뒤, 위에서 설명된 단계 S12과 마찬가지로, 합성 화상 MS를 생성한다.

이와 같이 하여 생성된 합성 화상 MS에 기초하여, ON 기간에서의 광강도(ON 상태 전류)를 설정한다(단계 S35). 구체적으로, 합성 화상 MS에서의 반사광 신호의 최대치(이상점을 제외)가 다이나믹 레인지의 범위 내, 바람직하게는 5 내지 90 %의 다이나믹 레인지에 들어가도록, 광강도(ON 상태 전류)를 최적화한다. 설정된 ON 기간 Ton에서의 반사광 신호의 최대치가, 위에서 설명된 범위 내에 수렴되는 것을 확인한 뒤, 반사광 신호의 최대치의 대략 반 정도가 되는 값을, 물체의 이진수화 임계치로서 설정한다(단계 S36). 여기에서 설정이 손 끝을 대상으로 하고 있을 경우, 위에서 설명된 바와 같이 획득된 임계치에 소정의 비율을 곱한 값을 예를 들어 스타일러스 등의 임계치로서 설정하는 것도 가능하다. 위에서 설명된 바와 같이 설정된 물체의 임계치에 기초하여, 위에서 설명된 위치 판정 처리에 있어서, 무게 중심 G와 면적 S를 산출한다.

또한, 외광 레벨이 지나치게 강할 경우 등의 반사광 신호의 최대치가 위에서 설명된 범위 내에 설정되기 어려운 경우에는, IR 광원(151B)을 계속해서 소등하고, 메인 센서(111A)의 전류원을 차단한다(소비 전력 저감책). 이 경우, 서브 센서(111B)만이 광검출을 행하고, 물체의 위치에 해당하는 신호(그림자 신호)에 의한 화상(그림자 화상)의 최대치와 최소치의 중앙 값으로 물체의 이진수화 임계치를 설정한다. 이 경우, 서브 센서(111B)에 의해 획득된 그림자 화상 중, 설정한 이진수화 임계치 이내의 값을 포함하는 이진수화된 화상을 생성하고, 고립 점 등의 노이즈 제거 후, 무게 중심 G와 면적 S의 데이터 처리를 산출하여, 물체의 위치 등의 물체 정보를 획득한다.

반사광 신호는, ON 기간 Ton에서의 광강도와 ON 기간 Ton의 길이의 적분 값에 의해 결정되기 때문에, 외광의 영향이 거의 없을 경우에는, 위에서 설명된 광강도의 최적화를 반드시 필요로 하지 않고, ON 기간 Ton의 광강도 및 길이 중 적어도 하나를 제어하는 것으로 충분할 수 있다.

위에서 설명된 바와 같이 , 본 실시예에 따라, 메인 센서(111A) 및 서브 센서(111B)로부터의 출력에 기초하여, 화상 처리부(14)는, ON 기간 Ton에서의 화상 MA 및 SA와 OFF 기간 Toff에서의 화상 MB 및 SB로부터 각각 차분 화상 MC 및 SC를 생성한다. 따라서, 이러한 차분 화상 MC 및 SC에 기초하여 물체의 위치 등의 물체 정보가 검출된다. 즉, 차분 화상 SC로부터 외광이 검출되는 동안 차분 화상 MC로부터 물체의 반사광 및 외광의 움직임이 검출되기 때문에, 차분 화상 MC와 SC를 합성함으로써, 물체로부터 반사광만을 분리하고, 분리된 데이터를 기초로 하여 물체의 위치 등을 검출할 수 있게 된다. 여기에서, 표시 구동 회로(12)는, ON 기간 Ton을 OFF 기간 Toff보다 짧게 설정하고, 각 기간에서 상호 동일한 수광 시간 경과 후에 판독 동작이 행해질 수 있도록 구동된다. 이와 같이 하여, ON 기간 Ton과 OFF 기간 Toff이 서로 동일한 시분할 구동에 의해 구동되는 경우에 비해, ON 기간 Ton 및 OFF 기간 Toff에서의 각 수광 시간이 감소한다.

여기에서, 도 19의 (A)는, 본 실시예의 비교예에 따라, 단위 프레임 기간에서, IR 광원(151B)의 ON 기간(T₁₀₀)과 OFF 기간(T₁₀₀)이 서로 동일한 시분할 구동에 의해 구동되는 경우의 타이밍 차트를 나타낸다. 이 경우에, IR 광원(151B)의 출력은, 도 19의 (B)에 나타낸 바와 같은 구형파를 형성한다. 여기에서, 비교예에서, 포토센서로부터의 데이터 판독은, 도 19의 (D)에 나타낸 바와 같이, 각 기간 종료 시에 행해진다.

이 경우에는, 도 20의 (A)에 나타낸 바와 같이, 외광 레벨이 비교적 낮은 경우, 외광 신호가 다이나믹 레인지 DR 내에 들어가고, 반사광 신호가 고정밀도로 검출된다. 한편, 도 20 B에 나타낸 바와 같이, 외광 레벨이 비교적 높을 경우에는, 외광 신호가 다이나믹 레인지 DR를 초과하여, 메인 센서(111A) 및 서브 센서(111B)는 포화된다. 그 결과, 반사광 신호를 검출하기 어려워진다. 또한, 스타일러스(3) 등과 같이 검출 대상이 되는 물체의 검출면이 작다면, 검출면에 외광이 도달하여, 반사광 신호의 검출에 방해가 된다. 또한, 이 비교예에 관한 시분할 구동에 따라, 예를 들어 도 19의 (C)에 나타낸 바와 같이, 단위 프레임 기간에서 시간에 따라 외광이 변화될 경우, 예를 들어 도 19의 (E)에 나타낸 바와 같은 출력이 나타나고, 위신호가 발생하기 쉽다. 또한, 물체가 이동할 경우에도, 위신호가 발생하기 쉽다.

한편, 본 실시예에 따르면, 위에서 설명된 바와 같이, 외광 레벨에 따른 ON 기간 Ton의 제어에 의해, ON 기간 Ton 및 OFF 기간 Toff에서의 각 수광 시간이 감소한다. 이에 따라, 위에서 설명된 비교예에 비해, 외광 레벨이 강할 경우에도 메인 센서(111A) 및 서브 센서(111B)가 포화하기 어려워지고, 물체가 이동할 경우나 외광 레벨이 일정하지 않을 경우에도, 위신호의 생성이 억제된다. 따라서, 사용 조건에 관계없이, 근접하는 물체의 위치, 형상 또는 크기에 관한 정보를 고정밀도로 획득하는 것이 가능하다.

다음으로, 이하, 위에서 설명된 실시예에 따른 화상 I/O 장치(1)의 표시 패널의 변형예(제1 변형예)에 대해서 설명한다. 이하에서는, 위에서 설명된 실시예와 마찬가지의 구성 요소에 동일한 참조 부호를 부여하여, 중복되는 설명을 적절하게 생략한다.

(제1 변형예)

도 21은, 제1 변형예에 따른 표시 패널(20)의 횡단면 구성을 나타낸다. 표시 패널(20)은, 표시 화소로서 유기 전자 루미네센스(EL) 소자를 사용한 유기 EL 디스플레이이다. 표시 패널(20)에서, 기판(110) 상에 형성된 유기 EL 소자는, 기판(120)에 의해, 그 사이에 밀봉층(230)을 두며 밀봉된다. 여기에서는, 본 변형예에 따라, 위에서 설명된 실시예에서의 백라이트(15)가 불필요함을 알 수 있다.

구동 기판(110) 상의 평탄화 막(112) 상에, 화소마다 양극(anode)으로서의 화소 전극(210)이 형성되고, 그 위로는 자외광을 생성하기 위한 자외 발광층(211)이 각 화소 전극(210)에 공통인 층으로서 형성된다. 자외 발광층(211) 상에는, 음극(cathode)으로서의 공통 전극(212)이 형성된다. 공통 전극(212) 상에는, R, G 및 B의 표시 화소에 대응하는 적색 변환층(213R), 녹색 변환층(213G) 및 청색 변환층(213B)이 형성된다.

화소 전극(210)과 자외 발광층(211) 사이에는, 각 화소에 공유되는 정공 주입층과 정공 수송층이 배치될 수 있다. 대안적으로, 공통 전극(212)과 자외 발광층(211) 사이에는, 각 화소에 공유되는 전자 주입층이나 전자 수송층이 구비될 수 있다. 또한, 화소 전극(210)을 음극, 공통 전극(212)을 양극으로서 기능하게 할 수 있다.

자외 발광층(211)은, 형광성 또는 인광성을 갖는 발광 재료를 포함하도록 구성된다. 전계가 그곳에 인가될 때, 화소 전극(210)으로부터 주입된 정공의 일부와, 공통 전극(212)로부터 주입된 전자의 일부가 재결합하고, 자외광을 생성한다. 자외 발광층(211)의 구성 재료로서, 예를 들어 트리아졸계 유도체(TAZ) 등이 사용된다. 이 경우에, BCP, B-phen 및 Bu-PBD 등의 와이드-갭(wide-gap) 캐리어 수송 재료와 조합하는 것이 바람직한데, 이는 자외 발광층(211)에 인접하는 정공 주입층, 정공 수송층, 전자 수송층 및 전자 주입층(모두 도시하지 않음) 등으로의 에너지 수송에 의한 발광 효율 저하 또는 발광 파장의 장파장화를 피할 수 있기 때문이다.

적색 변환층(213R), 녹색 변환층(213G) 및 청색 변환층(213B)은, 자외 발광층(211)으로부터 생성된 자외광의 일부를 각각의 색의 광으로 변환(에너지 변환)하는 색 변환층이다. 이들 적색 변환층(213R), 녹색 변환층(213G) 및 청색 변환층(213B)은, 예를 들어 형광성 또는 인광성을 갖는 발광 재료를 포함하도록 구성되어, 자외 발광층(211)으로부터의 에너지 수송 또는 자외 발광층(211)으로부터 발광된 광의 재흡수를 거쳐, 각각의 색의 광을 생성한다. 이들 적색 변환층(213R), 녹색 변환층(213G) 및 청색 변환층(213B)의 재료나 두께는, 화상 표시용으로 필요한 각각의 색 광과 검출용 자외광 사이의 비율 등의 조건을 고려하여 적절하게 선택된다.

기판(120) 상에는, 자외 투과 블랙(221)이 배치되고, 자외 투과 블랙(221)의 하방에 메인 센서(111A)가 배치된다. 자외 투과 블랙(221)은, 가시광을 차단하고, 자외광을 선택적으로 투과시키는 필터이다. 본 변형예에서, 메인 센서(111A)는, 예를 들어 근자외 영역에서 감광도를 갖고 있다. 기판(120) 상에는 자외 차광 필터(222)가 형성되고, 자외 차광 필터(222)의 하방에 서브 센서(111B)가 배치된다. 기판(120) 상에서, 이들 자외 투과 블랙(221) 및 자외 차광 필터(222)는 평탄화 막(223)에 의해 평탄화된다.

이러한 표시 패널(20)에서는, 위에서 설명된 실시예와 같이 표시 구동 회로(12)에 의해 선 순차 화상 표시 구동을 행하고, 수광 구동 회로(13)에 의해 선 순차 수광 구동을 행한다. 그러나, 본 변형예에서, 표시 구동 회로(12)에 의해, 자외 발광층(211)으로부터의 발광의 ON 기간은 OFF 기간보다 짧아지도록 제어된다. 또한, 메인 센서(111A) 및 서브 센서(111B)에 의한 판독 동작은, 위에서 설명된 실시예와 같이 ON 기간 및 OFF 기간에서 각각 상호 동일한 수광 기간 경과 후에 행해진다. 다른 화상 처리 동작도 위에서 설명된 제1 실시예와 마찬가지로 행해진다. 그러나, 본 변형예와 같은 유기 EL 디스플레이의 경우에, ON 기간은 각각의 게이트 라인의 선택된 시간에 기초하여 결정된다. 이 점에서, 백라이트(15)의 전면에 시분할 구동이 적용되어 있는 위에서 설명된 실시예의 액정 디스플레이의 경우와는 상이하게, 현저하게 짧은(수 ㎲ 내지 1 ms) ON 기간 설정이 가능하다. 이로 인해, 본 변형예는, 외광이 포화하는 문제와 시간차에 의해 위신호가 생성되는 문제를 거의 가지지 않는다.

본 변형예에서는, 화소 전극(210)과 공통 전극(212) 사이에 소정의 구동 전압이 인가되는 ON 기간에, 자외 발광층(211)으로부터 자외광이 생성한다. 생성된 자외광의 일부는, 적색 변환층(213R), 녹색 변환층(213G) 및 청색 변환층(213B)에 대응하는 각각의 색의 광으로 변환된다. 그 결과, 화상이 표시된다. 한편, 자외 발광층(211)으로부터 방출된 자외광 중 색 변환되지 않고 남겨진 자외광은, 기판(120)의 표면을 통과하여 그로부터 방출되어, 표시 패널(20)에 근접하는 물체의 표면 상에서 반사된다. 위에서 설명된 실시예와 같이, 화상 처리부(14)에서, 반사광과 외광에 기초한 각 화상의 합성 화상 MS를 생성하고, 합성 화상 MS에 기초하여 물체의 위치 등이 검출된다. 이에 따라, 위에서 설명된 실시예와 실질적으로 동일한 효과를 얻을 수 있다.

(모듈 및 적용예)

다음으로, 이하, 도 22 내지 도 26을 참조하여, 위의 실시예 및 변형예에서 상술된 화상 I/O 장치의 적용예(제1 적용예 내지 제5 적용예)에 대해서 설명한다. 위에서 설명된 실시예 등의 화상 I/O 장치는, TV 장치, 디지털 카메라, 랩탑 컴퓨터, 휴대 전화 등의 휴대 단말 장치(personal digital assistant) 및 비디오 카메라 등의 임의의 분야의 전자 장치에 적용될 수 있다. 다시 말해서, 위에서 설명된 실시예 등의 화상 I/O 장치는, 외부로부터 입력되거나 내부에서 생성된 화상 신호를 화상 혹은 비디오(video)로서 표시하는 임의 분야의 전자 장치에 적용될 수 있다. 이하의 예시 이외에도, 예를 들어, 검출 광으로부터 반사 성분만이 배타적으로 취출되는 본 발명의 특징을 살리는 예시로서, 감시 카메라와 같은 장치로의 응용도 가능하다.

(제1 적용예)

도 22는 제1 적용예에 따른 TV 장치의 외관을 나타낸다. TV 장치는, 예를 들어, 프론트 패널(511) 및 필터 유리(512)를 갖는 화상 표시 화면부(510)를 포함하고, 화상 표시 화면부(510)는 위에서 설명된 실시예 등에 따른 화상 I/O 장치로 구성된다.

(제2 적용예)

도 23은 제2 적용예에 따른 디지털 카메라의 외관을 나타낸다. 디지털 카메라는, 예를 들어, 플래시 발광부(521), 표시부(522), 메뉴 스위치(523) 및 셔터 버튼(524)을 포함하고, 표시부(522)는, 위에서 설명된 실시예 등에 따른 화상 I/O 장치로 구성된다.

(제3 적용예)

도 24는, 제3 적용예에 따른 랩탑 컴퓨터의 외관을 나타낸다. 랩탑 컴퓨터는 예를 들어, 본체(531), 문자 등의 입력 조작을 위한 키보드(532) 및 화상을 표시하는 표시부(533)를 포함하고, 표시부(533)는 위에서 설명된 실시예에 따른 화상 I/O 장치로 구성된다.

(제4 적용예)

도 25는 제4 적용예에 따른 비디오 카메라의 외관을 나타낸다. 비디오 카메라는 예를 들어, 본체부(541), 본체부(541)의 전방 측면에 배치되어 물체를 촬영하는데 쓰이는 렌즈(542), 화상을 촬상할 때 사용되는 시작/정지 스위치(543) 및 표시부(544)를 포함한다. 표시부(544)는 위에서 설명된 실시예에 따른 화상 I/O 장치로 구성된다.

(제5 적용예)

도 26은 제5 적용예에 따른 휴대 전화기의 외관을 나타낸다. 휴대 전화기는, 예를 들어, 연결부(힌지부;730)에 의해 연결되는 상측 하우징(710)과 하측 하우징(720)으로 구성되고, 디스플레이(740), 서브 디스플레이(750), 픽처 라이트(760) 및 카메라(770)를 포함한다. 디스플레이(740)와 서브 디스플레이(750)는, 위에서 설명된 실시예에 따른 화상 I/O 장치로 구성된다.

위에서 설명된 바와 같이, 몇개의 실시예 및 변형예를 참조하여 본 발명을 설명했지만, 본 발명은 위에서 설명된 실시예 등에 한정되지 않고, 다양한 변형이 가능하다. 예를 들어, 위에서 설명된 실시예에 따라, 백라이트(15)에 IR 광원(151B)을 구비하여 근적외광을 이용해서 반사 신호를 검출하는 경우에 대해서 설명했지만, 검출용 광원은 IR 광원에 반드시 한정되지는 않는다. 예를 들어, 표시용의 광으로서 백라이트로부터 방출된 백색광을 검출광으로서 사용할 수 있다. 이 경우에는, 예를 들어, 표시 구동 회로(12)는 표시 패널(10)의 프레임 주기에 따라 교대로 점등 및 소등되도록 백라이트(15)의 백색 광원(151A)을 구동시킨다.

구체적으로, 단위 프레임 기간에서 표시 구동 회로(12)는 백색 광원(151A)의 ON 기간이 OFF 기간보다 짧아지도록 백색 광원(151A)의 구동을 제어하고, ON 기간에서 각 표시 화소에 표시 신호를 공급함으로써 화상을 표시한다. 또한, 이 경우에도, 수광 구동 회로(13)는, ON 기간 및 OFF 기간에 상호 동일한 수광 시간 경과 후에 각 판독 동작을 행하도록 메인 센서(111A) 및 서브 센서(111B)를 구동할 수 있다. 그러나, 표시광을 검출광으로서도 사용할 경우에는, 반사 신호의 출력이 표시 출력에 의존하거나, 흑색 표시의 경우에 검출이 어려워질 수 있다. 이에 따라, 표시 화상에 의한 노이즈를 제거하는 시스템이 추가로 필요해진다. 대안적으로, 백색 광원(151A)을 3 원색(R, G, B)의 LED로 구성하고, 이들 중 적어도 하나는 교대로 점등 및 소등될 수 있다.

또한, 위에서 설명된 실시예에 따르면, 표시 패널(10)의 표시측 상에 편광판(123)이 노출되어, 편광판(123)의 표면에 손가락 등의 물체가 접촉할 경우를 예로서 설명했지만, 편광판은 또한 예를 들어 보호판 등의 또 다른 부재로 덮힐 수도 있다. 또한, 본 발명과 같은 광학적 위치 검출은, 물체의 표면으로부터 반사된 광을 검출함으로써 행해지기 때문에, 저항에 기초한 위치 검출법의 경우와 달리, 물체가 표시 화면이나 모듈 표면에 접촉하지 않는 경우라도 물체의 위치 검출이 가능하다. 즉, 물체가 모듈 표면에 접촉하는 경우뿐만 아니라, 물체가 그곳에 근접하고 있을 경우에도, 접촉하는 경우와 마찬가지로 물체의 위치 검출이 가능하다.

또한, 위에서 설명된 실시예 등에 따르면, LC 소자를 사용한 액정 디스플레이 및 유기 EL 소자를 사용한 유기 EL 디스플레이를 화상 I/O 장치의 예로서 설명했지만, 본 발명은, 예를 들어 전기 영동 등을 사용한 전자 종이(e-paper) 등의 다른 표시 장치에도 적용 가능하다.

본 출원은 2009년 2월 27일에 출원된 일본 우선권 특허 출원 제2009-046019호와 관련된 요지를 포함하며, 그 전체 내용은 본 명세서에 원용된다.

당업자는, 청구 범위나 그에 해당하는 등가물의 범위 내에 있는한, 설계 요건 및 다른 요소에 따라 여러 변형, 조합, 서브-조합 및 치환이 가능함을 알 수 있다.

1: 화상 I/O 장치
10: 표시 패널
11: 응용 프로그램 실행부
12 : 표시 구동 회로
13: 수광 구동 회로
14: 화상 처리부
15: 백라이트
110, 120: 기판
130: 액정층
110A: TFT
111A: 메인 센서
111B: 서브 센서
112: 평탄화 막
113: 공통 전극
114: 절연막
115: 화소 전극
116, 123: 편광판
121R: 적색 필터
121G: 녹색 필터
121B: 청색 필터
122: IR 투과 블랙

Claims

화상 입력 장치로서,
광원;
상기 광원의 on-off 교대 구동을 ON 기간이 OFF 기간보다 짧은 방식으로 제어하는 광원 구동부;
상기 광원으로부터 방출되는 광의 파장 영역을 커버하는 감광 파장 영역을 갖는 제1 광검출 소자;
상기 ON 기간 및 상기 OFF 기간에서 모두 동일한 수광 시간 경과 후에 판독 동작을 행하도록 상기 제1 광검출 소자를 구동하는 광검출 소자 구동부; 및
상기 제1 광검출 소자로부터의 출력 신호에 기초하여 물체의 위치, 형상 또는 크기에 관한 물체 정보를 획득하는 화상 처리부
를 포함하고,
상기 화상 처리부는 상기 ON 기간 및 상기 OFF 기간에서 각각 상기 제1 광검출 소자로부터의 출력 신호에 기초하여 획득되는 ON 화상과 OFF 화상 사이의 차분으로서 제1 차분 화상을 생성하고,
상기 화상 처리부는 상기 제1 차분 화상에 기초한 데이터 처리를 통해 상기 물체 정보를 획득하는, 화상 입력 장치.
제1항에 있어서,
상기 광원 구동부는 상기 OFF 기간에서의 상기 제1 광검출 소자로부터 판독된 출력 신호의 최대치가 상기 제1 광검출 소자의 다이나믹 레인지(dynamic range)의 범위 내에 들어가도록 상기 수광 시간의 길이를 제어하는, 화상 입력 장치.
제1항에 있어서,
상기 광원 구동부는 상기 제1 차분 화상에 기초하여 상기 물체로부터의 반사광에 의한 신호 성분을 결정하며, 상기 신호 성분은 상기 ON 기간에서의 상기 제1 광검출 소자로부터의 출력 신호에 포함되고,
상기 광원 구동부는 상기 ON 기간에서의 상기 제1 광검출 소자로부터의 출력 신호 중 상기 물체로부터의 반사광에 의한 신호 성분의 최대치가, 상기 제1 광검출 소자의 다이나믹 레인지의 범위 내에 들어가도록 상기 수광 시간의 길이 또는 광강도 또는 이 둘 모두를 제어하는, 화상 입력 장치.
제1항에 있어서,
상기 광원의 파장 영역에서는 상기 제1 광검출 소자보다 낮고, 상기 광원의 파장 영역을 제외한 파장 영역에서는 상기 제1 광검출 소자보다 높은 감광도를 갖는 제2 광검출 소자를 더 포함하고,
상기 광검출 소자 구동부는, 또한, 상기 ON 기간 및 상기 OFF 기간에서 모두 동일한 수광 시간 경과 후에 판독 동작을 행하도록 상기 제2 광검출 소자를 구동하고,
상기 화상 처리부는, 또한, 상기 ON 기간 및 상기 OFF 기간에서 상기 제2 광검출 소자로부터의 각 출력 신호에 기초하여 획득되는 ON 화상과 OFF 화상 사이의 차분으로서 제2 차분 화상을 생성하고,
상기 화상 처리부는 상기 제1 차분 화상과 상기 제2 차분 화상의 합성 화상에 기초한 데이터 처리를 통해 상기 물체 정보를 획득하는, 화상 입력 장치.
제4항에 있어서,
상기 제1 광검출 소자와 상기 제2 광검출 소자는 1 대 1의 비율로 교대로 배치되는, 화상 입력 장치.
제4항에 있어서,
상기 제1 광검출 소자는 비가시광의 파장 영역에서 감광도를 갖고, 상기 제2 광검출 소자는 가시광의 파장 영역에서 감광도를 갖는, 화상 입력 장치.
제1항에 있어서,
상기 광원은 비가시광을 방출하는, 화상 입력 장치.
화상 I/O 장치로서,
표시 패널;
상기 표시 패널의 on-off 구동을, 상기 표시 패널로부터 광이 방출되는 ON 기간이 상기 표시 패널로부터 광이 방출되지 않는 OFF 기간보다 짧은 방식으로 제어하는 표시 패널 구동부;
상기 표시 패널로부터 방출된 광의 파장 영역을 커버하는 감광 파장 영역을 갖는 제1 광검출 소자;
상기 ON 기간 및 상기 OFF 기간에서 모두 동일한 수광 시간 경과 후에 판독 동작을 행하도록 상기 제1 광검출 소자를 구동하는 광검출 소자 구동부; 및
상기 제1 광검출 소자로부터의 출력 신호에 기초하여 물체의 위치, 형상 또는 크기에 관한 물체 정보를 획득하는 화상 처리부
를 포함하고,
상기 화상 처리부는 상기 ON 기간 및 상기 OFF 기간에서 각각 상기 제1 광검출 소자로부터의 출력 신호에 기초하여 획득되는 ON 화상과 OFF 화상 사이의 차분으로서 제1 차분 화상을 생성하고,
상기 화상 처리부는 상기 제1 차분 화상에 기초한 데이터 처리를 통해 상기 물체 정보를 획득하는, 화상 I/O 장치.
제8항에 있어서,
상기 표시 패널은 액정 디스플레이 소자를 갖는, 화상 I/O 장치.
제8항에 있어서,
상기 표시 패널은 유기 EL 소자를 갖는, 화상 I/O 장치.
제8항에 있어서,
상기 표시 패널은 가시광 및 비가시광 모두를 방출하고,
상기 제1 광검출 소자는 비가시광의 파장영역에서 감광성을 갖는, 화상 I/O 장치.
전자 장치로서,
광원;
상기 광원의 on-off 교대 구동을 ON 기간이 OFF 기간보다 짧은 방식으로 제어하는 광원 구동부;
상기 광원으로부터 방출된 광의 파장 영역을 포함하는 감광 파장 영역을 갖는 제1 광검출 소자;
상기 ON 기간 및 상기 OFF 기간에서 모두 동일한 수광 시간 경과 후에 판독 동작을 행하도록 상기 제1 광검출 소자를 구동하는 광검출 소자 구동부; 및
상기 제1 광검출 소자로부터의 출력 신호에 기초하여 물체의 위치, 형상 또는 크기에 관한 물체 정보를 획득하는 화상 처리부
를 포함하고,
상기 화상 처리부는 상기 ON 기간 및 상기 OFF 기간에서 각각 상기 제1 광검출 소자로부터의 출력 신호에 기초하여 획득되는 ON 화상과 OFF 화상 사이의 차분 으로서 제1 차분 화상을 생성하고,
상기 화상 처리부는 상기 제1 차분 화상에 기초한 데이터 처리를 통해 상기 물체 정보를 획득하는, 전자 장치.