KR20090097123A - 표시 장치 및 위치 검출 방법 - Google Patents

Abstract

표시 장치의 화상 생성부는, 발광 기간 및 비발광 기간에 각각 수광 셀로부터 얻어진 제1 및 제2 수광 화상에 기초하여 판정 화상을 생성한다. 화상 판정부는, 검출 대상의 화상이 판정 화상에 포함되는지 여부를 판정하고, 대상 화상이 판정 화상에 포함되지 않는 경우, 판정 화상에 대응하는 데이터를 초기 데이터로서 기억부에 기억시키고, 대상 화상이 판정 화상에 포함되는 경우, 판정 화상에 대응하는 데이터를 검출 데이터로서 기억부에 기억시킨다. 위치 도출부는 기억부 내의 검출 데이터로 나타나는 화상 및 기억부 내의 초기 데이터로 나타나는 화상에 기초하여 적어도 대상 위치를 도출한다.

위치 검출부, 반사 검출 처리부, 그림자 검출 처리부, 합성 처리부, 근접 검출 처리부, 기억부, 판정 처리부, 대상물 특정 처리부, 초기 데이터, 검출 데이터

Description

표시 장치 및 위치 검출 방법{DISPLAY APPARATUS AND POSITION DETECTING METHOD}

본 발명은, 표시면에 접촉 또는 근접하는 물체(검출 대상물)의 위치 등을 검출하는 기능을 구비한 표시 장치, 및 검출 대상물의 위치 등을 검출하는 위치 검출 방법에 관한 것이다.

종래부터, 표시 장치의 표시면에 접촉 혹은 근접하는 물체의 위치 등을 검출하는 기술이 알려져 있다. 그 중에서도 대표적이고 일반적으로 널리 보급되어 있는 기술로서, 터치 패널을 구비한 표시 장치를 들 수 있다. 이 터치 패널도 다양한 타입의 것이 존재하지만, 일반적으로 보급되어 있는 것으로서, 정전 용량을 검지하는 타입의 것을 들 수 있다. 이 타입은, 손가락으로 터치 패널에 접촉함으로써 패널의 표면 전하의 변화를 취하여, 물체의 위치 등을 검출하도록 되어 있다. 따라서 이러한 터치 패널을 이용함으로써, 유저는 직관적으로 조작하는 것이 가능하다.

최근에는, 표시면 위에 이러한 터치 패널을 별도 설치하지 않고, 물체의 위치 등을 검출하는 것을 가능하게 하는 각종 기술이 제안되어 있다. 예를 들면, 유 기 EL(Electro-Luminescence) 디스플레이에서, 표시면에 배치된 화상 표시용의 발광 소자에서의 표시(발광)를, 간헐적으로 행하고, 그 발광이 휴지한 기간에, 발광 소자 바로 그것에 수광에 따른 전하를 축적시켜서, 그 축적한 전하량을 읽어내는 기술이 제안되어 있다. 마찬가지로, 예를 들면, 액정 표시 디스플레이에서, 표시 화소에 인접해서 수광 소자를 배치하고, 표시(발광)가 휴지한 기간에, 수광 소자로 수광을 행하는 것이 제안되어 있다. 이러한 표시 장치를 이용하면, 받아들인(captured) 영상에 기초하여, 물체의 위치 등을 검출하는 것이 가능하다. 따라서, 이러한 표시 장치를 이용함으로써, 표시면 위에 터치 패널 등의 부품을 별도 설치하지 않고, 간단한 구성으로 물체의 위치 등을 검출하는 것이 가능하게 된다.

그러나, 이러한 표시 장치에서 물체의 영상 등을 받아들일 때에는, 수광하는 광의 휘도는, 주위의 환경(밝기)에 좌우되게 된다. 그 때문에, 특히, 휴대용의 전자 기기 등과 같이, 주위의 환경이 변화하기 쉬운 표시 장치에 대하여, 물체의 위치 등을 검출하는 기능을 갖게 한 경우에는, 주위가 어두운 상황하와, 주위가 밝은 상황하에서는, 수광 조건이 크게 상이하고, 균일의 수광 조건에서 물체의 위치 등을 검출하는 것은 곤란했다.

따라서, 예를 들면, 일본특허공개 제2007-25796호 공보는, 대상물의 위치 등을 검출하는 방책이 제안된다. 즉, 액정 표시 디스플레이에서, 1프레임마다 화상(동화상 또는 정지 화상)의 표시를 행할 때에, 각 프레임 기간을 1/2로 분할하고, 그 전반의 기간에 백라이트를 소등시켜서, 화상을 표시시키지 않도록 하고, 각 프 레임 기간의 후반의 기간에는 백라이트를 점등시킴과 동시에 각 표시 화소에 표시 신호를 기입하여, 화상을 표시시키고, 또한, 백라이트가 소등하고 있는 전반의 기간과, 백라이트가 점등하고 있는 후반의 기간에서 수광 소자로부터 수광 신호를 읽어내어, 쌍방의 차분을 취함으로써 얻어지는 화상(제1 화상)을 이용하여, 물체의 위치 등을 검출하는 방책이 제안되어 있다. 이에 의해, 주위의 환경(밝기)에 따르지 않고, 물체의 위치 등을 검출하는 것이 가능하게 된다.

그러나, 제1 화상에는, 표시 장치 내에서 발생하는 노이즈(예를 들면, 백라이트 광에 기인하는 노이즈나 수광 소자의 감도 변동)가 포함되어 있고, 그 노이즈의 영향으로, 물체의 위치 등을 검출하는 것이 곤란해지는 경우가 있다. 따라서, 일본특허공개 제2007-25796호 공보에서는, 외광이 없고, 또한 표면 반사물이 없는 상태(즉 표면에 접촉 또는 근접한 것이 없는 상태)에서, 백라이트가 소등하고 있을 때와, 백라이트가 점등하고 있을 때에서 수광 소자로부터 수광 신호를 읽어내어, 쌍방의 차분을 취함으로써 얻어지는 화상(제2 화상)을, 미리 메모리에 기억시켜 두고, 물체의 위치 등을 검출할 때에, 제1 화상의 각 화소 데이터로부터 제2 화상의 각 화소 데이터를 감함으로써, 제1 화상으로부터 노이즈 성분을 제거하는 방책이 또한 제안되어 있다.

그러나, 일본특허공개 제2007-25796호 공보의 기술에서는, 제2 화상을 미리 메모리에 기억시켜 둘 필요가 있으므로, 표시 장치 내에서 발생하는 노이즈가, 표시 장치를 사용하는 환경의 변화나, 경시 변화 등에 의해 변화한 경우에는, 제1 화상으로부터 노이즈 성분을 효과적으로 제거할 수 없어지게 된다고 하는 문제가 있었다. 또한, 일본특허공개 제2007-25796호 공보에는, 제2 화상을, 표시 장치의 유저의 조작에 의해 수시, 취득하도록 하면 된다는 기술이 있지만, 유저가 외광이 없고 또한 표면 반사물이 없는 상태를 만들어 내는 구체적인 방법에 대해서는 나타나 있지 않고, 또한, 그러한 상태를 유저에게 만들게 하는 것은 현실적이지 않다.

따라서 표시 장치 내에서 발생하는 노이즈 성분을 자동적이고, 또한 효과적으로 제거함으로써, 표시 장치의 표시면에 접촉 혹은 근접하는 물체의 위치 등을 정밀도 좋게 검출하는 것이 가능한 표시 장치 및 위치 검출 방법을 제공하는 것이 바람직하다.

본 발명의 일 실시예에 따른 표시 장치는, 표시면에 화상을 표시시키고 검출광을 발광시키는 복수의 발광 셀, 및 표시면 측으로부터 검출 광을 수광하는 복수의 수광 셀을 갖는 패널부; 초기 데이터 및 검출 데이터를 기억하는 기억부; 제1 수광 화상 및 제2 수광 화상에 기초한 판정용 화상을 생성하는 화상 생성부 - 제1 수광 화상은, 검출광이 표시면으로부터 발광된 제1 기간에 복수의 수광 셀로부터 얻어지고 제2 수광 화상은 검출광이 표시면으로부터 발광되지 않는 제2 기간에 복수의 수광 셀로부터 얻어짐 - ; 판정용 화상에 검출 대상물의 상(image)이 포함되어 있는지의 여부를 판정하고, 판정용 화상에 검출 대상물의 상이 포함되어 있지 않다고 판정한 경우에는, 판정용 화상에 대응하는 데이터를 초기 데이터로서 기억부에 기억시키고, 판정용 화상에 검출 대상물의 상이 포함되어 있다고 판정한 경우에는, 판정용 화상에 대응하는 데이터를 검출 데이터로서 기억부에 기억시키는 화상 판정부; 및 기억부에 기억된 검출 데이터로 표시된 화상 및 기억부에 기억된 초기 데이터로 표시된 화상에 기초하여 적어도 검출 대상물의 위치를 도출하는 위치 도출부(position determining unit)를 포함하고 있다.

본 발명의 일 실시예에 따른 위치 검출 방법은, 표시면 상에 화상을 표시하고 검출광을 발광시키는 복수의 발광 셀 및 표시면 측으로부터 입사하는 검출광을 수신하는 복수의 수광 셀을 갖는 패널 부와, 초기 데이터 및 검출 데이터를 기억시키는 기억부를 포함하는 표시 장치 내의 검출 대상의 위치를 적어도 검출한다. 방법은, 제1 수광 화상 및 제2 수광 화상에 기초하여 판정용 화상을 생성하는 단계 - 제1 수광 화상은 검출광이 표시면으로부터 발광되는 제1 기간에 복수의 수광 셀로부터 얻어지고, 제2 수광 화상은 검출광이 표시면으로부터 발광되지 않은 제2 기간에 복수의 수광 셀로부터 얻어짐 - ; 판정용 화상에 검출 대상물의 상이 포함되어 있는지의 여부를 판정하고, 판정용 화상에 검출 대상물의 상이 포함되어 있지 않다고 판정한 경우에는, 판정용 화상에 대응하는 데이터를 상기 초기 데이터로서 상기 기억부에 기억시키고, 판정용 화상에 검출 대상물의 상이 포함되어 있다고 판정한 경우에는, 판정용 화상에 대응하는 데이터를 상기 검출 데이터로서 상기 기억부에 기억시키는 단계; 및 기억부에 검출 데이터로서 기억된 화상과, 기억부에 초기 데이터로서 기억된 화상에 기초하여, 적어도 검출 대상물의 위치를 도출하는 위치 도출 단계를 포함한다.

본 발명의 실시예에 따른 표시 장치 및 위치 검출 방법에서, 검출광의 발광 및 검출광의 비발광이 순차적으로 실행되는 경우, 검출광의 발광 기간에 얻어진 제1 수광 화상 및 검출광의 비발광 기간동안 얻어진 제2 수광 화상에 기초하여 생성된 판정용 화상에 대응하는 데이터는 적어도 검출 대상물의 위치를 검출하는데 사용된다. 그 결과, 대상물의 위치 등을 검출할 때 외광의 영향이 제거된다. 따라서, 주변 환경(밝기)이 변하는 경우, 주변 환경에 상관없이 표시 장치의 표시면과 접촉하거나 표시면과 근접하는 대상물의 위치 등이 쉽게 검출된다. 더욱이, 검출 대상물의 화상을 포함하지 않는 화상으로 판정되는 판정용 화상에 대응하는 데이터는 초기 데이터로 사용된다. 그 결과, 대상의 위치 등을 검출할 때 표시 장치에서 발생하는 노이즈의 영향이 제거된다. 따라서, 표시 장치에서 발생하는 노이즈가 시간 변화 등의 표시 장치의 환경 변화에 기인하여 변하는 경우라도, 표시 장치에서 생성되는 노이즈 성분은, 표시 장치의 유저에게 어떠한 동작도 요구하지 않고 자동으로 효과적으로 제거된다.

본 발명의 실시예에서의 표시 장치 및 위치 검출 방법에 따르면, 표시 장치에서 발생하는 노이즈 성분을 자동으로 효과적으로 제거함으로써, 표시 장치의 표 시면에 접촉하거나 근접하는 대상물의 위치 등이 고해상도로 검출된다.

본 발명의 또 다른 대상, 특징 및 이점들이 이하의 설명에서 보다 자세하게 나타날 것이다.

본 발명의 일 실시예는 도면을 참조하여 이하에서 상세하게 기술될 것이다.

도 1은, 본 발명의 일 실시예에 따른 표시 장치의 전체 구성을 나타내는 것이다. 표시 장치는, 표시부(1), 표시 신호 생성부(21), 표시 신호 유지 제어부(22), 표시 신호 드라이버(23), 발광용 스캐너(24), 수광용 스캐너(31), 수광 신호 리시버(32), 수광 신호 유지부(33), 및 위치 검출부(34)를 포함한다. 표시 장치는, 화상의 표시와 수광을 행하는 것이 가능한 것이며, 화상 데이터에 기초하는 화상을 표시부(1)에 표시함과 함께, 표시부(1)에 접촉 또는 근접하는 물체(검출 대상 물체)의 위치 등을 검출하는 것이다. 또한, 본 발명의 일 실시예에 따른 위치 검출 방법은, 상기 표시 장치에 의해 구현되므로，이하, 합쳐서 설명한다.

표시부(1)는, 복수의 각 화소(11)가 표시부(1)의 전체면에 걸쳐서 매트릭스 형상으로 배치된 LCD(Liquid Crystal Display)로 이루어지고, 후술하는 바와 같이 선 순차 동작을 하면서 소정의 도형이나 문자 등의 화상을 표시하는 것이다.

도 2는, 각 화소(11)의 구성의 일례를 평면도이다. 각 화소(11)는, 표시부(1)의 표시면(10)(도 3 참조)을 향해서 가시광을 발하는 발광 셀(12)과, 표시면(10)측으로부터 입사한 가시광을 수광하는 수광 셀(13)에 의해 구성되어 있다. 발광 셀(12)은, 적색 발광하는 적색 발광 셀(12R)과, 녹색 발광하는 녹색 발광 셀(12G)과, 청색 발광하는 청색 발광 셀(12B)을 갖고 있다. 적색 발광 셀(12R)은, 적색 발광하는 부분인 적색 발광 소자(14R)와, 적색 발광 소자(14R)를 구동하는 TFT(Thin Film Transistor) 회로부(15R)를 갖고 있다. 마찬가지로, 녹색 발광 셀(12G)은, 녹색 발광하는 부분인 녹색 발광 소자(14G)와, 이 녹색 발광 소자(14G)를 구동하는 TFT 회로부(15G)를 갖고 있다. 또한, 청색 발광 셀(12B)은, 청색 발광하는 부분인 청색 발광 소자(14B)와, 청색 발광 소자(14B)를 구동하는 TFT 회로부(15B)를 갖고 있다. 한편, 수광 셀(13)은, 가시광을 수광하는 부분인 수광 소자(16)와, 수광 소자(16)를 구동하는 수광 센서 회로부(17)를 갖고 있다. 수광 소자(16)는, 예를 들면 포토다이오드 등을 포함한다. 또한, 이들 적색 발광 소자(14R), 녹색 발광 소자(14G) 및 청색 발광 소자(14B)와 TFT 회로부(15)와의 접속 관계, 및 TFT 회로부(15)와 전술한 표시 신호 드라이버(23), 발광용 스캐너(24), 수광용 스캐너(31) 및 수광 신호 리시버(32)와의 접속 관계의 상세에 대해서는 후술(도 4)한다.

도 3은, 도 2의 A-A 부분의 화살 표시 단면도이며, 표시부(1)의 단면구성의 일례를 나타낸 것이다. 표시부(1)는, 광원(100) 상에, 각 발광 소자(적색 발광 소자(14R), 녹색 발광 소자(14G) 및 청색 발광 소자(14B))를 구성하는 적층 구조를 갖는 패널부(110)를 구비한다. 패널부(110)는, 소위 액정 표시 패널이며, 구체적으로는 광원(100) 측으로부터, 편광판(101A), 투명 기판(102A), 회로부(103), 절연층(104), 투명 화소 전극(105A), 액정층(106), 투명 전극(105B), 컬러 필터(107), 블랙 매트릭스(109), 투명 기판(102B), 및 편광판(101B)으로 구성되어 있다. 각 발광 소자(적색 발광 소자(14R), 녹색 발광 소자(14G) 및 청색 발광 소자(14B))는 서로 대향하는 투명 기판(102A, 102B)의 사이에 액정층(106)을 형성한 액정 표시 패널 내에 형성되어 있다.

광원(100)은, 가시광 영역의 광을 상기한 액정 소자를 향해서 발하는 백라이트이다. 투명 기판(102A, 102B)은, 모두, 예를 들면 글래스 재료에 의해 구성되어 있다. 투명 기판(102A, 102B)을 글래스 재료 대신에, 투명한 플라스틱 재료 등으로 구성해도 된다.

회로부(103)는, 도 2에 도시한 TFT 회로부(15)나 수광 소자 회로부(17)에 대응하는 부분이며, 각 투명 화소 전극(105A)와 전기적으로 접속되어 있다. 또한, 투명 화소 전극(105A)은 각 발광 소자에 배치되어 있고, 예를 들면 ITO(Indium Tin Oxide; 산화 인듐 주석) 등의 투명 재료로 구성된다. 한편, 투명 전극(105B)은 투명 전극(105A)과 대향하는 공통 전극이며, 투명 전극(105A)과 마찬가지로 예를 들면 ITO 등의 투명 재료로 구성된다. 절연층(104)은, 각 회로부(103)의 사이에 형성되어 있다. 이러한 구성에 의해, 이들 투명 전극(105A, 105Ｂ) 간에 표시 데이터에 따른 전압이 인가되고, 광원(100)으로부터의 백라이트 광 Lo가 액정층(106)을 투과 또는 차단되도록 되어 있다.

컬러 필터(107)는, 각 발광 셀(12)(적색 발광 셀(12R), 녹색 발광 셀(12G) 및 청색 발광 셀(12B))에 대응하는 영역에 배치되어 있고, 액정층(106)을 투과한 백라이트 광 Lo 중, 자기의 발광 색에 대응하는 파장 영역의 광을 선택적으로 투과 하는 것이다. 블랙 매트릭스(109)는, 각 컬러 필터(107)의 사이에 배치되어 있고, 광원(100)으로부터의 백라이트 광 Lo를 차단해서 표시면(10)측에 사출시키지 않도록 하는 것이다.

도 4는, 각 화소(11)에서의 회로 구성의 일례를 나타낸 것이다. 각 화소(11)는, 전술한 바와 같이, 적색 발광 셀(12R), 녹색 발광 셀(12G) 및 청색 발광 셀(12B)로 이루어지는 발광 셀(12)과, 수광 셀(13)을 갖고 있다. 이 중, 발광 셀(12)에는, 표시 신호 드라이버(23)에 접속된 표시 데이터 공급선(DW)과, 발광용 스캐너(24)에 접속된 발광용 게이트선(GW)이 접속되어 있다. 구체적으로는, 적색 발광 셀(12R)에는 표시 데이터 공급선(DWr)과 발광용 게이트선(GW)이, 녹색 발광 셀(12G)에는 표시 데이터 공급선(DWg)과 발광용 게이트선(GW)이, 청색 발광 셀(12B)에는 표시 데이터 공급선(DWb)과 발광용 게이트선(GW)이, 각각 접속되어 있다. 한편, 수광 셀(13)에는, 수광용 스캐너(31)에 접속된 수광용 게이트선(GR) 및 수광용 리셋선(RR)과 수광 신호 리시버(32)에 접속된 데이터 읽어내기선(DR)이 접속되어 있다.

적색 발광 셀(12R)은, 전술한 적색 발광 소자(14R)와, 적색 발광 소자(14R)를 구동하는 발광 소자 선택 스위치(SW1R)를 포함하는 TFT 회로부(15R)를 갖고 있다. 발광 소자 선택 스위치(SW1R)의 일단은 표시 데이터 공급선(DWr)에 접속되고, 그 타단은 적색 발광 소자(14R)의 일단(구체적으로는, 전술한 투명 화소 전극(105A))에 접속되고, 또한, 적색 발광 소자(14R)의 타단(구체적으로는, 전술한 투명 전극(105B))은 접지되어 있다. 마찬가지로, 녹색 발광 셀(12G)은, 전술한 녹색 발광 소자(14G)와, 이 녹색 발광 소자(14G)를 구동하는 발광 소자 선택 스위치 SW1G를 포함하는 TFT 회로부(15G)를 갖고 있다. 발광 소자 선택 스위치(SW1G)의 일단은 표시 데이터 공급선(DWg)에 접속되고, 그 타단은 녹색 발광 소자(14G)의 일단에 접속되고, 또한, 녹색 발광 소자(14G)의 타단은 접지되어 있다. 청색 발광 셀(12B)은, 전술한 청색 발광 소자(14B)와, 이 청색 발광 소자(14B)를 구동하는 발광 소자 선택 스위치(SW1B)를 포함하는 TFT 회로부(15B)를 갖고 있다. 발광 소자 선택 스위치(SW1B)의 일단은 표시 데이터 공급선(DWb)에 접속되고, 그 타단은 청색 발광 소자(14B)의 일단에 접속되고, 또한, 청색 발광 소자(14B)의 타단은 접지되어 있다. 또한, 발광 소자 선택 스위치(SW1R, SW1G, SW1B)는 각각, 발광용 게이트선 GW에 의해 그 온 오프 동작이 제어되도록 되어 있다. 또한, 발광 소자 선택 스위치(SW1R, SW1G, SW1B)는, 모두 예를 들면 TFT 등의 스위치 소자로 구성된다.

한편, 수광 셀(13)은, 전술한 수광 소자(16)(도 4에 도시한 예에서는 포토다이오드)와, 전술한 수광 소자 회로부(17) 내에 형성된 수광 소자 선택 스위치(SW2, SW3), 버퍼 앰프(AMP) 및 커패시터(C)를 갖고 있다. 수광 소자(16)의 일단이 전원선(VDD)에 접속되고, 그 타단이 버퍼 앰프(AMP)의 입력단에 접속되어 있다. 또한, 버퍼 앰프(AMP)의 출력단이 수광 소자 선택 스위치(SW2)의 일단에 접속되고, 수광 소자 선택 스위치(SW2)의 타단이 데이터 읽어내기선(DR)에 접속되어 있다. 또한, 버퍼 앰프(AMP)의 입력단이 수광 소자 선택 스위치(SW3)의 일단과, 커패시터(C)의 일단에 각각 접속되고, 수광 소자 선택 스위치(SW3) 및 커패시터(C)의 각각의 타단이 접지되어 있다. 또한, 수광 소자 선택 스위치(SW2)는 수광용 게이트선(GR)에 의해 그 온 오프 동작이 제어되도록 되어 있고, 수광 소자 선택 스위치(SW3)은 수 광용 리셋선(RR)에 의해 그 온 오프 동작이 제어되도록 되어 있다. 또한, 수광 소자 선택 스위치(SW2, SW3)는, 모두 예를 들면 TFT 등의 스위치 소자로 구성된다.

다음으로, 표시 장치에서의 표시부(1) 이외의 구성(표시 신호 생성부(21), 표시 신호 유지 제어부(22), 표시 신호 드라이버(23), 발광용 스캐너(24), 수광용 스캐너(31), 수광 신호 리시버(32), 수광 신호 유지부(33) 및 위치 검출부(34))에 대해서 설명한다.

표시 신호 생성부(21)는, 예를 들면 도시하지 않은 CPU(Central Processing Unit) 등으로부터 공급되는 화상 데이터에 기초하여, 예를 들면 1화면마다(1필드의 표시마다) 표시부(1)에 표시하기 위한 표시 신호(21A)를 생성하는 것이다. 이렇게 하여 생성된 표시 신호(21A)는, 표시 신호 유지 제어부(22)에 출력된다.

표시 신호 유지 제어부(22)는, 표시 신호 생성부(21)로부터 출력된 표시 신호(21A)를 1화면마다(screen by screen)(1필드의 표시마다(every display of a field)), 예를 들면 SRAM(Static Random Access Memory) 등으로 구성된 필드 메모리에 저장해서 유지하는 것이다. 표시 신호 유지 제어부(22)는 또한, 각 발광 셀(12)을 구동하는 표시 신호 드라이버(23) 및 발광용 스캐너(24)와, 각 수광 셀(13)을 구동하는 수광용 스캐너(31)와, 표시부(1)의 광원(100)(후술함)이 연동해서 동작하도록 제어하는 역할도 해내고 있다. 구체적으로는, 표시 신호 유지 제어부(22)는, 발광용 스캐너(24)에 대해서는 발광 타이밍 제어 신호(22A)를, 수광용 스캐너(31)에 대해서는 수광 타이밍 제어 신호(22B)를, 표시 신호 드라이버(23)에 대해서는 필드 메모리에 유지되어 있는 1화면분의 표시 신호에 기초하는 1수평 라 인분의 표시 신호(22C)를, 표시부(1)의 광원(100)에 대해서는, 광원(100)을 점등 또는 소등시키는 광원 제어 신호(22D)를 각각 출력하도록 되어 있다. 보다 상세하게는, 표시 신호 유지 제어부(22)는, 예를 들면 도 5 및 도 6에 도시한 바와 같이, 1프레임마다 화상(동화상 또는 정지 화상)의 표시를 행할 때에, 각 프레임 기간 T를 1/2로 분할하고, 그 전반 기간 T1 또는 후반 기간 T2에, 광원 제어 신호(22D)로서 광원(100)을 점등시키는 신호를 출력해서 광원(100) 전체를 점등시킴과 함께, 이 점등 기간에, 발광 타이밍 제어 신호(22A), 수광 타이밍 제어 신호(22B) 및 표시 신호(22C)를 출력해서 각 발광 셀(12) 및 각 수광 셀(13)을 1수평 라인마다 동기해서 예를 들면 화살표 X방향(도 1 참조)으로 구동(선 순차 구동)시켜서, 각 프레임 기간의 전반 및 후반 중 상기 점등 기간과는 상이한 기간에, 광원 제어 신호(22D)로서 광원(100)을 소등시키는 신호를 출력해서 광원(100) 전체를 소등시킴과 함께, 이 소등 기간에, 수광 타이밍 제어 신호(22B)를 출력해서 각 수광 셀(13)을 1수평 라인마다 예를 들면 화살표 X방향으로 구동(선 순차 구동)시키도록 되어 있다. 각 수광 셀(13)을, 1프레임 주기로 연속해서 구동시킬 필요는 없고, 필요에 따라서 복수 프레임 주기로 단속적으로 구동시키도록 해도 된다.

표시 신호 드라이버(23)는, 표시 신호 유지 제어부(22)로부터 출력되는 1수평 라인분의 표시 신호(22C)에 따라서, 구동 대상의 발광 셀(12)에 표시 데이터를 공급하는 것이다. 구체적으로는, 표시부(1)의 각 화소(11)에 접속된 데이터 공급선(DW)을 통해서, 발광용 스캐너(24)에 의해 선택된 화소(11)에 표시 데이터에 대응하는 전압(23A)을 공급하도록 되어 있다.

발광용 스캐너(24)는, 표시 신호 유지 제어부(22)로부터 출력되는 발광 타이밍 제어 신호(22B)에 따라서, 구동 대상의 발광 셀(12)을 선택하는 것이다. 구체적으로는, 표시부(1)의 각 화소(11)에 접속된 발광용 게이트선(GW)을 통해서 구동 대상의 가시광 발광 셀(12)에 발광용 선택 신호(24A)를 공급하고, 발광 소자 선택 스위치(SW1R, SW1G, SW1B)를 제어하도록 되어 있다. 이렇게 하여, 이 발광용 선택 신호(24A)에 의해 임의의 화소(11)의 발광 소자 선택 스위치(SW1R, SW1G, SW1B)가 온 상태로 되는 전압이 발광 소자 선택 스위치(SW1R, SW1G, SW1B)에 인가되면, 그 화소에서는 표시 신호 드라이버(23)로부터 공급된 전압(23A)에 대응한 휘도의 발광 동작이 이루어지도록 되어 있다. 이렇게 하여, 이들 발광용 스캐너(24) 및 표시 신호 드라이버(23)가 연동해서 선 순차 동작함으로써, 임의의 표시 데이터에 대응하는 화상이 표시부(1)에 표시되도록 되어 있다.

수광용 스캐너(31)는, 표시 신호 유지 제어부(22)로부터 출력되는 수광 타이밍 제어 신호(22B)에 따라서, 구동 대상의 수광 셀(13)을 선택하는 것이다. 구체적으로는, 표시부(1)의 각 화소(11)에 접속된 수광용 게이트선(GR)을 통해서 구동 대상의 수광 셀(13)에 수광용 선택 신호(31A)를 공급하고, 수광 소자 선택 스위치(SW2)를 제어함과 함께, 표시부(1)의 각 화소(11)에 접속된 수광용 리셋선(RR)을 통해서 구동 대상의 수광 셀(13)에 리셋 신호(31B)를 공급하고, 수광 소자 선택 스위치(SW3)를 제어하게 되어 있다. 즉, 리셋 신호(31B)에 의해 임의의 화소(11)의 수광 소자 선택 스위치(SW3)가 온 상태로 되는 전압이 수광 소자 선택 스위치(SW3)에 인가되면, 그 화소(11) 내의 커패시터(C)에 축적된 전하가 리셋되고, 수광용 선 택 신호(31A)에 의해 임의의 화소(11)의 수광 소자 선택 스위치(SW2)가 온 상태로 되는 전압이 수광 소자 선택 스위치(SW2)에 인가되면, 그 화소(11) 내의 수광 소자(16)에서의 수광량에 대응해서 커패시터(C)에 축적된 전하가 버퍼 앰프(AMP) 및 데이터 읽어내기선(DR)을 통해서 수광 신호 리시버(32)에 수광 신호(1A)로서 출력되도록 되어 있다. 이렇게 하여, 가시광이 수광 셀(13)에 의해 수광된다.

수광용 스캐너(31)는, 수광 신호 리시버(32) 및 수광 신호 유지부(33)에 대하여 각각 수광 블록 제어 신호(31C)를 출력하고, 이들 수광 동작에 기여하는 부분의 동작을 제어하는 역할도 해내고 있다.

수광 신호 리시버(32)는, 수광용 스캐너(31)로부터 출력되는 수광 블록 제어 신호(31C)에 따라서, 각 수광 셀(13)로부터 출력된 1수평 라인분의 수광 신호(1A)를 취득하는 것이다. 이렇게 하여 취득된 1수평 라인분의 수광 신호(1A)는, 수광 신호 유지부(33)에 출력된다.

수광 신호 유지부(33)는, 수광용 스캐너(31)로부터 출력되는 수광 블록 제어 신호(31C)에 따라서, 수광 신호 리시버(32)로부터 출력되는 수광 신호(32A)를 1화면마다(1필드의 표시마다) 수광 신호(33A)(수광 화상)로 재구성하고, 예를 들면 SRAM 등으로 구성되는 필드 메모리(도시 생략)에 저장해서 유지하는 것이다. 이렇게 하여 필드 메모리에 저장된 수광 신호(33A)는, 위치 검출부(34)에 출력된다. 또한, 이 수광 신호 유지부(33)는 메모리 이외의 기억 소자를 가지고 있어도 되고, 예를 들면 수광 신호(33A)를 아날로그 데이터로서 유지해 두도록 해도 된다.

위치 검출부(34)는, 수광 신호 유지부(33)로부터 출력되는 수광 신호(33A)에 대하여 소정의 신호 처리를 행함으로써, 표시면(10)에 접촉 혹은 근접하는 물체(검출 대상물)의 위치 등을 특정하는 것이다. 또한, 상기한 바와 같이 수광 신호 유지부(33)가 수광 신호(33A)를 아날로그 데이터로서 유지하고 있는 경우에는, 이 위치 검출부(34)가 아날로그/디지털 변환(A/D 변환)을 행하고 나서 신호 처리를 실행하도록 구성하는 것이 가능하다.

도 7은, 위치 검출부(34)의 각 기능 블록을 나타낸 것이다. 위치 검출부(34)는, 도 7에 도시한 바와 같이, 반사 검출 처리부(41)와, 그림자 검출 처리부(42)와, 합성 처리부(43)와, 근접 검출 처리부(44)와, 기억부(45)를 갖고 있다. 또한, 본 실시 형태의 반사 검출 처리부(41), 그림자 검출 처리부(42) 또는 합성 처리부(43)가, 본 발명의 "화상 생성부"의 일 구체예에 상당한다.

반사 검출 처리부(41)는, 표시 신호 유지 제어부(22)로부터 출력되는 광원 제어 신호(22D)에 따라서, 수광 신호 유지부(33)로부터 출력된 수광 신호(33A)를, 점등 기간(화상 표시 기간)에 얻어진 점등시 수광 화상(화상 표시시 수광 화상)과, 소등 기간(화상 비표시 기간)에 얻어진 소등시 수광 화상(화상 비표시시 수광 화상)으로 분류하고, 점등시 수광 화상과 소등시 수광 화상과의 차분을 취하고(예를 들면 점등시 수광 화상의 데이터로부터 소등시 수광 화상의 데이터를 감하고), 차분 화상(41A)을 생성하여 합성 처리부(43)에 출력하는 것이다. 점등시 수광 화상은 수광셀(13)의 검출광이 표시면(10)으로부터 출력되는 기간에 얻어진 수광 화상이다. 소등시 수광 화상은 수광셀(13)의 검출광이 표시면(10)으로부터 출력되지 않는 기간에 얻어진 수광 화상이다.

점등시 수광 화상 및 소등시 수광 화상 각각은 외광 성분을 포함하고 있기 때문에, 점등시 수광 화상과 소등시 수광 화상 간의 차분을 취함으로써, 외광 성분을 제거할 수 있다. 그 결과, 주위 환경(밝기)(차분 화상(41A))에 따르지 않는 화상을 얻을 수 있다.

예를 들면, 도 8a에 도시한 바와 같이, 입사하는 외광(L2)이 강한 경우에는, 광원(100)을 점등시킨 상태에서의 수광 출력 전압(Von1)은, 도 8b에 도시한 바와 같이, 손가락으로 접촉한 곳 이외에서는, 외광(L2)의 밝기에 대응한 전압값(Va)으로 되고, 손가락으로 접촉한 곳에서는, 그때에 접한 손가락의 표면에서, 광원(100)으로부터의 광을 반사시키는 반사율에 대응한 전압값(Vb)으로 저하한다. 이에 대하여, 광원(100)을 소등시킨 상태에서의 수광 출력 전압(Voff1)은, 손가락으로 접촉한 개소 이외에서는, 외광(L2)의 밝기에 대응한 전압값(Va)으로 되는 점은 동일하지만, 손가락으로 접촉한 개소에서는, 외광(L2)이 차단된 상태이며, 매우 레벨이 낮은 전압값(Vc)으로 된다.

또한, 도 9a에 도시한 바와 같이, 입사하는 외광(L2)이 약한(거의 없는) 상태에서는, 광원(100)을 점등시킨 상태에서의 수광 출력 전압(Von2)은, 도 9b에 도시한 바와 같이, 손가락으로 접촉한 개소 이외에서는, 외광이 없기 때문에 매우 레벨이 낮은 전압값(Vc)의 근방으로 되고, 손가락으로 접촉한 곳에서는, 그때에 접한 손가락의 표면에서, 광원(100)으로부터의 광을 반사시키는 반사율에 대응한 전압값(Vb)으로 상승한다. 이에 대하여, 광원(100)을 소등시킨 상태에서의 수광 출력 전압(Voff2)은, 손가락으로 접촉한 곳과 그 이외의 곳의 어느 것에서도, 매우 레벨 이 낮은 전압값(Vc)인 채로 변화가 없다.

도 8b와 도 9b를 비교하면 알 수 있는 바와 같이, 패널부(110)의 표시면(10)에 접촉하고 있지 않은 개소에서는, 외광(L2)이 있는 경우와 약한(거의 없는) 경우에서, 수광 출력 전압이 크게 상이하지만, 광원(100)을 점등시킨 경우와 소등시킨 경우에서, 수광 출력 전압은 변하지 않고, 동일하다. 따라서, 점등시 수광 화상과 소등시 수광 화상과의 차분을 취함으로써, 외광(L2)의 성분을 제거한 화상(차분 화상(41A))을 얻을 수 있다. 또한, 손가락이 접촉하고 있는 개소에서는, 외광(L2)의 크기에 관계없이, 광원(100)의 점등시의 전압 Vb와, 광원(100)의 소등시의 전압 Vc가, 거의 동일하다. 그 때문에, 외광(L2)이 있는 경우와 약한(거의 없는) 경우에서, 차분 화상(41A)은, 거의 동일해지고, 외광(L2)의 영향에 의해, 얻어지는 차분 화상(41A)의 프로파일이 변동할 우려는 거의 없다. 이렇게, 본 실시 형태에서는, 주위의 환경(밝기)에 따르지 않는 화상(차분 화상(41A))을 얻을 수 있다.

그림자 검출 처리부(42)는, 이하에 기재한 수순을 행함으로써 그림자 화상(42A)을 생성하여, 합성 처리부(43)에 출력하는 것이다.

우선, 그림자 검출 처리부(42)는, 소등 기간에 얻어진 소등시 수광 화상(수광 신호(33A))의 반전 화상 및 이동 평균 화상을 생성한다. 여기에서, 반전 화상은, 예를 들면, 소등시 수광 화상의 명암을 반전시킴으로써 얻어진다. 또한, 이동 평균 화상은, 예를 들면, 소등시 수광 화상에서의 하나의 주목 화소 및 그 주변 화소로 이루어지는 화소 영역의 화소 데이터에 대하여 평균화 처리를 행하고, 그 평균화 처리에 의해 얻어진 화상 데이터를, 소등시 수광 화상에서의 다음 주목 화소 및 그 주변 화소로 이루어지는 화소 영역에서의 평균화 처리에서 이용하고, 그리고, 주목 화소를 순차적으로 이동시켜서, 평균화 처리를 소등시 수광 화상 전체에 대해서 행함으로써 얻어진다.

평균화 처리를 행하는 화소 영역의 크기는, 검출 대상물의 상으로서 예상되는 크기에 기초하여 설정하는(예를 들면, 검출 대상물의 상과 동일 정도의 크기로 설정함) 것이 바람직하다. 예를 들면, 평균화 처리를 행하는 화소 영역의 크기는 검출 대상물의 크기와 거의 동일한 크기로 설정된다. 이 경우, 평균화 처리될 화소 영역의 크기보다 큰 화상이 소등시 수광 화상에 포함되는 경우, 화상의 윤곽은 평균화 처리에 의해 흐려질 수 있다. 따라서, 예를 들어, 검출 대상물이 손끝인 경우, 평균화 처리할 대상물의 화소 영역의 사이즈를 손끝의 상의 크기와 거의 동일하게 설정함으로써, 손끝의 상보다 큰 화상의 윤곽을 흐리게 하여, 후술할 상이한 화상(41A) 생성시에, 손끝의 상보다 큰 화상(예컨대, 주먹의 상)은 제거될 수 있다. 그 결과, 주먹 오검출되는 것을 막을 수 있다.

상술한 방법을 이용해서 평균화 처리를 행한 경우에는, 소등시 수광 화상의 외연 영역이 주목 화소로부터 떨어지지만, 그 외연 영역의 화소 데이터에 대해서는, 어떠한 보간 처리를 행하는 것이 바람직하다. 예를 들면, 소등시 수광 화상 중 평균화 처리가 행해진 영역의 최외연의 화소에서의 화소 데이터를, 그 화소의 외측의 화소에서의 화소 데이터로서 그대로 카피하도록 해도 된다.

다음으로, 그림자 검출 처리부(42)는, 이동 평균 화상으로부터, 후속 처리에서 이용하는 소정의 임계값을 산출한다. 구체적으로는, 이동 평균 화상에서의 가 장 밝은(가장 화소 데이터가 큰) 화소의 화소 데이터와, 평균화 처리를 행하기 전의 소등시 수광 화상에서의 가장 어두운(가장 화소 데이터가 작은) 화소의 화소 데이터에 기초하여(예를 들면, 이들 화소 데이터의 평균을 취해서) 임계값을 구한다. 또한, 가장 밝은(가장 화소 데이터가 큰) 화소의 화소 데이터에 대해서는, 표시면(10)의 네 코너에는 동시에 검출 대상물이 배치되는 일은 통상 없다는 가정하에, 이들 네 코너의 화소의 화소 데이터의 평균값을 할당하도록 해도 된다.

다음으로, 그림자 검출 처리부(42)는, 이동 평균 화상의 반전 화상을 생성한다. 반전 화상은, 예를 들면, 이동 평균 화상의 명암을 반전시킴으로써 얻어진다. 계속해서, 그림자 검출 처리부(42)는, 소등시 수광 화상의 반전 화상과, 이동 평균 화상의 반전 화상과의 차분을 취하고(예를 들면, 소등시 수광 화상의 반전 화상의 데이터로부터 이동 평균 화상의 반전 화상의 데이터를 감산하여), 차분 화상을 생성한 뒤, 이 차분 화상의 각 화소 데이터로부터, 미리 구해 둔 임계값을 감산하여, 그림자 화상(42A)을 생성한다.

또한, 차분 화상의 각 화소 데이터로부터 임계값을 감산함으로써, 차분 화상에 포함되는, 검출 대상물 이외의 물체의 상에 대응하는 화소 데이터의 값을 작게 하여, 검출 대상물 이외의 물체를 오검출하는 것을 회피할 수 있다.

합성 처리부(43)는, 반사 검출 처리부(41)로부터 출력된 차분 화상(41A)과, 그림자 검출 처리부(42)로부터 출력된 그림자 화상(42A)을 합성함으로써, 합성 화상(43A)을 생성하여, 근접 검출 처리부(44)에 출력하는 것이다.

차분 화상(41A)과 그림자 화상(42A)의 합성은, 차분 화상(41A)의 각 화소 데 이터에 소정의 계수 α(0<α<1)를 곱해서 얻어진 데이터와 각 화소 데이터에 소정의 계수(1-α)를 곱한 것을 가산함으로써 행하는 것이 바람직하다. 단, 다른 방법을 이용해서 합성 화상(43A)을 생성하도록 해도 된다.

필요에 따라서, 합성 처리부(43)의 출력(합성 화상(43A)) 대신에, 반사 검출 처리부(41)의 출력(차분 화상(41A)) 또는 그림자 검출 처리부(42)의 출력(그림자 화상(42A))을 근접 검출 처리부(44)에 입력하도록 해도 된다. 예를 들면, 본 실시 형태와 같이 패널(110)에 반투과형의 액정 소자를 이용하고 있는 경우에, 광원(100)이 상시 오프 상태로 될 때나, 흑 화상이 패널(110)에 표시되어 있을 때 등에는, 그림자 검출 처리부(42)의 출력(그림자 화상(42A))을 근접 검출 처리부(44)에 입력하는 것이 바람직하다.

근접 검출 처리부(44)는, 판정 처리부(51)와, 대상물 특정 처리부(52)를 갖고 있다. 또한, 본 실시 형태의 판정 처리부(51)가, 본 발명의 "화상 판정부"의 일 구체예에 상당하고, 본 실시 형태의 대상물 특정 처리부(52)가, 본 발명의 "위치 도출부"의 일 구체예에 상당한다.

판정 처리부(51)는, 수광 신호 유지부(33)의 출력(점등시 수광 화상 및 소등시 수광 화상)에 기초하여 생성된 화상에, 검출 대상물의 상이 포함되어 있는지의 여부를 판정하고, 그 판정 결과에 따라서 기억부(45) 내의 초기 데이터(45A)나 검출 데이터(45B)를 갱신하는 것이다. 또한, 수광 신호 유지부(33)의 출력에 기초하여 생성된 화상(판정용 화상)은, 합성 처리부(43)의 출력을 근접 검출 처리부(44)에 입력하는 경우에는 합성 화상(43A)에 상당하고, 반사 검출 처리부(41)의 출력을 근접 검출 처리부(44)에 입력하는 경우에는 차분 화상(41A)에 상당하고, 그림자 검출 처리부(42)의 출력을 근접 검출 처리부(44)에 입력하는 경우에는 그림자 화상(42A)에 상당한다.

판정용 화상에 검출 대상물의 상이 포함되어 있는지의 여부는, 예를 들면 도 10a 내지 10c에 도시한 바와 같이, 판정용 화상의 각 화소 데이터 내에 소정의 임계값(TH)을 초과하는 값을 갖는 화소 영역(R)이 존재하는지의 여부를 검출하고, 화소 영역(R)이 검출된 경우에는, 화소 영역(R)의 크기와, 검출 대상물의 상으로서 예상되는 크기를 서로 대비함으로써 행해진다. 예를 들면, 판정 처리부(51)는, 대상 영역(R)의 종횡 스케일이 검출 대상물의 상으로서 예상되는 크기(M×N(M, N은 화소수)) 이상으로 되어 있는 경우에는, 판정용 화상에 검출 대상물의 상이 포함되어 있다고 판정하고, 대상 영역(R)의 종횡 스케일이 대상 영역(R)의 종횡 스케일이 검출 대상물의 상으로서 예상되는 크기(M×N(M, N은 화소수))를 하회하고 있는 경우에는, 판정용 화상에 검출 대상물의 상은 포함되어 있지 않다고 판정한다. 이렇게, 판정 처리부(51)는, 간이한 룰에 기초하여, 판정용 화상에 검출 대상물의 상이 포함되어 있는지의 여부를 판정한다.

판정 처리부(51)는, 판정용 화상에 검출 대상물의 상이 포함되어 있지 않다고 판정한 경우에는, 판정용 화상을 초기 데이터(45A)로서 기억부(45)에 기억시키고, 판정용 화상에 검출 대상물의 상이 포함되어 있다고 판정한 경우에는, 판정용 화상을 검출 데이터(45B)로서 기억부(45)에 기억시킨다. 이렇게 하여 판정용 화상을 기억부(45)에 기억시킨 후에, 판정 처리 종료 신호(51A)가 대상물 특정 처리 부(52)에 출력된다.

또한, 기억부(45)에 디폴트 데이터가 초기 데이터(45A)로서 미리 저장되어 있는 경우나, 과거의 프레임 기간(T)에서의 수광 신호 유지부(33)의 출력(점등시 수광 화상 및 소등시 수광 화상)에 기초하여 생성된 판정용 화상 등이 판정 처리부(51)에 의한 처리에 의해 초기 데이터(45A)로서 이미 저장되어 있는 경우에는, 판정용 화상을 최신의 초기 데이터(45A)로서 기억부(45)에 덮어쓰도록 해도 되고, 초기 데이터(45A)로서 이미 저장되어 있는 화상과, 판정용 화상을 합성함으로써 얻어지는 합성 화상을 최신의 초기 데이터(45A)로서 기억부(45)에 덮어쓰도록 해도 된다. 또한, 판정용 화상을 검출 데이터(45B)로서 기억부(45)에 기억시킬 때에, 판정용 화상을 그대로, 또는 판정용 화상에 대하여 어떠한 처리를 실시해서 얻어진 화상을 검출 데이터(45B)로서 기억부(45)에 기억시켜도 된다.

초기 데이터(45A)로서 이미 저장되어 있는 화상과, 새롭게 초기 데이터(45A)로서 저장하는 판정용 화상과의 합성은, 초기 데이터(45A)로서 이미 저장되어 있는 화상의 각 화소 데이터에 소정의 계수 β(0<β<1)를 곱해서 얻어진 데이터와, 새롭게 초기 데이터(45A)로서 저장하는 판정용 화상의 각 화소 데이터에 소정의 계수 (1-β)를 곱해서 얻어진 데이터를 가산함으로써 행하는 것이 바람직하다. 분명하게, 다른 방법을 이용해서 합성 화상을 생성하도록 해도 된다.

대상물 특정 처리부(52)는, 판정 처리부(51)로부터 출력된 판정 처리 종료 신호(51A)가 입력되면, 기억부(45)에 검출 데이터(45B)로서 기억되어 있는 화상으로부터, 기억부(45)에 초기 데이터(45A)로서 기억되어 있는 화상을 감산하여, 해석 용 화상을 생성하고, 이 해석용 화상을 이용해서(예를 들면, 해석용 화상을 2치화해서), 검출 대상물의 위치 정보(44A)를 도출하여, 예를 들면 CPU(도시 생략) 등에 출력하는 것이다.

또한, 기억부(45)에 검출 데이터(45B)로서 기억되어 있는 화상으로부터, 기억부(45)에 초기 데이터(45A)로서 기억되어 있는 화상을 감산함으로써, 기억부(45)에 검출 데이터(45B)로서 기억되어 있는 화상에 포함되는, 검출 대상물의 상에 대응하는 화소 데이터의 값만을 추출할 수 있어, 위치 정보(44A)를 용이하게 도출할 수 있다.

다음으로, 본 실시 형태의 표시 장치의 동작의 일례에 대해서 상세하게 설명한다.

표시 장치에서는, 도시하지 않은 CPU 등으로부터 공급되는 표시 데이터에 기초하여, 표시 신호 드라이버(23) 및 발광용 스캐너(24)로부터 표시용의 구동 신호(전압(23A), 발광용 선택 신호(24A))가 생성되고, 이 구동 신호에 의해, 표시부(1)에서 선 순차 표시 구동이 이루어져서, 화상이 표시됨과 함께, 수광용 스캐너(31)로부터 수광용의 구동 신호(수광용 선택 신호(31A))가 생성되고, 구동 신호에 의해, 표시부(1)에서 선 순차 수광 구동이 이루어져서, 화상이 촬상된다. 이때 광원(100)은 표시 신호 유지 제어부(22)에 의해 구동되어, 표시부(1)와 동기한 점등/소등 동작이 행해진다.

구체적으로는, 예를 들면 도 5에 도시한 바와 같이, 1프레임마다 화상의 표시를 행할 때에, 각 프레임 기간 T를 1/2로 분할하고, 그 전반 기간(T1)에, 광원 제어 신호(22D)로서 광원(100)을 점등시키는 신호를 출력해서 광원(100) 전체를 점등시킴과 함께, 이 점등 기간에, 표시용의 구동 신호(전압(23A), 발광용 선택 신호(24A)) 및 수광용의 구동 신호(수광용 선택 신호(31A))가 출력되고, 각 발광 셀(12) 및 각 수광 셀(13)이 1수평 라인마다 동기해서 예를 들면 화살표 X방향(도 1 참조)으로 구동(선 순차 구동)되어서, 그 프레임 기간의 화상이 표시됨과 함께, 전반 기간 T1의 수광 신호(33A)가 점등시 수광 화상(화상 표시시 수광 화상)으로서 얻어진다. 또한, 각 프레임 기간의 후반 기간(T2)에, 광원 제어 신호(22D)로서 광원(100)을 소등시키는 신호를 출력해서 광원(100) 전체를 소등시킴과 함께, 이 소등 기간에, 수광용의 구동 신호(수광용 선택 신호(31A))가 출력되고, 각 수광 셀(13)이 1수평 라인마다 예를 들면 화살표 X방향으로 구동(선 순차 구동)되어서, 후반 기간(T2)의 수광 신호(33A)가 소등시 수광 화상(화상 비표시시 수광 화상)으로서 얻어진다. 또한, 각 수광 셀(13)이 복수 프레임 주기로 단속적으로 구동되고 있는 경우에는, 각 수광 셀(13)이 구동된 프레임 기간만큼 수광 신호(33A)가 소등시 수광 화상으로서 얻어진다.

그리고, 위치 검출부(34)에서, 수광 신호 유지부(33)로부터 출력되는 수광 신호(33A)에 기초하여 신호 처리가 행해지고, 표시면(10)에 접촉 혹은 근접하는 물체(검출 대상물)의 위치 등이 특정된다.

(화상 생성 스텝)

구체적으로는, 우선, 반사 검출 처리부(41)에서, 표시 신호 유지 제어부(22)로부터 출력되는 광원 제어 신호(22D)에 따라서, 수광 신호 유지부(33)로부터 출력 된 수광 신호(33A)가 점등시 수광 화상과 소등시 수광 화상으로 분류되고, 점등시 수광 화상과 소등시 수광 화상과의 차분으로부터 차분 화상(41A)이 생성된다. 또한, 그림자 검출 처리부(42)에서, 소등시 수광 화상으로부터 반전 화상 및 이동 평균 화상이 생성됨과 함께, 이동 평균 화상으로부터 반전 화상 및 임계값이 생성된다. 또한, 그림자 검출 처리부(42)에서, 소등시 수광 화상의 반전 화상과, 이동 평균 화상의 반전 화상과의 차분으로부터 차분 화상이 생성되고, 그 차분 화상의 각 화소 데이터로부터, 미리 구해 둔 임계값을 감산함으로써 그림자 화상(42A)이 생성된다. 계속해서, 합성 처리부(43)에서, 차분 화상(41A)과 그림자 화상(42A)이 소정의 룰에 의해 합성됨으로써 합성 화상(43A)이 생성된다.

(화상 판정 스텝)

다음으로, 판정 처리부(51)에서, 수광 신호 유지부(33)의 출력(점등시 수광 화상 및 소등시 수광 화상)에 기초하여 생성된 판정용 화상(합성 화상(43A), 차분 화상(41A) 또는 그림자 화상(42A))에 검출 대상물의 상이 포함되어 있는지의 여부가 전술한 간단한 룰에 기초하여 판정된다. 또한, 판정 처리부(51)에서, 상기 화상에 검출 대상물의 상이 포함되어 있지 않다고 판정된 경우에는, 그 화상이 초기 데이터(45A)로서 기억부(45)에 기억되고, 상기 화상에 검출 대상물의 상이 포함되어 있다고 판정된 경우에는, 그 화상이 검출 데이터(45B)로서 기억부(45)에 기억된다.

기억부(45)에 디폴트 데이터가 초기 데이터(45A)로서 미리 저장되어 있는 경우나, 과거의 프레임 기간 T에서의 수광 신호 유지부(33)의 출력(점등시 수광 화상 및 소등시 수광 화상)에 기초하여 생성된 과거의 판정용 화상 등이 판정 처리부(51)에 의한 처리에 의해 초기 데이터(45A)로서 이미 저장되어 있는 경우에는, 판정용 화상을 최신의 초기 데이터(45A)로서 기억부(45)에 덮어쓰거나, 또는 초기 데이터(45A)로서 이미 저장되어 있는 화상과, 판정용 화상을 소정의 룰에 의해 합성함으로써 얻어지는 합성 화상을 최신의 초기 데이터(45A)로서 기억부(45)에 덮어 쓴다.

(위치 도출 스텝)

다음으로, 대상물 특정 처리부(52)에서, 기억부(45)에 검출 데이터(45B)로서 기억되어 있는 화상으로부터, 기억부(45)에 초기 데이터(45A)로서 기억되어 있는 화상을 감함으로써, 해석용 화상이 생성되고, 이 해석용 화상을 이용하여, 검출 대상물의 위치 정보(44A)가 도출되어, 예를 들면 CPU(도시 생략) 등에 출력된다. 이렇게 하여, 본 실시 형태에서는, 표시면(10)에 접촉 혹은 근접하는 물체(검출 대상물)의 위치 등이 특정된다.

상술한 바와 같이, 본 실시예에서는, 1프레임 기간에서, 광원(100)의 점등(화상의 표시)과 광원(100)의 소등(화상의 비표시)이 순차적으로 행해지고 있을 때에, 점등 기간(화상 표시 기간)에 점등시 수광 화상(화상 표시시 수광 화상)을 촬상함과 함께, 소등 기간(화상 비표시 기간)에 소등시 수광 화상(화상 비표시시 수광 화상)을 촬상하고, 이들 점등시 수광 화상 및 소등시 수광 화상에 대하여 소정의 신호 처리를 실시한 것을 검출 대상물의 위치의 도출에 이용하도록 했으므로, 물체의 위치 등을 검출할 때의 외광의 영향을 없앨 수 있는 것이다. 이에 의해, 주위의 환경(밝기)이 변화한 경우이어도, 주위의 환경에 상관없이, 표시 장치의 표시면에 접촉 혹은 근접하는 물체의 위치 등을 용이하게 검출할 수 있다.

또한, 판정용 화상에 대하여 소정의 처리를 실시하여 얻어진 화상을 초기 데이터(45A)로서 이용하도록 했으므로, 물체의 위치 등을 검출할 때에 표시 장치 내에서 발생하고 있는 노이즈의 영향을 없앨 수 있다. 이에 의해, 표시 장치 내에서 발생하는 노이즈가 표시 장치를 사용하는 환경의 변화나, 시간 변화 등에 의해 변화한 경우이어도, 표시 장치 내에서 발생하는 노이즈 성분을 효과적으로 제거할 수 있으므로, 표시 장치의 표시면에 접촉 혹은 근접하는 물체의 위치 등을 정밀도 좋게 검출할 수 있다. 또한, 표시 장치 내에서 발생하는 노이즈를 제거하기 위해서, 공장 출하시 등에 미리 준비해 둔 데이터를 초기 데이터(45A)로서 기억부(45)에 기억시켜 둘 필요가 없으므로, 공장 출하시의 노동 시간(man-hour)을 절감할 수 있다.

본 실시예에서, 판정용 화상에 검출 대상물의 상이 포함되어 있는지의 여부를, 상기한 바와 같이 간이한 룰에 기초해서 행하도록 했으므로, 초기 데이터(45A)로서 기억부(45)에 기억시키는 데이터를 생성하기 위해서 요하는 처리 시간이나 부하를 충분히 작게 할 수 있어, 위치 검출의 응답 속도의 저하를 최저한으로 억제할 수 있다. 또한, 초기 데이터(45A)의 생성은 표시 장치 측에서 자동으로 행해지므로, 표시 장치의 유저에게 어떠한 조작을 요구하는 일이 없다. 따라서, 유저의 부담을 경감할 수 있다.

본 실시예에서, 기억부(45)에 디폴트 데이터가 초기 데이터(45A)로서 미리 저장되어 있는 경우나, 과거의 프레임 기간 T에서의 수광 신호 유지부(33)의 출력(점등시 수광 화상 및 소등시 수광 화상)에 기초하여 생성된 과거의 판정용 화상 등이 판정 처리부(51)에 의한 처리에 의해 초기 데이터(45A)로서 이미 저장되어 있는 경우에, 초기 데이터(45A)로서 이미 저장되어 있는 화상과, 판정용 화상을 소정의 룰에 의해 합성함으로써 얻어지는 합성 화상을 최신의 초기 데이터(45A)로서 기억부(45)에 덮어쓴다. 이 경우, 간이한 룰에 기초하여 판정용 화상에 검출 대상물의 상이 포함되어 있는지의 여부를 판정했을 때에, 판정용 화상에 검출 대상물의 상이 포함되어 있는 데도 불구하고, 판정용 화상에 검출 대상물의 상이 포함되어 있지 않다고 오검출하게 되었을 때라도, 그 오검출의 영향이 오래 끄는 것을 방지할 수가 있고, 또한, 오검출에 의해, 위치 검출의 정밀도가 저하하는 것을 최소한으로 억제할 수 있다.

본 실시예에서는, 검출 대상물의 위치 등을 검출하는 동시에서, 예를 들면 터치 패널 등의 부품을 별도 설치할 필요가 없으므로, 표시 장치의 구성을 간소화할 수 있다.

본 실시예에서, 각 수광 셀(13)을 복수 프레임 주기로 단속적으로 구동하도록 한 경우에는, 검출 대상물의 위치 등을 검출하는 데에 요하는 소비 전력을 억제할 수 있다.

실시예 및 그 변형예를 예를 들어서 본 발명을 설명했지만, 본 발명은 실시 형태 등에 한정되는 것이 아니라, 다양한 변형이 가능하다.

예를 들면, 상기 실시 형태에서는, 각 화소(11)는, 적색 발광 셀(12R), 녹색 발광 셀(12G) 및 청색 발광 셀(12B)로 이루어지는 발광 셀(12)을 갖고 있었지만, 다른 색을 발하는 셀을 더 구비하고 있어도 되고, 또는, 이들 발광 셀 중 적어도 1개의 셀을 구비하고 있어도 된다.

전술한 실시예에서는, 수광셀(13)이 발광 셀(12) 및 외광(L1)으로부터 발광된 가시 광선의 검출 대상으로부터의 반사광 내의 가시 광선 성분을 검출하는 경우가 기술되었다. 대안적으로, 발광 셀(12)은 비가시광 성분을 포함하는 광을 발광할 수 있고, 수광셀(13)은 비가시광 성분을 검출할 수 있다. 비가시광은 사람의 눈으로 볼 수 없으므로, 표시 화상에 표시 화상에 영향을 미치지 않는 물체의 검출이 실행된다. 따라서, 후면으로부터 전면으로 지나가는 가시광의 투과량이 블랙 스크린 디스플레이(black screen display)에서 거의 0인 경우 비가시광이 전면 측으로 전달되도록 하더라도 디스플레이 상에 어떠한 영향도 주지 않는다. 따라서, 검출 대상은 또한 블랙 디스플레이에서 검출가능하다. 좀더 구체적으로, 도 3에 도시된 광원(100)은 가시광과 함께 적외광을 방출하도록 구성되며, 적외광 투과 필터는 글라스 기판(102B)으로부터 도 2에 도시된 수광 소자(16)로 외광의 입사 경로에 배치되고, 수광 소자(16)는 광원(100)으로부터의 적외광 성분 및 외광에서의 적외광 성분을 광 검출로서 검출한다. 컬러 필터(107) 및 편광판(101)과 같은 부재에 의한 적외광 흡수는 가시관의 흡수보다 훨씬 낮다. 따라서, 수광 소자(16)에 의한 소정의 검출 신호를 얻기 위한 적외광의 휘도는 가시광의 휘도보다 낮아서, 전력 소비가 감소된다.

전술한 실시예에서, 표시부(1)가 광원(100) 상의 액정 표시 패널(패널 부(110))을 갖는 경우가 기술되었다. 표시부(1)는 표시 소자 자체가 화소 성분으로서 서로 대향하는 투명 기판들 사이에 유기층을 갖는 유기 EL 패널과 같은 광을 발산하는 발광 패널을 가질 수 있다. 이 경우, 표시 소자를 턴 온/오프함으로써, 화상의 표시 또는 비표시, 및 점등 또는 소등이 동시에 실행된다. 따라서, 표시부(1)의 뒤에서 광원(100)을 제공하면서 동시에 표시 소자의 턴 온/오프 동작 및 광원(100)의 턴 온/오프 동작을 행할 필요가 없다.

본 출원은, 2008년 3월 10일 일본 특허청에 제출된 일본 우선권 특허출원 제2008-059501호에 개시된 기술 내용을 포함하며, 그 전체 내용은 본 명세서에 참조로서 포함된다.

본 발명의 많은 수정 및 변형은 상기 교시의 관점에서 자명하게 가능하다. 따라서, 첨부된 특허청구범위의 범위 내에서 본 발명은 특별히 기술된 것 이외에도 실현될 수 있음이 이해될 것이다.

도 1은 본 발명의 일 실시예에 따른 표시 장치의 전체 구성을 나타내는 블록도.

도 2는, 도 1의 발광 셀 및 수광 셀의 구성예를 모식적으로 나타내는 평면도.

도 3은, 도 1의 발광 소자의 구성의 일례를 모식적으로 나타내는 단면도.

도 4는, 도 1의 각 화소의 구성의 일례를 모식적으로 나타내는 회로도.

도 5는 검출 대상물을 선 순차 동작으로 검출하는 처리의 일례를 나타내는 타이밍도.

도 6은 검출 대상물을 선 순차 동작으로 검출하는 처리의 다른 예를 나타내는 타이밍도.

도 7은 도 1의 위치 검출부의 구성의 일례를 모식적으로 나타내는 블록도.

도 8a는 외광이 강할 때의 상태를 모식적으로 나타내는 측면도이고, 도 8b는 외광이 강할 때의 수광 출력 전압의 일례를 나타내는 파형도.

도 9a는 외광이 약할 때의 상태를 모식적으로 나타내는 측면도이고, 도 9b는 외광이 약할 때의 수광 출력 전압의 일례를 나타내는 파형도.

도 10a내지 도 10c는 판정용 화상에 검출 대상물의 상이 포함되어 있는지의 여부를 판정하는 방법에 대해서 설명하기 위한 모식도.

[도면의 주요 부분에 대한 부호의 설명]

1: 표시부

100: 광원

101A, 101B: 편광판

102A, 102B: 투명 기판

103: 회로부

104: 절연층

105A: 투명 화소 전극

105B: 투명 전극

106: 액정층

107: 컬러 필터

108: 선택 투과 필터

109: 블랙 매트릭스

10: 표시면

11: 화소

12: 발광 셀

12R: 적색 발광 셀

12G: 녹색 발광 셀

12B: 청색 발광 셀

13: 수광 셀

14R: 적색 발광 소자

14G: 녹색 발광 소자

14B: 청색 발광 소자

15, 15R, 15G, 15B: TFT 회로부

16: 수광 소자

17: 수광 소자 회로부

21: 표시 신호 생성부

22: 표시 신호 유지 제어부

23: 표시 신호 드라이버

24: 발광용 스캐너

31: 수광용 스캐너

32: 수광 신호 리시버

33: 수광 신호 유지부

34: 위치 검출부

41: 반사 검출 처리부

42: 그림자 검출 처리부

43: 합성 처리부

44: 근접 검출 처리부

45: 기억부

45A: 초기 데이터

45B: 검출 데이터

51: 판정 처리부

51, 52: 대상물 특정 처리부

Claims (13)

1. 표시면에 화상을 표시시키고 검출 광을 발광하는 복수의 발광 셀, 및 상기 표시면 측으로부터 입사한 검출 광을 수광하는 복수의 수광 셀을 갖는 패널부와,

   초기 데이터 및 검출 데이터를 기억하는 기억부와,

   제1 수광 화상과 제2 수광 화상에 기초한 판정용 화상을 생성하는 화상 생성부 - 상기 제1 수광 화상은 상기 검출광이 상기 표시면으로부터 발광되는 제1 기간에 복수의 수광 셀로부터 얻어지고, 상기 제2 수광 화상은 상기 검출광이 상기 표시면으로부터 발광되지 않는 제2 기간에 복수의 수광 셀로부터 얻어짐 - 와,

   상기 판정용 화상에 검출 대상물의 상이 포함되어 있는지의 여부를 판정하고, 상기 판정용 화상에 검출 대상물의 상이 포함되어 있지 않다고 판정한 경우에는 상기 판정용 화상에 대응하는 데이터를 상기 초기 데이터로서 상기 기억부에 저장시키고, 상기 판정용 화상에 검출 대상물의 상이 포함되어 있다고 판정한 경우에는, 상기 판정용 화상에 대하여 대응하는 데이터를 상기 검출 데이터로서 상기 기억부에 기억시키는 화상 판정부와,

   상기 기억부에 상기 검출 데이터로서 기억된 화상과, 상기 기억부에 상기 초기 데이터로서 기억된 화상에 기초하여, 적어도 검출 대상물의 위치를 도출하는 위치 도출부(position determining unit)

   를 포함하는 표시 장치.
2. 제1항에 있어서,

   상기 화상 생성부는, 상기 제1 수광 화상의 각 화소 데이터와 상기 제2 수광 화상의 각 화소 데이터 사이의 차분을 취함으로써 상기 판정용 화상을 생성하는 표시 장치.
3. 제1항에 있어서,

   상기 화상 생성부는, 상기 제2 수광 화상으로부터 제1 반전 화상 및 이동 평균 화상을 생성하고, 상기 이동 평균 화상으로부터 제2 반전 화상 및 소정의 임계값을 생성하며, 상기 제1 반전 화상과 상기 제2 반전 화상과의 차분으로부터 차분 화상을 생성하고, 그 차분 화상의 각 화소 데이터로부터 상기 임계값을 감산함으로써 상기 판정용 화상을 생성하는 표시 장치.
4. 제1항에 있어서,

   상기 화상 생성부는,

   상기 제1 수광 화상의 각 화소 데이터와 상기 제2 수광 화상의 각 화소 데이터와의 차분으로부터 제1 차분 화상을 생성하는 차분 화상 생성부와,

   상기 제2 수광 화상으로부터 제1 반전 화상 및 이동 평균 화상을 생성하고, 상기 이동 평균 화상으로부터 제2 반전 화상 및 소정의 임계값을 생성하며, 상기 제1 반전 화상과 상기 제2 반전 화상과의 차분으로부터 제2 차분 화상을 생성하고, 상기 제2 차분 화상의 각 화소 데이터로부터 상기 임계값을 감산함으로써 그림자 화상을 생성하는 그림자 화상 생성부와,

   상기 제1 차분 화상과 상기 그림자 화상을 소정의 룰(rule)에 의해 합성함으로써 상기 판정용 화상을 생성하는 합성 화상 생성부

   를 포함하는 표시 장치.
5. 제1항에 있어서,

   상기 화상 판정부는, 상기 판정용 화상의 각 화소 데이터 내에 소정의 임계값을 초과하는 값을 갖는 화소 영역이 존재하는지의 여부를 검출하고, 상기 화소 영역이 검출된 경우에는, 상기 화소 영역의 크기와, 검출 대상물의 상으로서 예상되는 크기를 서로 대비함으로써, 상기 판정용 화상에 검출 대상물의 상이 포함되어 있는지의 여부를 판정하는 표시 장치.
6. 제1항에 있어서,

   검출 대상물의 화상이 판정용 화상에 포함되지 않고 상기 초기 데이터로서 표시된 화상이 이미 상기 기억부에 저장된 경우, 상기 화상 판정부는 상기 초기 데이터로서 덮어씌어진(overwrite) 데이터를 상기 기억부에 덮어쓰며,

   상기 덮어쓰인 데이터는,

   판정용 화상 그 자체,

   상기 판정용 화상에 소정의 처리를 행함으로써 얻어진 화상, 또는

   소정의 룰에 따라 상기 기억부에 초기 데이터로서 판정용 화상을 이미 저장 된 화상과 합성함으로써 얻어진 합성 화상

   을 나타내는 표시 장치.
7. 제1항에 있어서,

   상기 위치 도출부는, 상기 기억부에 상기 검출 데이터로서 기억된 화상과 상기 기억부에 상기 초기 데이터로서 기억된 화상과의 차분으로부터 검출 대상물의 위치를 도출하는 표시 장치.
8. 제1항에 있어서,

   상기 제1 기간은 화상이 상기 표시면에 표시된 표시 기간이고, 상기 제2 기간은 상기 화상이 상기 표시면에 표시되지 않은 비표시 기간이며, 상기 검출광은 상기 화상에 표시하는 표시광인 표시 장치.
9. 제1항에 있어서,

   상기 복수의 발광 셀은, 상기 표시면 상에 상기 화상을 표시하는 가시광과 함께, 상기 표시면으로부터 상기 검출광으로서 비가시광을 발광하는 표시 장치.
10. 제9항에 있어서,

    상기 패널부는 서로 대향하는 투명 기판들 사이에 액정층을 갖는 액정 표시 패널이며, 상기 비가시광은 적외광인 표시 장치.
11. 제1항에 있어서,

    상기 패널부는 서로 대향하는 투명 기판들 사이에 액정층을 갖는 액정 표시 패널인 표시 장치.
12. 제1항에 있어서,

    상기 패널부는 서로 대향하는 투명 기판들 사이에 유기층을 갖는 유기 발광 패널인 표시 장치.
13. 표시면에 화상을 표시시키고 검출광을 발광시키는 복수의 발광 셀, 및 상기 표시면 측으로부터 입사한 검출 광을 수광하는 복수의 수광 셀을 갖는 패널부와, 초기 데이터 및 검출 데이터를 기억하는 기억부를 포함하는 표시 장치에서 검출 대상물의 위치를 적어도 검출하는 위치 검출 방법으로서,

    제1 수광 화상 및 제2 수광 화상에 기초하여 판정용 화상을 생성하는 단계 - 상기 제1 수광 화상은 상기 검출광이 상기 표시면으로부터 발광되는 제1 기간에 복수의 수광 셀로부터 얻어지고, 상기 제2 수광 화상은 상기 검출광이 상기 표시면으로부터 발광되지 않은 제2 기간에 복수의 수광 셀로부터 얻어짐 - 와,

    상기 판정용 화상에 검출 대상물의 상이 포함되어 있는지의 여부를 판정하고, 상기 판정용 화상에 검출 대상물의 상이 포함되어 있지 않다고 판정한 경우에는, 상기 판정용 화상에 대응하는 데이터를 상기 초기 데이터로서 상기 기억부에 기억시키고, 상기 판정용 화상에 검출 대상물의 상이 포함되어 있다고 판정한 경우에는, 상기 판정용 화상에 대응하는 데이터를 상기 검출 데이터로서 상기 기억부에 기억시키는 단계와,

    상기 기억부에 상기 검출 데이터로서 기억된 화상과, 상기 기억부에 상기 초기 데이터로서 기억된 화상에 기초하여, 적어도 검출 대상물의 위치를 도출하는 위치 도출 단계

    를 포함하는 위치 검출 방법.

Images