KR20110042003A - 정보 입력 장치, 정보 입력 방법, 정보 입/출력 장치, 컴퓨터 판독 가능한 비일시적 매체 및 전자 기기 - Google Patents

정보 입력 장치, 정보 입력 방법, 정보 입/출력 장치, 컴퓨터 판독 가능한 비일시적 매체 및 전자 기기 Download PDF

Info

Publication number
KR20110042003A
KR20110042003A KR1020100098372A KR20100098372A KR20110042003A KR 20110042003 A KR20110042003 A KR 20110042003A KR 1020100098372 A KR1020100098372 A KR 1020100098372A KR 20100098372 A KR20100098372 A KR 20100098372A KR 20110042003 A KR20110042003 A KR 20110042003A
Authority
KR
South Korea
Prior art keywords
detection
proximity
contact
interval
input
Prior art date
Application number
KR1020100098372A
Other languages
English (en)
Inventor
료이찌 쯔자끼
가즈노리 야마구찌
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20110042003A publication Critical patent/KR20110042003A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

정보 입력 장치는, 물체로부터 검출 신호를 각각 획득하기 위한 검출 요소들을 포함하는 입력 패널, 입력 패널에 의해 획득된 검출 신호에 대하여 소정의 화상 처리를 행함으로써, 물체가 접촉 상태에 있는지를 나타내는 접촉점 정보와 물체가 근접 상태에 있는지를 나타내는 근접점 정보를 획득하는 화상 처리부를 포함한다. 정보 입력 장치는, 소정의 구동 간격으로 각 검출 요소로부터 검출 신호를 획득하도록 입력 패널의 각 검출 요소를 구동하는 구동부 및 화상 처리부에 의해 획득된 접촉점 정보 및 근접점 정보에 기초하여 구동 간격을 결정하는 제어부를 더 포함한다.

Description

정보 입력 장치, 정보 입력 방법, 정보 입/출력 장치, 컴퓨터 판독 가능한 비일시적 매체 및 전자 기기{INFORMATION INPUT DEVICE, INFORMATION INPUT METHOD, INFORMATION INPUT/OUTPUT DEVICE, COMPUTER READABLE NON-TRANSITORY MEDIUM AND ELECTRONIC DEVICE}
본 발명은, 물체의 접촉이나 근접에 의해 정보를 입력하는 정보 입력 장치, 정보 입력 방법, 정보 입력 프로그램, 정보 입/출력 장치 및 전자 기기에 관한 것이다.
최근, 손가락 등을 사용해서 디스플레이의 표시 스크린에 직접 접촉함으로써 정보를 입력할 수 있는 터치 센서를 구비한 디스플레이 장치의 개발이 진행되고 있다. 터치 센서의 유형에는, 전극의 접촉된 위치를 검출하는 접촉식, 정전 용량의 변화를 이용하는 정전 용량식 이외에, 광학적으로 손가락 등을 검출하는 광학식 등이 포함된다. 예를 들어, 광학식 터치 센서에서는, 예를 들어, 일본 특허 출원 공개 공보 제2008-146165호에 설명된 바와 같이, 화상 표시 광 등을 이용해서 표시 스크린에 근접한 물체를 비추고, 물체로부터 반사된 광에 기초하여, 물체의 유무나 물체의 위치 등을 검출한다.
이러한 광학식 터치 센서에서는, 특히 소비 전력을 삭감하는 것이 중요한 과제이다. 이러한 과제를 해결하는 해결책 중 하나로서, 예를 들어, 일본 특허 출원 공개 공보 제2008-262548호에 설명된 바와 같이, 물체가 표시 스크린에 접촉했는지에 따라 소정의 화상 처리를 실행하는 소프트웨어 화상 처리부(MPU)의 동작 상태를 변경하는 기술이 제안되어 있다. 통상, 접촉점을 검출하기 위해서는, MPU의 라벨링 등의 개선된 화상 처리를 실행할 필요가 있지만, 이러한 화상 처리 동작은 부하가 크고, 화상 처리 동작에 전력을 소비한다. 이에 따라, 일본 특허 출원 공개 공보 제2008-262548호에서, MPU는, 물체가 표시 스크린에 접촉했을 경우에만 처리 실행 상태로 되고 물체가 표시 스크린에 접촉하지 않았을 경우에는 처리 실행 상태로부터 슬립(sleep) 상태로 전환되도록 제어된다. 그리고, 이러한 MPU의 상태 전환에 수반하여, 광 검출기(photodetector)를 풀 구동시키는 모드와 광 검출기를 간헐적으로 구동시키는 모드 사이의 전환을 실행한다.
일본 특허 출원 공개 공보 제2008-146165호 일본 특허 출원 공개 공보 제2008-262548호
그러나, 일본 특허 출원 공개 공보 제2008-262548호의 경우와 같이 간헐 구동을 이용한 기술에서는, 물체가 입력 스크린에 접촉하지 않은 상태(정보가 입력되지 않은 상태)에서, 구동 간격이 낮게(예를 들어 수 프레임/초) 설정되어, 물체의 접촉을 검출하기가 어렵다. 또한, 물체가 입력 스크린으로부터 이격되면(물체가 입력 스크린에 접촉되어 있지 않고 입력 스크린에 근접해 있을 경우), 물체를 검출하기 어렵다. 이에 따라, 특히, 플릭(flick; 입력 스크린을 가로질러 손가락을 빠르게 슬라이딩하는 움직임)이나 더블 클릭 등의 소정의 움직임을 수반하는 입력 동작을 인식하는 것이 어렵고, 그 결과, 터치 센서로서의 조작성이 열화된다. 이에 따라, 소비 전력을 삭감하면서 양호한 조작성이 유지되는 터치 센서(정보 입력 장치)를 얻는 것이 요구되었다.
소비 전력을 삭감하면서 양호한 조작성을 유지하는 것이 가능한 정보 입력 장치, 정보 입력 방법, 정보 입/출력 장치, 정보 입력 프로그램 및 전자 기기를 제공하고자 한다.
본 발명의 실시예에 따르면, 정보 입력 장치로서: 물체로부터의 검출 신호를 획득하기 위한 검출 요소들을 포함하는 입력 패널; 입력 패널에 의해 획득된 검출 신호에 대하여 소정의 화상 처리를 행함으로써, 물체가 접촉 상태에 있는지를 도시하는 접촉점 정보와 물체가 근접 상태에 있는지를 나타내는 근접점 정보를 획득하는 화상 처리부; 소정의 구동 간격으로 검출 신호를 획득하도록 입력 패널의 검출 요소들을 구동하는 구동부; 화상 처리부에 의해 획득된 접촉점 정보 및 근접점 정보에 기초하여 구동 간격을 결정하는 제어부를 포함하는 정보 입력 장치가 제공된다. 본 발명에서, "접촉"은 문자 그대로 물체가 입력 스크린에 접촉하고 있는 경우만을 의미하고, "근접"은 물체가 입력 스크린에 접촉하고 있는 경우뿐만 아니라 물체가 입력 스크린에 접촉하고 있지 않지만 입력 스크린으로부터 소정의 높이까지의 공간에 존재할 경우도 의미한다.
본 발명의 실시예에 따르면, 정보 입력 방법으로서: 검출 요소들을 포함하는 입력 패널에 의해 물체의 검출 신호를 획득하는 단계; 획득한 검출 신호에 대하여 소정의 화상 처리를 행함으로써, 물체가 접촉 상태에 있는지를 나타내는 접촉점 정보와 물체가 근접 상태에 있는지를 나타내는 근접점 정보를 획득하는 단계; 소정의 구동 간격으로 검출 신호를 획득하도록 입력 패널의 검출 요소들을 구동하는 단계; 접촉점 정보 및 근접점 정보에 기초하여 구동 간격을 결정하는 단계를 포함하는 정보 입력 방법이 제공된다.
본 발명의 실시예에 따르면, 정보 입/출력 장치로서: 물체로부터 검출 신호를 획득하기 위한 검출 요소들을 포함하고 화상 표시 기능을 갖는 입/출력 패널; 입/출력 패널에 의해 획득된 검출 신호에 대하여 소정의 화상 처리를 행함으로써, 물체가 접촉 상태에 있는지를 나타내는 접촉점 정보와 물체가 근접 상태에 있는지를 나타내는 근접점 정보를 획득하는 화상 처리부; 소정의 구동 간격으로 검출 신호를 획득하도록 입/출력 패널의 검출 요소들을 구동하는 구동부; 화상 처리부에 의해 획득된 접촉점 정보 및 근접점 정보에 기초하여 구동 간격을 결정하는 제어부를 포함하는 정보 입/출력 장치가 제공된다.
본 발명의 실시예에 따르면, 정보 입력 프로그램으로서: 검출 요소들을 포함하는 입력 패널에 의해 물체의 검출 신호를 획득하는 단계; 획득한 검출 신호에 대하여 소정의 화상 처리를 행함으로써, 물체가 접촉 상태에 있는지를 나타내는 접촉점 정보와 물체가 근접 상태에 있는지를 나타내는 근접점 정보를 획득하는 단계; 소정의 구동 간격으로 검출 신호를 획득하도록 입력 패널의 검출 요소들을 구동하는 단계; 접촉점 정보 및 근접점 정보에 기초하여 구동 간격을 결정하는 단계를 컴퓨터가 실행하도록 하는 정보 입력 프로그램이 제공된다.
본 발명의 실시예에 따르면, 전술한 본 발명의 실시예에 따른 정보 입력 장치를 포함하는 전자 기기가 제공된다.
본 발명의 실시예에 따른 정보 입력 장치, 정보 입력 방법, 정보 입/출력 장치, 정보 입력 프로그램 및 전자 기기에서는, 입력 패널에 의해 획득된 물체의 검출 신호에 대하여 소정의 화상 처리를 실시함으로써, 물체가 접촉 상태에 있는지를 나타내는 접촉점 정보와 물체가 근접 상태에 있는지를 나타내는 근접점 정보를 획득한다. 접촉점 정보 및 근접점 정보에 기초하여, 입력 패널의 검출 요소들의 구동 간격이 결정된다.
본 발명의 실시예에 따른 정보 입력 장치, 정보 입력 방법, 정보 입/출력 장치, 정보 입력 프로그램 및 전자 기기에 따르면, 입력 패널에 의해 획득된 물체의 검출 신호에 대하여 소정의 화상 처리를 실시함으로써, 물체가 접촉 상태에 있는지를 나타내는 접촉점 정보와 물체가 근접 상태에 있는지를 나타내는 근접점 정보를 획득하고, 접촉점 정보 및 근접점 정보에 기초하여, 입력 패널의 구동 간격을 결정하므로, 간헐적인 검출 구동을 행하면서, 조작성의 열화를 억제할 수 있다. 따라서, 소비 전력을 삭감하면서, 양호한 조작성을 유지하는 것이 가능하다.
본 발명의 다른 대상, 특징 및 이점은 이하의 설명으로부터 더 상세하게 나타낼 것이다.
도 1은 본 발명의 실시예에 따른 정보 입/출력 장치의 구성을 도시하는 블록도이다.
도 2는 도 1에 도시한 입/출력 패널의 상세 구성을 도시하는 블록도이다.
도 3은 도 1에 도시한 입/출력 패널의 일부를 확대한 단면도이다.
도 4는 하나의 물체 검출 모드로부터 다른 물체 검출 모드로의 전환의 일례를 도시하는 차트이다.
도 5a, 도 5b 및 도 5c는 검출 대기 모드, 접촉점 검출 모드 및 근접점 검출 모드의 물체(손가락)의 상태들을 설명하기 위한 개략도이다.
도 6은 화상 처리(점 정보 검출 처리)의 일례를 도시하는 흐름도이다.
도 7a 및 도 7b는 검출 대기 모드로부터, 근접점 검출 모드 및 접촉점 검출 모드로 전환하는 각 타이밍을 설명하기 위한 개략도이다.
도 8a 및 도 8b는 근접점 검출 모드로부터, 접촉점 검출 모드 및 검출 대기 모드로 전환하는 각 타이밍을 설명하기 위한 개략도이다.
도 9a 및 도 9b는 접촉점 검출 모드로부터, 근접점 검출 모드 및 검출 대기 모드로 전환하는 각 타이밍을 설명하기 위한 개략도이다.
도 10은 비교예에 따른 간헐 구동 동작을 도시한다.
도 11은 변형예 1에 따른 하나의 물체 검출 모드로부터 다른 물체 검출 모드로의 전환을 도시한다.
도 12a 및 도 12b는 도 11에 나타낸 근접점 검출 모드의 지연 동작을 설명하기 위한 개략도이다.
도 13a 및 도 13b는 도 11에 나타낸 접촉점 검출 모드의 지연 동작을 설명하기 위한 개략도이다.
도 14a 및 도 14b는 도 11에 나타낸 접촉점 검출 모드의 지연 동작을 설명하기 위한 개략도이다.
도 15는 변형예 2에 따른 정보 입/출력 장치의 구성을 도시하는 블록도이다.
도 16은 본 발명 실시예 등에 따른 정보 입/출력 장치의 일 적용예의 외관을 도시하는 사시도이다.
도 17a 및 도 17b는 각각 적용예 2의 정면으로부터 본 외관을 도시하는 사시도 및 적용예 2의 배면으로부터 본 외관을 도시하는 사시도이다.
도 18은 적용예 3의 외관을 도시하는 사시도이다.
도 19는 적용예 4의 외관을 도시하는 사시도이다.
도 20a 내지 도 20g는 적용예 5의 도면들을 나타낸다. 도 20a 및 도 20b는 각각 적용예 5가 개방된 상태에서의 정면도 및 측면도이고, 도 20c, 도 20d, 도 20e, 도 20f 및 도 20g는 각각 적용예 5가 폐쇄된 상태에서의 정면도, 좌측면도, 우측면도, 상면도 및 하면도이다.
이하, 바람직한 실시예에 대해서, 첨부된 도면을 참조하여 상세하게 설명한다. 설명은 이하의 순서로 행한다.
1. 실시예(물체의 접촉점 정보 및 근접점 정보에 기초하여, 구동 간격을 변경하는 정보 입력 처리의 예)
2. 변형예 1(보다 낮은 구동 간격에의 변경 타이밍을 지연시키는 예)
3. 변형예 2(정보 입력 장치의 다른 예)
4. 적용예 1 내지 적용예 5(전자 기기에의 적용 예)
실시예
정보 입/출력 장치(1)의 전체 구성
도 1은 본 발명의 실시예에 따른 정보 입/출력 장치(정보 입/출력 장치(1))의 개략 구성을 나타낸다. 도 2는 디스플레이(10)의 상세 구성을 나타내고, 도 3은 입/출력 패널(11)의 단면을 확대해서 나타낸다. 정보 입/출력 장치(1)는 손가락이나 스타일러스 등을 이용해서 정보를 입력하는 기능, 즉, 터치 센서 기능을 갖는 디스플레이이다. 정보 입/출력 장치(1)는 디스플레이(10) 및 디스플레이(10)를 이용하는 전자 기기 본체(20)를 포함한다. 디스플레이(10)는 입/출력 패널(11), 표시 신호 처리부(12), 광 검출 신호 처리부(13) 및 화상 처리부(14)를 포함하고, 전자 기기 본체(20)는 제어부(21)를 포함한다. 본 발명의 실시예에 따른 정보 입력 방법 및 정보 입력 프로그램은, 실시예에 따른 정보 입/출력 장치(1)에 구현되고, 이에 대해선 설명하지 않는다.
입/출력 패널(11)
예를 들어, 도 2에 도시한 바와 같이, 입/출력 패널(11)은 복수의 화소(16)가 매트릭스 형상으로 배치된 액정 디스플레이 패널이며, 각 화소(16)는 표시 요소(11a)(표시 셀 CW) 및 광 검출기(photodetector, 11b)(광 검출 셀 CR)를 포함한다. 표시 요소(11a)는, 백라이트(도시되지 않음)로부터 방출된 광을 이용해서 화상을 표시하기 위한 액정 소자이다. 광 검출기(11b)는, 예를 들어, 수광에 수반하여 전기 신호를 출력하는 포토다이오드 등의 광 검출기이다. 이러한 경우에, 광 검출기(11b)는 패널에 접촉 또는 근접하는 물체로부터 반사된 후 패널 내부에 되돌아온 광을 수광하고, 광검출 신호(검출 신호)를 출력한다. 각 화소(16)에서는, 1개의 표시 셀 CW에 대응하거나 복수의 표시 셀 CW에 대응하여 1개의 광 검출 셀 CR이 할당되도록 배치될 수 있다.
입/출력 패널(11)은, 예를 들어, 복수의 화소(16)로서 다음과 같은 복수의 표시/광 검출 셀 CWR을 포함한다. 보다 구체적으로, 도 3에 도시한 바와 같이,복수의 표시/광 검출 셀 CWR은 한 쌍의 투명 기판(30A 및 30B) 사이에 액정층(31)을 포함시킴으로써 구성되고, 복수의 표시/광 검출 셀 CWR은 격벽(32)에 의해 서로 분리되어 있다. 각 표시/광 검출 셀 CWR의 일부에 광 검출기 PD가 배치되고, 각 표시/광 검출 셀 CWR의 광 검출기 PD에 대응하는 영역은 광 검출 셀 CR(CR1, CR2, CR3, …)이 되고, 각 표시/광 검출 셀 CWR의 다른 영역은 표시 셀 CW(CW1, CW2, CW3, …)이 된다. 광 검출 셀 CR에는, 백라이트로부터 방출된 광 LB의 입사를 방지하기 위해서, 투명 기판(30A)과 광 검출기 PD 사이에 차광층(33)이 배치되어 있다. 이에 따라, 각 광 검출기 PD에서는, 백라이트 광 LB의 영향을 받지 않고, 투명 기판(30B)의 측으로부터 입사한 광(물체로부터의 반사광)만이 검출된다. 이러한 입/출력 패널(11)의 전단에는 표시 신호 처리부(12)가, 후단에는 광검출 신호 처리부(13)가 배치되어 접속되어 있다.
표시 신호 처리부(12)
표시 신호 처리부(12)는 표시 데이터에 기초하는 화상 표시 동작 및 광 검출 동작을 행하도록 입/출력 패널(11)을 구동하는 회로이며, 예를 들어, 표시 신호 유지 제어부(40), 표시측 스캐너(41), 표시 신호 드라이버(42) 및 광 검출기측 스캐너(43)를 포함한다(도 2 참조). 표시 신호 유지 제어부(40)는 표시 신호 생성부(44)로부터 출력된 표시 신호를, 예를 들어, SRAM(Static Random Access Memory) 등의 필드 메모리에 저장해서 유지하고, 표시측 스캐너(41), 표시 신호 드라이버(42) 및 광 검출측 스캐너(43)의 동작을 제어한다. 보다 구체적으로, 표시 신호 유지 제어부(40)는 표시 타이밍 제어 신호와 광 검출 타이밍 제어 신호를 표시측 스캐너(41)와 광 검출측 스캐너(43)에 각각 출력하고, 표시 신호 드라이버(42)에는 필드 메모리에 유지된 표시 신호에 기초하는 하나의 수평 라인 분의 표시 신호를 출력한다. 이에 따라, 입/출력 패널(11)에서, 선 순차 표시 동작 및 광 검출 동작이 행해진다.
표시측 스캐너(41)는, 표시 신호 유지 제어부(40)로부터 출력된 표시 타이밍 제어 신호에 응답하여 구동 대상의 표시 셀 CW를 선택하는 기능을 갖는다. 보다 구체적으로, 입/출력 패널(11)의 각 화소(16)에 접속된 표시용 게이트선을 통해서 표시용 선택 신호를 공급하여 표시 소자 선택 스위치를 제어한다. 즉, 표시용 선택 신호에 응답하여 특정 화소(16)의 표시 소자 선택 스위치가 온(turn-on) 상태로 되는 전압이 인가되면, 특정 화소(16)는 표시 신호 드라이버(42)로부터 공급된 전압에 대응하는 휘도의 표시 동작을 행한다.
표시 신호 드라이버(42)는, 표시 신호 유지 제어부(40)로부터 출력된 하나의 수평 라인 분의 표시 신호에 응답하여 구동 대상의 표시 셀 CW에 표시 데이터를 공급하는 기능을 갖는다. 보다 구체적으로, 입/출력 패널(11)의 각 화소(16)에 접속된 데이터 공급선을 통해서 전술한 표시측 스캐너(41)에 의해 선택된 화소(16)에 표시 데이터에 대응하는 전압을 공급한다.
광 검출측 스캐너(43)는 표시 신호 유지 제어부(40)로부터 출력되는 광 검출 타이밍 제어 신호에 응답하여 구동 대상의 광 검출 셀 CR을 선택하는 기능을 갖는다. 보다 구체적으로는, 입/출력 패널(11)의 각 화소(16)에 접속된 광 검출 게이트선을 통해서 광 검출 선택 신호를 공급하여 광 검출 장치 선택 스위치를 제어한다. 즉, 전술한 표시측 스캐너(41)의 동작의 경우에서와 같이, 광 검출 선택 신호에 응답하여 특정 화소(16)의 광 검출 장치 선택 스위치가 온 상태로 되는 전압이 인가될 경우, 특정 화소(16)로부터 검출된 광검출 신호가 광검출 신호 수신기(45)에 출력된다. 이에 따라, 예를 들어, 특정 표시 셀 CW로부터 표시 광으로서 방출된 광을 물체에 의해 반사시키고, 반사광을 광 검출 셀 CR에서 수신하고 검출할 수 있다. 이러한 광 검출측 스캐너(43)는 광검출 신호 수신기(45) 및 광검출 신호 유지부(46)에 광 검출 블록 제어 신호를 공급하여 광 검출 동작에 기여하는 블록을 제어하는 기능도 갖는다. 본 실시예에서, 전술한 표시용 게이트선 및 전술한 광 검출 게이트선은 표시/광 검출 셀 CWR에 개별적으로 접속되어, 표시측 스캐너(41)와 광 검출측 스캐너(43)가 서로 독립적으로 동작 가능하다.
본 실시예에서는, 광 검출측 스캐너(43)가 제어부(21)의 제어에 따라 시간축을 따라서 간헐적인 타이밍으로 광 검출 구동을 행하도록, 소정의 구동 간격(fps: 프레임/초)으로 각 광 검출 셀 CR을 구동한다. 또한, 백라이트는 광 검출 구동 간격에 동기해서 간헐적으로 점등되도록 구동되는 것이 바람직하다. 그 후, 후술의 제어부(21)는 입력 스크린에의 물체의 접촉 유무 및 입력 스크린에의 물체의 근접 유무에 따라, 구동 간격을 결정(보다 구체적으로, 변경 또는 유지)한다. 또한, 그러한 구동 간격에 따라, 복수의 물체 검출 모드(이러한 경우, 3개의 물체 검출 모드, 즉, 검출 대기 모드, 근접점 검출 모드 및 접촉점 검출 모드)가 발현된다. 이러한 물체 검출 모드들은 전술한 구동 간격을 변경함으로써, 서로 전환되는 것이 가능하다 (도 4의 A 내지 F). 즉, 본 실시예에서는, 상세히 후술될 바와 같이, 물체의 상태 변경(접촉 상태, 근접 상태 및 접촉 상태도 근접 상태도 아닌 상태간의 변경)에 연동해서 구동 간격을 다이나믹하게 변경함으로써, 물체 검출 모드가 서로 간에 전환된다.
보다 구체적으로, 검출 대기 모드는 물체가 입력 스크린(패널 표면)에 접촉하지도 않고 근접하지도 않은 상태를 나타내는 모드(정보는 입력되지 않음)(도 5a 참조)이며, 가장 낮은 구동 간격 ML이 이용된다. 접촉점 검출 모드는, 물체(보다 구체적으로, 손가락의 배 등의 물체 표면의 일부)가 입력 스크린에 접촉하고 있는 상태를 나타내는 모드이며(도 5b 참조), 가장 긴 구동 간격 MH가 이용된다. 근접점 검출 모드는, 물체가, 입력 스크린으로부터 소정의 높이(거리) H까지의 공간에 존재하고 있는 상태를 나타내는 모드이며(도 5c 참조), 구동 간격 ML과 MH의 사이의 중간 구동 간격 MC가 이용된다. 단, 구동 간격 ML, MC 및 MH 사이의 길이의 대소 관계는, ML≤MC≤MH 이다. 또한, 명세서에서, "접촉"은 문자 그대로 물체가 입력 스크린에 접촉하고 있는 경우만을 의미하고, "근접"은 물체가 입력 스크린에 접촉하고 있는 경우뿐만 아니라, 물체가 입력 스크린에 접촉하고 있지 않지만 입력 스크린으로부터 소정의 높이까지의 공간에 존재하는 경우도 의미한다.
광 검출 신호 처리부(13)
광 검출 신호 처리부(13)는 광 검출기(11b)로부터 광 검출 신호를 캡처하고, 신호의 증폭, 필터 처리 등을 행하며, 예를 들어, 광 검출 신호 수신기(45) 및 광 검출 신호 유지부(46)(도 2 참조)를 포함한다.
광 검출 신호 수신기(45)는 광 검출측 스캐너(43)로부터 출력된 광 검출 블록 제어 신호에 응답하여 각 광 검출 셀 CR로부터 출력된 하나의 수평 라인 분의 광 검출 신호를 획득하는 기능을 갖는다. 광 검출 신호 수신기(45)에서 획득한 하나의 수평 라인 분의 광 검출 신호는 광 검출 신호 유지부(46)에 출력된다.
광 검출 신호 유지부(46)는 광 검출측 스캐너(43)로부터 출력된 광 검출 블록 제어 신호에 응답하여 광 검출 신호 수신기(45)로부터 출력된 광 검출 신호를, 예를 들어 SRAM 등의 필드 메모리에 저장 및 유지한다. 광 검출 신호 유지부(46)에 저장된 광 검출 신호의 데이터는 화상 처리부(14)에 출력된다. 광 검출 신호 유지부(46)는 메모리 이외의 기억 소자로 구성되고, 예를 들어 광 검출 신호를 아날로그 데이터(전하)로서 용량 소자에 유지할 수 있다.
화상 처리부(14)
화상 처리부(14)는 광 검출 신호 처리부(13)의 후단에 접속되어 있고, 광 검출 신호 처리부(13)로부터 촬상 화상 데이터를 캡처하여 소정의 화상 처리를 행함으로써, 물체의 정보(점 정보)를 검출하는 회로이다. 보다 구체적으로, 화상 처리부(14)는 이진화, 고립점 제거 또는 라벨링 등의 처리를 행하여, 접촉 물체의 정보(접촉점 정보)나 근접 물체의 정보(근접점 정보) 등을 획득한다. 접촉점 정보는 입력 스크린에의 물체의 접촉 유무에 관한 정보, 접촉 물체의 위치나 면적에 관한 정보 등을 포함한다. 마찬가지로, 근접점 정보는 입력 스크린에의 물체의 근접 유무에 관한 정보나, 근접 물체의 위치나 면적에 관한 정보 등을 포함한다.
전자 기기 본체(20)
전자 기기 본체(20)는 디스플레이(10)의 표시 신호 처리부(12)에 표시 데이터를 출력하고, 화상 처리부(14)로부터 전술한 점 정보(접촉점 정보 및 근접점 정보)가 전자 기기 본체(20)에 입력된다. 전자 기기 본체(20)는, 예를 들어 CPU(중앙 처리부)로 구성되는 제어부(21)를 포함한다. 제어부(21)는 표시 데이터를 생성하거나 점 정보에 기초하여 표시 화상을 변경한다. 또한, 입력점 정보에 기초하여 입/출력 패널(11)의 구동 간격을 결정하는 제어를 행한다.
정보 입/출력 장치(1)의 기능 및 효과
1. 화상 표시 동작, 광 검출 동작
전자 기기 본체(20)로부터 출력된 표시 데이터가 표시 신호 처리부(12)에 입력되면, 표시 신호 처리부(12)는 표시 데이터에 기초하여 표시를 수행하고 광을 검출하도록 입/출력 패널(11)을 구동한다. 이에 따라, 입/출력 패널(11)에서, 백라이트(도시하지 않음)로부터 방출된 광을 이용하여 표시 요소(11a)(표시 셀 CW)에 의해 화상을 표시한다. 한편, 입/출력 패널(11)에서는, 광 검출기들(11b)(광 검출 셀 CR)이 소정의 구동 간격으로 구동되어 수광을 행한다.
이러한 화상 표시 동작 및 광 검출 동작이 행해지는 상태에서, 입/출력 패널(11)의 표시 스크린(입력 스크린)에, 손가락 등의 물체가 접촉 또는 근접하면, 각 표시 요소(11a)로부터 화상 표시를 위해 방출된 광의 일부가, 물체의 표면에 의해 반사된다. 반사된 광은 입/출력 패널(11) 내에 캡처되어 광 검출기(11b)에 의해 검출된다. 이에 따라, 광 검출기(11b)로부터 물체의 광 검출 신호가 출력된다. 광 검출 신호 처리부(13)는 광 검출 신호에 대하여 증폭 등의 처리를 행하여 광 검출 신호를 처리함으로써, 촬상 화상을 생성한다. 생성된 촬상 화상은 촬상 화상 데이터 D0로서 화상 처리부(14)에 출력된다.
2.점 정보 검출 처리
도 6은 화상 처리부(14)의 화상 처리(점 정보 검출 처리)의 전체 흐름을 도시한다. 화상 처리부(14)는 광 검출 신호 처리부(13)로부터 촬상 화상 데이터 D0을 획득하고(단계 S10), 촬상 화상 데이터 D0에 대하여 서로 다른 2개의 임계값을 이용한 이진화 처리를 통해 접촉점 정보 및 근접점 정보를 획득한다. 보다 구체적으로, 화상 처리부(14)는 미리 설정된 2개의 임계값 S1 및 S2(S1>S2)를 기억하고, 임계값 S1 및 S2를 사용한 다음과 같은 화상 처리를 행하여 접촉점 정보 및 근접점 정보를 각각 획득한다.
접촉점 정보의 획득: S11 내지 S14
화상 처리부(14)는 획득한 촬상 화상 데이터 D0에 대하여 임계값 S1(제1 임계값)을 이용하여 이진화 처리를 행한다 (단계 S11). 보다 구체적으로, 촬상 화상 데이터 D0을 구성하는 각 화소의 신호값을 임계값 S1과 비교하고, 예를 들어 임계값 S1 보다 작은 신호값을 갖는 부분의 경우, 그 부분은 "0"으로 설정되고, 임계값 S1 이상의 신호값을 갖는 부분의 경우, 그 부분은 1로 설정된다. 이에 따라, 접촉 물체가 있으면, 그 물체에 의해 반사된 광을 검출한 부분은 "1"로 설정되고, 다른 부분은 "0"으로 설정된다.
다음으로, 화상 처리부(14)는 전술한 바와 같이 이진화된 촬상 화상으로부터 고립점(노이즈)를 제거한다(단계 S12). 즉, 접촉 물체가 있을 경우의 이진화된 촬상 화상에서, "1"로 설정된 부분들의 집합 영역이 형성되지만, "1"로 설정된 어떤 부분이 "1"로 설정된 집합 영역으로부터 고립되어 있는 경우에, 이러한 고립 부분을 제거하는 처리를 행한다.
그 후, 화상 처리부(14)는 고립점 제거 후의 촬상 화상에 대하여 라벨링 처리를 실시한다 (단계 S13). 즉, 촬상 화상 내 "1"로 설정된 부분들의 집합 영역에 대하여 라벨링 처리를 행하고, 라벨링 처리 후의 "1"로 설정된 부분들의 집합 영역을 접촉 물체의 검출점(검출 영역)으로서 이용한다. 이러한 검출점이 존재할 경우에는 입력 스크린에의 물체의 접촉이 "있다"고 판정하고, 검출점이 존재하지 않을 경우에는 입력 스크린에의 물체의 접촉이 "없다"고 판정한다. 또한, 검출점이 존재할 경우에는 검출점의 위치 좌표나 면적 등을 산출한다. 이에 따라, 입력 스크린에의 물체의 접촉 유무에 관한 정보나, 입력 스크린에의 접촉 물체의 위치에 관한 정보를 포함하는 접촉점 정보를 획득한다(단계 S14).
근접점 정보의 획득: S15 내지 S18
화상 처리부(14)는 획득한 촬상 화상 데이터 D0에 대하여 임계값 S2(제2 임계값)을 이용하여 이진화 처리를 행한다(단계 S15). 보다 구체적으로, 전술한 접촉점 정보를 획득할 경우와 마찬가지 방식으로, 촬상 화상 데이터 D0을 구성하는 각 화소의 신호값을 임계값 S2와 비교하고, 임계값 S2 이상의 신호값을 갖는 부분은 "1"로 설정되고, 다른 부분은 "0"으로 설정된다. 다음으로, 전술한 단계 S12의 경우와 마찬가지로, 이진화된 촬상 화상으로부터 고립점을 제거한다(단계 S16). 그 후, 전술한 단계 S13의 경우와 마찬가지로, 고립점 제거 후의 촬상 화상에 대하여 라벨링 처리를 실시한다(단계 S17). 그 후, 라벨링 처리 후의 촬상 화상에 검출점이 존재할 경우에, 입력 스크린에의 물체의 근접이 "있다"고 판정하고, 입력 스크린에의 근접 물체의 위치 좌표 등을 산출한다. 검출점이 존재하지 않을 경우에, 입력 스크린에의 물체의 근접이 "없다"고 판정한다. 이에 따라, 입력 스크린에의 물체의 근접 유무에 관한 정보나, 입력 스크린에의 근접 물체의 위치 등에 관한 정보를 포함하는 근접점 정보를 획득한다(단계 S18).
또한, 이러한 접촉점 정보 획득 단계(S11 내지 S14) 및 근접점 정보 획득 단계(S15 내지 S18)는 병행하거나 순서대로 실행할 수 있다(예를 들어, 단계 S11 내지 S14를 실행한 후, 단계 S15 내지 S18을 실행할 수 있다). 또한, 점 정보로서 물체의 위치 정보나 면적 정보가 불필요할 경우, 즉 입력 스크린에의 물체의 접촉이나 근접 유무에 관한 정보만 검출하면 충분할 경우에, 전술한 이진화, 고립점 제거 및 라벨링 등의 복잡한 화상 처리를 실행하지 않을 수 있다. 이러한 경우, 입력 스크린에의 접촉 물체의 유무를 검출하는 때는, 예를 들어, 촬상 화상 데이터 D0을 구성하는 각 화소의 신호값을 임계값 S1과 비교하고, 임계값 S1 이상의 신호값을 갖는 화소수를 카운트하고, 전체 화소수에 대한 임계값 S1 이상의 신호값을 갖는 화소수의 비율을 구한다. 비율이 소정의 값 이상인 경우에, 입력 스크린에의 물체의 접촉이 "있다"라고 판정하고, 비율이 그 소정의 값보다 작은 경우에, 입력 스크린에의 물체의 접촉이 "없다"라고 판정할 수 있다. 마찬가지로, 입력 스크린에 근접한 물체의 경우, 임계값 S2을 이용해서 전술한 비율을 구하여 입력 스크린에의 근접 물체의 유무를 판정할 수 있다.
전술한 처리에 의해, 물체가 접촉 상태에 있는 경우에, 화상 처리부(14)는 단계 S11 내지 S14에 의해 접촉 물체의 검출점을 획득하여 "접촉 물체가 있다"는 판정 결과와 그 접촉 물체의 위치 등을 포함하는 접촉점 정보를 획득한다. 한편, 물체가 근접 상태에 있는 경우에, 단계 S11 내지 S14에서 접촉 물체의 검출점은 획득되지 않지만("접촉 물체가 없다"는 판정 결과를 포함하는 접촉점 정보를 획득함), 단계 S15 내지 S18에 의해 획득된 근접 물체의 검출점이 획득되어 "근접 물체가 있다"는 판정 결과와 그 근접 물체의 위치 등에 관한 정보를 포함하는 근접점 정보를 획득한다. 또한, 물체가 접촉 상태도 아니고 근접 상태도 아닌 경우에, 단계 S11 내지 S14 및 단계 S15 내지 S18의 어느 단계에 의해서도 검출점은 획득되지 않는다. 이러한 경우에, "접촉 물체가 없다"는 판정 결과를 포함하는 접촉점 정보와 "근접 물체가 없다"는 판정 결과를 포함하는 근접점 정보가 획득된다. 이러한 방식으로 획득한 접촉점 정보 및 근접점 정보 등의 점 정보는 전자 기기 본체(20)에 출력된다.
전자 기기 본체(20)에서는, 제어부(21)는, 입력점 정보에 기초하여 표시 데이터를 생성하고, 입/출력 패널(11)에 현재 표시되어 있는 화상이 변경되도록 입/출력 패널(11)의 표시 구동을 행한다. 또한, 제어부(21)는 점 정보에 기초하여 구동 간격을 변경하여 물체 검출 모드의 전환을 제어한다. 이하, 이러한 점 정보에 기초하는 구동 간격 변경 동작에 대해서 상세하게 설명한다.
3. 구동 간격 변경 동작
도 7a 및 도 7b 내지 도 9a 및 도 9b는 구동 간격의 변경 타이밍(물체 검출 모드의 전환 타이밍)을 설명하는 개략도이다. 도 7a 및 도 7b는 검출 대기 모드로부터 근접점 검출 모드 및 접촉점 검출 모드로 각각 전환하는 경우를 나타낸다. 도 8a 도 8b는 근접점 검출 모드로부터 접촉점 검출 모드 및 검출 대기 모드로 각각 전환할 경우를 나타낸다. 도 9a 도 9b는 접촉점 검출 모드로부터 근접점 검출 모드 및 검출 대기 모드로 각각 전환할 경우를 나타낸다. 또한, 각 도면의 프레임(F)은 광 검출 구동을 60 fps로 행했을 경우의 프레임에 대응한다. 또한, 이러한 프레임 중, 실선으로 그려진 프레임은 실제의 광 검출 구동 동작에 의해 획득된 촬상 화상에 대응하고, 파선으로 그려진 프레임은 실제로는 획득되지 않는 촬상 화상에 대응한다. 또한, 각 프레임에서, 근접 물체(3A)는 얇은 점묘(stipple) 모양의 원으로 개략적으로 나타내고, 접촉 물체(3B)는 굵은 점묘 모양의 원으로 개략적으로 나타낸다.
검출 대기 모드의 구동 간격 ML은 3개의 물체 검출 모드 내에서 가장 낮은 구동 간격이며, 60 fps를 풀 구동 간격이라 했을 경우, 예를 들어, 검출 대기 모드는 풀 구동 간격의 약 1/20 내지 1/4의 구동 간격을 갖는다. 접촉점 검출 모드의 구동 간격 MH는 3개의 물체 검출 모드 내에서 가장 긴 구동 간격이며, 예를 들어 60 fps이다. 근접점 검출 모드의 구동 간격 MC는 구동 간격 ML과 구동 간격 MH 사이의 중간값으로 설정된다. 여기에서, 이하, 예를 들어 풀 구동의 1/4의 구동 간격(15 fps), 풀 구동의 1/2의 구동 간격(30 fps) 및 60 fps의 구동 간격을 각각 구동 간격 ML, MC 및 MH로서 이용한 경우에 대해서 설명한다.
A. 검출 대기 모드로부터 근접점 검출 모드로의 전환
도 7a에 도시한 바와 같이, 검출 대기 모드에서, 우선, 프레임 F(A+0)의 타이밍의 촬상 화상에 기초하여 전술한 화상 처리(점 정보 검출 처리)를 행한다. 이 타이밍에서는, 입력 스크린에의 물체의 접촉 및 입력 스크린에의 물체의 근접이 없다는 판정 결과를 포함하는 점 정보가 획득되고, 제어부(21)는 이러한 점 정보에 기초하여 구동 간격 ML을 유지한다(프레임 F(A+0) 내지 F(A+4)). 다음에서, 예를 들어, 프레임 F(A+3)의 타이밍부터 근접 물체가 있는 경우, 다음 검출 프레임 F(A+4)에서 근접 물체의 검출점 3A가 획득된다. 보다 구체적으로, 근접 물체가 있다(그리고 접촉 물체는 없다)는 판정 결과를 포함하는 점 정보가 획득되고, 제어부(21)는 이러한 점 정보에 기초하여, 구동 간격 ML을 구동 간격 MC로 변경한다. 이에 따라, 검출 대기 모드로부터 근접점 검출 모드로의 전환이 행해진다.
B. 검출 대기 모드로부터 접촉점 검출 모드로의 전환
도 7b에 도시한 바와 같이, 검출 대기 모드에서, 우선, 프레임 F(B+0)의 타이밍에서는, 입력 스크린에의 물체의 접촉 및 입력 스크린에의 물체의 근접이 없다. 이에 따라, 전술한 프레임 F(A+0) 내지 F(A+4)의 경우에서와 같이, 제어부(21)는 구동 간격 ML을 유지한다(프레임 F(B+0) 내지 F(B+4)). 다음에서, 예를 들어 프레임 F(B+3)의 타이밍부터 접촉 물체가 있는 경우, 다음 검출 프레임 F(B+4)에서 접촉 물체의 검출점 3B가 획득된다. 보다 구체적으로, 접촉 물체가 있다는 판정 결과를 포함하는 점 정보가 획득되고, 제어부(21)는 이러한 점 정보에 기초하여 구동 간격 ML을 구동 간격 MH로 변경한다. 이에 따라, 검출 대기 모드로부터 접촉점 검출 모드로의 전환이 행해진다.
이에 따라, 검출 대기 모드에서, 접촉 물체 및 근접 물체가 없다고 판정된 경우에, 제어부(21)는 구동 간격 ML을 그대로 유지한다. 한편, 근접 물체가 있다(그리고 접촉 물체는 없다)고 판정된 경우에, 제어부(21)는 구동 간격 ML을 구동 간격 MC로 변경하고, 접촉 물체가 있다고 판정된 경우에, 제어부(21)는 구동 간격 ML을 구동 간격 MH로 변경하는 제어를 행한다.
C. 근접점 검출 모드로부터 접촉점 검출 모드로의 전환
도 8a에 도시한 바와 같이, 근접점 검출 모드에서, 프레임 F(C+1)의 타이밍에서의 촬상 화상에 기초하여 전술한 화상 처리(점 정보 검출 처리)를 행한다. 이 타이밍에서는, 근접 물체의 검출점 3A가 획득되고, 근접 물체가 있다는 판정 결과를 포함하는 점 정보가 획득된다. 제어부(21)는 이러한 점 정보에 기초하여, 구동 간격 MC를 유지한다(프레임 F(C+1) 내지 F(C+3)). 다음에서, 예를 들어 프레임 F(C+2)의 타이밍에서, 물체가 근접 상태로부터 접촉 상태로 전환했을 경우, 다음 검출 프레임 F(C+3)에서, 접촉 물체의 검출점 3B가 획득된다. 보다 구체적으로, 접촉 물체가 있다는 판정 결과를 포함하는 점 정보가 획득되고, 제어부(21)는 이러한 점 정보에 기초하여 구동 간격 MC를 구동 간격 MH로 변경한다. 이에 따라, 근접점 검출 모드로부터 접촉점 검출 모드로의 전환이 행해진다.
D. 근접점 검출 모드로부터 검출 대기 모드로 전환
도 8b에 도시한 바와 같이, 근접점 검출 모드에서, 우선, 프레임 F(D+1)의 타이밍에서는, 근접 물체의 검출점 3A가 획득된다. 이에 따라, 전술한 프레임 F(C+1) 내지 F(C+3)의 경우에서와 같이, 제어부(21)는 구동 간격 MC를 유지한다(프레임 F(D+1) 내지 F(D+3)). 다음에서, 프레임 F(D+2)의 타이밍에서부터 물체가 근접 상태도 아니고 접촉 상태도 아닌 경우에, 다음 검출 프레임 F(D+3)에서, 접촉 물체 및 근접 물체가 없다는 판정 결과를 포함하는 점 정보가 획득된다. 제어부(21)는 이러한 점 정보에 기초하여 구동 간격 MC를 구동 간격 ML로 변경한다. 이에 따라, 근접점 검출 모드로부터 검출 대기 모드로의 전환이 행해진다.
이에 따라, 근접점 검출 모드에서, 근접 물체가 있다(그리고 접촉 물체가 없다)고 판정된 경우에, 제어부(21)는 구동 간격 MC를 그대로 유지한다. 한편, 접촉 물체가 있다고 판정된 경우에, 제어부(21)는 구동 간격 MC를 구동 간격 MH로 변경하고, 접촉 물체 및 근접 물체가 없다고 판정된 경우에, 제어부(21)는 구동 간격 MC를 구동 간격 ML로 변경하는 제어를 행한다.
E. 접촉점 검출 모드로부터 근접점 검출 모드로의 전환
도 9a에 도시한 바와 같이, 접촉점 검출 모드에서, 프레임 F(E+0) 내지 F(E+2)의 각 타이밍에서, 전술한 화상 처리(점 정보 검출 처리)를 행한다. 각 타이밍에서는, 접촉 물체의 검출점 3B가 획득되고, 접촉 물체가 있다는 판정 결과를 포함하는 점 정보가 획득된다. 제어부(21)는 이러한 점 정보에 기초하여 구동 간격 MH를 유지한다(프레임 F(E+0) 내지 F(E+3)). 다음에서, 예를 들어 프레임 F(E+3)의 타이밍에서, 물체의 상태가 접촉 상태로부터 근접 상태로 변경됐을 경우, 프레임 F(E+3)의 타이밍에서, 근접 물체의 검출점 3A가 획득된다. 보다 구체적으로, 근접 물체가 있다는 판정 결과를 포함하는 점 정보가 획득되고, 제어부(21)는 이러한 점 정보에 기초하여 구동 간격 MH를 구동 간격 MC로 변경한다. 이에 따라, 접촉점 검출 모드로부터 근접점 검출 모드로의 전환이 행해진다.
F. 접촉점 검출 모드로부터 검출 대기 모드로의 전환
도 9b에 도시한 바와 같이, 접촉점 검출 모드에서, 우선, 프레임 F(G+0) 내지 F(G+2)의 각 타이밍에서는, 접촉 물체의 검출점 3B가 획득된다. 이에 따라, 전술한 프레임 F(E+0) 내지 F(E+2)의 경우와 같이, 제어부(21)는 구동 간격 MH를 유지한다(프레임 F(G+0) 내지 F(G+3)). 다음에서, 예를 들어 프레임 F(G+3)의 타이밍에서 물체의 접촉 및 근접이 없는 경우, 프레임 F(G+3)의 타이밍에서, 접촉 물체 및 근접 물체가 없다는 판정 결과를 포함하는 점 정보가 획득된다. 제어부(21)는 이러한 점 정보에 기초하여 구동 간격 MH를 구동 간격 ML로 변경한다. 이에 따라, 접촉점 검출 모드로부터 검출 대기 모드로의 전환이 행해진다.
이에 따라, 접촉점 검출 모드에서, 접촉 물체가 있다고 판정된 경우에, 제어부(21)는 구동 간격 MH를 그대로 유지한다. 한편, 근접 물체가 있다(그리고 접촉 물체가 없다)고 판정된 경우에, 제어부(21)는 구동 간격 MH를 구동 간격 MC로 변경하는 제어를 행하고, 접촉 물체 및 근접 물체가 모두 없다고 판정된 경우에, 제어부(21)는 구동 간격 MH를 구동 간격 ML로 변경하는 제어를 행한다.
전술한 점 정보 획득 단계에서, "접촉 물체가 있다"는 판정 결과를 포함하는 접촉점 정보와 "근접 물체가 있다"는 판정 결과를 포함하는 근접점 정보 모두가 획득된 경우에, 물체가 접촉 상태에 있는 것으로 간주되어, 검출 대기 모드나 근접점 검출 모드로부터 접촉점 검출 모드로의 전환이 행해진다.
전술한 바와 같이, 본 실시예에서는, 물체의 촬상 화상 데이터 D0에 기초하여 입력 스크린에의 물체의 접촉 유무 및 입력 스크린에의 물체의 근접 유무에 관한 점 정보를 획득하고, 이러한 점 정보에 기초하여 구동 간격을 변경한다. 즉, 검출 모드들의 전환을 행하도록 물체의 상태에 따라서 다이나믹하게 구동 간격을 변경한다.
다음으로, 이하, 도 10을 참조하여, 비교예에 따른 간헐적 광 검출 구동 동작에 대해서 설명한다. 비교예에서, 예를 들어 30 fps의 구동 간격으로 광 검출 셀 CR을 구동함으로써, 풀 구동 간격(60 fps)으로 광 검출 셀 CR을 구동하는 경우와 비교하여, 소비 전력을 삭감할 수 있다. 또한, 백라이트를, 광 검출 셀 CR의 구동 간격에 동기시키면서 간헐적으로 구동하면, 소비 전력이 대폭으로 삭감된다. 그러나, 이러한 비교예에서는, 예를 들어 프레임 F(H+0) 내지 F(H+4)의 타이밍에 플릭 동작이 행해진 경우, 일시적으로, 연속의 움직임을 충분히 인식하는 것이 어렵다. 즉, 이러한 플릭 동작 등의 움직임이 있는 동작에 의한 정보 입력이 어려워진다. 또한, 구동 간격이 낮아질수록 이와 같은 역효과는 현저해진다.
한편, 본 실시예에서는, 물체가 입력 스크린에 접촉하지 않은 상태(검출 대기 모드 및 근접점 검출 모드)에서는, 구동 간격을 낮게 설정함으로써(구동 간격 ML 및 MC), 소비 전력이 삭감된다. 그 후, 검출 대기 모드 및 근접점 검출 모드에서, 입력 스크린에의 물체의 접촉이 검출된 경우에, 구동 간격이 보다 높은 구동 간격(구동 간격 MH)으로 다이나믹하게 변경되고, 검출 대기 모드 및 근접점 검출 모드로부터 접촉점 검출 모드로의 전환이 행해진다. 이에 따라, 예를 들어 도 7a 및 도 8a에 도시한 바와 같이, 접촉 물체에 의한 플릭 동작을 충분히 인식할 수 있다. 또한, 화상 처리부(14)의 이진화 처리에 2개의 임계값 S1 및 S2을 이용하여, 물체의 접촉점 정보뿐만 아니라 근접점 정보에 대해서도 획득함으로써, 물체가 입력 스크린에 접촉하고 있는 경우뿐만 아니라 물체가 입력 스크린으로부터 소정의 높이에 위치한 비접촉 상태에서도 입력 동작이 가능하다. 따라서, 광 검출 셀 CR을 간헐적으로 구동하면서, 조작성이 열화되는 것을 억제할 수 있다. 따라서, 소비 전력을 삭감하면서 양호한 조작성을 유지하는 것이 가능하다.
변형예 1
도 11은 전술한 실시예의 변형예 1에 따른 물체 검출 모드들의 전환을 나타낸다. 변형예는, 물체 검출 모드의 전환 타이밍(구동 간격의 변경 타이밍)이 실시예와 상이하다는 것 이외에는, 전술된 실시예와 동일한 방식으로 디스플레이(10) 및 전자 기기 본체(20)에 적용된다. 보다 구체적으로, 변형예에서는, 실시예의 경우와 같이, 검출 대기 모드(구동 간격 ML), 근접점 검출 모드(구동 간격 MC) 및 접촉점 검출 모드(구동 간격 MH)를 포함하는 물체 모드들이 서로 전환될 수 있다. 단, 변형예에서는, 구동 간격이 보다 낮은 구동 간격으로 변경될 경우에, 구동 간격의 변경 타이밍을 지연시키는 제어를 행한다. 보다 구체적으로, 근접점 검출 모드로부터 검출 대기 모드로의 전환(D), 접촉점 검출 모드로부터 근접점 검출 모드로의 전환(E) 및 접촉점 검출 모드로부터 검출 대기 모드로의 전환(F)의 각 경우에서, 소정의 시간 R1 또는 R2만큼 구동 간격의 변경 타이밍을 지연시키는 제어를 행한다. 이하, 이러한 모드들의 전환 타이밍의 일례에 대해서, 도 12a 및 도 12b 내지 도 14a 및 도 14b를 참조하여 설명한다.
D. 근접점 검출 모드로부터 검출 대기 모드로의 전환
도 12a 및 도 12b는, 근접점 검출 모드에서, 접촉 물체 및 근접 물체 모두가 없다는 판정을 획득했을 경우에, 구동 간격 변경의 타이밍을 소정의 시간 R1만큼 지연시킨 경우의 개략도이다. 이에 따라, 프레임 F(I+3) 또는 F(J+3)에서 접촉 물체 및 근접 물체가 모두 없다는 판정을 획득한 경우에서도, 시간 R1 동안 구동 간격 MC가 유지된다. 시간 R1은, 예를 들어 수 프레임(이 경우, 2 프레임)으로 설정될 수 있다.
이러한 방식으로, 구동 간격 MC로부터 구동 간격 ML로의 변경이 R1 시간만큼 지연된 경우, 예를 들어 도 12a에 도시한 바와 같이, 다음 검출 프레임 F(I+4)로부터 다시 근접 물체가 나타났을 경우에도, 근접 물체를 놓치지 않고 쉽게 검출한다(프레임 F(I+5)). 그 후, 구동 간격 MC가 유지된다(프레임 F(I+6)부터 또는 그 이후)는 점을 주목해야 한다. 이러한 효과는 특히 더블 클릭 등의 물체가 입력 스크린에 대하여 빠르게 접촉하거나 이격되는 동작을 수반하는 입력 동작을 인식하는 데 효과적이다. 한편, 도 12b에 도시한 바와 같이, 시간 R1의 경과 후, 접촉 물체 및 근접 물체 모두가 나타나지 않은 경우(프레임 F(J+5))에는, 구동 간격 MC가 구동 간격 ML로 변경될 수 있다.
E. 접촉점 검출 모드로부터 근접점 검출 모드로의 전환
도 13a 및 도 13b는, 접촉점 검출 모드에서, 물체의 상태가 접촉 상태로부터 근접 상태로 변경됐을 때, 구동 간격 변경의 타이밍을 소정의 시간 R2만큼 지연시킨 경우의 개략도이다. 이에 따라, 프레임 F(K+2) 또는 F(L+2)에서, 근접 물체가 있다(그리고 접촉 물체가 없다)는 판정이 획득한 경우에서도, 시간 R2 동안 구동 간격 MH가 유지된다. 시간 R2는, 예를 들어 수 프레임(이 경우, 3 프레임)으로 설정될 수 있다.
구동 간격 MH로부터 구동 간격 MC로의 변경이 R2 시간만큼 지연된 경우, 예를 들어 도 13a에 도시한 바와 같이, 다음 검출 프레임 F(K+5)로부터 다시 접촉 물체가 나타났을 경우에도, 접촉 물체를 놓치지 않고 쉽게 검출한다(프레임 F(K+5)). 그 후, 구동 간격 MH가 유지된다(프레임 F(K+6)부터 또는 그 이후)는 점을 주목해야 한다. 이러한 효과는 특히 더블 클릭 등의 입력 동작을 인식하는 데 효과적이다. 한편, 도 13b에 도시한 바와 같이, 시간 R2의 경과 후, 근접 물체가 있고 접촉 물체가 없는 경우(프레임 F(L+5))에는, 구동 간격 MH가 구동 간격 MC로 변경될 수 있다.
F. 접촉점 검출 모드로부터 검출 대기 모드로의 전환
도 14a 및 도 14b는, 접촉 물체 및 근접 물체가 모두 없다는 판정이 획득됐을 때, 구동 간격 변경의 타이밍을 시간 R2만큼 지연시킨 경우의 개략도이다. 이에 따라, 프레임 F(M+2) 또는 F(N+2)에서, 접촉 물체 및 근접 물체가 모두 없다는 판정이 획득됐을 경우에도, 시간 R2 동안 구동 간격 MH가 유지된다.
이러한 방식으로, 구동 간격 MH로부터 구동 간격 ML로의 변경을 시간 R2만큼 지연시킬 경우, 예를 들어 도 14a에 도시한 바와 같이, 다음 검출 프레임 F(M+5)로부터 다시 접촉 물체가 나타났을 경우에도 접촉 물체를 놓치지 않고 쉽게 검출한다(프레임 F(M+5)). 그 후, 구동 간격 MH가 유지된다(프레임 F(M+6) 또는 그 이후)는 점을 주목해야 한다. 이러한 효과는 특히, 예를 들어 더블 클릭 등의 입력 동작을 인식하는 데 효과적이다. 한편, 도 14b에 도시한 바와 같이, 시간 R2의 경과 후(프레임 F(N+5)) 접촉 물체 및 근접 물체 모두가 나타나지 않을 경우에, 구동 간격 MH가 구동 간격 ML로 변경될 수 있다.
전술한 바와 같이, 변형예에서, 입력 스크린에의 물체의 접촉 유무 및 입력 스크린에의 물체의 근접 유무에 기초하여 구동 간격을 보다 낮은 구동 간격으로 변경할 경우, 구동 간격의 변경 타이밍을 지연시키는 제어를 행함으로써, 예를 들어, 더블 클릭 등의 입력 동작을 양호하게 인식할 수 있다. 따라서, 소비 전력을 삭감하면서, 양호한 조작성을 유지하는 것이 가능하다.
변형예 2
도 15는 변형예 2에 따른 정보 입/출력 장치(2)의 블록 구성을 나타낸다. 전술한 실시예에 따른 정보 입/출력 장치(1)의 경우와 같이, 정보 입/출력 장치(2)는 디스플레이(10)와 전자 기기 본체(20)를 포함하지만, 디스플레이(10)는 표시 신호 처리부(12), 입/출력 패널(11) 및 광 검출 신호 처리부(13)를 포함한다. 전자 기기 본체(20)는 제어부(21) 및 화상 처리부(14)를 포함한다. 즉, 변형예에서, 화상 처리부(14)는 디스플레이(10)가 아닌 전자 기기 본체(20)에 포함된다. 이러한 방식으로 화상 처리부(14)는 전자 기기 본체(20)에 포함될 수 있고, 이러한 경우에서도, 전술한 실시예에 따른 정보 입/출력 장치(1)에서와 동일한 효과를 얻을 수 있다.
적용예
다음으로, 이하, 도 16 내지 도 20a 내지 도 20g를 참조하여, 전술한 실시예 및 전술한 변형예에서 설명된 정보 입/출력 장치의 적용예에 대해서 설명한다. 전술한 실시예 등에 따른 정보 입/출력 장치는 텔레비전, 디지털 카메라, 노트북 퍼스널 컴퓨터, 휴대 전화 등의 휴대 단말기 및 비디오 카메라 등의 임의의 분야의 전자 기기에 적용하는 것이 가능하다. 즉, 전술한 실시예에 따른 정보 입/출력 장치는, 외부로부터 입력된 영상 신호 또는 내부에서 생성된 영상 신호를 화상(image) 또는 영상(picture)으로서 표시하는 임의의 분야의 전자 기기에 적용될 수 있다.
적용예 1
도 16은 텔레비전 장치의 외관을 나타낸다. 텔레비전은, 예를 들어, 정면 패널(511) 및 필터 유리(512)를 포함하는 영상 표시 스크린부(510)를 갖는다. 영상 표시 스크린부(510)는 임의의 전술한 실시예 등에 따른 정보 입/출력 장치로 구성된다.
적용예 2
도 17a 및 도 17b는 디지털 카메라의 외관을 나타낸다. 디지털 카메라는, 예를 들어, 플래시용 발광부(521), 디스플레이부(522), 메뉴 스위치(523) 및 셔터 버튼(524)을 갖는다. 디스플레이부(522)는 임의의 전술한 실시예 등에 따른 정보 입/출력 장치로 구성된다.
적용예 3
도 18은 노트북 퍼스널 컴퓨터의 외관을 나타낸다. 노트북 퍼스널 컴퓨터는, 예를 들어, 본체(531), 문자 등의 입력 동작을 위한 키보드(532) 및 화상을 표시하는 디스플레이부(533)를 갖는다. 디스플레이부(533)는 임의의 전술한 실시예 등에 따른 정보 입/출력 장치로 구성된다.
적용예 4
도 19는 비디오 카메라의 외관을 나타낸다. 비디오 카메라는, 예를 들어, 본체부(541), 본체부(541)의 전면에 배치된 물체 촬영용 렌즈(542), 촬영 시작/중지 스위치(543) 및 디스플레이부(544)를 갖는다. 디스플레이부(544)는 임의의 전술한 실시예 등에 따른 정보 입/출력 장치로 구성된다.
적용예 5
도 20a 내지 도 20g는 휴대 전화기의 외관을 나타낸다. 휴대 전화기는, 예를 들어, 상측 인클로저(710)와 하측 인클로저(720)를 연결부(힌지부)(730)에 의해 서로 연결한 형상이다. 휴대 전화기는 디스플레이(740), 서브 디스플레이(750), 픽처 라이트(760) 및 카메라(770)를 갖는다. 디스플레이(740) 또는 서브-디스플레이(750)는 임의의 전술한 실시예 등에 따른 정보 입/출력 장치로 구성된다.
실시예, 변형예 및 적용예를 참조하여 본 발명을 설명했지만, 본 발명은 이들에 한정되지 않고, 다양한 변형이 가능하다. 예를 들어, 전술한 실시예 등에서는, 물체의 검출 시스템으로서, 입/출력 패널(11)에 배치된 광 검출기(11b)에 의해 물체로부터의 반사광을 이용해서 검출을 행하는 광학 시스템을 예로 들어 설명했지만, 접촉식 시스템이나 정전 용량식 시스템 등의 임의의 다른 검출 시스템을 이용할 수 있다. 임의의 검출 시스템에서도, 간헐적인 타이밍으로 검출 신호를 획득하도록 구동 간격을 설정할 수 있고, 입력 스크린에의 물체의 접촉이나 근접 유무에 따라 구동 간격을 변경할 수 있다.
또한, 전술한 실시예 등에서, 3개의 모드, 즉, 검출 대기 모드, 근접점 검출 모드 및 접촉점 검출 모드를 물체 검출 모드의 예로 들어 설명했지만, 본 발명은 이들 3개의 모드에 반드시 한정되지 않는다. 예를 들어, 근접점 검출 모드를 복수의 모드로 나누어 4개 이상의 물체 검출 모드를 이용할 수 있다. 즉, 근접점 검출 모드에서의 구동 간격으로서 다단계로 변경되는 복수의 구동 간격을 이용하여 물체의 근접 상황(물체가 입력 스크린으로부터 이격된 높이 등)을 검출하고, 이러한 상태에 따라 구동 간격을 변경할 수 있다.
또한, 전술한 실시예 등에서는, 접촉점 검출 모드에서의 구동 간격으로서 풀 구동 간격(60 fps)을 이용할 경우를 예로 들어 설명했지만, 본 발명은 이것에 한정되지 않고, 60 fps 를 초과하는 구동 간격, 예를 들어 120 fps를 이용할 수 있다. 또한, 검출 대기 모드 및 근접점 검출 모드에서의 구동 간격도, 전술한 실시예 등에 설명된 바와 같이, 각각, 15 fps 및 30 fps에 한정되지 않는다. 예를 들어, 근접점검출 모드에서의 구동 간격을 접촉점 검출 모드에서의 구동 간격과 동일하게 설정할 수 있다.
또한, 전술한 실시예 등에서는, 제어부(21)가 전자 기기 본체(20) 내에 배치된 경우에 대해서 설명했지만, 제어부(21)를 디스플레이(10) 내에 배치할 수 있다.
또한, 전술한 실시예 등에서는, 표시 기능과 검출 기능(광 검출 기능) 모두를 갖는 입/출력 패널을 구비한 정보 입/출력 장치를 예로 들어 설명했지만, 본 발명은 이에 한정되지 않는다. 예를 들어, 본 발명은 외장형 터치 센서를 구비한 디스플레이로 구성된 정보 입/출력 장치에 적용 가능하다.
또한, 전술한 실시예 등에서, 입/출력 패널로서 액정 디스플레이 패널을 이용한 경우를 예로 들어 설명했지만, 본 발명은 이에 한정되지 않고, 유기 전자 발광(EL) 패널 등이 입/출력 패널로서 이용될 수 있다. 입/출력 패널로서 유기 EL 패널을 이용하는 경우에, 예를 들어 기판 상에 표시 요소로서 복수의 유기 EL 소자를 배치할 수 있고, 광 검출기로서의 포토 다이오드를 각 유기 EL 소자마다 또는 2 이상의 유기 EL 소자에 대하여 하나씩 할당되도록 배치할 수 있다. 또한, 유기 EL 소자는 순방향 바이어스 전압이 인가될 때 발광하고 역방향 바이어스 전압이 인가될 때 수광하여 전류를 생성하는 특징을 갖는다. 따라서, 이러한 유기 EL 소자의 특징을 이용할 경우, 포토다이오드와 같은 광 검출기를 별도 배치하지 않더라도, 표시 기능과 검출 기능 모두를 갖는 입/출력 패널을 얻을 수 있다.
또한, 전술한 실시예 등에서, 예로서 표시 기능 및 검출 기능(표시 요소 및 광 검출기)를 갖는 입/출력 패널을 구비한 정보 입/출력 장치를 참조하여 본 발명을 설명했지만, 본 발명은 반드시 표시 기능(표시 요소)을 갖지 않아도 된다. 즉, 본 발명은 검출 기능(광 검출기)만을 갖는 입력 패널을 구비한 정보 입력 장치(화상 촬상 장치)에 적용 가능하다. 또한, 이러한 입력 패널과 표시 기능을 갖는 출력 패널(디스플레이 패널)을 따로 배치할 수 있다.
전술한 실시예 등에서 설명된 처리는 하드웨어 또는 소프트웨어에 의해 행할 수 있다. 처리를 소프트웨어에 의해 행하는 경우에, 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 설치된다. 이러한 프로그램은 컴퓨터에 내장된 기록 매체에 미리 저장될 수 있다.
본 출원은 2009년 10월 16일 일본 특허청에 출원된 일본 우선권 특허 출원 JP2009-239512호에 개시된 것과 관련된 요지를 포함하며, 전체 내용은 참조로서 본원에 원용된다.
당업자라면, 첨부된 청구 범위 또는 그들의 균등물의 범위 내에 있는 한, 설계 요건 및 다른 요소에 따라 여러 변형, 조합, 서브-조합 및 치환이 가능하다는 것에 알아야 한다.
10: 디스플레이
11: 입/출력 패널
11a: 표시 요소
11b: 광 검출기
12: 표시 신호 처리부
13: 광 검출 신호 처리부

Claims (14)

  1. 정보 입력 장치로서,
    물체로부터 검출 신호를 각각 획득하기 위한 검출 요소들을 포함하는 입력 패널;
    상기 입력 패널에 의해 획득된 상기 검출 신호에 대하여 소정의 화상 처리를 행함으로써, 상기 물체가 접촉 상태에 있는지를 나타내는 접촉점 정보와 상기 물체가 근접 상태에 있는지를 나타내는 근접점 정보를 획득하는 화상 처리부;
    소정의 구동 간격으로 각 검출 요소로부터 상기 검출 신호를 획득하도록 상기 입력 패널의 상기 각 검출 요소를 구동하는 구동부; 및
    상기 화상 처리부에 의해 획득된 상기 접촉점 정보 및 상기 근접점 정보에 기초하여 상기 구동 간격을 결정하는 제어부
    를 포함하는, 정보 입력 장치.
  2. 제1항에 있어서,
    상기 화상 처리부는, 상기 검출 신호에 대하여 제1 임계값을 이용하는 비교 처리를 통해 상기 접촉점 정보를 검출하고, 상기 검출 신호에 대하여 상기 제1 임계값보다 낮은 제2 임계값을 이용하는 비교 처리를 통해 상기 근접점 정보를 획득하는, 정보 입력 장치.
  3. 제2항에 있어서,
    상기 제어부는, 상기 물체가 접촉 상태에 있지도 않고 근접 상태에 있지도 않은 검출 대기 모드에서는 상기 구동 간격으로서 제1 구동 간격을 이용하고, 상기 물체가 근접 상태에 있는 근접점 검출 모드에서는 상기 구동 간격으로서 제2 구동 간격을 이용하고, 상기 물체가 접촉 상태에 있는 접촉점 검출 모드에서는 상기 구동 간격으로서 제3 구동 간격을 이용하며, 상기 제2 구동 간격은 상기 제1 구동 간격과 동일하거나 더 길고, 상기 제3 구동 간격은 상기 제2 구동 간격과 동일하거나 더 긴, 정보 입력 장치.
  4. 제3항에 있어서,
    상기 제어부는, 상기 물체가 접촉 상태에 있지도 않고 근접 상태에 있지도 않다고 판정한 경우에, 상기 제1 구동 간격을 유지함으로써 상기 검출 대기 모드를 유지하고,
    상기 제어부는, 상기 물체가 근접 상태에 있다고 판정한 경우에, 상기 제1 구동 간격으로부터 상기 제2 구동 간격으로의 전환을 통해 상기 검출 대기 모드에서 상기 근접점 검출 모드로 이행하고,
    상기 제어부는, 상기 물체가 접촉 상태에 있다고 판정한 경우에, 상기 제1 구동 간격으로부터 상기 제3 구동 간격으로의 전환을 통해 상기 검출 대기 모드에서 상기 접촉점 검출 모드로 이행하는, 정보 입력 장치.
  5. 제3항에 있어서,
    상기 제어부는, 상기 물체가 근접 상태에 있다고 판정한 경우에, 상기 제2 구동 간격을 유지함으로써 상기 근접점 검출 모드를 유지하고,
    상기 제어부는, 상기 물체가 접촉 상태에 있다고 판정한 경우에, 상기 제2 구동 간격으로부터 상기 제3 구동 간격으로의 전환을 통해 상기 근접점 검출 모드에서 상기 접촉점 검출 모드로 이행하고,
    상기 제어부는, 상기 물체가 접촉 상태에 있지도 않고 근접 상태에 있지도 않다고 판정한 경우에, 상기 제2 구동 간격으로부터 상기 제1 구동 간격으로의 전환을 통해 상기 근접점 검출 모드에서 상기 검출 대기 모드로 이행하는, 정보 입력 장치.
  6. 제5항에 있어서,
    상기 근접점 검출 모드에서 상기 검출 대기 모드로의 이행 시, 상기 제2 구동 간격으로부터 상기 제1 구동 간격으로의 전환 타이밍을 지연시키는, 정보 입력 장치.
  7. 제3항에 있어서,
    상기 제어부는, 상기 물체가 접촉 상태에 있다고 판정한 경우에, 상기 제3 구동 간격을 유지함으로써 상기 접촉점 검출 모드를 유지하고,
    상기 제어부는, 상기 물체가 근접 상태에 있다고 판정한 경우에, 상기 제3 구동 간격으로부터 상기 제2 구동 간격으로의 전환을 통해 상기 접촉점 검출 모드에서 상기 근접점 검출 모드로 이행하고,
    상기 제어부는, 상기 제어부가 상기 물체가 접촉 상태에 있지도 않고 근접 상태에 있지도 않다고 판정한 경우에, 상기 제3 구동 간격으로부터 상기 제1 구동 간격으로의 전환을 통해 상기 접촉점 검출 모드에서 상기 검출 대기 모드로 이행하는, 정보 입력 장치.
  8. 제7항에 있어서,
    상기 접촉점 검출 모드에서 상기 검출 대기 모드로의 이행 시, 상기 제3 구동 간격으로부터 상기 제1 구동 간격으로의 전환 타이밍을 지연시키고,
    상기 접촉점 검출 모드에서 상기 근접점 검출 모드로의 이행 시, 상기 제3 구동 간격으로부터 상기 제2 구동 간격으로의 전환 타이밍을 지연시키는, 정보 입력 장치.
  9. 제1항에 있어서,
    상기 검출 요소들은 물체에 의해 반사된 광을 검출하는 복수의 광 검출기(photodetector)로 구성되는, 정보 입력 장치.
  10. 정보 입력 방법으로서,
    검출 요소들을 포함하는 입력 패널에 의해 물체로부터 검출 신호를 획득하는 단계;
    상기 획득한 검출 신호에 대하여 소정의 화상 처리를 행함으로써, 상기 물체가 접촉 상태에 있는지를 나타내는 접촉점 정보와 상기 물체가 근접 상태에 있는지를 나타내는 근접점 정보를 획득하는 단계;
    소정의 구동 간격으로 각 검출 요소로부터 상기 검출 신호를 획득하도록 상기 입력 패널의 상기 각 검출 요소를 구동하는 단계; 및
    상기 접촉점 정보 및 상기 근접점 정보에 기초하여 상기 구동 간격을 결정하는 단계
    를 포함하는, 정보 입력 방법.
  11. 정보 입/출력 장치로서,
    물체로부터 검출 신호를 각각 획득하기 위한 검출 요소들을 포함하고 화상 표시 기능을 갖는 입/출력 패널;
    상기 입/출력 패널에 의해 획득된 상기 검출 신호에 대하여 소정의 화상 처리를 행함으로써, 상기 물체가 접촉 상태에 있는지를 나타내는 접촉점 정보와 상기 물체가 근접 상태에 있는지를 나타내는 근접점 정보를 획득하는 화상 처리부;
    소정의 구동 간격으로 각 검출 요소로부터 상기 검출 신호를 획득하도록 상기 입/출력 패널의 상기 각 검출 요소를 구동하는 구동부; 및
    상기 화상 처리부에 의해 획득된 상기 접촉점 정보 및 상기 근접점 정보에 기초하여 상기 구동 간격을 결정하는 제어부
    를 포함하는, 정보 입/출력 장치.
  12. 제11항에 있어서,
    상기 입/출력 패널은 화상 데이터에 기초하여 화상을 표시하는 복수의 표시 요소를 포함하고,
    상기 검출 요소들은 물체에 의해 반사된 광을 검출하는 복수의 광 검출기로 구성되는, 정보 입/출력 장치.
  13. 컴퓨터가 실행할 수 있는 정보 입력 프로그램이 기록된 컴퓨터 판독 가능한 비일시적 매체(non-transitory medium)로서,
    상기 정보 입력 프로그램은,
    검출 요소들을 포함하는 입력 패널에 의해 물체로부터 검출 신호를 획득하는 단계;
    상기 획득한 검출 신호에 대하여 소정의 화상 처리를 행함으로써, 상기 물체가 접촉 상태에 있는지를 나타내는 접촉점 정보와 상기 물체가 근접 상태에 있는지를 나타내는 근접점 정보를 획득하는 단계;
    소정의 구동 간격으로 각 검출 요소로부터 상기 검출 신호를 획득하도록 상기 입력 패널의 상기 각 검출 요소를 구동하는 단계; 및
    상기 접촉점 정보 및 상기 근접점 정보에 기초하여 상기 구동 간격을 결정하는 단계
    를 포함하는, 컴퓨터 판독 가능한 비일시적 매체.
  14. 정보 입력 장치를 포함하는 전자 기기로서,
    상기 정보 입력 장치는,
    물체로부터 검출 신호를 각각 획득하기 위한 검출 요소들을 포함하는 입력 패널;
    상기 입력 패널에 의해 획득된 상기 검출 신호에 대하여 소정의 화상 처리를 행함으로써, 상기 물체가 접촉 상태에 있는지를 나타내는 접촉점 정보와 상기 물체가 근접 상태에 있는지를 나타내는 근접점 정보를 획득하는 화상 처리부;
    소정의 구동 간격으로 각 검출 요소로부터 상기 검출 신호를 획득하도록 상기 입력 패널의 상기 각 검출 요소를 구동하는 구동부; 및
    상기 화상 처리부에 의해 획득된 상기 접촉점 정보 및 상기 근접점 정보에 기초하여 상기 구동 간격을 결정하는 제어부
    를 포함하는, 전자 기기.
KR1020100098372A 2009-10-16 2010-10-08 정보 입력 장치, 정보 입력 방법, 정보 입/출력 장치, 컴퓨터 판독 가능한 비일시적 매체 및 전자 기기 KR20110042003A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009239512A JP2011086179A (ja) 2009-10-16 2009-10-16 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器
JPJP-P-2009-239512 2009-10-16

Publications (1)

Publication Number Publication Date
KR20110042003A true KR20110042003A (ko) 2011-04-22

Family

ID=43878905

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100098372A KR20110042003A (ko) 2009-10-16 2010-10-08 정보 입력 장치, 정보 입력 방법, 정보 입/출력 장치, 컴퓨터 판독 가능한 비일시적 매체 및 전자 기기

Country Status (5)

Country Link
US (1) US20110090161A1 (ko)
JP (1) JP2011086179A (ko)
KR (1) KR20110042003A (ko)
CN (1) CN102043546A (ko)
TW (1) TW201135562A (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5424475B2 (ja) * 2009-10-13 2014-02-26 株式会社ジャパンディスプレイ 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器
JP2013003911A (ja) 2011-06-17 2013-01-07 Sony Corp 電子機器、電子機器の制御方法およびプログラム
JP5837794B2 (ja) * 2011-10-19 2015-12-24 シャープ株式会社 タッチパネルシステム及びタッチパネルシステムの動作方法
CN102364409B (zh) * 2011-11-09 2014-03-12 江苏惠通集团有限责任公司 触摸装置及其自适应方法
US9552094B2 (en) * 2011-12-22 2017-01-24 Optis Circuit Technology, Llc User interface responsiveness in an electronic device having a touch screen display
JP5792645B2 (ja) * 2012-01-13 2015-10-14 ルネサスエレクトロニクス株式会社 半導体装置およびその制御方法
US9524060B2 (en) * 2012-07-13 2016-12-20 Rapt Ip Limited Low power operation of an optical touch-sensitive device for detecting multitouch events
JP5984722B2 (ja) * 2013-03-22 2016-09-06 シャープ株式会社 情報処理装置
JP6187043B2 (ja) * 2013-08-29 2017-08-30 富士通株式会社 タッチ検出装置
JP2015141538A (ja) * 2014-01-28 2015-08-03 シャープ株式会社 タッチパネル制御装置、情報処理装置
KR101999196B1 (ko) * 2017-04-17 2019-07-11 선전 구딕스 테크놀로지 컴퍼니, 리미티드 전자장치 및 검출 방법
CN109739431A (zh) * 2018-12-29 2019-05-10 联想(北京)有限公司 一种控制方法及电子设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144125B2 (en) * 2006-03-30 2012-03-27 Cypress Semiconductor Corporation Apparatus and method for reducing average scan rate to detect a conductive object on a sensing device
US8243027B2 (en) * 2006-06-09 2012-08-14 Apple Inc. Touch screen liquid crystal display
JP4766340B2 (ja) * 2006-10-13 2011-09-07 ソニー株式会社 近接検知型情報表示装置およびこれを使用した情報表示方法
US8284165B2 (en) * 2006-10-13 2012-10-09 Sony Corporation Information display apparatus with proximity detection performance and information display method using the same
US7812827B2 (en) * 2007-01-03 2010-10-12 Apple Inc. Simultaneous sensing arrangement
JP5093523B2 (ja) * 2007-02-23 2012-12-12 ソニー株式会社 撮像装置、表示撮像装置および撮像処理装置
JP4356757B2 (ja) * 2007-03-13 2009-11-04 セイコーエプソン株式会社 液晶装置、電子機器および位置特定方法
JP4390002B2 (ja) * 2007-03-16 2009-12-24 ソニー株式会社 表示装置およびその制御方法
JP4453710B2 (ja) * 2007-03-19 2010-04-21 セイコーエプソン株式会社 液晶装置、電子機器および位置検出方法
EP2212764B1 (en) * 2007-10-11 2017-06-14 Microsoft Technology Licensing, LLC Method for palm touch identification in multi-touch digitizing systems
JP4835578B2 (ja) * 2007-11-09 2011-12-14 ソニー株式会社 表示撮像装置、物体検出プログラムおよび物体の検出方法
KR101542397B1 (ko) * 2007-12-10 2015-08-06 삼성디스플레이 주식회사 접촉 감지 기능이 있는 표시 장치 및 그 구동 방법
JP4720833B2 (ja) * 2008-02-18 2011-07-13 ソニー株式会社 センシング装置、表示装置、電子機器およびセンシング方法
JP4775386B2 (ja) * 2008-02-18 2011-09-21 ソニー株式会社 センシング装置、表示装置、電子機器およびセンシング方法
JP4645658B2 (ja) * 2008-02-18 2011-03-09 ソニー株式会社 センシング装置、表示装置、電子機器およびセンシング方法
KR20090089254A (ko) * 2008-02-18 2009-08-21 세이코 엡슨 가부시키가이샤 센싱 장치, 표시 장치, 전자 기기 및, 센싱 방법
JP4770844B2 (ja) * 2008-02-18 2011-09-14 ソニー株式会社 センシング装置、表示装置および電子機器
WO2009140347A2 (en) * 2008-05-14 2009-11-19 3M Innovative Properties Company Systems and methods for assessing locations of multiple touch inputs
US8576181B2 (en) * 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
JP5519349B2 (ja) * 2009-05-19 2014-06-11 株式会社ジャパンディスプレイ 表示装置および接触検出装置
JP2011100438A (ja) * 2009-06-05 2011-05-19 Rohm Co Ltd 静電容量式入力装置
JP5424475B2 (ja) * 2009-10-13 2014-02-26 株式会社ジャパンディスプレイ 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器

Also Published As

Publication number Publication date
US20110090161A1 (en) 2011-04-21
JP2011086179A (ja) 2011-04-28
CN102043546A (zh) 2011-05-04
TW201135562A (en) 2011-10-16

Similar Documents

Publication Publication Date Title
KR20110042003A (ko) 정보 입력 장치, 정보 입력 방법, 정보 입/출력 장치, 컴퓨터 판독 가능한 비일시적 매체 및 전자 기기
JP5424475B2 (ja) 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器
US9405406B2 (en) Image pickup device, display-and-image-pickup device, electronic apparatus and method of detecting an object
US8860687B2 (en) Display, touch panel and electronic device
US8487886B2 (en) Information input device, information input method, information input/output device, and information input program
US9703403B2 (en) Image display control apparatus and image display control method
EP2256597B1 (en) Information input device, information input method, information input-output device, storage medium, and electronic unit
JP5481127B2 (ja) センサ素子およびその駆動方法、センサ装置、ならびに入力機能付き表示装置および電子機器
JP5347035B2 (ja) 光センサ付き表示装置
TWI439904B (zh) 感測器裝置、驅動感測器元件之方法、具有輸入功能之顯示裝置及電子單元
US8514201B2 (en) Image pickup device, display-and-image pickup device, and electronic device
JP4765473B2 (ja) 表示装置及び入出力パネルの制御装置
US8754857B2 (en) Display apparatus, display apparatus driving method, and electronic device
KR20070063419A (ko) 표시장치
CN108334228B (zh) 触控屏及其驱动方法、触控装置
KR101515868B1 (ko) 표시 장치
JP2009205423A (ja) 表示撮像装置および物体の検出方法
JP5246795B2 (ja) センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
JP2009157605A (ja) 表示装置および方法、プログラム、並びに、電子機器
JP2011107829A (ja) センサ装置、及び画像処理システム
JP2010019915A (ja) 表示装置およびその駆動方法、並びに電子機器
JP2010277151A (ja) 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid