KR101515868B1 - 표시 장치 - Google Patents

표시 장치 Download PDF

Info

Publication number
KR101515868B1
KR101515868B1 KR1020080031622A KR20080031622A KR101515868B1 KR 101515868 B1 KR101515868 B1 KR 101515868B1 KR 1020080031622 A KR1020080031622 A KR 1020080031622A KR 20080031622 A KR20080031622 A KR 20080031622A KR 101515868 B1 KR101515868 B1 KR 101515868B1
Authority
KR
South Korea
Prior art keywords
target
input
frame
information
event
Prior art date
Application number
KR1020080031622A
Other languages
English (en)
Other versions
KR20080091022A (ko
Inventor
료이치 쓰자키
가즈노리 야마구치
쓰토무 하라다
미쓰루 다테우치
Original Assignee
가부시키가이샤 재팬 디스프레이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 재팬 디스프레이 filed Critical 가부시키가이샤 재팬 디스프레이
Publication of KR20080091022A publication Critical patent/KR20080091022A/ko
Application granted granted Critical
Publication of KR101515868B1 publication Critical patent/KR101515868B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0809—Several active elements per pixel in active matrix panels
    • G09G2300/0842—Several active elements per pixel in active matrix panels forming a memory circuit, e.g. a dynamic memory with one capacitor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G09G2360/142—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element the light being detected by light detection means within each pixel

Abstract

표시 장치는 화상의 표시와 외부로부터 입사하는 광의 감지를 행하는 입/출력 유닛을 포함한다. 상기 입/출력 유닛의 표시 화면 상의 복수의 점에 대한 동시 입력이 가능하다. 상기 표시 화면은 투명 또는 반투명의 보호 시트에 의해 덮여져 있다.

Description

표시 장치 {DISPLAY APPARATUS}
본 발명은 표시 장치에 관한 것이며, 특히, 화상의 표시와 외부로부터 입사하는 광의 감지를 행하는 입/출력 유닛을 가지는 표시 장치에 관한 것이다.
액정 표시 장치에 광 센서를 내장시켜 외부로부터의 광의 입력을 광 센서로 검출함으로써, 패널 위의 복수의 점에 관한 정보를 출력하는 한 가지 기술이 제안되어 있다(예를 들면, 일본 특개2004-127272호 공보 참조). 이하, 이러한 장치를 입/출력 패널이라 칭한다.
입/출력 패널에서는, 입사하는 광을 다양한 방법으로 검출할 수 있다. 한 가지 기술에 있어서는, (LED(Light Emitting Diode)와 같은) 외부 광원이 배치된 펜 등을 사용자가 조작한다. 다른 기술에 있어서는, 광원을 가지지 않는 사용자의 손가락이나 펜으로 사용자가 입력 조작을 행하여, 액정 표시 장치로부터 발광되고(구체적으로, 액정 표시 장치의 백라이트 램프로부터 방사된 광이, 액정 표시 장치의 표시 패널을 통해 투과되고), 액정 표시 장치의 표시 화면 근처에 위치하는 사용자의 손가락이나 펜으로부터 액정 표시 장치의 내부로 반사된 광을 광 센서로 검출한다.
또, 정전식(electrostatic type)이나 감압식(pressure sensitive type)의 터치 패널의 경우에는, 터치 패널 상의 한 점이 터치되면, 그 터치된 점에 관한 정보(예를 들면, 점의 좌표를 표시하는 정보)가 출력된다. 그렇지만, 점 정보는 1회에 1개의 점에 대하여만 출력 가능하다.
사용자가 터치 패널 위의 2개의 점을 동시에 터치하면, 터치 패널에서는, 그 2개의 점 중, 압력의 강한 쪽의 점이나 먼저 터치되기 시작한 점을 선택하여, 그 선택된 점에 관한 점 정보가 출력된다.
이와 같은 점을 감안하여, 복수의 점과 관련된 점 정보를 출력할 수 있는 입/출력 패널을 제공하는 것이 바람직하다. 이러한 유형의 입/출력 패널은 다양하게 응용될 수 있을 것이다.
입/출력 패널의 표시 화면은 화상의 표시를 행하는 동시에, 외부로부터 입사하는 광을 감지하는 기능을 한다. 따라서, 표시 화면이 손상되거나, 티끌, 손때 등에 의해 오염되면, 시인성(visibility)뿐만 아니라, 광 감도(light sensitivity)도 저하되어 버린다.
이와 같은 상황을 감안하여, 손상 및 오염에 강한 내성이 있는 입/출력 패널을 제공하는 것이 바람직하다.
본 발명의 실시예에 따르면, 표시 장치가 제공되며, 이 표시 장치는, 화상의 표시와 외부로부터 입사하는 광의 감지를 행하는 입/출력 유닛을 포함하며, 상기 입/출력 유닛의 표시 화면 상의 복수의 점에 대한 동시 입력이 가능하며, 상기 표시 화면은 투명 또는 반투명의 보호 시트에 의해 덮여져 있다.
보호 시트의 표면은, 소정의 형태로 부분적으로 오목하게 또는 볼록하게 되어 있다.
보호 시트의 표면은, 표시 화면에 표시되는 사용자 인터페이스(user interface)에 대응하여, 소정의 형태로 부분적으로 오목하게 또는 볼록하게 되어 있다.
보호 시트는 유색이다.
표시 장치에 있어서는, 전술한 바와 같이, 입/출력 유닛이 화상의 표시와 외 부로부터 입사하는 광의 검출을 행하고, 입/출력 유닛의 표시 화면 상의 복수의 점에 대한 동시 입력이 가능하고, 표시 화면은 투명 또는 반투명의 보호 시트에 의해 덮여 있다.
이러한 표시 장치의 구성에 의하면, 화상의 표시와 외부로부터 입사하는 광의 검출을 행하도록 구성된 표시 화면은 손상 및 오염이 방지될 수 있고, 따라서 표시 장치의 시인성 및 광 감도의 저하를 방지할 수 있다.
본 발명의 실시예를 설명하기 전에, 본 발명의 특징부와 본 발명의 실시예에 기재된 특별한 구성요소 간의 대응 관계는 다음과 같이 된다. 이 기재는, 본 발명을 서포트하는 실시예들이 본 명세서에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 이하의 실시예들에서의 어떤 구성요소가 본 발명의 소정의 특징부와 관련된 것으로 기재되어 있지 않는다 해도, 그 구성요소가 청구의 범위의 그 특징부에 관련되지 않는다는 것을 의미하는 것은 아니다. 역으로, 어떤 구성요소가 본 발명의 특징부에 관련된 것으로 여기에 기재되어 있다고 해도, 그 구성요소가 본 발명의 다른 특징부와 관련되지 않는다는 것을 의미하는 것도 아니다.
본 발명의 실시예에 따르면, 화상의 표시와 외부로부터 입사하는 광의 감지를 행하는 입/출력 유닛(예를 들면, 도 1에 도시된 입/출력 디스플레이(22))를 가지는 표시 장치가 제공된다. 입/출력 유닛은, 이 입/출력 유닛의 표시 화면 상의 복수의 점에 대한 동시 입력이 가능하며, 상기 표시 화면은 보호 시트(예를 들면, 도 2의 표시 화면(51A)이 투명 또는 반투명의 보호 시트(예를 들면, 도 2에 도시된 보호 시트(52), 도 15에 도시된 보호 시트(211), 도 16에 도시된 보호 시트(231), 또는, 도 17에 도시된 보호 시트(261))에 의해 덮여 있다.
이하, 첨부된 도면을 참조하여 양호한 실시예에 대하여 본 발명을 상세히 설명한다.
도 1은, 본 발명의 실시예에 따른 표시 시스템을 나타낸 블록도이다.
도 1에서, 표시 시스템(1)은 예를 들면, 휴대 전화기나 텔레비전(TV) 수상기이다.
표시 시스템(1)은, 안테나(10), 신호 처리 유닛(11), 제어기(12), 기억 유닛(13), 사용자 인터페이스(14), 통신 유닛(15), 및 입/출력 패널(16)로 구성된다.
신호 처리 유닛(11)은, 안테나(10)에 의해 수신된 지상파(terrestrial television radio wave)나 위성파(satellite television radio wave)와 같은 텔레비전 방송파를 변복조한다. 변/복조의 결과로 얻어지는 화상 데이터 및 음성 데이터를 제어기(12)에 공급한다.
제어기(12)는, 사용자 인터페이스(14)으로부터 공급되는 사용자의 조작에 대응하는 조작 신호에 따라 각종의 처리를 행한다. 그 처리 중에 생성된 일시적으로 기억해야 할 데이터(intermediate data)를 기억 유닛(13)에 공급한다. 제어기(12)는, 신호 처리 유닛(11)으로부터 수신되는 화상 데이터 등을 입/출력 패널(16)에 공급한다. 또한, 제어기(12)는, 입/출력 패널(16)로부터 공급되는 타겟 정보 및 이벤트 정보에 따라 화상 데이터를 생성하고, 그 생성된 화상 데이터를 입/출력 디 스플레이(22)에 공급함으로써, 필요에 따라, 그 화상이 입/출력 디스플레이(22)에 표시되는 모드를 변경시킨다.
기억 유닛(13)은 예를 들면, RAM(Random Access Memory)으로 구성된다. 기억 유닛(13)은 데이터를 일시적으로 기억시키기 위해 제어기(12)에 의해 사용된다.
사용자 인터페이스(14)은 예를 들면, 숫자 패드, 키보드 등으로 구성된다. 사용자 인터페이스(14)은 사용자에 의해 조작됨으로써, 사용자에 의해 수행된 조작에 대응하는 조작 신호를 생성하고, 그 생성된 조작 신호를 제어기(12)에 공급한다.
통신 유닛(15)은 무선 전파를 사용하여 무선국(radio station)(도시되지 않음)과의 통신을 행한다.
입/출력 패널(16)은, 제어기(12)로부터 공급되는 화상 데이터에 대응하는 화상을 입/출력 디스플레이(22)에 표시한다. 입/출력 패널(16)은 또한 입/출력 디스플레이(22)로부터 출력되는 수광 신호(sensed light signal)로부터 검출된 하나 이상의 점에 대한 정보에 대해 통합 처리(merging process)와 인식 처리(recognition process)를 행함으로써, 타겟 정보 및 이벤트 정보를 생성하고, 그 생성된 타겟 정보 및 이벤트 정보를 제어기(12)에 공급한다.
입/출력 패널(16)은, 표시 신호 처리 유닛(21), 입/출력 디스플레이(22), 수광 신호 처리 유닛(23), 화상 처리 유닛(24), 및 생성기(25)로 구성된다.
표시 신호 처리 유닛(21)은, 제어기(12)로부터 공급되는 화상 데이터를 처리하여 입/출력 디스플레이(22)에 공급될 화상 데이터를 생성한다. 그 결과 얻어지 는 화상 데이터를 입/출력 디스플레이(22)에 공급한다.
입/출력 디스플레이(22)는 화상의 표시와 외부로부터 입사하는 광의 검출을 행한다. 보다 구체적으로, 입/출력 디스플레이(22)는, 표시 신호 처리 유닛(21)으로부터 공급되는 화상 데이터에 대응하는 화상을 표시 화면에 표시한다. 입/출력 디스플레이(22)는, 표시 화면 전체에 분포하도록 배치된 복수의 광 센서(22A)를 내장하여, 외부로부터 입사하는 광을 검출하고, 그 입사광의 광도에 대응하는 수광 신호를 생성하며, 그 생성된 수광 신호를 수광 신호 처리 유닛(23)에 공급한다.
수광 신호 처리 유닛(23)은, 입/출력 디스플레이(22)로부터 공급되는 수광 신호를 처리하여, 입/출력 디스플레이(22)의 표시 화면에 사용자의 손가락이 근접 또는 접촉되어 있는 영역과, 표시 화면에 아무것도 근접 및 접촉하고 있지 않은 부분 사이에서 휘도가 상이한 화상을 프레임 단위로 생성한다. 이 생성된 화상을 화상 처리 유닛(24)에 공급한다.
화상 처리 유닛(24)은, 수광 신호 처리 유닛(23)으로부터 공급되는 각 프레임의 화상에 대하여, 2치화(binarization), 노이즈 제거(noise removal), 라벨링(labeling)의 화상 처리를 행함으로써, 입/출력 디스플레이(22)의 표시 화면에 사용자의 손가락 또는 펜이 근접 또는 접촉되어 있는 입력 스폿(input spot)을 검출한다. 화상 처리 유닛(24)은, 입력 스폿에 관한 점 정보(보다 구체적으로, 표시 화면 상의 입력 스폿의 대표 점의 좌표를 나타내는 정보)를 얻고 그 점 정보를 생성기(25)에 공급한다.
생성기(25)는, 화상 처리 유닛(24)으로부터 공급되는 입력 스폿에 관한 점 정보에 대해 통합 처리를 행함으로써, 타겟에 관한 정보(이하에서는 간략하게 타겟 정보라 칭함)를 생성한다. 또한, 생성기(25)는, 타겟 정보에 따라, 인식 처리(후술 됨)를 행함으로써, 타겟의 상태의 변화를 나타내는 이벤트 정보(event information)를 생성한다. 통합 처리에서도, 일부의 이벤트 정보가 생성된다는 것에 유념하여야 한다.
생성기(25)는, 타겟 생성기(31), 이벤트 생성기(32), 및 기억 유닛(33)으로 구성되며, 타겟 정보 및 이벤트 정보를 프레임마다 생성하고, 그 생성된 타겟 정보 및 이벤트 정보를 제어기(12)에 공급한다.
입/출력 디스플레이(22)에 대하여는, 그 표시 화면에 사용자의 손가락 등을 근접 또는 접촉시킴으로써, 정보를 입력할 수 있다. 입/출력 디스플레이(22)에 대한 일련의 입력이 타겟이다. 보다 구체적으로, 예를 들면, 입/출력 디스플레이(22)의 표시 화면에 대하여, 손가락이 근접 또는 접촉한 후, 손가락이 근접 또는 접촉한 상태를 유지하면서 손가락이 이동하면, 그리고 손가락이 표시 화면으로부터 멀어지면, 입/출력 디스플레이(22)의 표시 화면에 일련의 입력에 의해 타겟이 형성된다.
이벤트는 타겟의 상태의 변화를 나타낸다. 예를 들어, 타겟의 위치가 변화하거나, 타겟이 새롭게 출현하거나, 타겟이 소멸하거나 할 때, 이벤트가 생성된다.
생성기(25)의 타겟 생성기(31)는, 복수의 프레임에 걸쳐 화상 처리 유닛(24)으로부터 공급되는 프레임마다 입력 스폿에 관한 점 정보를 통합하고, 입력 스폿의 시간적 위치 및/또는 공간 위치 관계에 따라서, 외부로부터 입력이 있었던 일련의 입력을 나타내는 타겟 정보를 생성한다. 이와 같이 생성된 타겟 정보를 기억 유닛(33)에 공급한다.
예를 들어, 화상 처리 유닛(24)으로부터 타겟 생성기(31)에 공급되는 입력 스폿에 관한 점 정보가, 시각 t+1의 (t+1)번째 프레임의 점 정보인 것으로 하면, 타겟 생성기(31)는 (t+1)번째 프레임의 입력 스폿에 관한 점 정보와, 시간적으로 바로 (t+1)번째 프레임 이전인 시각 t의 t번째 프레임에 관한 타겟 정보를 비교한다.
t번째 프레임이 있는 소정의 타겟을, 주목 타겟(target of interest)으로서 주목하는 것으로 하면, 타겟 생성기(31)는, 주목 타겟에 대하여 (t+1)번째 프레임으로부터 공간적으로 가장 가까운 관계에 있는 입력 스폿을 검출하고, 이 검출된 입력 스폿을 일련의 입력에 의해 주어진 주목 타겟의 일부로서 간주하여, 이 검출된 입력 스폿을 주목 타겟에 통합한다.
주목 타겟에 대하여 공간적으로 가까운 관계에 있는 입력 스폿이 (t+1)번째 프레임에 존재하지 않는 경우에, 타겟 생성기(31)는, 일련의 입력이 종료된 것으로 판단하여, 주목 타겟을 삭제한다.
타겟에 통합되지 않고 남은 입력 스폿이 (t+1)번째 프레임에서 검출되는 경우에, 타겟 생성기(31)는, 새로운 일련의 입력이 개시된 것으로 판단하여 새로운 타겟을 생성한다. 타겟 생성기(31)는 통합된 타겟에 관한 정보와 새롭게 생성된 타겟에 관한 정보를, (t+1)번째 프레임에 관한 타겟 정보로서 기억 유닛(33)에 공급한다.
이벤트 생성기(32)는, 타겟 정보에 따라 각각의 타겟의 상태의 변화를 나타내는 이벤트 정보를 필요에 따라 생성하며, 이벤트 생성기(32)는 그 이벤트 정보를 기억 유닛(33)에 공급한다. 보다 구체적으로, 예를 들면, 이벤트 생성기(32)는, t번째 프레임에 관한 타겟 정보와, (t+1)번째 프레임에 관한 타겟 정보, 및 필요하다면 기억 유닛(33)에 기억되어 있는 t번째 프레임 이전의 하나 이상의 프레임의 타겟 정보를 분석하여, 이벤트, 즉 타겟의 상태의 변화를 검출한다. 이벤트 생성기(32)는, 검출된 이벤트의 내용을 나타내는 이벤트 정보를 생성하고, 그 생성된 이벤트 정보를 (t+1)번째 프레임의 이벤트 정보로서 기억 유닛(33)에 공급한다.
이벤트 생성기(32)는, 기억 유닛(33)으로부터 (t+1)번째 프레임에 관한 타겟 정보 및 이벤트 정보를 판독하고 그것들을 제어기(12)에 공급한다.
기억 유닛(33)은, 타겟 생성기(31)로부터 공급되는 타겟 정보와, 이벤트 생성기(32)로부터 공급되는 이벤트 정보를 기억한다.
도 2는 입/출력 디스플레이(22)의 외관의 구성의 예를 개략적으로 나타낸 도면이다. 입/출력 디스플레이(22)는 본체(51) 및 화상을 표시하거나 외부로부터 입사하는 광을 검출하는 표시 화면(51A)을 포함한다. 표시 화면(51A)은 손상이나 오염을 방지하기 위한 보호 시트(52)에 의해 덮여 있다.
보호 시트(52)는 얇은 판의 투명한 소재로 형성될 수 있다. 여기서 사용된 투명 재료는, 가볍고 상처나 오염에 강하고, 내구성이 뛰어나 가공하기 쉬운 것이 바람직하다. 이 목적을 위한 소재로서 예를 들어 아크릴 수지가 사용될 수 있다. 보호 시트(52)는 표시 화면(51A)을 덮도록 나사 등을 사용하여 표시 화면(51A)에 연결되거나, 셀로폰 막(cellophone film)과 같은 접착제를 사용하여 표시 화면(51A)을 덮도록 표시 화면(51A)에 접착된다.
보다 구체적으로, 예를 들면, 보호 시트(52)는 다층 구조로 형성될 수 있는 데, 이 다층 구조의 표시 화면(51A)과 접촉하는 한 면(배면)은 실리콘 수지와 같은 투명하고 접착성이 있는 가벼운 소재로 이루어지고, 배면과 반대의 면(외부 면)은 투명하고, 가볍고, 상처나 오염에 강하고, 내구성이 뛰어난, PET(Polyethylene Terephthalate)와 같은 소재로 이루어진다. 보호 시트(52)는 표시 화면(51A)을 덮도록 표시 화면(51A)에 접착된다.
보호 시트(52)는, 투명한 소재로 이루어져 있으므로, 입/출력 디스플레이(22)의 시인성, 및 수광 감도를 높일 수 있다는 것에 유의하여야 한다. 또, 입/출력 디스플레이(22)의 표시 화면(51A)에는, 사용자의 손가락이나 펜이 자주 접촉하지만, 보호 시트(52)에 의해 표시 화면(51A)의 표면의 손상이나 오염이 방지되고, 이에 따라 표시 화면(51A)의 시인성 및 수광 감도의 저하가 방지된다.
엄격하게 말해서, 사용자의 손가락이나 펜은 표시 화면(51A)에 직접 접촉하는 것이 아니라 보호 시트(52)를 통해 접촉하는 것이다. 그렇지만, 이하의 설명에서는, 이해를 쉽게 하기 위해, "표시 화면(51A)에 접촉하는" 것으로 간략하게 표현한다.
도 3은 입/출력 디스플레이(22)의 본체(51)의 다층 구조의 예를 개략적으로 나타낸 도면이다.
입/출력 디스플레이(22)의 본체(51)는, 유리 등으로 구성된 2개의 투명한 기 판인 TFT(Thin Film Transistor) 기판(61)과 대향 전극 기판(62)을 서로 평행하게 배치시키고, 이 2개의 투명한 기판 사이에 트위스티드 네마틱(twisted nematic: TN) 액정과 같은 액정을 밀봉함으로써 이 2개의 투명한 기판 사이에 액정층(63)을 형성한다.
TFT 기판(61)의, 액정층(63)에 대향하는 표면에는, 스위칭 소자로서의 박막 트랜지스터(TFT), 화소 전극, 및 이 박막 트랜지스터와 화소 전극을 절연시키는 절연층으로 이루어지는 전극층(64)이 형성되어 있다. 대향 전극 기판(62)의, 액정층(63)에 대향하는 표면에는, 대향 전극(65) 및 컬러 필터(66)가 형성되어 있다. 이러한 부분들, 즉 TFT 기판(61), 대향 전극 기판(62), 액정층(63), 전극층(64), 대향 전극(65), 및 컬러 필터(66)에 의해, 투과형의 액정 표시 패널이 형성된다. TFT 기판(61)은 액정층(63)에 마주하는 표면에 대향하는 표면 상에 배치된 편광판(67)을 가진다. 마찬가지로, 대향하는 전극 기판(62)은 액정층(63)에 마주하는 표면에 대향하는 표면에 배치된 편광판(68)을 가진다.
또한, 보호 시트(52)는, 편광판(68)의 대향 전극 기판(62)에 마주하는, 표면을 덮도록 배치된다.
액정 표시 패널의 배면 측에는 백라이트(69)가 설치되어, 이 백라이트(69)로부터 방출되는 광에 의해, 배면 측으로부터 액정 표시 패널을 조명함으로써, 액정 표시 패널에 컬러 화상을 표시할 수 있다. 백라이트(69)는 형광관이나 발광 다이오드와 같은 복수의 광원의 어레이의 형태로 구성될 수 있다. 백라이트(69)는 고속으로 온/오프 할 수 있는 것이 바람직하다.
전극층(64)에는, 수광 소자(light sensing element)로서 작용하는 복수의 광 센서(22A)가 형성되어 있다. 각각의 광 센서(22A)를 액정 디스플레이의 발광 소자 중 대응하는 발광 소자에 인접하여 배치함으로써, 발광(화상의 표시)과 수광(입력의 판독)을 동시에 행하는 것이 가능해진다.
도 4는 입/출력 디스플레이(22)의 동작을 제어하는 드라이버를 다양한 위치에 배치하는 예를 나타낸 도면이다.
도 4에 나타낸 예에서, 입/출력 디스플레이(22)의 중앙에, 투명한 표시 영역(센서 영역)(81)이 배치되고, 이 표시 영역(81)의 각각의 4개의 측면에 외측으로 인접하는 주변 영역에, 표시용 수평 드라이버(horizontal display driver)(82), 표시용 수직 드라이버(vertical display driver)(83), 센서용 수직 드라이버(vertical sensor driver)(84), 센서용 수평 드라이버(horizontal sensor driver)(85)가 배치되어 있다.
표시용 수평 드라이버(82)와 표시용 수직 드라이버(83)는, 화상 신호 선(86)을 통하여 공급되는 표시용 화상 데이터로서 공급되는 표시 신호와 제어 클록 신호에 따라, 표시 영역(81)에 어레이의 형태로 배치되어 있는 화소의 구동을 행한다.
센서용 수직 드라이버(84)와 센서 판독용 수평 드라이버(85)는, 외부로부터 공급되는 판독용 클록 신호(도시하지 않음)에 동기하여, 수광 센서(22A)로부터 출력된 수광 신호를 판독하고, 이 수광 신호를 수광 신호 선(87)을 통하여, 도 1에 도시된 수광 신호 처리 유닛(23)에 공급한다.
도 5는 입/출력 디스플레이(22)의 표시 영역(81)에 어레이의 형태로 배치되 는 화소 중 하나에 대한 회로 구성의 예를 나타낸 도면이다. 도 5에 도시된 바와 같이, 각각의 화소(101)는, 광 센서(22A)로서 기능하는 박막 트랜지스터(TFT), 스위칭 소자(111), 화소 전극(112), 리셋 스위치(113), 커패시터(114), 버퍼 증폭기(115), 및 스위치(116)로 구성된다. 스위칭 소자(111) 및 화소 전극(112)은, 표시 기능을 실현하는 디스플레이를 형성하는 반면, 광 센서(22A), 리셋 스위치(113), 커패시터(114), 버퍼 증폭기(115), 및 스위치(116)는, 수광 기능을 실현하는 수광부를 형성한다.
스위칭 소자(111)는, 수평 방향으로 연장되는 게이트 선(121)과 수직 방향으로 연장되는 표시 신호 선(122)의 교점에 배치되며, 스위칭 소자(111)의 게이트는 게이트 선(121)에 접속되는 반면, 스위칭 소자(111)의 드레인은 표시 신호 선(122)에 접속된다. 스위칭 소자(111)의 소스는, 화소 전극(112)의 일단에 접속되어 있다. 화소 전극(112)의 타단은 상호접속 선(interconnection line)(123)에 접속된다.
스위칭 소자(111)는, 게이트 선(121)을 통하여 공급되는 신호에 의해 턴 온 또는 턴 오프되며, 표시 신호 선(122)을 통하여 공급되는 신호에 의해, 화소 전극(112)의 표시 상태가 결정된다.
광 센서(22A)는 화소 전극(112)에 인접한 위치에 배치되고, 광 센서(22A)의 일단은 전원 전압 VDD가 공급되는 전원선(124)에 접속되고, 광 센서(22A)의 일단은 리셋 스위치(113)의 일단, 커패시터(114)의 일단, 및 버퍼 증폭기(115)의 입력 단자에 접속되어 있다. 리셋 스위치(113)의 일단(광 센서(22A)의 일단에 접속되어 있는 일단과는 상이한 일단), 및 커패시터(114)의 일단(광 센서(22A)의 일단에 접속되어 있는 일단과는 상이한 일단)은 모두 접지 단자 VSS에 접속되어 있다. 버퍼 증폭기(115)의 출력 단자는 판독 스위치(116)를 통하여 센서 신호 선(125)에 접속되어 있다.
리셋 스위치(113)의 온/오프는, 리셋 선(126)을 통해 공급되는 신호에 의해 제어된다. 판독 스위치(116)의 온/오프는 판독 선(127)을 통해 공급되는 신호에 의해 제어된다.
광 센서(22A)에 있어서의 동작은 다음과 같이 행해진다.
먼저, 리셋 스위치(113)를 온으로 하여, 광 센서(22A)의 전하의 리셋을 행한다. 그 후, 리셋 스위치(113)를 오프한다. 그 결과, 광 센서(22A)에 입사하는 수광량에 대응하는 전하가 커패시터(114)에 축적된다. 이 상태에서, 판독 스위치(116)를 온 하면, 커패시터(114)에 축적된 전하가, 버퍼 증폭기(115)를 통하여, 센서 신호 선(125)에 공급되고, 최종적으로 외부로 출력된다.
다음에, 도 6에 도시된 흐름도를 참조하여, 표시 시스템(1)에 의해 수행되는 화상의 표시/수광 프로세스에 대하여 설명한다.
표시 시스템(1)에 의한 이 동작은, 예를 들면, 사용자가 표시 시스템(1)의 전원을 온으로 하면, 개시된다.
이하의 설명에 있어서는, 이미, 단계 S1 내지 S8의 처리가 t번째 프레임까지 행해져 있고, 기억 유닛(33)에는, 적어도, t번째 프레임 이전의 타겟 정보 및 이벤트 정보가 이미 기억되어 있는 것으로 한다.
단계 S1에 있어서, 입/출력 디스플레이(22)의 광 센서(22A)는, 표시 화면(51A)에 손가락 등이 근접 또는 접촉되어 있는 영역으로부터 반사되어 광 센서(22A)에 입사되는 광과 같은, 외부로부터의 광을 수광하며, 광 센서(22A)는 그 입사되는 입사광의 광도에 대응하는 수광 신호를 수광 신호 처리 유닛(23)에 공급한다.
단계 S2에 있어서, 수광 신호 처리 유닛(23)은, 입/출력 디스플레이(22)로부터 공급되는 수광 신호에 소정의 처리를 행함으로써, 입/출력 디스플레이(22)의 표시 화면에 사용자의 손가락이 근접 또는 접촉되어 있는 영역과, 표시 화면에 아무것도 근접 및 접촉하고 있지 않은 부분 사이의 휘도가 상이한 (t+1)번째 프레임의 화상을 생성한다. 이와 같이 생성된 화상을, (t+1)번째 프레임의 화상으로서 화상 처리 유닛(24)에 공급한다.
단계 S3에 있어서, 화상 처리 유닛(24)은, 수광 신호 처리 유닛(23)으로부터 공급되는 (t+1)번째 프레임의 화상에 대하여, 2치화, 노이즈 제거, 라벨링의 화상 처리를 행함으로써, (t+1)번째 프레임에 대하여, 입/출력 디스플레이(22)의 표시 화면(51A)에 사용자의 손가락 등이 근접 또는 접촉된 입력 스폿을 검출한다. 화상 처리 유닛(24)은, 그 검출된 입력 스폿에 관한 점 정보를 생성기(25)에 공급한다.
단계 S4에 있어서, 생성기(25)의 타겟 생성기(31)는, 화상 처리 유닛(24)으로부터 공급되는 (t+1)번째 프레임의 입력 스폿에 관한 점 정보에 대해 통합 처리를 행하고, 이 통합 처리의 결과에 따라 (t+1)번째 프레임에 관한 타겟 정보를 생성한다. 이와 같이 생성된 타겟 정보를 기억 유닛(33)에 기억시킨다. 또, 생성 기(25)의 이벤트 생성기(32)는, 타겟 정보에 따라 통합 처리를 행함으로써, (t+1)번째 프레임에서 생기는 이벤트를 나타내는 이벤트 정보, 예를 들면, 그러한 이벤트가 생겼을 때 타겟의 생성 및 소멸을 나타내는 이벤트 정보를 생성한다. 이와 같이 생긴 이벤트 정보를 기억 유닛(33)에 기억시킨다. 통합 처리의 상세한 것에 대하여는 도 8 내지 도 12를 참조하여 후술한다.
단계 S5에 있어서, 생성기(25)의 이벤트 생성기(32)는 타겟 정보에 따라 인식 처리를 행함으로써, (t+1)번째 프레임에 대하여, 타겟의 상태의 변화를 나타내는 이벤트 정보를 생성한다. 이와 같이 생성된 이벤트 정보를 기억 유닛(33)에 기억시킨다.
예를 들어, 사용자가 표시 화면(51A)에 자신의 손가락을 근접 또는 접촉시킨 채로 이동시킨 경우, 즉, 타겟이 이동한 경우, 이벤트 생성기(32)는, 이벤트 "이동(MoveStart)"을 생성하고, 이벤트 "이동"에 관한 정보를 기억 유닛(33)에 기억시킨다.
예를 들어, 사용자가 표시 화면(51A)에 근접 또는 접촉시킨 채로 이동시켜 있던 손가락을 정지한 경우, 즉, 타겟이 정지한 경우, 이벤트 생성기(32)는 이벤트 "정지(Movestop)"를 생성하고, 이벤트 "정지"에 관한 정보를 기억 유닛(33)에 기억시킨다.
사용자가 표시 화면(51A)에 자신의 손가락을 근접 또는 접촉시키고, 손가락을 표시 화면(51A)에 계속 근접 또는 접촉시키면서 표시 화면(51A)의 표면을 따라 손가락을 특별한 거리만큼 이동시키고, 마지막으로 표시 화면(51A)으로부터 자신의 손가락을 멀어지게 한 경우에, 근접 또는 접촉을 개시했을 때의 손가락의 위치와 근접 및 접촉을 종료했을 때의 손가락의 위치 사이의 거리가 미리 결정된 임계값 이상이면, 즉, 이동 거리가 미리 결정된 임계값 이상이 되어 타겟이 소멸하면, 이벤트 생성기(32)는, 이벤트 "투사(Project)"를 생성하고, 이벤트 "투사"에 관한 정보를 기억 유닛(33)에 기억시킨다.
사용자가 표시 화면(51A)에 자신의 2개의 손가락을 근접 또는 접촉시키고, 2개의 손가락을 표시 화면(51A)에 계속 근접 또는 접촉시키면서 2개의 손가락의 사이의 거리를 증가시키거나 감소시키도록 2개의 손가락을 이동시키고, 마지막으로 표시 화면(51A)으로부터 자신의 2개의 손가락을 멀어지게 한 경우에, 손가락들 사이의 초기의 거리에 대한 최종 증가된 거리의 비율이 미리 결정된 임계값 이상인지 또는 손가락들 사이의 초기의 거리에 대한 최종 감소된 거리의 비율이 미리 결정된 임계값 이하인지를 판단한다. 판단 결과가 긍정(positive)이면, 이벤트 생성기(32)는, 이벤트 "확대(Enlarge)" 또는 "축소(Reduce)"를 생성하고, 그 생성된 이벤트에 관한 정보를 기억 유닛(33)에 기억시킨다.
사용자가 표시 화면(51A)에 자신의 2개의 손가락을 근접 또는 접촉시키고, 2개의 손가락을 표시 화면(51A)에 계속 근접 또는 접촉시키면서, 표시 화면(51A) 상의 특별한 점을 중심으로 한 동심원을 그리도록 2개의 손가락을 이동시키고, 마지막으로 자신의 2개의 손가락을 멀어지게 한 경우에, 초기의 프레임의 표시 화면(51A) 상의 2개의 손가락의 초기 위치에 의해 정해진 초기 직선과 최종 프레임((t+1)번째 프레임)의 표시 화면(51A) 상의 2개의 손가락의 최종 위치에 의해 정 해진 최종 직선 사이의 회전각의 절대값이 미리 결정된 임계값 이상인지를 판단한다. 판단 결과가 긍정이면, 즉 2개의 타겟에 의해 정해진 라인이 미리 결정된 임계값 이상의 각도로 어느 한 방향으로 회전하면, 이벤트 생성기(32)는, 이벤트 "회전(Rotate)"을 생성하고, 그 생성된 이벤트에 관한 정보를 기억 유닛(33)에 기억시킨다.
사용자가 표시 화면(51A)에 3개의 손가락을 근접 또는 접촉시키고, 3개의 손가락을 계속 근접 또는 접촉시키면서, 표시 화면(51A) 상의 특별한 점을 중심으로 한 동심원을 그리도록 3개의 손가락을 이동시키고, 마지막으로 3개의 손가락을 표시 화면으로부터 멀어지게 한 경우에, 3개의 손가락 중 2개의 손가락에 의해 이루어질 수 있는 모든 조합마다, 초기의 프레임의 표시 화면(51A) 상의 3개의 손가락 중 2개의 손가락의 위치에 의해 정해진 초기 직선과 최종 프레임((t+1)번째 프레임)의 표시 화면(51A) 상의 2개의 손가락의 최종 위치에 의해 정해진 최종 직선 사이의 회전각을 결정하는 계산이 수행된다. 그런 다음 3개의 손가락 중 2개의 손가락에 의해 이루어지는 각각의 조합에 의해 수행된 회전각의 평균을 계산하고, 평균 회전각의 절대값이 미리 결정된 임계값 이상인지를 판단한다. 판단 결과가 긍정이면, 즉, 3개의 타겟이 생성되고부터 소멸하기까지의 사이에 총 3개의 타겟 중 2개의 타겟에 의해 각각 정해진 3개의 직선의 회전각의 평균이 미리 결정된 임계값 이상이면, 이벤트 생성기(32)는, 이벤트 "3점 회전(ThreePointRotate)"을 생성하고, 그 생성된 이벤트에 관한 정보를 기억 유닛(33)에 기억시킨다.
단계 S6에 있어서, 생성기(25)의 이벤트 생성기(32)는, 기억 유닛(33)으로부 터 (t+1)번째 프레임에 관한 타겟 정보 및 이벤트 정보를 판독하고, 그것들을 제어기(12)에 공급한다.
단계 S7에 있어서, 제어기(12)는, 입/출력 패널(16)의 생성기(25)로부터 공급되는 타겟/이벤트 정보에 따라 화상 데이터를 생성하고, 그 생성된 화상 데이터를 표시 신호 처리 유닛(21)을 통하여 입/출력 디스플레이(22)에 공급함으로써, 필요에 따라 화상이 입/출력 디스플레이(22) 상에서 표시되는 모드를 변경시킨다.
단계 S8에 있어서, 입/출력 디스플레이(22)는, 제어기(12)의 표시 제어에 따라 화상이 표시되는 표시 모드를 변경시킨다. 예를 들면, 화상이 시계 방향으로 90° 회전되어 그 생성된 화상이 표시된다.
그 후 처리는 단계 S1로 복귀하여, 다음의 (t+2)번째 프레임에 대하여, 전술한 처리가 수행된다.
도 7은 도 6의 표시/수광 동작을 행하도록 구성된 소프트웨어의 구성예를 도시한다.
여기서, 표시/수광 소프트웨어는, 수광 신호 처리를 행하는 소프트웨어 모듈, 점 정보 생성 처리를 행하는 소프트웨어 모듈, 통합 처리를 행하는 소프트웨어 모듈, 인식 처리를 행하는 소프트웨어 모듈, 출력 처리를 행하는 소프트웨어 모듈, 및 상위 어플리케이션으로서의 표시 제어 소프트웨어 모듈을 포함한다.
도 7에 있어서, 입/출력 디스플레이(22)의 광 센서(22A)는, 외부로부터 입사하는 광을 수광하고 1프레임의 수광 신호를 생성한다. 전술한 바와 같이, 입사하는 광은, 예를 들면, 표시 화면(51A)에 근접 또는 접촉되어 있는 손가락으로부터 반사된 광이다.
수광 신호 처리 계층에서는, 입/출력 디스플레이(22)로부터 공급되는 1프레임의 수광 신호에 대해, 예를 들면, 증폭이나 필터 처리 등의 수광 신호 처리를 수행하며, 이에 의해 1프레임의 수광 신호에 대응하는 1프레임의 화상을 생성한다.
수광 신호 처리 계층의 바로 위의 상위 계층인 점 정보 생성 계층에서는, 수광 신호 처리로 얻어지는 화상에 대하여, 예를 들면, 2치화, 노이즈 제거, 라벨링 등의 화상 처리를 수행하고, 입/출력 디스플레이(22)의 표시 화면(51A)에 손가락 등이 근접 또는 접촉되어 있는 영역인 입력 스폿이 검출된다. 그리고 입력 스폿에 관한 점 정보는 프레임마다 생성된다.
점 정보 생성 계층의 바로 위의 상위 계층인 통합 계층(merging layer)에서는, 점 정보 생성 처리로 얻어지는 점 정보에 대해 통합 처리가 행해지고, 프레임마다 타겟 정보가 생성된다. 현재의 프레임의 타겟 정보에 따라, 타겟의 생성이나 삭제(소멸)를 나타내는 이벤트 정보가 생성된다.
통합 계층의 바로 위의 상위 계층인 인식 계층(recognition layer)에서는, 통합 처리에 의해 생성된 타겟 정보에 따라서, 사용자의 손가락의 모션이나 제스처가 인식되고, 타겟의 상태의 변화를 나타내는 이벤트 정보가 프레임마다 생성된다.
인식 계층의 바로 위의 상위 계층인 출력 계층에서는, 통합 처리에 의해 생성된 타겟 정보 및 이벤트 정보와, 인식 처리에 의해 생성된 이벤트 정보가, 프레임마다 출력된다.
출력 계층의 바로 위의 상위 계층인 표시 제어 계층에서는, 출력 처리로 출 력된 타겟 정보 및 이벤트 정보에 따라, 화상 데이터가 도 1에 도시된 입/출력 패널(16)의 입/출력 디스플레이(22)에 필요에 따라 공급됨으로써, 화상이 입/출력 디스플레이(22)에 표시되는 모드가 변경된다.
다음에, 도 8 내지 도 12를 참조하여, 도 1의 생성기(25)에 의한 통합 처리에 대해 더 상세하게 설명한다.
도 8은 시각 t의 t번째 프레임에 존재하는 타겟을 나타내고 있다.
도 8에서는 (후술하는 도 9 및 도 10에서도 마찬가지로), 설명의 편의상, 프레임 상에 그리드를 표시하고 있다.
도 8에 있어서, 시각 t의 t번째 프레임에는, 3개의 타겟 #1, #2, 및 #3이 존재한다. 각각의 타겟에 속성을 할당할 수 있다. 속성에는, 예를 들면, 각각의 타겟을 특별하기 위한 특별 정보로서의 타겟 ID(Identifier)가 포함될 수 있다. 도 8에 도시된 예에서, 각각의 3개의 타겟에 대하여 #1, #2, 및 #3이 타겟 ID로서 할당되어 있다.
예를 들어, 사용자가 3개의 손가락을, 입/출력 디스플레이(22)의 표시 화면(51A)에 근접 또는 접촉시키고 있는 경우에, 이러한 3개의 타겟 #1, #2, #3이 출현할 수 있다.
도 9는 시각 t의 t번째 프레임에 뒤이은 시각 t+1의 (t+1)번째 프레임의 통합 처리 전의 상태를 나타내고 있다.
도 9에 도시된 예에서, (t+1)번째 프레임에는, 4개의 입력 스폿 #a 내지 #d가 존재한다.
예를 들면, 사용자가 4개의 손가락을 입/출력 디스플레이(22)의 표시 화면(51A)에 근접 또는 접촉시키고 있는 경우에, 4개의 입력 스폿 #a 내지 #d가 출현하는 상태가 생길 수 있다.
도 10은 도 8에 나타낸 t번째 프레임과 도 9에 나타낸 (t+1)번째 프레임을 중첩하는 상태를 나타내고 있다.
통합 처리에서는, 시간적으로 서로 가까운 관계에 있는 t번째 프레임과 (t+1)번째 프레임의 2개의 입력 스폿이 비교된다. 통합 처리에서 t번째 프레임이 있는 타겟을 주목 타겟으로서 주목할 때, 이 주목 타겟에 공간적으로 가까운 관계에 있는 입력 스폿이 검출되면, 이 입력 스폿을 주목 타겟에 속하는 일련의 입력 스폿 중 하나로서 간주하여, 그 검출된 입력 스폿을 주목 타겟에 통합한다. 입력 스폿과 타겟 간의 거리(예를 들어, 그리드의 블록들에 대응하는 거리)가 미리 결정된 임계값보다 작은지를 판단함으로써 특별한 입력 스폿이 특별한 타겟에 속하는지에 대한 판단이 수행될 수 있다.
주목 타겟에 공간적으로 가까운 관계에 있는 복수의 입력 스폿이 존재하는 경우에는, 그 복수의 입력 스폿 중 주목 타겟에 가장 가까운 입력 스폿이 선택되고, 그 선택된 입력 스폿이 주목 타겟에 통합된다.
통합 처리에서, 주목 타겟에 공간적으로 가까운 관계에 있는 입력 스폿이 존재하지 않는 경우에는, 일련의 입력 스폿에 의한 입력이 종료된 것으로 판단하여, 주목 타겟이 삭제된다.
또한, 통합 처리에서는, 예를 들면, 어떠한 타겟에도 통합되지 않고 남은 입 력 스폿이 검출되면, 즉, 어떠한 타겟에도 공간적으로 가까운 관계가 없는 입력 스폿에 대하여는, 일련의 입력 스폿이 새로이 개시된 것으로 판단하여, 새로운 타겟이 생성된다.
도 10에 도시된 예에서, (t+1)번째 프레임의 입력 스폿 #a 내지 #d의 위치와 t번째 프레임의 타겟 #1 내지 #3의 위치를 검사함으로써 통합 처리가 행해진다. 이 예에서, 타겟 #1에 공간적으로 가까운 위치에서 입력 스폿 #a와 #b가 검출된다. 입력 스폿 #b가 입력 스폿 #a보다 타겟 #1에 더 가까운 것으로 판단되어, 입력 스폿 #b가 타겟 #1에 통합된다.
도 10에 도시된 예에서는, 타겟 #2에 공간적으로 가까운 위치에는 입력 스폿이 존재하지 않으므로 이 타겟 #2는 삭제된다. 이 경우, 타겟이 삭제되었을 나타내는 이벤트 "삭제(Delete)"가 생성된다.
도 10에 도시된 예에서는, 타겟 #3의 근방에 입력 스폿 #c와 #d가 존재한다. 이 특정한 경우에는, 입력 스폿 #d가 입력 스폿 #c보다 타겟 #3에 가까우므로, 입력 스폿 #d가 타겟 #3에 통합된다.
입력 스폿 #a와 #c는 타겟 #1 내지 #3 중 어느 것에도 통합되지 않고 남는다. 그러므로 이 2개의 스폿에 대한 새로운 타겟이 생성되고, 새로운 타겟이 생성된 것을 나타내는 이벤트 "생성(Create)"이 생성된다.
통합 처리에서는, t번째 프레임에 관한 타겟 중 삭제되지 않고 남은 타겟과 (t+1)번째 프레임의 입력 스폿 중 통합되지 않고 남은 입력 스폿에 대응하는 새롭게 생성된 타겟이, (t+1)번째 프레임에 관한 타겟으로 된다. 그런 다음 (t+1)번째 프레임에 관한 타겟 정보가 (t+1)번째 프레임의 입력 스폿에 관한 점 정보에 따라 생성된다.
입력 스폿에 관한 점 정보는, 수광 신호 처리 유닛(23)으로부터 화상 처리 유닛(24)에 공급되는 수광 화상(sensed light image)의 각각의 프레임에 대하여 화상 처리를 행함으로써 얻어진다.
도 11은 수광 화상의 예를 나타내고 있다.
도 11에 도시된 수광 화상에는, 3개의 입력 스폿 #1 내지 #3이 존재한다.
수광 화상 상의 각각의 입력 스폿은, 표시 화면(51A)에 근접 또는 접촉되어 손가락으로부터 반사된 광이 수광되는 스폿이다. 그러므로 각각의 입력 스폿은, 표시 화면(51A)의 손가락이 근접 및 접촉하고 있지 않은 다른 영역에 비해, 높거나 또는 낮은 휘도를 갖는다. 화상 처리 유닛(24)은, 수광 화상의 휘도가 높거나 또는 낮은 영역을 입력 스폿으로서 검출하고, 그 입력 스폿의 특징값(feature value)을 나타내는 입력 정보를 출력한다.
점 정보로서는, 입력 스폿을 대표하는 점의 위치를 나타내는 정보와 입력 스폿의 영역 및 크기를 나타내는 정보를 사용할 수 있다. 보다 구체적으로, 예를 들어, 입력 스폿의 중심(center)(예를 들면, 입력 스폿을 완전히 에워싸는 최소의 원의 중심)의 좌표나, 입력 스폿의 중심(barycenter)의 좌표를 사용하여 입력 스폿의 대표적인 점의 위치를 나타낸다. 입력 스폿의 크기는 입력 스폿의 영역(도 11의 사선 부분)에 의해 표시될 수 있다.
입력 스폿의 영역은, 예를 들면, 입력 스폿을 완전히 에워싸는 최소의 직사 각형의 상단의 좌표, 하단의 좌표, 좌측단의 좌표, 및 우측단의 좌표로 나타낼 수 있다.
타겟 정보 중 타겟 속성 정보는, 타겟에 통합되는 입력 스폿의 점 정보에 따라 생성된다. 보다 구체적으로, 예를 들어, 타겟에 입력 스폿이 통합될 때, 타겟에 대하여 고유하게 할당된 식별 정보인 타겟 ID가 유지되지만, 그 이외의 타겟 속성 정보 항목들, 예를 들면, 대표 좌표, 면적 정보, 영역 정보 등이, 그 타겟에 통합되는 입력 스폿의 대표 좌표, 면적 정보, 영역 정보 등으로 치환된다.
타겟 속성에는, 일련의 입력이 개시했을 때의 개시 시간을 나타내는 정보나 타겟의 종료 시간을 나타내는 정보가 포함될 수 있다.
이러한 타겟 속성 외에, 타겟 정보에는, 예를 들면, 생성기(25)가 제어기(12)에 출력하는 각각의 프레임의 타겟의 수를 나타내는 정보가 더 포함될 수 있다.
다음에, 도 12에 도시된 흐름도를 참조하여, 도 6의 단계 S4에서 수행되는 도 1의 생성기(25)가 행하는 통합 처리에 대하여 더 상세히 설명한다.
단계 S21에 있어서, 타겟 생성기(31)는, 기억 유닛(33)으로부터 (t+1)번째 프레임의 시간적인 근방에 있는(temporally close) t번째 프레임에 관한 타겟 정보를 판독하고, 화상 처리 유닛(24)으로부터 공급되는 (t+1)번째 프레임의 입력 스폿의 점 정보와, 기억 유닛(33)으로부터 판독한 t번째 프레임에 관한 타겟 정보를 비교한다.
단계 S22에 있어서, 타겟 생성기(31)는, 단계 S21에서 판독한 t번째 프레임 에, 주목 타겟으로서 시험되지 않은 타겟이 있는지를 판정한다. 단계 S22의 판정에 있어서, 단계 S21에서 판독한 t번째 프레임에, 주목 타겟으로서 시험되지 않은 타겟이 있는 것으로 판정된 경우, 단계 S23에 있어서, 타겟 생성기(31)는, t번째 프레임의 타겟 중, 주목 타겟으로서 시험되지 않은 타겟 중 1개를 주목 타겟으로 선택하고, t번째 프레임의 주목 타겟의 공간적인 근방에, (t+1)번째 프레임의 입력 스폿이 존재하는지를 판정한다.
단계 S23에 있어서, t번째 프레임의 주목 타겟의 공간적인 근방에, (t+1)번째 프레임의 입력 스폿이 존재하는 것으로 판정된 경우, 단계 S24에 있어서, 타겟 생성기(31)는, 단계 S22에서 주목 타겟의 공간적인 근방에 있는 것으로 판정된 (t+1)번째 프레임의 입력 스폿을 주목 타겟에 통합한다. 통합이 수행된 상태의 주목 타겟에 관한 타겟 정보를, (t+1)번째 프레임에 관한 타겟 정보로서, 기억 유닛(33)에 기억시킨다.
구체적으로는, 타겟 생성기(31)는, 주목 타겟의 타겟 ID를 유지하고, 그 이외의 타겟 속성 정보, 예를 들면, 주목 타겟의 대표 좌표를, 주목 타겟에 통합되는 입력 스폿의 대표 좌표 등으로 치환하고, 이와 같이 생성된 (t+1)번째 프레임의 타겟 정보를 기억 유닛(33)에 기억시킨다.
한편, 단계 S23의 판정에 있어서, t번째 프레임의 주목 타겟의 공간적인 근방에, (t+1)번째 프레임의 입력 스폿이 존재하지 않는 것으로 판정된 경우, 단계 S25에 있어서, 타겟 생성기(31)는, 주목 타겟에 관한 정보를 기억 유닛(33)으로부터 삭제한다.
단계 S26에 있어서, 타겟 생성기(31)가 주목 타겟을 삭제하면, 이벤트 생성기(32)는, 타겟에 대응하는 일련의 입력이 종료된 것을 나타내는 이벤트 "삭제(Delete)"를 발행하고, 그 이벤트에 관한 이벤트 정보를 (t+1)번째 프레임의 이벤트 정보로서, 기억 유닛(33)에 기억시킨다. 도 10에 도시된 예에서는, 타겟 #2가 주목 타겟인 경우, 타겟 #2가 (t+1)번째 프레임으로부터 삭제된 것을 나타내는 이벤트 "삭제"가 발행되고, 그 이벤트 "삭제"에 관한 정보가 기억 유닛(33)에 기억된다.
단계 S24 또는 단계 S26의 처리 후, 처리는 단계 S22로 복귀하여, 새로운 주목 타겟에 대하여, 전술된 처리가 실행된다.
한편, 단계 S22의 판정에 있어서, 단계 S21에서 판독된 t번째 프레임에, 주목 타겟으로서 시험되지 않은 타겟이 더 이상 남아 있지 않는 것으로 판정된 경우, 단계 S27에 있어서, 타겟 생성기(31)는, 화상 처리 유닛(24)으로부터 공급된 (t+1)번째 프레임에, t번째 프레임에 관한 타겟에 통합되지 않고 남아 있는 입력 스폿이 존재하는지를 판정한다.
단계 S27의 판정에 있어서, t번째 프레임의 어떤 타겟에도 통합되지 않고 남아 있는 입력 스폿이 (t+1)번째 프레임에 존재하는 것으로 판정된 경우, 처리 흐름은 단계 S28로 진행한다. 단계 S28에 있어서, 타겟 생성기(31)는 통합되지 않고 남아 있는 입력 스폿에 대하여 새로운 타겟을 생성한다.
보다 구체적으로, t번째 프레임의 어떠한 타겟에도 통합되지 않고 남은 (t+1)번째 프레임의 입력 스폿이 검출되면, 즉, 타겟에 대하여 공간적으로 가까운 관계가 없는 입력 스폿에 대하여는, 일련의 입력 스폿이 새로이 개시된 것으로 판단하여, 새로운 타겟이 생성된다. 타겟 생성기(31)는, 새로운 타겟 정보를, (t+1)번째 프레임에 관한 타겟 정보로서, 기억 유닛(33)에 기억시킨다.
단계 S29에 있어서, 타겟 생성기(31)가 새로운 타겟을 생성하면, 이벤트 생성기(32)는, 이벤트 "생성"을 발행하고, 그 이벤트 "생성"에 관한 정보를, (t+1)번째 프레임에 관한 이벤트 정보로서, 기억 유닛(33)에 기억시킨다. 그런 다음 통합 처리를 종료하고, 처리는 도 6의 단계 S5로 복귀한다.
한편, 단계 S27의 판정에 있어서, t번째 프레임의 어떠한 타겟에도 통합되지 않고 (t+1)번째 프레임에 남아 있는 입력 스폿이 존재하지 않는 것으로 판정된 경우에는, 단계 S28 및 단계 S29의 처리는 스킵되고, 통합 처리는 종료된다. 처리는 도 6의 단계 S5로 복귀한다.
전술한 통합 처리에서는, (t+1)번째 프레임의 어떠한 입력 스폿과도 공간적으로 가까운 위치에 존재하지 않는 타겟이 t번째 프레임에서 검출되면, 그 검출된 정보에 관한 정보는 삭제된다. 대안적으로, 그러한 타겟이 t번째 프레임에서 검출되면, 그 검출된 타겟에 관한 정보는 뒤이은 수 개의 프레임에서 유지될 수 있다. 뒤이은 수 개의 프레임의 타겟의 공간적으로 가까운 위치에서 입력 스폿이 출현하지 않으면, 그 정보는 삭제된다. 이로써, 사용자가 실수로 자신의 손가락을 표시 화면으로부터 일순간 떨어지게 한 경우라도, 표시 화면(51A)에 자신의 손가락의 근접 또는 접촉을 재개함으로써 사용자는 입력 스폿을 생성하며, 그 입력 스폿은 타겟에 정확하게 통합된다.
전술한 바와 같이, 통합 처리에서는, 입/출력 디스플레이(22)의 표시 화면(51A)에서 타겟의 시간적으로 그리고 공간적으로 근방에 있는 입력 스폿이 검출되면, 그 검출된 입력 스폿은 일련의 입력 스폿 중 하나인 것으로 판정되고, 그 검출된 입력 스폿은 타겟에 통합된다. 통합 처리에서는, 타겟이 생성 또는 소멸되면, 그 타겟이 생성 또는 소멸되었다는 것을 나타내는 이벤트가 발행된다.
도 13은 생성기(25)로부터 출력되는 타겟 정보 및 이벤트 정보의 예를 나타내고 있다.
도 13의 상부는, 시각 n의 n번째 프레임 내지 시각 n+5의 (n+5)번째 프레임의 일련의 프레임을 도시하고 있다. 이러한 프레임에서, 각각의 수광 화상 상의 입력 스폿은 동그라미(open circle)로 표시되어 있다. 도 13의 하부는, n번째 프레임 내지 (n+5)번째 프레임의 각각의 프레임에 관한 타겟 정보 및 이벤트 정보를 나타내고 있다.
도 13의 상부에 도시된 일련의 프레임에서, 사용자는, 시각 n에서, 자신의 1개의 손가락으로, 입/출력 디스플레이(22)의 표시 화면(51A)에 대한 근접 또는 접촉을 개시한다. 그 손가락은 시각 n으로부터 시각 n+4까지의 사이에서, 입/출력 디스플레이(22)의 표시 화면(51A)에 대한 근접 또는 접촉을 계속한다. (n+2)번째 프레임에서, 사용자는 손가락을 표시 화면(51A)에 근접 또는 접촉하고 있는 상태에서 좌측으로부터 우측으로 이동시키기 시작한다. (n+4)번째 프레임에서, 사용자는 손가락의 이동을 정지한다. 시각 n+5에서, 사용자는 입/출력 디스플레이(22)의 표시 화면(51A)으로부터 손가락을 멀어지게 한다. 이와 같은 손가락의 움직임에 대 해, 입력 스폿 #0이 출현하고, 이동하고, 사라지는 것을 도 13에 나타내고 있다.
보다 구체적으로, n번째 프레임에서는, 사용자가 입/출력 디스플레이(22)의 표시 화면(51A)에 대한 자신의 손가락의 근접 또는 접촉을 개시함으로써, 도 13의 상부에 나타낸 바와 같이, 입력 스폿 #0이 출현하고 있다.
이 경우, n번째 프레임의 입력 스폿 #0의 출현에 대하여, 타겟 #0이 생성되고, n번째 프레임에서는, 도 13의 하부에 나타낸 바와 같이, 타겟 ID와 타겟 속성 정보의 다른 항목을 포함하는 타겟 속성 정보가 생성된다. 이후, 타겟 ID 이외의 타겟 속성 정보를 타겟에 관한 정보로 간략히 칭하고, INFO로 표시한다. 도 13에 도시된 예에서는, 타겟 #0에 대한 타겟 ID로서 0이 할당되어 있고, 입력 스폿 #0의 위치를 나타내는 정보를 포함하는 관련 정보 INFO가 생성된다.
타겟의 엔티티(entity)는, 타겟 속성 정보를 기억하기 위한 메모리에 확보된 기억 영역임을 유의하여야 한다.
n번째 프레임에서는, 타겟 #0의 생성에 대응하여, 이벤트 #0가 생성된다. 도 13의 하부에 나타낸 바와 같이, 여기서 이벤트 #0이 생성되는 n번째 프레임에서는, 이벤트를 특별하기 위한 이벤트 ID에 0의 값이 할당되어 있고, 이벤트 타입은 새로운 타겟의 생성을 나타내는 "생성(Create)"의 값을 가지며, 이벤트 #0이 타겟 #0의 상태를 나타내는 것을 표시하기 위해 특별 정보 tid에는, 타겟 #0의 타겟 ID의 값과 마찬가지로 0의 값이 할당된다.
이벤트 타입이 새로운 타겟의 생성을 나타내는 "생성(Create)"인 이벤트가, 이벤트 "생성"으로서 표시되어 있다.
이와 같이, 각각의 이벤트는, 이벤트에 의해 상태가 나타내어지는 타겟을 특별하는 특별 정보 tid를, 이벤트 속성 정보의 하나로서 가진다. 그러므로 그 특별 정보 tid에 의해, 이벤트에 의해 기술되는 타겟을 판정할 수 있다.
이벤트의 엔티티(entity)는, 이벤트 속성 정보를 기억하기 위한 메모리에 확보되는 기억 영역이다.
(n+1)번째 프레임에서는, 도 13의 상부에 나타낸 바와 같이, 입력 스폿 #0이 이동하지 않고, 그대로 존재하고 있다.
이 경우, 직전의 프레임, 즉 n번째 프레임의 타겟 #0에, (n+1)번째 프레임의 입력 스폿 #0이 통합된다. 그 결과, 도 13의 하부에 나타낸 바와 같이, (n+1)번째 프레임에서는, 타겟 #0은 이전의 프레임에서의 ID와 동일한 ID를 가지며, (n+1)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보에 의해 갱신된 관련 정보 INFO를 가진다. 즉, 타겟 ID(=0)를 유지한 채, 이 관련 정보 INFO는 (n+1)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보로 치환된다.
(n+2)번째 프레임에서는, 도 13의 상부에 나타낸 바와 같이, 입력 스폿 #0이 이동을 개시하고 있다.
이 경우, 직전의 프레임, 즉 (n+1)번째 프레임의 타겟 #0에, (n+2)번째 프레임의 입력 스폿 #0이 통합된다. 그 결과, (n+2)번째 프레임에서는, 도 13의 하부에 나타낸 바와 같이, 타겟 #0은 이전의 프레임에서의 ID와 동일한 ID를 가지며, (n+2)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보에 의해 갱신된 관련 정보 INFO를 가진다. 즉, 타겟 ID(=0)를 유지한 채, 이 관련 정보 INFO는 (n+2)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보로 치환된다.
또한, (n+2)번째 프레임에서는, 타겟 #0에 통합된 입력 스폿 #0의 이동이 개시된 것에 대응하여, 즉 타겟 #0의 이동이 개시된 것에 대응하여, 이벤트 #1이 생성된다. 보다 구체적으로, 도 13의 하부에 나타낸 바와 같이, 여기서 이벤트 #1이 생성된 (n+2)번째 프레임에서는, 이벤트 ID에, n번째 프레임에서 생성된 이벤트에 할당된 이벤트 ID와는 상이한 1의 값이 할당되고, 이벤트 타입은 그 대응하는 타겟의 이동을 나타내는 "MoveStart"의 값을 가지며, 이벤트 #1이 타겟 #0의 상태를 나타내는 것을 표시하기 위해 특별 정보 tid에는 이동을 개시한 타겟 #0의 타겟 ID와 마찬가지로 0의 값이 할당된다.
(n+3)번째 프레임에서는, 도 13의 상부에 나타낸 바와 같이, 입력 스폿 #0이 이동 중에 있다.
이 경우, 직전의 프레임, 즉 (n+2)번째 프레임의 타겟 #0에, (n+3)번째 프레임의 입력 스폿 #0이 통합된다. 그 결과, (n+3)번째 프레임에서는, 도 13의 하부에 나타낸 바와 같이, 타겟 #0은 이전의 프레임에서의 ID와 동일한 ID를 가지며, (n+3)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보에 의해 갱신된 관련 정보 INFO를 가진다. 즉, 타겟 ID(=0)를 유지한 채, 이 관련 정보 INFO는 (n+3)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보로 치환된다.
(n+4)번째 프레임에서는, 도 13의 상부에 나타낸 바와 같이, 입력 스폿 #0이 정지하고 있다.
이 경우, 직전의 프레임, 즉 (n+3)번째 프레임의 타겟 #0에, (n+4)번째 프레 임의 입력 스폿 #0이 통합된다. 그 결과, (n+4)번째 프레임에서는, 도 13의 하부에 나타낸 바와 같이, 타겟 #0은 이전의 프레임에서의 ID와 동일한 ID를 가지며, (n+4)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보에 의해 갱신된 관련 정보 INFO를 가진다. 즉, 타겟 ID(=0)를 유지한 채, 이 관련 정보 INFO는 (n+4)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보로 치환된다.
또한, (n+4)번째 프레임에서는, 타겟 #0에 통합된 입력 스폿 #0의 이동이 종료된 것에 대응하여, 즉 타겟 #0의 이동이 종료된 것에 대응하여, 이벤트 #2가 생성된다. 보다 구체적으로, 여기서 이벤트 #2가 생성되는 (n+4)번째 프레임에서는, 도 13의 하부에 나타낸 바와 같이, 이벤트 ID에, n번째 프레임 또는 (n+2)번째 프레임에서 생성된 이벤트에 할당된 이벤트 ID와는 상이한 2의 값이 할당되고, 이벤트 타입은 그 대응하는 타겟의 정지를 나타내는 "MoveStop"의 값을 가지며, 이벤트 #2가 타겟 #0의 상태를 나타내는 것을 표시하기 위해 특별 정보 tid에, 이동을 종료한 타겟 #0의 타겟 ID의 값과 마찬가지로 0의 값이 할당된다.
(n+5)번째 프레임에서는, 사용자가 입/출력 디스플레이(22)의 표시 화면(51A)으로부터 손가락을 멀어지게 함으로써, 도 13의 상부에 나타낸 바와 같이, 입력 스폿 #0이 소멸하고 있다.
이 경우, (n+5)번째 프레임에서는, 타겟 #0이 삭제된다.
또한, (n+5)번째 프레임에서는, 입력 스폿 #0이 소멸한 것에 응답하여, 즉 타겟 #0이 삭제된 것에 대응하여, 이벤트가 생성된다. 보다 구체적으로, 도 13의 하부에 나타낸 바와 같이, 이벤트 #3이 생성되는 (n+5)번째 프레임에서는, 이벤트 ID에, n번째 프레임, (n+2)번째 프레임, 또는 (n+4)번째 프레임에서 생성된 이벤트에 할당된 이벤트 ID와도 상이한 3의 값이 할당되고, 이벤트 타입은 그 대응하는 타겟의 삭제를 나타내는 "Delete"의 값을 가지며, 이벤트 #3이 타겟 #0의 상태를 나타내는 것을 표시하기 위해 특별 정보 tid에, 타겟 #0의 타겟 ID의 값과 마찬가지로 0의 값이 할당된다.
이벤트 타입이 타겟의 삭제를 나타내는 "삭제(Delete)"인 이벤트가, 이벤트 "삭제"로서 표시되어 있다.
도 14는 생성기(25)로부터 출력되는 타겟 정보 및 이벤트 정보의 다른 예를 나타내고 있다.
도 14의 상부에는, 시각 n의 n번째 프레임 내지 시각 n+5의 (n+5)번째 프레임까지의 일련의 프레임이 도시되어 있다. 이러한 프레임에서, 수광 화상 상의 입력 스폿은 동그라미로 표시되어 있다. 도 14의 하부는, n번째 프레임 내지 (n+5)번째 프레임의 각각의 프레임에 관한 타겟 정보 및 이벤트 정보를 나타내고 있다.
도 14에 도시된 일련의 프레임에서는, 사용자가, 시각 n에서, 1개의 손가락으로, 입/출력 디스플레이(22)의 표시 화면(51A)에 대한 근접 또는 접촉을 개시하고 있다. 시각 n으로부터 n+4까지의 사이에, 입/출력 디스플레이(22)의 표시 화면(51A)에 대한 손가락의 근접 또는 접촉을 계속한다. (n+2)번째 프레임에서, 사용자는 표시 화면(51A)에 대한 손가락의 근접 또는 접촉된 상태를 유지하면서, 좌측으로부터 우측으로 손가락을 이동시키기 시작한다. (n+4)번째 프레임에서, 사용자는 손가락의 이동을 정지한다. 시각 n+5에서, 사용자는 입/출력 디스플레이(22)의 표시 화면(51A)에 대한 근접 및 접촉을 해제한다. 이와 같은 손가락의 움직임에 대해, 입력 스폿 #0이 출현하고, 이동하고, 사라지는 것을 도 14에 나타내고 있다.
또, 도 14에 도시된 바와 같이, 사용자는, 시각 n+1에서, 다른 1개의 손가락으로, 입/출력 디스플레이(22)의 표시 화면(51A)에 대한 근접 또는 접촉을 개시한다. 이 손가락(이하, 제2 손가락이라 칭함)은, 시각 n+1로부터 n+3까지의 사이에, 입/출력 디스플레이(22)의 표시 화면(51A)에 대한 근접 또는 접촉을 계속한다. (n+2)번째 프레임에서, 사용자는 표시 화면(51A)에 손가락을 근접 또는 접촉시키고 있는 상태에서, 우측으로부터 좌측 방향으로 이동시키기 시작한다. (n+3)번째 프레임에서, 사용자는 제2 손가락의 이동을 정지한다. 시각 n+4에서, 사용자는 입/출력 디스플레이(22)의 표시 화면(51A)에 대한 제2 손가락의 근접 및 접촉을 해제한다. 이와 같은 제2 손가락의 움직임에 대해, 입력 스폿 #1이 출현하고, 이동하고, 사라지는 것을 도 14에 나타내고 있다.
보다 구체적으로, n번째 프레임에서는, 사용자가, 어느 1개의 손가락으로, 입/출력 디스플레이(22)의 표시 화면(51A)에 대한 근접 또는 접촉을 개시함으로써, 도 14의 상부에 나타낸 바와 같이, 입력 스폿 #0이 출현하고 있다.
n번째 프레임의 입력 스폿 #0이 출현하는 것에 응답하여, 도 13에 도시된 경우와 마찬가지로, 도 14의 하부에 나타낸 바와 같이, 타겟 #0이 생성되고, 타겟 ID를 포함하는 타겟 속성 정보 및 이 타겟 속성 정보의 다른 항목이 생성된다. 이후, 타겟 ID 이외의 타겟 속성 정보를 타겟에 관한 정보로 간략히 칭하고, INFO로 표시한다. 도 14에 도시된 예에서는, 타겟 #0에 대한 타겟 ID로서 0이 할당되어 있고, 입력 스폿 #0의 위치를 나타내는 정보를 포함하는 관련 정보 INFO가 생성된다.
n번째 프레임에서는, 타겟 #0의 생성에 대응하여, 이벤트 #0이 생성된다. 보다 구체적으로, 도 14의 하부에 나타낸 바와 같이, 여기서 이벤트 #1이 생성된 n번째 프레임에서는, 이벤트 ID가 0의 값을 가지고, 이벤트 타입은 새로운 타겟이 생성된 것을 나타내는 "Create"의 값을 가지며, 이벤트 #0이 타겟 #0의 상태를 나타내는 것을 표시하기 위해 특별 정보 tid는 타겟 #0의 타겟 ID와 마찬가지로 0의 값을 가진다.
(n+1)번째 프레임에서는, 도 14의 상부에 나타낸 바와 같이, 입력 스폿 #0이 이동하지 않고, 그대로 존재하고 있다.
이 경우, 직전의 프레임, 즉 n번째 프레임의 타겟 #0에, (n+1)번째 프레임의 입력 스폿 #0이 통합된다. 그 결과, (n+1)번째 프레임에서는, 도 14의 하부에 나타낸 바와 같이, 타겟 #0은 이전의 프레임에서의 ID와 동일한 ID를 가지며, (n+1)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보에 의해 갱신된 관련 정보 INFO를 가진다. 즉, 타겟 ID(=0)를 유지한 채, 이 관련 정보 INFO는 (n+1)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보로 치환된다.
또, (n+1)번째 프레임에서는, 사용자가, 다른 1개의 손가락으로, 입/출력 디스플레이(22)의 표시 화면(51A)에 대한 근접 또는 접촉을 개시함으로써, 도 14의 상부에 나타낸 바와 같이, 입력 스폿 #1이 출현하고 있다.
(n+1)번째 프레임의 입력 스폿 #1에 대하여, 타겟 #1이 생성되고, 이미 존재 하는 타겟 #0에 할당된 타겟 ID와는 상이한 1의 값을 타겟 ID가 가지도록 정의되도록 타겟 #1의 속성이 정의되며, 입력 스폿 #1의 위치를 나타내는 정보를 포함하는 관련 정보 INFO가 생성된다.
또한, (n+1)번째 프레임에서는, 타겟 #0이 생성된 것에 대응하여, 이벤트가 생성된다. 보다 구체적으로, 도 14의 하부에 나타낸 바와 같이, 여기서 이벤트 #1이 생성되는 (n+1)번째 프레임에서는, 이벤트 ID가, n번째 프레임에서 생성된 이벤트에 할당된 이벤트 ID와는 상이한 1의 값을 가지고, 이벤트 타입은 새로운 타겟의 생성을 나타내는 "Create"의 값을 가지며, 이벤트 #1이 타겟 #1의 상태를 나타내는 것을 표시하기 위해 특별 정보는 타겟 #1의 타겟 ID의 값과 마찬가지로 1의 값을 가진다.
(n+2)번째 프레임에서는, 도 14의 상부에 나타낸 바와 같이, 입력 스폿 #0과#1이 이동을 개시하고 있다.
이 경우, 직전의 프레임, 즉 (n+1)번째 프레임의 타겟 #0에, (n+2)번째 프레임의 입력 스폿 #0이 통합된다. 그 결과, 도 14의 하부에 나타낸 바와 같이, 타겟 #0은 이전의 프레임에서의 ID와 동일한 ID를 가지며, (n+2)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보에 의해 갱신된 관련 정보 INFO를 가진다. 즉, 타겟 ID(=0)를 유지한 채, 이 관련 정보 INFO는 (n+2)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보로 치환된다.
또한, (n+1)번째 프레임의 타겟 #1에, (n+2)번째 프레임의 입력 스폿 #1이 통합된다. 그 결과, 도 14의 하부에 나타낸 바와 같이, 타겟 #1은 이전의 프레임 에서의 ID와 동일한 ID를 가지며, (n+2)번째 프레임의 입력 스폿 #1의 위치 정보를 포함하는 정보에 의해 갱신된 관련 정보 INFO를 가진다. 즉, 타겟을 동일한 값, 즉 1로 유지한 채, 이 관련 정보 INFO는 (n+2)번째 프레임의 입력 스폿 #1의 위치 정보를 포함하는 정보로 치환된다.
또, 이 (n+2)번째 프레임에서는, 타겟 #0에 통합된 입력 스폿 #0의 이동이 개시된 것에 대응하여, 즉 타겟 #0의 이동이 개시된 것에 대응하여, 이벤트 #2가 생성된다. 보다 구체적으로, 도 14의 하부에 나타낸 바와 같이, 이벤트 #2가 생성되는 (n+2)번째 프레임에서는, 이벤트 ID가, 이미 생성된 이벤트 #0 또는 #1에 할당된 어떠한 이벤트 ID와도 상이한 2의 값을 가지고, 이벤트 타입은 그 대응하는 타겟의 이동의 개시를 나타내는 "MoveStart"의 값을 가지며, 특별 정보 tid에는, 이벤트 #2가 타겟 #0의 상태를 나타내는 것을 표시하기 위해 이동을 개시한 타겟 #0의 타겟 ID의 값과 마찬가지로 0의 값이 할당된다.
마찬가지로, 이 (n+2)번째 프레임에서는, 타겟 #1에 통합된 입력 스폿 #1의 이동이 개시된 것에 대응하여, 즉 타겟 #1의 이동이 개시된 것에 대응하여, 이벤트 #3이 생성된다. 보다 구체적으로,
도 14의 하부에 나타낸 바와 같이, 이벤트 #3이 생성되는 (n+2)번째 프레임에서는, 이벤트 ID가, 이미 생성된 이벤트 #0 내지 #12 할당된 어떠한 이벤트 ID와도 상이한 3의 값을 가지고, 이벤트 타입은 그 대응하는 타겟의 이동의 개시를 나타내는 "MoveStart"의 값을 가지며, 특별 정보 tid에는, 이벤트 #3이 타겟 #1의 상태를 나타내는 것을 표시하기 위해 이동을 개시한 타겟 #1의 타겟 ID의 값과 마찬 가지로 1의 값이 할당된다.
(n+3)번째 프레임에서는, 도 14의 상부에 나타낸 바와 같이, 입력 스폿 #0이 이동 중에 있다.
이 경우, 직전의 프레임, 즉 (n+2)번째 프레임의 타겟 #0에, (n+3)번째 프레임의 입력 스폿 #0이 통합된다. 그 결과, (n+3)번째 프레임에서는, 도 14의 하부에 나타낸 바와 같이, 타겟 #0은 이전의 프레임에서의 ID와 동일한 ID를 가지며, (n+3)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보에 의해 갱신된 관련 정보 INFO를 가진다. 즉, 타겟 ID(=0)를 유지한 채, 이 관련 정보 INFO는 (n+3)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보로 치환된다.
이 (n+3)번째 프레임에서는, 입력 스폿 #1이 정지하고 있다.
이 경우, 직전의 프레임, 즉 (n+2)번째 프레임의 타겟 #1에, (n+3)번째 프레임의 입력 스폿 #1이 통합된다. 그 결과, (n+3)번째 프레임에서는, 도 14의 하부에 나타낸 바와 같이, 타겟 #1은 이전의 프레임에서의 ID와 동일한 ID를 가지며, (n+3)번째 프레임의 입력 스폿 #1의 위치 정보를 포함하는 정보에 의해 갱신된 관련 정보 INFO를 가진다. 즉, 타겟 ID는, 동일한 값, 즉 1을 유지한 채, 이 관련 정보 INFO는 (n+3)번째 프레임의 입력 스폿 #1의 위치 정보를 포함하는 정보로 치환된다.
또한, (n+3)번째 프레임에서는, 타겟 #1에 통합된 입력 스폿 #1의 이동이 종료된 것에 대응하여, 즉 타겟 #1의 이동이 종료된 것에 대응하여, 이벤트 #4가 생성된다. 보다 구체적으로, 도 14의 하부에 나타낸 바와 같이, 여기서 이벤트 #4가 생성되는 (n+3)번째 프레임에서는, 이벤트 ID가, 이미 생성된 이벤트 #0 내지 #3의 이벤트에 할당된 이벤트 ID와는 상이한 4의 값을 가지고, 이벤트 타입은 그 대응하는 타겟의 정지를 나타내는 "MoveStop"의 값을 가지며, 특별 정보 tid에는, 이벤트 #4가 타겟 #1의 상태를 나타내는 것을 표시하기 위해 이동을 종료한 타겟 #1의 타겟 ID의 값과 마찬가지로 1의 값이 할당된다.
(n+4)번째 프레임에서는, 사용자가, 손가락의 근접 및 접촉을 해제함으로써, 도 14의 상부에 나타낸 바와 같이, 입력 스폿 #1이 소멸하고 있다.
이 경우, (n+4)번째 프레임에서는, 타겟 #1이 삭제된다.
또, (n+4)번째 프레임에서는, 도 14의 상부에 나타낸 바와 같이, 입력 스폿 #0이 정지하고 있다.
이 경우, 직전의 프레임, 즉 (n+3)번째 프레임의 타겟 #0에, (n+4)번째 프레임의 입력 스폿 #0이 통합된다.
그 결과, (n+3)번째 프레임에서는, 도 14의 하부에 나타낸 바와 같이, 타겟 #0은 이전의 프레임에서의 ID와 동일한 ID를 가지며, (n+4)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보에 의해 갱신된 관련 정보 INFO를 가진다. 즉, 타겟 ID는, 동일한 값, 즉 0을 유지한 채, 이 관련 정보 INFO는 (n+4)번째 프레임의 입력 스폿 #0의 위치 정보를 포함하는 정보로 치환된다.
또, (n+4)번째 프레임에서는, 타겟 #0에 통합된 입력 스폿 #0의 이동이 종료된 것에 응답하여, 즉 타겟 #0의 이동이 종료된 것에 대응하여, 이벤트 #5가 생성된다. 보다 구체적으로, 도 14의 하부에 나타낸 바와 같이, 여기서 이벤트 #5가 생성되는 (n+4)번째 프레임에서는, 이벤트 ID가, 이미 생성된 이벤트 #0 내지 #4의 이벤트에 할당된 어떠한 이벤트 ID와도 상이한 5의 값이 가지고, 이벤트 타입은 그 대응하는 타겟의 정지를 나타내는 "MoveStop"의 값을 가지며, 특별 정보 tid에는, 이벤트 #5가 타겟 #0의 상태를 나타내는 것을 표시하기 위해 이동을 종료한 타겟 #0의 타겟 ID의 값과 마찬가지로 0의 값이 할당된다.
또한, (n+4)번째 프레임에서는, 입력 스폿 #1이 소멸한 것에 응답하여, 즉 타겟 #1이 삭제된 것에 대응하여, 이벤트 #6이 생성된다. 보다 구체적으로, 도 14의 하부에 나타낸 바와 같이, 여기서 이벤트 #6이 생성되는 (n+4)번째 프레임에서는, 이벤트 ID가, 이미 생성된 이벤트 #0 내지 #5에 할당된 어떠한 이벤트 ID와도 상이한 6의 값을 가지고, 이벤트 타입은 타겟의 삭제를 나타내는 "Delete"의 값을 가지며, 특별 정보 tid에는, 이벤트 #6이 타겟 #1의 상태를 나타내는 것을 표시하기 위해 삭제된 타겟 #1의 타겟 ID의 값과 마찬가지로 1의 값이 할당된다.
(n+5)번째 프레임에서는, 사용자가 입/출력 디스플레이(22)의 표시 화면(51A)으로부터 손가락을 멀어지게 함으로써, 도 14의 상부에 나타낸 바와 같이, 입력 스폿 #0이 소멸하고 있다.
이 경우, (n+5)번째 프레임에서는, 타겟 #0이 삭제된다.
또한, (n+5)번째 프레임에서는, 입력 스폿 #0이 소멸한 것에 응답하여, 즉 타겟 #0이 삭제된 것에 대응하여, 이벤트 #7이 생성된다. 보다 구체적으로, 도 14의 하부에 나타낸 바와 같이, 이벤트 #7이 생성되는 (n+5)번째 프레임에서는, 이벤트 ID가, 이미 생성된 이벤트 #0 내지 #6에 할당된 이벤트의 이벤트 ID와는 상이한 7의 값을 가지고, 이벤트 타입은 그 대응하는 타겟의 삭제를 나타내는 "Delete"의 값을 가지며, 이벤트 #7이 타겟 #0의 상태를 나타내는 것을 표시하기 위해 특별 정보 tid에는, 삭제된 타겟 #0의 타겟 ID의 값과 마찬가지로 0의 값이 할당된다.
이상과 같이, 입/출력 패널(16)에서는, 복수의 점에 대한 입력이 동시에 수행되는 경우라도, 입력 스폿들의 시간적 또는 공간 위치 관계에 따라서, 각각의 일련의 입력에 대한 타겟 정보를 생성하고, 또한 각각의 타겟의 상태의 변화를 나타내는 이벤트 정보를 생성하므로, 복수의 점을 사용하여 정보를 동시에 입력할 수 있다.
다음, 도 15 내지 도 17을 참조하여, 입/출력 디스플레이의 다른 구성예에 대하여 설명한다.
도 15에 도시된 예에서, 도 2에 도시된 입/출력 디스플레이(201)의 보호 시트(52)를 보호 시트(211)로 치환한다. 보호 시트(52)와는 달리, 보호 시트(211)는 유색의 반투명의 소재로 되어 있다.
이와 같이 보호 시트(211)를 유색으로 함으로써, 입/출력 패널(16)의 외관이 향상될 수 있다.
또, 보호 시트(211)는, 반투명의 소재로 되어 있으므로, 시인성 및 수광 감도의 저하를 낮게 억제할 수 있다. 예를 들면, 광 센서(22A)가, 460nm 이하의 파장의 광(즉, 청색 광 또는 청색에 가까운 색의 광)에 대한 수광 감도가 우수한 경우, 즉, 광 센서(22A)가 460nm 이하의 파장의 광을 쉽게 검출할 수 있는 경우, 보호 시트(211)를 청색의 반투명 소재로 만들면, 다른 색으로 하는 것보다도, 광 센 서(22A)의 수광 감도를 양호하게 일정하게 유지할 수 있다.
도 16에 도시된 예에서, 도 2에 도시된 입/출력 디스플레이(221)의 보호 시트(52)를 보호 시트(231)로 치환한다.
보호 시트(231)는, 본체(51)에 접촉하는 면과 반대의 면에 오목형 또는 볼록형의 가이드(231A 내지 231E)를 가진다. 각각의 가이드(231A 내지 231E)는, 입/출력 디스플레이(22) 상에 표시되는 사용자 인터페이스로서 기능하는 버튼이나 스위치에 대응하는 형태를 하고 있다. 보호 시트(231)를 본체(51)에 연결함으로써, 가이드(231A 내지 231E)는 표시 화면(51A) 상에 표시되는 사용자 인터페이스의 대략 바로 위에 대응하여 위치하고, 이로써, 사용자는 보호 시트(231)를 터치하여, 표시 화면(51A) 상에 표시되는 각각의 사용자 인터페이스의 종류 및 위치를 감각으로 알 수 있다. 이에 의해 사용자는 표시 화면(51A)을 보지 않고 조작하는 것이 가능하다. 그러므로 표시 시스템(1)의 조작성이 대폭 향상된다.
도 17에 도시된 예에서, 도 2에 도시된 입/출력 디스플레이(251)의 보호 시트(52)는 보호 시트(261)로 치환된다.
보호 시트(261)는, 본체(51)에 접촉하는 면과 반대의 면에, 보호 시트(231)와 마찬가지로, 가이드(261A 내지 261E)가 형성되도록 유색의 반투명의 소재로 되어, 표시 시스템(1)의 조작성을 향상시키고 입/출력 패널(16)의 외관을 향상시킬 수 있다.
보호 시트의 표면을 부분적으로 오목하게 또는 볼록하게 가공하여, 입/출력 패널(16)의 각종의 정보를 표시할 수 있고 및/또는 외관을 향상시킬 수 있다.
보호 시트를 본체(51)에 간단하게 착탈할 수 있는 구성으로 할 수 있다. 이에 따라, 예를 들면, 표시 시스템(1)에 사용되는 어플리케이션의 종류에 따라 즉, 표시 화면(51A)에 표시되는 사용자 인터페이스의 종류, 형태, 위치 등에 따라, 보호 시트를 바꿀 수 있다. 이에 따라 조작성을 더 향상시킬 수 있다.
도 18은 본 발명의 다른 실시예에 따른 표시 시스템의 블록도이다.
도 18에 도시된 표시 시스템(301)에서는, 제어기(12)에 입/출력 패널(16)의 생성기(25)가 이동되어 있다.
도 18에 도시된 표시 시스템(301)에서, 안테나(310), 신호 처리 유닛(311), 기억 유닛(313), 사용자 인터페이스(314), 통신 유닛(315), 표시 신호 처리 유닛(321), 입/출력 디스플레이(322), 광 센서(322A), 수광 신호 처리 유닛(323), 화상 처리 유닛(324), 및 생성기(325)는, 도 1에 도시된 표시 시스템(1)의 안테나(10), 신호 처리 유닛(11), 기억 유닛(13), 사용자 인터페이스(14), 통신 유닛(15), 표시 신호 처리 유닛(21), 입/출력 디스플레이(22), 광 센서(22A), 수광 신호 처리 유닛(23), 화상 처리 유닛(24), 및 생성기(25)와 마찬가지로 구성되므로, 표시 시스템(301)은, 도 1에 도시된 표시 시스템(1)과 마찬가지로 표시/수광 동작을 행할 수 있다. 표시 시스템(301)에서는 도 1에 도시된 표시 시스템(1)의 생성기(25)에 배치된 기억 유닛(33) 대신에, 기억 유닛(313)이 사용된다는 것에 유념하여야 한다.
도 19는 본 발명의 다른 실시예에 따른 표시 시스템을 나타낸 블록도이다.
도 19에 도시된 표시 시스템(401)에서는, 도 1에 도시된 제어기(12)에, 입/ 출력 패널(16)의 생성기(25) 및 화상 처리 유닛(24)이 이동되어 있다.
도 19에 도시된 표시 시스템(401)에 있어서, 안테나(410), 신호 처리 유닛(411), 기억 유닛(413), 사용자 인터페이스(414), 통신 유닛(415), 표시 신호 처리 유닛(421), 입/출력 디스플레이(422), 광 센서(422A), 수광 신호 처리 유닛(423), 화상 처리 유닛(424), 및 생성기(425)는, 도 1에 도시된 표시 시스템(1)에서의 안테나(10), 신호 처리 유닛(11), 기억 유닛(13), 사용자 인터페이스(14), 통신 유닛(15), 표시 신호 처리 유닛(21), 입/출력 디스플레이(22), 광 센서(22A), 수광 신호 처리 유닛(23), 화상 처리 유닛(24), 및 생성기(25)와 마찬가지로 구성되므로, 표시 시스템(401)은, 도 1에 도시된 표시 시스템(1)과 마찬가지로 표시/수광 동작을 행할 수 있다.
도 20은 본 발명의 실시예에 따른 입/출력 패널(601)의 외관을 나타내고 있다. 도 20에 나타낸 바와 같이, 입/출력 패널(601)은 플랫 모듈의 형상을 하고 있다. 보다 구체적으로, 입/출력 패널(601)은 화소가 어레이의 형상으로 배열된 화소 어레이 유닛(613)이 절연 기판(611) 상에 형성되도록 구성된다. 각각의 화소는, 액정 소자, 박막 트랜지스터, 박막 커패시터, 수광 소자를 포함한다. 이 화소 어레이 유닛(613)의 주변에 접착제를 사용해서, 유리 등으로 만들어진 대향 기판(612)을 기판(611)에 부착할 수 있다. 입/출력 패널(601)에는, 외부로부터 화소 어레이 유닛(613)으로 신호를 입/출력하기 위한 커넥터(614A 및 614B)가 설치된다. 커넥터(614A 및 614B)는 예를 들면, FPC(플렉시블 인쇄 회로)의 형태로 구현될 수 있다.
입/출력 패널은 예를 들어 본 발명의 실시예 중 어느 한 실시예에 따라 플랫 패널 형상으로 형성될 수 있고, 예를 들면, 디지털 카메라, 노트북형 퍼스널 컴퓨터, 휴대 전화기, 또는 비디오 카메라와 같은 각종의 전자 기기에 사용되어, 전자 기기 내에 생성된 영상 신호를 입/출력 패널 상에 표시할 수 있다. 본 발명에 따른 입/출력 패널을 갖는 전자 기기의 몇 가지 특정한 예를 이하에 서술한다.
도 21에는, 본 발명의 실시예에 따른 텔레비전 수상기의 예가 나타나 있다. 도 21에 도시된 바와 같이, 텔레비전 수상기(621)는, 프론트 패널(631A) 및 필터 유리(631B)로 구성되는 영상 디스플레이(631)를 포함한다. 영상 디스플레이(631)는 본 발명의 실시예에 따른 입/출력 패널을 사용하여 구현될 수 있다.
도 22에는, 본 발명의 실시예에 따른 디지털 카메라가 도시되어 있다. 도 22의 상부에는 디지털 카메라의 전면도가 도시되어 있고, 도 22의 하부에는 디지털 카메라의 배면도가 도시되어 있다. 도 22에 도시된 바와 같이, 디지털 카메라(641)는, 촬상 렌즈, 플래시용의 발광부(flash lamp)(651), 디스플레이(652), 컨트롤 스위치, 메뉴 스위치, 및 셔터(653)를 포함한다. 디스플레이(652)는 본 발명의 실시예에 따른 입/출력 패널을 사용하여 구현될 수 있다.
도 23에는, 본 발명의 실시예에 따른 노트북형 퍼스널 컴퓨터를 도시하고 있다. 도 23에 도시된 예에서, 퍼스널 컴퓨터(661)는 본체(661A) 및 본체 커버(661B)를 포함한다. 본체(661A)는 데이터 및 명령을 입력할 때 사용되는 알파벳 키 및 그 외 키를 포함하는 키보드(671)를 포함한다. 본체 커버(661B)는, 화상을 표시하는 디스플레이(672)를 포함하고 있다. 디스플레이(672)는 본 발명의 실시예 에 따른 입/출력 패널을 사용하여 구현될 수 있다.
도 24에는, 본 발명의 실시예에 따른 휴대 단말기 장치를 도시하고 있다. 도 24의 좌측은 휴대 단말기 장치를 연 상태를 나타내고, 우측은 휴대 단말기 장치를 닫은 상태를 나타내고 있다. 도 24에 도시된 바와 같이, 휴대 단말기 장치(681)는, 상부 케이스(681A), 경첩부(681)에 의해 상부 케이스(681A)에 연결된 하부 케이스(681B), 디스플레이(691), 서브 디스플레이(692), 픽처 라이트(693), 카메라(694)를 포함한다. 디스플레이(691) 및/또는 서브 디스플레이(692)는 본 발명의 실시예에 따른 입/출력 패널을 사용하여 구현될 수 있다.
도 25에는, 본 발명의 실시예에 따른 비디오 카메라를 나타내고 있다. 도 25에 도시된 바와 같이, 비디오 카메라(701)는, 본체(711), 전방을 향한 측면(front side)에 피사체 촬영용의 렌즈(712), 촬영 시의 스타트/스톱 스위치(713), 및 모니터(714)를 포함한다. 모니터(714)는 본 발명의 실시예에 따른 입/출력 패널을 사용하여 구현될 수 있다.
전술한 일련의 처리는, 하드웨어에 또는 소프트웨어에 의해 실행될 수 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 프로그램 형태의 소프트웨어가, 전용의 하드웨어에 내장되어 있는 컴퓨터에, 또는 각종의 프로그램을 인스톨함으로써, 각종의 처리를 실행할 수 있는, 예를 들면, 범용의 퍼스널 컴퓨터에, 프로그램 기록 매체로부터 인스톨된다.
본 명세서에 있어서, 프로그램 기록 매체에 저장되는 프로그램을 기술하는 단계는 프로그램에 기재된 순서에 따라 시계열적으로 실행되거나, 병렬적 또는 개 별적으로 실행될 수 있다.
본 명세서에 있어서, "시스템"은 복수의 서브-장치에 의해 구성되는 장치 전체를 나타내는 것이다.
본 발명의 실시 형태는, 전술한 실시예에 한정되지 않고, 청구의 범위 또는 그 등가물의 요지를 벗어나지 않는 범위 내에서 각종의 변경, 조합, 서브조합 및 대안이 가능하다는 것은 당업자에게는 자명하다.
도 1은 본 발명의 실시예에 따른 표시 시스템을 나타낸 블록도이다.
도 2는 입/출력 디스플레이의 구성의 예를 개략적으로 나타낸 도면이다.
도 3은 입/출력 디스플레이의 본체의 계층 구조의 예를 개략적으로 나타낸 도면이다.
도 4는 입/출력 디스플레이의 동작을 제어하기 위한 드라이버의 다양한 배치를 나타낸 도면이다.
도 5는 입/출력 디스플레이의 화소의 회로의 구성의 예를 나타낸 도면이다.
도 6은 표시 시스템에 의한 표시/수광 동작을 설명하는 흐름도이다.
도 7은 표시/수광 동작을 행하도록 구성된 소프트웨어의 구성을 설명하는 도면이다.
도 8은 시각 t의 t번째 프레임에 존재하는 타겟을 나타낸 도면이다.
도 9는 (t+1)번째 프레임의 통합 처리 전의 입력 스폿을 나타낸 도면이다.
도 10은 t번째 프레임과 (t+1)번째 프레임이 중첩된 상태를 나타낸 도면이다.
도 11은 수광 화상(sensed light image)을 나타낸 도면이다.
도 12는 통합 처리를 상세히 설명하는 흐름도이다.
도 13은 생성기로부터 출력되는 타겟 정보와 이벤트 정보의 예를 나타낸 도면이다.
도 14는 생성기로부터 출력되는 타겟 정보 및 이벤트 정보의 다른 예를 나타 낸 도면이다.
도 15는 입/출력 디스플레이의 외관의 구성의 예를 개략적으로 나타낸 도면이다.
도 16은 입/출력 디스플레이의 외관의 구성의 다른 예를 개략적으로 나타낸 도면이다.
도 17은 입/출력 디스플레이의 외관의 구성의 또 다른 예를 개략적으로 나타낸 도면이다.
도 18은 본 발명의 다른 실시예에 따른 표시 시스템을 나타낸 블록도이다.
도 19는 본 발명의 다른 실시예에 따른 표시 시스템을 나타낸 블록도이다.
도 20은 본 발명의 실시예에 따른 입/출력 패널의 모듈 구성을 나타낸 평면도이다.
도 21은 본 발명의 실시예에 따른 입/출력 패널을 구비한 텔레비전 세트를 나타낸 사시도이다.
도 22는 본 발명의 실시예에 따른 입/출력 패널을 구비한 디지털 카메라를 나타낸 사시도이다.
도 23은 본 발명의 실시예에 따른 입/출력 패널을 구비한 퍼스널 컴퓨터를 나타낸 사시도이다.
도 24는 본 발명의 실시예에 따른 입/출력 패널을 구비한 휴대 단말기 장치를 나타낸 사시도이다.
도 25는 본 발명의 실시예에 따른 입/출력 패널을 구비한 비디오 카메라를 나타낸 사시도이다.

Claims (4)

  1. 화상의 표시와 외부로부터 입사하는 광의 감지를 행하는 입/출력 유닛을 포함하고,
    상기 입/출력 유닛은, 상기 입/출력 유닛의 표시 화면 상의 복수의 점에 대한 동시의 근접 또는 접촉에 기초하여, 상기 복수의 점에 대한 복수의 동시 입력을 수용하도록 구성되며,
    상기 표시 화면은, 상기 표시 화면에 표시되는 사용자 인터페이스(user interface)에 대응하여, 소정의 형태로 오목하게 또는 볼록하게 표면이 가공된 조작부를 가지는 투명 또는 반투명(translucent)의 보호 시트에 의해 덮여져 있고,
    상기 보호 시트의 상기 표시 화면에 대한 반대측 면으로부터 상기 조작부를 조작함에 의해, 서로 다른 프레임 간의 입력의 변화에 기초하여 상기 표시 화면 상의 표시 상태를 제어하는 제어부를 포함하는,
    표시 장치.
  2. 제1항에 있어서,
    상기 입/출력 유닛은, 화상을 표시하기 위한 복수의 화소와, 외부로부터 입사하는 광을 검출하는 복수의 광 센서를 포함하고,
    상기 복수의 광 센서가 수광한 신호를 처리하여 획득되는 상기 표시 화면 내의 위치 정보를 포함하는 타겟 정보와, 서로 다른 프레임 간의 상기 타겟 정보의 변화로부터 획득되는 이벤트 정보를 기억하는 기억부를 더 포함하며,
    상기 제어부는, 상기 타겟 정보 및 이벤트 정보에 기초하여 상기 표시 화면 상의 표시 상태를 제어하는,
    표시 장치.
  3. 제1항에 있어서,
    상기 보호 시트는 유색인, 표시 장치.
  4. 삭제
KR1020080031622A 2007-04-06 2008-04-04 표시 장치 KR101515868B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007100884A JP4333768B2 (ja) 2007-04-06 2007-04-06 表示装置
JPJP-P-2007-00100884 2007-04-06

Publications (2)

Publication Number Publication Date
KR20080091022A KR20080091022A (ko) 2008-10-09
KR101515868B1 true KR101515868B1 (ko) 2015-04-29

Family

ID=39826494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080031622A KR101515868B1 (ko) 2007-04-06 2008-04-04 표시 장치

Country Status (5)

Country Link
US (1) US20080246722A1 (ko)
JP (1) JP4333768B2 (ko)
KR (1) KR101515868B1 (ko)
CN (1) CN101281445B (ko)
TW (1) TWI387903B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009126710A2 (en) * 2008-04-10 2009-10-15 Perceptive Pixel, Inc. Methods of interfacing with multi-input devices and multi-input display systems employing interfacing techniques
KR20100048090A (ko) * 2008-10-30 2010-05-11 삼성전자주식회사 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법
TWI425400B (zh) 2009-05-26 2014-02-01 Japan Display West Inc 資訊輸入裝置、資訊輸入方法、資訊輸入輸出裝置、儲存媒體及電子單元
CN102135841B (zh) * 2011-03-25 2015-04-29 苏州佳世达电通有限公司 具有文件扫描功能的光学触控屏幕及其文件扫描方法
US20140267944A1 (en) * 2013-03-14 2014-09-18 FiftyThree Inc. Optically transparent film composites
CN105334911A (zh) * 2014-06-26 2016-02-17 联想(北京)有限公司 一种电子设备
JP6812119B2 (ja) * 2016-03-23 2021-01-13 旭化成株式会社 電位測定デバイス
CN106502383A (zh) * 2016-09-21 2017-03-15 努比亚技术有限公司 一种信息处理方法及移动终端
TWM587775U (zh) * 2019-07-07 2019-12-11 奕力科技股份有限公司 具有像素結構的顯示裝置與指紋辨識晶片
CN112835417A (zh) * 2021-02-03 2021-05-25 业成科技（成都）有限公司 电子装置及其控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233479B1 (ko) 2004-05-06 2013-02-14 애플 인크. 다지점 인식 터치 화면

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4785564A (en) * 1982-12-20 1988-11-22 Motorola Inc. Electronic notepad
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6677932B1 (en) * 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) * 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
WO2003073159A1 (en) * 2002-02-20 2003-09-04 Planar Systems, Inc. Light sensitive display
MXPA04008817A (es) * 2002-03-13 2005-06-17 O Pen Aps Panel tactil, estilete para uso con el panel tactil, y metodo de operacion del panel tactil.
KR20040005309A (ko) * 2002-07-09 2004-01-16 삼성전자주식회사 도광장치와 이를 갖는 백라이트 어셈블리 및 액정 표시 장치
CN1836133A (zh) * 2003-06-16 2006-09-20 三菱电机株式会社 面状光源装置及采用该装置的显示装置
US7495659B2 (en) * 2003-11-25 2009-02-24 Apple Inc. Touch pad for handheld device
US7728914B2 (en) * 2004-01-28 2010-06-01 Au Optronics Corporation Position encoded sensing device with amplified light reflection intensity and a method of manufacturing the same
JP2005236421A (ja) * 2004-02-17 2005-09-02 Aruze Corp 画像表示システム
JP2005243267A (ja) * 2004-02-24 2005-09-08 Advanced Display Inc 面状光源装置及び液晶表示装置
JP4211669B2 (ja) * 2004-04-26 2009-01-21 セイコーエプソン株式会社 表示装置、表示装置用カラーフィルタ、及び電子機器
US7728823B2 (en) * 2004-09-24 2010-06-01 Apple Inc. System and method for processing raw data of track pad device
JP2006209279A (ja) * 2005-01-26 2006-08-10 Nec Computertechno Ltd 入力装置および触読文字記号入力方法
US7609178B2 (en) * 2006-04-20 2009-10-27 Pressure Profile Systems, Inc. Reconfigurable tactile sensor input device
US7535463B2 (en) * 2005-06-15 2009-05-19 Microsoft Corporation Optical flow-based manipulation of graphical objects
US20070057929A1 (en) * 2005-09-13 2007-03-15 Tong Xie Navigation device with a contoured region that provides tactile feedback
JP5191119B2 (ja) * 2006-12-06 2013-04-24 株式会社ジャパンディスプレイウェスト 表示装置、表示装置の制御方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233479B1 (ko) 2004-05-06 2013-02-14 애플 인크. 다지점 인식 터치 화면

Also Published As

Publication number Publication date
JP2008257061A (ja) 2008-10-23
TWI387903B (zh) 2013-03-01
JP4333768B2 (ja) 2009-09-16
CN101281445B (zh) 2012-10-10
KR20080091022A (ko) 2008-10-09
CN101281445A (zh) 2008-10-08
US20080246722A1 (en) 2008-10-09
TW200844809A (en) 2008-11-16

Similar Documents

Publication Publication Date Title
KR101515868B1 (ko) 표시 장치
US8665223B2 (en) Display device and method providing display contact information based on an amount of received light
JP5528739B2 (ja) 検出装置、表示装置、および物体の近接距離測定方法
US8350827B2 (en) Display with infrared backlight source and multi-touch sensing function
JP4765473B2 (ja) 表示装置及び入出力パネルの制御装置
US20110084934A1 (en) Information input device, information input method, information input/output device, computer readable non-transitory recording medium and electronic unit
US8514201B2 (en) Image pickup device, display-and-image pickup device, and electronic device
JP4915367B2 (ja) 表示撮像装置および物体の検出方法
CN107566628B (zh) 显示模组及其显示方法、终端
KR20070005547A (ko) 디스플레이 모니터를 위한 좌표 검출 시스템
KR20090097123A (ko) 표시 장치 및 위치 검출 방법
JP2011138509A (ja) 光学式タッチ入力装置のレファレンス設定方法とこれを適用する光学式タッチ入力装置
US20120212412A1 (en) Pointing device
JP2011044479A (ja) センサ素子およびその駆動方法、センサ装置、ならびに入力機能付き表示装置および電子機器
US20130113758A1 (en) Method and system for recognizing touch point, and display apparatus
KR20210066976A (ko) 지문 감지 기능을 갖는 표시 장치 및 그것의 동작 방법
US20110316771A1 (en) Display apparatus, television reception apparatus and pointing system
US20100225581A1 (en) Optical position detecting device, display device with position detecting function, and electronic apparatus
JP2010152573A (ja) 表示装置、および表示方法
JP4826174B2 (ja) 表示装置
JP5271936B2 (ja) 表示装置及び表示方法
JP2009199204A (ja) 電気光学装置、及びその制御方法、並びに電子機器
JP2010122444A (ja) 地図表示装置、地図表示装置の制御方法、地図表示装置制御プログラムおよびコンピュータ読み取り可能な記録媒体
KR20090095375A (ko) 터치스크린 장치
JP2011118577A (ja) 画像表示装置、画像表示方法、および画像表示システム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant