KR20150129663A - 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 시스템 및 방법 - Google Patents

Abstract

본 발명은 스크린 상에 제1 연속적인 이미지들을 디스플레이하는 단계; 적어도 하나의 제2 이미지를 획득하는 단계; 스크린에 관하여 적어도 하나의 조작 부재의 위치를 제2 이미지의 분석에 기초하여 탐색하는 단계; 및 제2 이미지에서 조작 부재의 위치의 판정의 조건들이 부분적으로만 충족된다면 디스플레이될 다음 제1 이미지들 중 적어도 하나를 수정하는 단계를 포함하는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법에 관한 것이다.

Description

디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING THE POSITION OF AN ACTUATION MEMBER ON A DISPLAY SCREEN}

본 특허 출원은 참조로 본원에 포함시키는 프랑스 특허 출원 FR13/50350의 우선권을 주장한다.

본 출원은 디스플레이 스크린 상에 조작 부재(actuation member)의 위치를 검출하기 위한 장치 및 방법에 관한 것이다.

디스플레이 스크린 및 디스플레이 스크린 상에 조작 부재, 예를 들면, 스타일러스, 사용자의 손가락 혹은 손의 위치를 검출하기 위한 장치를 포함하는 사용자 인터페이스 시스템이 존재한다. 검출 장치는 디스플레이 스크린에 포개질 수 있는 터치-감응 표면 혹은 터치 표면을 포함할 수 있다. 사용자 인터페이스 시스템은 일반적으로 터치 스크린이라 불리운다.

터치 스크린은 현재 많은 분야에서 사용된다. 예로서, 이들은 이미 셀 전화, 컴퓨터, 텔레비전 세트, 자동차, 자동 발권기, 산업 장비, 의료 장비 등을 제어하기 위해 사용되었다.

특허 출원 WO 2011/119483은 디스플레이 스크린 및 조작 부재가 있는지를 검출하기 위해 스크린 에지 상에 배열된 발광 다이오드 및 광검출기를 포함하는, 조작 부재를 검출하기 위한 장치를 포함하는 사용자 인터페이스 시스템의 예를 기술한다.

W. den Boer, A. Abileah, P. Green, T. Larsson, S. Robinson, 및 T. Nguyen의 간행물 "Active Matrix LCD with Integrated Optical Touch Screen"(SID 03 DIGEST)은 스크린 상에 조작 부재의 그림자를 검출하기 위해 사용되는 광학 센서를 통합한 액정 디스플레이 스크린을 기술한다.

이에 따라, 실시예는

스크린 상에 제1 연속적인 이미지들을 디스플레이하는 단계;

적어도 하나의 제2 이미지를 획득하는 단계;

스크린에 관하여 적어도 하나의 조작 부재의 위치를 제2 이미지의 분석에 기초하여 탐색하는 단계; 및

제2 이미지에서 조작 부재의 위치 판정의 조건들이 부분적으로만 충족된다면 디스플레이될 다음 제1 이미지들 중 적어도 하나를 수정하는 단계를 포함하는, 방법을 제공한다.

실시예에 따라, 제2 이미지는 스크린에 도달하는 광의 이미지에 대응한다.

실시예에 따라, 디스플레이될 다음 제1 이미지의 적어도 어떤 화소들의 세기는 증가 또는 감소된다.

실시예에 따라, 디스플레이될 다음 제1 이미지의 부분만이 수정된다.

실시예에 따라, 제2 이미지는 서로 상이한 컬러들에 연관된 적어도 2개의 부-이미지들을 포함하는 컬러 이미지이다.

실시예에 따라, 스크린에 관한 조작 부재의 위치는 각 부-이미지에서 조작 부재에 의해 제1 이미지의 반사의 검출에 기초하여 탐색된다.

실시예에 따라, 방법은 조작 부재에 의한 제1 이미지의 반사를 나타내는 적어도 하나의 주어진 제1 패턴을 각 부-이미지에서 탐색하는 단계를 포함한다.

실시예에 따라, 스크린에 관한 조작 부재의 위치의 판정의 조건들은 조작 부재에 의한 제1 이미지의 반사가 각 부-이미지에서 동일 위치에서 검출된다면 충족된다.

실시예에 따라, 스크린에 관한 조작 부재의 위치의 판정의 조건들은 조작 부재에 의한 제1 이미지의 반사가 부-이미지들 중 적어도 하나에서 검출되고 모든 부-이미지들에서 검출되지 않는다면 부분적으로만 충족된다.

실시예에 따라, 스크린에 관한 조작 부재의 위치는 각 부-이미지에서 조작 부재의 그림자의 검출에 기초하여 탐색된다.

실시예에 따라, 방법은 조작 부재의 그림자를 나타내는 적어도 하나의 주어진 제2 패턴을 각 부-이미지에서 탐색하는 단계를 포함한다.

실시예에 따라, 스크린에 관한 조작 부재의 위치의 판정의 조건들은 조작 부재의 그림자가 각 부-이미지에서 동일 위치에서 검출된다면 충족된다.

실시예에 따라, 스크린에 관한 조작 부재의 위치의 판정의 조건들은 조작 부재의 그림자가 부-이미지들 중 하나에서 검출되고 모든 부-이미지들에서 검출되지 않는다면 부분적으로만 충족된다.

실시예는 또한,

제1 연속적인 이미지들을 디스플레이하기 위한 스크린;

적어도 하나의 제2 이미지의 획득 장치;

스크린에 관한 적어도 하나의 조작 부재의 위치를 제2 이미지의 분석에 기초하여 탐색하기 위한 장치; 및

제2 이미지에서 조작 부재의 위치의 판정의 조건들이 부분적으로만 충족된다면 디스플레이될 다음 제1 이미지들을 수정하기 위한 장치를 포함하는 시스템을 제공한다.

실시예에 따라, 획득 장치는 한 어레이의 광자 센서들을 포함하고, 스크린은 하나의 어레이의 광 디스플레이 화소들을 포함하고, 하나의 어레이의 광자 센서들은 스크린을 커버하거나 디스플레이 화소 어레이에 통합된다.

전술한 및 그외 다른 특징 및 잇점은 동반된 도면과 관련하여 구체적 실시예에 제한되지 않는 설명에서 상세히 논의될 것이다.
도 1은 디스플레이 스크린 및 디스플레이 스크린 상에 조작 부재를 검출하기 위한 장치를 포함하는 사용자 인터페이스 시스템의 실시예를 부분적으로 및 개요적으로 도시한 것이다.
도 2는 디스플레이 스크린 상에 조작 부재를 검출하는 방법의 실시예를 블록도 형태로 도시한 것이다.
도 3은 도 1의 인터페이스 시스템의 디스플레이 스크린의 실시예의 간이화된 부분 단면도이다.
도 4는 디스플레이 스크린 상에 조작 부재를 검출하는 방법의 상세한 실시예를 블록도 형태로 도시한 것이다.
도 5는 도 1의 인터페이스 시스템의 조작 부재를 검출하기 위한 장치의 실시예의 간이화된 부분 단면도이다.
도 6은 도 5의 검출 장치의 간이화된 부분 정면도이다.
도 7은 도 1의 인터페이스 시스템을 검출하기 위한 유닛의 실시예를 부분적으로 그리고 개요적으로 도시한 것이다.

명확성을 위해서, 여러 도면에서 동일 요소들은 동일 참조부호로 나타내었고 또한, 여러 도면은 축척에 맞지는 않는다. 또한, 기술되는 실시예의 이해에 유용한 요소들만이 도시되어졌고 이들만이 기술될 것이다. 특히, 이하 기술되는 사용자 인터페이스 시스템이 어떻게 사용되는지는 상세히 기술하지 않았다. 제공되는 인터페이스 시스템을 터치-감응 및/또는 무접촉 인터페이스를 통해 제어될 수 있는 임의의 유형의 장치에서 사용하는 것은 당업자의 능력 내에 있다. 또한, 이하 기술되는 사용자 인터페이스 시스템에 의해 제공되는 정보를 처리하기 위한 수단 및 제어될 장치(들)에 연결 수단은 당업자의 능력 내에 있으며 설명하지 않는다. 다음 설명에서, 달리 지시되지 않는 한, "실질적으로", "대략적으로", 및 "의 정도로"라는 용어는 "10% 이내로"를 의미한다.

특허 출원 WO 2011/119483에서, 디스플레이 스크린의 주변에 발광 다이오드 및 광검출기의 존재는 사용자 인터페이스 시스템의 부피를 증가시킨다. 특히, 인터페이스 시스템의 두께는 디스플레이 스크린의 주변에 발광 다이오드 및 광검출기를 수용할만큼 충분해야 한다. 또한, 검출의 효율은 주변 조명이 강한 경우에, 예를 들면, 태양 광선이 직접 디스플레이 스크린에 비추는 경우엔 감소될 수 있다.

W. den Boer 등의 간행물에서, 디스플레이 스크린 상에 조작 부재의 검출은 디스플레이 스크린 상에 조작 부재의 그림자의 검출로부터 얻어진다. 검출 효율은 주변 조명이 낮거나 없는 경우에 혹은 주변 조명의 강한 변동의 경우엔 감소될 수 있다.

특히 강한 조명의 경우에 그리고 낮은 조명의 경우에, 사용자 인터페이스 시스템에 의해, 개선된 신뢰성을 가진 디스플레이 스크린 상에 조작 부재의 위치의 검출 방법을 갖는 것은 바람직할 것이다.

이에 따라, 실시예의 목적은 현존의 방법들의 일부 단점을 적어도 부분적으로 극복하는, 사용자 인터페이스 시스템에 의한 디스플레이 스크린 상에 조작 부재의 위치의 검출의 방법을 제공하는 것이다.

실시예의 또 다른 목적은 조작 부재의 검출의 신뢰성을 개선하는 것이다.

실시예의 또 다른 목적은 강한 조명 조건 및 낮은 주명 조건에서 사용될 수 있는 사용자 인터페이스 장치에 대한 것이다.

실시예의 또 다른 목적은 디스플레이 스크린을 커버하거나 디스플레이 스크린에 통합되는, 조작 부재의 위치를 검출하기 위한 장치를 포함하는 사용자 인터페이스 시스템에 대한 것이다.

실시예의 또 다른 목적은 디스플레이 스크린 상에 조작 부재의 접촉으로 혹은 접촉 없이 동작하는 조작 부재의 위치를 검출을 위한 장치에 대한 것이다.

실시예의 또 다른 목적은 임의의 유형의 디스플레이 스크린, 특히 액정 디스플레이, 플라즈마 스크린, 혹은 유기 반도체 성분, 예를 들면, 유기 발광 다이오드에 기초한 스크린에 구현되는 검출 방법에 대한 것이다.

실시예의 또 다른 목적은 광검출기, 특히 무기 혹은 유기 반도체 물질에 의해 형성된 광검출기에 기초한 임의의 유형의 검출 장치에 구현될 수 있는 검출 방법에 대한 것이다.

도 1은 방출성 디스플레이 스크린(5) 및 조작 부재(7)의 접촉 혹은 무접촉 검출의 장치(6)를 포함하는 사용자 인터페이스 시스템(1)의 실시예를 도시한 것이다. 조작 부재(7)는 스타일러스, 사용자의 손가락 혹은 손에 대응할 수 있다.

이미지의 하나의 화소는 스크린(5)에 의해 디스플레이된 이미지의 단위 요소에 대응한다. 스크린(5)이 컬러 이미지 디스플레이 스크린일 때, 디스플레이 스크린(5)은 일반적으로, 이미지의 각 화소의 디스플레이를 위해서, 각각이 실질적으로 단일의 컬러(예를 들면, 적색, 녹색, 및 청색)로 광 방사를 방출하는, 광 세기를 방출 및/또는 규제하기 위한, 디스플레이 부-화소라고도 하는, 적어도 3개의 성분을 포함한다. 3개의 디스플레이 부-화소들에 의해 방출되는 방사들이 겹치는 것은 디스플레이되는 이미지의 화소에 대응하는 컬러 느낌을 관찰자에게 제공한다. 이 경우에, 이미지의 하나의 화소를 디스플레이하기 위해 사용되는 3개의 부-디스플레이 화소들에 의해 형성된 어셈블리를 디스플레이 스크린(5)의 디스플레이 화소라고 한다. 스크린(5)이 단색 이미지 디스플레이 스크린일 때, 디스플레이 스크린(5)은 일반적으로, 이미지의 각 화소의 디스플레이를 위한 단일의 광원을 포함한다.

디스플레이 스크린(5)은 예를 들면 행과 열로 분포된 하나의 어레이의 디스플레이 부-화소(8)(R, G, B)를 포함한다. 각각이 3개의 디스플레이 부-화소들을 포함하는 것인 2개의 광 디스플레이 화소(Pix)가 도 1에 도시되었다. 디스플레이 화소(5)는 대략적으로 300,000 내지 2,000,000 디스플레이 화소를 포함할 수 있다. 각 디스플레이 부-화소(8)는 광 신호를 방출할 수 있는, 및/또는 복수의 디스플레이 부-화소(8)에 공통일 수 있는 광원에 의해 방출되고 자신을 횡단하는 광 신호의 세기를 규제할 수 있는, 전자 성분을 포함한다. 디스플레이 스크린(5)은 LCD(액정 디스플레이) 스크린이거나, 플라즈마 스크린이거나, 혹은 유기 반도체 성분에 기초한 스크린일 수 있다. 예로서, LCD 스크린의 경우에, 각 디스플레이 부-화소(8)는 복수의 디스플레이 부-화소에 공통일 수 있는 광원에서 나오는 광빔을 많이 혹은 적게 통과시킬 수 있는 액정을 포함할 수 있다.

검출 장치(6)는 예를 들면 행과 열로 분포된 하나의 어레이의 광자 센서(9)(Ph) 혹은 광검출기를 포함한다. 예로서, 6개의 광검출기(9)만이 도 1에 도시되었다. 광검출기(9)는 광검출기(9)에 의해 수신되는 광량에 따르는 전기 신호를 전달할 수 있는 전자 성분이다. 광검출기(9)는 광다이오드, 광레지스터, 광트랜지스터 등을 포함할 수 있다. 광검출기(9)의 수는 디스플레이 부-화소(8)의 수보다 적거나 같을 수 있다. 바람직하게, 광검출기(9)의 수는 디스플레이 부-화소(8)의 수와 같다.

도 1에서, 디스플레이 스크린(5) 및 검출 장치(6)는 명확성을 위해 개별적으로 도시되었다. 그러나, 광검출기 어레이(9)는 디스플레이 부-화소 어레이(8)에 통합될 수도 있다. 변형예로서, 광검출기 어레이(9)는 디스플레이 부-화소 어레이(8)를 커버할 수도 있다. 광검출기(9)는 디스플레이 스크린에 의해 방출되는 광을 직접 수신하지 않도록 보호되고 주변 조명, 즉, 디스플레이 스크린(5)의 외부로부터 디스플레이 스크린(5)에 도달하는 광 흐름(light flow)에 기인한 광만을 수신한다.

시스템(1)은 디스플레이 부-화소(8)를 선택하기 위해 유닛(11)에 의해 디스플레이 스크린(5)에 연결된 디스플레이 제어 유닛(10)(디스플레이 코맨드)를 포함한다. 디스플레이 제어 유닛(10)은, 예를 들면, 디지털 이미지가 저장될 수 있는 메모리를 포함한다. 디지털 이미지는 이미지의 디지털 표현을 의미한다. 바람직하게, 디지털 이미지는 사용되는 컬러 코딩의 유형에 따르는 하나의 어레이의 디지털 값들을 포함한다. 제어 유닛(10)은 저장된 디지털 이미지에 대응하는 이미지를 디스플레이하기 위해 스크린 상에 디스플레이를 얻을 수 있는 제어 신호를 디스플레이 스크린(5)에 제공한다. 예로서, LCD 스크린의 경우에, 유닛(10)은 광의 통과를 차단하거나 광이 통과하게 액정(9)을 선택함으로써 스크린(5) 상에 이미지를 디스플레이하는 것을 제어할 수 있다.

시스템(1)은 광검출기(9)를 선택하기 위해 유닛(13)에 의해 광검출기 어레이(9)에 연결된 조작 부재(7)를 검출하기 위한 유닛(12)(검출 유닛)을 포함한다. 선택 유닛(11, 13)은 적어도 부분적으로 공통일 수 있다. 유닛(12)은 예를 들면 광검출기(9)에 의해 전달된 신호들로부터 얻어진 디지털 이미지가 저장될 수 있는 메모리를 포함한다.

실시예에 따라, 시스템(1)은 검출 장치(6)가 부가되는 통상의 디스플레이 스크린(5)을 사용함으로써 형성된다. 광검출기 어레이(9)는 디스플레이 부-화소 어레이(8)를 커버한다.

또 다른 실시예에 따라, 통상의 디스플레이 스크린의 구조는 디스플레이 스크린(5)의 디스플레이 부-화소(8)의 레벨에서 직접 광검출기(9)를 형성하게 수정될 수 있다. 예로서, 디스플레이 스크린(5)이 액정 디스플레이에 대응할 때, 검출 장치(6)는 미국 특허 출원 2010/0013793에 기술된 바와 같은 광검출기(9)를 포함할 수 있다. 디스플레이 스크린이 유기 발광 다이오드를 포함할 때, 검출 장치(6)는 프랑스 특허 출원 FR11/58607에 기술된 바와 같은 유기 반도체 물질로부터 형성된 광검출기(9)을 포함할 수 있다.

실시예는 컬러 LCD 스크린의 경우에 더 상세히 기술될 것이다. 그러나, 디스플레이 스크린은 또 다른 유형, 예를 들면, 플라즈마 스크린, 혹은 유기 반도체 성분, 예를 들면, 유기 발광 다이오드에 기초한 스크린일 수 있음이 명백할 것이다.

도 2는 특히 도 1에 도시된 사용자 인터페이스 시스템(1)으로 구현될 수 있는, 조작 부재와 사용자 인터페이스 시스템 간에 상호작용을 검출하는 방법의 실시예를 블록도 형태로 도시한 것이다. 조작 부재와 사용자 인터페이스 시스템 간에 상호작용의 검출은 디스플레이 스크린 상에(접촉 검출) 혹은 디스플레이 스크린(무접촉 검출)에 근접한 조작 부재의 위치의 검출에 대응한다. 이하 기술되는 적어도 단계 20, 단계 22, 단계 24는 스크린(5) 상에 연속적인 이미지들의 디스플레이와 동시에 구현될 수 있다.

단계 20에서, 새로운 디지털 이미지는 광검출기(9)에 의해 전달된 신호로부터 검출 유닛(12)에 의해 획득된다. 이미지 화소라는 용어는 하나의 어레이의 이미지의 요소를 나타낸다. 예로서, 획득된 이미지의 이미지 화소의 디지털 값은 검출기(9) 중 하나에 의해 전달된 신호에 의존한다.

새로운 디지털 이미지의 획득은 5 혹은 10 헤르츠의 주파수로 수행될 수 있다. 이것은 디스플레이 스크린(5) 상에 새로운 이미지들의 디스플레이 주파수보다 낮을 수 있다. 또한, 새로운 디지털 이미지들의 획득의 주파수는 일정하지 않을 수 있고 이하 더 상세히 기술되는 바와 같이, 검출 방법의 본 실시예의 구현시 후속하여 수행되는 단계들의 성격에 따라 달라질 수 있다. 방법은 단계 22에서 계속된다.

단계 22에서, 유닛(12)은 획득된 디지털 이미지 상에서 조작 부재가 검출되는지를 판정한다. 일반적으로, 조작 부재가 있는지는 광검출기(9)에 의해 전달된 신호의 분석에 기초하여 검출된다. 예로서, 조작 부재가 없을 때 이들 신호의 레벨에 관하여 조작 부재가 있음에 기인한 광검출기(9)의 신호의 변동이 탐색될 수 있다. 또 다른 예에 따라, 마지막 획득된 디지털 이미지의 신호에 관하여 광검출기(9)의 신호의 변동이 탐색될 수도 있다. 탐색은 획득된 디지털 이미지의 모든 화소에 대해서 혹은 이들 중 일부만에 대해서 수행될 수 있다. 실시예에 따라, 유닛(12)은 조작 부재가 확실 방식으로 검출되도록 충족될 조건들을 판정한다.

조작 부재를 탐색하기 위한 이미지 분석 방법의 결과는,

모든 검출 조건들이 충족되었을 때 조작 부재의 확실 검출;

어떠한 검출 조건도 충족되지 않았을 때 조작 부재의 확실한 검출 없음; 혹은

검출 조건들이 부분적으로 충족되었을 때 조작 부재의 있음 혹은 없음으로서 불확실일 수 있다.

단계 22에서, 조작 부재가 검출된다면, 방법은 단계 24에서 계속된다. 단계 22에서, 조작 부재가 검출되지 않는다면, 방법은 새로운 디지털 이미지의 획득에 의해 단계 20에서 계속된다. 단계 22에서, 조작 부재의 검출이 불확실하다면, 방법은 단계 26에서 계속된다.

단계 24에서, 방법은 디스플레이 스크린(5)에 관한 조작 부재(7)의 검출된 위치에 따라 작업을 계속한다. 이것은 고찰되는 인터페이스 시스템에 따른 임의의 유형의 작업일 수 있다. 작업의 예는 메뉴 등을 디스플레이하는 것을 포함할 수 있다. 방법은 단계 20에서 계속된다.

단계 26에서, 디스플레이 유닛(10)은 단계 22에서 구현되는 탐색 방법에 의한 조작 부재의 검출의 신뢰성을 개선하기 위해서, 즉, 단계 22에서 탐색 방법의 구현 후에 확실 검출 혹은 확실한 검출 없음을 얻기 위해서, 디스플레이되어져 있어야 했던 이미지에 관하여 다음 디스플레이되는 이미지를 수정한다.

이미지에 가져온 수정은 단계 22에서 사용되는 탐색 알고리즘의 유형에 따른다. 디스플레이되는 이미지의 수정의 가능성은 다음 디스플레이되는 이미지에 대해서, 혹은 다음 디스플레이되는 이미지에 대해서, 전체 이미지의 혹은 이의 단지 일부의 디스플레이되는 이미지의 이미지 화소들의 레벨을 증가 혹은 감소시키는 것을 포함한다. 예로서, 다음 디스플레이되는 이미지의 적어도 어떤 디스플레이 화소들의 레벨은 적어도 0.5%만큼, 바람직하게 적어도 1%만큼, 더 바람직하게 적어도 2%만큼, 특히 적어도 5%만큼 증가 또는 감소된다. 잇점이 있게, 이미지 화소들의 레벨 변동은 관찰자에 의해 인지되지 않거나 단지 약간만 인지된다. 또 다른 예에 따라, 다음 디스플레이되는 이미지의 적어도 어떤 디스플레이 화소들의 레벨은 적어도 5%만큼, 바람직하게 적어도 10%만큼 증가 또는 감소된다. 이것은 잇점이 있게 다음 획득된 이미지 상에 조작 부재의 검출의 기회를 증가시킬 수 있게 한다. 예로서, 다음 디스플레이되는 이미지의 디스플레이 화소들의 50% 미만, 바람직하게 25% 미만, 더 바람직하게 15% 미만, 더 바람직하게 10% 미만의 레벨은 디스플레이되어져 있어야 했던 이미지의 이미지 화소들에 관하여 증가 또는 감소된다.

사용자의 시야를 방해하는 것을 피하기 위해서, 수정은 적은 수의 연속적인 디스플레이되는 이미지들에 대해 수행될 수 있거나, 간헐적으로 수행될 수 있다. 예로서, 수정은 기껏해야 100, 바람직하게 50, 더 바람직하게 25, 더 바람직하게 10개의 이미지들에 걸쳐 계속되고, 확실 검출 혹은 확실한 검출 없음이 일어난다면 어쨋든 중단된다. 예에 따라, 디스플레이될 총 수정된 이미지의 수에 도달되었을 때 확실 검출 혹은 확실한 검출 없음이 판정되지 않았다면, 검출 유닛(12)은 검출 없음이 확실한 것으로 판정한다.

예로서, 디스플레이되는 이미지의 수정이 간헐적으로 수행될 때, 수정은 2, 3, 혹은 4개의 이미지 중에서 디스플레이되는 하나의 이미지에 대해 수행된다. 예에 따라, 디스플레이되는 이미지의 수정이 간헐적으로 수행될 때, 디지털 이미지는 수정된 이미지를 디스플레이한 후에만 획득된다. 또 다른 예에 따라, 디스플레이되는 이미지의 수정이 간헐적으로 수행될 때, 이미지는 수정된 이미지를 디스플레이한 후에, 그리고 비수정된 이미지를 디스플레이한 후에 획득된다. 비수정된 이미지가 디스플레이되어진 후에 획득된 이미지는 수정된 이미지가 디스플레이되어진 후에 획득된 이미지로부터 감해질 수 있고, 조작 부재에 대한 탐색은 이와 같이 하여 얻어진 이미지에 대해 수행될 수 있다.

또한, 디스플레이되는 이미지의 이미지 화소들의 값들은 불확실 검출이 얻어지는 한, 그리고 임계에 도달될 때까지, 새로운 수정된 이미지의 각 디스플레이에 대해 예를 들면, 적어도 1%, 바람직하게 적어도 2%, 더 바람직하게 적어도 5%, 더 바람직하게 적어도 10%만큼 점차적으로 증가 또는 감소될 수 있다. 임계는 예를 들면 디스플레이되어져 있어야 했던 이미지에 관하여 50%, 혹은 심지어 100% 만큼 이미지 화소 레벨의 총 변동에 대응한다.

예로서, 임계에 도달되었을 때 확실 검출이 없거나 혹은 확실한 검출 없음이 판정되었다면, 검출 유닛(12)은 검출 없음이 확실한 것으로 판정한다. 또 다른 예에 따라, 임계에 도달되었을 때, 수정된 이미지는 수정된 이미지 화소들의 레벨의 추가적인 변동을 제공함이 없이 계속 디스플레이될 수 있다.

또한, 불확실 검출의 경우에, 이미지 획득 주파수는 확실 검출 혹은 확실한 검출 없음이 얻어질 때까지 일시적으로 증가될 수 있다. 예로서, 이미지 획득 주파수는 적어도 2, 바람직하게 적어도 3, 더 바람직하게 적어도 5, 더 바람직하게 적어도 10으로 일시적으로 곱해질 수 있다. 예로서, 확실 검출 혹은 확실한 검출 없음의 경우에 이미지 획득 주파수가 5 내지 10 Hz의 범위 내에 있는 경우에, 이미지 획득 주파수는, 불확실 검출의 경우, 50 내지 100 Hz까지 일시적으로 증가될 수 있다.

도 3은 컬러 LCD 스크린의 경우에 도 1의 시스템(1)의 디스플레이 스크린(5)의 실시예를 도시한 것이다. 2개의 인접한 디스플레이 부-화소(8)가 도 1에 도시되었다. 예로서, 각 디스플레이 화소는 전형적으로 200㎛ 정도의 변 길이를 가진 정방형 기부를 가질 수 있다. 예로서, 각 디스플레이 화소는 디스플레이 부-화소들 간에 간격이 20㎛이고, 장방형 기부가 50㎛ 내지 200㎛의 범위 내에 변 길이를 가진 3개의 디스플레이 부-화소(8)를 포함하고, 이러한 간격은 이하 기술되는 바와 같이, 어드레싱 트랜지스터와 라인 및 이들의 마스킹을 위해 사용된다. 각 디스플레이 부-화소(8)는 실질적으로 디스플레이 부-화소(8)의 전체 표면에 걸쳐 확장하는 액정 블록(30)을 포함한다. 액정 어레이(30)는 2개의 실질적으로 평행하고 서로 대향하는 주 표면들(31, 32)을 정의한다. 백-라이팅 장치(33)는 표면(31)의 일면 상에 배열된다. 백-라이팅 장치(33)는 모든 디스플레이 부-화소(8)에 공통일 수 있다. 예로서, 백-라이팅 장치(33)는 형광 튜브 혹은 발광 다이오드를 포함할 수 있다. 예로서, 백-라이팅 장치(33)는 결정의 편광에 따라 액정의 각 블록(30)을 가변적으로 횡단하는 백색광을 방출한다.

전극(34)은 표면(31) 상에 배열되고 전극(35)은 표면(32) 상에 배열된다. 전극(34, 35)은 투명 도전성 물질, 예를 들면, 인듐 주석 산화물 또는 ITO로 만들어진다. 예로서, 전극(35)은 디스플레이 부-화소들 사이의 공간 상에 피착된 투명 도전성 물질(예를 들면, 알루미늄, 은, 혹은 구리)보다 현저히 덜 저항성인 비투명 물질로 형성된 행 혹은 열에 의해 완성될 수 있는, 전체 표면(32)을 덮는 투명 도전성 물질의 연속한 층을 형성한다. 각 액정 블록(30)은 액정 블록(30)이 개재된 전극(34, 35) 간에 전압의 인가에 의해 백-라이팅 장치(33)에 의해 제공되는 광 흐름에 대해 다소 불투명이 되게 할 수 있다. 전극(34, 35)은 각 디스플레이 부-화소(8)에 대해, 백-라이팅 장치(33)와 액정 블록(30) 사이에 배열된 선택 블록(36)을 포함하는 선택 유닛(11)에 의해 선택된다. 각 선택 블록(36)은 하나 혹은 복수의 트랜지스터를 포함할 수 있다.

백-라이팅 장치(33)와 선택 블록(36) 사이에 비투명 부분(37)이 배열된다. 이에 따라 선택 블록(36)은 백-라이팅 장치(33)에 의해 방출되는 광을 수신하지 않는다. 각 선택 블록(36)에 실질적으로 대향한 전극(35) 상에 비투명 부분(38)이 배열된다. 이에 따라 선택 블록(36)은 주변 조명으로부터 광을 수신하지 않는다. 불투명 부분(37, 38)은 예를 들면 금속 물질로 만들어진다.

각 디스플레이 부-화소(8)의 전극(35)은 파장에 따라 이를 횡단하는 광파들을 필터링할 수 있는 물질의 부분(39)으로 커버된다. 각 부분(39)은 예를 들면 컬러 수지로 형성된다. 부분(39)을 이하 컬러 필터라 한다. 예로서, 각 컬러 필터(39)는 불투명 부분(38)으로 커버된 전극(35)의 부분을 제외하고, 디스플레이 부-화소(8)의 전체 전극(35)을 커버한다. 바람직하게, 각 컬러 필터(39)는 특정 파장 주위의 파장 범위 내 광파들을 바람직하게 통과시킬 수 있다. 예로서, 3개의 서로 상이한 특정 파장들에 연관된 3개의 컬러 필터(39)가 사용될 수 있다. 특정 파장들은 주 컬러들의 파장들에 대응하거나 이에 근접할 수 있다. 3개의 주 컬러들은 예를 들면, 적색, 녹색, 및 청색이다. 컬러 필터(39)는 행 혹은 열을 따라서 교번하는 3개의 컬러에 맞추어 하나의 어레이의 디스플레이 부-화소(8)에 걸쳐 분포될 수 있다.

각 디스플레이 부-화소(8)에 대해서, 광검출기(9)는 표면(31) 상에 배열되고 블록으로서 도 3에 개요적으로 도시되었다. 예로서, 각 광검출기(9)는 변 길이가 20㎛인 정방형 내에 내포될 수 있다. 예로서, 디스플레이 부-화소(8)에 연관된 광검출기(9)는 인접한 디스플레이 부-화소(8)에 연관된 선택 블록(36)에 인접할 수 있다. 잇점이 있게, LCD 스크린에 있어서, 광검출기(9)는 광트랜지스터 형태로 만들어질 수 있다. 이러한 실시예는 LCD 스크린 어드레싱 어레이를 형성하기 위해 사용되는 기술을 수정하지 않는 잇점을 갖는다.

불투명 부분(37)은 백-라이팅 장치(33)와 광검출기(9) 사이에 개재된다. 이에 따라 광검출기(9)는 백-라이팅 장치(33)에 의해 방출되는 광을 수신하지 않는다. 불투명 부분(38)은 광검출기(9)에 대향하여 위치되지 않는다. 각 디스플레이 부-화소(8)에 대해서, 컬러 필터(39)는 또한 디스플레이 부-화소(8)의 광검출기(9)에 대향하여 확장한다. 이에 따라 각 광검출기(9)는 디스플레이 부-화소(8)의 컬러 필터(39)에 의해 필터링한 후에 주변 조명에서 나오는 광을 수신한다.

도 4는 디스플레이 스크린(5)이 컬러 스크린인 경우에 특히 도 1에 도시된 사용자 인터페이스 시스템(1)으로 구현될 수 있는, 조작 부재와 사용자 인터페이스 시스템 간에 상호작용을 검출하는 방법의 더 상세한 실시예를 블록도 형태로 도시한 것이다. 조작 부재와 사용자 인터페이스 시스템 간에 상호작용의 검출은 디스플레이 스크린 상에(접촉 검출) 혹은 디스플레이 스크린에 근접한(무접촉 검출) 조작 부재의 위치의 검출에 대응한다.

단계 50에서, 새로운 디지털 이미지는 도 2에 도시된 방법의 단계 20에 대해 앞서 기술된 바와 같이 검출 유닛(12)에 의해 획득된다. 바람직하게, 각 디지털 이미지는 3개의 디지털 부-이미지로 분할될 수 있고, 각 부-이미지는 앞서 기술된 3개의 특정 파장들 중 하나에 연관된 디스플레이 부-화소(8)의 광검출기(9)에 의해 전달된 신호로부터 얻어진다. 다음 설명에서, "이미지"라는 용어는 주어진 컬러 플레인 내에서, 이 컬러에 연관된 부-이미지를 나타내기 위해 사용된다. 예로서, 주 컬러인 적색, 녹색, 및 청색에 연관된 3개의 부-이미지가 고찰된다. "컬러 화소"는 하나의 어레이의 부-이미지의 요소를 나타내기 위해 사용된다. 예로서, 컬러 화소의 디지털 값은 광검출기(9) 중 하나에 의해 전달된 신호에 따른다. 컬러 필터(39)의 분포에 따라, 부-이미지는 상이한 개수의 컬러 화소들을 가질 수 있다. 그러나, 바람직하게, 부-이미지는 동일 개수의 컬러 화소들을 갖는다. 방법은 단계 52에서 계속된다.

검출 방법의 본 실시예의 원리는 각 컬러 화소의 디지털 값이 제1 성분 및 제2 성분으로 분할될 수 있다는 사실에 기초한다.

제1 성분은 디스플레이 스크린(5)에 도달하는 주변 조명의 광 흐름을 나타낸다. 디스플레이 스크린(5)과 접촉하여 혹은 디스플레이 스크린(5)에 충분히 근접하여 놓이게 되는 조작 부재가 없을 때, 획득된 디지털 이미지는 주변 조명 광원의 특징에만 의존한다. 특히, 주변 조명이 고정된다면, 연속적으로 획득되는 디지털 이미지는 조작 부재가 없을 땐 실질적으로 동일하다. 조작 부재가 디스플레이 스크린에 접촉하였거나 디스플레이 스크린에 근접하였을 때, 제1 성분은 주변 조명의 광원과 디스플레이 스크린(5) 사이에 조작 부재가 개재됨에 기인하여 그림자를 더욱 나타낸다.

제2 성분은 디스플레이 스크린(5)에 의해 디스플레이되는 이미지의 반사를 나타낸다. 조작 부재가 없을 때, 반사 신호는 극히 낮고 주변 조명에 섞인다. 실제로, 디스플레이 스크린(5)은 디스플레이 스크린(5) 주위에 대상들에 의해 확산되고 광검출기(9)에 의해 검출될 수 있는 자신의 광을 갖는 광원으로서 작용하는 것으로 간주될 수 있다.

접촉에 의해 혹은 없이 디스플레이 스크린(5)과 상호작용하는 조작 부재가 있을 때, 제2 성분은 조작 부재가 디스플레이 스크린(5)에 근접하는 영역에서 조작 부재 상에서 디스플레이되는 이미지의 반사에 기인하여 증가한다. 또한, 조작 부재가 디스플레이 스크린에 가까울수록, 반사되는 이미지는 조작 부재가 디스플레이 스크린(5)에 근접한 영역에서 적어도 국부적으로 디스플레이되는 이미지에 더 가까워진다.

이하 기술되는 단계 52 내지 단계 58은 앞서 기술된 단계 22의 더 상세한 실시예를 예시한다.

단계 52에서, 검출 유닛(12)은 수정된 디지털 이미지를 획득된 디지털 이미지와 기준 디지털 이미지 간에 차이를 계산함으로써 판정한다. 차이는 각 컬러 플레인에 대해 컬러 화소마다 수행될 수 있다. 실시예에 따라, 기준 이미지는 조작 부재와 디스플레이 스크린(5) 간에 상호작용이 없을 때 획득된 디지털 이미지에 대응한다. 방법은 단계 54에서 계속된다.

단계 54에서, 검출 유닛(12)은 수정된 이미지의 각 컬러 플레인에 대해서, 컬러 화소의 값이 실질적으로 일정한지 여부를 판정한다. 이들이 그렇다면, 이것은 획득된 디지털 이미지가 기준 이미지와는 약간만 상이하고 이에 따라 조작 부재와 디스플레이 스크린(5) 간에 상호작용이 없음을 의미한다. 이어 방법은 새로운 디지털 이미지를 획득하여 단계 50에서 계속된다. 이때 기준 이미지는 마지막 획득된 디지털 이미지에 대응하거나, 상호작용 없이 획득된 마지막 디지털 이미지들의, 컬러 화소마다, 평균에 대응할 수 있다. 컬러 화소의 레벨이 일정하지 않다면, 이것은 획득된 디지털 이미지가 기준 이미지와는 상이함을 의미한다. 이어 방법은 단계 56에서 계속된다.

단계 56에서, 검출 유닛(12)은 특히 이하 기술되는 제1 또는 제2 탐색 알고리즘들 중에서, 적어도 하나의 탐색 알고리즘에 따라, 그리고 바람직하게 적어도 두 탐색 알고리즘들, 특히 이하 기술되는 제1 및 제2 탐색 알고리즘들에 따라, 조작 부재와 디스플레이 스크린(5) 간에 상호작용이 있는지 여부를 탐색한다.

제1 탐색 알고리즘은 조작 부재 상에서 디스플레이되는 이미지의 부분의 반사를, 이로부터 디스플레이 스크린(5)에 관한 조작 부재의 위치를 나타내는 정보를 추론하기 위해, 탐색하는 것을 포함한다. 바람직하게, 제1 알고리즘은 각 컬러 플레인에 대해 개별적으로 구현된다. 실시예에 따라, 검출 유닛(12)은, 각 컬러 플레인에서, 획득된 디지털 이미지와 디스플레이되는 이미지에 연관된 디지털 이미지 간에 국부적 상관이 있는지를 탐색한다.

구체적으로, 실시예에 따라, 검출 유닛(12)은, 각 컬러 플레인에서, 수정된 디스플레이된 이미지를 디스플레이된 디지털 이미지에 기초하여, 그리고 수정된 획득된 이미지를 획득된 디지털 이미지에 기초하여 판정한다. 수정된 디스플레이된 이미지의 각 컬러 화소는 동일 컬러 플레인의 모든 컬러 화소들의 평균값 만큼 감소된 디스플레이된 디지털 이미지의 상기 각 컬러 화소의 값에 대응한다. 수정된 획득된 이미지의 각 컬러 화소는 동일 컬러 플레인의 모든 컬러 화소들의 평균값 만큼 감소된 획득된 디지털 이미지의 상기 각 이미지 화소의 값에 대응한다.

검출 유닛(12)은 각 컬러 플레인에 대해서, 각 컬러 화소의 디지털 값이, 수정된 디스플레이된 이미지의 동일 컬러 화소의 디지털 값과 수정된 획득된 이미지의 동일 컬러 화소의 디지털 값 간에 차이와 동일한 작업 이미지를 더욱 판정할 수 있다. 상호작용의 경우에, 디지털 값들은 상호작용이 일어나는 이미지 영역에서 국부적으로 감소한다.

검출 유닛(12)은 조작 부재의 예상된 형상에 따라 작업 이미지에서 기지의 패턴들을 탐색할 수 있다. 이것은 잇점이 있게, 검출된 조작 부재의 형상에 따라 이 조작 부재의 필터링을 얻을 수 있게 하고 디스플레이 스크린에 접촉한 혹은 이에 근접한 대상이 예상된 형상을 갖지 않는 경우에 잘못된 검출을 피할 수 있게 한다. 예로서, 이것은 손가락의 검출 혹은 사용자의 복수의 손가락의 검출이 예상될 때 사용자의 손의 손바닥을 검출하는 것을 피할 수 있게 한다. 방법의 예는 작업 이미지와 작업 이미지에 관한 패턴의 서로 상이한 위치들에 대한 패턴 간에 상관을 판정하는 것을 포함한다. 검출은 예를 들면 상관이 주어진 검출 임계보다 큰 경우에 일어난다. 예로서, 조작 부재와 스크린 간에 단일의 상호작용이 탐색될 수 있다. 이 경우에, 작업 이미지와 패턴 간에 상관이 최대인 작업 이미지에 관하여 패턴의 위치가 탐색될 수 있다. 또 다른 예에 따라, 조작 부재와 스크린 간에 복수의 상호작용이 동시에 탐색될 수 있다. 이것은 예를 들면 사용자가 스크린과 상호작용하기 위해 복수의 손가락을 사용할 수 있을 땐 사실이다. 이 경우에, 작업 이미지와 패턴 간에 상관이 최대인 작업 이미지에 관하여 패턴의 위치가 탐색될 수 있다.

검출 유닛(12)은 상관이 최대인 작업 이미지에 관하여 패턴의 위치(들)에 기초하여, 디스플레이 스크린(5)에 관한 조작 부재의 검출 위치 또는 검출 위치들을 판정할 수 있다.

예로서, 조작 부재가 아직 검출되지 않았을 때, 검출 유닛(12)은 작업 이미지와 작업 이미지에 관하여 패턴의 모든 가능한 위치들에 대한 패턴 간에 상관을 판정할 수 있다. 조작 부재가 검출되었을 때, 검출 유닛(12)은 먼저 상관이 혹은 국부적으로 최대이었거나 검출 임계보다 컷던 작업 이미지에 관하여 패턴의 마지막 위치 혹은 패턴의 마지막 위치들에 근접한 위치들에 대해서만 작업 이미지와 패턴 간에 상관을 판정할 수 있다. 어떠한 검출도 일어나지 않았다면, 탐색은 전체 작업 이미지에 걸쳐 계속될 수 있다.

제2 탐색 알고리즘은 획득된 디지털 이미지 상에 조작 부재의 그림자를 탐색하는 것을 포함한다. 바람직하게, 제2 알고리즘은 각 컬러 플레인에 대해 개별적으로 구현된다. 실시예에 따라, 검출 유닛(12)은 예를 들면, 조작 부재의 그림자를 나타내는 특정 패턴에 따라, 컬러 화소의 값의 국부적 최소를 각 컬러 플레인에서 탐색한다. 검출은 예를 들면 최소가 주어진 임계보다 낮다면 일어난다. 검출 유닛(12)은 디스플레이 스크린(5)에 관한 조작 부재의 검출 위치를 작업 이미지에 관한 최소의 위치에 기초하여 판정할 수 있다. 방법은 단계 58에서 계속된다.

예로서, 조작 부재가 아직 검출되지 않았을 때, 검출 유닛(12)은 전체 획득된 디지털 이미지에 걸쳐 국부적 최소를 탐색할 수 있다. 조작 부재가 검출되어졌을 때, 검출 유닛(12)은 먼저, 국부적 최소의 마지막 검출된 위치에 근접한 획득된 디지털 이미지의 위치들에 대해서만 국부적 최소를 탐색할 수 있다. 어떠한 검출도 일어나지 않았다면, 탐색은 전체 획득된 디지털 이미지에 걸쳐 수행될 수 있다.

또한, 조작 부재가 주어진 컬러 플레인에서 아직 검출되지 않았을 때, 검출 유닛은 다른 컬러 플레인에서 검출되어졌던 위치에서 혹은 위치들에서, 앞서 기술된 제1 혹은 제2 알고리즘을 구현함으로써, 조작 부재를 더욱 탐색할 수 있다.

단계 58에서, 검출 유닛(12)은 제1 탐색 알고리즘, 및/또는 제2 탐색 알고리즘의 구현 후에, 확실 검출, 불확실 검출, 혹은 검출 없음이 얻어졌는지를 판정한다. 검출 유닛(12)은, 제1 탐색 알고리즘에 있어서, 3개의 컬러 플레인들에 대해서 디스플레이 스크린에 관한 동일 위치에서 조작 부재가 검출되었는지를 판정할 수 있다. 이것이 사실이라면, 조작 부재의 검출은 확실하며 방법은 단계 60에서 계속된다. 유사하게, 제2 탐색 알고리즘에 있어서, 검출 유닛(12)은 디스플레이 스크린(5) 상에 조작 부재의 그림자가 3개의 컬러 플레인에 대한 동일 위치에서 검출되는지를 판정할 수 있다. 이것이 사실이라면, 조작 부재의 검출은 확실하며 방법은 단계 60에서 계속된다. 임의의 컬러 플레인에 대해서 제1 탐색 알고리즘에 의해 어떠한 반사도 검출되지 않았거나 임의의 컬러 플레인에 대해서 제2 탐색 알고리즘에 의해 어떠한 그림자도 검출되지 않은 경우에, 검출 없음은 확실하며 방법은 단계(50)에서 계속된다. 이외 다른 경우에서, 검출은 불확실하며 방법은 단계 62에서 계속된다.

불확실 검출의 예는 각 알고리즘의 구현시 어떠한 검출도 얻어지지 않은 적어도 하나의 컬러 플레인 및 검출이 얻어진 적어도 하나의 컬러 플레인이 있다면 일어난다. 불확실 검출의 또 다른 예는 제1 및/또는 제2 알고리즘의 구현시 디스플레이 스크린(5)에 관한 조작 부재의 검출의 서로 다른 위치들에 대응하는 3개의 컬러 플레인들에 대해 검출이 얻어졌다면 일어난다.

단계 60에서, 방법은 도 2에 도시된 방법의 단계 24에 대해 앞서 기술된 바와 같이 디스플레이 스크린(5)에 관한 조작 부재의 검출의 위치에 따라 작업이 계속된다. 방법은 단계 50에서 계속된다.

단계 62에서, 디스플레이 유닛(10)은 도 2에 도시된 방법의 단계 26에 대해 앞서 기술된 바와 같은 조작 부재의 검출의 신뢰성을 개선하기 위해서 디스플레이되어져 있어야 했던 이미지에 관하여 다음 디스플레이되는 이미지를 수정한다.

제1 검출 알고리즘의 구현으로부터 비롯되는 불확실 검출의 경우에, 컬러 플레인 내 디스플레이되는 이미지의 반사의 검출 없음은 이 컬러에 대한 적은 반사에 기인할 수 있거나 이 컬러에 대한 반사를 마스크하는 주변 조명에 기인할 수 있다. 디스플레이되는 이미지의 수정의 가능성은, 다음 디스플레이되는 이미지에 대해서, 혹은 다음 디스플레이되는 이미지들에 대해, 검출이 불확실인 컬러 플레인 내 디스플레이되는 이미지의 컬러 화소들의 레벨을 증가시키는 것을 포함한다.

제2 검출 알고리즘의 구현으로부터 비롯되는 불확실 검출의 경우에, 컬러 플레인에서 조작 부재의 그림자의 검출 없음은 이 컬러에 대해 디스플레이되는 이미지의 반사에 의한 그림자의 상쇄에 기인할 수 있다. 디스플레이되는 이미지의 수정의 가능성은, 다음 디스플레이되는 이미지에 대해서, 혹은 다음 디스플레이되는 이미지들에 대해서, 그림자가 예상되지만 검출되지 않았던 컬러 플레인 혹은 컬러 플레인들 내 이미지의 컬러 화소들의 값들을 감소시키는 것을 포함한다.

제1 혹은 제2 알고리즘의 구현으로부터 비롯되는 불확실 검출의 경우에, 컬러 플레인 내 컬러 화소들의 레벨은 조작 부재가 다른 컬러 플레인들에서 검출되어졌던 위치 혹은 위치들에서, 국부적으로만 증가 혹은 감소될 수 있다. 또한, 컬러 화소 레벨은 또한 전체 컬러 플레인에서, 혹은 검출의 위치에서만 국부적으로, 검출이 수행되어졌던 컬러 플레인에서 증가될 수도 있다.

사용자의 시야를 방해하는 것을 피하기 위해서, 수정은 적은 개수의 연속적인 이미지들에 수행될 수 있고, 혹은 간헐적으로, 예를 들면, 2개 혹은 3개 중 하나의 이미지에 수행될 수 있다. 이 마지막 경우에, 제1 탐색 알고리즘은 디스플레이되는 이미지가 수정되었을 때만 구현된다. 또한, 컬러 화소들의 값들의 수정은 컬러 플레인의 모든 컬러 화소들에 대해서, 혹은 그림자가 예상되는 컬러 플레인의 부분의 컬러 화소들에 대해서만 수행될 수 있다. 또한, 디스플레이되는 이미지의 컬러 화소들의 값들은 예를 들면, 불확실 검출이 얻어지는 한, 그리고 임계에 도달되었을 때까지, 새로운 이미지의 각 디스플레이에 대해 적어도 5% 만큼 점차적으로 증가 혹은 감소될 수 있다. 임계에 도달되었을 때 어떠한 확실 검출도 판정되지 않았다면, 검출 유닛(12)은 검출 없음이 있는 것으로 판정한다. 불확실 검출의 경우에, 이미지 획득 주파수는 확실 검출 혹은 검출 없음의 판정을 가속하기 위해서 확실 검출 혹은 검출 없음이 얻어질 때까지 일시적으로 증가될 수 있다. 더 일반적으로, 확실 혹은 불확실 검출의 경우에, 이미지 획득 주파수는 조작 부재의 검출의 끝까지 일시적으로 증가될 수 있다. 이것은 검출이 없을 때 검출 유닛(12)을 지나치게 사용함이 없이 조작 부재의 검출 변화들을 유동적으로 그리고 신속하게 검출할 수 있게 한다.

실시예에 따라, 단계 50에서, 획득된 디지털 이미지는 주변 조명 세기를 판정하기 위해 사용될 수 있다. 주변 조명의 세기는 획득된 디지털 이미지의 휘도를 판정함으로써 얻어질 수 있다. 획득된 디지털 이미지들이 RGB 컬러 공간에서 코딩되었을 때, 주변 조명의 세기는 RGB 컬러 공간에서 XYZ 공간으로 획득된 디지털 이미지의 행렬 변환을 수행함으로써 그리고 휘도 Y의 값을 사용함으로써 얻어질 수 있다. 실시예에 따라, 디스플레이 스크린(5)에 의해 디스플레이된 이미지의 명도(luminosity)는 획득된 디지털 이미지의 컬러 화소들의 휘도 Y의 평균 값에 따라 수정될 수 있다.

실시예에 따라, 단계 50에서, 획득된 디지털 이미지는 주변 조명의 전체적인 컬러를 판정하기 위해 사용될 수 있다. 주변 조명의 전체적인 컬러는 획득된 디지털 이미지의 전체적인 컬러를 판정함으로써 얻어질 수 있다. 획득된 디지털 이미지들이 RGB 컬러 공간에서 코딩될 때, 주변 조명의 전체적인 컬러는 RGB 컬러 공간에서 HSV 공간으로 획득된 디지털 이미지의 행렬 변환을 수행함으로써 그리고 휴 H의 값을 사용함으로써 얻어질 수 있다. 실시예에 따라, 디스플레이 스크린(5)에 의해 디스플레이되는 이미지의 명도는 획득된 디지털 이미지의 컬러 화소들의 휴 H의 평균 값에 따라 수정될 수 있다.

밝기 혹은 컬러 수정은 전체적으로 혹은 국부적으로 달성될 수 있다. 디스플레이되는 이미지의 밝기 혹은 컬러의 국부적 보정(correction)을 수행하는 것이 실제로 가능하다. 예로서, 태양이 디스플레이 스크린(5)의 일부만에 비추는 경우에, 디스플레이되는 이미지의 밝기는 이 부분에 대해서만 국부적으로 증가될 수 있다.

잇점이 있게, 제1 탐색 알고리즘은 낮은 주변 조명의 경우에 방해되지 않으며 제2 탐색 알고리즘은 강한 주변 조명의 경우에 방해되지 않는다. 잇점이 있게, 제1 및 제2 알고리즘이 구현되는 실시예에 따른 방법의 검출 신뢰성은 이에 따라 개선된다.

도 5는 디스플레이 스크린에 부착된 검출 장치(70)에 광검출기가 속하는 경우로 특히 개조된 광검출기(9)의 실시예의 간이화된 부분 단면도이다. 도 5는 2개의 광검출기(72)를 도시한다. 광검출기(72)는 행과 열로 분포될 수 있다. 동작에서 각 광검출기(72)는 디스플레이 스크린(5)의 디스플레이 부-화소(8)를 부분적으로 커버한다.

광검출기(72)는 예를 들면, 유리 혹은 플라스틱으로 만들어진, 투명 혹은 반투명 유전체 서포트(74) 혹은 기판 상에 형성된다.

각 광검출기(72)는 서포트(74)부터 다음 순서로, 아래에 기술되는 스택을 포함한다:

- 광검출기(72)로 커버된 디스플레이 부-화소의 컬러 필터와 유사하게 광선을 필터링하는 컬러 필터(75);

- 예를 들어 투명 도전성 산화물로 만들어진 투명 전극(76), 혹은 예를 들어 인듐 주석 산화물로 만들어진 ITO;

- 예를 들어, 고농도로 도핑된 투명 유기 반도체 폴리머로 만들어지거나 투명 도전성 금속 산화물, 예를 들면, ZnO형으로 만들어진 전자 주입 부분(78);

- 예를 들면, PCBM으로서 알려진 [6,6]-페닐-C₆₁-부티르산 메틸 에스테르(N-형 반도체)이 혼합된, P3HT으로서 알려진 폴리(3-헥실티오펜) 혹은 폴리(3-헥실티오펜-2,5-다일)(P-형 반도체)인, 유기 반도체 폴리머들의 혼합물로 만들어진 부분(80);

- 예를 들면, 폴리(3,4)-에틸렌디옥시티오펜과 소듐 폴리스티렌 설폰산염과의 혼합물인, PEDOT:PSS로서 알려진 폴리머인, 고농도로 도핑된 유기 반도체 폴리머(정공 주입층)의 부분(82); 및

- 예를 들면, 알루미늄 혹은 은으로 만들어진 전극(84).

측방향으로, 광검출기(72)의 반도체 지역(80)은 투명 유전체 물질(86)에 의해 서로로부터 이격된다. 또한, 투명 보호 코팅(88)은 어레이의 윗면을(전극(84)의 일면 상에) 커버한다.

변형예에 따라, 컬러 필터(75)가 없다. 이 경우에, 각 광검출기(72)는 검출될 컬러에 맞춘 스펙트럼 응답을 갖게 형성된다. 이것은 사용되는 폴리머 성분들을 조절하고 광검출기(72)를 형성하는 층들의 두께를 조절함으로써 얻어질 수 있다.

이 예에서, 광검출기(72)는 투명 기판(74)을 통해서 그리고 투명한 층들(76, 78)을 통해 주변 조명에 의해 조명되게 하였다. 장치(70)는 코팅(88)의 일면 상에서 디스플레이 스크린(5)을 커버할 수 있고, 각 광검출기(72)는 스크린(5)으로부터 광을 직접 수신하는 것을 피하기 위해서 스크린(5)의 블랙 영역 위에 배치되거나 스크린(5)의 디스플레이 부-화소의 금속 트랙들에 의해 마스크된다.

투명 전극(76)은 위에서 보아 평행한 스트립들의 형상을 가질 수 있다. 이 경우에, 불투명 전극(84)은 평행한 스트립들에 대응할 수 있고, 각 스트립(84)은 같은 행의 검출 장치(70)의 모든 광검출기에 연결되고, 투명 스트립(76)은 행에 수직하게 확장하고 서로 상이한 행들의 광검출기들에 연결된다. 변형예로서, 전극(76)은 모든 광검출기(72)와 접촉한 투명 도전성 물질의 플레이트에 속할 수 있다.

검출 장치(70)의 광검출기(72)는 인쇄 기술에 의해 형성될 수 있다. 앞서 기술된 층들(78 내지 88)의 물질들은 액체 형태, 예를 들면, 잉크젯 프린터에 의해 도전성 및 반도체 잉크 형태로 피착될 수 있다. "액체 형태의 물질"은 본원에서는 인쇄 기술에 의해 피착될 수 있는 젤 물질을 나타낸다. 서로 상이한 층들의 피착들 사이에 어닐링 단계가 제공될 수 있는데, 그러나 어닐링 온도는 150℃를 초과하지 않을 수 있고, 피착 및 있을 수 있는 어닐링은 대기압에서 수행될 수 있다.

인쇄 기술에 의한 유기 반도체 성분들의 형성은 예를 들면 논문 "CEA-LITEN S2S printing platform for Organic CMOS and Sensors Devices" by Jean-Yves Laurent et al., LOPE-C Conference, June 2011, Frankfurt에 기술되어 있다.

도 6은 광검출기(72)를 선택하기 위한 수단을 더 상세히 기술하는 검출 장치(70)의 단순화한 평면도이다. 도 6은 각각이 3개의 광검출기(72)를 포함하는 2개의 행(90)을 부분적으로 그리고 개요적으로 도시한다. 선택 요소(92)는 각 광검출기(72)에 연관된다. 선택 요소(92)는 유기 박막 트랜지스터(OTFT)에 대응할 수 있다. 트랜지스터(92)의 소스 및 드레인 중 단자들 중 하나는 광검출기(72)의 전극(84)에 연결되고 소스 및 드레인 중 다른 단자는 도전성 트랙(94)에 연결된다. 도전성 트랙(94)은 행(90)의 모든 선택 요소(92)에 연결될 수 있다. 트랙(94)은 불투명 물질, 예를 들면, 금속으로 만들어질 수 있다. 각 트랜지스터(92)의 게이트는 행(90)에 수직한 방향을 따라 확장하는 투명 도전성 물질의 트랙(96)에 의해 전송되는 신호에 의해 제어될 수 있다. 트랙(96)은 다른 행(90)의 트랜지스터(88)에 연결될 수 있다.

검출 장치(70)가 디스플레이 스크린(5)을 커버하는 경우에, 2개의 인접한 행들(90)은 디스플레이 스크린(5)에서 나오는 광 흐름을 통과시키기 위해 투명 물질의 행(98)에 의해 이격된다. 바람직하게, 행(90)은 디스플레이 스크린(5)의 사용자의 시야를 막는 것을 피하기 위해서 행(98)의 폭보다 작은 폭을 갖는다.

검출 장치(70)가 디스플레이 스크린(5)에 통합된 경우에, 디스플레이 스크린(5)의 디스플레이 부-화소(8)는 각 행(98)에 형성된다.

또 다른 실시예에 따라, 검출 장치가 디스플레이 스크린에 통합되거나 이를 커버하는 경우라면, 터치 디스플레이 스크린은 검출 장치(70)를 커버하는 렌즈형 스크린을 포함할 수 있다. 렌즈형 스크린은 프랑스 특허 출원 FR12/58546에 기술된 렌즈형 스크린에 대응할 수 있다.

렌즈형 스크린은 예를 들면 행(90, 98)에 평행하게 확장하는 인접한 원통형 렌즈를 포함한다. 이들은 평철(plano-convex) 원통형 렌즈일 수 있다. 각 렌즈의 폭은 행(90) 및 행(98)의 폭들의 합과 실질적으로 동일하다. 각 렌즈의 촛점 거리는 행(90)이 대략적으로 렌즈의 2차 촛점에 있도록 조절된다. 렌즈형 스크린은 렌즈가 행(98)을 이의 전체 폭에 걸쳐, 그리고 광검출기의 적어도 행(90)의 폭의 적어도 부분을 커버하도록 행(90, 98)에 관하여 배치된다.

각 렌즈는 행(98)을 통해 방출되거나 행(90)에 의해 수집되는(어두운 영역을 형성하는) 광선들을 일탈한다. 행(98)에서 나오는 광선들은 약간만 일탈되고, 이들의 방향은 광축에 비교적 근접한 채로 있고 반면 광검출기 행(90)에 의해 반사된 광선들은 광축으로부터 단호하게 일탈하는 방향으로 일탈된다. 그럼으로써, 사용자는 디스플레이 부-화소 행(98)에서 나오는 광선들만을 인지하고 광검출기 행(90)의 어두운 영역을 인지하지 않는다. 이에 따라 사용자는 디스플레이 스크린(5)에 의해 확산된 이미지만을 보게 되고 검출 장치(70)는 보여지지 않는다.

디스플레이 스크린에 관하여 현저한 경사를 갖는 광선들은 렌즈에 의해 일탈되고 검출 장치의 광검출기에 의해 수신되는 경향이 있다. 렌즈형 스크린에 근접한 조작 부재의 검출은 이러한 그레이즈(grazing) 광선들의 유 혹은 무의 검출에 기초할 수 있다. 이에 따라 검출 장치(70)의 동작은 렌즈형 스크린의 존재에 의해 방해되지 않는다.

앞서 기술된 실시예에서, 예를 들면, 주 컬러 주위의 관심 파장 범위와는 상이할 있는 파장 범위 내 주변 조명의 광파를 캡처할 수 있는 광검출기(9)가 고찰되어졌다. 컬러 필터는 주변 조명 광과 관심 범위 내 파장을 갖는 광파만을 통과시키기 위해 소스와 광검출기 사이에 배열된다. 그러나, 각 광검출기(9)는 광검출기마다 상이할 수 있는 관심 파장 범위 내 광파만을 검출하게 설계될 수도 있다. 이 경우에, 컬러 필터는 없을 수도 있다.

앞서 기술된 실시예에서, 방법의 단계들은 하나 혹은 복수의 계산장치를 사용함으로써 수행될 수 있다. 이에 따라 실시예는 특정 유형의 계산장치를 사용한 동작으로 제한되지 않는다.

도 7은 검출 유닛(12) 및/또는 디스플레이 제어 유닛(10)을 형성하기 위해 사용될 수 있는 계산장치(1000)의 블록도이다. 계산장치(1000)는 하나 혹은 복수의 프로세서(1001) 및 하나 혹은 복수의 비일시적 컴퓨터-판독가능 저장 서포트(예를 들면, 메모리(1003))를 포함할 수 있다. 메모리(1003)는 실행되었을 때 위에 기술된 검출 방법의 단계들을 구현하는 컴퓨터 프로그램 명령을 비일시적 컴퓨터-판독가능 저장 수단으로 저장할 수 있다. 프로세서 혹은 프로세서(1001)는 메모리(1003)에 결합될 수 있고 이들 단계가 수행되게 이들 컴퓨터 프로그램 명령을 실행할 수 있다.

계산장치(1000)는 또한 계산장치가 다른 계산장치와 통신할 수 있게 하는(예를 들면, 네트워크를 통해) 네트워크 입력/출력 인터페이스(1005)(네트워크 I/O 인터페이스(들))를 포함할 수 있고, 또한 계산장치가 출력 신호를 사용자에게 제공하고 사용자로부터 입력 신호를 수신할 수 있게 하는 하나 혹은 복수의 사용자 인터페이스(1007)(사용자 I/O 인터페이스(들))을 포함할 수 있다. 사용자 인터페이스는 이를테면 키보드, 마우스, 마이크로폰, 디스플레이 주변장치(예를 들면, 모니터 혹은 터치 스크린), 스피커, 카메라와 같은 주변장치 및/또는 이외 다른 유형의 다양한 입력/출력 주변장치를 포함할 수 있다.

위에 기술된 실시예는 몇가지 방법들로 구현될 수 있다. 예로서, 실시예는 전용 회로, 소프트웨어, 혹은 이들의 조합에 의해 구현될 수 있다. 이들이 소프트웨어에 의해 구현될 때, 소프트웨어 코드는 임의의 적합한 프로세서(예를 들면, 마이크로프로세서) 혹은 하나의 세트의 프로세서가 단일의 계산장치에 제공되었거나 복수의 계산장치들 간에 분산되어 있다면, 이들에서 실행될 수 있다. 앞서 기술된 방법의 단계들을 수행하는 임의의 성분 혹은 성분 어셈블리는 위에 기술된 단계들을 제어하는 하나 혹은 복수의 제어기로서 간주될 수 있음에 유의한다. 제어기 혹은 제어기들은 많은 방법들, 예를 들면, 위에 기술된 방법의 단계들을 실행하기 위한 소프트웨어 혹은 마이크로코드에 의해 프로그램된 전용 전자 회로 혹은 범용 회로(예를 들면, 하나 혹은 복수의 프로세서)로 구현될 수 있다.

이에 관해서, 본원에 기술된 실시예가, 프로세서 혹은 복수의 프로세서 상에서 실행되었을 때 위에 기술된 실시예의 단계들을 수행하는 컴퓨터 프로그램(즉, 복수의 실행가능한 명령들)이 코딩된 적어도 하나의 컴퓨터-판독가능 저장 매체(RAM, ROM, EEPROM, 플래시 혹은 또 다른 메모리 기술, CD-ROM, 디지털 비디오 디스크(DVD) 혹은 또 다른 광학 디스크 서포트, 자기 카세트, 자기 테이프, 자기 저장 디스크 혹은 또 다른 자기 저장 장치, 혹은 또 다른 비일시적 컴퓨터-판독가능 저장 서포트)을 포함함에 유의한다. 컴퓨터-판독가능 매체는 이에 저장된 프로그램이 본원에 기술된 기술의 측면들을 구현하기 위해 임의의 계산장치 상에 로딩될 수 있도록 휴대성일 수 있다. 또한, 실행되었을 때 위에 기술된 방법 단계들 중 하나를 수행하는 컴퓨터 프로그램에의 언급은 호스트 컴퓨터 상에서 실행되는 응용 프로그램으로 제한되지 않음에 유의한다. 이와는 반대로, "컴퓨터 프로그램" 및 "소프트웨어"라는 용어들은 본원에서는 앞서 기술된 방법들의 측면들을 구현하기 위해 하나 혹은 복수의 프로세서를 프로그램하기 위해 사용될 수 있는 임의의 유형의 컴퓨터 코드(예를 들면, 응용 소프트웨어, 펌웨어, 마이크로코드, 혹은 임의의 형태의 컴퓨터 명령)을 지칭하기 위해 일반적인 의미로 사용된다.

구체적 실시예들이 기술되었다. 다양한 변경들 및 수정들이 당업자들에게 일어날 것이다. 특히, 두 탐색 알고리즘들이 구현되어진 실시예가 기술되어졌을지라도, 조작 부재에 의해 디스플레이되는 이미지의 반사를 탐색하기 위한 알고리즘만을 구현하는 것이 가능하다.

10; 디스플레이 코맨드, 12; 검출 유닛
20; 이미지 획득, 22; 조작 부재 검출?
24; 상호작용 처리, 26; 이미지 수정
50; 이미지 획득
52; 기준 이미지 차이
54; 각 컬러 플레인 대해서 균일한 차이
56; 컬러 프레인마다 반사 및 그림자를 탐색
58; 검출?
60; 상호작용 처리
62; 이미지 수정
1005; 네트워크 I/O 인터페이스(들)
1001; 프로세서(들), 1003; 메모리
1007; 사용자 I/O 인터페이스(들)

Claims (15)

1. 스크린(5) 상에 제1 연속적인 이미지들을 디스플레이하는 단계;
   적어도 하나의 제2 이미지를 획득하는 단계;
   상기 스크린에 관하여 적어도 하나의 조작 부재(7)의 위치를 상기 제2 이미지의 분석에 기초하여 탐색하는 단계; 및
   상기 제2 이미지에서 상기 조작 부재의 상기 위치의 판정의 조건들이 부분적으로만 충족된다면 디스플레이될 다음 제1 이미지들 중 적어도 하나를 수정하는 단계를 포함하는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
2. 제1항에 있어서, 상기 제2 이미지는 상기 스크린(5)에 도달하는 광의 상기 이미지에 대응하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
3. 제1항 또는 제2항에 있어서, 디스플레이될 상기 다음 제1 이미지의 적어도 어떤 화소들의 세기는 증가 또는 감소되는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 디스플레이될 상기 다음 제1 이미지의 부분만이 수정되는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제2 이미지는 서로 상이한 컬러들에 연관된 적어도 2개의 부-이미지들을 포함하는 컬러 이미지인 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
6. 제5항에 있어서, 상기 스크린(5)에 관한 상기 조작 부재(7)의 상기 위치는 각 부-이미지에서 상기 조작 부재에 의해 상기 제1 이미지의 반사의 검출에 기초하여 탐색되는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
7. 제6항에 있어서, 상기 조작 부재(7)에 의한 상기 제1 이미지의 상기 반사를 나타내는 적어도 하나의 주어진 제1 패턴을 각 부-이미지에서 탐색하는 단계를 포함하는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
8. 제6항 또는 제7항에 있어서, 상기 스크린(5)에 관한 상기 조작 부재(7)의 상기 위치의 판정의 상기 조건들은 상기 조작 부재에 의한 상기 제1 이미지의 상기 반사가 각 부-이미지에서 동일 위치에서 검출된다면 충족되는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
9. 제6항 내지 제8항 중 어느 한 항에 있어서, 상기 스크린(5)에 관한 상기 조작 부재(7)의 상기 위치의 판정의 상기 조건들은 상기 조작 부재(7)에 의한 상기 제1 이미지의 상기 반사가 상기 부-이미지들 중 적어도 하나에서 검출되고 모든 부-이미지들에서 검출되지 않는다면 부분적으로만 충족되는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
10. 제5항 내지 제9항 중 어느 한 항에 있어서, 상기 스크린(5)에 관한 상기 조작 부재(7)의 상기 위치는 각 부-이미지에서 상기 조작 부재(7)의 그림자의 검출에 기초하여 탐색되는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
11. 제10항에 있어서, 상기 조작 부재(7)의 상기 그림자를 나타내는 적어도 하나의 주어진 제2 패턴을 각 부-이미지에서 탐색하는 단계를 포함하는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
12. 제10항 또는 제11항에 있어서, 상기 스크린(5)에 관한 상기 조작 부재(7)의 상기 위치의 판정의 상기 조건들은 상기 조작 부재의 상기 그림자가 각 부-이미지에서 동일 위치에서 검출된다면 충족되는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
13. 제10항 내지 제12항 중 어느 한 항에 있어서, 상기 스크린(5)에 관한 상기 조작 부재(7)의 상기 위치의 판정의 상기 조건들은 상기 조작 부재(7)의 상기 그림자가 상기 부-이미지들 중 적어도 하나에서 검출되고 모든 부-이미지들에서 검출되지 않는다면 부분적으로만 충족되는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 방법.
14. 시스템(1)에 있어서,
    제1 연속적인 이미지들을 디스플레이하기 위한 스크린(5);
    적어도 하나의 제2 이미지의 획득 장치(9);
    상기 스크린에 관한 적어도 하나의 조작 부재(7)의 상기 위치를 상기 제2 이미지의 분석에 기초하여 탐색하기 위한 장치(12); 및
    상기 제2 이미지에서 상기 조작 부재의 상기 위치의 판정의 조건들이 부분적으로만 충족된다면 디스플레이될 다음 제1 이미지들을 수정하기 위한 장치를 포함하는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 시스템.
15. 제14항에 있어서, 상기 획득 장치(9)는 하나의 어레이의 광자 센서들을 포함하고, 상기 스크린(5)은 하나의 어레이의 광 디스플레이 화소들(8)을 포함하고, 상기 하나의 어레이의 광자 센서들은 상기 스크린을 커버하거나 상기 디스플레이 화소 어레이에 통합되는 것을 특징으로 하는 디스플레이 스크린 상에 조작 부재의 위치를 검출하기 위한 시스템.

Images