KR20130018450A - 비접촉식 터치 스크린을 위한 시스템 및 방법 - Google Patents

Abstract

터치스크린은 렌즈 없는 선형 IR 센서 어레이 및 스크린 표면으로 근접한 하나 이상의 물체들을 조명하고, 이러한 물체들로부터 반사되는 광을 탐지하기 위한 스크린의 주변부의 하나의 위치로부터의 IR 광원을 가진다. 센서 어레이는 근접한 격자 같은 장벽/반사기와 쌍을 이루어 센서 어레이 상에 무아레 패턴(Moire pattern)들을 생성한다. 디지털 신호 프로세싱은 이러한 패턴들을 이산 푸리에 변환들로 변환한다. 낮은 차수(lower order) 이산 푸리에 스펙트럼의 피크들(peak)과 마찬가지로 낮은 차수 피크들의 복소 위상(complex phase)들은 스크린에 근접한 물체들의 위치들을 정확하게 결정하기 위해 사용될 수 있다. 스크린의 주변부에 위치한 소수의 압력 또는 표면 음파 센서들은 추가적인 포지셔닝 정보를 제공하고 스크린과의 물리적 접촉들을 기록하여 포지셔닝 신뢰성을 향상시키는데 사용된다.

Description

비접촉식 터치 스크린을 위한 시스템 및 방법{SYSTEM AND METHOD FOR CONTACTLESS TOUCH SCREEN}

본 발명은 터치 스크린에 관한 것이고, 보다 구체적으로, IR(infrared; 적외선) 기반의 근접 물체의 발광 감지 및 위치 결정에 관한 것이다.

터치 스크린 기술들은 6개의 주요 카테고리들로 광범위하게 분류될 수 있다: 저항막 방식(resistive), 정전용량 방식(capacitive), 주변 IR 방식, 초음파 방식(ultrasound), 광학 방식(optical imaging) 및 표면 음파/압력 방식(surface acoustic/pressure). 이들 사이에서 오직 저항막 방식, 정전용량 방식 및 광학 방식 기술들이 쉽게 멀티 터치(multi-touch) 터치 스크린 성능을 지원할 수 있다. 비록 저항막 방식 터치 스크린 기술은 상대적으로 낮은 가격으로 인해 작은 상호작용 디스플레이를 위해 가장 일반적으로 사용된 기술이었지만, 정전용량 방식 터치 스크린 기술은 아주 가벼운 터치에서 쉽고, 유동성의 온 스크린(on-screen) 네비게이션(navigation)을 허용하는 우수한 터치 민감도 때문에, 인기를 얻고 있다.

저항막 방식 및 정전용량 방식의 터치 스크린들 모두는 포지셔닝(positioning) 정보를 처리하기 위해 디스플레이 표면상에 층을 이루는 터치 감응 오버레이(overlay)들 및 주변 드라이버(driver)/컨트롤러(controller)들을 필요로 하며, 이는 제조 비용을 증가시키고, 광 투과 및 이미지 선명도를 감소시켜 이를 보상하기 위해 디스플레이 광 출력의 증가를 필요하게 된다. 정전용량 방식 터치 스크린들은 더 제조하기 어려운 더 복잡한 층을 이룬 기판 구조들을 가지며, 따라서 구현하기 위해 더욱 비싼 터치 기술이 된다. 정전용량 방식의 터치 스크린은 또한 사람의 손가락 또는 유사한 전기적 특성을 가진 어떤 것의 존재를 필요로 한다. 장갑을 낀 손가락 또는 스타일러스(stylus)는 정전용량 방식의 터치 스크린상에서 작동하지 않을 것이다.

광학 방식 터치 스크린은 일반적으로 오직 손가락의 터치로써 방출되는 면 유리(face glass) 내에 갇힌 에지 발광된(edge illuminated) 빛과 전반사 장애(frustrated total internal reflection)의 원리 및 유리를 빠져나가는 빛을 포획하는 하나 이상의 카메라를 이용하여 손가락의 위치들을 결정한다. 이러한 접근 방법은 적절하게 동작하도록 하기 위해 카메라와 스크린 사이에 상당한 공간을 필요로 하고, 이는 공간이 프리미엄인 이동식 디스플레이 장치들에 대해 적합하지 않다. 초음파 방식과 같은 다른 접근 방법들은 구현하기 위해 더욱 비싸거나, 먼지 및 수분을 막기 위해 밀봉될 수 없으며, 일반적으로 이동식 장치 적용을 위해 적합하지 않다.

저항막 방식 및 정전용량 방식의 두 개의 주요 터치 스크린 기술들은 추가적인 단점들을 가진다. 이 둘은 해상력과 함께 제조 비용이 가파르게 상승하기 때문에 현실에서의 구현에서 상대적으로 낮은 터치 해상력을 가지고, 이에 수반하여 터치 민감도는 가파르게 감소하게 되는데, 이는 개별적인 터치 센서들의 물리적인 치수에 직접적으로 비례하기 때문이다. 이 두 개의 터치 기술들의 더 심각한 문제는 물체 또는 물체들의 위치는 오직 이들 물체가 터치 스크린과 물리적인 접촉을 한 이후에 결정될 수 있다는 사실이다.

이러한 결함들은 제스처(gesture) 기반 동작들의 많은 것을 실행하기 어색하게 한다. 예를 들어, 터치 스크린상의 가상 키보드를 타이핑하는 것은 손가락이 가상 키의 상부에 직접적으로 위치하여 키가 눌려지는 것을 필요로 한다. 만약, 터치 스크린이 크지 않다면, 가상 키는 보통 손가락 자체보다 매우 작을 것이고, 따라서, 올바른 키를 누르는 것은 어려울 것이다. 만약, 손가락이 스크린에 터치하기 이전에 터치스크린이 손가락 및/또는 손가락 자체 아래의 가상 키들의 확대된 장면을 제공할 수 있다면, 이러한 사용자 인터페이스는 향상될 수 있다. 그러나, 이러한 인터페이스는 손가락이 스크린에 터치하기 이전에 사용자의 손가락의 탐지가 필요하다.

집기(pinch), 줌(zoom) 및 스와이프(swipe)와 같은 다른 동작들 또한 터치 스크린이 손가락들의 움직임을 추적하기 위해 손가락 또는 손가락들과 터치 스크린 사이에 계속적인 물리적 접촉을 필요로 한다. 이는 장치들의 물리적인 스크린상에 마모와 손상을 가져오고, 시간이 지날수록 스크린의 성능을 떨어뜨린다. 또한, 만약, 사용자가 제스처를 하는 동안 물리적인 접촉을 계속적으로 유지하는데 실패한다면, 이는 장치가 사용자의 의도를 확인하기 어렵게 할 것이다.

일 구체예에서, 본 발명은 렌즈 없는 선형 IR 센서 어레이 및 스크린 표면으로 근접한 하나 이상의 물체들을 조명하고, 이러한 물체들로부터 반사되는 광을 탐지하기 위한 스크린의 주변부의 하나의 위치로부터의 IR 광원을 가지는 터치스크린이다. 센서 어레이는 근접한 격자 같은 장벽/반사기와 쌍을 이루어 센서 어레이 상에 무아레 패턴(Moire pattern)들을 생성한다. 디지털 신호 프로세싱은 이러한 패턴들을 이산 푸리에 변환들로 변환한다. 낮은 차수(lower order) 이산 푸리에 스펙트럼의 피크들(peak)과 마찬가지로 낮은 차수 피크들의 복소 위상(complex phase)들은 스크린에 근접한 물체들의 위치들을 정확하게 결정하기 위해 사용될 수 있다. 스크린의 주변부에 위치한 소수의 압력 또는 표면 음파 센서들은 추가적인 포지셔닝 정보를 제공하고 스크린과의 물리적 접촉들을 기록하여 포지셔닝 신뢰성을 향상시키는데 사용된다. 터치 전 포지셔닝 정보 및 실제 터치 위치들 모두를 제공함으로써, 가상 키잉(keying) 및 제스처 입력과 같은 터치 기반의 동작들이 향상된다. 추가적인 층을 이루는 터치 감응 저항막 또는 정전용량 기판들의 생략은 광 전달 및 이미지 선명함을 증가시킨다.

본 발명의 전술한 내용 그리고 다른 목적들, 특징들 및 장점들은 첨부된 도면들에 도시된 것과 같은 구체예들의 하기의 더 상세한 설명으로부터 명백해질 것이고, 도면 부호들은 다양한 도면들 전체에서 동일한 구성들을 참조한다. 도면들은 반드시 일정한 비율로 그려지거나, 강조가 아니며, 대신 본 발명의 원리를 도시하도록 첨부된다.
도 1은 홈이 있는 IR 터치 변환기 모듈 및 코너에 구비된 압력/음파 센서들을 갖는 보호 디스플레이 유리 판넬을 포함하는 조립된 휴대폰의 사시도이다.
도 2는 두 개 상태의 커밋(commit) 터치 제스처 감지 하위 시스템의 일부로서 코너에 구비된 압력/음파 센서들을 가지는 보호 스크린 커버 유리의 사시도이다.
도 3은 디스플레이 스크린에 근접한 두 개의 물체들로부터 얻어지고 처리된 IR 데이터로부터 획득된 이산 푸리에 스펙트럼을 도시하는 그래프로, 두 개의 근접 물체들을 나타내는 두 개의 구별되는 피크들을 만든다.
도 4는 디스플레이 스크린에 근접한 방사상 위치는 동일하나 방위각이 상이한 두 개의 물체들과 관련하여 얻어지고 처리된 IR 데이터로부터 획득된 이산 복소 푸리에 계수들을 나타내는 두 개의 그래프이다.
도 5는 프리즘 IR 거울, 중앙 IR 센서 어레이들 및 슬릿 창들을 가지는 측면 LED IR 방사체들을 포함하는 IR 터치 변환기 모듈의 사시 분해조립도이다.
도 6은 기능 장치 내에 조립된 상태의 도 5의 IR 터치 변환기 모듈을 나타내는 도면이다.
도 7은 도시된 두 개의 선형 센서 어레이들을 가지는 칩 규모 패키지 내의 IR 센서 어레이의 사시도이다.
도 8은 IR 투과 물질로 만들어지고, 물결모양의 주기적 패턴으로 식각된 경사진 거울 면을 가지는 3각의 쐐기 모양의 물결모양 프리즘 거울의 일 구체예를 도시한 도면으로, 상기 패턴의 주기성은 IR 센서 어레이의 피치(pitch)에 밀접하게 매칭된다.

본 명세서의 목적을 위하여, 컴퓨터로 읽을 수 있는 매체는 장치가 읽을 수 있는 형태로 컴퓨터 데이터를 저장한다. 제한이 아닌, 실시예의 방법에 의해, 컴퓨터로 읽을 수 있는 매체는 컴퓨터 저장 매체들 및 통신 매체들을 포함할 수 있다. 컴퓨터 저장 매체들은 컴퓨터로 읽을 수 있는 명령들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보 저장을 위한 어떤 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 제거 가능 및 제거 불가능한 매체들을 포함한다. 컴퓨터 저장 매체들은 RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 다른 고체 소자 메모리 기술, CD-ROM, DVD, 또는 다른 광학 저장 장치, 마그네틱 카세트, 마그네틱 테이프, 마그네틱 디스크 저장 장치 또는 다른 대용량 저장 장치, 또는 원하는 정보를 저장하는데 사용될 수 있고, 컴퓨터에 의해 접근될 수 있는 어떤 다른 매체를 포함하나, 이에 한정되지 않는다.

본 명세서의 목적을 위하여, 모듈은 본 명세서에서 설명되는(사람과 상호작용이나 증대와 함께, 또는 사람과 상호작용이나 증대 없이) 처리들, 특징들 및/또는 기능들을 실행하거나 촉진하는 소프트웨어, 하드웨어, 또는 펌웨어(firmware)(또는 이들의 조합) 시스템, 프로세스 또는 기능, 또는 이들의 구성요소이다. 모듈은 서브 모듈들을 포함할 수 있다. 모듈의 소프트웨어 구성 요소들은 컴퓨터로 읽을 수 있는 매체에 저장될 수 있다. 모듈들은 하나 이상의 서버들에 내장되거나, 또는 하나 이상의 서버들에 의해 로드(load)되고 실행될 수 있다. 하나 이상의 모듈들은 엔진 또는 어플리케이션으로 그룹화될 수 있다.

하기에 설명된 터치 스크린들의 다양한 구체예들은 사용자 손가락의 접근 또는 물체가 스크린에 터치되기 전에 스크린 근처의 물체를 탐지할 수 있는 성능들을 제공하고, 이러한 물체들과 스크린과의 실제적인 접촉을 감지할 수 있는 성능들을 더 제공한다.

이러한 성능들은 스크린과의 물리적인 터치 없이 또는 터치와 함께 사용자에게 손가락 제스처를 허용한다. 이러한 제스처는 사용자가 실제로 스크린을 터치하였을 때 해석될 수 있다. 예를 들어, 일 구체예에서, 사용자는 손가락 제스처를 사용하여 터치 스크린상에 하나 이상의 명령들이 나타나도록 할 수 있고, 다음에 터치 스크린의 최종적인 가벼운 두드림으로 하나 이상의 명령들의 실행을 시킬 수 있다. 물체 또는 물체들이 터치 스크린으로부터 수 밀리미터 내에 있을 때 이들이 추적되는 추적 상태 및 스크린을 가볍게 두드림으로써 터치 컨트롤러가 갑작스런 고주파의 음파 임펄스를 감지하는 실행 상태로 분리함으로써, 제스처 동작은 더 정확하고 일관되게 해석될 수 있다.

이러한 두 개의 상태 접근 방법은 또한 일정한 도식적인 어플리케이션들을 위한 더 직관적인 인터페이스를 가능하게 한다. 예를 들어, 온라인 신문을 읽기 위하여, 사용자 손가락의 근접하는 움직임은 사용자가 페이지를 스캔하는 것을 허용하기 위해 신문의 내용이 동조하여 이동하는 것을 야기하도록 터치 없이도 추적될 수 있다. 또한, 축소하지 않으면 전체 페이지의 모든 내용을 표시할 수 없는 이동식 장치들의 작은 디스플레이 스크린들의 제한된 스크린 해상도를 극복하기 위해, 손가락의 위치는 손가락이 가리키는 주변 페이지의 내용을 확대하기 위한 확대경을 이끌어 낼 수 있다. 원하는 내용 위치가 찾아지면, 스크린의 약간의 가벼운 두드림으로 사용자에 의한 감상을 위하여 충분히 확대된 내용이 고정된다.

일 구체예에서, 개시된 장치는 두 개의 구별되는 터치 감지 하부 시스템들을 사용할 수 있다; 하나는 비접촉 IR 기반이고, 다른 것은 스트레인 게이지 또는 압력 게이지에 기반된다. 도 1은 IR 터치 변환기 모듈(1200) 및 코너에 구비된 압력/음파 센서들(1400)을 갖는 스크린 모두를 제공하는 휴대전화(1000)의 일 구체예를 도시한다. 장치는 IR 터치 변환기 모듈(1200) 및 코너에 구비된 압력/음파 센서들(1400)로부터 받은 데이터를 처리하고 해석하기 위한 하나 이상의 저전력 마이크로컨트롤러들 또는 코어(core)기반의 컨트롤러들(미도시)을 그 중에서도 더 포함한다.

IR 터치 변환기 모듈(1200) 및 코너에 구비된 압력/음파 센서들(1400)을 가지는 스크린 모두의 사용은 시스템의 정확성 및 신뢰성을 향상시킨다. 터치 전의 포지셔닝(positioning) 정보 및 실제 터치 지점들 모두를 제공함으로써, 손가락이 스크린을 치기 이전에 사용자가 타이핑 손가락의 정확한 지점을 볼 수 있도록 하게 하여 가상 키잉(keying) 및 제스처 입력과 같은 터치 기반 동작들이 향상되고, 이에 의해 올바른 가상 키가 쳐질 것을 보장하도록 사용자가 터치 전 방향 수정을 하도록 허용한다. 이는 사용자의 손가락이 스크린을 치려고 할 때 원하는 가상 키가 애매하더라도, 사용자는 스크린상의 어디에 사용자의 손가락이 닿을지 예측할 필요가 없기 때문에 타이핑 속도 및 정확성을 향상시킬 수 있다.

다중 내부 반사들과 그로 인한 전송 손실을 야기하는 상이한 기판들을 연결하는 다중 경계면들뿐만 아니라 빛을 차단하는 투명 전극 층들이 사라짐으로 인하여 장치의 광 전송 효율 및 이미지 선명도 측면에서도 이득을 얻을 수 있다는 점에 주목하라.

개시된 장치의 일 구체예의 구성요소들 및 동작 원리들이 이제 더 자세히 설명될 것이다. 도 2는 코너에 구비된 압력/음파 센서들(1400)을 갖는 스크린의 일 구체예의 사시도이다. 보호 스크린 커버 유리(1420)에는 압력/음파 센서들과 같이 코너에 구비된 스트레인 게이지들(strain gauge)(1440)이 구비된다. 보호 유리 또는 단단한 플라스틱 판넬(1420)은 판넬의 네 개의 코너 상에 스프링이 구비될 수 있다. 스트레인 게이지들(1440)은 판넬이 터치되었을 때 각 코너에서의 편차를 결정하기 위해 사용될 수 있다. 스프링 구비요소는 스트레인 게이지의 탄성력과 거의 같은, 그러나 약간 더 낮은 탄성력을 가지는 탄성 기판으로 스트레인 게이지를 감싸서 스트레인 게이지(1440)에 직접적으로 장착될 수 있다.

만약, 스프링 구비요소가 너무 연하다면, 기계적 부하의 대부분은 스트레인 게이지 자체에 의해 지탱될 것이나, 반대로, 탄성력이 너무 높다면, 스트레인 게이지에는 편차 부하의 오직 적은 부분만이 분산되므로 스트레인 게이지의 민감도는 크게 감소될 것이다. 일 구체예에서, 스트레인 게이지는 압력 게이지 및 음파 센서 모두로써 구성될 수 있다. 상기에서 설명된 구체예는 보호 판넬에 대한 가벼운 두드림과 같은 터치들과 같이 고주파 임펄스에 잘 응답한다.

단 하나의 터치에 있어서, 터치 지점의 위치는 스트레인 게이지 값들의 이중 선형 보간법(bilinear interpolation)을 수행하여 측정될 수 있다. 다중 터치에 있어서, 이중 선형 보간법은 오직 다중 터치 지점들의 가중 중심(weighted centroid)을 제공할 수 있다. 그러나, 도 1의 도면부호 1200과 같은 IR 터치 변환기 모듈과 함께 연결되어 작동할 때, 장치는 하나의 터치 포지셔닝의 신뢰성을 향상시킬 수 있고, 다중 터치 상황에서 IR 모듈의 출력의 일관성 점검을 제공할 수 있다. 터치 인터페이스 설계 및 특정한 어플리케이션에 따라, 주변부의 압력 또는 음파 센서들의 터치 민감도 임계값은 적절히 조절될 수 있다.

스트레인 게이지 판넬은 또한, 실제적으로 터치를 감지하지 못하나, 대신에 오직 스크린 표면에 근접한 하나 이상의 물체들의 존재를 감지할 수 있는 IR 위치 센싱을 보완하여 스크린과의 물리적 접촉이 이루어졌는지를 압력 특징 또는 음파 특징으로 통해 탐지하도록 사용될 수 있다. 터치를 탐지하기 위한 비접촉 방법 및 터치를 탐지하는 접촉 방법 모두를 가지는 것은 실제적인 접촉 전에 손가락들(또는 스타일러스(stylus)와 같은 다른 물체들)이 추적되는 것을 허용하여 두 개의 상태의 커밋(commit)을 가능하게 하여 포인팅 정확성 및 유용성을 향상시킨다.

일 구체예에서, IR 터치 변환기 모듈(1200)에서 사용되는 IR 기술은 렌즈 없는(lens-less) 선형 IR 센서 어레이 및 스크린의 주변부의 하나의 위치로부터 IR 광원을 사용하여 스크린 표면으로 근접하는 하나 이상의 물체들을 조사하고, 이러한 물체들로부터 반사되는 광을 탐지한다. 일 구체예에서, 개시된 장치는 물결모양 거울, 주기적 격자 또는 다른 근접한 격자 같은 장벽 및/또는 반사기, 및 픽셀 피치(pixel pitch)와 거울의 물결모양 메시 사이즈(mesh size) 또는 주기적 격자의 메시 사이즈와 거의 동일한 IR 센서 픽셀 어레이 사이의 상호작용에 의해 생성된 무아레 간섭법(interferometry)을 사용한다.

그렇게 생성된 무아레 패턴은 센서 어레이에 의해 포착되고, 미리 조정되어 디지털 프로세싱 컨트롤러에 의해 더 처리된다. 그렇게 형성된 이상적인 무아레 패턴은 스크린이 터치되는 각 시간 동안 겹쳐진 고주파 변조들을 가지는 사인파이다. 결과적인 푸리에 스펙트럼은 방사상 포지셔닝 정보를 제공하는 스펙트럼의 낮은 차수 부분에서 가파른 피크들을 포함하고, 동시에 방위각상 포지셔닝 정보는 개별적인 낮은 차수 푸리에 스펙트럼 피크들의 복소 위상들 내에 전체적으로 포함된다.

일 구체예에서, 미리 조정된 이후에, 디지털 신호 프로세싱은 이러한 무아레 패턴들을 이산 푸리에 변환 계수들의 집합으로 변환한다. 변환 계수들이 획득되면, 높은 차수 계수들은 버려질 수 있고, 피크 파인더(finder)는 모든 낮은 차수 푸리에 계수들을 위치시키는데 사용된다. 낮은 차수 이산 푸리에 스펙트럼의 피크들 및 연관된 복소 위상들은 가장 낮은 치수의 피크와 이에 연관된 위상을 이용하여 대강의 위치를 찾고, 점근 산법(successive approximation)을 활용하여 더 높은 차수의 피크들을 고려함으로써 위치 정보를 점차 개선하는 방식의 반복적 접근을 통하여 스크린에 대해 근접한 물체들의 위치들을 결정하는데 사용될 수 있다. IR 조명 및 포획 모두를 위해 하나의 가장자리 위치를 사용하는 것은 본 명세서의 원리들을 구현하는 장치들의 제조 비용을 감소시킬 뿐만 아니라 설계를 매우 단순화시킬 수 있다.

도 3은 디스플레이 스크린에 근접한 두 개의 물체들(예를 들어, 멀티 터치 사용자 인터페이스 작용)로부터 전송받고 처리된 IR 데이터로부터 획득된 이산 푸리에 스펙트럼을 나타내는 그래프(100)를 도시하는데, 이는 두 개의 근접 물체들을 나타내는 두 개의 구별되는 피크들(120 및 140)을 만든다. 도 4는 동일한 방사상 위치들을 가지나 상이한 방위각상 위치들을 갖는 디스플레이 스크린에 근접한 두 개의 물체들에 관련된 전송받고 처리된 IR 데이터로부터 획득된 이산 복소 푸리에 계수들을 나타내는 그래프들(200 및 300)을 도시한다. 스펙트럼의 낮은 차수 부분 내의 피크들(220 및 320)은 방사상 포지셔닝 정보를 제공하고, 각 낮은 차수 푸리에 스펙트럼의 복소 위상들(240 및 340)은 방위각상 포지셔닝 정보를 제공한다.

방사상과 방위각상 정보 사이의 분명한 구분은 위치 추정이 매우 감소된 알고리즘적 복잡성으로 수행되는 것을 허용한다. 일 구체예에서, 스마트폰과 같은 작은 장치의 일반적인 디스플레이 해상도에 대해, 이 방식은 이산 푸리에 변환이 미리 계산되어, 스펙트럼 피크들을 터치 위치들로 맵핑(mapping)하는 1차원의 룩업 테이블(lookup table)로 저장될 수 있도록 하고, 이에 의해 저전력 마이크로컨트롤러가 디지털 신호 프로세싱 코어 기반의 컨트롤러 대신에 사용될 수 있도록 하며, 더 나아가 장치의 가격을 낮춘다.

도 5는 프리즘 IR 거울(1220), 중앙 IR 센서 어레이들(1240) 및 슬릿 창들을 가지는 측면 LED IR 방사체들(1280)을 포함하는 IR 터치 변환기 모듈(1200)의 사시 분해조립도이다. 도 6은 프리즘 IR 거울(1220), 중앙 IR 센서 어레이들(1240) 및 슬릿 창들을 가지는 측면 LED IR 방사체들(1280)을 포함하는 기능 장치 내에 조립된 상태의 도 5의 IR 터치 변환기 모듈(1200)을 도시한다.

중앙 IR 센서 어레이들(1240)은 도 7에 도시된 바와 같이 두 개 이상의 선형 IR 센서 어레이들(1244)을 포함하는 칩 규모의 패키지로 패키지화 될 수 있다. 도 8은 물결모양의 주기적 패턴으로 식각된 경사진 거울 면(1224)을 가지는 IR 투과 물질로 만들어진 3각의 쐐기 모양의 물결모양 프리즘 거울(1220)의 일 구체예를 도시하며, 상기 패턴의 주기성은 도 7 내에 도시된 IR 센서 어레이의 피치(pitch)에 밀접하게 매칭된다. 물결모양의 거울은 입사되는 IR 광을 IR 어레이를 향하도록 방향을 바꾸어, IR 센서들이 변조된 IR 방출에 노출되도록 한다. IR의 변조는 센서 어레이 또는 어레이들로부터 IR 광의 무작위 산란에 기인한다.

대안적으로, 경사진 거울 면(1224)은 IR 흡수 페인트 또는 잉크의 주기적으로 배열된 격자로 무늬를 넣을 수 있다. 센서 어레이는 이를 향하는 변조된 IR 광을 주기적으로 추출하는데, 변조된 IR 광의 주기가 센서 어레이의 피치와 거의 동일하다면, 추출된 IR 광은 특징적인 무아레 패턴을 나타낼 것이다.

IR 터치 변환기 모듈(1200)은 문제의 물체들이 터치 표면과 어떤 물리적인 접촉을 하는지 아닌지 근접한 물체들의 존재를 감지하는데 비해, 압력/음파 센서(1400)들은 터치 민감도 임계값을 초과하는 충분한 압력 또는 표면 음파 특징을 발생시키는 접촉만을 감지한다. 따라서, 이 조합을 사용하면, 터치스크린은 터치 신호들을 두 개의 구별되는 종류들로 구별할 수 있는데, 한 종류는 아직 압력/음파 센서들에 의해 기록되지 않은 물체의 근접한 존재를 가리키도록 IR 센서 어레이에 의해 기록되지만, 두 번째 종류는 두 종류의 센서들 모두에 의해 기록되는 터치 신호들을 포함한다.

일 구체예에서, 장치의 압력/음파 민감도 임계값은 상대적으로 높게 설정된다. 압력/음파 민감도 임계값이 낮게 설정되는 경우, 터치 신호의 첫 번째 종류를 두 번째 종류와 구별하기 위한 차이가 생기지 않으며, 이러한 차이가 만들어 진다면, 위양성(false positive)들 및 위음성(false negative)들이 매우 많이 발생될 것이고, 따라서 제스처 인식을 신뢰할 수 없게 될 것이다. 반면에, 오직 센 터치 또는 두드림만이 압력 또는 음파 민감도를 초과하는 신호를 발생시킬 수 있는 경우와 같이, 압력/음파 민감도 임계값이 높게 설정되는 경우, 두 종류의 터치 신호들이 신뢰성 있게 구별될 수 있다.

개시된 장치는 손가락들의 "터치 전" 추적을 허용하여 어떤 실제적 처리의 작동 없이, 계류중인 처리의 실행 또는 중단을 위한 준비에서 동조하는 지점(viewpoint) 변화를 만들 수 있게 한다. 두 번째 "커밋(commit)" 상태에는, 미리 정해진 시간 범위 내에서 터치 표면상의 두드림 또는 짧고 강한 누름이 있으면 원하는 처리를 작동시킬 수 있는 것이고, 할당된 시간 내에 동일한 신호가 없으면 상기 처리가 중단되도록 한다. 이러한 두 개의 상태의 제스처는 잘못된 작동의 확률을 감소시키고, 동시에 더 직관적이기 때문에 터치 인터페이스의 신뢰성을 향상시킬 수 있다.

본 기술분야에서 당업자는 본 명세서의 방법들 및 시스템들이 전술한 예시적인 구체예들 및 실시예들에 한정되지 않고, 다양한 방법들로 실행될 수 있다는 것을 인식할 것이다. 다시 말해서, 하드웨어 및 소프트웨어 또는 펌웨어, 그리고 개별적 기능들의 다양한 조합으로 기능적 요소들이 하나 또는 여러 개의 구성 요소들에 의해 수행되며, 클라이언트 레벨 또는 서버 레벨 또는 모두에서의 소프트웨어 응용들 사이에서 분산될 수 있다. 이것과 관련하여, 본 명세서에 설명된 상이한 구체예들의 많은 특징들은 하나 또는 여러 개의 구체예들로 조합될 수 있고, 대안적인 구체예들은 이보다 적거나 많이 가질 수 있으며, 본 명세서에서 설명된 특징들 모두가 가능하다. 전체에서 또는 부분에서, 기능성은 또한 현재 알려진 또는 알려질 방법들로 여러 개의 구성요소들 사이에서 분산될 수 있다. 따라서 무수한 소프트웨어/하드웨어/펌웨어 조합들이 본 명세서에서 설명한 기능들, 특징들, 인터페이스들 및 선호들을 달성하는 것이 가능하다. 더 나아가, 현재 그리고 이후의 본 기술분야의 당업자에 의해 이해되는 것과 같이, 본 발명의 범위는 설명된 특징들, 기능들 및 인터페이스들을 실행하기 위한 종래 공지된 방법들을 포함하는 것과 마찬가지로, 이들의 변형들 및 수정들은 하드웨어, 소프트웨어 또는 펌웨어 구성 요소들로 만들어질 수 있다.

더 나아가, 본 명세서에서 플로우차트들로써 설명되고 나타낸 방법들의 구체예들은 기술의 더 완전한 이해를 제공하기 위한 예시의 방법으로 제공된다. 개시된 방법들은 본 명세서에서 나타난 동작 및 논리적 흐름에 제한되지 않는다. 다양한 동작들의 순서가 뒤바뀌고, 더 큰 동작의 일부분으로 기술된 하위 동작들이 독립적으로 수행되는 식의 대안적인 실시예들이 고려될 수 있다.

본 명세서의 목적을 위하여 다양한 구체예들이 설명되는 동안, 이러한 구체예들은 본 명세서의 개시를 구체예들로 제한하지 않는 것으로 간주되어야 한다. 본 명세서에서 설명된 시스템들 및 처리들의 범위로 포섭되는 결과를 얻기 위해 다양한 변화들 및 변형들이 상기에서 설명한 요소들 및 동작들에 대해 만들어질 수 있다.

Claims (19)

1. 디스플레이 스크린;
   스크린 표면에 근접한 물체들을 조명하도록 구성된 상기 스크린의 주변부에 위치한 IR 광원;
   상기 스크린 표면에 근접한 물체들로부터 반사되는 광을 탐지하도록 구성된 IR 센서 어레이;
   상기 스크린 표면에 근접한 물체들로부터 반사된 IR 광을 이용하여 상기 IR 센서 어레이 상에 무아레(Moire) 패턴들을 생성하도록 구성된 근접 장벽;
   상기 무아레 패턴들을 이산 푸리에 스펙트럼으로 변환하도록 구성된 프로세싱 모듈; 및
   상기 디스플레이 스크린과 상기 물체들의 물리적 접촉을 탐지하도록 구성된 상기 디스플레이 스크린의 주변부에 위치한 복수의 스트레인 게이지들을 포함하되,
   낮은 차수 이산 푸리에 스펙트럼의 피크들 및 상기 낮은 차수 이산 푸리에 스펙트럼의 피크들의 복소 위상들이 상기 스크린에 근접한 상기 물체들의 위치를 결정하도록 이용되는 것을 특징으로 하는 장치.
2. 제1항에 있어서, 상기 무아레 패턴들은 물체가 상기 스크린 표면에 근접하는 각 시간마다 겹쳐진 고주파 변조들을 가지는 사인파를 포함하는 것을 특징으로 하는 장치.
3. 제1항에 있어서, 상기 스펙트럼의 낮은 차수 부분 내의 피크들은 상기 스크린 표면에 근접한 물체들에 대한 방사상 포지셔닝 정보(radial positioning information)를 제공하고, 상기 낮은 차수 푸리에 스펙트럼 피크들의 복소 위상들은 상기 물체들에 대한 방위각상 포지셔닝 정보(azimuthal positioning information)를 제공하는 것을 특징으로 하는 장치.
4. 제1항에 있어서, 상기 스크린에 근접한 상기 물체들의 위치들을 결정하기 위하여 상기 낮은 차수 이산 푸리에 스펙트럼의 상기 피크들 및 연관된 복소 위상들을 이용하는 처리는 반복적 접근(iterative approach)을 사용하여 수행되되,
   상기 반복적 접근에서는 가장 낮은 차수 피크 및 이에 연관된 복소 위상은 정밀하지 않은 포지셔닝을 위하여 사용되고, 상기 포지셔닝은 점근 산법(successive approximation)의 처리를 사용하여 더 높은 차수 피크들을 고려함으로써 점차 개선되는 것을 특징으로 하는 장치.
5. 제3항에 있어서, 무아레 패턴들을 이산 푸리에 스펙트럼으로 변환하는 방법은,
   상기 무아레 패턴들을 이산 푸리에 변환 계수들의 집합으로 변환하는 단계;
   상기 이산 푸리에 변환 계수들의 집합으로부터 높은 차수 계수들을 버리는 단계; 및
   상기 이산 푸리에 변환 계수들의 집합 내 모든 낮은 차수 푸리에 계수들을 위치시키는 단계를 포함하는 것을 특징으로 하는 장치.
6. 제5항에 있어서, 상기 이산 푸리에 변환 계수들의 집합은 미리 계산되고, 스펙트럼 피크들을 맵핑하는 1차원의 룩업 테이블로써 저장되고, 상기 1차원의 룩업 테이블은 상기 프로세싱 모듈에 동작하게 연결된 컴퓨터로 읽을 수 있는 매체 상에 저장되는 것을 특징으로 하는 장치.
7. 제1항에 있어서, 상기 근접 장벽은 물결모양 거울이되,
   상기 물결모양 거울의 물결모양 메시 사이즈 및 픽셀 피치는 상기 IR 센서 어레이의 물결모양 메시 사이즈 및 픽셀 피치와 거의 동일한 것을 특징으로 하는 장치.
8. 제1항에 있어서, 상기 근접 장벽은 주기적 격자이되,
   상기 주기적 격자의 픽셀 피치 및 물결모양 메시 사이즈는 상기 IR 센서 어레이의 픽셀 피치 및 물결모양 메시 사이즈와 거의 동일한 것을 특징으로 하는 장치.
9. 제1항에 있어서, 상기 프로세싱 모듈은 상기 복수의 스트레인 게이지들에 의해 생성된 데이터를 사용하여 상기 디스플레이 스크린과 상기 물체들의 물리적 접촉에 대한 적어도 하나의 터치 지점을 결정하도록 더 구성된 것을 특징으로 하는 장치.
10. 제9항에 있어서, 상기 적어도 하나의 터치 지점은 단 하나의 터치 지점이고, 상기 터치 지점의 위치는 상기 복수의 스트레인 게이지들에 의해 생성된 상기 데이터의 이중 선형 보간법을 수행하여 추정되는 것을 특징으로 하는 장치.
11. 제9항에 있어서, 상기 적어도 하나의 터치 지점은 적어도 두 개의 터치 지점들이고, 이중 선형 보간법은 상기 적어도 두 개의 터치 지점들의 가중 중심(weighted centroid)을 제공하는 것을 특징으로 하는 장치.
12. 제9항에 있어서, 상기 적어도 하나의 터치 지점은 IR 센서 어레이 데이터를 사용하여 결정되는 상기 스크린에 근접한 물체들의 위치의 정확도를 확인하도록 사용되는 것을 특징으로 하는 장치.
13. 제1항에 있어서, 상기 복수의 스트레인 게이지들은 압력 감지 성능들을 가지는 것을 특징으로 하는 장치.
14. 제1항에 있어서, 상기 복수의 스트레인 게이지들은 음파 감지 성능들을 가지는 것을 특징으로 하는 장치.
15. IR 광원을 사용하여 스크린 표면에 근접한 물체들을 조명하는 단계;
    근접 장벽을 사용하여, 상기 스크린 표면에 근접한 상기 물체들로부터 반사되는 IR 광을 이용하여 무아레 패턴들을 생성하는 단계;
    IR 센서 어레이를 사용하여, 상기 무아레 패턴들을 받는 단계;
    프로세싱 모듈을 사용하여, 상기 무아레 패턴들을 이산 푸리에 스펙트럼으로 변환하는 단계; 및
    상기 프로세싱 모듈을 사용하여, 스크린에 근접한 상기 물체들의 위치들을 결정하는 단계를 포함하는 방법을 위한 컴퓨터로 실행 가능한 명령들을 포함하되,
    상기 물체들의 상기 위치는 낮은 차수 이산 푸리에 스펙트럼의 피크들 및 상기 낮은 차수 이산 푸리에 스펙트럼의 상기 피크들의 복소 위상들을 사용하여 결정되는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 매체.
16. 제15항에 있어서, 상기 스펙트럼의 상기 낮은 차수 부분 내의 상기 피크들은 상기 스크린 표면에 근접한 물체들에 대하여 방사상 포지셔닝 정보를 제공하며, 각 낮은 차수 푸리에 스펙트럼 피크들의 상기 복소 위상들은 상기 물체들에 대한 방위각상 포지셔닝 정보를 제공하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 매체.
17. 제15항에 있어서, 상기 스크린에 근접한 상기 물체들의 상기 위치들을 결정하기 위하여 상기 낮은 차수 이산 푸리에 스펙트럼의 상기 피크들 및 연관된 복소 위상들을 사용하는 처리는 반복적 접근을 사용하여 수행되되,
    상기 반복적 접근에서는 가장 낮은 차수 피크 및 이에 연관된 복소 위상은 정밀하지 않은 포지셔닝을 위해 사용되며, 상기 포지셔닝은 점근 산법의 처리를 사용하여 더 높은 차수 피크들을 고려함으로써 점차 개선되는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 매체.
18. 제15항에 있어서, 무아레 패턴들을 이산 푸리에 스펙트럼으로 변환하는 상기 단계는,
    상기 무아레 패턴들을 이산 푸리에 변환 계수들의 집합으로 변환하는 단계;
    높은 차수 계수들을 버리는 단계; 및
    모든 낮은 차수 푸리에 계수들을 위치시키는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 매체.
19. IR 포지셔닝 센싱을 사용하여, 사용자 장치의 디스플레이 스크린의 표면에 근접한 물체의 움직임을 추적하는 단계;
    적어도 하나의 스트레인 게이지로부터, 상기 물체가 상기 디스플레이 스크린의 상기 표면을 터치한 적어도 하나의 지점을 반영하는 데이터를 받는 단계; 및
    상기 IR 포지셔닝 센싱 및 상기 적어도 하나의 스트레인 게이지로부터의 데이터에 의해 제공되는 추적을 이용하여 상기 물체가 상기 디스플레이 스크린의 상기 표면을 터치한 상기 적어도 하나의 지점을 결정하는 단계를 포함하는 방법을 위한 컴퓨터로 실행 가능한 명령들을 포함하되,
    상기 디스플레이 스크린은 상기 물체의 움직임의 상기 추적 및 상기 디스플레이 스크린의 터치에 반응하는 사용자 인터페이스를 나타내고, 이에 의해 상기 사용자 인터페이스는 두 개의 상태의 커밋 작동을 제공하며, 이에 의해 상기 추적은 복수의 사용자 인터페이스 옵션들을 나타내고, 상기 터치는 상기 복수의 사용자 인터페이스 옵션들의 적어도 하나를 선택하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 매체.

Images