KR20150032028A

KR20150032028A - 3d 공간-터치 스크린 장치 및 이를 이용한 방법

Info

Publication number: KR20150032028A
Application number: KR20130111998A
Authority: KR
Inventors: 유재천; 유진영; 유성룡; 손은희
Original assignee: 유재천; 유성룡; 유진영; 손은희
Priority date: 2013-09-16
Filing date: 2013-09-16
Publication date: 2015-03-25

Abstract

본 발명은 디스플레이 패널의 2차원 평면상에 집적화된 투명 이미지 센서를 이용한 3차원 공간 터치 스크린 장치에 관한 것으로, 보다 상세하게, 본 발명은 2차원 내지 3차원 입체 화면을 제공하는 텔레비전, 게임장치, 컴퓨터 표시장치나 휴대폰 장치 등의 디스플레이 패널(display pannel) 위에 투명한 CMOS(Complementary metal-oxide-semiconductor) 이미지 센서 또는 CCD(Charge-Coupled Device) 이미지 센서; 및 투명 전극 패턴들을 분포 배치하여 3차원 공간상에서 이루어지는 사용자의 손 동작 및 몸동작을 상기 텔레비전, 컴퓨터 표시장치, 게임장치 나 휴대폰 장치가 3차원적으로 인식하기 위한 3D 공간 터치 스크린 장치; 및 이를 이용한 방법에 관한 것이다.

Description

3D 공간-터치 스크린 장치 및 이를 이용한 방법{Three dimensional space-touch screen apparatus and method using the same}

본 발명은 디스플레이 패널의 2차원 평면상에 집적화된 이미지 센서를 이용한 3차원 공간-터치 스크린 장치에 관한 것으로, 보다 상세하게, 본 발명은 2차원 내지 3차원 입체 화면을 제공하는 텔레비전, 게임장치, 컴퓨터 표시장치나 휴대폰 장치 등의 디스플레이 패널(display pannel) 위에 투명한 이미지 센서; 및 투명 전극 패턴들을 분포 배치하여 3차원 공간상에서 이루어지는 사용자의 손 동작 및 몸동작을 상기 텔레비전, 컴퓨터 표시장치, 게임 장치 나 휴대폰 장치가 3차원적으로 인식하기 위한 3D 공간-터치 스크린 장치; 및 이를 이용한 방법에 관한 것이다. 또한 본 발명의 3D 공간-터치 스크린 장치는 상기 이미지 센서에 의해 디스플레이 평면상에서의 직접적인 손가락 접촉 여부, 연필 및 붓에 의한 터치도 감지할 수 있어 기존의 터치 스크린(touch screen) 기능을 물론 필기도구를 이용하여 디스플레이 패널상에 직접 글을 쓰거나, 붓을 이용하여 디스플레이 패널상에 그림을 직접 그릴 수 있다. 또한 본 발명의 3D 공간-터치 스크린 장치는 상기 이미지 센서에 의해 손가락의 터치면적을 산정함으로서 터치 압력과 세기를 인식할 수 있다.

최근 손가락을 이용해서 스크린을 직접 건드리면 접촉이 일어난 부분의 위치을 인지해서 명령이 실행되거나 커서의 위치를 이동하도록 하는 터치 스크린 기술은 키보드와 같은 별도의 입력 장치를 필요로 하지 않고 사용자와의 인터페이스가 용이하다는 장점 때문에 여러 가지 제품에 적용되고 있다. 실제로 이러한 터치 스크린 기술은 마우스와 키보드 등의 입력 장치를 대체 할 수 있는 새로운 입력방식으로 현재 핸드폰, 노트북, 텔레비전 등 헤아릴 수 없이 많은 분야에서 적용되고 있는 방식이다. 터치 스크린이 작동하는 원리는 다양하지만 가장 대표적인 경우는 공기층을 가운데 두고 마주보도록 2개의 전도층을 배치하고, 바깥 화면을 누르면 두 전도층이 서로 맞닿게 되고, 이로 인해 압력이 가해질 경우 저항과 전류가 변하게 되어 터치가 된 것을 인식하게 위치를 좌표로 알아내는 저항식(抵抗式) 터치스크린 또는 감압식 (感壓式) 터치스크린이 있다. 이 방법은 정밀도에서 다소 떨어지는 단점이 있다. 이러한 단점을 극복하기 위해, 스크린에 정밀도를 높이기 위해 개발된 방법이 정전(靜電)식이라는 방식이다. 이것의 스크린 패널은 유리표면에 전하를 저장하는 재료로 코팅되고. 터치패널의 모서리에 센서가 부착됨으로 유리 표면에서의 전하의 변화를 인식하는 것이 정전식의 원리이다. 즉, 도체인 손가락을 화면에 대는 순간, 손가락 표면에는 유리판의 전하와 반대인 전하가 모이고, 이에 따라 유리판의 전하가 약간 상쇄되어 유리판 표면에서 측정되는 전기장은 약화된다. 이 변화가 일어난 위치를 센서가 감지하여 동작하는 방식이다. 이외에도 적외선, 광학식 터치스크린이 있다. 그러나 이들 모두는 직접 스크린에 직접적으로 터치해야 함으로, 3차원 공간상에서 이루어지는 비 접촉에 의한 손 동작 이나 몸동작을 스크린이 인지 할 수 없을 뿐만 아니라, 스크린 상에 메뉴버튼간에 거리가 인접한 경우 손가락의 터치 정밀도를 확보하기 어려워 오동작할 염려가 많다. 또한 종래의 터치스크린 기술은 2개이상의 터치를 처리하는데 있어 많은 문제를 안고 있다.

최근 이러한 문제를 해결하기 위해, 3차원적으로 사용자의 손짓을 인식하기 위한 도시바의 동작 인식기는 손 부분에서 적외선을 내뿜고, 손으로부터 반사되는 빛을 읽음으로써 손동작을 인식한다. 그러나 도시바의 적외선 센싱 방식은 손동작 인식에 대한 사각지대를 없애기 위해 외부에 적외선 인식 장치를 별도로 설치해야 하며, 적외선 인식에 따른 주변환경과 사람마다의 편차가 심하여 상세한 손동작을 인식할 수 없다. 오메크 인터렉티브사(社) 와 Leap motion사(社)는 별도의 외부 카메라 장치를 장착하여 손가락의 제스쳐를 인식하는 연구가 활발히 진행되고 있으며, 이들 외부 카메라 장치는 스크린에 근접한 지역에서의 손 동작을 사각지대 없이 놓치지 않기 위해 개발되었으나, 스크린 표면으로부터 10cm이상 떨어진 거리의 손 동작에 대해서만 인지가 가능하다. 즉, 10cm 이내에서 일어나는 손동작을 인지 할 수 없을 뿐만 아니라, 손가락의 스크린 접촉 여부에 대한 판단이 불가능하여 터치패드의 기능을 수행할 수 없다. 또한 상기 종래의 손가락 제스처 인식 기술들은 손가락 센싱에 대한 사각지대를 없애기 위해 외부 카메라를 사용기기 주변에 별도로 설치해야 함으로, 태블릿 PC 나 휴대폰 같은 휴대용(portable) 장치에는 적용하기 어려운 기술뿐만 아니라, 터치 와 손동작을 동시에 인지하여 처리하는 것이 불가능하다.

종래기술의 터치스크린 기술은 직접 스크린에 직접적으로 터치해야 함으로 비 접촉에 의한 사용자의 손 동작 이나 몸짓을 3차원 공간상에서 인지 할 수 없을 뿐만 아니라, 인접한 메뉴버튼간에 거리가 가까운 경우 터치의 정밀도 문제로 오동작할 염려가 많다. 또한 종래의 터치스크린 기술은 2곳 이상에서 발생되는 터치를 동시에 감지할 수 없다. 또한 종래의 3차원적으로 사용자의 손짓을 인식하기 위한 카메라 장치는 사각지대 없이 인식하기 위해, 사용기기 주변에 외부 카메라가 별도로 사용하고 있어, 휴대폰과 태블릿 PC 같은 휴대용 장치에 적용이 힘들뿐 만 아니라, 스크린 접촉 여부를 직접 판단하는 것이 불가능하여 터치패드의 기능을 수행할 수 없다. 따라서, 종래의 기술은 터치패드 기능을 가지려면 상기 외부 카메라 장치외에 별도의 터치패널을 추가적으로 설치해야 하는 불편이 있다.

본 발명은 상기 종래기술의 문제점들을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 2차원 내지 3차원 입체 화면을 제공하는 텔레비전, 컴퓨터 표시장치, 게임 장치, 휴대폰 장치등의 디스플레이 패널(pannel)의 전면(前面)에 빛 에너지를 전기에너지로 변환시키는 투명 이미지 센서를 배치하여 사용자의 손 동작 및 몸 동작을 3차원적으로 인식할 뿐만 아니라 스크린 접촉 여부를 판단할 수 있는 3D(three dimensional) 공간-터치 스크린 장치 및 이를 이용한 방법을 제공하는 것이다.

본 발명의 또 다른 목적은

2차원 내지 3차원 입체 화면을 제공하는 텔레비전, 컴퓨터 표시장치, 게임 장치, 휴대폰 장치 등의 디스플레이 패널로서 투명 디스플레이 패널(pannel)을 사용하고 패널로서 투명 디스플레이 패널(pannel)의 후면(後面)에 빛 에너지를 전기에너지로 변환시키는 이미지 센서를 배치하여 사용자의 손 동작 및 몸 동작을 3차원적으로 인식할 뿐만 아니라 스크린 접촉 여부를 판단할 수 있는 3D(three dimensional) 공간-터치 스크린 장치 및 이를 이용한 방법을 제공하는 것이다.

상기 3차원 입체 화면은 홀로그래피(holography) 영상이 선호된다.

상기 3D 공간-터치 스크린 장치는 연필을 이용하여 디스플레이 패널상에 글을 쓰거나, 붓을 이용하여 디스플레이 패널상에 그림을 직접 그릴 수 있다,

또한, 상기 3D 공간-터치 스크린 장치는, 3차원적으로 사용자의 손짓을 인식하기 위한 별도의 외부 카메라장치가 필요 없을 뿐만 아니라, 디스플레이 패널의 전면(前面) 또는 후면(後面)에 이미지 센서가 집적화되어 있어 손동작을 인식하는데 있어서 사각지대가 없으며 10cm 이내의 손 동작도 인지 할 수 있다.

또한 상기 이미지 센서에 의해 스크린 패널상의 손 가락의 터치 여부는 물론, 2개 이상의 멀티 터치도 동시에 감지할 수 있다. 뿐만 아니라, 터치 와 손동작 인식을 동시에 할 수 있는 3D 멀티 터치 구현도 가능하다. 예를 들면 아이콘 내지 메뉴버튼을 오른손 터치에 의해 선택을 유지한 채, 왼손의 손 동작에게 의해 다양한 부가적 명령을 아이콘 내지 메뉴버튼에 부여할 수 있다. 이러한 상기 3D 멀티 터치는 기존의 메인(main) 메뉴버튼을 선택 후 다시 서브(sub) 메뉴버튼을 택하는 복잡한 과정을 터치와 손동작의 병용(竝用)에 의해 쉽게 처리할 수 있다는 장점이 있다. 또한 상기 3D 멀티 터치는 상기 이미지 센서에 의해 연필이나 붓이 디스플레이 패널에 댄 상태에서, 터치 및 손동작을 동시에 인식할 수 있는 것을 포함한다. 또한, 사용자는 텔레비전, 컴퓨터 표시장치, 게임 장치 나 휴대폰 장치의 스크린 에 의해 제공된 3D 공간상 나타난 가상의 버튼들을 손동작으로 선택하여 명령을 실행하거나; 3D 공간상 나타난 가상의 키보드를 이용하여 손동작에 의해 문서 작업을 할 수 있다. 상기 3차원 공간-터치 스크린 장치의 이미지 센서는, 상기 2차원 화면상에 맺어지거나 상기 3차원 입체 화면과 연관되어 통과한 레이저 빔 포인터(laser beam pointer)에 의한 레이저 빔을 인식하는 것이 가능하다. 이것에 의해 레이저 총을 이용한 사격 게임과 전자오락 게임에 응용될 수 있다. 또한 상기 이미지 센서는 텔레비전, 컴퓨터 표시장치, 게임장치 나 휴대폰 장치가 가 제공하는 3차원 입체 화면 과 사용자의 손 동작간의 쌍방향 인식을 통해, 상기 제공된 3차원 입체 화면 속의 객체에 대해 손동작에 의해 3차원 조각 작업을 수행하거나 레고를 조립하거나 3D 프린팅하고자 하는 물체의 형상을 조각할 수 있도록 지원할 수 있다. 본 발명에서, 3D 공간상에서의 손짓 내지 몸짓에 의한 ID 설정 및 로그인 과정을 수행 할 수 있다. 즉, 손짓 내지 몸짓에 의해 개인 시스너처(signature)을 3D 공간상에서 표현할 수 있고 상기 이미지 센서가 인식한다.

본 발명에서, 3차원 공간-터치 스크린 장치의 이미지 센서는 스크린 패널상의 놓여진 문서를 인식함으로서 Fax 송신 내지 이미지 스캔너로의 응용이 가능하다. .

본 발명에 따른 3D 공간-터치 스크린 장치는 2차원 내지 3차원 입체 화면을 제공하는 디스플레이 패널과 상기 디스플레이 패널 표면 또는 상기 디스플레이 패널의 전면(前面)에 착탈이 가능한 투명 폴리머 쉬트(polymer sheet) 표면상에 코팅 내지 집적화 되는 투명한 이미지 센서를 포함하는 3D 터치 스크린 패널; 및 상기 이미지 센서에 의해 사용자의 손가락, 손가락의 움켜진 모양, 손짓을 3차원적으로 인식하기 위한 손가락 제스처 인식부(finger gesture recognition)로 구성되는 것을 특징으로 한다.

본 발명의 또 다른 목적은 따른 3D 공간-터치 스크린 장치는 2차원 내지 3차원 입체 화면을 제공하는 투명한 디스플레이 패널과 상기 디스플레이 패널 후면(後面) 또는 상기 디스플레이 패널의 후면에 착탈이 가능한 기판 표면상에 코팅 내지 집적화 되는 이미지 센서를 포함하는 3D 터치 스크린 패널; 및 상기 이미지 센서에 의해 사용자의 손가락, 손가락의 움켜진 모양, 손짓을 3차원적으로 인식하기 위한 손가락 제스처 인식부(finger gesture recognition) 로 구성되는 것을 특징으로 한다.

상기 3D 터치 스크린 패널은 투명한 태양 전지층(layer)을 더 구비한 것을 특징으로 한다. 이는 태블릿 PC 나 휴대폰 같은 휴대용(portable) 장치에는 적합하다. 상기 3D 공간-터치 스크린 장치는, 상기 이미지 센서에 의해 상기 2차원 화면상에 레이저 빔 포인터(laser beam pointer)에 의한 레이저 빔 또는 상기 3차원 입체 화면과 연관되어 3D 공간을 통과한 레이저 포인터(laser pointer)에 의한 레이저 빔의 좌표를 인식하기 위한 레이저 빔 인식부를 더 구비한 것을 특징으로 한다. 상기 레이저 빔은 상기 이미지 센서에 의해 상기 화면상의 좌표를 확인할 수 있어, 스크린 패널상의 버튼 내지 가상버튼에 대한 레이저 빔 액세스(access)가 가능하다. 상기 레이저 빔은 붉은색이 선호된다. 또한 상기 레이저는 펜(pen)형태로 개조된 레이저 펜일 수 있다.

이하, 3D 터치 스크린 패널은 스크린 패널과 혼용한다,

상기 3D 공간-터치 스크린 장치는, 상기 이미지 센서에 의해 손가락의 스크린 패널(3D 터치 스크린 패널)에 접근을 파악하고, 상기 스크린 패널 상에 메뉴버튼간에 거리가 조밀한 경우, 자동으로 해당부분의 메뉴버튼이 줌인(zoom in)되어 손가락 터치의 정밀도를 확보하고, 손가락이 스크린 패널에서 다시 멀어지는 경우 줌아웃(zoom out) 되어 원래의 스크린 상태로 복귀되는 자동 손가락 줌인(zoom in)-줌아웃(zoom out)부를 더 구비한 것을 특징으로 한다.

상기 3D 공간-터치 스크린 장치는, 상기 이미지 센서에 의해 두개 손가락에 의한 2개의 동시 터치 지점을 인식하여 복사의 시작점과 끝점을 설정하는 복사구간 설정부를 더 구비한 것을 특징으로 한다.

상기 3D 공간-터치 스크린 장치는, 상기 이미지 센서에 의해 사용자의 손가락 접근을 인식하여, 터치가 일어나기 전에 사용자에게 터치될 버튼내지 문자, 아이콘을 미리 사용자의 손가락 근방의 디스플레이 패널의 화면상에 미리 팝업창(popup window)으로 제공하기 위한 사전 터치 제어부를 더 구비한 것을 특징으로 한다. 이 경우 사용자는 터치될 문자, 버튼내지 문자, 아이콘을 미리 파악할 수 있어 오(誤) 터치(erroneous touch)를 줄일 수 있다.

상기 사전 터치 제어부의 또 다른 실시예는 사용자의 손가락이 스크린 패널 접근시, 터치이전에 사용자에게 터치될 버튼내지 문자, 아이콘을 중심으로 하여 주변 버튼 내자 아이콘을 확대하여 상기 디스플레이 패널에 표시해주는 것이 선호된다.

상기 3D 공간-터치 스크린 장치는, 상기 이미지센서와 손가락간의 거리를 산출하여 상기 스크린 패널에 대한 접촉 여부를 판별하거나 상기 스크린 패널에 대한 손가락의 접근속도를 인지하기 위한 터치 인식부를 더 구비한 것을 특징으로 한다.

상기 터치 인식부는 상기 스크린 패널의 표면으로부터 0 내지 0.5mm 이내에 터치면(面)을 더 구비한 것을 특징으로 한다.

상기 터치 인식부는 사용자의 손이 상기 터치면 침범시, 스크린 패널에 대한 손 터치가 일어난 것으로 판정하는 것이 선호된다.

본 발명의 3D 공간-터치 스크린 장치는 상기 이미지 센서에 의해 연필에 의한 접촉을 감지하여 상기 디스플레이 패널상에 연필에 의한 접촉을 표현하거나 붓의 터치를 감지하여 상기 디스플레이 패널상에 붓에 의한 터치 표현하기 위한 필기도구 터치 인식부를 더 구비한 것을 특징으로 한다.

본 발명의 3D 공간-터치 스크린 장치는 상기 이미지 센서에 의해 상기 스크린 패널상에 터치된 사용자의 손가락 지문을 인식하거나 필기도구(연필,붓)의 터치 압력과 세기를 인지하기 위한 터치 압력 인식부를 더 구비한 것을 특징으로 한다.

상기 3D(three dimensional) 공간-터치 스크린 장치는, 상기 스크린 패널상의 이미지 센서에 의해 손가락의 움직임 및 동작을 추적하고, 상기 스크린 패널(pannel) 상에 손가락의 해당 위치에 커서(cursor)를 표시하기 위한 손가락 커서 제어부를 더 구비한 것을 특징으로 한다.

본 발명에서, 상기 3D 공간-터치 스크린 장치의 손가락 제스처 인식부는, 상기 손가락 커서 제어부의 커서(cursor)에 의해 지시된 디스플레이 패널상의 객체 내지 메뉴버튼을 확대하기 위한 확대명령, 축소하기 위한 축소 명령, 움직이기 위한 이동명령 또는 실행하기 위한 클릭(click) 명령을 손동작 명령에 의해 수행하는 것이 선호된다.

본 발명의 또 다른 목적은, 상기 3D 공간-터치 스크린 장치에 카메라를 더 구비하여 상기 카메라에 의해, 사용자의 눈동자 추적 하여 디스플레이 패널상에서의 사용자 눈의 응시(gaze) 위치를 파악하여 해당 위치에 커서(cursor)을 표시하고, 손 동작 명령에 의해 해당 위치의 메뉴버튼 또는 아이콘을 실행하는 눈 응시(eye gaze) 처리부를 더 구비한 것을 특징으로 한다.

상기 눈 응시 처리부는 스크린 패널상에서의 사용자 눈의 응시(gaze) 위치를 파악하여, 해당 위치의 객체에 십자(cross) 마크를 표시하고, 객체의 확대 및 축소를 손 동작 명령에 의해 십자 마크를 중심으로 해당 위치의 객체를 확대 또는 축소하여 상기 스크린 패널상에 표시하는 것이 선호된다.

또한 상기 눈 응시 처리부는 사용자 눈동자 탐색에 의해 사용자가 스크린 패널을 응시하는 동안에는 디스플레이 패널이 오프(off)되지 않는 것이 선호된다. 이를 통해, 사용자가 긴 문자 메시지를 눈으로 장기간 읽는 동안, 전원 절약을 위해 디스플레이 패널이 종종 오프(off)되는 기존의 불편을 해소할 수 있다,

상기 눈 응시 처리부는 사용자가 디스플레이 패널상에 나타난 문자 입력창(window)를 눈 응시함과 동시에 손동작 명령에 의해 문자자판을 요청시, 자동으로 문자 자판을 포함하는 팝업창을 2D 혹은 3D 화면 상에 제공하는 것이 선호된다. 상기 문자 입력창은 인터넷 주소를 입력하기 위한 주소창, 검색어 입력창, 문서 작성창 등 문자입력이 필요로 하는 창(window)을 포함한다.

상기 눈 응시 처리부는 사용자가 문자 자판 혹은 키보드상의 문자를 눈 응시함과 동시에 손동작 명령에 의해 문자 입력 요구시 마다, 눈으로 응시한 상기 문자가 문자입력이 필요로 하는 창(window)에 자동으로 차례로 쓰여지는(typewriting) 것이 선호된다. 이 경우 사용자가 응시하고 있는 문자 자판 혹은 키보드상의 문자 버튼이 복수의 문자를 포함하는 경우(예를 들면, 영문 알파벳: A, 한글 자음:ㅁ), 손동작 명령을 달리하여 복수문자(영문 알파벳 과 한글자음)중 어느 하나를 선택한다. 또한 사전 터치 제어부는 눈으로 응시한 상기 문자 자판의 문자가 사전에 사용자에게 미리 팝업창(popup window)으로 제공하는 것이 선호 된다.

상기 손동작 명령은 일반인이 인지하기 쉬운 손동작을 선정하여 사용하는 것이 선호되며, 수화(sign language)를 병행하여 사용할 수 있으며, 사용자에 대한 손동작에 대한 영상을 상기 이미지 센서가 캡처하여 상기 손가락 제스처 인식부가 인식하게 된다.

본 발명에서 상기 이미지 센서는 빛 에너지를 전기에너지로 변환시키는 위한 포토 다이오드 및 트랜지스터를 상기 디스플레이 패널의 표면에 집적하여 배치하거나 상기 디스플레이 패널에 착탈이 가능한 기판 표면상에 코팅하는 것이 선호된다.

상기 포토 다이오드는 마이크로 렌즈를 더 구비한 것을 특징으로 한다.

상기 투명한 이미지 센서는, CMOS 이미지 센서 내지 CCD 이미지 센서가 사용될 수 있다.

상기 이미지 센서는 한 개 이상의 소규모 픽셀로 구성된 이미지 센서가 병렬로 어레이로 구성될 수 있다. 상기 병렬로 연결된 이미지센서는 동적 스캔(dynamic scan)에 의해 다양한 이미지 해상도(resolution)와 화각(view angle)를 구현하는 것이 선호된다. 즉, 한개 이미지를 형성하기 위해 보다 많은 이미지 센서 어레이를 활성화 시키면 더 높은 해상도를 얻을 수 있다.

본 발명에서 상기 투명한 이미지 센서는 ITO(Indium Tin Oxide), 메탈 메쉬, 은(Ag) 나노 와이어, 투명 폴리머 쉬트 내지 그래핀(graphene) 중 선택된 재료에 의해 투명 전극 및 투명 회로에 의해 구성되거나 이미지 센서의 픽셀을 상기 디스플레이 패널의 표면상에 분산 배치를 통해 이루어 지는 것 이 선호된다.

이미지 센서의 픽셀들이 상기 디스플레이 패널의 표면상에 분산 배치되는 경우, 이미지 센서의 픽셀은 매우 작으므로 거의 투명한 이미지 센서를 얻을 수 있다.

본 발명에서, 상기 분산 배치된 이미지 센서의 픽셀에 의해 캡처된 이미지 정보는 이미지 센서 제어부에 의해 한곳에 모아져 비데오 메모리에 저장되는 것이 선호된다.

본 발명에서 상기 3D 터치 스크린 패널은 렌즈 층(lens layer)을 더 구비한 것이 선호된다.

본 발명에서 상기 렌즈층은 유리패널이 선호되며, 상기 유리 패널내에 물리적 렌즈를 설계하든가 상기 유리 패널 표면을 굴절률 코팅에 의해 구현되는 것이 선호되며, 상기 렌즈 패널은 무한 초점을 갖는 것이 더욱 선호된다.

상기 굴절률 코팅은 굴절률이 다른 물질을 여러 층을 증착한 다층막을 유리패널에 형성함으로서 빛의 굴절률을 제어하는 것이 선호된다.

상기 굴절코팅은 굴절율이 약 1.6인 상기 유리 패널에 굴절율이 그 보다 작은 물질을 한쪽 이면에 코팅하는 것이 선호된다.

본 발명의 3차원 공간-터치 스크린 장치는 상기 이미지 센서에 의해 캡쳐되는 피사체의 이미지를 복원(restoration)하기 위한 디블러링(deblurring) 처리부를 더 구비한 것을 특징으로 한다. 상기 렌즈층은 완벽하지 않기 때문에 상기 디블러링(deblurring) 처리부에 의한 이미지 복원이 필요하다.

본 발명의 상기 3차원 공간-터치 스크린 장치는 자동 포커싱부 내지 무한 초점기능이 내장된 카메라를 상기 스크린 패널의 주변 테두리 영역에 더 구비한 것을 특징으로 한다.

본 발명에서 상기 자동 포커싱부는 위상차 검출 시스템 (phase detection system) 내지는 대비 검출 시스템 (contrast detection system)을 구비한 것이 선호된다.

상기 자동 포커싱부는 상기 카메라의 렌즈를 통해 들어오는 빛을 이용하는 TTL(Through The Lens) 방식이 선호되며, 상기 대비 검출 방식은 카메라 렌즈를 움직이면서 영상 일부(주로 중앙부분)의 대비를 계속적으로 계산하고, 대비가 최대가 되었을 때 초점이 맞았다고 판단한다. 상기 위상차 검출 방식은 카메라의 렌즈를 통해 들어오는 빛을 한 쌍으로 나누어 비교함으로써 초점이 맞았는지 판단한다.

본 발명에서 상기 디블러링 처리부는 상기 카메라에 의해 캡쳐된 이미지로 부터 디블러링(deblurring)을 위한 기준(reference)이미지를 획득하는 것을 특징으로 한다. 상기 디블러링 처리부는 위너 필터(Wiener filter) 또는 Richardson-Lucy 디컨버루션(Deconvolution)이 선호된다. 상기 위너 필터는 훼손함수(degradation function) 또는 PSF(point Spread function); 노이즈 파워스펙트럼(power spectrum); 및 복원코자하는 이미지의 파워스펙트럼이 알려진 경우, 브러드(blurred) 되거나 노이즈에 의해 훼손된(degraded) 이미지를 원래의 이미지를 복원할 수 있는 최적화된 필터로 공지되어 있는 기술이다.

상기 PSF 는 점원(point source) 또는 점객체(point object)에 대한 이미지 센서의 응답(response)를 나타낸다.

본 발명에서, 상기 이미지 센서로부터 캡쳐된 이미지는 상기 렌즈층이 자동 포커싱 기능이 없이 캡쳐되었기 때문에 훼손된 이미지로 간주될 수 있고, 상기 디블러링 처리부에 의해 적절히 복원되어야 한다. 상기 기준 이미지는 노이즈가 잘 제거되었을 뿐 만 아니라, 자동 포커싱 기능을 갖춘 카메라로부터 얻어진 이미지임으로 복원코자 하는 이미지로 간주하고 상기 위너 필터에 적용하면 된다.

즉, 위너필터 적용을 위한 노이즈 파워스펙트럼(power spectrum)은, 상기 기준이미지에 훼손함수를 적용후, 상기 이미지 센서로부터 캡쳐된 이미지와 의차(差)를 구한 후, 그것의 파워 스펙트럼을 구함으로서 얻을 수 있다. 또한 복원코자 하는 이미지의 파워스펙트럼은 기준 이미지의 파워 스펙트럼을 구함으로서 얻어진다.

본 발명에서 상기 이미지 센서는 컬러 필터를 사용하지 않는, 흑백 내지 단색(mono color)광을 캡쳐하는 이미지 센서 인 것이 선호되며, 이 경우 상기 카메라와의 연동에 의해, 카메라로부터 캡처된 이미지로부터 상기 이미지 센서의 이미지에 대한 칼라정보를 추후 획득하는 것이 선호된다.

본 발명의 3D 공간-터치 스크린 장치는 상기 이미지 센서에 의해 사용자의 손 동작을 인식하고, 상기 디스플레이 패널이 제공하는 3차원 입체 화면 속의 객체들과 사용자 손 간의 거리를 계산 산정하여, 정해진 최소거리 범위 내에서 사용자 손과 가장 가까운 객체를 상기 사용자 손에 의해 선택된 것으로 판정하기 위한 객체 선택 처리부를 더 구비한 것을 특징으로 한다.

상기 사용자 손에 의한 객체 선택은 사용자의 손이 3차원 공간상을 깊이 및 좌표에 따라 어드레싱(addressing) 함으로서 이루어 진다.

본 발명의 상기 객체 선택 처리부는, 상기 3차원 입체 화면 속에 포함된 어느 한 객체가 사용자의 손 동작에 의해 선택된 경우 해당 객체가 점멸되거나 객체의 테두리(edge)가 표시되거나 객체의 틴트(tint)가 변하도록 제어하는 것이 선호된다.

상기 3D 공간-터치 스크린 장치는 상기 이미지 센서에 의해 3D 터치 스크린 패널 전방에서 일어나는 몸동작을 인식하여 명령을 수행하기 위한 몸 제스처(body gesture) 인식부를 더 구비한 것을 특징으로 한다.

본 발명의 3D 공간-터치 스크린 장치는 상기 손가락 제스처 인식부, 레이저 빔 인식부, 자동 손가락 줌인-줌아웃부, 터치 인식부, 객체 선택 처리부, 눈 응시 처리부, 손가락 커서 제어부 및 몸 제스처 인식부로 부터 받은 접촉 정보 내지는 제스처 정보에 의해 사용자에게 대화형 유우저 인터페이스(interactive user interface)를 제공하는 그래픽 유우저 인터페이스 제어부를 더 포함하는 것을 특징으로 한다.

본 발명의 또 다른 목적은

2차원 내지 3차원 입체 화면을 제공하는 테블릿 PC 내지 휴대폰 장치의 스크린의 테두리 상에 설치된 카메라; 상기 테블릿 PC 내지 휴대폰 장치를 보호하기 위한 접거나 펴는 것이 가능한 폴더(folder)형 케이스; 및 상기 케이스가 접었을 때는 안보이고, 폈을 때만 보이는 문자 자판을 구비하여,

상기 카메라에 의해 사용자의 손 동작 또는 상기 문자 자판상의 손 터치 위치를 인식하여 문서작업 및 키보드 작업을 수행할 수 있는 3D(three dimensional) 공간-터치 스크린 장치 및 이를 이용한 방법을 제공하는 것이다.

상기 문자자판상에서 터치된 문자인식은 사용자에 의해 터치된 문자 자판의 문자를 상기 카메라에 의해 직접 인식하거나, 상기 케이스의 테두리를 상기 카메라로 인식하여 터치 좌표를 계산하여 터치된 문자가 무엇인지를 인식하는 것이 선호된다.

이상에서 본 바와 같이 본 발명은 디스플레이 패널의 2차원 평면상에 집적화된 투명 이미지 센서를 이용한 3차원 공간-터치 스크린 장치에 관한 것으로, 보다 상세하게, 본 발명은 2차원 내지 3차원 입체 화면을 제공하는 텔레비전, 게임장치, 컴퓨터 표시장치나 휴대폰 장치 등의 스크린 패널(display pannel) 위에 투명한 이미지 센서; 및 투명 전극 패턴들을 분포 배치하여 3차원 공간상에서 이루어지는 사용자의 손 동작 및 몸동작을 상기 텔레비전, 컴퓨터 표시장치, 게임장치 나 휴대폰 장치가 3차원적으로 인식하기 위한 3D 공간 -터치 스크린 장치; 및 이를 이용한 방법을 제공한다.

도 1은 본 발명에 따른 3D 터치 스크린 패널의 여러 실시예를 표시하고,
도 2는 한 개 이상의 이미지 센서들이 병렬 어레이(array) 형태로 디스플레이 패널의 전면 또는 후면에 배치된 실시예를 도시하고,
도3은 3D 터치 스크린 패널의 또 다른 실시예를 도시하고,
도 4는 3D 터치 스크린 패널의 또 다른 실시예를 도시하고,
도 5 내지 도 6은 투명 OLED를 이용한 3D 터치 스크린 패널의 실시예를 나타내고,
도 7은 상기 도1(b),도2(b),도3 및 도5의 실시예처럼 투명한 디스플레이 패널을 사용하는 경우에 있어서, 손동작 및 필기도구 인식을 위해 이미지 센서에 의해 이미지를 캡쳐하는 동안, 투명한 디스플레이 패널상의 영상과의 간섭을 최소화하기 위한 여러 방법들을 보이고,
도 8은 이미지 센서의 일실시예를 보이고,
도 9는 이미지 센서 픽셀들이 디스플레이 패널의 표면상에 분산 배치을 통해 이루어진 3D 터치 스크린 패널의 실시예를 보이고,
도 10은 터치면 및 접근 면의 실시예를 보이고,
도 11는 본 발명에 따른 3D 공간-터치 스크린 장치의 일실시예를 보이고,
도 12(a) 및 도 12(b)은 본 발명에 따른 3D 공간-터치 스크린 장치가 3D 입체 화면을 제공하는 핸드폰 및 컴퓨터에 적용된 일실시예를 보이고,
도 13은 연필 내지 붓의 터치에 의해 스크린 패널상에 글씨를 쓰거나 그림을 그리거나 하는 일 실시예를 보이고,
도 14은 태블릿 PC 내지 핸드폰의 케이스상에 인쇄되어 있는 문자자판의 문자를 광학적으로 인식하여 키보드로 사용되는 일실시예를 보이고,
도 15는 케이스의 일 실시예를 보이고,
도 16은 테블릿 PC 내지 휴대폰 장치를 보호하기 위한 접거나(닫거나) 펴는(여는) 것이 가능한 폴더(folder)형 투명 케이스 및 상기 케이스가 접었을 때는 안보이고, 폈을 때만 보이는 문자 자판을 구비하여,
3D 터치스크린 패널상의 이미지 센서에 의해 사용자의 손 동작 및 상기 문자 자판상의 손 터치 위치를 인식하여 문서작업 및 키보드 작업을 수행할 수 있는 3D(three dimensional) 공간-터치 스크린 장치의 일 실시예를 보이고,
도 17 내지 도 18은 자판 온오프(on-off) 수단의 여러 실시예를 보이고,
도 19 내지 도 20은 LED 어레이의 빛이 투명 케이스의 문자자판 안에서 반사를 반복하면서 이동하다가 문자 문양과 부딪히면 굴절과 산란을 하여, 문자가 우리 눈에 보이게 되는 여러 실시예를 보이고,
도 21은 눈응시에 의해 메뉴버튼 내지 키보드 자판의 문자를 선택하고, 사용자 손의 검지(index finger)에 의한 핸드폰의 후면에 있는 후면 카메라에 대한 터치 동작으로 해당 메뉴 버튼 내지 문자 자판의 문자 입력이 실행하는 일 실시예 이고,
도 22은 전면 3D 터치 스크린 패널 과 후면 3D 터치 스크린 패널을 구비한, 지갑 처럼 접거나 펼 수 있는 핸드폰 기능을 구비한 양면 3D 터치 스크린 패널의 여러 실시예를 보이고,
도 23는 우리가 일상생활에서 사용하는 연필을 이용하여, 스크린 패널상에 글씨 쓰거나 그림을 스케치한 실시예를 보이고,
도 24는 우리가 일상생활에서 사용하는 붓을 이용하여 스크린 패널상에서 그림을 그리는 일 실시예를 보이고,
도 25는 본 발명의 3D 공간-터치 스크린 장치에 사용될 수 있는, 컴퓨터 마우스 기능을 제공하는 전용 펜의 일 실시예를 보이고,
도 26는 펜촉과 사이드 버튼의 상세도 이고,
도 27는 전용 펜의 또 다른 실시예 이고,
도 28은 전용펜의 힘에 따라 펜촉의 길이가 가변되고 이에 따라 디스플레이 패널상에 다양한 선을 표시하는 예를 보이고,
도 29는 전용 펜의 펜촉과 사이드 버튼을 사용하여, 기존의 컴퓨터 마우스의 오른쪽 마우스 버튼 과 왼쪽 버튼의 대용으로 사용된 일 실시예를 보이고,
도 30은 사용자 손이 스크린 패널을 터치한 경우, 사용자 손이 상기 스크린 패널을 터치하면서 누른 압력과 세기를 측정하는 실시예를 보인다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

도 1는 본 발명에 따른 3D 터치 스크린 패널(100)의 여러 실시예를 표시한다.

도1(a)에 예시된 3D 터치 스크린 패널(100)은 2차원 내지 3차원 입체 화면을 제공하는 디스플레이 패널(10); 과 상기 디스플레이 패널(10)의 표면 또는 상기 디스플레이 패널(10)의 전면(前面)에 착탈이 가능한 투명한 폴리머 쉬트(polymer sheet) 표면상에 코팅 내지 집적화 되는 투명한 이미지 센서(11); 및 상기 투명한 이미지센서에 의해 캡쳐된 이미지에 대한 초점을 맞추기 위한 렌즈 층(12)로 구성된다.

도1(b)에 예시된 3D 터치 스크린 패널(100)은 2차원 내지 3차원 입체 화면을 제공하는 투명한 디스플레이 패널(10); 과 상기 투명한 디스플레이 패널(10)의 후면쪽에 위치한 기판의 표면 또는 상기 디스플레이 패널(10)의 뒷면에 착탈이 가능한 폴리머 쉬트(polymer sheet) 표면상에 코팅 내지 집적화 되는 이미지 센서(11); 및 상기 이미지센서에 의해 캡쳐된 이미지에 대한 초점을 맞추기 위한 렌즈 층(12)으로 구성된다.

도1의 상기 3D 터치 스크린 패널(100)은 태블릿 PC이나 핸드폰 같은 이동형 기기에 전원을 공급하기 위한 투명한 태양 전지층(13)을 더 구비할 수 있다. 상기 태양 전지층(13)은 디스플레이 패널(10)상의 영상을 시야로 부터 가리지 않기 위해 투명하게 설계된다.

도면 부호10a는 상기 디스플레이 패널(10)에 영상 신호를 공급하기 위한 신호 연결선이고, 도면 부호11a는 상기 이미지 센서(11)로부터 얻어진 영상 신호를 외부에 공급하거나 상기 이미지 센서(11)를 제어하기 위한 신호 연결선 이다. 상기 렌즈 층(12)은 굴절률이 다른 물질을 여러 층을 증착한 다층막을 유리 패널 이나 플렉셔블 필름(flexible film) 표면상에 형성하여 얻어지는 것이 선호된다.

도 1(a)에 보여진 3D 터치 스크린 패널(100)은 디스플레이 패널(10)의 위에 투명한 이미지 센서(11) 및 렌즈층(12)이 적층되어 구성되는 반면, 도1(b) 에 보여진 3D 터치 스크린 패널(100)은 이미지 센서(11) 위에 렌즈층(12) 과 투명한 디스플레이 패널(10)을 적층함으로서 형성된다.

도 2는 3D 터치 스크린 패널(100)의 또 다른 실시예로, 한 개 이상의 이미지 센서들이 병렬 어레이(array) 형태로 디스플레이 패널(10)의 전면 또는 후면에 배치된 실시예이다.

도 2(a)는 3D 터치 스크린 패널(100)은 2차원 내지 3차원 입체 화면을 제공하는 디스플레이 패널(10); 과 상기 디스플레이 패널(10) 표면 또는 상기 디스플레이 패널(10)의 전면(前面)에 착탈이 가능한 투명한 폴리머 쉬트(polymer sheet,11b) 표면상의 일정 간격으로 코팅 내지 집적화 된 투명한 이미지 센서(11)들; 및 굴절률이 다른 물질을 여러 층을 증착한 다층막을 유리 패널(12a) 표면상에 형성한 렌즈층(12)으로 구성된 것을 특징으로 한다.

도 2(b)에 예시된 3D 터치 스크린 패널(100)은 2차원 내지 3차원 입체 화면을 제공하는 투명한 디스플레이 패널(10); 과 상기 투명한 디스플레이 패널(10)의 후면의 표면 또는 상기 디스플레이 패널(10)의 후면에 착탈이 가능한 기판(11c) 표면상의 일정 간격으로 코팅 내지 집적화 된 이미지 센서(11)들; 및 굴절률이 다른 물질을 여러 층을 증착한 다층막을 유리 패널(12a) 표면상에 형성한 렌즈층(12)으로 구성된 것을 특징으로 한다.

도 2의 실시예의 경우, 상기 렌즈층(12)은 이미지 센서 어레이의 이미지 센서(11)에 대해 2가지 이상 다른 초점을 제공하도록 굴절률이 다른 물질을 여러층을 증착한 다층막을 유리 패널 표면상에 형성하여 이미지 센서(11)들과 함께 어레이 형태로 배열될 수 있다. 예를 들면 홀수 번째 이미지 센서는 초점거리 1을 갖고, 짝수 번째 이미지 센서는 초점거리 2를 갖도록 상기 다층막을 형성할 수 있다. 이 경우 상기 이미지 센서(11)에 의한 어레이는 다중 초점이 가능해진다.

도1(b) 및 도2(b)의 투명 디스플레이 패널(10)은 디스플레이 패널(10)상에 영상이 디스플레이 되는 동안 반 투명한 것이 선호되며, 이 경우 디스플레이 패널(10)상에 영상이 반 투명하기 때문에, 이미지 센서(11)에 의해 사용자의 손(104) 동작 및 필기도구(연필, 붓)에 대한 센싱이 가능하다. 즉, 디스플레이 패널(10)상에 영상이 디스플레이 되는 동안에도 상기 이미지 센서(11)에 의해 사용자의 손(104) 동작 및 필기도구(연필, 붓)에 대한 센싱 과 영상 캡쳐가 가능하다.

도1(b) 및 도2(b)의 경우, 상기 디블러링 처리부(72)는 상기 디스플레이 패널(10)상에 표시된 영상 성분을, 상기 디블러링 처리부(72)의 필터링에 의해 복원된 이미지로부터 빼주어, 최종적인 복원된 이미지를 얻는 것을 특징으로 한다.

즉, 상기 디스플레이 패널(10)상에 표시된 영상 성분은 사용자의 손가락(104) 및 필기도구(붓, 연필) 정보가 아니므로 빼주는 것이 선호된다.

도 2의 실시예에서는 이미지 센서(11) 어레이 와 렌즈층(12)이 서로 광축(potical axis)이 서로 정열되어 있고, 상기 유리 패널(12a)상에 태양 전지층(13)이 함께 구비된 실시예를 보인다. 상기 복수개의 이미지 센서(11)가 병렬로 연결된 이미지센서(11) 어레이는 동적 스캔(dynamic scan)에 의해 다양한 이미지 해상도(resolution)와 화각(view angle)를 구현하는 것이 선호된다. 즉, 한 개 이미지를 형성하기 위해 보다 많은 이미지 센서들을 활성화 시키면 더 높은 해상도와 화각을 얻을 수 있다. 상기 이미지 센서의 이미지 픽셀을 액세스 및 제어하기 위한 이미지 센서 제어부(29)가 상기 이미지 센서(11) 어레이의 출력단에 연결된다.

도 2(a)에 보여진 3D 터치 스크린 패널(100)은 디스플레이 패널(10) 위에 투명한 이미지 센서(11) 및 렌즈층(12)이 적층되어 구성되는 반면, 도2(b) 에 보여진 3D 터치 스크린 패널(100)은 기판(11c)상에 설계된 이미지 센서(10) 위에 렌즈층(12)과 투명한 디스플레이 패널(10)이 적층되어 구성된다.

본 발명에서, 투명한 디스플레이 패널(10)은 백 라이트(back light)가 요구되지 않는 투명 LCD(liquid crystal display) 모니터, 투명 AMOLED (Active Matrix Organic Light Emitting Diode) 모니터, 또는 투명 OLED (Organic Light Emitting Diode) 중 어느 하나가 선호된다.

상기 투명 LCD(liquid crystal display) 모니터, OLED 및 AMOLED는 백라이트(backlight)없이 발광하거나 자체 발광 함으로 소비전력이 작고 박막화가 가능한 장점을 갖는다. 또한, 도 2(a)의 태양 전지층(13)은 투명하게 설계된다.

본 발명에서는, 상기 이미지 센서(11) 어레이들 중 하나는 지문 인식을 위한 전용 이미지 센서가 오른쪽 스크린 하단 근방에 포함되는 것이 선호되며, 그래픽 유우저 인터페이스 제어부와 연동하여 손가락의 지문 인식에 의해 사용자의 ID를 인증할 수 있다,

도 3은 3D 터치 스크린 패널(100)의 또 다른 실시예로, 한 개 이상의 이미지 센서(11)가 기판(11c) 표면상에 일정 간격으로 어레이 형태로 배열되어 투명한 디스플레이 패널(10)의 후면에 배치되거나 코팅 됨으로서, 상기 이미지 센서(11) 어레이가 상기 투명한 디스플레이 패널(10)의 전체 면적에 대응하여 배열된 일 예를 보인다. 또한 굴절률이 다른 물질을 여러 층을 증착한 다층막을 유리 패널(12a) 표면상에 형성한 렌즈층(12)이 상기 투명한 디스플레이 패널(100)과 이미지 센서(11) 사이에 구비된다.

상기 투명 디스플레이 패널(10)은 디스플레이 패널(10)상에 영상이 디스플레이 되는 동안 반 투명한 것이 선호되며, 이 경우 디스플레이 패널(10)상에 영상이 반투명하기 때문에, 상기 이미지 센서(11)에 의해 사용자의 손(104)동작 및 필기도구(연필, 붓)에 대한 인식 가능하다. 즉, 디스플레이 패널(10)상에 영상이 디스플레이 되는 동안에도 상기 이미지 센서(11)에 의해 사용자의 손(104)동작 및 필기도구(연필, 붓)의 인식 과 영상 캡쳐가 가능하다.

도3(b)는 투명 LCD(liquid crystal display)을 사용한 투명한 디스플레이 패널(10)로 구성된 3D 터치 스크린 패널(100)의 일예이다. 이 경우 투명 LCD(liquid crystal display)사용한 디스플레이 패널(10)은 액정(liquid crystal)에 신호전압을 인가하고 차단하는 스위칭 소자인. 투명 박막트랜지스터(TFT:Thin Film Transistor,35); 투명하고 전기 전도성을 갖는 ITO로 만들어지며 상기 투명 TFT(35)를 통하여 인가된 신호전압을 액정셀(Cell)에 가해주는 역할하는 화소 전극(36); 상기 투명 TFT(35)와 화소 전극(36)이 배열되어 있는 TFT 기판(34); 세가지 기본색(R,G,B)의 염료나 안료를 포함하는 수지 필름으로 구성되며 액정을 통과한 빛이 R,G,B 색깔을 갖도록 하는 컬러 필터(32);

유리기판(31)과 상기 TFT 기판(34) 사이에 채워져 있는 액정(37); 투명한 전기 전도체인 ITO로 만들어진 전극으로 상기 액정셀에 전압을 인가하는 공통 전극(Common Electrode,33);및 상기 유리기판(31) 과 TFT 기판(34)의 양쪽 면에는 가시광선(자연광)을 선평광하여 주는 수평 편광판(30a) 과 수직 평광판(30b)으로 구성된다.

각 화소 정보에 대응하여 상기 투명한 TFT(35)를 온 시켜 액정(37)에 전압을 인가하면 액정(37)의 배열이 바뀌게 되고 이 상태의 액정(37)을 빛이 투과하게 되면 회절이 일어나고, 이 빛을 수평 편광판(30a)에 투과시켜 원하는 영상이 투명한 디스플레이 패널(10)에 표시된다. 상기 컬러 필터(32)는 색상을 표현하기 위해서 사용하며, 필터의 픽셀 단위는 RGB의 3개 서브픽셀로 구성되며, RGB는 바둑판 구조를 취하는 것이 선호된다.

도3(b)의 투명 LCD(liquid crystal display)을 사용한 3D 터치 스크린 패널(100)은, 한 개 이상의 이미지 센서(11)가 기판(11c) 표면상에 일정 간격으로 어레이 형태로 배열되어 상기 투명한 디스플레이 패널(10)의 후면에 배치되고, 굴절률이 다른 물질을 여러 층을 증착한 다층막을 유리 패널(12a) 표면상에 형성한 렌즈층(12)이 상기 투명한 LCD(10)와 이미지 센서(11) 사이에 구비되어, 사용자의 손(104) 동작, 손가락 터치 및 필기도구의 터치를 인식하게 된다. 도3(b)의 이미지 센서(11)는 투명한 이미지 센서가 선호된다.

도3(c)는 투명 OLED(Organic Light Emitting Diode)을 사용한 투명한 디스플레이 패널(10)로 구성된 3D 터치 스크린 패널(100)의 일 예이다.

투명 OLED(Organic Light Emitting Diode)는 형광성 유기화합물에 전류가 흐르면 빛을 내는 "자체 발광형 유기물질" 로 구성된 발광층(Emission Layer, 230d)으로 구성된다. 이 경우 투명 OLED(Organic Light Emitting Diode)을 사용한 디스플레이 패널(10)은 각 화소 정보에 대응하여 전원이 공급되면 전자가 이동하면서 전류가 흐르게 되는데 음극 단자 패널 (cathode panel, 230f)에서 발생된 전자(-)가 전자 수송층(Electron transport Layer, 230e) 의 도움으로 상기 발광층(230d)으로 이동하고, 양극 단자 패널(anode panel,230b)에서는 홀(Hole)이 홀 수송층(Hole transport Layer, 230c)의 도움으로 상기 발광층(230d)으로 이동하게 되고, 상기 발광층(230d)에서 만난 전자와 홀(hole)은 높은 에너지를 갖는 여기자(exciton)를 생성하게 되는 데, 이때 여기자가 낮은 에너지로 떨어지면서 빛을 발생하게 된다. 도면 부호 230a는 유리 기판이다. 상기 발광층(230d)은 발광층을 구성하고 있는 유기물질이 어떤 것이냐에 따라 빛의 색깔을 달라지게 되며, 본 발명에서는 R,G,B를 내는 각각의 유기물질을 이용하여 Full Color를 구현하거나 white 빛을 발광하는 유기물질에 RGB 칼라 필터를 이용하여 Full Color를 구현하는 것이 선호된다.

도3(c)의 투명 OLED을 사용한 3D 터치 스크린 패널(100)은, 한 개 이상의 이미지 센서(11)가 기판(11c) 표면상에 일정 간격으로 어레이 형태로 배열되어 상기 투명한 디스플레이 패널(10)의 후면에 배치되고, 굴절률이 다른 물질을 여러 층을 증착한 다층막을 유리 패널 표면상에 형성한 렌즈층(12)이 상기 투명한 OLED(10)와 이미지 센서(11) 사이에 구비하여, 사용자의 손(104) 동작, 손가락 터치 및 필기도구의 터치를 인식하게 된다. 도면 부호 40a, 40b 와 40c는 상기 디스플레이 패널(10)상의 한 개의 픽셀을 구성하는 RGB의 3개 서브픽셀에 일대일 대응한 3개의 광센서로 컬러 필터가 없는 것이 선호된다. 도면부호 40a는 상기 디스플레이 패널(10)상의 이미지에 담겨진 Red 색 성분 신호를 캡쳐하는 포토 다이오드이고, 도면부호 40b는 상기 디스플레이 패널(10)상의 이미지에 담겨진 Green 색성분 신호를 캡쳐하는 포토 다이오드이고, 도면부호 40c는 상기 디스플레이 패널(10)상의 이미지에 담겨진 Blue 색 성분 신호를 캡쳐하는 포토 다이오드이다.

도 4은 3D 터치 스크린 패널(100)의 또 다른 실시예로, 한 개 이상의 투명한 이미지 센서(11)가 기판(11c) 표면상에 일정 간격으로 어레이 형태로 배열되어 디스플레이 패널(10)의 전면에 배치되거나 코팅 됨으로서, 상기 투명한 이미지 센서(11) 어레이가 상기 디스플레이 패널(10)의 전체 면적에 대응하여 배열된 일 예를 보인다. 또한 굴절률이 다른 물질을 여러 층을 증착한 다층막을 유리패널(12a) 표면상에 형성한 렌즈층(12)이 상기 투명한 이미지 센서(11)의 전면에 구비되어, 사용자의 손(104) 동작, 손가락 터치 및 필기도구의 터치를 인식하게 된다.

도4(b)는 LCD(liquid crystal display)을 사용한 디스플레이 패널(10)로 구성된 3D 터치 스크린 패널(100)의 일예로, 3D 터치 스크린 패널(100)은, 한 개 이상의 투명한 이미지 센서(11)가 기판(11c) 표면상에 일정 간격으로 어레이 형태로 배열되어 디스플레이 패널(10)의 전면에 배치되고, 굴절률이 다른 물질을 여러 층을 증착한 다층막을 유리 패널(12a) 표면상에 형성한 렌즈층(12)이 상기 투명한 이미지 센서(11) 어레이의 전면에 구비 된다.

도4(c)는 OLED(Organic Light Emitting Diode)을 사용한 디스플레이 패널(10)로 구성된 3D 터치 스크린 패널(100)의 일 예로, 3D 터치 스크린 패널(100)은, 한 개 이상의 투명한 이미지 센서(11)가 기판(11c) 표면상에 일정 간격으로 어레이 형태로 배열되어 디스플레이 패널(10)의 전면에 배치되고, 굴절률이 다른 물질을 여러 층을 증착한 다층막을 유리 패널 표면상에 형성한 렌즈층(12)이 상기 투명한 이미지 센서(11)의 전면에 구비하여, 사용자의 손(104) 동작, 손가락 터치 및 필기도구의 터치를 인식하게 된다. 도면 부호 40a,40b 와 40c는 상기 디스플레이 패널(10)상의 한 개의 픽셀을 구성하는 RGB의 3개 서브픽셀에 일대일 대응한 3개의 광센서로 컬러 필터가 없는 것이 선호된다.

도 5 내지 도 6은 투명 OLED를 이용한 3D 터치 스크린 패널(100)의 또 다른 실시예로, 도5는 OLED의 음극 단자 패널(230f)에 이미지 픽셀 단위로 광센서(40a,40b,40c) 와 음극 단자(cathode, 42)을 함께 배열한 실시예를 나타내고, 도 6은 양극 단자 패널(230b)에 이미지 픽셀 단위로 광센서(40a,40b,40c) 와 양극 단자(anode,43)을 함께 배열한 일 실시예를 보인다. 이 경우 OLED의 유리기판(230a)의 표면에는 굴절률이 다른 물질을 여러 층을 증착한 다층막을 형성한 렌즈층(12)이 구비된다. 도면부호 9는 발광층(230d), 양극 단자 패널(230b) 및 홀 수송층(230c)으로 구성된 OLED층이다. 도면 부호 40a, 40b 와 40c는 상기 OLED의 발광층(230d)상의 한 개의 픽셀을 구성하는 RGB의 3개 서브픽셀에 일대일 대응한 3개의 광센서로 컬러 필터가 없는 것이 선호된다.

도5(b)는 도5(a)의 도면부호 44에 나타난 3개 이미지 픽셀에 대한 상세도로 광센서(40a, 40b, 40c) 와 음극 단자(cathode, 42)을 함께 OLED의 음극 단자 패널(230f)상에 배열한 예시를 보인다.

도6(b)는 도6(a)의 도면부호 45에 나타난 3개 이미지 픽셀에 대한 상세도로 광센서(40a, 40b, 40c) 와 양극 단자(anode, 43)을 함께 OLED의 양극 단자 패널(230b)상에 배열한 예시를 보인다.

도 1(b),도2(b) 및 도3의 실시예의 경우 적외선 필터가 디스플레이 패널(10)과 렌즈층(12) 사이에 설치되도록 개조 될 수 있다. 또한, 도 1(b),도2(b) 및 도3의 실시예의 경우 렌즈층(12)이 디스플레이 패널(10)의 전면으로 배치 되도록 개조될 수 있다.

상기 적외선 필터는 상기 이미지 센서(11)에서 가시광선을 필터링함으로서 사용자의 동공(pupil) 및 손가락의 위치를 파악하기 용이하다. 이에 따라 어두운 환경에서도 디스플레이 패널(10)상의 눈의 응시(gaze)위치를 파악하기 용이뿐만 아니라 손에서 나오는 적외선에 의해. 어두운 환경에서의 사용자의 손가락 동작에 대한 추적을 용이하게 한다.

도 7은 상기 도1(b), 도2(b),도3 및 도5의 실시예 처럼 투명한 디스플레이 패널(10)을 사용하는 경우에 있어서, 손동작 및 필기도구 인식을 위해 상기 이미지 센서(10)에 의해 이미지를 캡쳐하는 동안, 상기 투명한 디스플레이 패널(10)상에 표시된 영상과 손 또는 필기도구간의 간섭을 최소화하기 위한 여러 방법들을 보인다.

도 7(a)는 2차원 투명 디스플레이 패널(10) 평면상에서 화소들을 표시하기 위해 non-interlaced refresh에 의해 화소를 스캔하는 동안, 투명 디스플레이 패널(10)상의 영상과의 간섭을 최소화하기 위해 현재 스캔되는 화소와 가장 멀리 떨어진 거리에 있는 화소 위치의 이미지 센서(11) 내지 이미지 픽셀을 활성화 시켜 영상 이미지를 캡쳐하는 방법을 도시한다. 예를 들면, 현재 투명 디스플레이 패널(10) 평면상에서 화소(x_d, y _d )를 스캔하는 경우, 화소(x_d , y _d ) 와 가장 멀리 떨어진 거리에 있는 화소 (x _i , y _i ) 위치의 이미지 센서 내지 픽셀을 활성화 시켜 영상 이미지를 캡쳐하는 방법을 도시한다. 즉, 디스플레이 패널(10)이 투명하기 때문에, 현재 스캔중인 화소(x_d , y _d ) 와 멀리 떨어진 화소 일수록, 디스플레이 패널(10)상의 화면은 그만큼 투명하기 때문에 그 위치에서의 이미지 센서를 활성화 시켜 이미지 캡쳐하는 경우, 디스플레이 패널(10)상의 영상에 의한 간섭을 최소화할 수 있다. 즉, 디스플레이 패널(10)의 non-interlaced refresh되는 화소와 가장 멀리 떨어진 지점에 위치의 이미지 센서 내지 픽셀을 활성화 시켜 가면서 차례로 캡쳐하는 non-interlaced capture방법을 사용한다. 즉, 상기 non-interlaced capture는 non-interlaced refresh와 같은 주기를 가지고 스캔 동작을 하며, 현재 non-interlaced refresh되는 화소와 가장 멀리 떨어진 지점에 위치의 이미지 센서 내지 픽셀을 스캔 및 활성화 시켜 이미지를 순차적으로 캡쳐하여 상기 비데오 메모리(71)에 저장하는 것이 선호된다.

도7(b)는 사용자의 손동작 및 필기도구 인식을 위해 상기 이미지 센서(10)에 의해 이미지를 캡쳐하는 동안, 투명한 디스플레이 패널(10)상의 영상과 손 또는 필기도구간의 간섭을 최소화하기 위한 또 다른 방법들을 보인다.

디스플레이 패널(10)은 색을 표현하기 위해 3가지 색 성분, 즉 R(Red),G(Green) 및 B(Blue)의 세가지 색 성분을 더하여 색을 만들어 내는 가산 모델(additive model)사용한다. 즉, 디스플레이 패널(10)상의 각 픽셀은 RGB의 3개 서브픽셀(sub pixel)의 조합으로 표현된다.

도7(b)에 예시된 방법은, 첫번째 단계는 디스플레이 패널(10)상의 이미지에 대해 픽셀 단위로 RGB의 3개 서브픽셀 중 가산 모델(additive model)기준으로 비중이 가장 작은 서브픽셀을 찾아내고, 두번째 단계는 상기 비중이 작은 서브픽셀에 대응하는 위치에 있는 이미지 센서의 서브 픽셀들에 의해서 캡쳐된 정보를 사용하여 최종적인 이미지 센서 이미지를 형성하는 단계를 포함한다.

예를 들면, 도면부호 47a와 47b는 디스플레이 패널(10)상의 이웃한 두 픽셀이고 47c는 가산 모델(additive model)에 근거한 RGB의 서브픽셀들의 값을 보인다. 픽셀 47a의 경우. R이 가장 작은 비중(값)을 갖는 서브픽셀이고, 픽셀 47b의 경우. G가 가장 작은 비중(값)을 갖는 서브픽셀이다. 따라서, 픽셀 47a의 R 위치 와 픽셀 47b의 G 위치에서, 디스플레이 패널(10)이 광학적으로 가장 투명하다. 도면 부호 48a 과 48b는 디스플레이 패널(10)상의 픽셀 47a 과 픽셀 47b에 대응한 위치에 있는 이미지 센서(11)에 의해 캡쳐된 픽셀들이고, 48c는 픽셀 47a 과 픽셀 47b의 RGB 서브픽셀들에 대응한 이미지 센서(11)상의 값들을 보인다.

도면부호 16은 디스플레이 패널(10)상의 영상과의 간섭을 최소화되도록, 상기 디스플레이 패널(10)이 광학적으로 가장 투명하다고 판단되는 서브픽셀의 위치, 즉 47a의 R 위치 와 픽셀 47b의 G 위치에서 상기 이미지 센서(11)상의 값(0.2 과 0.6)들로 만으로 재구성된 이미지 센서 이미지이다.

도면 부호 49a 과 49b는 이미지 센서(11)상의 픽셀 48a 과 픽셀 48b에 대응한 위치에서의 이미지 센서 이미지(16)상의 픽셀들이고, 49c는 이에 대한 값을 보인다.

도 7(b)의 예시에서는 픽셀 47a의 R 위치 와 픽셀 47a의 G 위치가 비중(값)이 가장 작은 서브픽셀 임으로, 이에 해당하는 이미지 센서(11)의 서브 픽셀 값인 0.2와 0.6 값만으로 최종 이미지 센서 이미지(16)의 픽셀 49a와 49b의 값이 결정된다.

이때 상기 이미지 센서 이미지(16)는 모노(mono)이미지 픽셀 값을 가지며, 최종 그레이(gray)이미지로 변환되어, 상기 디블러링 처리부에서 렌즈층(12)에 대한 왜곡을 보상하기 위한 복원 작업을 거치게 된다.

도 8은 이미지 센서의 일실시예로, 상기 이미지센서(11)는 빛 에너지를 전기에너지로 변환시키기 위한 광센서(40a,40b,40c) 및 트랜지스터(21)로 구성된 이미지 센서 픽셀(20a)로 구성되며, 상기 이미지 센서 픽셀(20a)들은 ITO(Indium Tin Oxide), 메탈 메쉬, 은(Ag) 나노와이어, 투명 폴리머 쉬트 내지 그래핀(graphene) 중 선택된 재료에 의해 투명 전극 및 투명 회로에 의해 구성되는 것이 선호된다. 상기 광센서(40a, 40b, 40c)는 센싱 광효율을 높이기 위해 컬러필터를 사용하지 않는 것이 선호된다. 또한 상기 광센서는 도3 및 도5의 예시에서처럼 상기 디스플레이 패널(10)상의 이미지에 담겨진 Red 색 성분 신호를 캡쳐하는 포토 다이오드, 상기 디스플레이 패널(10)상의 이미지에 담겨진 Green 성분 신호를 캡쳐하는 포토 다이오드, 및 상기 디스플레이 패널(10)상의 이미지에 담겨진 Blue 색 성분 신호를 캡쳐하는 포토 다이오드가 될 수 있다.

상기 이미지 센서 픽셀(20a)들을 액세스 및 제어하기 위한 이미지 센서 제어부(29)가 상기 이미지 센서 픽셀(20a)의 행라인(20c)과 열 라인(20b)에 연결된다. 상기 광센서(40a,40b,40c)는 포토 다이오드가 선호된다. 상기 이미지 센서 제어부(29)는 상기 각 이미지 센서 픽셀(20a)의 행 라인(20c)과 열 라인(20b)을 액세스하기 위한 행 디코더(24), 열 디코더(25), 그리고 상기 포토 다이오드(40a, 40b, 40c)의 출력 신호를 증폭하기 위한 증폭기(23)과 상기 증폭기(23) 출력신호를 디지털 신호로 변환하기 위한 AD변환기(Analog to Digital Converter) 및 상기 행 디코더(24)와 열 디코더(25)에 액세스 신호를 제공하는 타이밍 발생기(26)로 구성된다. 상기 AD(analog to digital)변환기에 의해 얻어진 디지털 신호는 신호 연결선(11a)를 통해 외부로 출력된다

상기 포토다이오드(40a, 40b, 40c)는 입사되는 빛을 더 모우기 위한 마이크로 렌즈(미도시)를 더 구비할 수 있다.

도 9는 이미지 센서 픽셀(20a)들이 디스플레이 패널(10)의 표면상에 분산 배치을 통해 이루어진 3D 터치 스크린 패널(100)의 실시예로, 3D 터치 스크린 패널(100)은 2차원 내지 3차원 입체 화면을 제공하는 디스플레이 패널(10); 과 상기 디스플레이 패널(10) 표면 또는 상기 디스플레이 패널(10)에 착탈이 가능한 투명 폴리머 쉬트(polymer sheet) 표면상의 일정 간격으로 코팅 내지 집적화 된 이미지 센서 픽셀(20a); 및 굴절률이 다른 물질을 여러 층을 증착한 다층막을 상기 이미지 센서 픽셀(20a) 위에 형성한 렌즈층(12)으로 구성된 것을 특징으로 한다.

상기 병렬로 연결된 이미지 센서 픽셀(20a)들은 동적 스캔(dynamic scan)에 의해 다양한 이미지 해상도(resolution)와 화각(view angle)를 구현하는 것이 선호된다. 즉, 한 개 이미지를 형성하기 위해 보다 많은 이미지 센서 픽셀(20a)들을 활성화 시키면 더 높은 해상도와 화각을 얻을 수 있다. 상기 이미지 센서 픽셀(20a)들은 빛 에너지를 전기에너지로 변환시키기 위한 광센서(20) 및 트랜지스터(21)로 구성되며, 상기 이미지 센서 픽셀(20a)들은 ITO(Indium Tin Oxide), 메탈 메쉬, 은(Ag) 나노와이어, 투명 폴리머 쉬트 내지 그래핀(graphene) 중 선택된 재료에 의해 투명 전극 및 투명 회로에 의해 구성되는 것이 선호된다.

도 10은 터치면(101) 및 접근 면(102)의 실시예를 보인다. 도면부호103은 3차원 입체 화면에 의해 제공되는 가상공간과 현실공간을 구분하는 가상 경계면을 나타낸다. 상기 접근 면(102)은 스크린 패널(100)의 표면으로부터 10mm 내지 30mm만큼 떨어진 곳에 형성되는 것이 선호되며, 터치가 일어나기 전 사용자의 손가락 접근을 사전에 인식하기 위해 사용된다. 상기 터치면(101)은 스크린 패널(100)의 표면으로부터 0 내지 0.5mm 이내로 정하는 것이 선호된다. 상기 터치면은 상기 스크린 패널(100) 또는 디스플레이 패널(10)에 대한 터치 여부에 대한 판단 기준이 된다.

도 11는 본 발명에 따른 3D 공간-터치 스크린 장치(200)의 일 실시예를 보인다.

2차원 내지 3차원 입체 화면을 제공하는 디스플레이 패널(10)과 상기 이미지 센서(11)를 포함하는 3D 터치 스크린 패널(100); 및 상기 이미지 센서(11)에 의해 사용자의 손가락, 손가락의 움켜진 모양, 손짓을 3차원적으로 인식하기 위한 손가락 제스처 인식부(50)로 구성되는 것을 특징으로 한다.

도면 부호 51은 상기 이미지 센서(11)에 의해 디스플레이 패널(10)상에 레이저 빔 포인터(laser beam pointer)에 의한 레이저 빔 좌표 또는 상기 3차원 입체 화면과 연관되어 3D 공간을 통과한 레이저 포인터(laser pointer)에 의해 교차되는 레이저 빔의 좌표를 인식하기 위한 레이저 빔 인식부이다.

도면 부호 52은 상기 이미지 센서(11)에 의해 손가락의 스크린 패널(100)에 접근을 파악하고, 상기 스크린 패널(100) 상에 이웃한 메뉴 버튼간에 거리가 손가락 터치하기에 너무 조밀한 경우, 자동으로 해당부분의 메뉴버튼이 줌인(zoom in)되어 손가락 터치의 정밀도를 확보하고, 손가락이 스크린 패널(100)에서 다시 멀어지는 경우 자동으로 줌아웃(zoom out) 되어 원래의 스크린 상태로 복귀되는 자동 손가락 줌인-줌아웃부 이다.

도면 부호 58은, 상기 이미지 센서(11)에 의해 상기 스크린 패널(100)상의 2개의 터치 지점을 인식하여, 그 사이 구간을 복사의 시작점과 끝점을 설정하는 복사구간 설정부이다. 상기 2개의 터치지점의 인식은 상기 이미지 센서(11)에 의해 사용자의 2개 손가락이 상기 3D 터치스크린 패널(100)상의 동시에 접근해 온후 상기 터치면(101)을 침범한 경우로 판단하는 것이 선호된다.

도면 부호 59는 상기 이미지 센서(11)에 의해 터치가 일어나기 전 사용자의 손가락 접근을 인식하여 상기 접근면(102) 침범시, 사전에 사용자에게 터치될 버튼 내지 터치될 문자, 터치될 아이콘을 사용자의 손가락의 상측 근방의 디스플레이 패널(10)상에 미리 표시해주기 위한 사전 터치 제어부이다.

이 경우 사용자는 터치될 문자, 버튼내지 문자, 아이콘을 디스플레이 패널(10)상에서 미리 파악할 수 있어 오(誤) 터치(erroneous touch)를 방지할 수 있다. 상기 사전 터치 제어부(59)는 사용자 손가락이 접근면(102)을 침범후 클릭(click)하지 않은채 다시 벗어난 경우, 디스플레이 패널(10)상에 표시한 터치될 버튼 내지 터치될 문자, 터치될 아이콘은 사라지도록 상기 디스플레이 패널(10)을 제어하는 것을 특징으로 한다.

또 다른 실시예로 상기 사전 터치 제어부(59)는 상기 이미지센서(11)에 의해 사용자의 손가락이 상기 스크린 패널(10) 접근시, 사용자의 손가락 접근을 인식하고, 상기 접근면(102) 침범시, 터치이전에 사용자에게 터치될 버튼내지 문자, 아이콘을 중심으로 하여 주변 버튼 내지 아이콘을 확대하여 상기 스크린 패널(100)에 표시해주고 상기 접근면(102) 에서 다시 멀어질때 다시 상기 스크린 패널(100)의 화면을 원상 복구하여 표시되도록 제어하는 것이 가능하다. 도면 부호 53는 상기 이미지센서(11)와 사용자의 손가락간의 거리를 산출하여 상기 스크린 패널(100)에 대한 접촉 여부를 판별하거나 상기 스크린 패널(100)에 대한 손가락의 접근속도를 인지하기 위한 터치 인식부 이다. 도면 부호 61은 터치된 사용자의 손가락 지문을 인식하거나 필기도구(연필,붓)의 터치 압력과 세기를 인지하기 위한 터치 압력 인식부이다. 상기 손가락의 지문 인식에 의해 사용자의 ID를 인증할 수 있다, 도면 부호56은 상기 이미지 센서(11)에 의해 상기 스크린 패널(100)상의 손가락의 움직임 및 동작을 추적하고, 상기 스크린 패널(100) 상에 해당 손가락 위치에 커서(cursor)를 표시하기 위한 손가락 커서 제어부이다.

상기 손가락 제스처 인식부(50)는 상기 손가락 커서 제어부(56)에 의해 지시된 스크린 패널(100)상의 객체에 대해 손동작에 의해 해당 객체를 확대하기 위한 확대 명령, 축소하기 위한 축소 명령, 또는 실행하기 위한 클릭(click) 명령에 대응하는 손짓을 인식하여 수행하는 것이 선호된다. 도면 부호 60은 상기 이미지 센서(11)에 의해, 연필에 의한 접촉을 감지하여 상기 디스플레이 패널(10)상에 연필에 의한 접촉을 표현하거나 붓의 터치를 감지하여 상기 디스플레이 패널(10)상에 붓에 의한 터치 표현하기 위한 필기 도구 터치 인식부 이다. 도면 부호 70은 상기 스크린 패널(100)의 주변 테두리에 설치된 카메라이다. 도면 부호 55는 상기 카메라(70) 내지 상기 이미지 센서(11)에 의해, 사용자의 눈동자 추적 하여 스크린 패널(100)상에서의 사용자 눈의 응시(gaze) 위치를 파악하여 해당 위치에 커서(cursor)을 표시하고, 손 동작 명령에 의해 해당 위치의 메뉴버튼 또는 아이콘을 실행하거나 확대하거나, 축소하거나, 움직이게 하는 명령을 처리하는 눈 응시(eye gaze) 처리부이다. 또한, 상기 눈 응시 처리부(55)는 사용자 눈의 응시(gaze) 위치를 파악하여, 해당 위치의 스크린 패널(100)상의 글자 혹은 물체에 십자(cross) 마크를 표시하고, 확대-축소 명령에 해당하는 손 동작을 상기 이미지 센서(11)가 인지하여, 십자 마크를 중심으로 해당 위치의 글자 혹은 물체를 확대 또는 축소하여 상기 스크린 패널(100)상에 표시하는 것이 선호된다. 또한, 상기 눈 응시 처리부(55)는 사용자가 문자 입력 창(window)를 눈 응시함과 동시에 손동작 명령에 의해, 키보드 내지 문자 자판 요청시, 팝업창 형태로 문자 자판 내지 키보드가 디스플레이 패널(10)에 자동으로 표시되도록 제어하는 것이 선호된다.

상기 도 2, 도3, 도4 및 도 9의 상기 분산 배치된 이미지 센서(11) 내지 이미지 센서 픽셀(20a)에 의해 캡처된 이미지 정보는 상기 이미지 센서 제어부(29)에 의해 한곳에 모아져 비데오 메모리(71)에 저장되는 것이 선호된다.

도면 부호 72는 상기 이미지 센서(11)에 의해 얻어진 피사체의 이미지를 복원(restoration)하기 위한 디블러링(deblurring) 처리부이다.

상기 디블러링 처리부(72)는 상기 이미지 센서(11)에 캡쳐된 이미지를 복원하기 위해, 상기 카메라(70)에 의해 얻어진 영상을 상기 복원을 위한 기준(reference)이미지로 사용하는 것이 선호된다. 복원된 이미지는 비데오 메모리(73)에 저장된다. 도면 부호 54는 상기 이미지 센서(11)에 의해 얻어진 정보를 이용하여, 사용자의 손 동작을 인식 및 추적하고, 상기 디스플레이 패널(10)이 제공하는 3차원 입체 화면 속의 객체들과 사용자 손 간의 거리를 계산 산정하여, 정해진 최소거리 범위 내에 존재하는 사용자 손과 가장 가까운 객체를 상기 사용자 손에 의해 선택된 것으로 판정하기 위한 객체 선택 처리부이다.

상기 객체 선택 처리부(54)는, 상기 3차원 입체 화면 속에 포함된 어느 한 객체가 사용자의 손 동작에 의해 선택된 경우 해당 객체가 점멸되거나 객체의 테두리(edge)를 강조하거나 객체의 틴트(tint)가 변하도록 제어하는 것이 선호된다.

도면 부호 57은 상기 이미지 센서(11)에 의해 3D 터치 스크린 패널(100) 전방에서 일어나는 몸동작을 인식하여 명령을 수행하기 위한 몸 제스처(body gesture) 인식부이다. 도면 부호 66은 상기 손가락 제스처 인식부(50), 필기 도구 터치 인식부(60), 터치 압력 인식부(61), 레이저 빔 인식부(51), 자동 손가락 줌인-줌아웃부(52), 복사 구간 설정부(58), 사전 터치 제어부(59), 터치 인식부(53), 객체 선택 처리부(54), 눈 응시 처리부(55), 손가락 커서 제어부(56) 및 몸 제스처 인식부(57)로 부터 받은 접촉 정보 내지는 제스처 정보에 의해 사용자에게 대화형 유우저 인터페이스(interactive user interface)를 제공하는 그래픽 유우저 인터페이스 제어부이고, 이에 필요한 그래픽 영상 신호는 상기 신호연결선(10a)을 통해 상기 디스플레이 패널(10)에 제공된다,

도면 부호 74는 상기 디블러링 처리부(72) 손가락 제스처 인식부(50), 필기 도구 터치 인식부(60), 터치 압력 인식부(61), 레이저 빔 인식부(51), 자동 손가락 줌인-줌아웃부(52), 복사 구간 설정부(58), 사전 터치 제어부(59), 터치 인식부(53), 객체 선택 처리부(54), 눈 응시 처리부(55), 손가락 커서 제어부(56) , 몸 제스처 인식부(57) 및 그래픽 유우저 인터페이스 제어부(66)를 포함하는 3D 터치스크린 제어 장치이다

도 12(a) 및 도 12(b)은 본 발명에 따른 3D 공간-터치 스크린 장치(200)가 3D 입체 화면을 제공하는 핸드폰(300) 및 컴퓨터(400)에 적용된 일 실시예를 나타낸다.

상기 핸드폰(300) 및 컴퓨터(400)의 전면은 사용자의 손(104) 동작을 인지할 수 있는 스크린 패널(100)이 설치되고, 사용자 손(104) 동작은 상기 스크린 패널(100)상의 이미지 센서(11)에 의해 센싱된다, 사용자 손(104)의 움직임 과 3D 화면 속의 객체(105)를 추적하여 사용자가 손(104)으로 객체에 접근 했는지 여부를 객체선택 처리부(54)가 판단하고 손 동작을 상기 손가락 제스처 인식부(50)가 해석하여 상기 그래픽 유우저 인터페이스(66)를 제어하게 된다. 따라서, 사용자 손(104)동작에 의해 핸드폰(300)에 의해 제공되는 3차원 입체 화면 속의 전화 키 버튼(301)을 선택하여 전화를 걸든가, 컴퓨터(400)에 의해 제공되는 3차원 입체 화면 속의 윈도우 화면(401)을 이동 시킬 수 있다, 이러한 실시예는, 3D 입체 화면속의 제공된 가상의 버튼 및, 가상의 키보드에도 적용될 수 있다,

도 12(c)는 본 발명에 따른 3D 공간-터치 스크린 장치(200)가 3차원 입체 화면을 제공하는 텔레비전, 게임장치, 컴퓨터 표시장치나 휴대폰 장치에 적용되어 3D 화면 속의 객체(105)을 사용자 손(104)이 잡은 실시예를 보인다. 3D 터치 스크린 패널(100)상의 이미지센서는 터치면(101)과 가상 경계면(103)간의 사용자 손(104)의 움직임 과 3D 화면 속의 객체(105)의 움직임을 추적하여 사용자가 손으로 객체(105)를 잡았는지의 여부를 상기 객체 선택 처리부(54)와 손가락 제스처 인식부(50)가 판단하여, 잡은 경우 날아가던 공(105)이 손(104)에서 멈추도록 상기 그래픽 유우저 인터페이스(66)를 제어하게 된다.

도 12(d)은 카메라(70)의 이미지를 이용하여 상기 응시 처리부(55)에 의해 스크린 패널(100)상에서의 사용자의 눈(104a)의 응시 위치에 추적하고, 해당 위치에 커서(109)가 표시하고 손 동작에 의해 응시 위치에 있는 객체에 대해 실행 하거나 확대하거나 축소하거나 움직이게 하는 명령을 내리는 일 실시예를 보인다

도 12(e)는 상기 스크린 패널(100)상의 이미지 센서(11)에 의해 두개 손가락(104)에 의한 2개의 동시 터치 지점을 인식하여 상기 복사 구간 설정부(58)에 의해 복사의 시작점과 끝점을 설정하는 일실시예이다. 한 손 혹은 두 손의 손가락을 이용하여 2개의 동시 터치 지점을 정할 수 있다

도 13는 연필(90) 내지 붓(91)의 터치에 의해 상기 스크린 패널(100)상에 글씨를 쓰거나 그림을 그리거나 하는 일 실시예를 보인다.

상기 이미지 센서(11)에 의해, 연필(90)에 의한 스크린 패널(100) 표면의 접촉을 감지하여 상기 디스플레이 패널(10)상에 연필(90)에 의한 접촉을 표현하거나 붓(91)의 터치를 감지하여 상기 디스플레이 패널(10)상에 붓(91)에 의한 터치 표현한다.

상기 스크린 패널(100)상의 이미지 센서(11)는 연필(90) 내지 붓(91)의 터치를 직접 스크린 패널(100)의 표면에서 인식할 수 있어 정밀하게 연필(90) 내지 붓(91)의 필체를 인식하여 디스플레이 패널(10)에 표현할 수 있다.

도13(a)는 개인의 사인(signature)을 연필(90)에 의해 상기 스크린 패널(100)상에 표시한 예이고, 도13(b)는 붓(91)에 의해 상기 스크린 패널(100)상에 그림을 그린 실시예이다. 상기 연필에 의한 개인 사인은 인터넷상에 전자결재 및 인증에 응용될 수 있을 정도로 충분히 정밀하다,

도 14은 2차원 내지 3차원 입체 화면을 제공하는 태블릿 PC(500) 내지 핸드폰(300)의 3D 터치 스크린 패널(100)상의 이미지센서(11)에 의해, 태블릿 PC(500) 내지 핸드폰(300)의 케이스(600)상에 인쇄되어 있는 문자자판(77)의 문자를 광학적으로 인식하여 키보드로 사용되는 일 실시예를 보인다. 현재 시판되는 태블릿 PC(500) 내지 핸드폰(300)은 이동형 기기로서의 특성 때문에 별도의 키보드가 없어, 문서작업 및 문자 입력에 많은 불편이 있다. 상기 스크린 패널(100)상의 이미지 센서(11)에 의해 사용자 손이 상기 문자 자판(77)의 문자를 터치할때 어떤 문자를 터치하는지 인식할 수 있다. 또한 사용자 손동작을 상기 스크린 패널(100)상의 이미지 센서(11)가 인식함에 의해 마우스 기능을 대행할 수 있다. 상기 케이스(600)상의 문자자판(77)의 키(78)는 하우징(79)과 기판(82)사이에 쿠션재(80, cushioning)를 구비하여, 터치감을 느끼도록 하는 것이 선호된다. 상기 쿠션재(80)는 키(78)에 대한 압력이 해제될 때, 키(78)의 무부하 위치(rest position)로 복귀되도록 연구된다. 본 실시예에서 상기 문자자판(77)은 별도의 전원공급장치가 없이 동작하는 장점이 있을 뿐만 아니라 케이스(600)상에 문자자판(77)의 문자들이 인쇄되었기 때문에 키보드의 박막화가 가능하다.

도 15는 상기 케이스(600)의 또 다른 실시예를 보인다. 이 경우 케이스(600)상에 문자 자판(77)의 문자를 인쇄하는 대신, 미리 준비된 문자자판 카드(77a,77b,77c)를 케이스(600)의 문자자판(77)에 밀어 넣어 삽입한다. 즉 다양한 언어로 준비된 문자 자판 카드(77a,77b,77c)중 원하는 언어의 문자 자판을 선택하여 사용하게 되고, 케이스에 문자 자판 카드(77a) 삽입시, 문자 자판(77)상의 개구부(83)를 통해 문자 자판 카드상의 문자가 사용자에게 노출된다. 도면 부호 77a는 영어의 알파벳이 인쇄된 문자 자판 카드이고 도면부호 77b는 한국어를 입력을 위한 문자 자판 카드이고 77c는 중국어 문자자판 카드이다.

상기 케이스는 문자자판 카드의 입출입을 허용하여 상기 문자자판(77)에 밀어 넣기 위한 카드 삽입구(77d)를 구비한다.

상기 문자자판(77)상에서 터치된 문자인식은 사용자의 손가락에 의해 터치된 문자자판(77)상의 문자를 카메라(70) 혹은 이미지 센서(11)에 의해 직접 인식하거나, 상기 케이스(600)의 기구적 테두리를 상기 카메라(70) 또는 이미지 센서(11)가 인식하여 손가락의 터치 좌표를 계산하여 터치된 문자가 무엇인지를 인식하는 것이 선호된다.

도 16은 2차원 내지 3차원 입체 화면을 제공하는 테블릿 PC(500) 내지 휴대폰 장치(300)를 보호하기 위한 접거나(닫거나) 펴는(여는) 것이 가능한 폴더(folder)형 투명 케이스(700); 및 상기 케이스(700)가 접었을 때는 안보이고, 폈을 때만 보이는 문자 자판(76)을 구비하여, 3D 터치스크린 패널상의 이미지 센서(11)에 의해 사용자의 손 동작 및 상기 문자 자판(76)상의 손 터치 위치를 인식하여 문서작업 및 키보드 작업을 수행할 수 있는 3D(three dimensional) 공간-터치 스크린 장치의 일 실시예를 보인다.

도면 부호 701은 신용 카드와 신분증을 보관하기 위한 지갑부로 상기 투명 케이스(700)에 더해지는 형식으로 구비된다. 상기 지갑부(701)는 신분증 보관함(701a) 과 신용카드 보관함(701b)을 포함하는 것이 선호된다.

도 16(a)는 상기 투명 케이스(700)을 접었을 때의 도면으로, 테블릿 PC(500) 내지 휴대폰 장치(300)가 투명 케이스(700)에 의해 보호되며, 투명 케이스(700)가 투명하기 때문에 케이스(700)가 접혔을 때에도 상기 테블릿 PC(500) 내지 휴대폰 장치(300)상의 이미지센서(11)와 카메라(81)는 동작 가능하다. 이 경우, 상기 이미지 센서(11) 와 카메라(81)는 피사체로부터 반사되어 투명 케이스(700)를 통과한 빛을 센싱하게 된다. 따라서 투명 케이스(700)을 접었을 때에도 사용자는 손 동작 및 손 터치에 의해 테블릿 PC(500) 내지 휴대폰 장치(300)의 유우저 인터페이스가 가능할 뿐만 아니라, 케이스(700)상의 마이크 구멍(88a)과 스피커 구멍(88b) 을 통해 전화 통화가 가능하다.

도 16(b)는 상기 투명 케이스(700)의 지갑부(701)를 보인다. 상기 지갑부(701)는 지갑의 내용을 감추기 위해 불투명한 것이 선호된다.

도 16(c)는 상기 투명 케이스(700)을 폈을 때의 도면으로, 상기 투명 케이상(700)에 보이지 않던 문자 자판(76)이 나타난다. 상기 투명 케이스(700)는 상기 투명 케이스(700)상에 보이지 않던 문자 자판(76)이 투명 케이스(700)에 나타나기 위한 자판 온오프(on-off) 수단을 구비한 것을 특징으로 한다.

도 16(d)는 상기 투명 케이스(700)을 펼쳐, 테블릿 PC(500) 내지 휴대폰(300)을 원하는 각도로 조절한 후, 문자 자판(76)상의 손 터치 위치를 인식하여 문서작업 및 키보드 작업을 수행하는 경우를 나타낸다. 이 경우 손 동작을 이미지 센서(11)가 인식하여 마우스 기능을 수행할 수 있다. 상기 투명 케이스(700)는 투명케이스(700)의 개폐동작을 위한 영구자석1(45a)와 강자성체(46a)을 더 구비할 수 있다. 상기 투명 케이스(700)는 지갑부(701)의 개폐동작을 위한 영구자석2(45b)와 강자성체(46b)을 더 구비할 수 있다.

상기 투명 케이스(700)는 투명 케이스(700)을 펼쳐 테블릿 PC(500) 내지 휴대폰 장치(300)를 원하는 각도로 조절한 후, 이들 장치(500,300)를 투명 케이스(700)에 고정시키기 위한 영구자석2(45b)을 더 구비할 수 있다. 이 경우 테블릿 PC(500) 내지 휴대폰 장치(300)의 외관은 강자성체 재질로 제작되는 것이 선호된다.

도 16에 대한 또 다른 실시예로, 상기 이미지 센서(11)를 사용하는 대신, 테블릿 PC(500) 내지 휴대폰 장치(300)의 프레임 테두리 상에 설치된 카메라(81)에 의해 사용자의 손 동작 및 상기 문자 자판(76)상의 손 터치 위치를 인식하여 문서작업 및 키보드 작업을 수행할 수 있다.

도 16의 실시예의 경우, 상기 문자자판(76)상에서 터치된 문자인식은 사용자의 손가락에 의해 터치된 문자 자판(76)상의 문자를 상기 카메라(81) 혹은 이미지 센서(11)에 의해 직접 인식하거나, 상기 투명 케이스(700)의 기구적 테두리를 상기 카메라(81) 또는 이미지 센서(11)가 인식하여 손가락의 터치 좌표를 계산하여 터치된 문자가 무엇인지를 인식하는 것이 선호된다.

도 17 내지 도 18은 상기 투명 케이스(700)를 열었을 때, 상기 투명 케이상(700)가 닫혔을 때 보이지 않던 문자 자판(76)이 상기 투명 케이스(700)에 나타나기 위한 자판 온오프(on-off) 수단의 여러 실시예를 보인다.

도 17은 전반사(total reflection)을 이용한 자판 온오프(on-off) 수단을 보인다. 전반사란 한 매질에서 다른 매질로 빛이 나아갈 때 매질의 경계면을 넘어가지 못하고 전부 반사하여 처음의 매질로 되돌아 오는 현상을 말하는데, 굴절률이 큰 매질에서 굴절률이 작은 매질로 빛이 나아갈 때는 입사각보다 굴절각이 더 크게 되는데 굴절각이 90 도가 되는 입사각을 임계각(critical angle)이라고 하고, 이 임계각보다 더 큰 각으로 빛이 입사하게 되면 빛은 매질의 경계면을 넘어가지 못하고 전반사 하게 되는 광학적 현상을 말한다. 즉, 굴절률이 작은 매질에서 굴절률이 큰 매질로 빛이 나아갈 때는 전반사 현상이 일어나지 않으며, 굴절률이 큰 매질에서 굴절률이 작은 매질로 빛이 나아갈 때 입사각이 임계각보다 클 경우만 전반사 현상이 일어나게 된다. 도 17은 이러한 전반사를 이용한 자판 온오프(on-off) 수단의 일 실시예를 보인다.

도 17의 실시 예에서는, 굴절률이 1.6인 투명케이스(700)위에 굴절률이 1.4인 투명한 물질을 문자모양(일예: 문자 'A' ) 대로 문자 자판 'A' (252)에 100 nm의 두께로 코팅하여 문자자판을 구성하였다. 본 발명에서는 상기 임계각은 30도 이상으로 설정하는 것이 선호 된다.

도 17(a)는 도 16의 실시예를 따른 3D 터치 스크린 패널(100)을 구비한 태블릿 PC(500) 내지 핸드폰(300)의 투명 케이스(700)에 닫혀있는 경우를 나타낸다. 이 경우, 투명 케이스(700)상의 문자자판(76)과 3D 터치 스크린 패널(100)이 이루는 각도(θ)가 임계각 30도 보다 작으므로, 상기 투명 케이스(700)상의 문자 자판(76)은 투명하게 보인다. 즉 문자 'A' (252)는 투명하게 보인다.

도 17(b)는 상기 투명 케이스(700)에 열었을 경우를 나타낸다.

이 경우, 투명케이스(700)의 문자자판(76)과 3D 터치 스크린 패널(100)이 이루는 각도(θ)가 임계각 30도 보다 크므로, 전반사가 일어나 상기 투명 케이스(700)상의 문자 자판(76)의 문자 'A' (252)에서 전반사가 일어나 사용자가 문자 자판을 볼 수 있게 된다. 따라서 상기 테블릿 PC(500) 내지 휴대폰 장치(300)를 보호하기 위한 투명 케이스(700)를 접었을 때는 문자 자판(76)이 안보이고, 폈을 때만 보이는 문자 자판(76)을 보인다. 즉, 상기 투명 케이스(700)를 접었을 때는 문자 자판(76)이 안보이므로, 3D 터치스크린 패널(100)상의 이미지 센서(11)에 의해 사용자 손동작 및 손 터치를 인지하여 테블릿 PC(500) 내지 휴대폰 장치(300)의 유우저 인터페이스를 사용 가능할 뿐만 아니라, 마이크 구멍(88a)과 스피커 구멍(88b) 을 통해 전화 통화가 가능하다. 또한 상기 투명 케이스(700) 폈을 때는 문자 자판(76)의 문자에서의 전반사에 의해 문자 자판(76)이 보이므로, 문서작업 및 키보드 작업을 수행할 수 있을 뿐만 아니라, 상기 스크린 패널(100)상의 이미지 센서(11)에 의해 사용자의 손 동작 및 상기 문자 자판(76)상의 손가락 터치 좌표를 인식할 수 있다. 상기 문자자판(76)상의 문자(252)는 상기 투명 케이스(700)의 문자자판(76)에 해당 문자모양대로 음각을 형성한 후 상기 투명케이스(700)보다 굴절이 작은 투명한 물질을 상기 음각에 코팅하여 문자(252)을 구성할 수도 있다, 본 실시예에서 상기 문자자판(76)은 별도의 전원공급장치가 없이 동작하는 장점이 있을 뿐만 아니라 투명 케이스(700)상에 문자자판(76)의 문자들이 인쇄되었기 때문에 키보드의 박막화가 가능하다.

도 18은 핸드폰(300)에 내장된 NFC(Near Field Communication) 통신용 안테나(603)에서 송신되는 RF신호에 의해 유기되는 유도 기전력을 이용한 자판 온오프(on-off) 수단의 또 다른 실시예로, 투명 케이스(700) 함께 와 NFC 안테나(603)가 보이도록 핸드폰(300) 뒷면 커버를 분리한 상태 나타낸 사시도이다. 본 실시예의 경우, 별도의 전원공급장치가 없어도 핸드폰(300)에서 자체적으로 발생되는 RF신호를 이용하여 유도 기전력을 얻고, 이 유도 기전력을 이용하여 LED 어레이(620)를 발광시킬 수 있다. 본 실시예 경우, 상기 핸드폰(300)에서 문자 자판(76)을 사용하기 위해서는 지갑부(701)을 열어 투명 케이스(700)을 지지토록 하는 것이 선호된다. 상기 LED 어레이(620)는 1개이상의 LED(발광 다이오드, 620a)가 병렬로 연결된 것을 특징으로 한다, 상기 투명 케이스(700)의 지갑부(701)을 열었을 때, 루프안테나(604)과 LED 어레이(620)를 연결하는 스위치(254)가 온(on)되어 상기 LED 어레이(620)에 전기가 공급되어 보이지 않던 문자 자판(76)이 상기 투명 케이스(700)상에 나타나고, 반면 상기 투명 케이스(700)의 지갑부(701)를 닫았을 때, 상기 스위치(254)가 오프(off)되어 상기 LED어레이(620)에 전기가 차단되어 문자 자판(76)상의 문자가 사라진다

상기 스위치(254)의 온오프는 상기 지갑부(701)의 물리적 개폐에 따라 물리적으로 온오프되는 것이 선호된다. 핸드폰(300)에는 기지국과 통신라인을 형성하면서 음성신호 및 데이터를 송수신하기 위한 CPU(601)와, 근거리에 위치한 리더기 또는 태그와 소용량의 데이터를 주고받기 위한 NFC칩(602)이 내장된다.

상기 NFC칩(602)은 근거리통신(Near Field Communication) 기능을 구현하기 위한 것으로서, 외부의 RF리더기와 비 접촉식으로 연결되면 신용카드정보, 스마트폰 제어정보, 사용자인증을 위한 정보 등을 주고받을 수 있도록 한다. NFC칩(602)을 통해 송수신되는 정보는 CPU(601)로 전송되어 처리된다. NFC 기능은 주로 13.56㎒의 RF신호를 이용하여 데이터를 주고받는다. NFC 기능이 있는 핸드폰(300)에는 13.56㎒의 RF신호를 주고받기 위한 NFC안테나(603)가 설치된다.

도 18의 자판 온오프 수단은 근거리통신 기능을 구현하기 위한 NFC칩(602); 상기 NFC칩(602)에서 전송된 신호에 의해 13.56㎒의 RF신호를 발산하는 NFC안테나(603); 상기 투명 케이스(700) 내부에 접착식으로 부착되거나, 사출 금형에 내장시켜 투명 케이스(700)와 일체형으로 제작되는 루프안테나(604); 및 상기 루프안테나(604)의 말단에 설치되는 LED 어레이(620)를 포함하며, 상기 NFC안테나(603)에서 13.56㎒의 RF신호가 발산되면, 상기 RF신호가 수신된 상기 루프안테나(604)에 유도되는 유도 기전력으로 상기 LED 어레이(620)를 발광시키는 것을 특징으로 한다.

상기 루프 안테나(604)는 사각형, 원형, 타원형 나선모양으로 형성되는 것이 선호되며, 상기 루프 안테나(604)는 상기 유도 기전력을 저장하는 캐패시터(621)를 더 포함한다.

상기 루프안테나(604)는 전도성 금속 와이어를 여러 번 감는 방식으로 형성되거나, Cu, Ni, Au, Ag 등 하나 이상의 고분자를 포함하는 패턴을 실크스크린, 잉크젯 프린팅 등의 인쇄방법으로 구현될 수 있다. 금속 와이어의 경우에는 Cu, Ni, Al 등의 금속 와이어를 사용하거나 이들의 합금 와이어를 사용한다. 루프안테나(604)는 핸드폰(300)의 NFC안테나(603)와 마주보는 위치에 유사한 크기로 형성하여 전력의 유도가 최대화될 수 있도록 한다. 상기 유도 기전력에 의해 발광하는 LED 어레이(620)의 빛은 투명 케이스(700)의 문자자판(76) 안에서 반사를 반복하면서 이동하다가 문자 문양과 부딪히면 굴절과 산란을 하여, 문자가 우리 눈에 보이게 된다.

도 19 내지 도 20은 상기 LED 어레이(620)의 빛이 투명 케이스(700)의 문자자판(76) 안에서 반사를 반복하면서 이동하다가 문자 문양과 부딪히면 굴절과 산란을 하여, 문자가 우리 눈에 보이게 되는 여러 실시예를 보인다. 상기 문자 자판(76)의 문자는 상기 투명 케이스(700)에 음각에 의해 형성된 문자문양에 의해 형성되는 것이 선호된다.

도 19(a)는 상기 지갑부(701)가 열렸을 때, 상기 스위치(254)가 연결되어, 상기 루프 안테나(604)의 전류가 LED 어레이(620)에 공급되어, LED 어레이(620)가 온되고, LED 어레이(620)로부터 발광된 빛은 투명 케이스(700)의 문자자판(76) 안에서 반사를 반복하면서 이동하다가 문자 문양과 부딪히면 굴절과 산란을 하여, 문자 문양이 우리 눈에 보이게 되는 경우를 보인다. 반면, 도 19(b)는 상기 지갑부(701)가 닫혔을 때, 상기 스위치(254)가 단절되어 LED 어레이(620)이 오프되어 투명 케이스(700)의 문자자판(76)이 사라지는 경우를 보인다.

도 20(a)는 상기 지갑부(701)가 열렸을 때, 상기 스위치(254)가 연결되어 상기 루프 안테나(604)의 전류가 LED 어레이(620)에 공급되어, LED (620b)가 온되고, 상기 LED(620b)로부터 발광된 빛은 표면(측면) 발광 광섬유(Side Emitting Optic Fiber,650)을 통과하면서 빛을 외부로 발생시키고, 이 빛은 다시 투명 케이스(700)의 문자자판(76) 안에서 반사를 반복하면서 이동하다가 문자 문양과 부딪히면 굴절과 산란을 하여, 문자 문양이 우리 눈에 보이게 되는 경우을 보인다.

반면, 도 20(b)는 상기 지갑부(701)가 닫혔을 때, 상기 스위치(254)가 단절되어 LED (620b)가 오프되어 투명 케이스(700)의 문자자판(76)이 사라지는 경우를 보인다.

상기 음각 문양은 형광물질로 코팅되어 상기 LED 어레이(620)내지 측광 광섬유(650)로부터 의 빛을 흡수해서 형광 빛을 내는 것이 선호된다. 또한, 도 19 및 도 20 에 보인 실시예 이외의 또 다른 실시예는, LED 어레이(620)가 문자자판(76)의 문자 문양에 따라 배열되고, 상기 지갑부(701)가 열렸을 때, 상기 스위치(254)가 연결되어 상기 루프 안테나(604)의 전류가 상기 LED 어레이(620)에 공급되어 투명 케이스(700)내의 문자자판(76) 의 문자들이 동시에 온(On)되어 표시되고, 반면, 상기 지갑부(701)가 닫혔을 때, 상기 스위치(254)가 단절되어 상기 LED 어레이(620)이 오프되어 투명 케이스(700)의 문자자판(76)이 사라지는 것을 특징으로 한다.

도 21은 눈 응시에 의해 메뉴버튼 내지 키보드 자판(76)의 문자를 선택하고, 동시에 사용자 손(104)의 검지(index finger)에 의한 핸드폰의 후면(399)에 있는 후면 카메라 또는 지문센서(70c)에 대한 터치 클릭 동작 내지 상하-좌우 터치 움직임 동작을 함으로서 해당 메뉴 버튼 내지 문자 자판의 문자 입력을 실행하거나 표시화면을 상하좌우 이동하는 일 실시예를 보인다. 도 21은 핸드폰을 왼손으로 잡았을 때의 손 가락 검지(70e) 와 터치 클릭 동작 내지 상하-좌우 터치 움직임을 보이는 그림으로, 왼쪽그림은 디스플레이 패널(10)쪽에서 보여진 핸드폰을 잡은 손 모양이고, 오른쪽그림은 이때의 디스플레이 패널(10)의 후면쪽에서 보여진 핸드폰을 잡은 손 모양을 함께 보인다.

디스플레이 패널(10)의 주변 테두리의 전면에 설치된 카메라(70) 와 상기 눈응시 처리부(55)에 의해 사용자가 디스플레이 패널(10)을 응시하는 동안에는 응시 위치를 파악하여 해당 위치에 커서(109)을 표시하고, 핸드폰(300)을 쥐고 있는 사용자 손(104)의 검지(index finger)에 의한 상기 핸드폰의 후면(399)에 있는 후면 카메라 내지 지문센서(70c)에 대한 터치 클릭 동작 여부 내지 상하-좌우 터치 움직임 동작 여부를 상기 터치 인식부가 판별한다. 터치 클릭이 일어난 경우 상기 커서(109)에 위치한 해당 아이콘, 문자자판(76) 내지 메뉴 버튼을 선택하거나 실행할 수 있다. 또한 사용자 손(104)의 검지(index finger)에 의한 상하-좌우 터치 움직임 동작이 일어난 경우 상기 디스플레이 패널(10)의 표시화면을 상하 또는 좌우로 움직여 사용자에게 표시하여 해준다. 이 경우 상기 후면 카메라 또는 지문센서(70c)는 복수개의 카메라 내지 지문센서가 어레이 형태로 핸드폰 뒷면(399)에 배치되는 것이 선호되며, 후면 카메라(70c) 어레이 중 한 개의 카메라(70d) 센서는 사진 촬영을 위해 무한 초점거리를 갖도록 설계되고, 나머지 카메라 센서는 손 터치 유무 및 지문을 인식할 수 있도록 근거리 초점거리를 갖도록 설계되는 것이 더욱 선호된다.

상기 복수개의 카메라 내지 지문센서가 어레이 형태로 핸드폰 뒷면(399)에 배치된 경우, 서로 이웃한 카메라 내지 지문센서간에 이루어진 터치의 상관 관계 조합에 의해 손가락 검지를 상하로 움직였는지, 좌우로 움직였는지에 대한 판단이 용이하다.

상기 터치 클릭 일어날 때마다 핸드폰은 사용자에게 반향 떨림과 소리를 줄 수 있고, 디스플레이 패널(10) 상에 상기의 이미지 센서를 더 구비하여 손동작 명령도 병행하여 사용할 수 있다. 또한 상기 지문 센서(70c)에 의해 사용자의 검지 손가락에 대한 지문 인식이 터치 클릭이 일어날 때마다 이루어 질 수 있다. 상기 터치 클릭은 검지로 상기 후면 카메라 내지 지문센서(70c)를 톡톡 두드리는 동작이 선호되며 후면 카메라 내지 지문센서(70c)는 이를 감지하고 상기 터치 인식부(53)에 의해 판단된다.

도 21 실시예 경우는, 한 손으로 핸드폰(300)으로 쥔 경우에 동작하는 것이 선호된다. 따라서, 양손으로 핸드폰(300)을 쥐고 상기 디스플레이 패널(10)상에 표시된 문자자판을 이용하여 양손의 엄지손가락(thumb)을 사용하여 문자 입력을 하는 동안에는, 상기 후면 카메라 내지 지문센서(70c)는 터치 클릭을 받아 들이지 않는 것이 선호된다. 상기 핸드폰(300)을 한 손으로 쥐었는지 양손으로 쥐었는지에 대한 판단은 상기 디스플레이패널(10)상에 설치된 이미지 센서 내지 상기 카메라(70) 와 상기 터치 인식부(53)에 의해 자동 판별이 이루어 진다.

도 21의 또 다른 실시예 경우는, 핸드폰(300)의 디스플레이 패널 표시 상태가 횡(橫)방향(horizontal direction)으로 이루어 진 경우는 상기 후면 카메라 내지 지문센서(70c)는 터치 클릭을 받아 들이지 않는 것이 선호된다.

도 21의 실시예의 경우, 개인 인증을 위한 암호 입력시, 눈 응시에 의해 암호에 해당하는 문자 자판(76)의 문자를 선택하고, 동시에 상기 지문 센서(70c)에 의해 사용자의 검지 손가락에 대한 지문 인식이 문자 입력 단위로 터치 클릭이 일어날 때마다 이루어져, 암호 인증이 보다 철저히 이루어 질 수 있다.

도 22은 전면 3D 터치 스크린 패널(100a) 과 후면 3D 터치 스크린 패널(100b)을 구비한, 지갑처럼 접거나 펼 수 있는 핸드폰 기능을 구비한 양면 3D 터치 스크린 패널(900)의 여러 실시예를 보인다.

실시예1과 실시예2의 상기 양면 3D 터치 스크린 패널(900)은 2차원 내지 3차원 입체 화면을 제공하는 2개의 디스플레이 패널(10); 상기 2개의 디스플레이 패널(10)의 각각 표면상에 코팅 내지 집적화 되는 이미지 센서(11); 상기의 2개의 디스플레이 패널(10)사이에 설치된 핸드폰 기능을 제공하는 무선 통신 회로 및, 상기 3D 터치스크린 제어 장치(74) 집적화된 전자 회로층(400); 및 상기 이미지센서(11)에 의해 캡쳐된 이미지에 대한 초점을 맞추기 위한 렌즈 층(12)로 구성된 전면 3D 터치 스크린 패널(100a) 과 후면 3D 터치 스크린 패널(100b)로 구성된다. 상기 전자 회로층(400)은 구부리거나 펼치는 것이 가능한 플렉셔블 배터리층(flexible battery layer) 을 더 포함하는 것이 선호된다. 상기 플렉셔블 배터리층은 상기 전자 회로층에 전원을 공급하며, 리튬 이온 배터리 또는 전해액에 고밀도 카본-나노 튜브 전극을 배치한 배터리가 선호된다.

상기 렌즈층(12)은 유리패널 내지 플렉셔블 필름(flexible film) 표면상에 (12a)에 형성되는 것이 선호된다. 도면 부호 70a은 전면 3D 터치 스크린 패널(100a) 에 설치된 전면 카메라 이고 70b는 상기 후면 3D 터치 스크린 패널(100b)에 설치된 후면 카메라이다. 상기 양면 3D 터치 스크린 패널(900)은 태양 전지층(13)을 더 구비할 수 있다.

실시예 3은 상기 도면3을 따르는 3D 터치 스크린 패널(100)을 사용하여 전면 3D 터치 스크린 패널(100a)과 후면 3D 터치 스크린 패널(100b)을 구성한 예이다.

실시예4는 상기 도면4을 따르는 3D 터치 스크린 패널(100)을 사용하여 전면 3D 터치 스크린 패널(100a)과 후면 3D 터치 스크린 패널(100b)을 구성한 예이다.

실시예 5는 상기 도면5을 따르는 3D 터치 스크린 패널(100)을 사용하여 전면 3D 터치 스크린 패널(100a)과 후면 3D 터치 스크린 패널(100b)을 구성한 예이다.

실시예 6은 상기 도면6을 따르는 3D 터치 스크린 패널(100)을 사용하여 전면 3D 터치 스크린 패널(100a)과 후면 3D 터치 스크린 패널(100b)을 구성한 예이다.

도22(a)은 상기 양면 3D 터치 스크린 패널(900)을 닫았을 때의 사시도 이다.

이 경우, 상기 양면 3D 터치 스크린 패널(900)은 핸드폰 모드로 동작하며 상기 그래픽 유우저 인터페이스 제어부(66)은 사용자에게 핸드폰 기능 제공을 위한 그래픽 유우저 인터페이스 화면(300a)를 상기 전면 3D 터치 스크린 패널(100a)에 표시해 준다.

상기 전면 3D 터치 스크린 패널(100a)상의 손동작 및 눈의 응시 동작을 상기 이미지 센서(11)가 인식할 수 있으므로, 사용자는 상기 3D 터치스크린 제어 장치(74)가 제공하는 모든 기능을 양면 3D 터치 스크린 패널(900)가 닫았을 때에도 수행할 수 있게 된다.

도 22(b)는 상기 양면 3D 터치 스크린 패널(900)을 반 정도 개방 하였때의 사시도이다. 이 경우, 양면 3D 터치 스크린 패널(900)은 태블릿 PC 모드로 동작하며 상기 그래픽 유우저 인터페이스 제어부(66)는 사용자에게 키보드 자판 화면(76b)과 태블릿 PC기능 제공을 위한 그래픽 유우저 인터페이스 화면(300b)를 상기 후면 3D 터치 스크린 패널(100b)에 표시해 준다. 또한, 상기 후면 3D 터치 스크린 패널(100b)상 에서의 손동작 및 눈의 응시 동작을 상기 이미지 센서(11)가 인식할 수 있으므로, 사용자는 상기 3D 터치스크린 제어 장치(74)가 제공하는 모든 기능을 후면 3D 터치 스크린 패널(100b)상에서 수행할 수 있다.

도22(c)는 상기 양면 3D 터치 스크린 패널(900)을 완전히 개방 하여 펼쳤을 때의 사시도 이다. 이 경우 양면 3D 터치 스크린 패널(900)은 가장 넓은 화면을 제공하면, 영상 재상 PC 모드로 동작한다. 상기 그래픽 유우저 인터페이스 제어부(66)은 사용자에게 영상 재상에 필요한 그래픽 유우저 인터페이스 화면(300c,300d)를 상기 전면 3D 터치 스크린 패널(100a) 과 후면 3D 터치 스크린 패널(100b)에 표시해 주나, 사용자에 의해 그래픽 유우저 인터페이스 화면을 다른 모드(예: 핸드폰 모드, 문서 작성모드)로 재 설정할 수 있고, 이 경우 사용자는 상기 전면 3D 터치 스크린 패널(100a) 과 후면 3D 터치 스크린 패널(100b)이 서로 다른 일을 수행하도록 설정할 수 있다. 또한, 이 경우 편의에 따라 손 동작에 의해 상기 전면 3D 터치 스크린 패널(100a)의 디스플레이 내용과 후면 3D 터치 스크린 패널(100b)의 디스플레이 내용이 서로 스위칭되어 자리바꿈을 하는 것이 선호된다.

상기 전면 3D 터치 스크린 패널(100a) 과 후면 3D 터치 스크린 패널(100b)은 사용자의 손동작 및 눈의 응시 동작을 상기 이미지 센서(11)가 인식할수 있으므로, 사용자는 상기 3D 터치스크린 제어 장치(74)가 제공하는 모든 기능을 전면 3D 터치 스크린 패널(100a) 과 후면 3D 터치 스크린 패널(100b)에서 수행할 수 있다.

상기 양면 3D 터치 스크린 패널(900)은 휘는 프렉시블 디스플레이(900,flexible display)패널인 것 선호된다. 상기 그래픽 유우저 인터페이스 제어부(66)는 사용자가 상기 전면 3D 터치 스크린 패널(100b)에서 작업하는지 후면 3D 터치 스크린 패널(100b)에서 작업하는지 판단하기 위한 사용자 감지 수단을 더 구비한 것을 특징으로 한다. 상기 사용자 감지 수단은 상기 이미지 센서(11) 내지 카메라(70a,70b)에 의한 사용자 존재 유무 판단, 상기 이미지 센서(11) 내지 카메라(70a,70b)를 이용한 사용자 눈동자 탐색에 의한 사용자 존재 유무 판단, 손동작 유무 또는 터치 유무 중 선택된 어느 한 방법에 의한 것이 선호되며, 상기 그래픽 유우저 인터페이스 제어부(66)는 상기 사용자 감지 수단에 대한 방법 중 하나를 사용자가 선택을 하도록 하는 유우저 인터페이스를 제공하는 것이 더욱 선호된다.

상기 사용자 감지 수단은, 예를 들면 사용자가 상기 사용자 감지 수단을 사용자 눈동자 탐색에 의한 사용자 존재 유무 판단으로 하는 경우, 사용자가 핸드폰상의 긴 문자 메시지를 읽는 동안 디스플레이가 오프(off)되는 기존의 불편을 해소할 수 있다. 즉, 상기 눈 응시 처리부(55)에 의해 사용자가 3D 터치 스크린 패널(100a, 100b)를 응시하는 것으로 판단된 경우, 디스플레이가 오프(off)되지 않토록 제어된다. 상기 그래픽 유우저 인터페이스 제어부(66)는 상기 사용자 감지 수단 및 상기 이미지 센서(11) 내지 카메라(70a, 70b)에 의해, 상기 양면 3D 터치 스크린 패널(900)이 접힌 모양과 사용자 유무를 인식하여, 핸드폰 모드, 태블릿 PC 모드, 영상 재생 모드에 따른 그랙픽 유우저 인터페이스를 자동으로 절환하여 사용자에게 제공할 뿐만 아니라, 각 모드에 따른 접힌 모양에 따라, 상기 양면 3D 터치 스크린 패널(900)의 전기 절약을 위한 그래픽 모드 제어 및 전원 관리 수단을 더 구비한 것이 선호된다.

예를 들면, 상기 그래픽 모드 제어 및 전원 관리 수단은, 도22(a) 처럼 양면 3D 터치 스크린 패널(900)을 닫았을 때는 사용자에게 핸드폰 기능 제공을 위한 그래픽 유우저 인터페이스 화면(300a)를 상기 전면 3D 터치 스크린 패널(100a)에 표시해 주도록 제어하는 반면, 후면 3D 터치 스크린 패널(100b)의 전원을 오프시킨다.

또한 상기 그래픽 모드 제어 및 전원 관리 수단은, 도22(b) 처럼 양면 3D 터치 스크린 패널(900)을 반정도 열렸을 때는 사용자에게 태블릿PC 기능 제공을 위한 문자 자판 화면(76b) 및 그래픽 유우저 인터페이스 화면(300b)를 상기 후면 3D 터치 스크린 패널(100b)에 표시해 주도록 제어하는 반면, 전면 3D 터치 스크린 패널(100a)의 전원을 오프시킨다.

상기 양면 3D 터치 스크린 패널(900)의 접힌 모양은 상기 이미지 센서(11) 내지 카메라(70a, 70b)에 의해 마주보는 면의 이미지를 분석하는 등의 다양한 방법으로 판단할 수 있으나, 본 발명에서는 상기 그래픽 유우저 인터페이스 제어부(66)가 전면 3D 터치 스크린 패널(100a) 과 후면 3D 터치 스크린 패널(100b)의 테두리에 서로 다른 색, 서로 다른 굵기, 또는 서로 다른 종류의 선(예:실선, 일점쇄선)을 디스플레이하고 이를 상기 이미지 센서(11) 내지 카메라(70a,70b)가 인식하여 상기 양면 3D 터치 스크린 패널(900)의 접힌 모양을 판단하는 것이 선호된다.

도 23는 우리가 일상생활에서 사용하는 연필(90)을 이용하여, 스크린 패널(100)상에 글씨 쓰거나 그림을 스케치한 실시예를 보인다.

도23(a)은 연필(90)에 의해 스크린 패널(100)상에 글씨를 쓴 경우로, 상기 스크린 패널(100)상의 이미지 센서(11)에 의해 연필의 접촉을 인지하여 상기 디스플레이 패널(10)에 표시한 일 실시예이다. 폰트(font) 선정은 컴퓨터나 핸드폰에서 제공하는 그래픽 유우저 인터페이스의 옵션 메뉴상에서 연필(90)을 이용하여 클릭(click)함으로서 이루어 지는 것이 선호된다,

도23(b)는 연필(90)의 지우개(90a)을 이용하여, 스크린 패널(100)상에 글씨를 지우는 예를 본다. 상기 이미지 센서(11)에 의해 지우개(90a)를 인식하여, 지우개에 의해 접촉이 이루어지는 영역을 지운다. 상기 지우개(90a) 인식은 상기 이미지 센서(11)에 의해 연필심을 인식하고, 연필심의 반대편을 지우개(90a)로 판정하는 것이 선호된다.

도23(c)는 연필(90)을 사용하여 상기 스크린 패널(100)의 표면과의 접촉에 의해 그림을 스케치한 일 실시예를 나타난다.

본 발명에서는 연필(90)이 상기 스크린 패널(100)의 표면과 이루는 각도(θ 와 φ) 에 의해 연필에 의한 선의 톤(tone)이 다양하게 바뀌는 것이 선호된다. 각도(는 연필(90)과 상기 스크린 패널(100)의 표면과 이루는 각도를 표시하고, 각도(는 상기 스크린 패널(100)의 표면상의 어떤 기준선으로부터 연필이 이루는 회전각도이다.

상기 스크린 패널(100)상의 이미지 센서(11)는 상기 연필(90)이 상기 스크린 패널(100)의 표면과 이루는 각도(( 와 0를 측정할 수 있어, 연필에 의한 선의 다양한 톤(tone)을 디스플레이 패널(10)상에 표현할 수 있다.

도23(d)는 연필(90)이 상기 스크린 패널(100)의 표면과 이루는 각도(θ 와 φ)에 따른 다양한 톤(tone)의 실시예를 테이블 형식으로 보인 것으로, 진하며 얇은 선, 진하며 굵고 거친 선, 연하며 얇은 선들이 표현된다.

이러한 상기 스크린 패널(100)의 표면과 이루는 각도(θ 와 φ)에 따른 다양한 톤(tone)은 붓을 사용할 때도 마찬가지로 적용될 수 있으며, 상기 터치 압력 인식부(61)는 스크린 패널(100)의 표면에 접촉하는 붓의 면적을 산출하여 붓의 터치 압력과 세기에 따른 필체감을 상기 디스플레이 패널(10)에 표시할 수 있다.

도23(e)은 상기 필기도구 터치 인식부(60)는 손 글씨를 텍스트로 변환해주기 위한 필기체-텍스트 변환 수단을 더 구비하여, 연필(90)에 의해 필기체로 문서를 작성한 후, 필기체-텍스트 변환 수단에 의해, 작성된 손글씨(도23(a))에 대응하는 텍스트(도23(b))로 변환한 일실시 예를 보인다.

도 24는 우리가 일상생활에서 사용하는 붓(91)을 이용하여 스크린 패널(100)상에서 그림을 그리는 일실시예를 보인다.도 24(b)는 손 동작에 의해 팔렛트( palette) 호출시, 상기 스크린 패널(100)의 이미지 센서(11)가 이를 인식하여 디스플레이 패널(10)상에 팔렛트(91b), 물통(91c)과 그림물감(91a)이 표시된 실시예를 보인다.

실제 그림을 그릴 때 처럼, 물통(91c)에서 붓(91)을 물에 적신후, 그림물감(91a)을 선택하고, 팔렛트(91b)에 선택한 그림물감을 넣고, 그림을 그리다가, 붓(91)을 다시 물통에서 넣고 씻고 할 수 있다. 이러한 일련의 동작은 상기 스크린 패널(100)상의 이미지 센서(11)에 의해 사용자의 붓(91) 동작을 감지하고 상기 필기도구 터치 인식부(60)에서 붓(91)의 터치를 처리하여 상기 그래픽 유우저 인터페이저 제어부(66)에 제공함으로서 이루어 진다,

도 25는 본 발명의 3D 공간-터치 스크린 장치에 사용될 수 있는, 컴퓨터 마우스 기능을 제공하는 전용 펜(720)의 일실시예를 보인다. 이 전용 펜(720)은 도 23에서 사용한 일반 필기도구인 연필(90)과 달리, 컴퓨터 마우스의 기능을 갖는다. 따라서 상기 전용펜(720) 사용시, 기존의 컴퓨터 마우스 사용자들에게 편리함을 제공한다. 또한 상기 전용 펜(720)은 별도의 전원이 필요하지 않은 장점을 갖는다.

도면 부호 720c은 전용 펜(720)의 펜촉(penpoint)으로 글을 쓰거나 그림을 그릴때 힘을 조절에 따라 펜촉(720c)의 길이가 변하는 것을 특징으로 한다.

상기 펜촉(720c)의 길이가 짧아지면 글을 눌러 쓰고 있는 것이다, 이것은 상기 스크린 패널(100)상의 이미지 센서에 의해 펜촉(720c)의 길이를 측정함으로서 사용자가 얼마나 큰 힘으로 글씨를 눌러 쓰는지 알 수 있다. 선을 그을 때 힘을 조절에 따른 펜촉(720c)의 길이를 측정하여 다양한 선 굵기를 상기 디스플레이 패널(10)에 표시할 수 있다. 또한 상기 펜촉(720c)은 어느 이상 힘을 가하면, 기존의 컴퓨터 마우스의 왼쪽 버튼 의 클릭(click) 기능을 한다.

도면 부호 720a는 기존의 컴퓨터 마우스의 오른쪽 버튼 의 클릭(click) 기능을 갖는 사이드 버튼(side button)이다. 도 25(a)는 전용펜(720)의 앞면도 이다. 또한, 도 25(a)와 도 25(b)는 상기 사이드 버튼(720a)이 눌렸을 때와 안 눌렸을 때 와의 차이를 보인다.

도 25(b)는 상기 사이드 버튼(720a)이 누르기 전(前) 상태를 나타내고, 도 25(c)는 상기 사이드 버튼(720a)이 누른 상태를 나타낸다. 상기 스크린 패널(100)상의 이미지 센서(11)는 상기 사이드 버튼(720a)의 밑면도(750)의 상태를 광학적으로 인지하여, 사이드 버튼(720a)이 눌려졌는지 안 눌려졌는지 판단할 수 있다. 상기 전용 펜(720a)의 몸체는 투명한 것이 선호된다. 이 경우, 상기 사이드 버튼(720a)의 밑면도(750)의 상태를 쉽게 인지하여, 사이드 버튼(720a)이 눌려졌는지 안 눌려졌는지 판단하기 용이하다. 도면 부호 720b는 지우개이다. 이를 이용하여 상기 디스플레이 패널(10)상의 표시된 객체나 이미지의 일부분을 쉽게 지울수 있다. 이것은 상기 스크린 패널(100)상의 이미지 센서가 지우개(720b)의 터치를 광학적으로 인지함으로서 이루어 진다.

도 26는 상기 펜촉(720c)과 사이드 버튼(720a) 의 상세도 이다.

상기 펜촉(720c)는 힘을 가함에 따라 펜촉의 길이가 줄어들고 힘을 풀었을 때 복귀되도록 스프링1(721c)이 상기 전용 펜(720)의 끝단에 매설되어 상기 펜촉(720c)과 물리적으로 연결된다. 또한 상기 펜촉(720c)은 어느 이상 힘을 가하면,기존의 컴퓨터 마우스의 왼쪽 버튼 의 클릭(click) 기능을 수행하기 위한 택트 스위치(tact switch,721d)가 함께 매설된다. 택트 스위치는 택틀 피드백(tactile feedback (click))을 제공하는 스위치로 이미 상용화되어 있다,

상기 사이드 버튼(720a)는 힘을 가해시 눌려지고, 힘 해방시 복귀되도록 스프링2(721a)가 전용 펜(720)의 몸체 내에 매설된다. 스프링2(721a)는 택틀 피드백(tactile feedback(click))을 갖는 것이 선호된다.

도 27는 전용 펜(720)의 또 다른 실시예로 전용펜(720)의 한쪽 끝은 펜촉(720c), 또 다른 한쪽 끝은 쐐기형 연필심(723a)을 제공하는, 2가지 필기 도구 형태를 갖는 전용 펜(720)의 일 실시예를 나타낸다. 이 경우 전용 펜(720)의 몸체는 펜촉(720c)을 위한 펜 파트(722a)와 쐐기형 연필심(723a)을 제공하는 연필 파트(722b)로 구성된다. 또한, 필요에 따라 펜캡(pen cap,722c)을 제거함으로서 펜촉(720c) 과 쐐기형 연필심(723a)을 스위칭하여 쓸 수 있다. 도27(a)는 상기 전용펜(720)에서 상기 펜캡(pen cap,722c)을 제거한 경우를 보이고, 도27(b)는 상기 쐐기형 연필심(723a)을 사용하기 위해 상기 펜 파트(722a)을 상기 펜캡(pen cap,722c)에 의해 씌어진 경우를 보인다.

도 28은 상기 전용펜(720)의 힘에 따라 상기 펜촉(720c)의 길이가 가변되고 이에 따라 상기 디스플레이 패널(10)상에 다양한 선을 표시하는 예를 보인다. 도 28(b)는 도 28(a)에 비해 힘이 더 가해진 경우를 보이고, 본 발명에서는 상기 펜촉(720c)의 길이가 짧은 경우 더 진하며 굵고 선을 표시하는 것이 선호된다,

도 29는 상기 전용 펜(720)의 펜촉(720c)과 사이드 버튼(720a)을 사용하여, 기존의 컴퓨터 마우스의 오른쪽 마우스 버튼 과 왼쪽 버튼의 대용으로 사용된 일 실시예를 보인다. 도 29에서는 영역 753의 내용을 복사해서 다른 곳에 붙여넣기를 하는 실시예를 보인다.

도 29(a)는 그 첫 단계로, 우선 상기 택트 스위치(721d)가 눌릴 때까지 전용펜(720)의 펜촉(720c)에 힘을 가한 채 드래그(drag)하여 일점쇄선에 의해 복사 영역 753을 표시 한다. 이것은 컴퓨터의 왼쪽 마우스 버튼의 클릭(click)과 드래그 동작에 대응한다.

도 29(b)는 두번째 단계로, 상기 전용펜(720)의 펜촉(720c)의 압력을 해제한 경우로 복사영역 753이 디스플레이 패널(10)상에 표시된다.

도 29(c)는 세번째 단계로, 상기 복사 영역(753)내에서 상기 사이드 버튼(720a)를 클릭하여, 여러 명령을 보여주는 팝업 메뉴창(754)을 띄운다.

이것은 컴퓨터의 오른쪽 마우스 버튼의 클릭(click)동작에 대응한다.

도 29(d)는 네번째 단계로, 상기 팝업 메뉴창(754)에 보여진 여러 명령중 한가지를 선택하기 위해 전용펜(720)의 펜촉(720c)을 팝업 메뉴창(754)상에서 움직여, 복사 명령 라인에서 전용펜(720)의 펜촉(720c)을 클릭(click)한다.

도 29(e)는 다섯번째 단계로, 상기 전용펜(720)을 복사가 되길 원하는 위치로 이동한 후, 상기 사이드 버튼(720a)를 클릭하여, 여러 명령을 보여주는 팝업 메뉴창(754)을 띄운다. 이것은 컴퓨터의 오른쪽 마우스 버튼의 클릭(click)동작에 대응한다.

도 29(f)는 마지막 단계로, 상기 팝업 메뉴창(754)에 보여진 명령 중 한가지를 선택하기 위해 전용펜(720)의 펜촉(720c)을 팝업 메뉴창(754)상에서 움직여, 붙이기(paste) 명령 라인에서 전용펜(720)의 펜촉(720c)을 클릭(click)한다.

도 30은 사용자 손(104)이 상기 스크린 패널(100)을 터치한 경우, 사용자 손(104)이 상기 스크린 패널(100)을 터치하면서 누른 압력과 세기를 측정하는 실시예를 보인다. 상기 스크린 패널상(100)의 이미지 센서(11)에 의해 손이 스크린 패널(100)의 표면에 터치한 접촉 면적을 분석함으로서 터치 압력을 산출할 수 있다. 터치 압력이 셀수록, 손가락 끝 부분이 스크린 패널(100)의 표면에서 눌려, 접촉되는 손가락 접촉 면적이 넓어져, 보다 넓은 지문 면적이 상기 이미지 센서(11)에 노출된다.

도30(b)의 접촉 면적(888b)이 도 30(a)의 접촉면적(888a)에 비해 넓으므로, 도30(b) 경우가 도30(a)경우 보다 센 압력으로 사용자가 스크린 패널(100)을 터치한 것이다. 또한 상기 그래픽 유우저 인터페이스 제어부(66)는 스크린 패널(100)이 허용하는 최대치 압력이상으로 사용자가 누른 경우, 상기 스크린 패널(100)을 보호하기 위해 사용자에게 경고음 내지 경고 메시지를 팝업창으로 보여주는 것이 선호된다. 상기 터치 압력의 계측은 터치 강약에 따라 서로 다른 유우저 인터페이스를 제공함으로서 다양한 분야에 응용될 수 있다, 예를 들면 상기 디스플레이 패널(10)상에 제공된 피아노 건반을 사용자가 피아노 건반을 세게 누를때 더 큰 음이 나오게 함으로서 실제 상황을 더 자연스럽게 연출하거나 게임 장치 사용시 사용자의 손 터치 압력과 강약에 따라 다른 결과가 연출되도록 할 수 있다. 또한 상기 접촉 면적(888a,888b)내의 이미지를 분석하여 지문인식을 수행할 수 있어 사용자가 컴퓨터 혹은 핸드폰 주인인지 알 수 있어 보안 혹은 전자상거래에 응용될 수 있다.

본 발명은 구체예와 실시예로 본 발명을 설명하고 있으나 이에 본 발명을 국한시키고자 함은 아니다. 또한, 여기에서 설명을 하는 것에 추가하여 다양한 변형 및 변화가 가능함을 당해 업자는 인지할 것이다. 이와 같은 변형 또한 첨부된 특허청구범위의 범위에 속한다.

100: 3D 터치 스크린 패널 10: 디스플레이 패널
11: 이미지 센서 12: 렌즈 층

Claims

2차원 내지 3차원 입체 화면을 제공하는 디스플레이 패널;
상기 디스플레이 패널의 표면 또는 상기 디스플레이 패널의 전면(前面)에 착탈이 가능한 투명 폴리머 쉬트(polymer sheet) 표면상에 코팅 내지 집적화 되는 투명한 이미지 센서를 포함하는 3D 터치 스크린 패널; 및
상기 투명한 이미지 센서에 의해 상기 디스플레이 패널에 대한 사용자의 손가락의 터치, 손가락의 움켜진 모양, 손 동작을 인식하기 위한 손가락 제스처 인식부로 구성되는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
2차원 내지 3차원 입체 화면을 제공하는 투명한 디스플레이 패널;
상기 디스플레이 패널 후면(後面) 또는 상기 디스플레이 패널의 후면에 착탈이 가능한 기판 표면상에 코팅 내지 집적화 되는 이미지 센서를 포함하는 3D 터치 스크린 패널; 및
상기 이미지 센서에 의해 상기 디스플레이 패널에 대한 사용자의 손가락의 터치, 손가락의 움켜진 모양, 손 동작을 인식하기 위한 손가락 제스처 인식부로 구성되는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항에 있어서, 상기 투명한 이미지 센서는 ITO(Indium Tin Oxide), 메탈 메쉬, 은(Ag) 나노 와이어, 투명 폴리머 쉬트 내지 그래핀(graphene) 중 선택된 재료에 의해 투명 전극 및 투명 회로에 의해 구성되거나 이미지 센서의 픽셀을 상기 디스플레이 패널의 표면상에 분산 배치를 통해 이루어 지는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제2항에 있어서, 상기 3D 터치 스크린 패널은 투명한 태양 전지층(layer)을 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제2항에 있어서, 상기 3D 터치 스크린 패널은 렌즈 층(lens layer)을 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 5항에 있어서, 상기 렌즈층은 유리 패널내에 물리적 렌즈를 설계하든가 굴절률이 다른 물질을 여러 층을 증착한 다층막을 상기 유리패널 표면 내지 플렉셔블 필름(flexible film) 표면상에 코팅하는 것에 의해 이루어지는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3D 공간-터치 스크린 장치는, 상기 이미지 센서에 의해 상기 2차원 화면상에 레이저 빔 포인터에 의해 맺어진 레이저 빔의 좌표 또는 상기 3차원 입체 화면과 연관되어 3D 공간을 통과한 레이저 포인터(laser pointer)에 의한 레이저 빔의 좌표를 인식하기 위한 레이저 빔 인식부를 더 구비한 것을 특징으로 하는 3D(three dimensional) 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3D 공간-터치 스크린 장치는, 상기 이미지 센서에 의해 손가락의 상기 3D 터치 스크린 패널에 접근을 파악하고, 상기 3D 스크린 터치 패널 상에 표시된 메뉴버튼들간에 거리가 조밀한 경우, 자동으로 해당부분의 메뉴버튼이 줌인(zoom in)되어 손가락 터치의 정밀도를 확보하고, 손가락이 상기 3D 터치 스크린 패널에서 다시 멀어지는 경우 줌아웃(zoom out) 되어 원래의 스크린 상태로 복귀되는 자동 손가락 줌인(zoom in)-줌아웃(zoom out)부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3D 공간-터치 스크린 장치는, 상기 이미지 센서에 의해 두개 손가락에 의한 2개의 동시 터치 지점을 인식하여 복사의 시작점과 끝점을 설정하는 복사구간 설정부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3D 공간-터치 스크린 장치는 상기 이미지 센서에 의해 사용자의 손가락 접근을 인식하여, 터치가 일어나기 전에 사용자에게 터치될 버튼, 문자 내지 아이콘을 사용자의 손가락이 접근하는 상기 디스플레이 패널 화면상에 팝업창(popup window)으로 제공하거나; 터치될 버튼 내지 문자, 아이콘을 중심으로 하여 주변을 확대하여 상기 디스플레이 패널에 표시해주는 사전 터치 제어부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3D 공간-터치 스크린 장치는, 상기 이미지센서와 사용자 손가락간의 거리를 산출하여 상기 3D 터치 스크린 패널에 대한 접촉 여부를 판별하거나 상기 3D 터치 스크린 패널에 대한 손가락의 접근속도를 인지하기 위한 터치 인식부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 6항에 있어서, 상기 렌즈층은 상기 이미지 센서로 구성된 이미지 센서 어레이에 대해 2가지 이상의 다른 초점을 제공하도록 굴절률이 다른 물질을 여러 층을 증착한 다층막을 유리 패널 표면 내지 플렉셔블 필름 표면에 형성하여 상기 이미지 센서들과 함께 어레이 형태로 배열되어 상기 이미지 센서 어레이에 다중 초점을 제공하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3D 공간-터치 스크린 장치는 상기 이미지 센서에 의해 상기 3D 터치 스크린 패널상에 터치된 사용자의 손가락 지문을 인식하거나 필기도구(연필,붓)의 터치 압력과 세기를 인지하기 위한 터치 압력 인식부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 13항에 있어서, 상기 터치 압력 인식부는 상기 이미지 센서에 의해 손이 상기 3D 터치 스크린 패널의 표면에 접촉된 지문 면적을 분석함으로서 터치 압력을 산출하는 것을 특징으로 하는3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3D 공간-터치 스크린 장치는, 상기 3D 터치 스크린 패널상의 이미지 센서에 의해 손가락의 움직임 및 동작을 추적하고, 상기 3D 터치 스크린 패널 상에 손가락의 해당 위치에 커서(cursor)를 표시하기 위한 손가락 커서 제어부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 15항에 있어서, 상기 손가락 제스처 인식부는, 상기 손가락 커서 제어부의 커서(cursor)에 의해 지시된 상기 디스플레이 패널상의 객체 내지 메뉴버튼을 확대하기 위한 확대명령, 축소하기 위한 축소 명령, 움직이기 위한 이동명령 또는 실행하기 위한 클릭(click) 명령을 손동작 명령에 의해 수행하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3D 공간-터치 스크린 장치에 카메라를 더 구비하여 상기 카메라에 의해, 사용자의 눈동자 추적 하여 상기 디스플레이 패널상에서의 사용자 눈의 응시(gaze) 위치를 파악하여 해당 위치에 커서(cursor)을 표시하고, 손 동작 명령에 의해 해당 위치의 메뉴버튼 또는 아이콘을 실행하거나 확대하거나 축소하거나 움직이게 하는 눈 응시(eye gaze) 처리부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 17항에 있어서, 상기 눈 응시 처리부는 사용자 눈동자 탐색에 의해 사용자가 상기 3D 터치 스크린 패널을 응시하는 동안에는 상기 디스플레이 패널이 오프(off)되지 않는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 17항에 있어서, 상기 눈 응시 처리부는 사용자가 상기 디스플레이 패널상에 나타난 문자 입력 창을 눈 응시함과 동시에 손동작 명령에 의해 문자자판을 요청시, 자동으로 문자 자판을 포함하는 팝업창을 2D 혹은 3D 화면 상에 제공하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 17항에 있어서, 상기 눈 응시 처리부는 사용자가 문자 자판 혹은 키보드상의 문자들중 하나를 눈 응시함과 동시에 손동작 명령에 의해 문자 입력 요구시 마다, 눈으로 응시한 문자가 문자입력이 필요로 하는 창(window)에 자동으로 차례로 쓰여지는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3차원 공간-터치 스크린 장치는 상기 이미지 센서에 의해 캡쳐되는 피사체의 이미지를 복원(restoration)하기 위한 디블러링(deblurring) 처리부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 21항에 있어서, 상기 3차원 공간-터치 스크린 장치는 상기 디블러링(deblurring) 처리부에 필요한 기준 이미지를 얻기 위한 자동 초점기능 갖는 카메라를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3D 공간-터치 스크린 장치는 상기 이미지 센서에 의해 사용자의 손 동작을 인식하고, 상기 디스플레이 패널이 제공하는 3차원 입체 화면 속의 객체들과 사용자 손 간의 거리를 계산 산정하여, 사용자 손과 가장 가까운 객체를 상기 사용자 손에 의해 선택된 것으로 판정하기 위한 객체 선택 처리부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3D 공간-터치 스크린 장치는 상기 이미지 센서에 의해 3D 터치 스크린 패널 전방에서 일어나는 사용자의 몸동작을 인식하여 명령을 수행하기 위한 몸 제스처(body gesture) 인식부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 손가락 제스처 인식부는 상기 디스플레이 패널에 의해 제공된 3D 공간상 나타난 가상의 버튼들을 손동작으로 선택하여 명령을 실행하거나; 3D 공간상 나타난 가상의 키보드를 이용하여 손동작에 의해 문서 작업을 수행하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
테블릿 PC 내지 휴대폰 장치 상에 설치된 카메라;
상기 테블릿 PC 내지 휴대폰 장치를 보호하기 위한 접거나 펴는 것이 가능한 폴더(folder)형 케이스; 및
상기 케이스를 폈을 때 보이는 상기 케이스상에 인쇄된 문자 자판을 구비하여,
상기 카메라에 의해 사용자의 손 동작 명령 또는 상기 문자 자판상의 손 터치 위치를 인식하여 유우저 인터페이스, 문서작업 및 키보드 작업을 수행할 수 있는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 디스플레이 패널은
액정(liquid crystal)에 신호전압을 인가하고 차단하는 스위칭 소자인 TFT;
유리기판과 상기 TFT 기판 사이에 채워져 있는 액정;
상기 TFT를 통하여 각 화소 정보에 대응하여 인가된 신호전압을 액정셀(Cell)에 가해주는 역할하는 투명한 화소 전극;
상기 TFT와 화소 전극이 배열되어 있는 TFT 기판;
상기 액정을 통과한 빛이 R,G,B 색깔을 갖도록 하는 컬러 필터;
상기 액정에 전압을 인가하는 공통 전극(Common Electrode); 및
상기 유리기판 과 TFT 기판의 양쪽 면에 가시광선(자연광)을 선평광하여 주는 수평 편광판 과 수직 평광판으로 구성된 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 디스플레이 패널은
형광성 유기화합물에 전류가 흐르면 빛을 내는 "자체 발광형 유기물질" 로 구성된 발광층(Emission Layer);
상기 디스플레이 패널상의 각 화소 정보에 대응하여 전원이 공급되면 전자가 이동하면서 전류가 흐르게 되는 음극 단자(cathode)로 구성된 음극 단자 패널(cathode panel);
상기 음극 단자 패널에서 발생된 전자를 발광층으로 이동시키는 전자 수송층(Electron transport Layer);
홀(Hole)을 발생시키는 양극 단자 패널(anode panel); 및
상기 양극 단자 패널에서는 발생된 홀(hole)을 발광층으로 이동시키기 위한 홀 수송층(Hole transport Layer) 로 구성되고, 상기 발광층에서 만난 전자와 홀(hole)은 높은 에너지를 갖는 여기자(exciton)를 생성하고, 이때 여기자가 낮은 에너지로 떨어지면서 빛을 발생하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 28항에 있어서, 상기 발광층상의 각 픽셀은 RGB의 3개 서브픽셀로 구성되며, 상기 이미지 센서는 상기 RGB의 3개 서브픽셀에 일대일 대응한 3개의 광센서를 상기 음극 단자 또는 양극 단자 패널에 함께 집적화하여 구성하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 이미지센서는 빛 에너지를 전기에너지로 변환시키기 위한 광센서(포토다이오드) 및 트랜지스터로 구성된 이미지 센서 픽셀로 구성되며, 상기 이미지 센서 픽셀들은 ITO(Indium Tin Oxide), 메탈 메쉬, 은(Ag) 나노와이어, 투명 폴리머 쉬트 내지 그래핀(graphene) 중 선택된 재료로 만들어진 투명 전극 및 투명 회로에 의해 구성되는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3D 터치 스크린 패널은 사용자의 손이 상기 3D 터치 스크린 패널 내지 디스플레이 패널에 대한 손 터치가 일어난 것으로 판정하기 위한 터치면; 터치가 일어나기 전 사용자의 손가락 접근을 사전에 인식하기 위한 접근면; 및 3차원 입체 화면에 의해 제공되는 가상공간과 현실공간을 구분하는 가상 경계면을 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 상기 3D 공간-터치 스크린 장치는 상기 3D 터치 스크린 패널을 보호하기 케이스를 더 구비하여, 태블릿 PC 내지 핸드폰의 3D 터치 스크린 패널상의 상기 이미지센서에 의해, 상기 문자 자판상의 손 터치 위치와 상기 케이스상에 인쇄되어 있는 문자자판의 문자를 광학적으로 인식하여 키보드로 사용하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
테블릿 PC 내지 휴대폰 장치상에 설치된 카메라;
키보드의 문자들이 인쇄된 문자자판 카드;
상기 테블릿 PC 내지 휴대폰 장치를 보호하기 하고, 상기 문자자판 카드의 삽입시 문자 자판 카드상의 문자 노출을 위한 개구부를 구비한 케이스; 및
상기 문자자판 카드의 삽입 및 입출입을 허여하는 상기 케이스상에 설치된 카드 삽입구를 구비하여,
상기 문자자판 카드를 상기 케이스에 밀어 넣어 삽입시, 상기 개구부를 통해 문자자판 카드상의 문자가 사용자에게 노출되도록 하고, 상기 카메라에 의해 상기 개구부에 노출된 문자자판의 문자를 광학적으로 인식하여 키보드로 사용하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 또는 제 2항에 있어서, 테블릿 PC 내지 휴대폰 장치를 보호하기 위한 접거나(닫거나) 펴는(여는) 것이 가능한 폴더(folder)형 투명 케이스; 및 상기 투명 케이스가 접었을 때는 문자자판이 안보이고 폈을 때만 문자자판이 보이는 자판 온오프(On/off) 수단을 더 구비하여, 상기 케이스의 접거나(닫거나) 펴는(여는) 것에 무관하게 상기 이미지 센서에 의해 사용자의 손 동작 및 터치 인식이 가능하며, 상기 투명 케이스를 폈을 때는 상기 문자 자판상의 손 터치 위치를 인식하여 문서작업 및 키보드 작업을 수행하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 34항에 있어서, 상기 투명 케이스는 신용 카드와 신분증을 보관하기 위한 지갑부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 34항에 있어서, 상기 투명 케이스는 투명케이스의 개폐동작을 하거나, 상기 투명 케이스를 펼쳐 상기 테블릿 PC 내지 휴대폰을 원하는 각도로 조절하여 상기 투명 케이스의 몸체에 상기 테블릿 PC 내지 휴대폰 장치의 위치를 고정시키기 위한 영구자석을 더 구비하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 34항에 있어서, 상기 자판 온오프수단은 문자자판에 문자모양대로 음각을 형성한 후 상기 투명케이스보다 굴절이 작은 투명한 물질을 상기 음각에 코팅하여 문자자판의 문자를 구성하고, 상기 투명 케이스에 열어 상기 투명케이스의 문자자판과 3D 터치 스크린 패널이 이루는 각도가 임계각도 보다 클 때, 상기 투명 케이상의 문자 자판에서 전반사가 일어나 사용자가 문자 자판을 볼 수 있게 설계된 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 35항에 있어서, 상기 자판 온오프 수단은,
근거리통신 기능을 구현하기 위한 NFC칩;
상기 NFC칩에서 전송된 신호에 의해 RF신호를 발산하는 NFC안테나;
상기 투명 케이스 내부에 접착식으로 부착되거나, 사출 금형에 내장시켜 투명 케이스와 일체형으로 제작되는 루프안테나; 및
상기 루프안테나의 말단에 설치되는 LED 어레이를 포함하며, 상기 NFC안테나에서 RF신호가 발산되면, 상기 RF신호가 상기 루프안테나에 유도되는 유도기전력으로 상기 LED 어레이를 온시키고, 상기 LED 어레이로 부터 발생된 빛이 투명 케이스의 문자자판 안에서 반사를 반복하면서 이동하다가 문자 문양과 부딪히면 굴절과 산란을 하여, 문자가 우리 눈에 보이게 되는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 38항에 있어서, 상기 자판 온오프 수단은 상기 지갑부을 열었을 때, 상기 루프 안테나와 LED 어레이를 물리적으로 연결하는 스위치를 더 구비하여, 상기 스위치가 온 되었을 때 상기 루프 안테나에 의해 전기가 LED어레이에 공급되어 보이지 않던 문자 자판이 상기 투명 케이스상에 나타나는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
(독립항)
2차원 내지 3차원 입체 화면을 제공하는 제1 디스플레이 패널, 및 상기 제 1 디스플레이 표면 내지 기판상에 코팅 내지 집적화 되는 제1 이미지 센서로 구성된 전면 3D 터치 스크린 패널;
2차원 내지 3차원 입체 화면을 제공하는 제2 디스플레이 패널, 및 상기 제 2 디스플레이 표면 내지 기판상에 코팅 내지 집적화 되는 제2 이미지 센서로 구성된 후면 3D 터치 스크린 패널; 및
핸드폰 기능을 제공하는 무선 통신 회로 와 3D 터치 스크린 제어 장치가 집적화된 전자 회로층으로 구성되어,
상기 전면 3D 터치 스크린 패널과 후면 3D 터치 스크린 패널 사이에 상기 전자 회로층을 설치하여 결합한 양면 3D 터치 스크린 패널을 제공하고, 상기 이미지 센서에 의해 사용자의 손가락 터치, 손가락의 움켜진 모양, 손 동작을 3차원적으로 인식하여 손 동작 명령을 수행하기 위한 손가락 제스처 인식부로 구성되는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 40항에 있어서, 상기 양면 3D 터치 스크린 패널은 구부렸다 폈다 할 수 있는 플렉셔블한 재료로 만들어지고, 상기 이미지센서에 의해 캡쳐되는 이미지에 대한 초점을 맞추기 위한 렌즈 층 및, 상기 전자 회로층에 전원을 공급하기 위한 플렉셔블 배터리층(flexible battery layer) 또는 태양 전지층을 더 포함하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 40항에 있어서, 상기 양면 3D 터치 스크린 패널은 전면 3D 터치 스크린 패널에 설치된 전면 카메라; 및 상기 후면 3D 터치 스크린 패널에 설치된 후면 카메라를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 42항에 있어서, 상기 전자 회로층은 그래픽 유우저 인터페이스 제어부를 더 구비하여, 상기 양면 3D 터치 스크린 패널을 닫았을 때(접었을 때)는 상기 그래픽 유우저 인터페이스 제어부는 사용자에게 핸드폰 기능 제공을 위한 그래픽 유우저 인터페이스 화면을 상기 전면 3D 터치 스크린 패널에 표시해 주는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 42항에 있어서, 상기 전자 회로층은 그래픽 유우저 인터페이스 제어부를 더 구비하여, 상기 양면 3D 터치 스크린 패널을 반 정도 개방 하였때, 상기 그래픽 유우저 인터페이스 제어부는 사용자에게 키보드 자판 화면과 태블릿 PC기능 제공을 위한 그래픽 유우저 인터페이스 화면을 상기 후면 3D 터치 스크린 패널에 표시해 주는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 42항에 있어서, 상기 전자 회로층은 그래픽 유우저 인터페이스 제어부를 더 구비하여, 상기 양면 3D 터치 스크린 패널을 완전히 개방 하여 펼쳤을 때 상기 그래픽 유우저 인터페이스 제어부은 사용자에게 영상 재상에 필요한 그래픽 유우저 인터페이스 화면를 상기 전면 3D 터치 스크린 패널 과 후면 3D 터치 스크린 패널에 표시해 주거나 손 동작을 상기 이미지 센서에 의해 인식하여 상기 전면 3D 터치 스크린 패널의 디스플레이 내용과 후면 3D 터치 스크린 패널의 디스플레이 내용이 서로 스위칭되어 자리바꿈을 하도록 제어해주는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 40항에 있어서, 상기 3D 공간-터치 스크린 장치는 카메라를 더 구비하여 상기 카메라에 의해, 사용자의 눈동자 추적 하여 상기 전면 또는 후면 3D 터치 스크린 패널상에서의 사용자 눈의 응시(gaze) 위치를 파악하여 해당 위치에 커서(cursor)을 표시하고, 손 동작 명령에 의해 해당 위치의 메뉴버튼 또는 아이콘을 실행하거나 확대하거나 축소하거나 움직이게 하는 눈 응시(eye gaze) 처리부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 46항에 있어서, 상기 눈 응시 처리부는 사용자 눈동자 탐색에 의해 사용자가 상기 3D 터치 스크린 패널을 응시하는 동안에는 상기 디스플레이 패널이 오프(off)되지 않는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 46항에 있어서, 상기 눈 응시 처리부는 사용자가 상기 디스플레이 패널상에 나타난 문자 입력 창을 눈 응시함과 동시에 손동작 명령에 의해 문자자판을 요청시, 자동으로 문자 자판을 포함하는 팝업창을 2D 또는 3D 화면 상에 제공하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 46항에 있어서, 상기 눈 응시 처리부는 사용자가 문자 자판 혹은 키보드상의 문자들중 하나를 눈 응시함과 동시에 손동작 명령에 의해 문자 입력 요구시 마다, 눈으로 응시한 문자가 문자입력이 필요로 하는 창(window)에 자동으로 쓰여지는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 43항, 제 44항, 제 45항 중 어느 한 항을 따르는 3D 공간-터치 스크린 장치에 있어서, 상기 그래픽 유우저 인터페이스 제어부는 사용자가 상기 전면 3D 터치 스크린 패널에서 작업하는지 후면 3D 터치 스크린 패널에서 작업하는지 판단하기 위한 사용자 감지 수단을 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 50항에 있어서, 상기 사용자 감지 수단은 상기 이미지 센서 내지 카메라에 의한 사용자 존재 유무 판단, 사용자 눈동자 탐색에 의한 사용자 존재 유무 판단, 손동작 유무 또는 터치 유무 중 선택된 어느 한 방법에 의한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 50항에 있어서, 상기 그래픽 유우저 인터페이스 제어부는 상기 사용자 감지 수단 및 상기 이미지 센서 내지 카메라에 의해 상기 양면 3D 터치 스크린 패널이 접힌 모양과 사용자 유무를 인식하여, 핸드폰 모드, 태블릿 PC 모드, 영상 재생 모드에 따른 그랙픽 유우저 인터페이스를 자동으로 절환하여 사용자에게 제공 그래픽 모드 제어 수단; 및 상기 각 모드에 따른 양면 3D 터치 스크린 패널의 접힌 모양에 따라, 상기 양면 3D 터치 스크린 패널의 전기 절약을 위한 전원 관리 수단을 더 구비한 것이 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 52항에 있어서, 상기 그래픽 모드 제어 및 전원 관리 수단은, 상기 양면 3D 터치 스크린 패널을 닫았을 때는 사용자에게 핸드폰 기능 제공을 위한 그래픽 유우저 인터페이스 화면을 상기 전면 3D 터치 스크린 패널에 표시해 주도록 제어한 채 후면 3D 터치 스크린 패널의 전원을 오프시키거나, 상기 양면 3D 터치 스크린 패널을 반정도 열렸을 때(반정도 펼쳤을때)는 사용자에게 태블릿 PC 기능 제공을 위한 문자 자판 화면 및 그래픽 유우저 인터페이스 화면을 상기 후면 3D 터치 스크린 패널에 표시해 주도록 제어한 채 전면 3D 터치 스크린 패널의 전원을 오프시키는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 52항에 있어서, 상기 양면 3D 터치 스크린 패널의 접힌 모양 인식은 상기 그래픽 유우저 인터페이스 제어부가 상기 전면 3D 터치 스크린 패널 과 후면 3D 터치 스크린 패널의 테두리에 서로 다른 색, 서로 다른 굵기, 또는 서로 다른 종류의 선을 디스플레이하고 이를 상기 이미지 센서 내지 카메라가 인식하여 상기 양면 3D 터치 스크린 패널의 접힌 모양을 판단하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항, 제 2항 및 제 40항 중 선택된 어느 한 항에 있어서, 상기 이미지 센서에 의해 연필에 의한 접촉을 감지하여 상기 디스플레이 패널상에 연필에 의한 접촉을 표현하거나, 붓의 터치를 감지하여 상기 디스플레이 패널상에 붓에 의한 터치 표현하기 위한 필기도구 터치 인식부를 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 55항에 있어서, 상기 필기도구 터치 인식부는 상기 이미지 센서에 의해 연필의 지우개를 인식하여, 지우개에 의해 상기 디스플레이 패널과 접촉이 이루어진 경우 해당 영역의 객체 내지 내용을 지우는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 55항에 있어서, 상기 필기도구 터치 인식부는 상기 이미지 센서에 의해 필기도구(연필, 붓)와 상기 디스플레이 패널 표면간에 형성되는 각도를 인식하는 것에 의해 필기도구에 의한 선의 톤(tone)이 다양하게 바뀌는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 55항에 있어서, 상기 필기도구 터치 인식부는 필기도구에 의한 손 글씨를 텍스트로 변환해주기 위한 필기체-텍스트 변환 수단을 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 55항에 있어서, 손 동작에 의해 팔렛트(palette) 호출시, 상기 이미지 센서가 상기 팔렛트 호출 손동작을 인식하여 상기 디스플레이 패널상에 팔렛트, 물통과 그림물감을 제공하고, 상기 팔렛트, 물통 과 그림 물감을 사용하는 일련의 손동작을 상기 이미지 센서에 의해 감지하고 상기 필기도구 터치 인식부는 붓의 터치를 처리하여 상기 디스플레이 패널에 표시하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 55항에 있어서, 상기 3D 공간-터치 스크린 장치는 글을 쓰거나 그림을 그릴때의 힘의 압력을 조절에 따라 길이가 변하고, 어느 이상 힘을 가하면, 컴퓨터 마우스의 왼쪽 버튼 의 클릭(click) 기능을 갖는 펜촉;
상기 디스플레이 패널상의 표시된 객체나 이미지의 일부분을 지우기 위한 지우개; 및
컴퓨터 마우스의 오른쪽 버튼 의 클릭(click) 기능을 갖는 사이드 버튼(side button)으로 구성된 전용펜을 더 구비하고, 상기 지우개는 상기 전용펜의 반대편에 설치되고, 상기 이미지 센서에 의해 상기 사이드 버튼이 눌려졌는지 안 눌려졌는지, 또는 상기 이미지 센서에 의해 지우개가 상기 디스플레이 패널에 터치 되었는지 안 되었는지, 또는 상기 이미지 센서에 의해 펜촉의 길이를 광학적 인식하여 판단하고 측정함으로서 사용자가 얼마나 큰 힘으로 글씨를 눌러 쓰는지 따라 다양한 선 굵기를 상기 디스플레이 패널에 표시하는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 60항에 있어서, 상기 3D 공간-터치 스크린 장치는
상기 펜촉의 다른 편 말단에 설치된 쐐기형 연필심; 및
필요에 따라 상기 펜촉 또는 쐐기형 연필심에 뚜껑을 씌워, 상기 펜촉 과 쐐기형 연필심을 스위칭하여 쓸수 있도록 허여하는 펜캡을 더 구비한 것을 특징으로 하는 3D 공간-터치 스크린 장치.
핸드폰에 설치된 2차원 내지 3차원 입체 화면을 제공하는 디스플레이 패널;
상기 디스플레이 패널의 주변 테두리에 설치된 전면 카메라;
상기 핸드폰의 후면에 설치된 후면 카메라 또는 지문 센서;
상기 전면 카메라에 의해 사용자의 눈동자 추적 하여 상기 디스플레이 패널상에서의 사용자 눈의 응시(gaze) 위치를 파악하여 해당 위치에 커서(cursor)을 표시하고, 손 동작 명령에 의해 해당 위치의 메뉴버튼 또는 아이콘을 실행하거나 확대하거나 축소하거나 움직이게 하는 눈 응시(eye gaze) 처리부; 및
상기 핸드폰을 쥐고 있는 사용자 손의 검지(index finger)에 의한 상기 후면 카메라 내지 지문 센서에 대한 터치 클릭 동작 여부 내지 상하-좌우 터치 움직임 동작을 판별하기 위한 터치 인식부를 구비하여, 터치 클릭 동작이 일어난 경우 상기 커서에 위치한 해당 아이콘, 문자자판의 문자 내지 메뉴 버튼을 선택하거나 실행하고, 상하-좌우 터치 움직임 동작이 일어난 경우 상기 디스플레이 패널상의 화면을 상하 또는 좌우로 이동하여 사용자에게 표시해주는 것을 특징으로 하는 3D 공간-터치 스크린 장치.
제 1항 내지 62항 중 어느 한 항을 따르는 3D 공간-터치 스크린 장치를 이용한 방법으로서,
상기 디스플레이 패널상에 표시된 아이콘 내지 메뉴버튼을 왼손 터치에 의해 선택하고 이를 상기 이미지 센서가 인식하는 단계; 및
상기 이미지 센서에 의해 오른손의 손 동작 명령을 인식하여, 상기 단계에서 선택된 아이콘 내지 메뉴버튼에 대해 부가적인 실행 명령을 부여하거나 서브(sub) 메뉴 버튼을 택하는 3D 멀티 터치 단계를 포함하는 것을 특징으로 한다.
제 1항 내지 62항 중 어느 한 항을 따르는 3D 공간-터치 스크린 장치를 이용한 방법으로서, 상기 이미지 센서에 의해 이미지를 캡쳐하는 동안, 상기 투명한 디스플레이 패널상의 영상과 손 또는 필기도구간 의 간섭을 최소화하기 위해 상기 투명 디스플레이 패널상에 non-interlaced refresh에 의해 현재 스캔되는 화소와 가장 멀리 떨어진 거리에 있는 화소 위치의 이미지 센서 내지 이미지 픽셀을 활성화 시켜 가면서 이미지를 캡쳐하는 non-interlaced capture 단계를 포함하는 것을 특징으로 한다.
제 1항 내지 62항 중 어느 한 항을 따르는 3D 공간-터치 스크린 장치를 이용한 방법으로서, 상기 이미지 센서에 의해 이미지를 캡쳐하는 동안 상기 투명한 디스플레이 패널상의 영상과 손 또는 필기도구간 의 간섭을 최소화하기 위해,
상기 디스플레이 패널상의 이미지에 대해 RGB의 3개 서브픽셀 중 비중이 가장 작은 서브픽셀을 픽셀 단위로 찾아내는 단계; 및
상기 비중이 작은 서브픽셀에 대응하는 위치에 있는 상기 이미지 센서의 서브 픽셀들에 의해서 캡쳐된 정보를 사용하여 이미지 센서 이미지를 형성하는 단계를 포함하는 것을 특징으로 한다.