KR101921176B1 - 전자 장치 및 가상 터치스크린을 제공하는 방법 - Google Patents

Abstract

전자 장치 및 가상 터치스크린을 제공하는 방법이 개시된다. 디스플레이는 컨텐츠를 디스플레이한다. 촬영 장치는 디스플레이의 화면을 시청하기 위한 시청영역을 촬영한다. 제어부는 사용자의 위치 정보를 기초로 터치 기준면을 설정하고, 촬영 장치가 촬영한 영상을 이용하여 사용자의 손의 위치를 확인하고, 사용자의 손이 설정된 터치 기준면을 통과한 경우에는, 사용자가 디스플레이의 화면을 터치한 것으로 인식한다.

Description

전자 장치 및 가상 터치스크린을 제공하는 방법{Electronic device and method of providing virtual touch screen}

본 발명은에 전자 장치 및 가상 터치스크린을 제공하는 방법에 관한 것으로, 보다 상세하게는, 화면으로부터 원거리에 있는 사용자가 화면을 터치하는 듯한 방식으로 전자 장치를 제어할 수 있게 하는 전자 장치 및 가상 터치스크린을 제공하는 방법에 관한 것이다.

다양한 멀티미디어 기기의 사용이 일반화되면서 원거리에서 원하는 멀티미디어 기기를 용이하게 작동시키기 위한 원격 제어 장치는 그 가격에 비한 편의성 때문에 널리 사용되고 있다. 하지만, 더 큰 화면을 가지는 디스플레이와 더 복잡한 기능들을 가지는 멀티미디어 기기들의 폭발적인 보급에 따라 원격 제어 장치에 의한 조작은 점점 더 어렵고 복잡하게 변해가고 있다.

예를 들어, 사용자가 TV를 통해 화면의 색상을 변경하려면, 사용자는 원격 제어 장치의 특정한 버튼을 눌러 원하는 메뉴를 실행시켜야 하고, 여러 메뉴 중에서 원하는 메뉴를 원격 제어 장치의 방향 버튼을 통해 선택한 후 해당 하위 메뉴에서 원하는 값을 조절한 후 다시 원격 제어 장치의 특정한 버튼을 눌러 해당 작업을 마치고 상위 메뉴로 복귀하고, 다시 원격 제어 장치의 특정한 버튼을 눌러 메뉴 화면을 종료해야하는 복잡하고 조합적인 조작이 필요하게 된다.

한편, 여러 기능들을 크기가 제한된 원격 제어 장치에 통합하기 때문에 버튼의 종류와 숫자가 증가하여 해당 기능을 정확하게 기억하기 어렵고, 복수의 기능이 단일 버튼에서 선택적으로 사용되는 경우도 있어 정확하게 원하는 기능을 사용하기도 어렵다. 무엇보다도 버튼의 종류가 많을 경우 많은 조작은 가능하지만 원격 제어 장치의 크기가 커지고 관리가 어려우며 비용도 높아지기 때문에 새로운 입력 수단의 필요성이 대두되고 있다.

한편, 다양한 채널들 중에서 원하는 채널을 선택하는 VOD(Video On Demand) 시스템이나, 디스플레이 장치에 연결되어 멀티미디어 재생을 수행하는 멀티미디어 재생기나, 인터넷 연결에 따른 정보 획득과 교환이 가능한 IPTV 등이 급속하게 증가함에 따라 점차 단순한 리모컨을 이용한 입력으로는 다양한 기능을 제공하는 서비스를 효과적으로 활용하기 어려워, 무선 키보드를 이용하거나 무선 마우스를 이용하는 등의 대안이 등장하고 있으나 비용이나 휴대성 및 사용 편의성에서 원격 제어 장치를 대체하기는 어려운 것으로 판단되고 있다.

상기와 같은 문제점을 해결하기 위해 다양한 방식의 무선 포인팅 장치 또는 제스처 인식 방법을 컴퓨터 혹은 멀티미디어 가전기기에 적용하기 위한 연구가 진행되고 있다.

본 발명이 이루고자 하는 기술적 과제는 원거리의 사용자가 화면을 보면서, 화면을 터치하는 방식으로 전자 장치를 제어할 수 있게 하는 전자 장치 및 가상 터치스크린을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 사용자가 공간상을 터치하는 경우에, 터치를 위한 추가 이동 거리 및 터치 여부를 알 수 있도록 안내하는 전자 장치 및 가상 터치스크린을 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 가상 터치스크린을 제공하는 방법은, 전자 장치를 제어하기 위한 가상 터치스크린을 제공하는 방법에 있어서, 사용자의 위치 정보를 기초로 터치 기준면을 설정하는 단계, 상기 사용자의 손의 위치를 확인하는 단계, 및 상기 사용자의 손이 상기 설정된 터치 기준면을 통과한 경우에는, 상기 사용자가 상기 전자 장치의 화면을 터치한 것으로 인식하는 단계를 포함할 수 있다. 상기 위치 정보는 사용자의 위치를 지시하는 정보, 사용자의 방향을 지시하는 정보 및 사용자의 신체 크기를 지시하는 정보 중 적어도 하나를 포함할 수 있다.

상기 터치 기준면을 설정하는 단계는, 상기 전자 장치의 화면을 볼 수 있는 시청영역에 사용자의 존재를 인식하는 단계, 상기 인식된 사용자에 대한 위치 정보를 산출하는 단계, 및 상기 산출된 위치 정보를 기초로 상기 터치 기준면을 설정하는 단계를 포함할 수 있다.

상기 터치 기준면의 중심은 상기 사용자의 중심과 상기 화면의 중심을 있는 선 상으로 설정되고, 상기 터치 기준면의 폭은 화면의 폭 및 상기 사용자의 폭 중 적어도 하나를 기초로 설정되고, 상기 터치 기준면의 높이는 상기 사용자의 신체 크기 및 상기 화면의 높이 중 적어도 하나를 기초로 설정될 수 있다.

상기 터치 기준면은 상기 사용자로부터 소정의 거리가 이격된 위치에 설정될 수 있다.

상기 가상 터치스크린을 제공하는 방법은, 상기 사용자의 손이 상기 터치 기준면의 근접 영역에 위치하는 경우에는, 커서를 디스플레이하는 단계를 더 포함할 수 있다. 상기 커서는 상기 사용자의 손과 상기 터치 기준면 사이의 거리를 지시하는 거리 정보를 포함할 수 있다. 상기 커서는 커서 모양을 나타내는 커서 영역 및 상기 커서의 그림자를 나타내는 그림자 영역을 포함하고, 상기 커서 영역 및 상기 그림자 영역 사이의 거리가 상기 거리 정보를 나타낼 수 있다. 상기 커서는 상기 사용자의 손과 상기 터치 기준면 사이의 거리의 변화에 따라 모양 또는 색상이 변경될 수 있다.

상기 화면을 터치한 것으로 인식하는 단계는, 상기 사용자의 손이 상기 터치 기준면을 통과한 영역과 연관된 상기 화면의 영역을 산출하는 단계, 상기 산출된 영역에 선택 항목이 있는지 여부를 확인하는 단계, 상기 선택 항목이 있는 경우에는, 성기 선택 항목과 연관된 동작을 수행하는 단계, 및 상기 선택된 항목이 없는 경우에는, 상기 화면이 터치됐다는 것을 나타내는 그래픽 피드백을 제공하는 단계를 포함할 수 있다.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 전자 장치는, 컨텐츠를 디스를레이하는 디스플레이, 상기 디스플레이의 화면을 시청하기 위한 시청영역을 촬영하는 촬영 장치, 및 사용자의 위치 정보를 기초로 터치 기준면을 설정하고, 상기 촬영 장치가 촬영한 영상을 이용하여 상기 사용자의 손의 위치를 확인하고, 상기 사용자의 손이 상기 설정된 터치 기준면을 통과한 경우에는, 상기 사용자가 상기 디스플레이의 화면을 터치한 것으로 인식하는 제어부를 포함할 수 있다.

본 발명에 따른 전자 장치 및 가상 터치스크린을 제공하는 방법에 의하면, 사용자의 정면에 터치 기준면을 설정하므로, 원거리 사용자는 화면으로의 이동 없이 화면을 보면서, 터치 기준면을 터치하여 전자 장치를 제어할 수 있고, 사용자의 손과 접촉 기준면과의 거리를 나타내는 정보를 화면에 디스플레이하므로, 사용자로 하여금 터치를 위한 추가 이동 거리 및 터치 여부를 알 수 있도록 한다.

도 1은 본 발명에 따른 전자 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 2는 공간 상에 설정된 터치 기준면을 도시한 도면,
도 3은 터치 기준면을 설정하는 방법에 대한 바람직한 일실시예의 수행과정을 도시한 도면,
도 4는 터치 기준면의 위치 및 폭을 설정하는 방법을 설명하기 위한 도면,
도 5는 터치 기준면의 높이를 설정하는 방법을 설명하기 위한 도면,
도 6은 본 발명에 따른 전자 장치의 초기 상태를 도시한 도면,
도 7은 본 발명에 따른 전자 장치의 비상 상태를 도시한 도면,
도 8은 본 발명에 따른 전자 장치의 접촉 상태를 도시한 도면,
도 9는 터치 기준면과 사용자의 손과의 거리에 따라 디스플레이 포인터의 변화를 도시한 도면,
도 10은 터치 기준면과 디스플레이의 화면과의 관계를 도시한 도면,
도 11은 디스플레이의 화면이 터치됐다는 것을 나타내는 그래픽 피드백의 일실시예를 도시한 도면이다.
도 12는 비상 상태에서 사용자의 손이 터치 기준면의 영역 바깥으로 나간 경우에 디스플레이 포인트가 디스플레이되는 위치를 도시한 도면, 그리고,
도 13은 본 발명에 따른 가상 터치스크린을 제공하는 방법에 대한 바람직할 일실시예의 수행과정을 도시한 도면이다.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.

도 1은 본 발명에 따른 전자 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 전자 장치(100)는 수신부(101), 역다중화부(140), 비디오 디코더(144), 오디오 디코더(148), 음성 출력부(160), 입력장치(170), 저장부(180) 및 제어부(190) 중 적어도 하나를 포함할 수 있다.

실시예에 따라서 전자 장치(100)는 촬영 장치(195)를 포함할 수 있다. 촬영 장치(195)는 깊이 인식 카메라일 수 있고 일반 카메라일 수 있다. 촬영 장치(195)는 디스플레이(130)의 화면의 주위 공간이 촬상된 영상 프레임을 제어부(190)로 출력할 수 있다. 촬영 장치(190)는 상기 영상 프레임에 포함된 화소값에 대한 깊이 정보를 제어부(190)로 더 출력할 수 있다.

또한, 전자 장치(100)는 디스플레이(130)를 포함할 수 있다. 전자 장치(100) 및 디스플레이(130)는 하나의 통합된 제품으로 제작되어 판매될 수 있고, 전자 장치(100) 및 디스플레이(130)는 개별 제품으로 제작되어 판매될 수 있다.

전자 장치(100)는 휴대폰, 스마트폰(smart phone), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션 등과 같은 이동 단말기일 수 있고, 셋탑박스 또는 디지털 TV 같은 고정형 가전기기일 수 있다.

전자 장치(100)는 저장 매체에 저장된 멀티미디어 데이터를 재생할 수 있는 멀티미디어 기기일 수 있고, 방송 신호를 수신하고 수신한 방송 신호에 포함된 멀티미디어 데이터를 디코딩할 수 있는 방송 수신기일 수 있다. 여기서 멀티미디어 데이터는 2차원 영상뿐만 아니라 입체영상을 포함할 수 있다. 또한 입체영상은 다시점 영상일 수 있다. 다시점 영상은 일정한 거리나 각도를 갖는 복수의 카메라로 동일한 피사체를 촬영하여 획득한 복수의 영상을 말하고, 각 카메라에 의해 획득된 영상들을 각각 시점 영상으로 정의한다.

상기 방송 수신기는 지상파, 위성 및 케이블을 통해 전송되는 방송 및 인터넷을 통해 전송되는 방송 신호를 수신할 수 있는 방송 수신기일 수 있다. 또한 상기 방송 수신기는 인터넷 서비스를 시청자에게 제공할 수 있는 방송 수신기일 수 있다. 여기서 인터넷 서비스는 CoD(Content's on Demand) 서비스, 유튜브 서비스, 날씨, 뉴스, 지역 정보 및 검색 등의 인포메이션 서비스, 게임, 노래방 등의 엔터테인먼트 서비스, TV 메일, TV SMS(Short Message Service) 등의 커뮤니케이션 서비스 등 인터넷을 통해 제공될 수 있는 서비스를 의미한다. 이에 따라 본 발명에서 방송 수신기는 네트워크 TV, 웹 TV 및 브로드밴드 TV를 포함할 수 있다. 또한 상기 방송 수신기는 네트워크를 통해 서버로부터 애플리케이션을 수신하고, 이를 설치 및 실행할 수 있는 스마트 TV일 수 있다.

수신부(101)는 방송 데이터, 영상 데이터, 음성 데이터, 정보 데이터 및 애플리케이션 데이터를 수신할 수 있다. 영상 데이터는 2차원 영상을 디스플레이하기 위한 영상 데이터 및 3차원 영상을 디스플레이하기 위한 영상 데이터일 수 있다. 또한 상기 3차원 영상은 홀로그램 또는 스테레오 이미지 중 적어도 하나를 포함할 수 있다. 상기 홀로그램은 컴퓨터 생성 홀로그램(CGH : Computer-Generated Hologram)일 수 있다.

수신부(101)는 튜너부(110), 복조부(120), 이동 통신부(115), 네트워크 인터페이스부(130), 음성 감지부(133) 및 외부 신호 수신부(135)를 포함할 수 있다. 튜너부(110)는 방송망을 통해 데이터를 포함하는 스트림 신호를 수신할 수 있고, 복조부(120)는 상기 수신된 스트림 신호를 복조한다. 튜너부(110)는 2개의 튜너를 포함할 수 있고, 하나의 튜너는 디스플레이되고 있는 채널의 실시간 방송 프로그램을 수신한다. 다른 튜너는 채널을 계속하여 전환하면서, 각 채널의 실시간 방송 프로그램을 수신하고, 제어부(190)는 상기 수신된 실시간 방송 프로그램을 이용하여 정지 영상 또는 썸네일을 생성하고, 저장부(180)에 저장되도록 제어할 수 있다.

이동 통신부(115)는 2G 통신망, 3G 통신망, 4G 통신망 등의 이동 통신망을 통해 데이터를 수신할 수 있다. 또한 네트워크 인터페이스(130)는 네트워크를 통해 IP 패킷을 송수신할 수 있으며, 외부 신호 수신부(130)는 외부 장치로부터 애플리케이션 및 컨텐츠를 수신할 수 있고, 촬영장치(195)로부터 영상 프레임을 수신할 수 있다. 여기서 상기 영상 프레임은 사용자가 촬상된 영상 프레임일 수 있다.

역다중화부(140)는 복조부(120)가 출력한 스트림 신호를 비디오 신호 및 오디오 신호로 역다중화한다. 또한 역다중화부(140)는 이동 통신부(115), 네트워크 인터페이스부(130) 및 외부 신호 수신부(135)로부터 영상 데이터, 음성 데이터, 방송 데이터, 정보 데이터 및 애플리케이션 데이터를 수신할 수 있다.

비디오 디코더(144)는 역다중화부(140)가 역다중화한 비디오 신호를 디코딩하고, 디코딩한 비디오 신호를 디스플레이(130)로 출력한다.

오디오 디코더(148)는 역다중화부(140)가 역다중화한 오디오 신호를 디코딩하고, 디코딩한 오디오 신호를 음성 출력부(160)로 출력한다.

음성 출력부(160)는 오디오 디코더(148) 및 제어부(190)로부터 음성 데이터를 수신하고 수신한 음성 데이터가 재생된 음향(161)을 출력할 수 있다.

입력장치(170)는 디스플레이(130) 상에 또는 그 전방에 배치되어 있는 터치스크린일 수 있다.

저장부(180)는 일반적으로 전자 장치(100)에 의해 사용되는 프로그램 코드 및 데이터를 저장하는 장소를 제공한다. 여기서 프로그램 코드는 수신부(101)가 수신한 애플리케이션의 프로그램 코드 및 전자 장치(100)의 제조시 저장된 애플리케이션의 프로그램 코드일 수 있다. 또한 애플리케이션은 HTML, XML, HTML5, CSS, CSS3, 자바스크립트, 자바, C언어, C++, Visual C++ 및 C# 등의 프로그래밍 언어로 작성될 수 있다. 저장부(180)는 현재 실시간 방송 프로그램의 방영 중인 채널들의 정지 영상 또는 썸네일을 저장할 수 있다. 상기 전장된 정지 영상 또는 썸네일은 해당 채널이 방영하는 실시간 방송 프로그램을 이용하여 생성된 정지 영상 또는 썸네일로 업데이트될 수 있다.

저장부(180)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 전자 장치(100) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함할 수 있다.

제어부(190)는 명령어를 실행하고 전자 장치(100)와 연관된 동작을 수행한다. 예를 들면, 저장부(180)로부터 검색된 명령어를 사용하여, 제어부(190)는 전자 장치(100)의 컴포넌트들 간의 입력 및 출력, 데이터의 수신 및 처리를 제어할 수 있다.

제어부(190)는 운영 체제와 함께 프로그램 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 이에 대해 보다 상세히 기술하지 않는다. 예로서, 운영 체제는 Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다. 운영 체제, 다른 컴퓨터 코드 및 데이터는 제어부(190)와 연결되어 동작하는 저장부(180) 내에 존재할 수 있다.

제어부(190)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(190)에 대해 사용될 수 있다.

제어부(190)는 사용자 조치(User Action)를 인식하고 인식한 사용자 조치에 기초하여 전자 장치(100)를 제어할 수 있다. 여기서 사용자 조치는 전자 장치 또는 원격 제어 장치의 물리적인 버튼의 선택, 터치스크린 디스플레이면상의 소정의 제스처의 실시 또는 소프트 버튼의 선택 및 촬영 장치(195)로 촬영된 영상으로부터 인식되는 소정의 제스처의 실시 및 음성 인식에 의해 인식되는 소정의 발성의 실시를 포함할 수 있다. 제스처는 터치 제스처와 공간 제스처를 포함할 수 있다. 또한 사용자 조치는 터치 기준면에 대한 소정의 제스처의 실시를 포함할 수 있다. 여기서 상기 터치 기준면에 대한 소정의 제스처의 실시는 촬영 장치(195)로 촬영된 영상으로부터 인식될 수 있다. 상기 터치 기준면은 공간상의 터치를 화면의 터치로 인식하기 위한 기준면으로 제트 플랜(Z-Plame) 또는 가상 터치면으로 명명될 수 있다.

제어부(190)는 사용자의 위치를 기준으로 터치 기준면을 설정하고, 촬영 장치(195)가 출력한 영상 또는 영상 프레임을 이용하여 사용자가 터치 기준면을 터치하였는지 여부를 확인한다.

제어부(190)는 디스플레이(130)가 영상(152) 또는 GUI(153)를 디스플레이하도록 지시하는 전송이 송신되도록 제어할 수 있다.

입력장치(170)는 제스처(171)를 수신하고, 제어부(190)는 제스처(171)와 연관된 동작들을 수행하는 명령어들을 실행한다. 게다가, 저장부(180)는 운영 체제 또는 별도의 애플리케이션의 일부일 수 있는 제스처 작동 프로그램(181)을 포함할 수 있다. 제스처 작동 프로그램(181)은 일반적으로 제스처(171)의 발생을 인식하고 그 제스처(171) 및/또는 제스처(171)에 응답하여 무슨 조치(들)이 취해져야 하는지를 하나 이상의 소프트웨어 에이전트에게 알려주는 일련의 명령어를 포함한다.

도 2는 공간 상에 설정된 터치 기준면을 도시한 도면이다.

도 2를 참조하면, 터치 기준면(210)은 디스플레이(130)의 스크린(200)과 사용자(201) 사이에 설정될 수 있다.

사용자(201)는 맨손으로 터치 기준면(210)을 터치하여 멀리 떨어져 있는 디스플레이(130)를 자신의 눈 앞에 있는 터치스크린처럼 조작할 수 있다.

터치 기준면(210)은 스크린(200)의 정면에 설정될 수 있고, 스크린(200)에 대해 소정의 각도로 기울어지게 설정될 수 있다.

터치 기준면(210)은 사용자(201)의 정면에 설정될 수 있다. 터치 기준면(210)은 사용자(201)의 얼굴을 기준으로 하여 사용자(201)의 반 팔 간격만큼 떨어진 지점에 위치할 수 있다. 또한 사용자(201)가 디스플레이(130)의 정면에 있지 않더라도 사용자(201)는 자신을 중심으로 설정된 터치 기준면(210)을 사용할 수 있다.

도 3은 터치 기준면을 설정하는 방법에 대한 바람직한 일실시예의 수행과정을 도시한 도면이다.

도 3을 참조하면, 제어부(190)는 인식 범위(또는 공간)내에서 사용자의 존재를 인식한다(S100). 제어부(190)는 촬영장치(295)가 촬상한 영상 프레임을 이용하여 사용자의 존재를 인식할 수 있다. 제어부(190)는 전자 장치(100)가 부팅된 후 단계 S100를 진행할 수 있다. 여기서 인식 범위는 디스플레이(130)의 화면을 시청할 수 있는 시청영역을 포함할 수 있고, 촬영 장치(195)가 촬영 가능한 영역일 수 있다.

사용자의 존재가 인식된 경우에는, 제어부(190)는 인식된 사용자에 대한 위치 정보를 산출한다(S110). 상기 산출된 위치 정보는 사용자의 위치, 방향 및 신체 크기를 포함할 수 있다. 제어부(190)는 촬영 장치(195)가 촬상한 영상 프레임을 이용하여, 사용자의 위치, 방향 및 신체 크기를 산출할 수 있다. 또한 제어부(190)는 촬영 장치(195)가 출력한 깊이 정보 및 상기 촬상한 영상 프레임을 이용하여 사용자의 위치 및 방향을 산출할 수 있다.

제어부(190)는 산출한 위치 정보를 기초로 터치 기준면을 설정한다(S120). 전자 장치(100)는 단계 S100을 통해 사용자의 존재가 확인되면 즉시 단계 S110 및 단계 S120을 진행하여 터치 기준면을 생성하고, 터치 기준면이 생성되었다는 것을 알리는 메시지 또는 소리를 사용자에 제공할 수 있다.

제어부(190)는 사용자가 인식 범위를 벗어났는지 여부를 확인한다(S130). 제어부(190)는 촬영장치(295)가 촬상한 영상 프레임을 이용하여 사용자가 인식 범위를 벗어났는지 여부를 확인할 수 있다.

사용자가 인식 범위(공간)을 벗어난 경우에는, 제어부(190)는 상기 터치 기준면의 설정을 해지한다(S140). 사용자가 인식 범위(공간)을 벗어난 경우에는, 전자 장치(100)는 단계 S100부터 다시 진행될 수 있다. 즉, 사용자가 다시 인식된 경우에는, 전자 장치(100)는 상기 인식된 사용자의 기준으로 터치 기준면을 재설정한다.

도 4는 터치 기준면의 위치 및 폭을 설정하는 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 터치 기준면(410)의 중심(411)은 사용자(401)의 중심(402)의 중심과 전자 장치(100)의 화면(430)의 중심(431)을 있는 선(433) 상으로 설정될 수 있다.

일부 실시예로, 터치 기준면(410)의 폭(413)은 사용자(401)의 상체 폭(403)을 기초로 설정될 수 있다. 일예로, 터치 기준면(410)의 폭(413)은 상체 폭(403)과 동일하게 설정될 수 있다.

일부 실시예로, 터치 기준면(410)의 폭(413)은 화면(430)의 폭을 기초로 설정될 수 있다. 일예로, 터치 기준면(410)의 폭(413)은 화면(430)의 폭과 동일하게 설정될 수 있다.

터치 기준면(410)과 사용자의 거리(415)는 사용자(401)의 상박 길이(405)를 기초로 설정될 수 있다. 일예로, 터치 기준면(410)과 사용자와의 거리(415)는 사용자(401)의 상박 길이(405)와 동일하게 설정될 수 있다.

일부 실시예로, 터치 기준면(410)은 사용자와 평행한 방향으로 설정될 수 있다. 터치 기준면(410)은 화면(430)과 소정의 각도를 이루며 설정될 수 있다. 여기서 상기 소정의 각도는 사용자(401)가 화면(430)을 보는 시선(433)과 화면(430)에 수직한 직선이 이루는 각도일 수 있다.

일부, 실시예로, 터치 기준면(410)은 화면(430)과 평행한 방향으로 설정될 수 있다.

도 5는 터치 기준면의 높이를 설정하는 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 길이(515)는 터치 기준면(510)과 사용자(501)와의 거리를 의미한다.

터치 기준면(510)의 상단 경계(517)는 사용자(501)의 눈이 위치하는 지점 또는 사용자(501)의 얼굴의 중심(507)을 기초로 설정될 수 있다. 일예로, 터치 기준면(510)의 상단 경계(517)는 얼굴의 중심(507)의 높이로 설정될 수 있다.

터치 기준면(510)의 하단 경계(519)는 사용자(501)의 몸통 중심(509)을 기초로 설정될 수 있다. 일예로, 터치 기준면(510)의 하단 경계(519)는 몸통 중심(509)의 높이로 설정될 수 있다.

일부 실시예로 터치 기준면(510)의 상단 경계(517)는 전자 장치(100)의 화면(530)의 상단 경계와 동일하게 설정되고, 하단 경계(519)는 화면(530)의 하단 경계와 동일하게 설정될 수 있다.

도 6은 본 발명에 따른 전자 장치의 초기 상태를 도시한 도면이고, 도 7은 본 발명에 따른 전자 장치의 비상 상태를 도시한 도면이며, 도 8은 본 발명에 따른 전자 장치의 접촉 상태를 도시한 도면이다.

도 6 내지 도 8을 참조하면, 전자 장치의 동작 상태는 초기 상태(Initial state)(600), 비상 상태(Hovering state)(700) 및 접촉 상태(Clicking state)(800)를 포함할 수 있다.

초기 상태(600)는 터치 기준면(610)이 설정된 후에, 사용자의 손이 터치 기준면의 근접 영역(620)내에 있지 않은 상태이다. 초기 상태(600)에서 디스플레이(130)의 화면에는 아무런 반응도 표시되지 않는다. 여기서 근접 영역(620)은 사용자(601)와 터치 기준면(610) 사이의 공간 또는 공간의 일부로 정의될 수 있다. 또한 근접 영역(620)은 터치 기준면(610) 보다 큰 폭 및 높이를 가질 수 있다.

비상 상태(700)는 사용자의 손(703)이 터치 기준면(710)의 근접 영역(720) 내에 있는 상태이다. 비상 상태(700)에서 디스플레이(130)의 화면에는 커서가 표시된다. 또한 상기 표시된 커서는 손(703)과 터치 기준면(710) 사이의 거리를 짐작할 수 있는 정보를 포함할 수 있다.

접촉 상태(800)는 사용자의 손(803)이 근접 영역(820)에서 터치 기준면(810)을 통과한 상태이다. 접촉 상태(800)는 사용자가 디스플레이(130)의 화면을 터치한 상태에 대응된다. 즉 접촉 상태(800)에서 전자 장치(100)는 사용자가 디스플레이(130)의 화면을 터치했을 때 실행되는 동작과 대응하는 동작을 수행할 수 있다.

도 9는 터치 기준면과 사용자의 손과의 거리에 따라 디스플레이 포인터의 변화를 도시한 도면이다.

비상 상태에서, 도 9a의 커서(910)가 디스플레이(130)의 화면에 디스플레이될 수 있다. 커서(910)는 커서 영역(912)과 그림자 영역(914)을 포함한다. 커서 영역(912)과 그림자 영역(914)의 거리(916)는 터치 기준면과 사용자의 손 사이의 거리를 지시하는 정보를 나타낸다. 거리(916)는 터치 기준면과 사용자의 손의 거리에 비례하여 표시되고, 터치 기준면과 사용자의 손의 거리의 변화에 따라 변한다. 즉 터치 기준면과 사용자의 손의 거리가 가까워지면, 거리(916)는 도 9b의 거리(926)로 변경된다.

도 9a의 커서(910)는 사용자의 손과 접촉 기준면이 먼 상태에 있을 때 디스플레이(130)의 화면에 디스플레이되고, 도 9b의 커서(920)는 사용자의 손과 접촉 기준면이 가까운 상태에 있을 때 디스플레이(130)의 화면에 디스플레이된다. 사용자는 커서 영역과 그림자 영역의 거리를 통해 터치 기준면에 대한 자신의 손의 상대적 위치를 확인할 수 있다.

접촉 상태에서, 도 9c의 커서(930)가 디스플레이(130)의 화면에 디스플레이될 수 있다. 커서(930)는 커서 영역(932)을 포함하고, 그림자 영역을 포함하지 않는다. 즉 사용자의 손이 접촉 기준면을 통과하면, 디스플레이(130)의 화면에 디스플레이된 커서의 그림자 영역이 사라질 수 있다.

일부 실시예로, 커서 영역(930)은 하이라이트될 수 있다. 즉 사용자의 손이 접촉 기준면을 통과하면, 디스플레이(130)의 화면에 디스플레이된 커서가 하이라이트될 수 있다.

일부 실시예로, 커서 영역(930)은 도 9a의 커서 영역(912)과 다른 색을 가질 수 있다. 즉 사용자의 손이 접촉 기준면을 통과하면, 디스플레이(130)의 화면에 디스플레이된 커서의 색상이 변경될 수 있다.

사용자는 도 9c의 커서(930)를 통해, 자신의 손이 터치 기준면을 통과 했다는 것을 확인할 수 있다.

도 10은 터치 기준면과 디스플레이의 화면과의 관계를 도시한 도면이다.

도 10을 참조하면, 터치 기준면(1010)에 사용자의 손이 터치된 영역(1012)과 연관된 화면(1020)의 영역(1022)에 선택 항목이 디스플레이된 경우에는, 상기 선택 항목과 연관된 동작이 수행된다. 상기 선택 항목은 메뉴 아이템, 링크, 아이콘 및 소프트 버튼 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 선택 항목이 메뉴 아이템인 경우에는, 상기 메뉴 아이템이 지시하는 명령이 수행된다. 또한 상기 선택 항목이 링크인 경우에는, 상기 링크가 지시하는 웹페이지 또는 파일이 디스플레이될 수 있다. 또한 상기 선택 항목이 아이콘인 경우에는, 상기 아이콘이 지시하는 프로그램이 실행되거나 상기 아이콘이 지시하는 파일이 실행될 수 있다.

터치 기준면(1060)에 사용자의 손이 터치된 영역(1062)과 연관된 화면(1070)의 영역(1072)에 디스플레이된 선택 항목이 없는 경우에는, 전자 장치(100)는 화면(1070)이 터치됐다는 것을 나타내는 그래픽 피드백을 제공할 수 있다.

도 11은 디스플레이의 화면이 터치됐다는 것을 나타내는 그래픽 피드백의 일실시예를 도시한 도면이다.

도 11을 참조하면, 디스플레이(130)의 화면이 터치된 것을 나타내는 그래픽 피드백은 컨텐츠가 디스플레이되는 영역이 디스플레이(130)의 화면의 상측, 하측, 좌측 및 우측 중 하나에서 중앙으로 축소되는 것일 수 있다. 예를 들어, 도 10에 도시된 화면(1070)이 터치된 것을 나타내는 그래픽 피드백은, 컨텐츠가 디스플레이된 영역(1075)이 도 11의 (a)의 영역(1120) 만큼 좌측에서 중앙으로 축소되어 도 11의 (a)의 영역(1110)이 되는 것이다.

영역(1120)에는 영역(1075)과 다른 컨텐츠가 디스플레이될 수 있다. 영역(1120)에는 도 10에 도시된 영역(1075)에 디스플레이되는 컨텐츠와 연관된 컨텐츠가 디스플레이될 수 있다. 일부 실시예로, 영역(1075)에 실시간 방송 프로그램이 디스플레이된 경우에는, 영역(1120)에는 영역(1075)에 디스플레이된 실시간 방송 프로그램의 채널과 인접한 채널의 실시간 방송 프로그램이 디스플레이될 수 있다. 일예로, 인접한 채널은 영역(1075)에 디스플레이된 실시간 방송 프로그램의 채널 번호의 앞 번호를 갖는 것일 수 있고, 뒷 번호를 갖는 것일 수 있다. 또한 인접한 채널은 선호 채널 리스트에 포함된 채널들 중에서 영역(1075)에 디스플레이된 실시간 방송 프로그램의 채널 번호의 앞 번호를 갖는 것일 수 있고, 뒷 번호를 갖는 것일 수 있다.

일부 실시예로, 도 10에 도시된 화면(1070)이 터치된 것을 나타내는 그래픽 피드백은, 컨텐츠가 디스플레이된 영역(1075)이 도 11의 (b)의 영역(1140) 만큼 좌측에서 중앙으로 축소되는 것과 동시에 영역(1131) 만큼 중앙으로 축소되어 도 11의 (b)의 영역(1130)이 되는 것이다. 여기서 영역(1140)의 폭과 영역(1131)의 폭과 다를 수 있고, 영역(1140)의 폭이 영역(1131)의 폭 보다 클 수 있다.

영역(1140)에는 영역(1075)과 다른 컨텐츠가 디스플레이될 수 있다. 영역(1140)에는 영역(1075)에 디스플레이되는 컨텐츠와 연관된 컨텐츠가 디스플레이될 수 있다. 영역(1131)은 블랭크로 표시되거나 특정색으로 채워질 수 있다. 여기서 특정색은 적색, 녹색, 청색의 조합으로 표시되는 색일 수 있고, 검정색일 수 있다.

도 12는 비상 상태에서 사용자의 손이 터치 기준면의 영역 바깥으로 나간 경우에 디스플레이 포인트가 디스플레이되는 위치를 도시한 도면이다.

도 12를 참조하면, 터치 기준면(1210)의 근접영역(1215)은 매핑 영역(1220) 및 비매핑 영역(1230)을 포함할 수 있다. 매핑 영역(1220)은 화면(1200)과 매핑되는 영역을 의미하고, 비매핑 영역(1230)은 화면(1200)과 매핑되지 않는 영역으로 근접영역(1215)에서 매핑 영역(1220)에 해당하지 않는 영역을 의미한다. 매핑 영역(1220)은 터치 기준면(1210)과 동일한 크기를 가질 수 있다.

비상 상태에서, 사용자의 손(1250)이 매핑 영역(1220)의 지점(1222)을 통과하여 매핑 영역(1220)의 바깥으로 나간 경우에, 지점(1222)과 연관된 화면(1200)의 지점(1202)에 커서(1201)가 위치하게 될 수 있다. 일부 실시예로, 커서(1201)는 깜박거릴 수 있다.

또한 커서(1201)는 사용자의 손(1250)이 비매핑 영역(1230)에 있는 동안에 디스플레이될 수 있고, 사용자의 손(1250)이 비매핑 영역(1230) 바깥으로 나간 경우에는, 화면(1200)에서 사라질 수 있다.

도 13은 본 발명에 따른 가상 터치스크린을 제공하는 방법에 대한 바람직할 일실시예의 수행과정을 도시한 도면이다.

도 13을 참조하면, 제어부(190)는 터치 기준면을 설정한다(S200). 단계 S200는 도 3의 터치 기준면을 설정하는 방법의 수행과정을 포함할 수 있다. 또한 제어부(190)는 도 4에 전술된 방식에 따라 터치 기준면의 폭 및 위치를 설정할 수 있고, 도 5에 전술된 방식에 따라 터치 기준면의 높이를 설정할 수 있다.

제어부(190)는 전자 장치(100)가 초기 상태로 동작하도록 제어한다(S210).

초기 상태에서, 제어부(190)는 사용자의 손의 위치를 확인한다(S220). 여기서 제어부(190)는 사용자의 손의 위치가 상기 설정된 터치 기준면의 근접 영역 내에 있는지 여부를 확인할 수 있다. 상기 근접 영역은 도 6에서 전술된 근접 영역(620)일 수 있다.

사용자의 손이 상기 터치 기준면의 근접 영역 내에 있지 않은 경우에는, 제어부(190)는 전자 장치(100)가 초기 상태로 동작하도록 제어한다.

사용자의 손이 상기 터치 기준면의 근접 영역 내에 있는 경우에는, 제어부(190)는 전자 장치(100)가 비상 상태로 동작하도록 제어한다(S230).

비상 상태에서, 제어부(190)는 사용자의 손의 위치를 확인한다(S240).

비상 상태에서, 사용자의 손이 매핑 영역에서 비매핑 영역으로 이동된 경우에는, 디스플레이(130)는 화면에 디스플레이된 커서가 깜박거리도록 표시한다(S250). 상기 커서는 사용자의 손이 매핑 영역의 경계를 통과한 지점과 연관된 화면 위치에 표시될 수 있다.

사용자의 손이 상기 터치 기준면을 통과한 경우에는, 제어부(190)는 전자 장치(100)가 접촉 상태로 동작하도록 제어한다(S260).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (11)

1. 전자 장치를 제어하기 위한 가상 터치스크린을 제공하는 방법에 있어서,
   디스플레이에 컨텐츠를 디스플레이하는 단계;
   사용자의 위치 정보를 기초로 터치 기준면을 설정하는 단계;
   촬영 장치가 촬영한 영상을 이용하여 사용자의 손의 위치를 확인하는 단계;
   상기 디스플레이와 이격한 사용자의 손에 대응하는 화면의 영역을 계산하는 단계;
   상기 계산된 영역에 선택 항목이 있는 경우, 상기 선택 항목과 연관된 동작을 수행하는 단계; 그리고
   상기 계산된 영역에 선택 항목이 없는 경우, 피드백을 제공하는 단계
   를 포함하고,
   상기 사용자의 손에 대응하는 화면의 영역을 계산하는 단계는
   상기 사용자의 손이 근접영역 내에 있는 경우, 상기 계산된 영역에 커서를 표시하는 단계;
   상기 사용자의 손이 상기 터치 기준면을 통과한 경우, 상기 계산된 영역을 터치한 것으로 인식하는 단계;를 포함하고,
   상기 근접영역은
   상기 터치 기준면을 일면으로 포함하고, 상기 사용자와 상기 터치 기준면 사이의 공간 일부인 것을 특징으로 하는 가상 터치스크린을 제공하는 방법.
   
2. 삭제
3. 제 1항에 있어서,
   상기 터치 기준면을 설정하는 단계는,
   상기 전자 장치의 화면을 볼 수 있는 시청영역에 사용자의 존재를 인식하는 단계;
   상기 인식된 사용자에 대한 위치 정보를 산출하는 단계; 및
   상기 산출된 위치 정보를 기초로 상기 터치 기준면을 설정하는 단계를 포함하는 것을 특징으로 하는 가상 터치스크린을 제공하는 방법.
4. 제 1항에 있어서,
   상기 위치 정보는 사용자의 위치를 지시하는 정보, 사용자의 방향을 지시하는 정보 및 사용자의 신체 크기를 지시하는 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 가상 터치스크린을 제공하는 방법.
5. 제 1항에 있어서,
   상기 터치 기준면의 중심은 상기 사용자의 중심과 상기 화면의 중심을 있는 선 상으로 설정되고, 상기 터치 기준면의 폭은 화면의 폭 및 상기 사용자의 폭 중 적어도 하나를 기초로 설정되고, 상기 터치 기준면의 높이는 상기 사용자의 신체 크기 및 상기 화면의 높이 중 적어도 하나를 기초로 설정되는 것을 특징으로 하는 가상 터치스크린을 제공하는 방법.
6. 제 1항 또는 제 5항에 있어서,
   상기 터치 기준면은 상기 사용자로부터 소정의 거리가 이격된 위치에 설정되는 것을 특징으로 하는 가상 터치스크린을 제공하는 방법.
   
7. 삭제
8. 제 1항에 있어서,
   상기 커서는 상기 사용자의 손과 상기 터치 기준면 사이의 거리를 지시하는 거리 정보를 포함하는 것을 특징으로 하는 가상 터치스크린을 제공하는 방법.
9. 제 8항에 있어서,
   상기 커서는 커서 모양을 나타내는 커서 영역 및 상기 커서의 그림자를 나타내는 그림자 영역을 포함하고, 상기 커서 영역 및 상기 그림자 영역 사이의 거리가 상기 거리 정보를 나타내는 것을 특징으로 하는 가상 터치스크린을 제공하는 방법.
10. 제 1항에 있어서,
    상기 커서는 상기 사용자의 손과 상기 터치 기준면 사이의 거리의 변화에 따라 모양 또는 색상이 변경되는 것을 특징으로 하는 가상 터치스크린을 제공하는 방법.
11. 컨텐츠를 디스플레이하는 디스플레이;
    영상을 촬영하는 촬영 장치;
    상기 디스플레이 및 상기 촬영 장치를 제어하는 제어부를 포함하되,
    상기 제어부는,
    사용자의 위치 정보를 기초로 터치 기준면을 설정하고,
    상기 촬영 장치가 촬영한 영상을 이용하여 사용자의 손의 위치를 확인하고,
    상기 디스플레이와 이격한 사용자의 손에 대응하는 화면의 영역을 계산하고,
    상기 계산된 영역에 선택 항목이 있는 경우, 상기 선택 항목과 연관된 동작을 수행하고,
    상기 계산된 영역에 선택 항목이 없는 경우, 피드백을 제공하며,
    상기 제어부는
    상기 사용자의 손의 위치를 확인하여 상기 사용자의 손이 근접영역 내에 있는 경우 상기 계산된 영역에 커서를 표시하고, 상기 사용자의 손이 상기 설정된 터치 기준면을 통과하는 경우, 상기 계산된 영역을 터치한 것으로 인식하고,
    상기 근접영역은
    상기 터치 기준면을 일면으로 포함하고, 상기 사용자와 상기 터치 기준면 사이의 공간 일부인 것을 특징으로 하는 전자 장치.

Images