KR101601763B1 - 거치형 단말기에 대한 모션 제어 방법 - Google Patents

거치형 단말기에 대한 모션 제어 방법 Download PDF

Info

Publication number
KR101601763B1
KR101601763B1 KR1020140124600A KR20140124600A KR101601763B1 KR 101601763 B1 KR101601763 B1 KR 101601763B1 KR 1020140124600 A KR1020140124600 A KR 1020140124600A KR 20140124600 A KR20140124600 A KR 20140124600A KR 101601763 B1 KR101601763 B1 KR 101601763B1
Authority
KR
South Korea
Prior art keywords
sensing information
motion
displayed
menu screen
displaying
Prior art date
Application number
KR1020140124600A
Other languages
English (en)
Inventor
구명완
박성준
최대운
김상혁
최동진
신해빈
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020140124600A priority Critical patent/KR101601763B1/ko
Application granted granted Critical
Publication of KR101601763B1 publication Critical patent/KR101601763B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts

Abstract

본 발명에 따르는 거치형 단말기에 대한 모션 제어 방법은, 상기 거치형 단말기가 사용자의 모션을 센싱한 센싱정보를 외부로부터 제공받는 제1단계; 상기 거치형 단말기가 상기 센싱정보가 입력될 때마다 그 센싱정보에 대응되게 미리 정의된 동작을 수행하는 제2단계;를 포함하며, 상기 센싱정보는 손의 모션을 센싱한 것이고, 상기 미리 정의된 동작은 메뉴항목을 선택하거나 미리 정의된 동작을 실행하는 것임을 특징으로 한다.

Description

거치형 단말기에 대한 모션 제어 방법{Motion control method for station type terminal}
본 발명은 단말기 제어를 위한 사용자 인터페이스 기술에 관한 것으로, 더욱 상세하게는 스마트 TV 등과 같은 거치형 단말기를 모션을 통해 제어하는 방법에 관한 것이다.
기술의 발전과 더불어 스마트 TV 등과 같이 방송 수상 기능뿐만 아니라 다양한 컨텐츠를 제공하는 거치형 대형 단말기들이 제안되고 상용화되기에 이르렀다. 특히 스마트 TV는 다양한 컨텐츠를 한 화면에 모두 표시할 수 없을 만큼 많은 기능을 수용함에도 불구하고 소수의 키를 구비하는 리모트 콘트롤러 등의 사용자 인터페이스를 채용하고 있다.
이에 종래에는 스마트 TV를 직관적으로 편리하게 제어할 수 있는 기술의 개발이 요구되었다.
이러한 요구에 부응하여 제안된 대한민국 특허청에 스마트 ＴＶ，그 제어 장치 및 방법을 명칭으로 특허공개된 제1020140050464호는, 스마트 TV를 이용하는 사용자별로 휴대하고 있는 스마트폰의 카메라나 센서 등을 통해 사용자가 원하는 제어 동작을 전달하고, 스마트폰과 스마트 TV 간의 통신을 통해 사용자가 원하는 제어 동작을 스마트 TV가 전달받아 인식 및 처리함으로써 스마트 TV와 사용자 간의 거리 또는 스마트 TV가 위치한 공간의 조도와 무관하게 스마트 TV를 제어할 수 있는 기술을 개시한다.
그리고 대한민국 특허청에 단말을 이용한 스마트ＴＶ 제어 장치 및 방법을 명칭으로 하여 특허공개된 제1020140009759호는, 제어 메뉴에 대응한 프레임을 단말기에 표시하고 프레임으로의 터치에 연동하여 스마트TV를 제어함으로써 사용자는 단말기의 프레임을 터치하여 스마트TV를 제어할 수 있게 하는 기술을 개시한다.
이러한 노력에도 불구하고 여전히 스마트 TV를 직관적이며 편리하게 제어할 수 있게 하는 기술에 대한 요구는 계속되고 있다.
대한민국 특허공개 제1020140050464호(2014.04.29) 대한민국 특허공개 제1020140009759호(2014.01.23)
본 발명은 스마트 TV 등과 같은 다양한 기능을 구비하는 거치형 대형 단말기를 모션을 통해 제어할 수 있게 하는 거치형 단말기에 대한 모션 제어 방법을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명에 따르는 거치형 단말기에 대한 모션 제어 방법은, 상기 거치형 단말기가 사용자의 모션을 센싱한 센싱정보를 외부로부터 제공받는 제1단계; 상기 거치형 단말기가 상기 센싱정보가 입력될 때마다 그 센싱정보에 대응되게 미리 정의된 동작을 수행하는 제2단계;를 포함하며, 상기 센싱정보는 손의 모션을 센싱한 것이고, 상기 미리 정의된 동작은 메뉴항목을 선택하거나 미리 정의된 동작을 실행하는 것임을 특징으로 한다.
상기한 본 발명은 스마트 TV 등과 같은 다양한 기능을 구비하는 거치형 단말기를 모션을 통해 제어할 수 있게 하여, 직관적이며 편리하게 제어할 수 있게 하는 효과를 야기한다.
도 1은 립패드의 외관도.
도 2는 본 발명의 바람직한 실시예에 따른 거치형 단말기에 대한 모션 제어 시스템의 구성도.
도 3 및 도 4는 본 발명의 바람직한 실시예에 따른 거치형 단말기에 대한 모션제어방법의 흐름도.
도 5 내지 도 11은 본 발명의 바람직한 실시예에 따른 거치형 단말기의 화면표시예를 도시한 도면.
도 12 내지 도 14는 모션인식과정의 개략도.
본 발명은 스마트 TV 등과 같은 다양한 기능을 구비하는 거치형 대형 단말기를 모션을 통해 제어할 수 있게 하여, 직관적이며 편리하게 제어할 수 있게 한다.
이러한 본 발명의 상세한 설명에 앞서 상기 립 모션에 대해 설명한다.
상기 립 모션은 2012년에 개발된 정교한 손 동작 인식 센서를 지닌 유저인터페이스로서 도 1에 도시한 바와 같다. 상기 립 모션은 8cm의 작은 크기를 가진 8입방 피트(cubic feet)의 3차원 공간을 읽어낼 수 있는 기기이다. 기본적으로 립 모션이 제공하는 손 동작 인식 범위는 4가지로 스윕 모션(swip motion), 서클 모션(circle motion), 키탭 모션(keytap motion), 스크린탭 모션(screentap motion)으로 구성되어 있다.
립 모션의 이론적 작동 원리는 MS의 키넥트(Kinect)와 유사하지만, 상기 키넥트보다 200배 높은 감도를 가지고, 1/100mm의 움직임까지 감지한다. 상기 키넥트와 립 모션의 가장 큰 차이는 키넥트는 모니터 정면에 위치하여 동작을 인식하였다면, 립모션은 화면 아래에 위치하여 동작을 인식하는 것이다.
그리고 상기한 립 모션을 사용자 인터페이스로 채용하기 위한 소프트웨어 개발 환경을 설명한다.
본 발명은 프로세싱(processing)을 채용하며, 이는 processing.org에서 개발한 오픈소스 프로그램 언어로, 3D 그래픽 표현을 쉽게 할 수 있게 제작된 프로그램으로, 그래픽 요소는 PosstScript(PDF)와 관련되며, 3D는 P3D와 OpenGL와 관련된다. 상기 프로그램 언어는 JAVA 기반으로 작동하며, Multi-thread 환경에서 프로그램이 수행된다. 또한 상기한 프로세싱(Processing)은 립 모션 라이브러리(library)를 제공한다.
본 발명은 상기 립 모션 라이브러리를 통해 립 모션의 3D 동작을 인식함과 아울러 그래픽 툴 기술과 프로그래밍 알고리즘을 통해 그래픽을 구현한다.
이와 같이 본 발명은 모션 인식을 위해 립 모션을 채용하였으나, 다양한 형태의 모션 인식장치가 채용될 수 있음은 본 발명에 의해 자명하다.
<거치형 단말기 제어 시스템 구성>
이제 본 발명의 바람직한 실시예에 따른 거치형 단말기 제어 시스템의 구성을 도 2를 참조하여 설명한다.
상기 거치형 단말기 제어 시스템은 크게 거치형 단말기인 스마트 TV(100)와 모션인식장치인 립모션(200)으로 구성된다.
상기 스마트 TV(100)는 제어장치(102)와 메모리부(104)와 비디오 처리부(106)와 디스플레이 모듈(108)과 오디오 처리부(110)와 스피커(112)와 통신모듈(114)과 외부기기 인터페이스 모듈(116)과 방송신호 수신모듈(118)로 구성된다.
상기 립모션(200)은 손 제스쳐를 센싱한 센싱정보를 생성하여 사용자 입력정보로서 상기 스마트 TV(100)에 제공한다.
상기 스마트 TV(100)의 제어장치(102)는 상기 스마트 TV(100)를 전반적으로 제어함은 물론이며 본 발명의 바람직한 실시예에 따른 모션 제어 기능을 수행한다. 특히 본 발명에 따르는 모션 제어를 위해 상기 제어장치(102)는 립모션(200)으로부터의 센싱신호를 처리하여 손 모션을 인식하고, 그 인식결과에 따른 동작을 수행하는 프로그램을 설치 및 실행한다. 상기 프로그램 설치파일은 통신모듈(114)을 통해 외부의 서버로부터 제공받거나 외부기기 인터페이스 모듈(16)을 통해 외부저장매체로부터 제공받을 수도 있다.
상기 메모리부(102)는 상기 제어장치(102)의 처리 프로그램을 포함하는 다양한 정보를 저장한다.
상기 비디오 처리부(106)는 상기 제어장치(102)의 제어에 따른 비디오 표시정보를 처리하여 디스플레이 모듈(108)을 통해 출력한다.
상기 디스플레이 모듈(108)은 상기 비디오 처리부(106)가 제공하는 비디오 표시정보를 표시한다.
상기 오디오 처리부(110)는 상기 제어장치(102)의 제어에 따른 오디오 출력정보를 처리하여 스피커(112)를 통해 출력한다.
상기 스피커(112)는 상기 오디오 처리부(110)가 제공하는 오디오 출력정보를 출력한다.
상기 통신모듈(114)은 외부 네트워크와 제어장치(102) 사이의 통신을 담당한다.
상기 외부기기 인터페이스 모듈(116)은 립모션(200) 등과 같은 외부기기와 제어장치(102) 사이의 인터페이스를 담당한다.
상기 방송신호 수신모듈(118)은 방송신호를 수신 처리하여 제어장치(102)로 제공한다.
<모션제어절차>
상기한 본 발명의 바람직한 실시예에 따른 모션제어절차를 도 3 및 도 4의 흐름도를 참조하여 상세히 설명한다.
상기 스마트 TV(100)의 제어장치(102)는 전원 온 또는 모션제어 활성화요청 등의 이벤트가 발생하면, 메인메뉴항목들을 표시하는 메인메뉴화면을 표시하여 안내한다(300단계). 상기 메인 메뉴는 도 5에 도시한 바와 같다. 상기 도 5를 참조하면, 메인메뉴항목들이 포함된 메인메뉴화면에서는 각 메인메뉴항목들에 대응되는 아이콘들이 배치되어 있으며, 아이콘은 직관적으로 기능을 유추할 수 있도록 픽토그램(PICTOGRAM)을 활용한다. 또한 상기 메인메뉴항목들에는 미리 식별숫자가 부여되며, 이 식별숫자에 대응되는 숫자의 손가락이 펴지거나 접혀졌을 때에 해당 항목들이 선택된 것으로 판단된다.
상기한 바와 같이 메인메뉴항목들이 아이콘으로 표시된 메인메뉴화면에서 사용자는 립모션(200)을 이용하여 어느 한 아이콘을 선택할 수 있다. 여기서, 상기 아이콘의 선택은 립모션의 핀치(PINCH, 손가락 집기) 모션을 통해 이루어질 수 있다. 즉, 사용자는 원하는 카테고리에 해당하는 메인메뉴항목에 해당하는 식별숫자에 대응되게 손가락을 펴거나 접어서 해당 항목을 선택할 수 있다.
<무비>
상기 제어장치(102)는 무비메뉴항목에 대응되는 아이콘을 선택하는 센싱정보가 립모션(200)으로부터 입력되면(302단계), 무비서브메뉴항목들 중 일부를 선택하여 안내하는 무비메뉴화면을 표시한다(304단계). 상기 무비서브메뉴항목들의 표시는 도 6에 도시한 바와 같다. 상기 도 6를 참조하면, 무비서브메뉴항목들로 구성되는 무비메뉴화면에서는 현재 저장되어 있는 영화들의 포스터 이미지들을 무비서브메뉴항목들로서 표시된다.
상기한 바와 같이 무비서브메뉴항목들이 포스터 이미지들로 표시된 무비메뉴화면에서, 사용자는 립모션(200)을 이용하여 어느 한 포스터 이미지를 선택하여 재생을 명령하거나 다음 항목으로의 전환을 명령할 수 있다. 상기 재생 명령은 표시된 포스터에 대한 핀치 모션을 입력하는 것으로 이루어질 수 있고, 다음 항목으로의 전환은 손으로 책을 넘기는 듯한 제스처인 스윕(SWEEP) 모션을 입력하는 것으로 이루어질 수 있다.
상기 제어장치(102)는 특정 포스터 이미지가 표시된 상태에서 핀치 모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면, 해당 항목에 대한 재생명령입력으로 판단하여 해당 포스터 이미지에 대응되는 무비를 재생한다(306,314단계).
또한 사용자는 무비 재생중에 립모션(200)을 이용하여 무비메뉴로의 복귀를 명령할 수 있으며, 이는 키 탭(KEY TAP) 모션이 될 수 있다.
상기 제어장치(102)는 무비 재생중에 키 탭 모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면(316단계), 무비서브메뉴항목들을 안내하는 무비메뉴화면을 표시하는 304단계로 복귀한다.
이와 달리 상기 제어장치(102)는 무비메뉴화면을 표시하는 중에 스윕 모션을 지시하는 센싱정보가 립 모션(200)으로부터 입력되면, 다음 항목으로의 전환명령입력으로 판단하여 다음 항목의 포스터 이미지를 표시한다(308,310단계).
또한 사용자는 무비메뉴 표시 중에 립모션(200)을 이용하여 메인 메뉴로의 복귀를 명령할 수 있으며, 이는 키 탭(KEY TAP) 모션이 될 수 있다.
상기 제어장치(102)는 무비메뉴 화면을 표시하는 중에, 키 탭 모션을 지시하는 센싱정보가 립 모션(200)으로부터 입력되면(312단계), 메인메뉴항목들을 안내하는 메인메뉴화면을 표시하는 300단계로 복귀한다.
<뮤직>
상기 제어장치(102)는 메인메뉴화면에서 뮤직항목에 대응되는 아이콘을 선택하는 핀치모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면(320단계), 뮤직서브메뉴항목들 중 일부를 선택하여 안내하는 뮤직메뉴화면을 표시한다(322단계). 상기 뮤직서브메뉴항목들의 표시는 도 7에 도시한 바와 같다. 상기 도 7을 참조하면, 뮤직서브메뉴항목들로 구성되는 뮤직메뉴화면에서는 현재 저장되어 있는 뮤직들의 앨범커버 이미지들을 뮤직서브메뉴항목들로서 표시된다. 상기 앨범커버 이미지들의 표시는, 원형의 CD 랙을 연상시키는 형태이며, 음악을 고르기 위해 손으로 CD 랙을 돌리면서 음악을 선택할 수 있게 한다.
상기한 바와 같이 뮤직서브메뉴항목들이 표시된 뮤직메뉴화면에서, 사용자는 립모션(200)을 이용하여 어느 한 뮤직을 선택하여 재생을 명령하거나 다음 항목으로의 전환을 명령할 수 있다. 상기 재생 명령은 표시된 앨범커버에 대한 핀치 모션을 입력하는 것으로 이루어질 수 있고, 다음 항목으로의 전환은 CD랙을 돌리는 듯한 제스처인 스윕(SWEEP) 모션을 입력하는 것으로 이루어질 수 있다.
상기 제어장치(102)는 어느 한 앨범커버 이미지가 메인으로 표시된 뮤직메뉴화면에서 핀치 모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면, 해당 항목에 대한 재생명령 입력으로 판단하여 해당 앨범커버 이미지의 뮤직들을 재생한다(324,332단계).
또한 사용자는 뮤직 재생중에 립모션(200)을 이용하여 뮤직메뉴로의 복귀를 명령할 수 있으며, 이는 키 탭(KEY TAP) 모션이 될 수 있다.
상기 제어장치(102)는 뮤직 재생중에 키 탭 모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면(334단계), 뮤직서브메뉴항목들을 안내하는 뮤직메뉴화면을 표시하는 322단계로 복귀한다.
이와 달리 상기 제어장치(102)는 뮤직메뉴를 표시하는 중에 스윕 모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면, 다음 항목으로의 전환명령입력으로 판단하여 다음 항목의 뮤직서브메뉴항목의 앨범커버 이미지를 메인으로 표시한다(326,328단계).
또한 사용자는 뮤직메뉴화면 표시 중에 립모션(200)을 이용하여 메인 메뉴로의 복귀를 명령할 수 있으며, 이는 키 탭(KEY TAP) 모션이 될 수 있다.
상기 제어장치(102)는 뮤직메뉴화면을 표시하는 중에, 키 탭 모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면(330단계), 메인메뉴항목들을 안내하는 메인메뉴화면을 표시하는 300단계로 복귀한다.
<갤러리>
상기 제어장치(102)는 메인메뉴화면에서 갤러리항목에 대응되는 아이콘을 선택하는 핀치모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면(340단계), 갤러리서브메뉴항목들 중 일부를 선택하여 안내하는 갤러리메뉴화면을 표시한다(342단계). 상기 갤러리서브메뉴항목들의 표시는 도 8에 도시한 바와 같다. 상기 도 8을 참조하면, 갤러리서브메뉴항목들로 구성되는 갤러리메뉴화면에서는 현재 저장되어 있는 사진들의 썸네일 이미지들을 갤러리서브메뉴항목들로서 표시하는 것이다. 상기 사진들의 표시는, 서랍을 연상시키는 UI로 구성되어 있어, 중앙에 위치하는 썸네일은 크게 가장자리에 위치하는 썸네일은 작게 표시되어, 손을 앞으로 깊숙히 밀면 서랍 뒤쪽의 사진들이 앞으로 나와 크게 표시되어 사용자가 선택할 수 있도록 한다.
상기한 바와 같이 갤러리 서브메뉴 항목들이 표시된 갤러리메뉴화면에서, 사용자는 립모션(200)을 이용하여 어느 한 사진을 선택하여 뷰잉을 명령하거나 다음 항목으로의 전환을 명령할 수 있다. 상기 뷰잉 명령은 표시된 사진에 대해 핀치 모션을 입력하는 것으로 이루어질 수 있고, 다음 항목으로의 전환은 손을 깊숙하게 미는 듯한 제스처인 스윕(SWEEP) 모션을 입력하는 것으로 이루어질 수 있다.
상기 제어장치(102)는 썸네일 이미지를 표시하는 중에 핀치 모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면, 해당 항목에 대한 뷰잉명령입력으로 판단하여 해당 썸네일에 대응되는 사진을 크게 뷰잉한다(344,352단계). 상기 사진을 뷰잉한 것을 예시한 것이 도 9이다.
또한 사용자는 사진의 뷰잉중에 립모션(200)을 이용하여 확대, 회전, 다음 사진에 대한 뷰잉, 갤러리메뉴화면으로의 복귀를 명령할 수 있다. 상기 확대는 핀치 모션이 채택될 수 있고, 회전은 손가락 끝으로 원을 그리는 듯한 제스쳐인 서클 모션이 채택될 수 있고, 다음사진에 대한 뷰잉은 스윕 모션이 채택될 수 있고, 갤러리 메뉴화면으로의 복귀는 키 탭 모션이 채택될 수 있다.
상기 제어장치(102)는 어느 한 사진을 뷰잉하는 중에 핀치모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면 해당 사진을 확대뷰잉하고(354,356단계), 서클모션을 지시하는 센싱정보가 립모션(200)을 통해 입력되면 서클 방향으로 해당 사진을 회전시켜 뷰잉하고(358,360단계), 사진이 뷰잉된 상태에서 스윕모션을 지시하는 센싱정보가 입력되면 다음 사진을 뷰잉하고(362,364단계), 사진이 뷰잉된 상태에서 키 탭 모션을 지시하는 센싱정보가 입력되면 갤러리 메뉴항목으로 복귀한다(366단계). 도 10은 사진을 회전하여 뷰잉한 예를 도시한 것이다.
또한 사용자는 갤러리메뉴화면 표시 중에 립모션(200)을 이용하여 메인 메뉴로의 복귀를 명령할 수 있으며, 이는 키 탭(KEY TAP) 모션이 될 수 있다.
상기 제어장치(102)는 갤러리메뉴화면을 표시하는 중에, 키 탭 모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면(350단계), 메인메뉴 항목들을 안내하는 메인메뉴화면을 표시하는 300단계로 복귀한다.
<TV 수상>
상기 제어장치(102)는 메인메뉴화면에서 TV항목에 대응되는 아이콘을 선택하는 핀치모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면(380단계), TV 서브메뉴 항목들 중 일부를 선택하여 안내하는 TV메뉴화면을 표시한다(382단계). 상기 TV 서브메뉴 항목들의 표시는 TV방송채널안내정보 등이 될 수 있다.
상기한 바와 같이 TV서브메뉴항목들이 표시된 TV메뉴화면에서, 사용자는 립모션(200)을 이용하여 어느 한 항목을 선택하여 수상을 명령할 수 있다. 상기 수상명령은 핀치 모션으로 정해질 수 있다.
상기 제어장치(102)는 TV 메뉴화면에서 어느 한 항목에 대한 핀치 모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면, 그 항목에 대응되는 TV방송채널에 대한 수상명령으로 판단하고(384단계), 해당 항목의 TV방송채널을 수상한다(392단계). 도 11은 TV방송채널을 수상하는 화면을 예시한 도면이다.
상기한 바와 같이 TV방송채널을 수상하는 중에 사용자는 스크린 캡쳐를 명령할 수 있다. 상기 스크린 캡쳐 명령은 손을 움켜쥐는 듯한 그랩 모션으로 정해질 수 있다.
상기 제어장치(102)는 TV방송채널을 수상하는 중에 그랩 모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면, 현재 수상중인 TV방송채널의 화면을 캡쳐하여 저장하며, 상기 캡쳐이미지는 미리 정해진 사진 저장영역인 갤러리에 저장될 수 있다.
또한 상기한 바와 같이 TV방송채널을 수상하는 중에 사용자는 TV메뉴화면으로의 복귀를 명령할 수 있다. 상기 TV메뉴화면으로의 복귀는 키 탭 모션으로 정해질 수 있다.
상기 제어장치(102)는 TV방송채널을 수상하는 중에 키 탭 모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면 상기 382단계로 복귀한다.
또한 사용자는 TV메뉴화면 표시 중에 립모션(200)을 이용하여 메인 메뉴로의 복귀를 명령할 수 있으며, 이는 키 탭(KEY TAP) 모션이 될 수 있다.
상기 제어장치(102)는 TV메뉴화면을 표시하는 중에, 키 탭 모션을 지시하는 센싱정보가 립모션(200)으로부터 입력되면(390단계), 메인메뉴항목들을 안내하는 메인메뉴화면을 표시하는 300단계로 복귀한다.
상기한 바와 같이 본 발명은 립 패드를 통해 사용자의 손 제스쳐를 통해 사용자와 스마트 TV 사이의 직관적인 인터페이스를 제공한다. 특히 본 발명에서는 키 탭, 그랩, 서클, 스윕 등의 모션만을 사용하였으나 더 많은 수의 모션을 이용하여 사용자와 스마트 TV 사이의 직관적인 인터페이스를 제공할 수 있다.
이를 위해, 립모션에서 제공하는 4가지 기본 모션을 분석한다. 상기 립모션에서 제공하는 4가지 기본 모션은 도 12에 도시한 바와 같이 스윕 제스쳐, 서클 제스쳐, 스크린 탭 제스쳐, 키 탭 제스쳐이다.
상기한 기본 모션들의 분석은 립모션에서 제공하는 시각화 도구인 비쥬얼라이저(VISUALIZER)를 이용하여 확인가능하며, 이러한 기본 제스쳐들을 바탕으로 그랩 등의 새로운 제스쳐를 인식할 수 있게 된다. 도 13 및 도 14는 모션인식확인을 위한 비쥬얼라이저와 모션인식화면을 예시한 것이다.
100 : 스마트 TV
102 : 제어장치
104 : 메모리부
106 : 비디오 처리부
108 : 디스플레이모듈
110 : 오디오 처리부
112 : 스피커
114 : 통신모듈
116 : 외부기기 인터페이스 모듈
118 : 방송신호 수신모듈
200 : 립모션

Claims (5)

  1. 삭제
  2. 거치형 단말기에 대한 모션 제어 방법에 있어서,
    상기 거치형 단말기가 사용자의 모션을 센싱한 센싱정보를 외부로부터 제공받는 제1단계;
    상기 거치형 단말기가 상기 센싱정보가 입력될 때마다 그 센싱정보에 대응되게 미리 정의된 동작을 수행하는 제2단계;를 포함하며,
    상기 센싱정보는 손의 모션을 센싱한 것이고,
    상기 미리 정의된 동작은 메뉴항목을 선택하거나 미리 정의된 동작을 실행하는 것이며,
    상기 제2단계가,
    메인메뉴화면을 표시한 상태에서 그 메인메뉴화면에 포함된 무비메뉴항목을 선택하는 센싱정보가 입력되면, 미리 저장된 영화들의 포스터 이미지들 중 일부를 표시하는 무비메뉴화면을 표시하고,
    상기 무비메뉴화면을 표시하는 중에, 상기 포스터 이미지들 중 어느 하나를 선택되어 재생을 명령하는 센싱정보가 입력되면, 선택된 포스터 이미지에 대응되는 무비를 재생하고,
    상기 무비메뉴화면을 표시하는 중에, 표시되는 포스터 이미지들의 전환을 명령하는 센싱정보가 입력되면, 미리 저장된 영화들의 포스터 이미지들 중 다른 일부를 표시하며,
    상기 무비메뉴항목을 선택하는 센싱정보는 무비메뉴항목에 대응되게 정해진 수의 손가락을 펴거나 접은 핀치모션을 지시하는 센싱정보이고, 상기 재생을 명령하는 센싱정보는 핀치모션을 지시하는 센싱정보이고, 상기 전환을 명령하는 센싱정보는 스윕모션을 지시하는 센싱정보임을 특징으로 하는 거치형 단말기에 대한 모션 제어 방법.
  3. 거치형 단말기에 대한 모션 제어 방법에 있어서,
    상기 거치형 단말기가 사용자의 모션을 센싱한 센싱정보를 외부로부터 제공받는 제1단계;
    상기 거치형 단말기가 상기 센싱정보가 입력될 때마다 그 센싱정보에 대응되게 미리 정의된 동작을 수행하는 제2단계;를 포함하며,
    상기 센싱정보는 손의 모션을 센싱한 것이고,
    상기 미리 정의된 동작은 메뉴항목을 선택하거나 미리 정의된 동작을 실행하는 것이며,
    상기 제2단계가,
    메인메뉴화면을 표시한 상태에서 그 메인메뉴화면에 포함된 뮤직메뉴항목을 선택하는 센싱정보가 입력되면, 미리 저장된 뮤직들의 앨범커버 이미지들 중 일부를 표시하는 뮤직메뉴화면을 표시하고,
    상기 뮤직메뉴화면을 표시하는 중에, 상기 앨범커버 이미지들 중 어느 하나를 선택하여 재생을 명령하는 센싱정보가 입력되면, 선택된 앨범커버 이미지에 대응되는 뮤직들을 재생하고,
    상기 뮤직메뉴화면을 표시하는 중에, 표시되는 앨범커버 이미지들의 전환을 명령하는 센싱정보가 입력되면, 미리 저장된 뮤직들의 앨범커버 이미지들 중 다른 일부를 표시하며,
    상기 뮤직메뉴항목을 선택하는 센싱정보는 뮤직메뉴항목에 대응되게 정해진 수의 손가락을 펴거나 접은 핀치모션을 지시하는 센싱정보이고, 상기 재생을 명령하는 센싱정보는 핀치모션을 지시하는 센싱정보이고, 상기 전환을 명령하는 센싱정보는 스윕모션을 지시하는 센싱정보임을 특징으로 하는 거치형 단말기에 대한 모션 제어 방법.
  4. 거치형 단말기에 대한 모션 제어 방법에 있어서,
    상기 거치형 단말기가 사용자의 모션을 센싱한 센싱정보를 외부로부터 제공받는 제1단계;
    상기 거치형 단말기가 상기 센싱정보가 입력될 때마다 그 센싱정보에 대응되게 미리 정의된 동작을 수행하는 제2단계;를 포함하며,
    상기 센싱정보는 손의 모션을 센싱한 것이고,
    상기 미리 정의된 동작은 메뉴항목을 선택하거나 미리 정의된 동작을 실행하는 것이며,
    상기 제2단계가,
    메인메뉴화면을 표시한 상태에서 그 메인메뉴화면에 포함된 갤러리메뉴항목을 선택하는 센싱정보가 입력되면, 미리 저장된 사진들의 썸네일 이미지들 중 일부는 작게 표시하고 일부는 크게 표시하는 갤러리메뉴화면을 표시하고,
    상기 갤러리메뉴화면을 표시하는 중에, 상기 썸네일 이미지들 중 어느 하나를 선택하여 확대를 명령하는 센싱정보가 입력되면, 선택된 썸네일 이미지에 대응되는 사진을 확대표시하고,
    상기 갤러리메뉴화면을 표시하는 중에, 표시되는 썸네일 이미지들의 전환을 명령하는 센싱정보가 입력되면, 미리 저장된 사진들의 썸네일 이미지들 중 다른 일부를 크게 표시하며,
    상기 사진의 확대표시중에 다른 사진의 확대표시를 명령하는 센싱정보가 입력되면, 다른 사진을 확대표시하며,
    상기 사진의 확대표시중에 회전을 명령하는 센싱정보가 입력되면, 표시된 사진을 회전시켜 표시하며,
    상기 갤러리메뉴항목을 선택하는 센싱정보는 갤러리메뉴항목에 대응되게 정해진 수의 손가락을 펴거나 접은 핀치모션을 지시하는 센싱정보이고, 상기 확대를 명령하는 센싱정보는 핀치모션을 지시하는 센싱정보이고, 다음 사진의 확대표시를 명령하는 센싱정보는 스윕모션을 지시하는 센싱정보이고, 회전을 명령하는 센싱정보는 서클모션을 지시하는 센싱정보이고, 상기 썸네일의 전환을 명령하는 센싱정보는 손을 앞으로 미는 모션을 지시하는 센싱정보임을 특징으로 하는 거치형 단말기에 대한 모션 제어 방법.
  5. 거치형 단말기에 대한 모션 제어 방법에 있어서,
    상기 거치형 단말기가 사용자의 모션을 센싱한 센싱정보를 외부로부터 제공받는 제1단계;
    상기 거치형 단말기가 상기 센싱정보가 입력될 때마다 그 센싱정보에 대응되게 미리 정의된 동작을 수행하는 제2단계;를 포함하며,
    상기 센싱정보는 손의 모션을 센싱한 것이고,
    상기 미리 정의된 동작은 메뉴항목을 선택하거나 미리 정의된 동작을 실행하는 것이며,
    상기 제2단계가,
    메인메뉴화면을 표시한 상태에서 그 메인메뉴화면에 포함된 TV메뉴항목을 선택하는 센싱정보가 입력되면, TV 방송채널항목을 표시하는 TV메뉴화면을 표시하고,
    상기 TV메뉴화면을 표시하는 중에, 어느 한 TV 방송채널항목을 선택하여 수상을 명령하는 센싱정보가 입력되면, 선택된 TV 방송채널항목의 방송채널을 수상하여 출력하고,
    상기 방송채널의 수상중에 캡쳐를 명령하는 센싱정보가 입력되면, 그 방송채널로 수상되는 화면을 캡쳐하여 저장하며,
    상기 TV메뉴항목을 선택하는 센싱정보는 TV메뉴항목에 대응되게 정해진 수의 손가락을 펴거나 접은 핀치모션을 지시하는 센싱정보이고, 상기 수상를 명령하는 센싱정보는 핀치모션을 지시하는 센싱정보이고, 상기 캡쳐를 명령하는 센싱정보는 그랩모션을 지시하는 센싱정보임을 특징으로 하는 거치형 단말기에 대한 모션 제어 방법.
KR1020140124600A 2014-09-18 2014-09-18 거치형 단말기에 대한 모션 제어 방법 KR101601763B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140124600A KR101601763B1 (ko) 2014-09-18 2014-09-18 거치형 단말기에 대한 모션 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140124600A KR101601763B1 (ko) 2014-09-18 2014-09-18 거치형 단말기에 대한 모션 제어 방법

Publications (1)

Publication Number Publication Date
KR101601763B1 true KR101601763B1 (ko) 2016-03-22

Family

ID=55644891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140124600A KR101601763B1 (ko) 2014-09-18 2014-09-18 거치형 단말기에 대한 모션 제어 방법

Country Status (1)

Country Link
KR (1) KR101601763B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5372518B2 (ja) * 2005-12-12 2013-12-18 株式会社ソニー・コンピュータエンタテインメント 相互対話的な電子的にシミュレートされた環境の音声および映像制御

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5372518B2 (ja) * 2005-12-12 2013-12-18 株式会社ソニー・コンピュータエンタテインメント 相互対話的な電子的にシミュレートされた環境の音声および映像制御

Similar Documents

Publication Publication Date Title
US11126343B2 (en) Information processing apparatus, information processing method, and program
US20210126960A1 (en) Directional Touch Remote
US20210160291A1 (en) Simultaneous input system for web browsers and other applications
KR101233562B1 (ko) 3ｄ 리모콘에서 사용하기 위한 ｇｕｉ 애플리케이션
US10708534B2 (en) Terminal executing mirror application of a peripheral device
US9880727B2 (en) Gesture manipulations for configuring system settings
JP5906984B2 (ja) 表示端末装置及びプログラム
EP3057312A2 (en) Image display apparatus and method
JP6448900B2 (ja) 状況情報基盤の情報提供方法、そのシステム及びその記録媒体
US20100173678A1 (en) Mobile terminal and camera image control method thereof
MX2014001469A (es) Aparato electronico que usa reconocimiento de movimiento y metodo para controlar el aparato electronico del mismo.
KR101861377B1 (ko) 이동 단말에서 모션 기반의 화면 제어 방법 및 이를 위한 이동 단말
US10545633B2 (en) Image output method and apparatus for providing graphical user interface for providing service
EP3057313A1 (en) Display apparatus and display method
AU2017330785A1 (en) Electronic apparatus and controlling method thereof
KR101601763B1 (ko) 거치형 단말기에 대한 모션 제어 방법
CN112765500A (zh) 信息搜索方法及装置
KR102303286B1 (ko) 단말기 및 그의 동작 방법
KR20140087787A (ko) 디스플레이 장치 및 그의 제어 방법
KR20160044396A (ko) 사용자 인터페이스를 제공하는 방법 및 장치
JP6213597B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP2010146204A (ja) 制御装置、およびコンテンツ視聴システム
KR20180026843A (ko) 디스플레이 장치, 디스플레이 시스템 및 그 제어 방법
KR20120096164A (ko) 포인터 트래킹 패턴을 이용한 화면 네비게이션 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200304

Year of fee payment: 5