KR101339985B1 - 원격 제어 장치, 디스플레이 장치 및 그 제어 방법 - Google Patents

원격 제어 장치, 디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR101339985B1
KR101339985B1 KR1020120120740A KR20120120740A KR101339985B1 KR 101339985 B1 KR101339985 B1 KR 101339985B1 KR 1020120120740 A KR1020120120740 A KR 1020120120740A KR 20120120740 A KR20120120740 A KR 20120120740A KR 101339985 B1 KR101339985 B1 KR 101339985B1
Authority
KR
South Korea
Prior art keywords
mode
remote control
display
gesture
pointing
Prior art date
Application number
KR1020120120740A
Other languages
English (en)
Inventor
최은석
최상언
오정엽
우숙영
정한철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201320016693.4U priority Critical patent/CN204945943U/zh
Priority to FR1350477A priority patent/FR2982722B3/fr
Priority to DE202013100255U priority patent/DE202013100255U1/de
Priority to US13/754,176 priority patent/US9223416B2/en
Priority to EP13153265.7A priority patent/EP2677759A1/en
Priority to PCT/KR2013/000851 priority patent/WO2013191351A1/en
Priority to RU2015101528A priority patent/RU2015101528A/ru
Priority to BR112014031382A priority patent/BR112014031382A2/pt
Priority to MX2014015082A priority patent/MX2014015082A/es
Priority to IN244DEN2015 priority patent/IN2015DN00244A/en
Priority to CN201310043832.7A priority patent/CN103513894B/zh
Priority to JP2013050046A priority patent/JP2014002719A/ja
Priority to US13/838,015 priority patent/US8988342B2/en
Application granted granted Critical
Publication of KR101339985B1 publication Critical patent/KR101339985B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03541—Mouse/trackball convertible devices, in which the same ball is used to track the 2D relative movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

원격 제어 장치가 개시된다. 포인팅 모드 및 제스처 모드 사이에서 동작 가능한 외부 장치의 복수의 동작 모드 중 하나를 선택하기 위한 원격 제어 장치는, 원격 제어 장치와 연결된 외부 장치로 원격 제어 장치에 관한 정보를 출력하는 출력부, 원격 제어 장치의 움직임을 감지하는 감지부, 감지된 원격 제어 장치의 움직임에 기초하여 움직임 정보를 생성하는 움직임 정보 생성부 및, 포인팅 모드 및 제스처 모드 사이에서 동작 가능한 외부 장치의 동작 모드를 변경하기 위한 동작 모드에 관한 정보를 제공하는 동작 모드 변경부를 포함하며, 원격 제어 장치에 관한 정보는, 동작 모드에 관한 정보 및 움직임 정보 생성부에서 생성된 움직임 정보를 포함한다.

Description

원격 제어 장치, 디스플레이 장치 및 그 제어 방법 { Display apparatus, remote controlling apparatus and control method thereof }
본 발명은 원격 제어 장치, 디스플레이 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하는 움직임을 감지하는 원격 제어 장치, 디스플레이 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달함에 따라, 다양한 방식으로 전자 장치를 제어하기 위한 방안이 개발되고 있다. 종래에는 전자 장치에 구비된 버튼이나 전자 장치와 별도의 장치인 리모트 컨트롤러를 이용하여 전자 장치를 제어하였다.
그러나, 종래와 같이, 전자 장치와 별도의 장치인 리모트 컨트롤러를 이용하여 전자 장치를 제어하는 경우, 사용자는 자신이 원하는 조작을 위하여 리모트 컨트롤러에 구비된 버튼을 일일이 확인하여 누름 조작을 하여야 한다는 문제점이 있었다.
예를 들어, 전자 장치 화면 상에서 특정 컨텐츠를 선택하기 위하여 화면 상에 디스플레이된 포인터를 이용하는 경우, 사용자는 리모컨의 네 방향 버튼을 수 차례 번갈아 선택하여 포인터를 해당 컨텐츠 영역까지 이동시키고, 해당 컨텐츠 영역 상에서 리모트 컨트롤러에 구비된 선택 버튼을 누름 조작하여 특정 컨텐츠를 선택할 수 있었다. 즉, 사용자는 리모트 컨트롤러에 구비된 버튼을 수차례 확인하고 수차례 누름 조작하는 동작을 통해 해당 컨텐츠를 선택할 수 있다는 불편함이 있었다.
이에 따라 사용자가 원거리에서 더욱 편리하게 전자 장치의 화면 상에 디스플레이된 정보를 탐색하기 위한 방안이 요구된다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 복수의 동작 모드로 동작 가능한 디스플레이 장치의 각 모드에서제공하는 UI 화면을 직관적으로 제어할 수 있는 원격 제어 장치, 디스플레이 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 포인팅 모드 및 제스처 모드 사이에서 동작 가능한 외부 장치의 복수의 동작 모드 중 하나를 선택하기 위한 원격 제어 장치는, 상기 원격 제어 장치와 연결된 상기 외부 장치로 상기 원격 제어 장치에 관한 정보를 출력하는 출력부, 상기 원격 제어 장치의 움직임을 감지하는 감지부, 상기 감지된 원격 제어 장치의 움직임에 기초하여 움직임 정보를 생성하는 움직임 정보 생성부, 및 상기 포인팅 모드 및 제스처 모드 사이에서 동작 가능한 상기 외부 장치의 동작 모드를 변경하기 위한 동작 모드에 관한 정보를 제공하는 동작 모드 변경부를 포함하며, 상기 원격 제어 장치에 관한 정보는, 상기 동작 모드에 관한 정보 및 상기 움직임 정보 생성부에서 생성된 움직임 정보를 포함할 수 있다.
또한, 상기 동작 모드 변경부는, 제1 버튼부를 포함하며, 상기 제1 버튼부에 대한 누름 조작이 있는 경우, 상기 동작 모드에 관한 정보는 상기 외부 기기가 제스처 모드임을 나타내는 정보를 포함할 수 있다.
또한, 제2 버튼부를 더 포함하며, 상기 제2 버튼부에 대한 누름 조작이 있는 경우, 상기 포인팅 모드에서 포인터가 위치된 오브젝트를 선택하기 위한 신호를 상기 외부 장치로 전송할 수 있다.
또한, 상기 감지부는, 가속도 센서, 가속도 센서 및 지자기 센서 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 포인팅 모드 및 제스처 모드 사이에서 동작 가능한 디스플레이 장치는, 상기 디스플레이 장치의 복수의 동작 모드 중 하나를 선택하기 위한 원격 제어 장치로부터, 상기 원격 제어 장치의 움직임에 기초하여 생성된 움직임 정보 및 상기 디스플레이 장치의 동작 모드를 변경하기 위한 동작 모드에 관한 정보를 수신하는 통신부 및, 상기 동작 모드에 관한 정보에 기초하여 상기 디스플레이 장치의 동작 모드를 변경하고, 상기 움직임 정보에 기초하여 변경된 동작 모드에서 수행 가능한 기능을 수행하는 제어부를 포함한다.
또한, 사용자 인터페이스 화면 상에 인디케이팅 기능을 하는 오브젝트를 디스플레이하는 디스플레이부를 더 포함하며, 상기 제어부는, 상기 디스플레이 장치의 동작 모드에 따라 상기 오브젝트의 형태를 변경하여 디스플레이하도록 제어할 수 있다.
또한, 상기 제어부는, 상기 제스처 모드에서 상기 원격 제어 장치를 통한 제스처 입력 방향을 가이드하는 방향성을 갖는 형태의 GUI(Graphic User Interface)를 상기 오브젝트와 함께 디스플레이하도록 제어할 수 있다.
또한, 상기 제어부는, 상기 사용자 인터페이스 화면에서 입력 가능한 조작 상태에 따라 상기 오브젝트의 형상, 색상, 크기, 위치 및 방향 중 적어도 하나를 변경하여 디스플레이하도록 제어할 수 있다.
여기서, 상기 오브젝트는, 손 모양의 포인터이며, 상기 제어부는, 플리킹(flicking) 조작, 줌 인/아웃(zoom in/out) 조작 및 패닝(panning) 조작 중 상기 사용자 인터페이스 화면에서 조작 가능한 형태에 기초하여 상기 손 모양의 포인터를 포인팅(pointing) 형태, 또는 팜(palm) 형태 또는 그립(grip) 형태로 변경하여 디스플레이하도록 제어할 수 있다.
또한, 상기 제어부는, 상기 사용자 인터페이스 화면에서 플리킹(flicking) 조작이 가능한 경우, 상기 포인팅(pointing) 형태의 포인터와 함께 좌우 방향 제스처를 통해 플리킹 조작이 가능함을 나타내는 GUI를 디스플레이하도록 제어할 수 있다.
또한, 상기 제어부는, 상기 원격 제어 장치를 통해 상기 플리킹 조작에 대응되는 제스처가 입력된 경우, 사용자의 플리킹 제스처에 대응되는 형태로 상기 손 모양의 포인터의 각도를 변경하여 디스플레이하도록 제어할 수 있다.
또한, 상기 제어부는, 상기 사용자 인터페이스 화면에서 줌 인/아웃(zoom in/out) 조작이 가능한 경우, 상기 팜(palm) 형태의 포인터와 함께 상하 방향 제스처를 통해 줌 인/이웃 조작이 가능함을 나타내는 GUI를 디스플레이하도록 제어할 수 있다.
또한, 상기 제어부는, 상기 사용자 인터페이스 화면에서 패닝(panning) 조작이 가능한 경우, 그립(grip) 형태의 포인터와 함께 상하좌우 방향 제스처를 통해 패닝 조작이 가능함을 나타내는 GUI를 디스플레이하도록 제어할 수 있다.
또한, 본 발명의 일 실시 예에 따른 디스플레이 장치 및 원격 제어 장치를 포함하는 디스플레이 시스템은, 포인팅 모드 및 제스처 모드 사이에서 동작 가능하며, 상기 원격 제어 장치로부터 수신된 제어 신호에 따라 대응되는 동작을 수행하는 디스플레이 장치 및, 상기 원격 제어 장치의 움직임을 감지하여 움직임 정보를 생성하고, 상기 생성된 움직임 정보 및 사용자 명령에 따라 선택된 제어 모드에 대응되는 제어 신호를 생성하여 상기 디스플레이 장치로 전송하는 원격 제어 장치를 포함할 수 있다.
여기서, 상기 원격 제어 장치는, 상기 원격 제어 장치의 움직임에 따라 상기 디스플레이 장치에서 제공되는 사용자 인터페이스 화면에 표시된 포인터의 이동 상태를 제어하기 위한 포인팅 모드로 동작하는 상태에서 상기 사용자 명령이 입력되면, 상기 원격 제어 장치의 기정의된 제스처에 따라 상기 사용자 인터페이스 화면의 표시 상태를 제어하기 위한 제스처 모드로 전환할 수 있다.
이상 설명한 바와 같이 본 발명에 따르면, 터치 방식과 유사한 인터페이스 경험을 제공하는 직관적인 원격 제어 방법을 제공할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 시스템의 구성을 나타내는 모식도이다.
도 2는 도 1에 도시된 디스플레이 시스템의 일 실시 예에 따른 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 4는 본 발명의 일 실시 예에 따른 제어부(130)의 세부 구성을 설명하기 위한 도면이다.
도 5는 상술한 다양한 실시 예에 따른 제어부(130)의 동작을 지원하기 위한 저장부(140)의 소프트웨어 구조를 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 원격 제어 장치의 구성을 나타내는 블럭도이다.
도 7은 도 6에 도시된 원격 제어 장치의 세부 구성을 나타내는 블럭도이다.
도 8은 본 발명의 일 실시 예에 따른 신호 처리 알고리즘의 형태를 설명하기 위한 블럭도이다.
도 9는 도 6 및 도 7에 도시된 원격 제어 장치(200)의 외관을 도시한 도면으로,
도 10은 원격 제어 장치(200)의 모드 전환 버튼부(231)를 복수 개를 구비한 예를 나타내는 도면이다.
도 11은 본 발명의 다양한 실시 예에 따른 원격 제어 장치의 조작 형태를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 포인팅 모드에서의 동작 상태를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시 예에 따른 모드 전환에 따른 동작 상태를 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시 예에 따른 제스처 모드에서의 동작 상태를 설명하기 위한 도면이다.
도 15는 본 발명의 다른 실시 예에 따른 제스처 모드에서의 동작 상태를 설명하기 위한 도면이다.
도 16은 본 발명의 또 다른 실시 예에 따른 제스처 모드에서의 동작 상태를 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시 예에 따른 원격 제어 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 18은 본 발명의 일 실시 예에 따른 원격 제어 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 시스템의 구성을 나타내는 모식도이다.
도 1에 도시된 바와 같이 본 발명의 일 실시 예에 따른 디스플레이 시스템은 디스플레이 장치(100) 및 원격 제어 장치(200)를 포함한다.
디스플레이 장치(100)는 원격 제어 장치(200)에 의해 제어되는 기기로 디지털 TV로 구현가능하지만, PC 등과 같이 원격 제어가 가능한 기기라면 한정되지 않고 적용가능하다.
원격 제어 장치(200)는 디스플레이 장치(100)를 원격으로 제어하기 위한 장치로써, 사용자 명령을 입력받고 입력된 사용자 명령에 대응되는 신호를 디스플레이 장치(100)로 전송할 수 있다.
특히, 원격 제어 장치(200)는 XYZ 공간 상에서 원격 제어 장치(200)의 움직임을 감지하고, 감지된 3차원 움직임에 관한 신호를 디스플레이 장치(100)로 전송할 수 있다. 여기서, 3차원 움직임은 디스플레이 장치(100)를 제어하기 위한 명령에 대응될 수 있다. 즉, 사용자는 원격 제어 장치(200)를 공간상에서 움직임으로써 디스플레이 장치(100)에 소정의 명령을 전달할 수 있다.
이 경우, 원격 제어 장치(200)는 감지된 움직임에 대응되는 움직임 정보 자체를 를 전송(제1 실시 예)할 수도 있지만, 경우에 따라서는 감지된 움직임에 대응되는 움직임 정보를 디스플레이 장치(100)를 제어하기 위한 제어 신호로 변환하여 전송(제2 실시 예)하는 것도 가능하다. 이는 감지된 움직임 정보로부터 제어 신호를 산출하기 위한 연산이 디스플레이 장치(100)에서 이루어지는지, 원격 제어 장치(200)에서 이루어지는지에 대한 문제가 될 수 있는데 이에 대한 자세한 설명은 실시 예를 나누어 후술하도록 한다. 한편, 디스플레이 장치(100)는 서로 다른 복수의 동작 모드를 제공할 수 있다.
구체적으로, 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 따라 디스플레이 장치(100)를 통해 제공되는 사용자 인터페이스 화면(이하, UI 화면이라 함)에 표시된 포인터의 이동 상태를 제어하기 위한 포인팅 모드 및 원격 제어 장치(200)의 기정의된 제스처에 따라 UI 화면의 표시 상태를 제어하기 위한 제스처 모드로 동작할 수 있다. 여기서, 제스처 모드에서 제어되는 UI 화면의 표시 상태의 변경은 메뉴 화면 표시 등과 같은 특정 기능이 실행되는 화면 전환, 화면에 표시된 콘텐츠 내용이 달라지는 페이지 전환과 같은 화면 전환 등과 같이 기설정된 이벤트 발생으로 인해 화면 표시 상태가 변경되는 것으로, 단순히 포인터의 이동 상태를 제어하는 포인팅 모드와 구별될 수 있다. 한편, 포인팅 모드는 원격 제어 장치(200)의 움직임 영역과 디스플레이 장치(100)의 화면이 일치하는 형태의 절대 좌표 방식에 기초하여 제공될 수 있다.
구체적으로, 디스플레이 장치(100) 화면의 전체 영역에 대응되는 원격 제어 장치(200)의 움직임 영역은 기설정되어 있을 수 있다. 예를 들어, 기설정된 기준 상태에서 좌측 방향 30 도 회전 및 우측 방향 30도 회전 사이의 움직임 영역이 디스플레이 전체 화면에 대응될 수 있다. 여기서, 기설정된 기준 상태는 사용자 명령에 따라 설정될 수 있다. 예를 들어, 원격 제어 장치(200)의 전원이 ON되고 기준 상태를 설정하기 위한 사용자 명령이 입력(예를 들어, 원격 제어 장치(200)에 구비된 센터링 버튼(미도시) 입력)되면, 원격 제어 장치(200)의 현재 상태가 기준 상태로 설정되고, 디스플레이 장치(100)화면의 기설정된 영역에는 원격 제어 장치(200)의 현재 상태에 대응되는 포인터가 기설정된 위치(예를 들어, 화면의 센터 영역)에 표시될 수 있다.
이어서, 기 설정된 절대 기준점을 중심으로 사용자가 움직이는 원격 제어 장치(200)의 회전 상태에 대응되는 포인터의 좌표값이 산출될 수 있다. 예를 들어, 디스플레이 화면의 센터를 절대 기준점으로 하여 사용자가 움직이는 원격 제어 장치(200)의 회전 상태에 대응되는 X, Y 좌표값을 산출될 수 있다.
예를 들어 원격 제어 장치(200)가 공간 상에서 우측으로 10도 만큼 회전했다고 할 때, 원격 제어 장치(200)의 회전 상태에 대응되는 포인터는 그에 매칭되는 (x1, y1) 지점(예를 들어, 센터 지점)에서 (x2, y2)으로 이동할 수 있다.
다만, 경우에 따라서는 상대 좌표 방식이 적용될 수도 있으며 상대 좌표 방식은 이미 공지된 기술이므로 이에 대한 자세한 설명은 생략하도록 한다.
또한, 원격 제어 장치(200)는 디스플레이 장치(100)의 동작 모드 전환을 위한 사용자 명령을 입력받는 모드 전환 버튼을 포함할 수 있다. 이 경우, 모드 전환 버튼은 누름 상태가 유지되는 경우에 전환된 모드를 유지하도록 구현될 수 있다. 이에 대한 자세한 설명은 도면을 참조하여 후술하도록 한다.
한편, 디스플레이 장치(100) 및 원격 제어 장치(200)는 BT(BlueTooth), Zigbee, WI-FI(Wireless Fidelity), IR(Infrared), Serial Interace, USB(Universal Serial Bus) 등의 다양한 통신 방식을 통해 통신을 수행할 수 있다. 예를 들어, 디스플레이 장치(100) 및 원격 제어 장치(200)가 BT(BlueTooth)를 통해 통신을 수행하는 경우 블루투스 페어링을 통해 서로 연동될 수 있다. 블루투스 페어링과 관련된 상세 기술은 당업자에게 자명한 사항이므로 자세한 설명은 생략하도록 한다.
이하에서는, 설명의 편의를 위하여 상술한 제1 및 제2 실시 예에 따른 동작을 나누어 설명하도록 한다.
[ 제1 실시 예의 경우 ]
도 2(a)는 도 1에 도시된 디스플레이 시스템의 제1실시 예에 따른 동작을 설명하기 위한 도면이다.
도 2(a)에 도시된 바와 같이 원격 제어 장치(200)에서 모드 변경 명령이 수신된다(S11), 예를 들어, 디스플레이 장치(100)가 포인팅 모드로 동작하는 경우라면, 제스처 모드로 변경하기 위한 모드 변경 명령이 수신될 수 있고, 디스플레이 장치(100)가 제스처 모드로 동작하는 경우라면, 포인팅 모드로 변경하기 위한 모드 변경 명령이 수신될 수 있다. 디스플레이 장치(100)는 포인터를 포함하는 UI 화면을 제공할 수 있다포인팅 모드에서 UI 화면에 표시된 포인터는 적어도 하나의 컨텐츠를 포인팅하는 기능을 할 수 있으며, 원격 제어 장치(200)의 회전 방향 및 화전 정도에 따라 포인터도 UI 화면 상에서 이동하게 된다. 예를 들어, 포인터가 손 모양 포인터의 경우 포인팅하는 형태의 손 모양 포인터가 될 수 있다. 한편, 포인팅 모드에서는 상술한 바와 같이 절대 좌표 방식을 이용하여 화면 상에 표시된 포인터의 표시 위치를 이동시킬 수 있다. 제스처 모드에서 디스플레이 장치(100)는 상술한 포인팅 형태의 손 모양 포인터를 팜 형태의 손 모양 포인터로 변경하여 디스플레이할 수 있다. 또한, 디스플레이 장치(100)는 화면 상에 제스처 입력을 가이드하는 가이드 GUI를 팜 형태의 손 모양 포인터와 함께 디스플레이할 수 있다. 여기서, 가이드 GUI는 UI 화면의 타입에 따라 다른 형태가 될 수 있다. 예를 들어, 가이드 GUI 는 현재 UI 화면 상에 적용될 수 있는 제스처 방향을 가이드하는 화살표 형태가 될 수 있다.
이어서, 원격 제어 장치(200)가 움직임을 감지하면(S12), 원격 제어 장치(200)는 감지된 움직임에 대응되는 움직임 정보를 생성한다(S13)예를 들어, “우측 방향으로 5도 회전”에 대응되는 움직임 정보를 생성할 수 있다.
이어서, 원격 제어 장치(200)는 S11 단계에서 수신된 모드 변경 명령에 따른 디스플레이 장치의 동작 모드에 관한 정보 및 S13 단계에서 생성된 움직임 정보를 디스플레이 장치(100)로 전송한다(S14). 여기서, 동작 모드에 관한 정보는 포인팅 모드 또는 제스처 모드를 나타내는 정보가 될 수 있다.
이 경우, 디스플레이 장치(100)는 수신된 동작 모드에 관한 정보 및 움직임 정보에 기초하여 디스플레이 장치(100)의 동작을 제어하기 위한 제어 신호를 생성한다(S15).
구체적으로, 수신된 모드 정보가 포인팅 모드 정보인 경우 수신된 움직임 정보를 포인팅 모드에 대응되는 제어 신호로 변환하여 생성하고, 수신된 동작 모드에 관한 정보가 제스처 모드 정보인 경우 수신된 움직임 정보를 제스처 모드에 대응되는 제어 신호로 변환하여 생성할 수 있다. 예를 들어, 수신된 동작 모드에 관한 정보가 포인팅 모드를 나타내고, 수신된 움직임 정보가 우측 방향으로 10도 회전하는 정보인 경우 화면 상에 디스플레이된 포인터를 그에 대응되는 좌표만큼 이동시키기 위한 제어 신호를 생성할 수 있다. 또는, 수신된 동작 모드에 관한 정보가 제스처 모드를 나타내고, 수신된 움직임 정보가 우측 방향으로 10도 회전하는 정보이며 해당 움직임 정보에 대응되는 제스처에 화면 전환 명령이 매핑되어 있는 경우, 화면 상에 디스플레이된 UI 화면 페이지를 다음 UI 화면 페이지로 전환하여 표시하기 위한 제어 신호를 생성할 수 있다.
이어서, 디스플레이 장치(100)는 생성된 제어 신호에 대응되는 동작을 수행하게 된다(S16).
도 2(b)는 도 1에 도시된 디스플레이 시스템의 제2 실시 예에 따른 동작을 설명하기 위한 도면이다.
도 2(b)에 도시된 단계 중 S21 내지 S23 단계는 도 2(a)에 도시된 설명과 동일하므로 자세한 설명은 생략하도록 한다.
이어서, 원격 제어 장치(200)는 S21 단계에서 수신된 모드 변경 명령에 따른 모드 정보 및 S23 단계에서 생성된 움직임 정보에 기초하여 제어 신호를 생성한다(S24). 즉, 원격 제어 장치(200)는 수신된 모드 정보가 포인팅 모드 정보인 경우 수신된 움직임 정보를 포인팅 모드에 대응되는 제어 신호로 변환하여 생성하고, 수신된 모드 정보가 제스처 모드 정보인 경우 수신된 움직임 정보를 제스처 모드에 대응되는 제어 신호로 변환하여 생성할 수 있다. 즉, 원격 제어 장치(200)는 수신된 모드 정보 및 움직임 정보에 기초하여 제어 신호를 생성하기 연산 기능을 구비하는 형태로 구현될 수 있다.
이어서, 원격 제어 장치(200)는 생성된 제어 신호를 디스플레이 장치(100)로 전송한다(S25).
이 경우, 디스플레이 장치(100)는 수신된 제어 신호에 대응되는 동작을 수행하게 된다(S26). 즉, 디스플레이 장치(100)는 도 2(a)에 도시된 실시 예와 달리 별다른 연산 동작을 수행하지 않고, 동작을 수행할 수 있게 된다.
예를 들어, 현재 디스플레이된 UI 페이지를 다음 UI 페이지로 변경하는 동작에 대응되는 제어 신호가 수신되면, 수신된 제어 신호에 대응되는 동작을 수행할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3(a)에 따르면, 디스플레이 장치(100)는 통신부(110), 디스플레이부(120) 및 제어부(130)를 포함한다. 이하에서는 디스플레이 장치(100)의 동작을 상술한 제1 실시 예 및 제2 실시 예에 따라 나누어 설명하도록 한다.
[제1 실시 예에 따른 디스플레이 장치(100)의 동작]
디스플레이 장치(100)는 디지털 TV, PC, 노트북 등으로 구현가능하지만, 이에 한정되는 것은 아니며, 디스플레이 기능을 구비하며 원격 제어가 가능한 디바이스라면 한정되지 않고 적용될 수 있다.
통신부(110)는 원격 제어 장치(200)와 통신을 수행할 수 있다. 구체적으로, 통신부(110)는 BT(BlueTooth), Zigbee, WI-FI(Wireless Fidelity), IR(Infrared), Serial Interace, USB(Universal Serial Bus) 등과 같은 다양한 통신 방식을 통해 원격 제어 장치(200)와 통신을 수행할 수 있다.
구체적으로, 통신부(110)는 원격 제어 장치(200)로부터 동작 모드에 관한 정보 및 원격 제어 장치(100)의 움직임 정보를 수신할 수 있다. 여기서, 동작 모드에 관한 정보는 포인팅 모드 또는 제스처 모드를 나타내는 정보로서 다양한 형태로 구현될 수 있다. 예를 들어, 모드 정보는 플래그 형태로 구현될 수 있는데, 포인팅 모드인 경우 플래그는 ‘0’ 값을 나타내고, 제스처 모드인 경우 플래그는 ‘1’ 값을 나타낼 수 있다. 즉, 원격 제어 장치(200)는 모드 변경을 위한 사용자 명령에 따라 ‘0’ 또는 ‘1’ 값을 나타내는 플래그 정보를 생성할 수 있게 된다.
한편, 동작 모드에 관한 정보는 움직임 정보가 전송될 때마다 매회 함께 전송될 수도 있으나, 경우에 따라서는 모드 변경 명령이 있는 경우에만 전송되는 것도 가능하다. 후자의 경우 디스플레이 장치(100)는 동작 모드에 관한 정보가 전송된 후 변경된 동작 모드에 관한 정보가 재전송되기 전까지 수신되는 움직임 정보에 대해서는 동일한 동작 모드에 대응되는 움직임 정보로 인식하게 된다.
또한, 통신부(110)는 원격 제어 장치(200)로부터 선택 신호 등을 수신할 수도 있다. 예를 들어, 포인팅 모드에서 포인터가 위치한 컨텐츠를 선택하기 위한 선택 신호가 수신될 수 있으며,이 경우, 선택 신호는 원격 제어 장치(200)에 구비된 제2 버튼부(미도시)를 통해 입력될 수 있다.
또한, 통신부(110)는 경우에 따라서는 원격 제어 장치(200)로 정보를 전송할 수도 있다. 예를 들어, 디스플레이 장치(100)가 파워 오프되는 경우, 원격 제어 장치(200)로 파워 오프 신호를 전송하여 원격 제어 장치(200)가 자동으로 파워 오프되도록 할 수 있다.
디스플레이부(120)는 디스플레이 장치(100)을 통해 제공 가능한 다양한 디스플레이 화면을 제공할 수 있다.
특히, 디스플레이부(120)는 사용자 인터페이스가 가능한 다양한 UI 화면을 디스플레이할 수 있다.
또한, 디스플레이부(120)는 제어부(130)의 제어에 따라 디스플레이 장치(100)의 동작 모드에 대응되는 GUI를 디스플레이할 수 있다.
구체적으로, 디스플레이부(120)는 포인팅 모드에서 디스플레이된 UI 화면에 커서, 마우스 커서, 하이라이트 표시와 같은 포인터를 디스플레이할 수 있다. 또한, 디스플레이부(120)는 포인팅 모드에서 원격 제어 장치(200)로부터 수신된 움직임 정보에따라 포인터의 위치를 이동시켜 디스플레이할 수 있다.
또한, 디스플레이부(120)는 포인팅 모드에서 제스처 모드로 변경되는 경우, 디스플레이된 UI 화면에 제스처 입력을 가이드하는 가이드 GUI를 디스플레이할 수 있다. 여기서, 가이드 GUI는 제스처 방향을 나타내는 화살표 형태의 큐(cue)가 될 수 있으나, 이에 한정되는 것은 아니다.
여기서, 디스플레이부(120)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등과 같은 다양한 디스플레이로 구현될 수 있다.
제어부(130)는 디스플레이 장치(100)의 전반적인 동작을 제어하는 기능을 한다.
제어부(130)는 원격 제어 장치(200)로부터 수신된 동작 모드에 관한 정보에 기초하여, 수신된 움직임 정보를 디스플레이 장치(100)를 제어하기 위한 제어 신호로 변환하고, 변환된 제어 신호에 따라 디스플레이 장치(100)의 동작을 제어할 수 있다. 구체적으로, 제어부(130)는 수신된 움직임 정보를 제어 신호 매핑 테이블을 이용하여 디스플레이 장치(100)의 기능에 적용되는 제어 신호 형태로 변환하고 변환된 제어 신호를 이용하여 디스플레이 장치(100)의 기능을 제어할 수 있다. 특히, 제어부(130)는 디스플레이 장치(100)의 동작 모드에 따라따라 대응되는 형태의 GUI를 제공하도록 디스플레이부(120)를 제어할 수 있다.
예를 들어, 디스플레이부(120)에 UI 화면이 디스플레이되면 기본적으로 디스플레이 장치(100)는 포인팅 모드로 동작하고, 그에 대응되는 GUI를 디스플레이할 수 있다. 또한, 수신된 모드 정보에 따라 제스처 모드로 동작하는 경우 그에 대응되는 GUI을 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 여기서, GUI는 UI 화면 상에서 다양한 인디케이팅 기능을 수행하는 오브젝트로써, 상술한 포인터, 커서, 마우스 커서 등과 같은 형태로 구현될 수 있다.
구체적으로, 원격 제어 장치(200)로부터 제스처 모드에 대응되는 모드 정보가 수신되면, 화면에 디스플레이된 오브젝트의 형태를 변경하여 디스플레이할 수 있다. 예를 들어, 오브젝트가 손 모양의 포인터인 경우 포인팅 모드에서는 검지 손가락만 핀 포인팅(pointing) 형태의 손 모양을 디스플레이하고, 제스처 모드에서는 모든 손가락을 다 핀 팜(palm) 형태의 손 모양을 디스플레이할 수 있다.
또한, 제어부(130)는 제스처 모드에서 제공되는 UI 화면에서 입력 가능한 조작 상태에 따라 오브젝트의 형상, 색상, 크기, 위치 및 방향 중 적어도 하나를 변경하여 디스플레이할 수 있다. 예를 들어, 오브젝트가 손 모양의 포인터이고, 제스처 모드에서 화면 줌 인/아웃 조작이 가능한 상태인 경우, 줌 인 상태에서는 손 모양의 포인터 크기를 확대시켜 표시하고, 줌 아웃 상태에서는 손 모양 포인터의 크기를 축소시켜 표시할 수 있다.
또한, 제어부(130)는 제스처 모드에서원격 제어 장치(200)를 통한 제스처 입력을 가이드하는 방향성을 갖는 형태의 가이드 GUI(Graphic User Interface)를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 예를 들어, 제스처 모드에서 좌우 플리킹(flicking) 조작이 가능한 경우 좌우 화살표 방향의 가이드 GUI를 디스플레이할 수 있다.
또한, 제어부(130)는 포인팅 모드에서 원격 제어 장치(200)의 회전 방향 및 회전 정도 중 적어도 하나에 따라 UI 화면에 표시된 포인터의 이동 방향 및 이동 정도 중 적어도 하나를 변경하여 표시하도록 디스플레이부(120)를 제어할 수 있다. 이 경우 상술한 바와 같이 절대 좌표 방식을 이용할 수 있다.
또한, 제어부(130)는 제스처 모드에서 원격 제어 장치(200)를 디스플레이부(120)의 화면에 평행한 XY축 상에서 회전시키는 제스처가 입력되면, UI 화면을 XY축 방향에 시스템적으로 매칭된 타 UI 화면으로 변경하여 표시하도록 디스플레이부(120)를 제어할 수 있다.
또한, 제어부(130)는 제스처 모드에서 원격 제어 장치(200)를 디스플레이부(120)의 화면에 수직인 Z축 상에서 회전시키는 제스처가 입력되면, 원격 제어 장치(200)의 회전 상태에 따라 UI 화면 상에서 선택된 컨텐츠를 줌 인(Zoom In) 또는 줌 아웃(Zoom Out)시켜 표시하도록 제어할 수 있다.
[제2 실시 예에 따른 디스플레이 장치의 동작]
제2 실시 예에 따른 디스플레이 장치의 동작 중 제1 실시 예에 따른 디스플레이 장치의 동작과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
통신부(110)는 원격 제어 장치(200)와 통신을 수행할 수 있다. 구체적으로, 통신부(110)는 BT(BlueTooth), Zigbee, WI-FI(Wireless Fidelity), IR(Infrared), Serial Interace, USB(Universal Serial Bus) 등과 같은 다양한 통신 방식을 통해 원격 제어 장치(200)와 통신을 수행할 수 있다.
구체적으로, 통신부(110)는 원격 제어 장치(200)를 통해 입력된 모드 정보 및 원격 제어 장치(200)의 움직임 정보에 기초하여 생성된 제어 신호를 수신할 수 있다. 즉, 제1 실시 예와 달리 통신부(110)는 별다른 연산 없이 디스플레이 장치(100)를 제어할 수 있는 형태를 갖는 제어 신호를 원격 제어 장치(200)로부터 수신할 수 있다.
디스플레이부(120)는 디스플레이 장치(100)을 통해 제공 가능한 다양한 디스플레이 화면을 제공할 수 있으며, 디스플레이부(120)에서 디스플레이되는 내용은 제1 실시 예와 동일하므로 자세한 설명은 생략하도록 한다.
제어부(130)는 원격 제어 장치(200)로부터 수신된 제어 신호에 기초하여 디스플레이 장치(100)의 동작을 제어할 수 있다. 구체적으로, 제어부(130)는 포인팅 모드에서 모드에서 수신된 제어 신호에 따라 포인터의 이동 상태를 제어하는 동작을 수행하고, 제스처 모드에서 수신된 제어 신호에 대응되는 화면 전환 동작을 수행할 수 있다. 제어부(130)의 디스플레이부(120)에 대한 제어 동작은 제1 실시 예와 동일하므로 자세한 설명은 생략하도록 한다.
도 3(b)는 도 3(a)에 도시된 디스플레이 장치의 세부 구성을 나타내는 블럭도이다.
이하에서는 설명의 편의를 위하여 제1 실시 예에 해당하는 디스플레이 장치의 세부 구성을 중점적으로 설명하도록 한다. 제2 실시 예의 경우 디스플레이 장치는 원격 제어 장치로부터 전송된 제어 신호에 따라 동작하므로 자세한 설명을 생략하도록 한다.
도 3(b)에 도시된 바에 따르면, 디스플레이 장치(100')는 통신부(110), 디스플레이부(120), 제어부(130), 저장부(140), 영상 수신부(150), 영상 처리부(160), 사용자 인터페이스부(170) 및 UI 처리부(180)를 포함한다. 도 3(b)에서는 도 3(a)에 도시된 디스플레이 장치(100)가 디지털 TV로 구현되는 경우를 상정하여 설명하도록 한다. 또한, 도 3(b)에 도시된 구성 중 도 3(a)에 도시된 구성 요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
저장부(140)는 디스플레이 장치(100')을 동작시키기 위해 필요한 각종 데이터 및 프로그램 등이 저장되는 저장매체로서, 메모리, HDD(Hard Disk Drive) 등으로 구현가능하다.
특히, 저장부(140)는 제스처 모드에서 원격 제어 장치(200)로부터 수신된 음직임 정보에 대응되는 제어 정보를 저장할 수 있다. 구체적으로, 저장부(140)는 제스처 모드에서 원격 제어 장치(200)로부터 수신된 움직임 정보에 대응되는 제어 신호를 테이블 형태로 저장할 수 있다. 예를 들어, 원격 제어 장치(200)로부터 수신된 좌측 방향에서 우측 방향으로 플릭하는 제스처(예를 들어, 원격 제어 장치(200)를 좌우 방향으로 회전시키는 동작)에 대응되는 움직임 정보에 대해서는 UI 화면 전환 명령에 대응되는 제어 신호를, 전후 방향 이동 제스처(예를 들어, 원격 제어 장치(200)를 전후 방향으로 회전시키는 동작)에 대응되는 움직임 정보에 대해서는 컨텐츠 줌 인/아웃 명령에 대응되는 을 매칭하여 저장할 수 있다.
영상 수신부(150)는 안테나, 케이블 등을 통해 방송 컨텐츠를 수신하거나, 외부기기나, 외부 통신망으로부터 영상 컨텐츠를 수신하는 기능을 한다.
구체적으로, 영상 수신부(150)는 네트워크(Network) 또는 공중파(Air)를 통해 다양한 영상 컨텐츠를 수신할 수 있다. 여기서, 컨텐츠는 VOD 컨텐츠와 같은 기제작된 컨텐츠, 방송 컨텐츠 등 다양한 종류의 컨텐츠가 될 수 있다.
이 경우, 영상 수신부(150)는 다양한 형태로 구현 가능하다. 예를 들어, 디스플레이 장치(100)가 디지털 TV로 구현되는 경우 영상 수신부(110)는 셋탑 박스(Set-top box), 튜너, 외부 입력 포트, 네트워크 통신 모듈 등으로 구현될 수 있다.
영상 처리부(160)는 영상 수신부(150)를 통해 수신된 다양한 신호를 신호 처리하는 기능을 한다. 이에 따라 영상 처리부(160)는 디모듈레이터, 디코더, A/D 컨버터, 스케일러 등의 신호 처리 요소를 포함할 수 있다.
사용자 인터페이스부(170)는 다양한 사용자 신호를 입력받는 기능을 한다.
여기서, 사용자 인터페이스부(170)는 디스플레이 장치(100)의 기기 종류에 따라 다양한 형태로 구현 가능하다. 예를 들어, 디스플레이 장치(100)가 디지털 TV로 구현되는 경우 사용자 인터페이스부(170)는 리모콘 신호를 수신하는 상술한 통신부(110)로 구현될 수도 있다.
또는, 사용자 인터페이스부(170)는 복수 개의 키를 포함하는 입력 패널 또는, 디스플레이와 터치 패드가 상호 레이어 구조를 이루는 터치 스크린 형태로 구현되는 것도 가능하다.
UI 처리부(180)는 제어부(130)의 제어에 따라 디스플레이부(120)에 출력되는 영상에 오버랩되어 표시되는 다양한 UI 요소를 생성하는 기능을 한다. 여기서, UI 처리부(미도시)는 2D 또는 3D 형태의 UI 요소를 생성할 수 있다.
또한, UI 처리부(180)는 제어부(130)의 제어에 따라 UI 요소의 2D/3D 전환, 투명도, 색상, 크기, 형태 및 위치 조정, 하이라이트, 애니메이션 효과 등의 작업을 수행할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 제어부(130)의 세부 구성을 설명하기 위한 도면이다.
도 4에 따르면, 제어부(130)는 시스템 메모리(131), 메인 CPU(132), 이미지 프로세서(133), 네트워크 인터페이스(134), 저장부 인터페이스(135), 제1 내지 n 인터페이스(136-1 ~ 136-n), 오디오 처리부(137), 시스템 버스(138)를 포함한다.
시스템 메모리(131), 메인 CPU(132), 이미지 프로세서(133), 네트워크 인터페이스(134), 저장부 인터페이스(135), 제1 내지 n 인터페이스(136-1 ~ 136-n), 오디오 처리부(137)들은 시스템 버스(138)를 통해 서로 연결되어, 각종 데이터나 신호 등을 송수신할 수 있다.
제1 내지 n 인터페이스(136-1 ~ 136-n)는 디스플레이부(120)를 비롯한 다양한 구성요소들과 제어부(130) 내의 각 구성요소들 간의 인터페이싱을 지원한다. 또한, 제1 내지 n 인터페이스(136-1 ~ 136-n) 중 적어도 하나는 디스플레이 장치(100)의 본체 부분에 마련된 버튼이나, 외부 입력 포트 1 내지 n을 통해 연결된 외부 장치로부터 각종 신호를 수신하는 입력 인터페이스로 구현될 수도 있다.
시스템 메모리(151)는 ROM(131-1) 및 RAM(131-2)을 포함한다. ROM(131-1)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(132)는 ROM(131-1)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(131-2)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(132)는 저장부(140)에 저장된 각종 어플리케이션 프로그램을 RAM(131-2)에 복사하고, RAM(131-2)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
이상과 같이, 메인 CPU(132)는 저장부(140)에 저장된 어플리케이션 프로그램의 실행에 따라 다양한 동작을 수행할 수 있다.
저장부 인터페이스(135)는 저장부(140)와 연결되어 각종 프로그램, 컨텐츠, 데이터 등을 송수신한다.
일 예로, 원격 제어 장치(200)로부터 제어 신호가 수신되면, 메인 CPU(132)는 저장부 인터페이스(135)를 통해 저장부(140)에 액세스하여, 제어 신호에 매핑된 제어 정보를 독출한 후, 독출된 제어 정보를 이용하여 디스플레이 장치(100)의 동작을 제어할 수 있다.
이미지 처리부(133)는 디코더, 렌더러, 스케일러 등을 포함할 수 있다. 이에 따라, 저장된 컨텐츠를 디코딩하고, 디코딩된 컨텐츠 데이터를 렌더링하여 프레임을 구성하고, 구성된 프레임의 사이즈를 디스플레이부(120)의 화면 크기에 맞게 스케일링한다. 이미지 처리부(133)는 처리된 프레임을 디스플레이부(120)로 제공하여, 디스플레이한다.
그 밖에, 오디오 처리부(137)는 오디오 데이터를 처리하여 스피커(미도시)와 같은 음향 출력 수단으로 제공하는 구성요소를 의미한다. 오디오 처리부(137)는 저장부(140)에 저장된 오디오 데이터나 외부로부터 수신된 오디오 데이터를 디코딩하고, 노이즈 필터링한 후, 적정 데시벨로 증폭하는 등의 오디오 신호 처리를 수행할 수 있다. 상술한 예에서, 재생되는 컨텐츠가 동영상 컨텐츠인 경우, 오디오 처리부(137)는 동영상 컨텐츠로부터 디먹싱된 오디오 데이터를 처리하여 이미지 처리부(133)와 동기시켜 출력할 수 있도록 스피커(미도시)로 제공할 수 있다.
네트워크 인터페이스(134)는 네트워크를 통해 외부 장치들과 연결되는 부분이다. 가령, 메인 CPU(132)는 본 발명에 따른 정보 제공 서비스를 제공하는 어플리케이션이 구동되면, 네트워크 인터페이스(134)를 통해서 원격 제어 장치(200)와 통신을 수행할 수 있다.
한편, 상술한 제어부(130)의 동작은 저장부(140)에 저장된 각종 프로그램의 실행에 의해 구현될 수 있다.
도 5는 상술한 다양한 실시 예에 따른 제어부(130)의 동작을 지원하기 위한 저장부(140)의 소프트웨어 구조를 나타내는 도면이다. 도 5에 따르면, 저장부(140)에는 베이스 모듈(510), 디바이스 관리 모듈(520), 통신 모듈(530), 프리젠테이션 모듈(540), 웹 브라우저 모듈(550) 및 서비스 모듈(560)을 포함한다.
베이스 모듈(510)이란 디스플레이 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈을 의미한다.
베이스 모듈(510)은 스토리지 모듈(511), 위치 기반 모듈(512), 보안 모듈(513), 네트워크 모듈(514) 등을 포함한다.
스토리지 모듈(511)이란 데이터베이스(DB)나 레지스트리를 관리하는 프로그램 모듈이다. 위치 기반 모듈(512)이란 GPS 칩과 같은 하드웨어와 연동하여 위치 기반 서비스를 지원하는 프로그램 모듈이다. 보안 모듈(513)이란 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 프로그램 모듈이고, 네트워크 모듈(514)이란 네트워크 연결을 지원하기 위한 모듈로 DNET 모듈, UPnP 모듈 등을 포함한다. 예를 들어, 네트워크 모듈(514)을 통해 외부 서버(미도시) 등과 네트워크 연결을 수행할 수 있다.
디바이스 관리 모듈(520)은 외부 입력 및 외부 디바이스에 대한 정보를 관리하고, 이를 이용하기 위한 모듈이다. 디바이스 관리 모듈(520)은 센싱 모듈(521), 디바이스 정보관리 모듈(522), 원격 제어 모듈(523) 등을 포함할 수 있다. 예를 들어, 디바이스 관리 모듈(520)을 통해 원격 제어 장치(200) 등에 대한 정보를 관리할 수 있게 된다.
센싱 모듈(521)은 각종 센서 데이터를 분석하는 모듈이다. 예를 들어, 센싱 모듈(521)은 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수 있다.
디바이스 정보 관리 모듈(522)은 각종 디바이스에 대한 정보를 제공하는 모듈이며, 원격 제어 모듈(523)은 전화기나 프린터, 카메라, 에어컨 등과 같은 주변 디바이스를 원격적으로 제어하는 동작을 수행하는 프로그램 모듈이다.
통신 모듈(530)은 외부와 통신을 수행하기 위한 모듈이다. 통신 모듈(530)은 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈(531), 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈 등을 포함하는 전화 모듈(532)을 포함할 수 있다.
프리젠테이션 모듈(540)은 디스플레이 화면을 구성하기 위한 모듈이다. 프리젠테이션 모듈(540)은 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈(541), UI 및 그래픽 처리를 수행하는 UI & 그래픽 모듈(542)을 포함한다. 멀티미디어 모듈(541)은 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행한다. UI & 그래픽 모듈(542)은 이미지를 조합하는 이미지 합성기(Image Compositor module)(542-1), 이미지를 디스플레이할 화면 상의 좌표를 조합하여 생성하는 좌표 조합 모듈(542-2), 하드웨어로부터 각종 이벤트를 수신하는 X11 모듈(542-3), 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷(542-4) 등을 포함할 수 있다. 예를 들어, 프리젠테이션 모듈(540)을 통해 포인팅 모드 또는 제스처 모드에 대응되는 UI 화면을 구성할 수 있게 된다.
웹 브라우저 모듈(550)은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 웹 브라우저 모듈(550)은 웹페이지를 구성하는 웹 뷰(web view) 모듈, 다운로드를 수행하는 다운로드 에이전트 모듈, 북마크 모듈, 웹킷(Webkit) 모듈 등과 같은 다양한 모듈을 포함할 수 있다.
그 밖에, 서비스 모듈(560)은 다양한 서비스를 제공하기 위한 어플리케이션 모듈을 의미한다. 예를 들면, 서비스 모듈(560)은 지도나 현재 위치, 랜드 마크, 경로 정보 등을 제공하는 네비게이션 서비스 모듈, 게임 모듈, 광고 어플리케이션 모듈 등과 같은 다양한 모듈을 포함할 수 있다.
제어부(130) 내의 메인 CPU(132)는 저장부 인터페이스(135)를 통해서 저장부(140)에 액세스하여, 저장부(140)에 저장된 각종 모듈들을 RAM(131-2)에 복사하고, 복사된 모듈의 동작에 따라 동작을 수행한다.
일 예로, 상술한 포인팅 모드 또는 제스처 모드에 대응되는 GUI 표시 동작인 경우라면, 메인 CPU(132)는 프리젠테이션 모듈(540) 내의 이미지 조합 모듈(542-1)을 이용하여, GUI 화면을 구성한다. 그리고, 좌표 조합 모듈(542-2)을 이용하여, GUI 화면의 표시 위치를 결정하고, 그 위치에 GUI 화면을 표시하도록 디스플레이부(120)를 제어한다.
또는 메시지 수신 동작에 대응되는 사용자 조작이 이루어진 경우에는, 메인 CPU(132)는 메시징 모듈(541)을 실행시켜, 메시지 관리 서버로 액세스한 후, 사용자 계정에 저장된 메시지를 수신한다. 그리고, 메인 CPU(132)는 프리젠테이션 모듈(540)을 이용하여, 수신된 메시지에 대응되는 화면을 구성한 후, 디스플레이부(120)에 표시한다.
이 밖에, 전화 통화 동작을 수행하는 경우에는 메인 CPU(132)는 전화 모듈(532)을 구동시킬 수도 있다.
이상과 같이 저장부(140)에는 다양한 구조의 프로그램이 저장되어 있을 수 있으며, 제어부(130)는 저장부(140)에 저장된 각종 프로그램을 이용하여 상술한 다양한 실시 예에 따른 동작을 수행할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 원격 제어 장치의 구성을 나타내는 블럭도이다.
[제1 실시 예에 따른 원격 제어 장치의 동작]
도 6에 도시된 바에 따르면, 원격 제어 장치(200)는 감지부(210), 움직임 정보 생서부(220), 동작 모드 변경부(230) 및 출력부(240)를 포함한다.
감지부(210)는 원격 제어 장치(200)의 3차원 움직임을 감지한다. 구체적으로, 감지부(210)는 가속도 센서, 자이로 센서, 지자기 센서 중 적어도 하나 이상을 포함할 수 있다. 감지부(210)에 포함된 각종 센서는, 하나 또는 둘 이상의 조합을 통하여 원격 제어 장치(200)의 3차원 움직임을 감지할 수 있다. 여기서, 3차원 움직임은 원격 제어 장치(200)의 회전 상태가 될 수 있다.
가속도 센서는 원격 제어 장치(200)의 공간상 움직임을 측정하는 센서이다. 즉, 가속도 센서는 사용자가 원격 제어 장치(200)를 이동시킬 때 발생하는 가속도의 변화 및 각가속도의 변화 중 적어도 하나를 감지할 수 있다. 여기서, 가속도 센서는 서로 직교하는 3개의 축에 대하여 직선 속도의 증감분을 측정하는 3축 가속도 센서로 구현될 수 있다. 이에 따라 가속도 센서를 이용하여 원격 제어 장치(200)의 움직임 가속도 관련 정보와 움직이지 않는 상태에서 중력 가속도 성분을 이용하여 기울어짐과 관련된 정보를 획득할 수 있다.
자이로(gyro) 센서는 원격 제어 장치(200)의 회전 각속도를 측정하는 관성 센서이다. 즉, 회전하는 물체가 가진 관성력을 이용하여 회전하는 방향과 속도를 알 수 있는 센서를 의미한다. 자이로 센서는 서로 직교하는 3개의 축에 대하여 회전각의 증감분을 측정하는 3축 각속도 센서로 구현될 수 있다.
지자기 센서는 방위각(azimuth)을 측정하는 센서이다. 즉, 지자기 센서는 지구의 남북 방향으로 형성되어 있는 자기장(magnetic field)을 감지하여 방위각을 측정하는 센서를 의미한다. 여기서, 지자기 센서는 서로 직교하는 3개의 축에 대하여 자기의 세기와 방향을 측정하는 3축 지자기 센서로 구현될 수 있다. 지자기 센서로 측정되는 북쪽 방향은 자북(magnetic north)일 수 있다. 다만, 지자기 센서가 자북의 방향을 측정한다고 하더라도, 내부적인 연산을 거쳐 진북(true north)의 방향을 출력할 수도 있음은 물론이다.
그 밖에 감지부(210)는 선택적으로 거리 센서를 더 포함할 수 있다. 여기서, 거리 센서는 원격 제어 장치(200)와 디스플레이 장치(100) 사이의 거리를 측정하는 센서이다. 즉, 사용자가 원격 제어 장치(200)를 사용하는 순간의 위치와 디스플레이 장치(100) 사이의 거리를 감지할 수 있다.
움직임 정보 생성부(220)는 감지부(210)에서 감지된 원격 제어 장치(200)의 움직임에 기초하여 움직임 정보를 생성하는 기능을 한다.
구체적으로, 움직임 정보 생성부(220)는 감지부(210)에서 감지된 원격 제어 장치(200)에 대한 회전 각도 및 회전 방향을 감지하고, 그에 대응되는 정보 예를 들어, “우측 방향으로 30 도 회전”과 같은 움직임 정보를 생성할 수 있다.
동작 모드 변경부(230)는 포인팅 모드 및 제스처 모드 사이에서 동작 가능한 디스플레이 장치(100)의 동작 모드를 변경하기 위한 동작 모드에 관한 정보를 제공한다.
구체적으로, 동작 모드 변경부(230)는 동작 모드 변경을 위한 사용자 명령을 입력받는 제1 버튼부(미도시)를 포함할 수 있다. 이 경우, 제1 버튼부(미도시)에 대한 누름 조작이 있는 경우 동작 모드에 관한 정보는 외부 기기가 제스처 모드임을 나타내는 정보를 포함하고, 제1 버튼부(미도시)에 대한 누름 조작이 해제되어 있는 경우, 동작 모드에 관한 정보는 외부 기기가 포인팅 모드임을 나타내는 정보를 포함할 수 있다.
예를 들어, 모드 정보는 포인팅 모드 또는 제스처 모드를 나타내는 정보로서 다양한 형태로 구현될 수 있다. 예를 들어, 모드 정보는 플래그 형태로 구현될 수 있는데, 포인팅 모드인 경우 플래그는 ‘0’ 값을 나타내고, 제스처 모드인 경우 플래그는 ‘1’ 값을 나타낼 수 있다. 즉, 동작 모드 변경부(230)는 모드 변경을 위한 사용자 명령에 따라 ‘0’ 또는 ‘1’ 값을 나타내는 플래그 정보를 생성할 수 있다.
출력부(240)는 원격 제어 장치(200)와 연결된 디스플레이 장치(100)로 원격 제어 장치에 관한 정보를 출력한다. 여기서, 원격 제어 장치에 관한 정보는 움직임 정보 생성부(220)에서 생성된 움직임 정보 및 동작 모드 변경부(230)에 의해 생성된 동작 모드에 관한 정보가 될 수 있다.
이 경우, 출력부(240)는 BT(BlueTooth), Zigbee, WI-FI(Wireless Fidelity), IR(Infrared), Serial Interace, USB(Universal Serial Bus) 등과 같은 다양한 통신 방식을 통해 디스플레이 장치(100)로 원격 제어 장치에 관한 정보를 전송할 수 있다.
그 밖에 출력부(240)는 후술하는 입력부(250)를 통해 입력된 사용자 명령에 대응되는 신호 등을 디스플레이 장치(100)로 출력할 수 있다.
[제2 실시 예에 따른 원격 제어 장치의 동작]
제2 실시 예의 경우, 감지부(210), 움직임 정보 생성부(220), 동작 모드 변경부(230)의 동작은 제1 실시 예의 경우와 유사하므로 자세한 설명은 생략하도록 한다.
다만, 동작 모드 변경부(230)에서 생성된 디스플레이 장치(100)의 동작 모드를 변경하기 위한 동작 모드에 관한 정보는 디스플레이 장치(100)로 전송되지 않고 원격 제어 장치(200) 내에서 제어 신호 생성에 이용될 수 있다. 이에 따라 동작 모드 변경부(230)에서 생성된 동작 모드에 관한 정보는 제1 실시 예와 같이 플래그 형태로 구현될 필요는 없으며 모드 전환을 위한 사용자 명령이 입력됨을 식별할 수 있는 정도의 다양한 형태로 구현될 수 있으나, 경우에 따라서는 제1 실시 예와 동일하게 플래그 형태로 구현되는 것도 가능하다.
이 경우, 원격 제어 장치(200)는 움직임 정보 생성부(220)에서 생성된 움직임 정보 및 동작 모드 변경부(230)를 통해 획득된 동작 모드에 관한 정보를 이용하여 디스플레이 장치(100)를 제어하기 위한 제어 신호를 생성할 수 있다. 이에 대해서는 원격 제어 장치의 세부 구성을 나타내는 도 7을 참고하여 후술하도록 한다.
도 7은 도 6에 도시된 원격 제어 장치의 세부 구성을 나타내는 블럭도이다.
감지부(210)는 원격 제어 장치(200)의 움직임을 센싱하기 위한 구성요소이다. 감지부(210)는 가속도 센서(211), 각속도 센서(212), 지자기 센서(213), 및 터치 센서(214) 등과 같은 다양한 센서를 포함할 수 있다.
가속도 센서(211)는 움직임 발생시 가속도 및 가속도의 방향을 측정할 수 있는 센서이다. 구체적으로는, 가속도 센서(211)는 그 센서가 부착된 원격 제어 장치(200)의 움직임 가속에 대응되는 센싱 값과 기울기에 따라 변화되는 중력 가속도에 대응되는 센싱 값을 출력한다. 제어부(260)는 가속도 센서(211)의 출력값을 이용하여 원격 제어 장치(200)의 움직임 가속도와 움직이지 않는 상태에서 중력 가속도 성분을 이용하여 기울어진 정도를 판단할 수 있다.
각속도 센서(212)는 회전 운동이 일어나면, 그 속도 방향으로 작용하는 코리올리의 힘을 측정하여, 각속도를 검출하는 센서이다. 제어부(260)는 각속도 센서(212)의 측정 값을 이용하여서도 원격 제어 장치(200)의 회전을 검출할 수 있다.
지자기 센서(213)는 2축 또는 3축 플럭스게이트를 이용하여 지구의 자기나 주변 자성 성분 물체의 자기를 감지하는 센서이다. 제어부(260)는 지자기 센서(213)에서 감지된 지자기 값을 이용하여, 자기의 방향과 세기를 측정할 수 있으며, 이를 바탕으로 방위각을 산출할 수 있다. 이에 따라, 원격 제어 장치(200)가 어느 방향으로 회전하였는지 여부를 판단할 수 있다.
터치 센서(214)는 사용자의 터치 조작을 감지할 수 있다. 터치 센서(214)는 정전식 또는 감압식으로 구현될 수 있다. 정전식 터치 센서는 원격 제어 장치(200)의 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 원격 제어 장치(200)의 표면에 터치되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식의 센서를 의미한다. 감압식 터치 센서는 원격 제어 장치(200)에 내장된 두 개의 전극 판을 포함하여, 사용자가 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식의 터치 센서를 의미한다. 그 밖에 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력측정 방식, 피에조 효과 방식 등이 터치 조작을 감지하는데 이용될 수 있으며, 이에 대한 자세한 설명은 생략하도록 한다.
출력부(240)는 블루투스 칩(241), 와이파이 칩(242), IR 통신 칩(243) 등과 같은 다양한 통신 방식에 따른 하드웨어를 포함한다. 이들 칩은 구현상 원 칩으로 집적화되어 사용될 수도 있고, 도 7에서와 같이 별개의 칩으로 사용될 수도 있다.
블루투스 칩(241), 와이파이 칩(242), IR 통신 칩(243)은 각각 블루투스 방식, WiFi 방식, IR 방식으로 통신을 수행한다. 이 중 블루투스 칩이나 와이파이 칩을 이용하는 경우에는 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결을 수행한 후 각종 정보들을 송수신할 수 있다. 그 밖에, 3G, 4G 등과 같이 이동 통신 망을 이용하거나, 인터넷 망을 이용하여 다양한 방식의 무선 통신을 수행할 수도 있다.입력부(250)는 모드 전환 버튼부(251), 선택 버튼부(252), 4방향 입력부(253), 터치 입력부(254) 및 전원 버튼부(255)를 포함한다.
입력부(250)는 다양한 사용자 명령을 입력받는 기능을 한다.
구체적으로, 입력부(250)는 선택 버튼부(251), 4방향 입력부(252) 및 터치 입력부(253)를 포함한다.
선택 버튼부(251)는 선택 명령을 입력받을 수 있다.
특히, 선택 버튼부(251)는 포인팅 모드에서 디스플레이 장치(100)의 화면 상에 디스플레이된 포인터가 위치된 오브젝트를 선택하기 위한 사용자 명령을 입력받을 수 있다. 즉, 디스플레이 장치(100)의 화면 상에 디스플레이된 포인터가 특정 컨텐츠 상에 위치된 상태에서 선택 버튼부(251)가 누름 조작되면, 해당 오브젝트가 선택되어 대응되는 기능이 실행될 수 있다. 예를 들어, 해당 컨텐츠가 특정 어플리케이션의 아이콘 인터페이스인 경우 해당 어플리케이션 실행 화면이 디스플레이될 수 있다.
또한, 선택 버튼부(251)는 제공된 UI 화면의 특성에 따라 엔터 키, 확인 키 등의 기능을 수행할 수 있다.
4방향 입력부(252)는 선택 버튼부(251)의 외곽에 배치되며, 4방향 조작을 위한 사용자 명령을 입력받는 기능을 한다.
한편, 선택 버튼부(251) 및 4방향 입력부(252)는 터치 센서 및 광학 기술을 응용한 OJ(optical Joystick) 센서 중 적어도 하나를 포함하는 형태로 구현될 수 있다.
터치 입력부(253)는 상이한 기능이 매핑된 복수의 터치 영역을 포함하는 형태로 구현될 수 있다. 구체적으로, 터치 입력부(253)는 채널 전환 기능, 볼륨 조정 기능, 메뉴 기능 등과 같은 상이한 기능이 매핑된 복수의 터치 영역을 포함할 수 있다.
전원 버튼부(254)는 전원 ON/OFF를 위한 사용자 명령을 입력받는 기능을 한다.
또한, 도면에는 도시되지 않았지만, 원격 제어 장치(200)는 전원 버튼부(254)에 전원이 ON되는 경우 원격 제어 장치(200)의 기준 상태 및 포인터의 표시 위치를 매핑하기 위한 센터링 버튼부(미도시)를 더 포함할 수 있다. 또는, 상술한 다양한 버튼들이 센터링 버튼부(미도시)의 기능을 수행하도록 구현되는 것도 가능하다. 예를 들어, 원격 제어 장치(200)의 전원이 ON되면 원격 제어 장치(200)는 디스플레이 장치(100)와 페어링 동작을 수행할 수 있다. 페어링이 완료된 후, 사용자가 센터링 버튼부(미도시)을 누름 조작하게 되면 디스플레이 장치(100)의 디스플레이 화면의 센터에는 포인터가 디스플레이되고, 원격 제어 장치(200)의 현재 상태는 디스플레이 화면의 센터에 디스플레이된 포인터의 위치에 매칭될 수 있다. 다만, 디스플레이 화면의 센터가 기준점이 되는 것은 일 실시 예에 불과하며, 기준점은 디스플레이 화면의 다른 위치에 설정되는 것도 가능하다.
제어부(260)는 원격 제어 장치(200)의 전반적인 동작을 제어하는 기능을 한다. 예를 들어, 제어부(260)는 CPU(Central processing unit) 또는 MCU(Microcontroller unit) 등으로 구현 가능하다.
한편, 제어부(260)의 기능은 상술한 제1 및 제2 실시 예에 따라 상이하므로 경우를 나누어 설명하도록 한다.
[제1 실시 예]
제1 실시 예에 있어서, 제어부(260)는 상술한 감지부(210), 움직임 정보 생성부(220), 동작 모드 변경부(230) 및 출력부(240)의 동작을 제어할 수 있다.
예를 들어, 디스플레이 장치(100)의 동작 모드를 변경하기 위한 사용자 명령이 입력되면, 디스플레이 장치(100)의 동작 모드를 변경하기 위한 동작 모드에 관한 정보를 생성하도록 동작 모드 변경부(230)를 제어할 수 있다.
또한, 제어부(240)는 감지부(210)에서 원격 제어 장치(200)의 움직임이 감지되면, 감지된 원격 제어 장치(200)의 움직임에 기초하여 움직임 정보를 생성하도록 움직임 정보 생성부(220)를 제어할 수 있다.
또한, 제어부(240)는 동작 모드에 관한 정보 및 움직임 정보를 포함하는 원격 제어 장치에 관한 정보를 디스플레이 장치(100)로 출력하도록 출력부(240)를 제어할 수 있다.
[제2 실시 예]
제어부(260)는 움직임 정보 생성부(220) 및 동작 모드 변경부(230) 에서 생성된 움직임 정보 및 동작 모드에 관한 정보에 기초하여 디스플레이 장치(100)를 움직임 정보 및 동작 모드에 관한 정보를 기 정의된 신호 처리 알고리즘을 통해 분석하여 디스플레이 장치(100)를 제어하기 위한 제어 신호를 생성할 수 있다.
구체적으로, 제어부(260)는 동작 모드에 관한 정보가 제스처 모드를 나타내는 경우, 움직임 정보를 제스처 인식 알고리즘을 통해 분석하여 분석된 제스처에 대응되는 제어 신호를 디스플레이 장치(100)로 출력하도록 제어할 수 있다.
또한, 제어부(260)는 동작 모드에 관한 정보가 포인팅 모드를 나타내는 경우, 움직임 정보를 신호 처리 알고리즘을 통해 분석하여 포인터 위치 제어를 위한 절대 좌표 값을 산출하고, 산출된 절대 좌표 값을 디스플레이 장치(100)로 전송하여 포인터의 이동 상태를 제어하도록 할 수 있다.
또한, 제어부(260)는 선택 버튼부(251)가 선택되면, 그에 대응되는 신호를 디스플레이 장치(100)로 전송하여 선택 버튼부(251)가 선택된 시점에 포인터가 위치된 컨텐츠가 디스플레이 장치(100)에서 선택되도록 할 수 있다. 즉, 제2 실시 예에 있어서 원격 제어 장치(200)는 동작 모드 변경부(230) 를 통해 결정된 포인팅 모드 또는 제스처 모드에 기초하여 움직임 정보 생성부(220)를 통해 획득된 움직임 정보를 해당 모드에 대응되도록 변환하여 디스플레이 장치(100)를 제어하기 위한 제어 신호를 생성할 수 있다. 이에 따라 원격 제어 장치(200)는 제1 실시 예와 달리 포인팅 제어 모드 또는 제스처 제어 모드로 동작하게 된다.
한편, 상술한 제어부(260)의 동작은 저장부(미도시)에 저장된 프로그램에 의해 이루어질 수 있다.
즉, 저장부(미도시)에는 원격 제어 장치(200)를 구동시키기 위한 O/S(Operating System) 소프트웨어, 감지부(210)에서 감지된 감지 신호에 대한 연산을 수행하기 위한 신호 처리 알고리즘(제2 실시 예의 경우) 등과 같이 다양한 데이터가 저장될 수 있다. 제어부(260)는 저장부(미도시)에 저장된 각종 프로그램을 이용하여 원격 제어 장치(200)의 동작을 전반적으로 제어한다.
구체적으로는, 제어부(240)는 RAM(241), ROM(242), 메인 CPU(243), 제1 내지 n 인터페이스(244-1 ~ 244-n), 버스(245)를 포함한다.
RAM(241), ROM(242), 메인 CPU(243), 제1 내지 n 인터페이스(244-1 ~ 244-n) 등은 버스(245)를 통해 서로 연결되어, 각종 데이터나 신호 등을 송수신할 수 있다.
제1 내지 n 인터페이스(244-1 ~ 244-n)는 도 7에 도시된 각종 구성 요소들 뿐만 아니라, 그 밖의 구성 요소들과도 연결되어 메인 CPU(243)가 액세스할 수 있도록 한다.
메인 CPU(243)는 저장부(미도시)에 액세스하여, 저장부(미도시)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(미도시)에 저장된 각종 프로그램, 데이터 등을 이용하여 다양한 동작을 수행한다.
구체적으로는, ROM(242)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(243)는 ROM(242)에 저장된 명령어에 따라 저장부(미도시)에 저장된 O/S를 RAM(241)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(243)는 저장부(미도시)에 저장된 각종 프로그램을 RAM(241)에 복사하고, RAM(241)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
상술한 바와 같이 제어부(240)는 저장부(미도시)에 저장된 프로그램을 RAM(241)에 복사하고 실행시켜, 다양한 동작을 수행할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 신호 처리 알고리즘의 형태를 설명하기 위한 블럭도이다.
도 8에 도시된 바와 같이 센서 측정값을 수신하는 블럭 1(711), 전처리 수행 블럭 2(712), 자세 추정 블럭 3(713), 움직임 구별 블럭 4(714), 캘리브레이션 수행 블럭 5(715), 사용자 의도 분석 블럭 6(716), 게인 함수 적용 블럭 7(717) 및 제스처 인식 블럭 8(718)을 포함한다. 도 7에 도시된 신호 처리 알고리즘은 상술한 CPU 또는 MCU에서 수행될 수 있다.
블럭 1(711)은 감지부(220)로부터 센싱된 다양한 센서값을 수신한다. 예를 들어, 블럭 1(711)은 가속도 센서, 자이로 센서, 지자기 센서 중 적어도 하나를 통해 센싱된 센서값을 수신할 수 있다.
블럭 2(712)는 수신된 센서값에 대한 전처리를 수행하는 기능을 하며, 구체적으로 센서값에 대한 물리량 변환, 센서축 변환 기능 및 저역 통과 필터링 기능을 수행한다.
예를 들어, 디지털 값으로 변환된 센서 값은 신호 처리 알고리즘에 적용가능한 실제 물리량으로 변환된다(물리량 변환). 또한, 가속도, 각속도, 지자기 센서의 개별 축을 하나의 정의된 축으로 맞추는 작업을 수행할 수 있다(센서축 변환). 또한, 저역 통과 필터링을 통해 센서의 전기적 잡음과 의도하지 않은 고주파 움직임을 제거할 수 있다(저역 통과 필터링).
블럭 3(713)는 각 센서 값으로부터 자세(Pose) 또는 자세각(Eular Angle(Roll, Pitch, Yaw(heading))을 추정한다. 이 경우, Kalman Filter에 의한 추정 방법이 적용될 수 있다.
블럭 4(714)는 센서 신호를 이용하여 움직임 상태를 구별하는 블럭으로, 원격 제어 장치(200)가 움직이지 않고 있는지, 천천히 움직이는지, 빨리 움직이는지 등을 판단할 수 있다.
블럭 5(715)는 캘리브레이션 작업을 진행하며, 블럭 4(714)에서 원격 제어 장치(200)가 움직이지 않는다고 판단되면 즉, Zero-Rate라고 판단되면, 이 때 각속도 센서의 출력값의 평균을 구한 후에 이 값을 각속도 센서의 출력값에서 빼주어 각속도 센서의 오프셋(Offset) 값을 보상할 수 있다.
블럭 6(716)은 사용자가 원격 제어 장치(200)를 움직이려한 것인지, 멈추려고 한 것인지, 어떠한 것을 클릭하기 위한 것인지 등을 분석하여 구분하는 역할을 수행한다.
블럭 7(717)은 블럭 3(713)으로부터 출력된 Yaw angle, Pitch angle을 각각 디스플레이 장치(100)의 X, Y 좌표로 변환한다. 이렇게 변환된 좌표를 이용하여 마우스 커서의 위치를 지정할 수 있게 된다.
블럭 8(718)은 블럭 2(712)로부터 출력된 신호를 이용하여 지정된 제스처에 대한 제스처 인식을 수행할 수도 있다.
이 후, 블럭 7(717)로부터 출력된 X, Y 좌표를 디스플레이 장치(100)의 UI 화면에서 포인터의 X, Y 좌표에 매핑하여 포인터의 좌표를 지정할 수 있다.
또한, 블럭 8(718)로부터의 출력된 Euler angles(Roll, Pitch, Yaw) 또는 블럭 7(717)로부터 출력된 X, Y 좌표를 이용하여 UI 화면에서 기설정된 이벤트를 발생시켜 대응되는 동작이 수행되도록 할 수 있다.
한편, 상술한 신호 처리 알고리즘에 따른 연산 동작은 원격 제어 장치(200)의 제어부(260) 또는 디스플레이 장치(100)의 제어부(130)에서 처리될 수 있다.
도 9는 도 6 및 도 7에 도시된 원격 제어 장치(200)의 외관을 도시한 도면으로, 도 9(a)는 원격 제어 장치(200)의 사시도이고, 도 9(b)는 도 9(a)에 표시된 "b"방향에서 바라본 도면이고, 도 9(c)는 도 9(a)에 표시된 "c"방향에서 바라본 도면이다. 도 10은 원격 제어 장치(200)의 모드 전환 버튼부(231)를 복수 개를 구비한 예를 나타내는 도면이다.
도 9(a)를 참고하면, 원격 제어 장치(200)는 사용 시 손에 주는 피로감을 최소화하도록 손을 자연스럽게 오므렸을 때의 자세를 고려하여, 원격 제어 장치(200)의 전면 상측이 전면 하측보다 더 돌출되도록 형성하고 상부는 후측으로 갈수록 점차 완만한 곡률로 하향 경사지게 형성되는 것이 바람직하다.
이 경우, 원격 제어 장치(200)는 도 9(c)에 도시된 바와 같이 그립감을 향상시킬 수 있도록 전면과 좌/우측면이 각각 오목하게 라운딩 형성된다. 이에 따라 사용자는 원격 제어 장치(200)를 손으로 편안하게 감싸 쥔 상태로 손이나 손목에 무리를 주지 않는 상태로 사용할 수 있다.
원격 제어 장치(200)는 사용자가 원격 제어 장치(200)를 손으로 감싸 쥐는 경우 다섯 손가락 중 대략 중지(F2) 및 약지(F3)가 위치하게 되는 원격 제어 장치(200)의 전면 또는 전면과 양측면에 걸쳐 모드 전환 버튼부(231)가 배치될 수 있고, 엄지(F1)가 위치하는 원격 제어 장치(200)의 상부 또는 상부의 앞부분에 선택 버튼부(251)가 배치될 수 있다(도 11 참조).
이와 같은 모드 전환 버튼부(231)와 선택 버튼부(251)의 배치는 원격 제어 장치(200)를 손으로 감싸 쥔 상태에서 모드 전환 버튼부(231)와 선택 버튼부(251)를 누르는 동작을 자연스럽게 행할 수 있는 손가락 들(F1~F3)의 위치를 고려하여 설정될 수 있다.
한편, 본 실시예에서는 모드 전환 버튼부(231)를 단일로 형성한 것을 예로 들어 설명하지만, 이에 제한되지 않고, 도 10에 도시된 바와 같이 원격 제어 장치(200')가 복수 개의 모든 전환 버튼부(231'231'')를 구비하는 것도 가능하다. 이 경우, 다섯 손가락 중 각각 중지와 약지에 의해 복수 개의 모드 전환 버튼부(231',231'')가 조작될 수 있도록 모드 전환 버튼부(231',231'')를 상하로 배치되는 것이 바람직하다.
또한, 복수 개로 이루어진 모드 전환 버튼부(231',231'')를 구비한 경우,각 모드 전환 버튼부(231',231'')가 단독으로 조작되거나 또는 동시에 조작됨에 따라 서로 다른 소정의 신호를 발생하도록 구현하는 것도 물론 가능하다.
4방향 입력부(233) 및 터치 입력부(234)는 원격 제어 장치(200)의 상부에 형성될 수 있으며, 바람직하게는 4방향 입력부(252)가 선택 버튼부(251)를 둘러싸도록 배치되고, 터치 입력부(253)가 선택 버튼부(251)를 둘러싸도록 배치될 수 있다. 즉, 선택 전원부(251)가 가장 내측에 위치하고 선택 전원부(251)로부터 점차 외측으로 갈수록 범위가 확대되면서 4방향 입력부(252) 및 터치 입력부(253)를 배치할 수 있다.
이러한 4방향 입력부(252) 및 터치 입력부(253)의 배치는 원격 제어 장치(200)를 감싸 쥔 상태에서 다섯 손가락 중 상대적으로 움직임이 가장 자유로운 엄지로 용이하게 조작할 수 있도록 고려한 것이다.
터치 입력부(253)는 도 9(b)와 같이 우측에는 채널 조정 영역이 설정되고, 좌측에는 볼륨 조정 영역이 설정되며, 상측에는 메뉴 영역 등 상이한 기능이 매핑된 복수의 터치 영역이 포함될 수 있다.
전원 버튼부(254)는 상술한 각 버튼부에 비하여 손가락의 접근이 비교적 용이하지 못한 위치에 설정하도록 원격 제어 장치(200)의 상부 후방에 배치할 수 있다. 이러한 전원 버튼부(254)의 배치는 원격 제어 장치(200) 사용 중 실수로 전원 버튼부(254)가 눌려져 전원이 OFF되는 경우를 최소화할 수 있다.
상술한 바와 같이 본 실시예에서는 다섯 손가락을 모두 사용할 수 있는 사용자를 기준으로 원격 제어 장치(200)를 사용하는 방법에 대하여 설명하지만, 이에 제한되지 않고 사용자에 따라 가장 적합한 손가락을 사용하여 원격 제어 장치(200)의 각 버튼부를 조작하는 것도 물론 가능하다.
도 11은 본 발명의 다양한 실시 예에 따른 원격 제어 장치의 조작 형태를 설명하기 위한 도면이다.
도 11(a)에 도시된 바와 같이 사용자는 모드 전환 버튼부(231)의 누름 상태가 해제된 조작을 통해 디스플레이 장치(100)의 포인팅 모드를 선택할 수 있다. 이와 같이 디스플레이 장치(100)가 포인팅 모드에 있는 경우 디스플레이 장치(100)에서 제공되는 UI 화면에는 도시된 바와 같은 포인팅(pointing) 형태의 포인터가 디스플레이 될 수 있다.
도 11(b)에 도시된 바와 같이 모드 전환 버튼부(231)의 누름 상태를 유지하는 그립 조작을 통해 디스플레이 장치(100)의 제스처 모드를 선택할 수 있다. 이와 같이 디스플레이 장치(100)가 제스처 모드에 있는 경우 디스플레이 장치(100)에서 제공되는 UI 화면에는 도시된 바와 같은 팜(palm) 형태의 포인터가 디스플레이될 수 있다.
이 경우, 해당 UI 화면에서는 원격 제어 장치(200)의 제스처 동작을 통해 플리킹(flicking) 조작, 줌 인/아웃(zoom in/out) 조작 등이 가능할 수 있다. 예를 들어, 표시된 UI 화면을 다른 UI 화면으로 전환하는 플리킹 조작, 새로운 메뉴 화면을 디스플레이하기 위한 플리킹 조작, 디스플레이된 컨텐츠에 대한 줌 인/아웃 기능을 수행하기 위한 줌 인/아웃 조작 등이 가능할 수 있다.
상술한 바와 같이, 디스플레이 장치(100)는 기본적으로 포인팅 모드로 동작할 수 있으며, 모드 전환 버튼부(231)의 누름 상태를 유지하는 그립 조작이 있는 경우 제스처 모드로 동작할 수 있게 된다.
도 11(c)에 도시된 바와 같이 사용자는 모드 전환 버튼부(231) 및 선택 버튼부(251)의 누름 상태를 유지하는 조작을 통해 패닝(panning) 조작을 수행할 수 있다. 이 경우, 디스플레이 장치(100)에서 제공되는 UI 화면에는 도시된 바와 같은 그립(grip) 형태의 포인터가 디스플레이될 수 있다. 예를 들어, 원격 제어 장치(200)를 특정 방향으로 회전시키는 조작이 있는 경우 화면 상에 확대되어 표시된 컨텐츠 이미지가 해당 방향으로 이동되어 표시될 수 있다. 즉, 특정 컨텐츠가 선택된 상태에서 원격 제어 장치(200)를 상하좌우 방향으로 회전시키면 디스플레이된 컨텐츠 이미지가 원격 제어 장치(200)의 회전 방향에 대응되는 방향으로 이동될 수 있다. 이에 따라 그립 형태의 포인터를 통해 사용자에게 컨텐츠를 잡고 움직이는 듯한 직관적인 인식을 제공할 수 있게 된다.
도 12는 본 발명의 일 실시 예에 따른 포인팅 모드에서의 동작 상태를 설명하기 위한 도면이다.
도 12에 도시된 바와 같이 디스플레이 장치(100)가 포인팅 모드에 있는 경우, 디스플레이 장치(100)는 포인팅 모드에 대응되는 GUI를 디스플레이할 수 있다. 즉, 화면 상에 포인팅 형태의 손모양 포인터(10)가 디스플레이될 수 있다.
포인팅 형태의 포인터(10)가 컨텐츠 A(121) 상에 위치한 상태에서 사용자가 원격 제어 장치(200)를 우측으로 회전시키면, 화면 상에 표시된 포인팅 형태의 포인터(10)는 컨텐츠 A(121)의 우측에 위치한 컨텐츠 B(122) 상으로 이동할 수 있다.
구체적으로, 화면 상에 표시된 포인팅 형태의 포인터(10)는 원격 제어 장치(200)의 회전 방향 및 회전 정도에 대응되도록 이동할 수 있으며, 절대 좌표 방식에 기초하여 이동할 수 있다. 여기서, 절대 좌표 방식은 절대 좌표 영역에서 포인터가 이동하는 방식으로, 화면에 표시된 포인터가 기설정된 기준점을 중심으로 하여 이동하는 방식이라는 점에서 포인터의 이동이 직전 포인터의 위치를 기준으로 하는 상대 좌표 방식과 차이가 있다.
도 13은 본 발명의 일 실시 예에 따른 모드 전환에 따른 동작 상태를 설명하기 위한 도면이다.
도 13의 첫번째 도면에 도시된 바와 같이 디스플레이 장치(100)가 포인팅 모드에 있는 경우, 디스플레이 장치(100)의 화면에는 포인팅 모드임을 나타내는 포인팅 형태의 포인터(10)가 디스플레이될 수 있다.
이어서, 디스플레이 장치(100)가 제스처 모드로 전환되면, 디스플레이 장치(100)의 화면 표시된 포인터(10)는 제스처 모드임을 나타내는 팜 형태의 포인터(11)로 변경되어 디스플레이되고, 제스처 입력 방향을 가이드하는 가이드 GUI(21-1, 21-2)가 디스플레이될 수 있다. 예를 들어, 도시된 바와 같이 좌우측에 시스템적으로 새로운 UI 페이지가 나열되어 있는 경우 좌우측 플리킹 제스처가 가능함을 나타내는 좌우 화살표 방향의 가이드 GUI(21-1, 21-2)가 디스플레이될 수 있다.
또한, 원격 제어 장치(200)가 좌측으로 회전되면, 팜 형태의 포인터(11)가 실제 사용자의 좌측 방향 플리킹 손 동작과 동일한 형태로 각도가 변경된 포인터(12)로 변경되어 디스플레이되고, 좌측 방향을 가이드하는 가이드 GUI(21-1)는 하이라이트되는 형태로 디스플레이될 수 있다. 예를 들어, 일반적으로 터치 스크린 상에서 플리킹 조작을 수행하는 경우 사용자의 손 각도가 변경되므로 이와 유사하게 포인터의 형태도 동일한 형태로 변경되어 디스플레이될 수 있다. 이에 따라 사용자에게 터치 스크린 상에서 플리킹 조작을 수행하는 것과 같은 직관적인 인식을 제공할 수 있게 된다.
또한, 원격 제어 장치(200)의 회전 방향에 따라 화면 상에 표시된 UI 화면의 이동 방향이 제어될 수 있다. 예를 들어, 도시된 바와 같이 원격 제어 장치(200)가 좌측으로 회전되면, UI 화면도 좌측으로 이동되어 표시될 수 있다. 즉, 중앙에 디스플레이된 컨텐츠들은 좌측으로 이동되어 디스플레이되고, 우측에는 보이지 않던 컨텐츠들이 디스플레이될 수 있다.
도 14는 본 발명의 일 실시 예에 따른 제스처 모드에서의 동작 상태를 설명하기 위한 도면이다.
도 14에 도시된 바와 같이 화면 상에 특정 컨텐츠가 디스플레이된 상태에서 사용자가 원격 제어 장치(200)에 구비된 모드 전환 버튼(예를 들어, 도 4(b)에 도시된 모드 전환 버튼부(231)을 누름 조작하면, 디스플레이 장치(100)는 제스처 모드로 동작하고 화면 상에 제스처 입력이 가능함을 알려주는 가이드 GUI(22-1 내지 22-4)가 디스플레이된다.
이어서, 사용자가 모드 전환 버튼(231)을 누름 조작한 상태에서 원격 제어 장치(200)를 특정 방향으로 회전시키면 회전 방향에 대응되는 영역에 기설정된 메뉴가 디스플레이될 수 있다. 예를 들어, 도시된 바와 같이 원격 제어 장치(200)를 우측 방향으로 회전시키면 좌측 영역에 컨텐츠 리스트가 디스플레이될 수 있다.
또한, 사용자가 모드 전환 버튼의 누름 조작을 해제하게 되면, 디스플레이 장치(100)는 포인팅 모드로 동작하게 된다. 이 경우, 원격 제어 장치(200)의 회전 상태에 따라 포인팅 형태의 포인터(14)가 이동될 수 있다. 예를 들어, 도시된 바와 같이 포인팅 형태의 포인터(14)가 특정 컨텐츠 C(123)에 위치된 상태에서 사용자가 원격 제어 장치(200)를 하측 방향으로 회전시키면, 포인팅 형태의 포인터(14)가 회전 정도에 따라 하측 방향의 컨텐츠 D(124)로 이동될 수 있다.
이 후, 포인팅 형태의 포인터(14)가 컨텐츠 D(124)에 위치된 상태에서 원격 제어 장치(200)에 구비된 선택 버튼을 누름 조작하면, 선택된 컨텐츠 D(124)가 실행되어 화면 상에 디스플레이된다.
도 15는 본 발명의 다른 실시 예에 따른 제스처 모드에서의 동작 상태를 설명하기 위한 도면이다.
도 15에 도시된 바와 같이 포인팅 모드에서 포인팅 형태의 포인터(15)가 컨텐츠 E(125)에 위치된 상태에서 원격 제어 장치(200)에 구비된 선택 버튼(예를 들어, 도 9(b)의 선택 버튼부(232))을 누름 조작하면, 선택된 컨텐츠 E(125)가 디스플레이 장치(100)의 화면 상에 디스플레이되게 된다.
이어서, 사용자가 원격 제어 장치(200)에 구비된 모드 전환 버튼(예를 들어, 도 9(b)의 모드 전환 버튼부(231))을 누름 조작하면, 화면 상에 표시된 포인팅 형태의 포인터(15)는 제스처 모드임을 나타내는 형태의 팜 형태의 포인터(16)로 변경되고 제스처 입력이 가능함을 가이드하는 가이드 GUI(23-1, 23-2)가 디스플레이될 수 있다.
또한, 사용자가 모드 전환 버튼을 누름 조작한 상태에서 원격 제어 장치(200)를 사용자로부터 먼 위치로 이동시키면 화면에 디스플레이된 컨텐츠가 줌 아웃(Zoom Out)되어 디스플레이될 수 있다. 여기서, 먼 위치로의 이동은 원격 제어 장치(200)를 디스플레이 장치(100)를 향하는 방향으로 회전하는 상태가 될 수 있다.
또한, 사용자가 모드 전환 버튼을 누름 조작한 상태에서 원격 제어 장치(200)를 사용자로부터 가까운 위치로 이동시키면 화면에 디스플레이된 컨텐츠가 줌 인(Zoom In)되어 디스플레이될 수 있다. 여기서, 가까운 위치로의 이동은 원격 제어 장치(200)를 디스플레이 장치(100) 반대 방향으로 회전하는 상태가 될 수 있다.
도 16은 본 발명의 또 다른 실시 예에 따른 제스처 모드에서의 동작 상태를 설명하기 위한 도면이다.
도 16에 도시된 바와 같이 포인팅 모드에서 포인팅 형태의 포인터(15)가 컨텐츠 E(125)에 위치된 상태에서 원격 제어 장치(200)에 구비된 선택 버튼(예를 들어, 도 9(b)의 선택 버튼부(232))을 누름 조작하면, 선택된 컨텐츠 E(125)가 디스플레이 장치(100)의 화면 상에 디스플레이되게 된다.
이어서, 사용자가 모드 전환 버튼(예를 들어, 도 9(b)의 모드 전환 버튼부(231))을 누름 조작한 상태에서 선택 버튼의 누름 조작 상태를 유지하는 경우, 포인팅 형태의 포인터(15)는 패닝 조작이 가능함을 나타내는 형태의 그립 형태의 포인터(17)로 변경되고 제스처 입력이 가능함을 가이드하는 가이드 GUI(24-1 내지 24-4)가 디스플레이될 수 있다.
또한, 사용자가 모드 전환 버튼 및 선택 버튼을 누름 조작한 상태에서 원격 제어 장치(200)를 상하좌우 방향으로 회전시키면 화면에 디스플레이된 컨텐츠에 대한 패닝(panning) 조작이 수행될 수 있다. 예를 들어, 도시된 바와 같이 사용자가 모드 전환 버튼 및 선택 버튼을 누름 조작한 상태에서 원격 제어 장치(200)를 우측 방향으로 회전시키면 화면에 표시된 컨텐츠도 우측 방향으로 이동되어 표시될 수 있다.
다만, 상술한 실시 예에서는 사용자가 모드 전환 버튼 및 선택 버튼을 동시에 누름 조작한 상태에서 패닝 조작이 수행되는 것으로 설명하였지만, 이는 일 실시 예에 불과하며, 모드 전환 버튼의 누름 조작 없이 선택 버튼의 누름 조작을 유지하는 상태에서도 패닝 조작은 수행될 수 있다.
도 17은 본 발명의 일 실시 예에 따른 원격 제어 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 17에 도시된 바에 따르면, 원격 제어 장치(200)는 디스플레이 장치(100)와 통신을 수행한다(S1610). 예를 들어, 원격 제어 장치(200) 및 디스플레이 장치(100)가 블루투스 방식을 통해 통신을 수행하는 경우, 원격 제어 장치(200)가 파워 온 되면, 원격 제어 장치(200)는 디스플레이 장치(100)를 탐색하고 디스플레이 장치(100)와 페어링을 수행할 수 있다.
페어링 이후, 디스플레이 장치(100)는 포인팅 모드로 동작할 수 있다. 구체적으로, 원격 제어 장치(200)를 통해 사용자 명령이 입력되면, 디스플레이 장치(100)의 화면 상에 포인터가 디스플레이되고, 디스플레이된 포인터의 위치와 원격 제어 장치(200)의 현재 상태가 매핑될 수 있다.
이어서, 원격 제어 장치(200)의 움직임이 감지되면(S1620:Y), 감지된 움직임에 대응되는 움직임 정보를 생성한다(S1630).
이 후, 생성된 움직임 정보 및 디스플레이 장치(100)의 동작 모드에 관한 정보를 디스플레이 장치(100)로 전송한다. 여기서, 동작 모드에 관한 정보는 포인팅 모드 또는 제스처 모드에 관한 정보가 될 수 있다.
한편, 포인팅 모드에서 원격 제어 장치(200)의 움직임 상태에 따라 디스플레이 장치(100)의 화면에 표시된 포인터의 이동 상태를 제어될 수 있다여기서, 움직임 상태는 상술한 바와 같이 원격 제어 장치(200)의 회전 상태가 될 수 있다. 또한, 제스처 모드에서 원격 제어 장치(200)의 움직임 상태에 따라 디스플레이 장치(100)의 화면의 표시 상태가 제어될 수 있다. 예를 들어, 메뉴 화면이 디스플레이되거나, 다른 UI 화면이 디스플레이되는 등의 화면 전환이 이루어질 수 있다.
한편, 모드 전환이 아닌 사용자 명령이 입력되는 경우, 원격 제어 장치(200)는 입력된 명령에 대응되는 제어 신호를 디스플레이 장치(100)로 전송할 수 있다. 예를 들어, 컨텐츠 선택 명령, 포인터 이동 명령 등이 입력되면, 해당 명령에 대응되는 제어 신호를 디스플레이 장치(100)로 전송할 수 있다.
도 18은 본 발명의 일 실시 예에 따른 원격 제어 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 18에 도시된 바에 따르면, 디스플레이 장치(100)는 기설정된 이벤트에 따라 UI 화면이 디스플레이되는 경우, UI 화면 상에 인디케이팅 기능을 수행하는 오브젝트를 디스플레이한다(S1710). 여기서, 기설정된 이벤트는, 원격 제어 장치(200)와 연결이 수행된 시점, 연결된 원격 제어 장치(200)에서 특정 버튼이 입력된 시점 등이 될 수 있다.
이어서, 원격 제어 장치(200)로부터 수신된 동작 모드에 관한 정보에 따라 오브젝트의 형태를 변경하여 디스플레이할 수 있다(S1720).
구체적으로, 디스플레이 장치(100)는 원격 제어 장치(200)로부터 포인팅 모드를 나타내는 동작 모드에 관한 정보가 수신되면, UI 화면 상에 상술한 포인팅 형태의 손모양 포인터를 디스플레이하고, 원격 제어 장치(200)로부터 제스처 모드를 나타내는 동작 모드에 관한 정보가 수신되면, 팜 형태의 손 모양 포인터를 디스플레이할 수 있다.
또한, 제스처 모드에서 원격 제어 장치(200)를 통한 플리킹 조작이 입력되는 경우, 플리킹 손 동작에 대응되는 형태로 손 모양 포인터를 디스플레이할 수 있다.
또한, 제스처 모드에서 패닝 조작이 가능한 경우에는 손모양 포인터를 그립 형태로 변경하여 디스플레이할 수 있다. 각 손 모양 형태의 포인터에 대한 구체적인 형태에 대해서는 상술한 바 있으므로 더 이상의 설명은 생략하도록 한다.
또한, 디스플레이 장치(100)는 제스처 모드에서 제스처 입력을 가이드하는 가이드 GUI를 디스플레이할 수 있다.
예를 들어, 플리킹 조작이 가능한 경우에는 좌우 제스처 입력을 가이드하는 좌우 화살표 방향의 가이드 GUI를, 줌 인/아웃 조작이 가능한 경우에는 상하 제스처 입력을 가이드하는 상하 화살표 방향의 가이드 GUI를, 패닝 조작이 가능한 경우에는 상하좌우 제스처 입력을 가이드 하는 상하좌우 화살표 방향의 가이드 GUI를 디스플레이할 수 있다.
이상 설명한 바와 같이 본 발명의 다양한 실시 예에 따르면, 사용자에게 직관적인 원격 제어 방법을 제공할 수 있게 된다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 디스플레이 장치나 사용자 단말 장치에 대한 소프트웨어 업그레이드만으로도 구현될 수 있다.
또한, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 디스플레이 장치 및 원격 제어 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 디스플레이 장치 및 원격 제어 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 110: 통신부
120: 디스플레이부 130: 제어부
200: 원격 제어 장치 210: 감지부
220: 움직임 정보 생성부 230: 동작 모드 변경부
240: 출력부

Claims (16)

  1. 포인팅 모드 및 제스처 모드를 포함하는 복수의 동작 모드를 갖는 외부 디스플레이 장치에 대한 원격 제어 신호를 제공하는 원격 제어 장치에 있어서,
    UI 화면을 제공하는 상기 외부 디스플레이 장치로 상기 원격 제어 신호를 출력하는 신호 출력부;
    상기 원격 제어 장치의 움직임을 감지하는 감지부;
    상기 외부 디스플레이 장치의 상기 동작 모드에서 상기 포인팅 모드 및 상기 제스처 모드 중 하나를 선택하기 위한 사용자 명령을 수신하는데 이용되는 제1 버튼부 및 상기 UI 화면에 디스플레이된 오브젝트를 선택하기 위한 사용자 명령을 수신하는데 이용되는 제2 버튼부를 포함하는 입력부;
    상기 제1 버튼부를 통해 사용자 명령이 입력되면, 상기 포인팅 모드 및 상기 제스처 모드 중 하나를 선택하기 위한 사용자 명령에 관한 정보 및 상기 검출된 움직임에 관한 정보를 출력하도록 상기 신호 출력부를 제어하는 제어부;를 포함하며,
    상기 포인팅 모드는 상기 감지부에 의해 감지된 상기 원격 제어 장치의 움직임에 따라 상기 UI 화면 상에 디스플레이된 오브젝트의 움직임을 제어하기 위한 모드이며, 상기 제스처 모드는 상기 원격 제어 장치의 기설정된 제스처에 따라 상기 UI 화면의 디스플레이 상태를 제어하기 위한 모드인 것을 특징으로 하는 원격 제어 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 제1 버튼부가 누름 조작되는 동안, 상기 포인팅 모드 및 상기 제스처 모드 중 하나를 선택하기 위한 사용자 명령에 관한 정보를 연속적으로 출력하는 것을 특징으로 하는 원격 제어 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 제1 버튼부가 누름 조작 및 상기 누름 조작이 해제되는 시점에, 상기 포인팅 모드 및 상기 제스처 모드 중 하나를 선택하기 위한 사용자 명령에 관한 정보를 출력하는 것을 특징으로 하는 원격 제어 장치.
  4. 제1항에 있어서,
    상기 감지부는,
    가속도 센서, 가속도 센서 및 지자기 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 원격 제어 장치.
  5. 원격 제어 신호를 제공하는 원격 제어 장치에 의해 제어되며, 포인팅 모드 및 제스처 모드를 포함하는 복수의 동작 모드를 갖는 디스플레이 장치에 있어서,
    상기 원격 제어 장치로부터, 상기 원격 제어 장치의 움직임에 관한 정보, 상기 포인팅 모드 및 상기 제스처 모드 중 하나를 선택하기 위한 사용자 명령에 관한 정보 및 아이템 선택에 관한 정보를 포함하는 원격 제어 신호를 수신하는 수신부;
    인디케이팅 기능을 수행하는 포인팅 오브젝트를 갖는 UI 화면을 디스플레이하는 디스플레이부; 및
    상기 원격 제어 장치로부터 수신된 상기 포인팅 모드 및 상기 제스처 모드 중 하나를 선택하기 위한 사용자 명령에 관한 정보에 기초하여 상기 포인팅 모드 및 상기 제스처 모드 중 하나의 선택을 제어하는 제어부;를 포함하며,
    상기 포인팅 모드는 상기 감지부에 의해 감지된 상기 원격 제어 장치의 움직임에 따라 상기 UI 화면 상에 디스플레이된 상기 포인터 오브젝트의 움직임을 제어하기 위한 모드이며, 상기 제스처 모드는 상기 원격 제어 장치의 기정의된 제스처에 따라 상기 UI 화면의 디스플레이 상태를 제어하기 위한 모드인 것을 특징으로 하는 디스플레이 장치.
  6. 제5항에 있어서,
    상기 디스플레이부는,
    상기 동작 모드에 따라 변경된 형태의 포인팅 오브젝트를 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 제스처 모드에서 상기 원격 제어 장치를 통한 제스처 입력 방향을 가이드하는 방향성을 갖는 형태의 GUI(Graphic User Interface)를 상기 포인팅 오브젝트와 함께 디스플레이하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  8. 제6항에 있어서,
    상기 제어부는,
    상기 사용자 인터페이스 화면에서 입력 가능한 조작 상태에 따라 상기 포인팅 오브젝트의 형상, 색상, 크기, 위치 및 방향 중 적어도 하나를 변경하여 디스플레이하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  9. 제6항에 있어서,
    상기 포인팅 오브젝트는,
    손 모양의 포인터이며,
    상기 제어부는,
    플리킹(flicking) 조작, 줌 인/아웃(zoom in/out) 조작 및 패닝(panning) 조작 중 상기 사용자 인터페이스 화면에서 조작 가능한 형태에 기초하여 상기 손 모양의 포인터를 포인팅(pointing) 형태, 또는 팜(palm) 형태 또는 그립(grip) 형태로 변경하여 디스플레이하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 사용자 인터페이스 화면에서 플리킹(flicking) 조작이 가능한 경우, 상기 포인팅(pointing) 형태의 포인터와 함께 좌우 방향 제스처를 통해 플리킹 조작이 가능함을 나타내는 GUI를 디스플레이하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  11. 제9항에 있어서,
    상기 제어부는,
    상기 원격 제어 장치를 통해 상기 플리킹 조작에 대응되는 제스처가 입력된 경우, 사용자의 플리킹 제스처에 대응되는 형태로 상기 손 모양의 포인터의 각도를 변경하여 디스플레이하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  12. 제9항에 있어서,
    상기 제어부는,
    상기 사용자 인터페이스 화면에서 줌 인/아웃(zoom in/out) 조작이 가능한 경우, 상기 팜(palm) 형태의 포인터와 함께 상하 방향 제스처를 통해 줌 인/이웃 조작이 가능함을 나타내는 GUI를 디스플레이하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  13. 제9항에 있어서,
    상기 제어부는,
    상기 사용자 인터페이스 화면에서 패닝(panning) 조작이 가능한 경우, 그립(grip) 형태의 포인터와 함께 상하좌우 방향 제스처를 통해 패닝 조작이 가능함을 나타내는 GUI를 디스플레이하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  14. 원격 제어 신호를 제공하는 원격 제어 장치 및 상기 원격 제어 장치에 의해 제어되는, 포인팅 모드 및 제스처 모드를 포함하는 복수의 동작 모드를 갖는 디스플레이 장치를 포함하는 디스플레이 시스템에 있어서,
    상기 원격 제어 장치의 움직임에 관한 정보, 상기 포인팅 모드 및 상기 제스처 모드 중 하나를 선택하기 위한 사용자 명령에 관한 정보, 및 아이템 선택에 관한 정보를 포함하는 원격 제어 신호를 출력하는 원격 제어 장치; 및
    디스플레이 장치;를 포함하며,
    상기 디스플레이 장치는,
    상기 원격 제어 장치로부터, 상기 원격 제어 장치의 움직임에 관한 정보, 상기 포인팅 모드 및 상기 제스처 모드 중 하나를 선택하기 위한 사용자 명령에 관한 정보 및 아이템 선택에 관한 정보를 포함하는 원격 제어 신호를 수신하는 수신부;
    UI 화면 상에 인티케이팅 기능을 수행하는 포인팅 오브젝트를 갖는 UI 화면을 디스플레이하는 디스플레이부; 및
    상기 원격 제어 장치로부터 수신된 상기 포인팅 모드 및 상기 제스처 모드 중 하나를 선택하기 위한 사용자 명령에 관한 정보에 기초하여 상기 포인팅 모드 및 상기 제스처 모드 중 하나의 선택을 제어하는 제어부;를 포함하며,
    상기 포인팅 모드는 상기 감지부에 의해 감지된 상기 원격 제어 장치의 움직임에 따라 상기 UI 화면 상에 디스플레이된 상기 포인터 오브젝트의 움직임을 제어하기 위한 모드이며, 상기 제스처 모드는 상기 원격 제어 장치의 기정의된 제스처에 따라 상기 UI 화면의 디스플레이 상태를 제어하기 위한 모드인 것을 특징으로 하는 디스플레이 장치.
  15. 제14항에 있어서,
    상기 디스플레이 장치는, 상기 포인팅 모드 및 상기 제스처 모드 중 하나를 선택하기 위한 상기 사용자 명령에 관한 정보가 상기 원격 제어 장치로부터 수신되지 않는 동안, 이전 동작 모드를 유지하는 것을 특징으로 하는 디스플레이 장치.
  16. 제5항에 있어서,
    상기 디스플레이 장치의 동작 모드가 상기 포인팅 모드인 경우, 상기 UI 화면에 포함된 메뉴 아이템은 상기 원격 제어 장치의 움직임에 대한 정보 및 상기 원격 제어 장치로부터 수신된 아이템 선택에 관한 정보에 기초하여 선택되는 것을 특징으로 하는 디스플레이 장치.
KR1020120120740A 2012-06-20 2012-10-29 원격 제어 장치, 디스플레이 장치 및 그 제어 방법 KR101339985B1 (ko)

Priority Applications (13)

Application Number Priority Date Filing Date Title
CN201320016693.4U CN204945943U (zh) 2012-06-20 2013-01-11 用于为外部显示设备提供远程控制信号的远程控制设备
FR1350477A FR2982722B3 (fr) 2012-06-20 2013-01-18 Dispositif d'affichage, dispositif de commande a distance et fonction de commande connexe
DE202013100255U DE202013100255U1 (de) 2012-06-20 2013-01-18 Anzeigevorrichtung, Fernbedienungsvorrichtung sowie Bedienungsfunktion derselben
EP13153265.7A EP2677759A1 (en) 2012-06-20 2013-01-30 Display apparatus, remote controlling apparatus and control method thereof
US13/754,176 US9223416B2 (en) 2012-06-20 2013-01-30 Display apparatus, remote controlling apparatus and control method thereof
RU2015101528A RU2015101528A (ru) 2012-06-20 2013-02-01 Устройство отображения, устройство дистанционного управления и способ управления ими
PCT/KR2013/000851 WO2013191351A1 (en) 2012-06-20 2013-02-01 Display apparatus, remote controlling apparatus and control method thereof
BR112014031382A BR112014031382A2 (pt) 2012-06-20 2013-02-01 aparelho de controle remoto, monitor, sistema de exibição, método de controle de um aparelho de controle remoto, e método de controle de um monitor tendo uma pluralidade de modos de operação.
MX2014015082A MX2014015082A (es) 2012-06-20 2013-02-01 Aparato de despliegue, aparato de control remoto y metodo de control de los mismos.
IN244DEN2015 IN2015DN00244A (ko) 2012-06-20 2013-02-01
CN201310043832.7A CN103513894B (zh) 2012-06-20 2013-02-04 显示设备、远程控制设备及其控制方法
JP2013050046A JP2014002719A (ja) 2012-06-20 2013-03-13 遠隔制御装置、ディスプレイ装置およびその制御方法
US13/838,015 US8988342B2 (en) 2012-06-20 2013-03-15 Display apparatus, remote controlling apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120066369 2012-06-20
KR20120066369 2012-06-20

Publications (1)

Publication Number Publication Date
KR101339985B1 true KR101339985B1 (ko) 2013-12-11

Family

ID=49987990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120120740A KR101339985B1 (ko) 2012-06-20 2012-10-29 원격 제어 장치, 디스플레이 장치 및 그 제어 방법

Country Status (7)

Country Link
JP (1) JP2014002719A (ko)
KR (1) KR101339985B1 (ko)
CN (1) CN204945943U (ko)
BR (1) BR112014031382A2 (ko)
IN (1) IN2015DN00244A (ko)
MX (1) MX2014015082A (ko)
RU (1) RU2015101528A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160012825A (ko) * 2014-07-25 2016-02-03 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20170054423A (ko) * 2014-09-01 2017-05-17 인보 리 다-표면 컨트롤러

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534447B2 (en) 2014-09-01 2020-01-14 Yinbo Li Multi-surface controller
WO2017013805A1 (ja) * 2015-07-23 2017-01-26 富士通株式会社 入力装置、入力支援方法および入力支援プログラム
USD828337S1 (en) 2017-06-20 2018-09-11 Yinbo Li Multi-surface controller
CN108600796B (zh) * 2018-03-09 2019-11-26 百度在线网络技术（北京）有限公司 智能电视的控制模式切换方法、设备及计算机可读介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032365A (ko) * 2009-09-22 2011-03-30 엘지전자 주식회사 리모트 컨트롤러를 구비한 영상표시 시스템 그 제어 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3770965B2 (ja) * 1996-06-26 2006-04-26 株式会社ワコー 三次元仮想空間の体験装置
JP2009205609A (ja) * 2008-02-29 2009-09-10 Sharp Corp ポインティング装置
JP4771181B2 (ja) * 2008-10-10 2011-09-14 ソニー株式会社 情報処理装置、入力操作モード制御方法及び情報処理装置に用いるプログラム
JP2010257037A (ja) * 2009-04-22 2010-11-11 Sony Corp 情報処理装置および方法、並びにプログラム
JP2011060166A (ja) * 2009-09-14 2011-03-24 Panasonic Corp 携帯端末装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032365A (ko) * 2009-09-22 2011-03-30 엘지전자 주식회사 리모트 컨트롤러를 구비한 영상표시 시스템 그 제어 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160012825A (ko) * 2014-07-25 2016-02-03 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR102261141B1 (ko) * 2014-07-25 2021-06-04 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20170054423A (ko) * 2014-09-01 2017-05-17 인보 리 다-표면 컨트롤러
KR102257168B1 (ko) * 2014-09-01 2021-05-26 인보 리 다-표면 컨트롤러

Also Published As

Publication number Publication date
JP2014002719A (ja) 2014-01-09
BR112014031382A2 (pt) 2017-06-27
IN2015DN00244A (ko) 2015-06-12
CN204945943U (zh) 2016-01-06
RU2015101528A (ru) 2016-08-10
MX2014015082A (es) 2015-03-09

Similar Documents

Publication Publication Date Title
US8988342B2 (en) Display apparatus, remote controlling apparatus and control method thereof
KR20130142824A (ko) 원격 제어 장치 및 그 제어 방법
CN111665983B (zh) 电子设备及其显示方法
EP3105667B1 (en) User terminal device and displaying method thereof
US10101874B2 (en) Apparatus and method for controlling user interface to select object within image and image input device
US9013368B1 (en) Foldable mobile device and method of controlling the same
US9007299B2 (en) Motion control used as controlling device
KR101339985B1 (ko) 원격 제어 장치, 디스플레이 장치 및 그 제어 방법
KR20170043065A (ko) 휴대 장치 및 휴대 장치의 화면 표시방법
EP2538309A2 (en) Remote control with motion sensitive devices
KR20140060818A (ko) 원격 제어 장치, 디스플레이 장치 및 그 제어 방법
KR102139110B1 (ko) 전자 디바이스 및 전자 디바이스에서 그립 센싱을 이용한 제어 방법
BR112015033060B1 (pt) Dispositivo eletrônico e método para controlar multijanelas no dispositivo eletrônico
EP3722933B1 (en) User interface display method and apparatus therefor
KR20140089988A (ko) 입력 장치, 디스플레이 장치 및 제어 방법
EP2538308A2 (en) Motion-based control of a controllled device
US10719147B2 (en) Display apparatus and control method thereof
KR102426088B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
WO2016149873A1 (zh) 智能交互方法、设备及系统
KR102157621B1 (ko) 휴대장치 및 그 컨텐츠 공유 방법
KR20190135958A (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
KR20170009688A (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191128

Year of fee payment: 7