KR101247428B1 - 원격 제어 단말 및 원격 제어 시스템 - Google Patents

원격 제어 단말 및 원격 제어 시스템 Download PDF

Info

Publication number
KR101247428B1
KR101247428B1 KR1020110067754A KR20110067754A KR101247428B1 KR 101247428 B1 KR101247428 B1 KR 101247428B1 KR 1020110067754 A KR1020110067754 A KR 1020110067754A KR 20110067754 A KR20110067754 A KR 20110067754A KR 101247428 B1 KR101247428 B1 KR 101247428B1
Authority
KR
South Korea
Prior art keywords
remote control
user
interface
display device
viewpoint
Prior art date
Application number
KR1020110067754A
Other languages
English (en)
Other versions
KR20130005994A (ko
Inventor
김재정
이호원
김상태
조동호
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110067754A priority Critical patent/KR101247428B1/ko
Publication of KR20130005994A publication Critical patent/KR20130005994A/ko
Application granted granted Critical
Publication of KR101247428B1 publication Critical patent/KR101247428B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 원격 제어 단말 및 원격 제어 시스템에 관한 것으로,
상기 원격 제어 단말은 사용자 영상을 획득 및 분석하여 사용자 시점을 검출하는 사용자 시점 검출부; 디스플레이 장치를 버튼 입력 방식 및/또는 스크롤 제어 방식으로 원격 제어하는 제1 리모콘 인터페이스; 상기 디스플레이 장치를 커서 조작 방식으로 원격 제어하는 제2 리모콘 인터페이스; 및 상기 사용자 시점에 따라 상기 제1 리모콘 인터페이스와 상기 제2 리모콘 인터페이스를 선택적으로 활성화시키는 리모콘 인터페이스 결정부를 포함할 수 있다.

Description

원격 제어 단말 및 원격 제어 시스템{Remote control device and remote control system}
본 발명은 스마트 텔레비전(이하, TV)와 같은 디스플레이 장치를 보다 용이하게 원격 제어하기 위한 원격 제어 단말 및 원격 제어 시스템에 관한 것이다.
스마트 텔레비전(이하, TV)은 기존의 TV 에 스마트 TV 용 셋탑박스를 연결하여, TV 시청 중에 인터넷 망을 이용하여 다양한 서비스를 사용할 수 있도록 합니다.
이에 기존의 TV는 한정된 버튼이 나열된 버튼 식 리모콘이었지만, 스마트 TV 은 콘텐츠의 복잡도가 높은 관계로 제어 버튼이 한정적인 기존의 리모콘으로 조작이 어려워졌다.
따라서 최근 스마트TV에서 채택한 리모콘 인터페이스의 종류는 크게 커서 조작용 인터페이스와 버튼 입력용 인터페이스로 나뉘는데, 이들 인터페이스는 각각 장단점을 가진다.
터치 패드 등으로 구현되는 커서 조작용 인터페이스는 마우스 커서를 이동 및 선택 기능에 제한적인 반면, 리모콘을 보지 않고 스마트 TV를 직접 보면서 제어할 수 있는 편리함이 있다.
반면, 버튼 입력용 인터페이스 보다 빠른 제어값 입력이 가능한 장점이 있으나, 기존의 리모콘과 같이 버튼이 제한적임과 동시에 TV스크린의 축소판인 1:1 매핑 타입의 인터페이스 역시 리모콘과 TV를 번갈아 가며 봐야 한다는 단점이 있다.
따라서 본 발명에서는 사용자의 시점에 따라 스마트TV과 같은 디스플레이 장치를 원격 제어하기 위한 리모콘 인터페이스의 종류를 가변함으로써, 사용자의 시점 변경을 최소화할 수 있도록 하는 원격 제어 단말 및 원격 제어 시스템을 제공하고자 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 사용자 영상을 획득 및 분석하여 사용자 시점을 검출하는 사용자 시점 검출부; 디스플레이 장치를 버튼 입력 방식 및/또는 스크롤 제어 방식으로 원격 제어하는 제1 리모콘 인터페이스; 상기 디스플레이 장치를 커서 조작 방식으로 원격 제어하는 제2 리모콘 인터페이스; 및 상기 사용자 시점에 따라 상기 제1 리모콘 인터페이스와 상기 제2 리모콘 인터페이스를 선택적으로 활성화시키는 리모콘 인터페이스 결정부를 포함하는 원격 제어 단말을 제공한다.
상기 제1 리모콘 인터페이스는 키패드, 스크롤 장치, 및 터치 스크린 중 하나 이상의 조합을 통해 구현될 수 있다.
상기 터치 스크린은 다수의 가상 버튼들을 화면에 디스플레이하거나, 디스플레이 화면의 축소판인 1:1 매핑 인터페이스를 디스플레이함으로써, 사용자의 원격 제어값 입력을 유도하는 것을 특징으로 한다.
상기 제2 리모콘 인터페이스는 터치 패드, 포인팅 장치, 클릭 버튼 중 하나 이상의 조합으로 구현될 수 있다.
상기 사용자 시점 검출부는 사용자 얼굴 영역을 검출하고, 사용자 얼굴 영역이 검출되면 사용자 시선이 원격 제어 단말을 향한다고 판단하는 것을 특징으로 한다.
상기 사용자 시점 검출부는 사용자 눈동자 시점을 검출하여, 사용자 시선이 원격 제어 단말을 향하는 지를 판단하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 사용자 영상을 획득 및 분석하여 사용자 시점을 검출하고, 상기 사용자 시점에 상응하는 리모콘 인터페이스를 결정 및 통보하는 디스플레이 장치; 및 상기 디스플레이 장치로부터 통보받은 리모콘 인터페이스를 활성화한 후, 상기 활성화된 리모콘 인터페이스를 통해 상기 디스플레이 장치를 원격 제어하는 원격 제어 단말을 포함하는 원격 제어 시스템을 제공한다.
상기 디스플레이 장치는 사용자 영상을 획득 및 분석하여 사용자 시점을 검출하는 사용자 시점 검출부; 상기 사용자 시점을 고려하여 상기 원격 제어 단말이 제공하는 다수의 리모콘 인터페이스 중 하나를 선택 및 통보하는 리모콘 인터페이스 결정부; 및 상기 원격 제어 단말로부터 전송되는 원격 제어값에 응답하여, 사용자가 원하는 콘텐츠를 제공하는 동작 제어부를 포함할 수 있다.
상기 원격 제어 단말은 상기 디스플레이 장치를 버튼 입력 방식 및/또는 스크롤 제어 방식으로 원격 제어하는 제1 리모콘 인터페이스; 상기 디스플레이 장치를 커서 조작 방식으로 원격 제어하는 제2 리모콘 인터페이스; 및 상기 디스플레이 장치로부터 통보받은 사용자 시점에 따라 상기 제1 리모콘 인터페이스와 상기 제2 리모콘 인터페이스를 선택적으로 활성화시키는 제2 리모콘 인터페이스 결정부를 포함할 수 있다.
상기 제1 리모콘 인터페이스는 키패드, 스크롤 장치, 및 터치 스크린 중 하나 이상의 조합을 통해 구현될 수 있다.
상기 터치 스크린은 다수의 가상 버튼들을 화면에 디스플레이하거나, 디스플레이 화면의 축소판인 1:1 매핑 인터페이스를 디스플레이함으로써, 사용자의 원격 제어값 입력을 유도하는 것을 특징으로 한다.
상기 제2 리모콘 인터페이스는 터치 패드, 포인팅 장치, 클릭 버튼 중 하나 이상의 조합으로 구현될 수 있다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 또 다른 실시 형태에 따르면, 제1 사용자 영상을 획득 및 분석하여 제1 사용자 시점을 검출하고 통보하는 디스플레이 장치; 및 제2 사용자 영상을 획득 및 분석하여 제2 사용자 시점을 검출한 후, 상기 제2 사용자 시점과 상기 제1 사용자 시점을 함께 고려하여 다수의 리모콘 인터페이스 중 하나를 활성화하고, 상기 활성화된 리모콘 인터페이스를 통해 상기 디스플레이 장치를 원격 제어하는 원격 제어 단말을 포함하는 원격 제어 시스템을 제공한다.
상기 원격 제어 단말은 제1 사용자 영상을 획득 및 분석하여 제1 사용자 시점을 검출하는 제1 사용자 시점 검출부; 상기 디스플레이 장치를 버튼 입력 방식 및/또는 스크롤 제어 방식으로 원격 제어하는 제1 리모콘 인터페이스; 상기 디스플레이 장치를 커서 조작 방식으로 원격 제어하는 제2 리모콘 인터페이스; 및 상기 제1 사용자 시점 검출부에 의해 검출된 제1 사용자 시점과 상기 디스플레이 장치로부터 통보받은 제2 사용자 시점을 고려하여 상기 제1 리모콘 인터페이스와 상기 제2 리모콘 인터페이스 중 하나를 활성화시키는 리모콘 인터페이스 결정부를 포함할 수 있다.
상기 제1 리모콘 인터페이스는 키패드, 스크롤 장치, 및 터치 스크린 중 하나 이상의 조합을 통해 구현될 수 있다.
상기 터치 스크린은 다수의 가상 버튼들을 화면에 디스플레이하거나, 디스플레이 화면의 축소판인 1:1 매핑 인터페이스를 디스플레이함으로써, 사용자의 원격 제어값 입력을 유도하는 것을 특징으로 한다.
상기 제2 리모콘 인터페이스는 터치 패드, 포인팅 장치, 클릭 버튼 중 하나 이상의 조합으로 구현될 수 있다.
상기 디스플레이 장치는 제2 사용자 영상을 획득 및 분석하여 제2 사용자 시점을 검출하는 제2 사용자 시점 검출부; 및 상기 원격 제어 단말로부터 전송되는 원격 제어값에 응답하여, 사용자가 원하는 콘텐츠를 제공하는 동작 제어부를 포함할 수 있다.
본 발명의 원격 제어 단말 및 원격 제어 시스템은 사용자의 시점에 따라 디스플레이 장치를 원격 제어하기 위한 리모콘 인터페이스의 종류를 능동적으로 가변함으로써, 사용자가 자신의 시점에 최적화된 제어 방식으로 디스플레이 장치를 원격 제어할 수 있도록 한다.
도1은 본 발명의 일 실시예에 따른 원격 제어 단말을 도시한 도면이다.
도2a 및 도2b는 본 발명의 일 실시예에 따른 터치 스크린 구현 예들를 도시한 도면이다.
도3a는 본 발명의 일 실시예에 따른 터치 패드를 도시한 도면이다.
도3b는 본 발명의 일 실시예에 따른 포인팅 장치를 도시한 도면이다.
도4는 본 발명의 일 실시예에 따른 원격 제어 단말의 동작 방법을 설명하면 다음과 같다.
도5는 본 발명의 다른 실시예에 따른 원격 제어 시스템을 도시한 도면이다.
도6은 본 발명의 또 다른 실시예에 따른 원격 제어 시스템을 도시한 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "..부", "..기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도1은 본 발명의 일 실시예에 따른 원격 제어 단말을 도시한 도면이다.
도1을 참조하면, 본 발명의 일 실시예에 따른 원격 제어 단말(10)은 기존의 리모콘, 스마트 폰, 터치 폰 등과 같이 사용자에 의해 휴대 가능하며, 무선 통신 방식으로 스마트 TV, 퍼블릭 디스플레이 장치 등과 같은 디스플레이 장치(20)를 원격 제어할 수 있는 장치로,
카메라(11), 사용자 시점 검출부(12), 리모콘 인터페이스 결정부(13), 제1 리모콘 인터페이스(14), 제2 인터페이스(15), 및 송신부(16) 등을 포함하여 구성될 수 있다.
계속하여, 각 구성 요소의 기능을 설명하면 다음과 같다.
카메라(11)는 원격 제어 단말(10)의 전면에 설치되어, 원격 제어 단말(10)의 리모콘 기능이 활성화된 동안 스마트 폰 사용자의 얼굴을 주기적으로 촬영한다.
사용자 시점 검출부(12)는 카메라(11)를 통해 획득되는 영상을 이미지 처리하여, 사용자의 시선이 원격 제어 단말(10)을 향하는지, 또는 디스플레이 장치를 향하는 지를 판단한다.
이를 위해, 사용자 시점 검출부(12)는 얼굴 검출 알고리즘, 또는 시선 검출 알고리즘을 구비할 수 있다. 얼굴 검출 알고리즘을 구비하는 경우에는, 사용자 얼굴 영역을 검출되는 경우에 한해, 사용자 시선이 원격 제어 단말(10)을 향한다고 판단한다. 반면, 보다 정확한 시선 방향 검출이 가능한 시선 검출 알고리즘을 구비하는 경우에는, 시선 검출 알고리즘을 통해 사용자 눈동자 방향을 검출함으로써, 사용자 눈동자 방향이 모니터를 향하고 있는지를 판단할 수 있다.
리모콘 인터페이스 결정부(13)는 사용자 시선 방향에 따라 디스플레이 장치(20)의 원격 제어 방식을 능동적으로 가변해준다.
즉, 사용자 시선이 원격 제어 단말(10)를 향하는 경우에는, 사용자가 원격 제어 단말(10)만을 보면서 디스플레이 장치(20)를 원격 제어할 수 있도록 하는 제1 리모콘 인터페이스(14)를 선택하여 활성화시키고, 사용자 시선이 디스플레이 장치(20)를 향하는 경우에는, 사용자가 원격 제어 단말(10)을 보지 않고 디스플레이 장치(20)만을 보면서 디스플레이 장치(20)를 제어할 수 있도록 하는 제2 리모콘 인터페이스(15)를 선택하여 활성화시킨다.
제1 리모콘 인터페이스(14)는 사용자가 원격 제어 단말(10)와 디스플레이 장치(20)를 번갈아 보면서 디스플레이 장치(20)를 원격 제어할 수 있도록 하는 인터페이스로, 버튼 입력 방식 및/또는 스크롤 제어 방식으로 디스플레이 장치(20)의 원격 제어에 필요한 원격 제어값을 획득 및 제공한다.
이러한 제1 리모콘 인터페이스(14)는 다수의 물리적 버튼들을 구비하는 키패드, 스크롤 장치, 및 터치 스크린 중 하나 이상의 조합을 통해 구현될 수 있다. 특히, 터치 스크린의 경우, 도2a에서와 같이 다수의 가상 버튼들을 화면에 디스플레이하거나, 도2b에서와 같이 디스플레이 화면의 축소판인 1:1 매핑 인터페이스를 디스플레이함으로써, 사용자가 이들을 통해 자신이 원하는 원격 제어값을 입력할 수 있도록 한다.
제2 리모콘 인터페이스(15)는 사용자가 원격 제어 단말(10)을 보지 않고 디스플레이 장치(20)만을 보면서 디스플레이 장치(20)를 원격 제어할 수 있도록 하는 인터페이스로, 커서 조작 방식으로 디스플레이 장치(20)의 원격 제어에 필요한 원격 제어값을 획득 및 제공한다.
이러한 제2 리모콘 인터페이스(15)는 터치 패드, 포인팅 장치, 클릭 버튼 중 하나 이상의 조합으로 구현될 수 있다.
터치 패드는 도3a와 같이 드래그 앤드 드랍(drag and drop) 동작을 통해 원격 제어값을 입력 및 획득하고, 포인팅 장치는 도3b와 같이 원격 제어 단말의 3차원 위치값(X,Y,Z)을 이용하여 원격 제어값을 입력 및 획득할 수 있다. 이때, 포인팅 장치는 원격 제어 단말의 3차원 위치값(X,Y,Z)를 획득하기 위해, 원격 제어 단말에 내장되는 자이로 센서, 및 가속도 센서 등과 같은 위치 감지 센서를 추가적으로 구비할 수 있다.
참고로, 제2 리모콘 인터페이스(15)이 활성화되면, 디스플레이 장치(20) 는 원격 제어 동작을 안내하기 위한 각종 버튼, 메뉴들을 디스플레이하면서, 제2 리모콘 인터페이스(15)의 원격 제어값에 따라 디스플레이 화면에 표시되는 커서 위치를 조정하여, 사용자가 원하는 버튼, 메뉴를 선택할 수 있도록 한다.
송신부(16)는 제1 리모콘 인터페이스(14) 또는 제2 리모콘 인터페이스(15)에 의해 획득된 원격 제어값을 디스플레이 장치(20)에 송신하여, 디스플레이 장치(20)가 원격 제어 단말(10)에 따라 동작 제어될 수 있도록 한다.
이하, 도4을 참조하여 본 발명의 원격 제어 단말의 동작 방법을 설명하면 다음과 같다.
먼저, 사용자가 디스플레이 장치를 원격 제어하기 위해 리모콘 기능을 활성화시키면, 원격 제어 단말(10)의 전면에 형성된 카메라(11)를 통해 사용자를 촬영한다. 그리고 얼굴 검출 알고리즘 또는 시선 검출 알고리즘을 이용하여 촬영 영상으로부터 사용자 시선을 검출한다(S11).
S11을 통해 검출된 사용자 시선이 원격 제어 단말(10)쪽을 향하고 있으면, 사용자가 원격 제어 단말(10)만을 보면서 디스플레이 장치(20)를 원격 제어할 수 있도록 하는 제1 리모콘 인터페이스(14)를 활성화시킨다(S13).
그러면, 사용자는 원격 제어 단말(10)를 보면서, 제1 리모콘 인터페이스(14)의 버튼 또는 1:1 매핑 인터페이스를 통해 디스플레이 장치(20)를 원격 제어한다(S14).
반면, S11을 통해 검출된 사용자 시선이 디스플레이 장치(20) 쪽을 향하고 있으면, 사용자는 디스플레이 장치(20)를 보면서 원격 제어 단말(10)의 제2 인터페이스(15)를 통해 디스플레이 화면에 표시된 커서를 이동시키면서 자신이 원하는 메뉴를 선택한다(S15).
이와 같이, 본 발명의 스마트 폰 즉, 원격 제어 단말은 사용자의 시선 방향에 따라 리모콘 인터페이스의 종류를 가변함으로써, 사용자가 현재 자신의 시점에 최적화된 방식으로 디스플레이 장치를 원격 제어할 수 있도록 합니다.
즉, 사용자가 원격 제어 단말이나 디스플레이 장치 중 하나만을 보면서 디스플레이 장치를 원격 제어할 수 있도록 함으로써, 사용자가 디스플레이 장치의 원격 제어시 두 가지 장치를 번갈아 보면서 원하는 콘텐츠를 선택해야 하는 번거로움을 없애준다.
도5는 본 발명의 다른 실시예에 따른 원격 제어 시스템을 도시한 도면이다.
도5을 참조하면, 본 발명의 다른 실시예에 따른 원격 제어 시스템은 원격 제어 단말(30) 및 디스플레이 장치(40)를 포함한다. 그리고 원격 제어 단말(30)은 수신부(31), 제1 리모콘 인터페이스 결정부(32), 제1 리모콘 인터페이스(33), 제2 리모콘 인터페이스(34), 및 송신부(35)를 포함하고, 디스플레이 장치(40)는 카메라(41), 사용자 시점 검출부(42), 제2 리모콘 인터페이스 결정부(43), 송신부(44), 수신부(45), 및 동작 제어부(46)를 포함하여 구성된다.
먼저, 원격 제어 단말(30)의 수신부(31)는 디스플레이 장치(40)로부터 제공되는 제어 정보를 수신하여 제1 리모콘 인터페이스 결정부(32)에 전달한다.
제1 리모콘 인터페이스 결정부(32)는 디스플레이 장치(40)의 제어 정보를 분석하여, 원격 제어 단말(30)와 디스플레이 장치(30)간 원격 제어 방식을 파악하고 제1 리모콘 인터페이스(33)와 제2 리모콘 인터페이스(34) 중 하나를 선택적으로 활성화시킨다.
제1 리모콘 인터페이스(33)은 도1의 제1 리모콘 인터페이스(14)와 같이 키패드, 스크롤 장치, 터치 스크린 중 하나 이상의 조합으로 구현되어, 사용자가 이를 통해 원격 제어 단말(30)와 디스플레이 장치(40)를 번갈아 보면서 디스플레이 장치(40)를 원격 제어할 수 있도록 한다.
제2 리모콘 인터페이스(34)는 도1의 제2 리모콘 인터페이스(15)와 같이 터치 패드, 스크롤 장치, 포인팅 장치, 클릭 버튼 중 하나 이상의 조합으로 구현되어, 사용자가 이를 통해 원격 제어 단말(30)을 보지 않고 디스플레이 장치(40)만을 보면서 디스플레이 장치(40)를 원격 제어할 수 있도록 한다.
송신부(35)는 제1 리모콘 인터페이스(33) 또는 제2 리모콘 인터페이스(34)에 의해 획득된 원격 제어값을 디스플레이 장치(40)에 송신하여, 디스플레이 장치(40)가 원격 제어 단말(30)에 따라 동작 제어될 수 있도록 한다.
그리고 디스플레이 장치(40)의 카메라(41)는 디스플레이 장치(40)의 전면에 설치되어, 디스플레이 장치(40)의 전방에 존재하는 사용자의 얼굴을 주기적으로 촬영한다.
사용자 시점 검출부(42)는 얼굴 검출 알고리즘 또는 시선 검출 알고리즘을 통해 사용자 영상을 이미지 처리하여, 사용자의 시선이 원격 제어 단말(30)을 향하는지, 또는 디스플레이 장치(40)를 향하는 지를 판단한다.
제2 리모콘 인터페이스 결정부(43)는 사용자 시선 방향에 따라 원격 제어 단말(30)와 디스플레이 장치(30)간 원격 제어 방식을 능동적으로 가변해준다.
만약, 사용자 시선이 원격 제어 단말(30)를 향하는 경우에는, 사용자가 원격 제어 단말(30)만을 보면서 디스플레이 장치(40)를 원격 제어할 수 있도록 하는 제1 리모콘 인터페이스 방식을 활성화시키고, 사용자 시선이 디스플레이 장치(40)를 향하는 경우에는, 사용자가 원격 제어 단말(30)을 보지 않고 디스플레이 장치(40)만을 보면서 디스플레이 장치(40)를 제어할 수 있도록 하는 제2 리모콘 인터페이스 방식을 활성화시킨다.
송신부(44)는 제2 리모콘 인터페이스 결정부(43)에 의해 결정된 원격 제어 방식을 원격 제어 단말(30)에 통보하고, 수신부(45)는 이에 응답하여 원격 제어 단말(30)로부터 제공되는 원격 제어값을 수신하여 동작 제어부(46)에 전달한다.
동작 제어부(46)는 원격 제어 단말(30)로부터 제공되는 원격 제어값에 응답하여, 사용자가 원하는 콘텐츠를 선택하여 화면을 통해 디스플레이한다.
즉, 본 발명의 다른 실시예에 따른 원격 제어 시스템 또한 사용자의 시선 방향에 따라 원격 제어 장치의 리모콘 인터페이스의 종류를 가변함으로써, 사용자의 현재 시점에 최적화된 방식으로 디스플레이 장치를 원격 제어할 수 있도록 한다. 다만, 본 발명의 일 실시예에서는 원격 제어 단말이 자체적으로 사용자 시점을 검출하도록 하나, 본 발명의 다른 실시예에 따른 원격 제어 시스템에서는 디스플레이 장치가 사용자 시점을 검출하도록 하는 차이가 있다.
물론, 이러한 경우에도 사용자가 디스플레이 장치의 원격 제어시 두 가지 장치를 번갈아 보면서 원하는 콘텐츠를 선택해야 하는 번거로움을 최소화하는 효과를 제공할 수 있다.
도6은 본 발명의 또 다른 실시예에 따른 원격 제어 시스템을 도시한 도면이다.
도6을 참조하면, 본 발명의 다른 실시예에 따른 원격 제어 시스템은 원격 제어 단말(50) 및 디스플레이 장치(60)를 포함한다. 그리고 원격 제어 단말(30)은 제1 카메라(51), 제1 사용자 시점 검출부(52), 리모콘 인터페이스 결정부(53), 제1 리모콘 인터페이스(54), 제2 리모콘 인터페이스(55), 및 제1 송신부(56), 제1 수신부(57)를 포함하고, 디스플레이 장치(60)는 제2 카메라(61), 제2 사용자 시점 검출부(62), 제2 송신부(63), 제2 수신부(64), 및 동작 제어부(65)를 포함하여 구성된다.
원격 제어 단말(50)의 제1 카메라(51)는 원격 제어 단말(50)의 전면에 설치되어, 원격 제어 단말(50)의 리모콘 기능이 활성화된 동안 스마트 폰 사용자의 얼굴을 주기적으로 촬영한다.
제1 사용자 시점 검출부(62)는 얼굴 검출 알고리즘 또는 시선 검출 알고리즘을 통해 사용자 영상을 이미지 처리하여, 사용자의 시선이 원격 제어 단말(50)을 향하는지 또는 그렇지 않은지를 판단한다.
리모콘 인터페이스 결정부(53)는 제1 사용자 시점 검출부(52)의 검출 결과(즉, 사용자의 시선이 원격 제어 단말(50)을 향하는지 여부)와 제2 사용자 시점 검출부(62)의 검출 결과(즉, 사용자의 시선이 디스플레이 장치(60)을 향하는지 여부)을 고려하여, 원격 제어 단말(50)와 디스플레이 장치(60)간 원격 제어 방식을 능동적으로 가변해준다.
예를 들어, 제1 및 제2 사용자 시점 검출부(52, 62) 중에서 제1 사용자 시점 검출부(52)만이 사용자 얼굴을 검출하는 경우에는 사용자가 현재 원격 제어 단말(50)을 보고 있다고 판단하고, 제2 사용자 시점 검출부(62)만이 사용자 얼굴을 검출하는 경우에는 사용자가 디스플레이 장치(60)를 보고 있다고 판단할 수 있다. 이와 같이, 서로 다른 장치의 검출 결과를 모두 고려하여 사용자 시점을 검출하는 경우, 보다 정확하고 다양한 판단 근거에 따라 사용자 시점을 검출할 수 있으므로, 리모콘 인터페이스 변경 동작의 정확성을 보다 향상시킬 수 있는 효과를 제공할 수 있다.
제1 리모콘 인터페이스(54)은 도1의 제1 리모콘 인터페이스(14)와 같이 키패드, 스크롤 장치, 터치 스크린 중 하나 이상의 조합으로 구현되어, 사용자가 이를 통해 원격 제어 단말(50)와 디스플레이 장치(60)를 번갈아 보면서 디스플레이 장치(60)를 원격 제어할 수 있도록 한다.
제2 리모콘 인터페이스(55)는 도1의 제2 리모콘 인터페이스(15)와 같이 터치 패드, 스크롤 장치, 포인팅 장치, 클릭 버튼 중 하나 이상의 조합으로 구현되어, 사용자가 이를 통해 원격 제어 단말(50)을 보지 않고 디스플레이 장치(40)만을 보면서 디스플레이 장치(40)를 원격 제어할 수 있도록 한다.
제1 송신부(56)는 제1 리모콘 인터페이스(54) 또는 제2 리모콘 인터페이스(55)에 의해 획득된 원격 제어값을 디스플레이 장치(60)에 송신하여, 디스플레이 장치(60)가 원격 제어 단말(30)에 따라 동작 제어될 수 있도록 한다.
제1 수신부(57)는 디스플레이 장치(60)에 의해 검출된 사용자 시점에 대한 정보를 수신하여 리모콘 인터페이스 결정부(53)에 전달함으로써, 리모콘 인터페이스 결정부(53)가 현재의 상황에 가장 적합한 리모콘 인터페이스를 선택할 수 있도록 한다.
디스플레이 장치(60)의 제2 카메라(61)는 디스플레이 장치(40)의 전면에 설치되어, 디스플레이 장치(60)의 전방에 존재하는 사용자의 얼굴을 주기적으로 촬영한다.
제2 사용자 시점 검출부(62)도 제1 사용자 시점 검출부(62)와 같이 얼굴 검출 알고리즘 또는 시선 검출 알고리즘을 통해 사용자 영상을 이미지 처리하여, 사용자의 시선이 디스플레이 장치(60)를 향하는지 또는 그렇지 않은지를 판단한다.
제2 송신부(63)는 사용자 시점 검출부(62)에 의해 검출된 사용자 시점을 원격 제어 단말(50)에 통보하고, 제2 수신부(64)는 이에 응답하여 원격 제어 단말(50)로부터 제공되는 원격 제어값을 수신하여 동작 제어부(65)에 전달한다.
동작 제어부(65)는 원격 제어 단말(50)로부터 제공되는 원격 제어값에 응답하여, 사용자가 원하는 콘텐츠를 선택하여 화면을 통해 디스플레이한다.
이와 같이 구성되는 원격 제어 시스템은 디스플레이 장치와 원격 제어 단말의 시점 검출 결과를 모두 고려하여 사용자의 시점을 최종 판단하므로, 보다 정확한 사용자 시점 검출 동작을 수행할 수 있다.
더하여, 상기의 실시예에서는 리모콘 인터페이스 결정부가 원격 제어 단말 내부에 구성되도록 하였지만, 필요한 경우 이는 디스플레이 장치의 내부에 설치될 수도 있을 것이다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
11, 42, 51, 61: 카메라 12, 42:사용자 시점 검출부
13, 53 :리모콘 인터페이스 결정부 32: 제1 리모콘 인터페이스 결정부
43: 제2 리모콘 인터페이스 결정부 14, 33, 54:제1 리모콘 인터페이스
15, 34, 55: 제2 리모콘 인터페이스 결정부 16: 송신부
31, 57: 제1 수신부 32, 56: 제1 송신부 44, 63: 제2 송신부 45, 64: 제2 수신부

Claims (18)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제1 사용자 영상을 획득 및 분석하여 제1 사용자 시점을 검출하고 통보하는 디스플레이 장치; 및
    제2 사용자 영상을 획득 및 분석하여 제2 사용자 시점을 검출한 후, 상기 제2 사용자 시점과 상기 제1 사용자 시점을 함께 고려하여 다수의 리모콘 인터페이스 중 하나를 활성화하고, 상기 활성화된 리모콘 인터페이스를 통해 상기 디스플레이 장치를 원격 제어하는 원격 제어 단말을 포함하는 원격 제어 시스템.
  14. 제13항에 있어서, 상기 원격 제어 단말은
    제1 사용자 영상을 획득 및 분석하여 제1 사용자 시점을 검출하는 제1 사용자 시점 검출부;
    상기 디스플레이 장치를 버튼 입력 방식 및/또는 스크롤 제어 방식으로 원격 제어하는 제1 리모콘 인터페이스;
    상기 디스플레이 장치를 커서 조작 방식으로 원격 제어하는 제2 리모콘 인터페이스; 및
    상기 제1 사용자 시점 검출부에 의해 검출된 제1 사용자 시점과 상기 디스플레이 장치로부터 통보받은 제2 사용자 시점을 고려하여 상기 제1 리모콘 인터페이스와 상기 제2 리모콘 인터페이스 중 하나를 활성화시키는 리모콘 인터페이스 결정부를 포함하는 것을 특징으로 하는 원격 제어 시스템.
  15. 제14항에 있어서, 상기 제1 리모콘 인터페이스는
    키패드, 스크롤 장치, 및 터치 스크린 중 하나 이상의 조합을 통해 구현되는 것을 특징으로 하는 원격 제어 시스템.
  16. 제15항에 있어서, 상기 터치 스크린은
    다수의 가상 버튼들을 화면에 디스플레이하거나, 디스플레이 화면의 축소판인 1:1 매핑 인터페이스를 디스플레이함으로써, 사용자의 원격 제어값 입력을 유도하는 것을 특징으로 하는 원격 제어 시스템.
  17. 제14항에 있어서, 상기 제2 리모콘 인터페이스는
    터치 패드, 포인팅 장치, 클릭 버튼 중 하나 이상의 조합으로 구현되는 것을 특징으로 하는 원격 제어 시스템.
  18. 제13항에 있어서, 상기 디스플레이 장치는
    제2 사용자 영상을 획득 및 분석하여 제2 사용자 시점을 검출하는 제2 사용자 시점 검출부; 및
    상기 원격 제어 단말로부터 전송되는 원격 제어값에 응답하여, 사용자가 원하는 콘텐츠를 제공하는 동작 제어부를 포함하는 것을 특징으로 하는 원격 제어 시스템.
KR1020110067754A 2011-07-08 2011-07-08 원격 제어 단말 및 원격 제어 시스템 KR101247428B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110067754A KR101247428B1 (ko) 2011-07-08 2011-07-08 원격 제어 단말 및 원격 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110067754A KR101247428B1 (ko) 2011-07-08 2011-07-08 원격 제어 단말 및 원격 제어 시스템

Publications (2)

Publication Number Publication Date
KR20130005994A KR20130005994A (ko) 2013-01-16
KR101247428B1 true KR101247428B1 (ko) 2013-03-25

Family

ID=47837169

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110067754A KR101247428B1 (ko) 2011-07-08 2011-07-08 원격 제어 단말 및 원격 제어 시스템

Country Status (1)

Country Link
KR (1) KR101247428B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100646031B1 (ko) * 2005-10-19 2006-11-14 에스케이 텔레콤주식회사 눈동자 움직임으로 입력을 제어하는 방법 및 이동통신단말기
KR20110025017A (ko) * 2009-09-03 2011-03-09 삼성전자주식회사 전자 장치와 상기 전자 장치의 제어 방법 및 원격 제어 장치와 상기 원격 제어 장치의 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100646031B1 (ko) * 2005-10-19 2006-11-14 에스케이 텔레콤주식회사 눈동자 움직임으로 입력을 제어하는 방법 및 이동통신단말기
KR20110025017A (ko) * 2009-09-03 2011-03-09 삼성전자주식회사 전자 장치와 상기 전자 장치의 제어 방법 및 원격 제어 장치와 상기 원격 제어 장치의 제어 방법

Also Published As

Publication number Publication date
KR20130005994A (ko) 2013-01-16

Similar Documents

Publication Publication Date Title
US11470377B2 (en) Display apparatus and remote operation control apparatus
EP3293620B1 (en) Multi-screen control method and system for display screen based on eyeball tracing technology
EP2711807B1 (en) Image display apparatus and method for operating the same
US9448624B2 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US20150143283A1 (en) Information processing device, display control method, and program
US20160292922A1 (en) Display control device, display control method, and recording medium
EP2908215B1 (en) Method and apparatus for gesture detection and display control
US10203760B2 (en) Display device and control method thereof, gesture recognition method, and head-mounted display device
US20170038838A1 (en) Information processing system and information processing method
JP2009265709A (ja) 入力装置
JP5428966B2 (ja) 画像表示装置、および画像表示制御方法、並びにプログラム
US20150331510A1 (en) Touch Control Assembly, Device Control Method, Controller and Electronic Equipment
KR20090076173A (ko) 디스플레이 장치에 표시된 화면의 일부분을 전자장치를통해 ｇｕｉ로 제공하는 방법 및 이를 적용한 전자장치
EP3021206B1 (en) Method and device for refocusing multiple depth intervals, and electronic device
US20170214856A1 (en) Method for controlling motions and actions of an apparatus including an image capture device having a moving device connected thereto using a controlling device
KR20130051697A (ko) 단말의 움직임에 따라 이미지 표시를 제어하기 위한 장치 및 방법
US20120260292A1 (en) Remote control system, television, remote controller and computer-readable medium
JP2003316510A (ja) 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
JP2019062575A (ja) 制御装置及び制御方法、プログラム
US20130207892A1 (en) Control method and apparatus of electronic device using control device
KR20150012742A (ko) 영상 촬영 장치 및 이의 촬영 방법
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
US10437415B2 (en) System, method, and device for controlling a display
KR101708455B1 (ko) 핸드 플로트 입체 메뉴 시스템
KR101134245B1 (ko) 3차원 가상 리모콘을 포함한 전자기기 및 그의 구동 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160225

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee