KR20130037430A - 모바일기기 및 그 제어방법 - Google Patents

모바일기기 및 그 제어방법 Download PDF

Info

Publication number
KR20130037430A
KR20130037430A KR1020110101826A KR20110101826A KR20130037430A KR 20130037430 A KR20130037430 A KR 20130037430A KR 1020110101826 A KR1020110101826 A KR 1020110101826A KR 20110101826 A KR20110101826 A KR 20110101826A KR 20130037430 A KR20130037430 A KR 20130037430A
Authority
KR
South Korea
Prior art keywords
screen
target device
control target
touch input
user
Prior art date
Application number
KR1020110101826A
Other languages
English (en)
Other versions
KR101888681B1 (ko
Inventor
류소현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110101826A priority Critical patent/KR101888681B1/ko
Priority to EP12168444.3A priority patent/EP2579142B1/en
Priority to US13/618,120 priority patent/US20130088629A1/en
Publication of KR20130037430A publication Critical patent/KR20130037430A/ko
Application granted granted Critical
Publication of KR101888681B1 publication Critical patent/KR101888681B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 모바일기기와, 그 제어방법에 관한 것으로서, 모바일기기는, 화면을 표시하는 제어대상기기와 통신하는 통신부와; 상기 제어대상기기의 화면을 촬상하는 카메라부와; 상기 제어대상기기의 화면을 촬상한 영상을 표시하는 디스플레이부와; 상기 디스플레이부 상의 사용자의 터치입력을 수신하는 터치입력부와; 상기 촬상한 영상으로부터 상기 제어대상기기의 화면의 영역을 결정하고, 상기 화면의 영역에 있어서 상기 사용자의 터치입력에 대응하는 위치정보를 상기 제어대상기기에 전송하는 제어부를 포함한다.
이에 의하여, 제어대상기기가 제공하는 UI를 모바일기기를 통하여 사용자가 터치방식으로 인터페이스할 수 있으므로, 보다 편리하게 제어대상기기를 원격으로 제어할 수 있다.

Description

모바일기기 및 그 제어방법{MOBILE DEVICE AND CONTROL METHOD THEREOF}
본 발명은 모바일기기 및 그 제어방법에 관한 것으로서, 보다 상세하게는, UI를 화면에 표시하는 디스플레이장치와 통신 가능한 모바일기기 및 그 제어방법에 관한 것이다.
TV, PC, AV장치 등과 같이 영상을 표시하는 디스플레이장치는 UI를 화면에 제공하고, UI를 통한 사용자의 명령에 따라 동작할 수 있다. 이러한 UI는 리모컨 등을 통해 원격으로 조작되는 경우도 있으나, 보다 유용한 조작을 위하여 사용자의 터치입력을 활용한 터치UI가 이용될 수 있다.
그런데, 사용자가 디스플레이장치와 가까이 있을 경우에는 UI를 터치할 수 있으나, 사용자가 디스플레이장치와 멀리 떨어져 있을 경우에는 그렇지 못하여 터치UI를 이용할 수 없게 된다. 따라서, 이러한 거리 상의 제약때문에, 지금까지는 원격으로 디스플레이장치(이하, "제어대상기기"라 함)를 제어하는 방법으로서는 터치UI가 이용되고 있지 못한 실정이었다.
한편, 최근 휴대폰, 스마트폰, 스마트패드 등과 같은 모바일기기의 대중화로 모바일기기의 활용도가 점차 높아지고 있다. 이러한 모바일기기는 다양한 기능을 가지고 있는데, 그 중 하나의 기능으로서 디스플레이장치와 통신을 수행하여 데이터를 주고 받는 기능도 제공한다. 또한, 모바일기기는 촬상을 수행하는 카메라부와, 영상을 표시하는 디스플레이부를 구비할 수 있다.
따라서 본 발명의 목적은, 보다 편리하게 제어대상기기를 원격으로 제어할 수 있는 모바일기기 및 그 제어방법을 제공하는 것이다.
또한, 본 발명의 목적은, 제어대상기기가 제공하는 UI를 터치방식으로 인터페이스할 수 있는 모바일기기 및 그 제어방법을 제공하는 것이다.
본 발명의 상기 목적은, 모바일기기에 있어서, 화면을 표시하는 제어대상기기와 통신하는 통신부와; 상기 제어대상기기의 화면을 촬상하는 카메라부와; 상기 제어대상기기의 화면을 촬상한 영상을 표시하는 디스플레이부와; 상기 디스플레이부 상의 사용자의 터치입력을 수신하는 터치입력부와; 상기 촬상한 영상으로부터 상기 제어대상기기의 화면의 영역을 결정하고, 상기 화면의 영역에 있어서 상기 사용자의 터치입력에 대응하는 위치정보를 상기 제어대상기기에 전송하는 제어부를 포함하는 모바일기기에 의해서 달성될 수 있다.
상기 제어부는, 상기 제어대상기기에 마련된 마커에 기초하여 상기 화면의 영역을 결정할 수 있다.
상기 제어부는, 상기 촬상한 영상에 대하여 영상인식을 수행하여 상기 화면의 영역을 결정할 수 있다.
상기 통신부는, 상기 제어대상기기로부터 동기신호를 수신하고, 상기 제어부는, 상기 수신된 동기신호를 이용한 상기 제어대상기기의 상대적 위치에 기초하여 상기 화면의 영역을 결정할 수 있다.
상기 사용자의 터치입력에 대응하는 위치정보는, 상기 화면의 영역의 소정 기준점에 대한 상기 사용자의 터치입력에 대응하는 지점의 좌표정보를 포함할 수 있다.
상기 제어부는, 상기 사용자의 터치입력에 대응하는 위치를 나타내는 UI를 상기 디스플레이부에 표시할 수 있다.
상기 제어부는, 상기 화면의 촬상 시 상기 화면의 영역이 표시되도록 상기 카메라부의 각도 및 줌 중 적어도 하나를 조정할 수 있다.
본 발명의 상기 목적은, 모바일기기의 제어방법에 있어서, 화면을 표시하는 제어대상기기의 화면을 카메라부로 촬상하는 단계와; 상기 제어대상기기의 화면을 촬상한 영상을 디스플레이부에 표시하는 단계와; 상기 디스플레이부 상의 사용자의 터치입력을 수신하는 단계와; 상기 촬상한 영상으로부터 상기 제어대상기기의 화면의 영역을 결정하고, 상기 화면의 영역에 있어서 상기 사용자의 터치입력에 대응하는 위치정보를 상기 제어대상기기에 전송하는 단계를 포함하는 모바일기기의 제어방법에 의해서도 달성될 수 있다.
상기 결정하는 단계는, 상기 제어대상기기에 마련된 마커에 기초하여 상기 화면의 영역을 결정하는 단계를 포함할 수 있다.
상기 결정하는 단계는, 상기 촬상한 영상에 대하여 영상인식을 수행하여 상기 화면의 영역을 결정하는 단계를 포함할 수 있다.
상기 결정하는 단계는, 상기 제어대상기기로부터 수신되는 동기신호를 이용한 상기 제어대상기기의 상대적 위치에 기초하여 상기 화면의 영역을 결정하는 단계를 포함할 수 있다.
상기 사용자의 터치입력에 대응하는 위치정보는, 상기 화면의 영역의 소정 기준점에 대한 상기 사용자의 터치입력에 대응하는 지점의 좌표정보를 포함할 수 있다.
모바일기기의 제어방법은, 상기 사용자의 터치입력에 대응하는 위치를 나타내는 UI를 상기 디스플레이부에 표시하는 단계를 더 포함할 수 있다.
상기 촬상하는 단계는, 상기 화면의 영역이 표시되도록 상기 카메라부의 각도 및 줌 중 적어도 하나를 조정하는 단계를 포함할 수 있다.
상기한 바와 같이, 본 발명에 의하면, 제어대상기기가 제공하는 UI를 모바일기기를 통하여 사용자가 터치방식으로 인터페이스할 수 있으므로, 보다 편리하게 제어대상기기를 원격으로 제어할 수 있다.
도 1은 본 발명의 일실시예에 의한 제어대상기기와, 모바일기기를 도시하며,
도 2는 도 1에 도시된 모바일기기의 구성을 도시한 블록도이며,
도 3은 도 1 및 2에 도시된 모바일기기의 제어방법을 도시한 흐름도이며,
도 4는 UI를 화면에 표시하는 제어대상기기와, 화면을 촬상한 영상을 표시하는 모바일기기를 도시하며,
도 5는 모바일기기에 표시된 제어대상기기의 화면의 영역을 도시하며,
도 6은 UI를 화면에 표시하는 제어대상기기와, 화면을 촬상한 영상을 표시하는 모바일기기의 다른 예를 도시하며,
도 7은 모바일기기로부터 위치정보를 수신하여 UI를 화면에 표시하는 제어대상기기를 도시한다.
이하, 본 발명의 일실시예에 관하여 상세히 설명한다.
도 1은 본 발명의 일실시예에 의한 제어대상기기와, 모바일기기를 도시한다. 제어대상기기(1)는 TV, PC, AV장치 등과 같이 영상을 표시하는 디스플레이장치일 수 있다. 제어대상기기(1)는 사용자의 명령에 따라 동작하며, 사용자의 명령을 수신하기 위하여 UI를 화면(도 4의 부호 11 참조)에 표시한다.
모바일기기(2)는 휴대폰, 스마트폰, 스마트패드 등일 수 있다. 모바일기기(2)는 촬상기능, 터치입력기능 및 통신기능을 가진다. 모바일기기(2)는 UI가 표시된 제어대상기기(1)의 화면(11)을 촬상한 영상(도 4의 부호 27 참조)을 사용자에게 보여준다. 사용자는 모바일기기(2)에 표시된 영상을 이용하여 제어대상기기(1)의 화면(11)의 UI에 대한 터치입력을 한다. 모바일기기(2)는 제어대상기기(1)의 화면(11)의 UI에 대한 터치입력의 위치를 파악하고, 그 위치정보를 제어대상기기(1)에 전달한다. 제어대상기기(1)는 모바일기기(2)로부터 전달되는 터치입력의 위치정보에 기초하여 사용자의 명령을 파악하고 이에 따라 동작을 수행한다.
이와 같이, 본 발명의 일실시예에 의하면, 모바일기기(2)를 이용하여 사용자가 제어대상기기(1)의 UI에 대한 터치입력을 하여 제어대상기기(1)를 제어할 수 있으므로, 제어대상기기(1)와 사용자 간의 거리에 제약되지 않고 원격으로 제어대상기기(1)를 제어할 수 있는 점에서 사용자의 편의성이 향상된다.
도 2는 도 1에 도시된 모바일기기(2)의 구성을 도시한 블록도이다. 도 2에 도시된 바와 같이, 모바일기기(2)는 통신부(21), 카메라부(22), 영상처리부(23), 디스플레이부(24), 터치입력부(25) 및 제어부(26)를 포함한다.
통신부(21)는 제어대상기기(1)와 통신을 수행한다. 통신부(21)는 제어부(26)의 제어에 따라 사용자의 터치입력의 관한 위치정보를 제어대상기기(1)에 전송한다. 통신부(21)와 제어대상기기(1)와 통신 방식에는 제한이 없으며, 유선 및 무선 방식의 통신을 모두 포함한다.
카메라부(22)는 제어대상기기(1)의 화면(11)을 촬상한다.
영상처리부(23)는 카메라부(22)에 의해 촬상된 제어대상기기(1)의 화면(11)의 영상(27)이 디스플레이부(24)에 표시될 수 있도록 영상 처리를 수행한다.
디스플레이부(24)는 영상처리부(23)에 의해 처리된 제어대상기기(1)의 화면(11)의 영상(27)을 표시한다. 디스플레이부(24)이 표시 방식에는 제한이 없으며, 예컨대 LCD, OLED 등의 표시 방식을 포함한다.
터치입력부(25)는 제어대상기기(1)의 화면(11)의 영상(27)이 표시된 디스플레이부(24) 상의 사용자의 터치입력을 수신한다. 사용자의 터치입력의 종류에는 제한이 없으며, 탭, 멀티탭, 드래그, 슬라이드, 제스쳐 등을 모두 포함한다.
제어부(26)는 모바일기기(2)의 전반적인 제어를 수행한다. 제어부(26)는 사용자의 명령에 따라 카메라부(22)가 촬상을 수행하도록 제어한다. 제어부(26)는 카메라부(22)에 의해 촬상된 제어대상기기(1)의 화면(11)의 영상(27)이 디스플레이부(24)에 표시될 수 있도록 영상처리부(23)를 제어한다. 제어부(26)는 터치입력부(25)를 통해 사용자의 터치입력이 수신되면, 터치입력의 위치정보를 파악하고, 파악된 위치정보가 통신부(21)를 통해 제어대상기기(1)에 전송되도록 제어한다.
제어부(26)는, 도시되지는 않으나, 이러한 제어 동작을 가능하게 하는 제어프로그램이 저장된 비휘발성의 메모리와, 저장된 제어프로그램의 적어도 일부를 로딩하는 휘발성의 메모리와, 로딩된 제어프로그램을 실행하는 마이크로프로세서를 포함할 수 있다.
도 3은 도 1 및 2에 도시된 모바일기기(2)의 제어방법을 도시한 흐름도이다. 도 4는 UI를 화면(11)에 표시하는 제어대상기기(1)와, 화면(11)을 촬상한 영상(27)을 표시하는 모바일기기(2)를 도시한다.
도 3 및 4를 참조하면, 동작 S31에서, 모바일기기(2)는 UI를 표시하는 제어대상기기(1)의 화면(11)을 카메라부(21)를 이용하여 촬상한다. 제어대상기기(1)의 화면(11)의 촬상은 사용자의 명령에 따라 이루어질 수 있다. 예컨대, 사용자는 모바일기기(2)를 들고 카메라부(22)가 제어대상기기(1)의 화면(11)에 대응하도록 촬상의 포커스를 맞춘 다음, 제공되는 셔터를 눌러 촬상을 할 수 있다. 다른 예로서, 제어대상기기(1)의 화면(11)의 촬상은 자동으로 이루어질 수도 있다. 예컨대, 제어부(26)는 카메라부(21)의 포커스와 제어대상기기(1)의 화면(11)이 대응되는지를 파악하고, 대응되는 경우 자동으로 촬상을 수행할 수 있다. 카메라부(21)의 포커스와 제어대상기기(1)의 화면(11)이 대응되는지 여부 판단은 아래 다시 상세히 설명한다. 카메라부(21)의 포커스는 제어부(26)의 제어에 따라 조정될 수 있다. 예컨대, 카메라부(21)는 모바일기기(2)의 본체에 대하여 소정 간격 쉬프트되거나, 소정 각도만큼 회전될 수 있다. 또한, 카메라부(21)는 제어부(26)의 제어에 따라 줌인 및 줌아웃될 수 있다.
동작 S32에서, 모바일기기(2)는 제어대상기기(1)의 화면(11)을 촬상한 영상(27)을 디스플레이부(24)에 표시한다.
동작 S33에서, 모바일기기(2)는 터치입력부(25)를 통해 디스플레이부(24) 상의 사용자의 터치입력을 수신한다.
동작 S34에서, 모바일기기(2)는 촬상한 영상(27)으로부터 제어대상기기(1)의 화면(11)의 영역(도 5의 부호 28 참조)을 결정하고, 제어대상기기(1)의 화면(11)의 영역(28)에 있어서 사용자의 터치입력에 대응하는 위치를 파악하여 그 위치정보를 제어대상기기(1)에 전송한다.
촬상한 영상(27)에서의 제어대상기기(1)의 화면(11)의 영역(28)은 다양한 방법 중 어느 하나를 이용하여 결정될 수 있다. 예컨대, 제어대상기기(1)의 화면(11)의 영역(28)은 제어대상기기(1)에 마련된 마커(도 4의 부호 12 참조)에 기초하여 결정될 수 있다. 마커(12)는, 예컨대 적외선 반사 시트일 수 있다. 이 경우, 모바일기기(2)는 적외선센서(도시 안됨)를 더 포함할 수 있다. 제어부(26)는 적외선센서를 통하여 마커(12)에 의해 반사되는 적외선을 감지하여, 제어대상기기(1)의 화면(11)의 영역(28)을 파악할 수 있다. 마커(12)는 제어대상기기(1)의 화면(11)의 영역(28)을 파악하기 용이하도록 하는 위치에 마련될 수 있다. 예컨대, 마커(12)는 제어대상기기(1)의 사각형의 화면(11)의 모서리 각각에 마련될 수 있다. 도 4에 도시된 마커(12)의 형상과, 위치는 하나의 일례일뿐이며, 또한 설명의 편의를 위하여 도시된 것이므로, 실제 구현에 있어서는 이와 다를 수 있으며, 다양한 위치와, 형태로 마련될 수 있다.
한편, 앞서 언급된 바와 같이, 카메라부(22)의 포커스와 제어대상기기(1)의 화면(11)이 대응되는지 여부는, 마커(12)에 의해 반사되는 적외선을 감지함으로써 이루어질 수 있다. 만일, 카메라부(22)의 포커스와 제어대상기기(1)의 화면(11)이 대응되지 아니한 경우, 제어부(26)는 카메라부(22)의 포커스를 조정하여, 예컨대, 카메라부(22)의 각도나 줌을 조정하여 양자를 대응시킬 수 있다. 도 4의 영상(27)은 카메라부(22)의 포커스가 최적화된 일례를 도시한 것이며, 이 때 제어대상기기(1)의 화면(11)의 영역(28) 전체가 디스플레이부(24)에 표시된다.
제어대상기기(1)의 화면(11)의 영역(28)을 결정하는 방법은 마커(12)를 이용하는 방법 외에 다양하게 더 있을 수 있다. 예컨대, 제어대상기기(1)의 화면(11)의 영역(28)의 결정은 촬상한 영상(27)에 대하여 영상인식을 수행하여 이루어질 수 있다. 즉, 촬상한 영상(27)에 대하여 소정의 영상인식 알고리즘을 적용하여 제어대상기기(1)의 화면(11)이라고 판단되는 영역(28)의 결정할 수 있다. 이러한 영상인식에는, 예컨대 에지검출 등의 방법이 이용될 수 있다. 그 밖에, 제어대상기기(1)의 화면(11)의 영역(28)을 결정하는 방법으로서, 제어대상기기(1)로부터 소정 주기의 동기신호를 수신하고, 수신된 동기신호를 이용하여 모바일기기(2)에 대한 제어대상기기(1)의 상대적 위치를 파악한 다음, 파악된 상대적 위치에 기초하여 화면(11)의 영역(28)을 결정하는 방법 등이 이용될 수 있다.
제어대상기기(1)의 화면(11)의 영역(28)에 사용자의 터치입력의 수신되면, 모바일기기(2)는 제어대상기기(1)의 화면(11)의 영역(28)에 있어서 사용자의 터치입력에 대응하는 위치를 파악한다. 도 5는 모바일기기(2)에 표시된 제어대상기기(1)의 화면(11)의 영역(28)을 도시한다. 도 5에 도시된 화면(11)의 영역(28)에서 사용자는 부호 29로 나타낸 지점을 터치한 것으로 가정한다. 모바일기기(2)는 화면(11)의 영역(28)에 있어서 사용자의 터치입력에 대응하는 지점(29)의 좌표를 결정한다. 모바일기기(2)는 화면(11)의 영역(28)에 있어서 기준이 될 수 있는 지점, 예컨대 화면의 좌상단 모서리 지점(52)을 기준으로 사용자의 터치입력에 대응하는 지점(29)의 좌표(x, y)를 결정할 수 있다. 사용자의 터치입력에 대응하는 지점(29)의 좌표(x, y)는, 예컨대 화면(11)의 영역(28)의 크기(X, Y)에 대비하여 정해질 수 있다. 모바일기기(2)는 결정된 사용자의 터치입력에 대응하는 위치(29)의 좌표정보(x, y, X, Y)를 제어대상기기(1)에 전송한다. 제어대상기기(1)는 수신되는 사용자의 터치입력에 대응하는 위치(29)의 좌표정보(x, y, X, Y)에 기초하여 소정 동작을 수행한다. 예컨대, 도 5에 도시된 바와 같이, 제어대상기기(1)는 화면(11)에 표시된 여러 이미지 중에서 사용자의 터치입력에 대응하는 어느 하나의 이미지가 선택된 것으로 결정할 수 있다.
한편, 모바일기기(2)는 제어대상기기(1)의 화면(11)의 영역(28)에 있어서 사용자의 터치입력이 있으면, 사용자가 터치한 위치를 알 수 있도록 이를 나타내는 UI(51)를 표시할 수 있다. 다른 예로서, 모바일기기(2)는 제어대상기기(1)의 화면(11)의 영역(28)에 있어서 사용자의 터치입력이 있으면, 사용자가 터치가 유효함을 알 수 있도록 진동 등의 반응을 수행할 수도 있다.
이와 같이, 본 발명의 일실시예에 의하면, 사용자로 하여금 모바일기기(2)의 촬상된 영상(27)을 통해 표시되는 가상의 제어대상기기(1)의 화면(11)을 터치하여 원격으로 제어대상기기(1)를 제어할 수 있도록 함으로써, 사용자가 마치 제어대상기기(1)의 화면(11)을 직접 터치하는 것과 같은 편리하고 직관적인 사용자 환경을 제공할 수 있다.
도 6은 UI를 화면(11)에 표시하는 제어대상기기(1)와, 화면(11)을 촬상한 영상(27)을 표시하는 모바일기기(2)의 다른 예를 도시한다. 도 6에 도시된 바와 같이, 제어대상기기(1)의 화면(11)에는 TV 용 메뉴에 해당하는 UI(61)가 표시된다. 메뉴의 UI(61)는, 예컨대, 화면(Picture), 음향(Sound), 채널(Channel), 설정(Setup) 및 입력(Input)과 같은 항목을 포함할 수 있다. 사용자는 모바일기기(2)가 촬상한 영상(27)으로서 표시된 제어대상기기(1)의 화면(11)의 영역(28)에서 메뉴의 UI(61)의 항목 중에서 어느 하나를 터치할 수 있다. 예컨대 도 6에 도시된 바와 같이, 사용자는 '화면'의 항목을 터치할 수 있다. 모바일기기(2)는 사용자의 터치입력에 대응하는 위치(29)의 좌표정보(x, y, X, Y)를 제어대상기기(1)에 전송한다. 제어대상기기(1)는 전송되는 사용자의 터치입력에 대응하는 위치(29)의 좌표정보(x, y, X, Y)에 기초하여 메뉴의 UI(61)의 항목 중 '화면'의 항목이 선택된 것으로 결정한다. 이에, 제어대상기기(1)는 '화면'의 항목에 대응하는 서브메뉴의 UI를 표시한다. 도 7은 '화면'의 항목에 대응하는 서브메뉴의 UI(71)가 제어대상기기(1)의 화면(11) 표시된 일례를 도시한다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
1: 제어대상기기
2: 모바일기기
21: 통신부
22: 카메라부
23: 영상처리부
24: 디스플레이부
25: 터치입력부
26: 제어부

Claims (14)

  1. 모바일기기에 있어서,
    화면을 표시하는 제어대상기기와 통신하는 통신부와;
    상기 제어대상기기의 화면을 촬상하는 카메라부와;
    상기 제어대상기기의 화면을 촬상한 영상을 표시하는 디스플레이부와;
    상기 디스플레이부 상의 사용자의 터치입력을 수신하는 터치입력부와;
    상기 촬상한 영상으로부터 상기 제어대상기기의 화면의 영역을 결정하고, 상기 화면의 영역에 있어서 상기 사용자의 터치입력에 대응하는 위치정보를 상기 제어대상기기에 전송하는 제어부를 포함하는 모바일기기.
  2. 제1항에 있어서,
    상기 제어부는, 상기 제어대상기기에 마련된 마커에 기초하여 상기 화면의 영역을 결정하는 모바일기기.
  3. 제1항에 있어서,
    상기 제어부는, 상기 촬상한 영상에 대하여 영상인식을 수행하여 상기 화면의 영역을 결정하는 모바일기기.
  4. 제1항에 있어서,
    상기 통신부는, 상기 제어대상기기로부터 동기신호를 수신하고,
    상기 제어부는, 상기 수신된 동기신호를 이용한 상기 제어대상기기의 상대적 위치에 기초하여 상기 화면의 영역을 결정하는 모바일기기.
  5. 제1항에 있어서,
    상기 사용자의 터치입력에 대응하는 위치정보는, 상기 화면의 영역의 소정 기준점에 대한 상기 사용자의 터치입력에 대응하는 지점의 좌표정보를 포함하는 모바일기기.
  6. 제1항에 있어서,
    상기 제어부는, 상기 사용자의 터치입력에 대응하는 위치를 나타내는 UI를 상기 디스플레이부에 표시하는 모바일기기.
  7. 제1항에 있어서,
    상기 제어부는, 상기 화면의 촬상 시 상기 화면의 영역이 표시되도록 상기 카메라부의 각도 및 줌 중 적어도 하나를 조정하는 모바일기기.
  8. 모바일기기의 제어방법에 있어서,
    화면을 표시하는 제어대상기기의 화면을 카메라부로 촬상하는 단계와;
    상기 제어대상기기의 화면을 촬상한 영상을 디스플레이부에 표시하는 단계와;
    상기 디스플레이부 상의 사용자의 터치입력을 수신하는 단계와;
    상기 촬상한 영상으로부터 상기 제어대상기기의 화면의 영역을 결정하고, 상기 화면의 영역에 있어서 상기 사용자의 터치입력에 대응하는 위치정보를 상기 제어대상기기에 전송하는 단계를 포함하는 모바일기기의 제어방법.
  9. 제8항에 있어서,
    상기 결정하는 단계는, 상기 제어대상기기에 마련된 마커에 기초하여 상기 화면의 영역을 결정하는 단계를 포함하는 모바일기기의 제어방법.
  10. 제8항에 있어서,
    상기 결정하는 단계는, 상기 촬상한 영상에 대하여 영상인식을 수행하여 상기 화면의 영역을 결정하는 단계를 포함하는 모바일기기의 제어방법.
  11. 제8항에 있어서,
    상기 결정하는 단계는, 상기 제어대상기기로부터 수신되는 동기신호를 이용한 상기 제어대상기기의 상대적 위치에 기초하여 상기 화면의 영역을 결정하는 단계를 포함하는 모바일기기의 제어방법.
  12. 제8항에 있어서,
    상기 사용자의 터치입력에 대응하는 위치정보는, 상기 화면의 영역의 소정 기준점에 대한 상기 사용자의 터치입력에 대응하는 지점의 좌표정보를 포함하는 모바일기기의 제어방법.
  13. 제8항에 있어서,
    상기 사용자의 터치입력에 대응하는 위치를 나타내는 UI를 상기 디스플레이부에 표시하는 단계를 더 포함하는 모바일기기의 제어방법.
  14. 제8항에 있어서,
    상기 촬상하는 단계는, 상기 화면의 영역이 표시되도록 상기 카메라부의 각도 및 줌 중 적어도 하나를 조정하는 단계를 포함하는 모바일기기의 제어방법.
KR1020110101826A 2011-10-06 2011-10-06 모바일기기 및 그 제어방법 KR101888681B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110101826A KR101888681B1 (ko) 2011-10-06 2011-10-06 모바일기기 및 그 제어방법
EP12168444.3A EP2579142B1 (en) 2011-10-06 2012-05-17 Mobile device and method of remotely controlling a controlled device
US13/618,120 US20130088629A1 (en) 2011-10-06 2012-09-14 Mobile device and method of remotely controlling a controlled device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110101826A KR101888681B1 (ko) 2011-10-06 2011-10-06 모바일기기 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20130037430A true KR20130037430A (ko) 2013-04-16
KR101888681B1 KR101888681B1 (ko) 2018-08-17

Family

ID=46229185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110101826A KR101888681B1 (ko) 2011-10-06 2011-10-06 모바일기기 및 그 제어방법

Country Status (3)

Country Link
US (1) US20130088629A1 (ko)
EP (1) EP2579142B1 (ko)
KR (1) KR101888681B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101433727B1 (ko) * 2013-04-24 2014-09-17 주식회사 삼진 문자 입력 시스템 및 문자 입력 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8863196B2 (en) 2010-11-30 2014-10-14 Sony Corporation Enhanced information on mobile device for viewed program and control of internet TV device using mobile device
US9173000B2 (en) * 2013-04-12 2015-10-27 Sony Corporation Automatic discovery and mirroring of server-client remote user interface (RUI) session on a companion device and synchronously controlling both sessions using RUI on companion device
CN103354619A (zh) * 2013-05-31 2013-10-16 深圳市同洲电子股份有限公司 通过移动终端远程控制数字电视终端的方法及其系统
CN103365441B (zh) * 2013-06-24 2016-05-04 百度时代网络技术（北京）有限公司 计算机端远程控制Android手机桌面的方法
KR102288726B1 (ko) 2014-06-09 2021-08-12 삼성전자주식회사 웨어러블 전자 장치, 메인 전자 장치, 시스템 및 그 제어 방법
US9613591B2 (en) * 2014-08-29 2017-04-04 Lg Electronics Inc. Method for removing image sticking in display device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194467A (ja) * 1998-12-24 2000-07-14 Matsushita Electric Ind Co Ltd 情報表示装置、情報処理装置、機器制御装置、及び測距装置
JP2003018680A (ja) * 2002-05-08 2003-01-17 Sony Corp 情報提供機器及び遠隔操作制御システム
KR20100128490A (ko) * 2009-05-28 2010-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811339B1 (ko) * 2001-10-11 2008-03-07 엘지전자 주식회사 그래픽 유저 인터페이스가 구현되는 원격제어 시스템 및방법
JP4635424B2 (ja) * 2003-02-10 2011-02-23 パナソニック株式会社 システム及びこのシステムに用いられる双方向リモコン装置
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP4588395B2 (ja) * 2004-09-24 2010-12-01 富士通株式会社 情報処理端末
KR101428730B1 (ko) * 2007-01-04 2014-08-11 삼성전자주식회사 인터넷 검색방법 및 이를 적용한 영상수신장치
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8850052B2 (en) * 2008-09-30 2014-09-30 Apple Inc. System and method for simplified resource sharing
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
KR20110067559A (ko) * 2009-12-14 2011-06-22 삼성전자주식회사 디스플레이장치 및 그 제어방법, 디스플레이시스템 및 그 제어방법
US8913171B2 (en) * 2010-11-17 2014-12-16 Verizon Patent And Licensing Inc. Methods and systems for dynamically presenting enhanced content during a presentation of a media content instance
US9137560B2 (en) * 2010-12-10 2015-09-15 Verizon Patent And Licensing Inc. Methods and systems for providing access to content during a presentation of a media content instance
US8958018B2 (en) * 2010-12-22 2015-02-17 Google Technology Holdings LLC Remote control device and method for controlling operation of a media display system
US9253531B2 (en) * 2011-05-10 2016-02-02 Verizon Patent And Licensing Inc. Methods and systems for managing media content sessions
DE102012212514A1 (de) * 2011-07-18 2013-02-21 Logitech Europe S.A. Fernbedienungs-Benutzerschnittstelle für Handgerät

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194467A (ja) * 1998-12-24 2000-07-14 Matsushita Electric Ind Co Ltd 情報表示装置、情報処理装置、機器制御装置、及び測距装置
JP2003018680A (ja) * 2002-05-08 2003-01-17 Sony Corp 情報提供機器及び遠隔操作制御システム
KR20100128490A (ko) * 2009-05-28 2010-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101433727B1 (ko) * 2013-04-24 2014-09-17 주식회사 삼진 문자 입력 시스템 및 문자 입력 방법

Also Published As

Publication number Publication date
EP2579142B1 (en) 2014-11-12
EP2579142A1 (en) 2013-04-10
KR101888681B1 (ko) 2018-08-17
US20130088629A1 (en) 2013-04-11

Similar Documents

Publication Publication Date Title
US10761610B2 (en) Vehicle systems and methods for interaction detection
KR101888681B1 (ko) 모바일기기 및 그 제어방법
JP6791994B2 (ja) 表示装置
US10642372B2 (en) Apparatus and method for remote control using camera-based virtual touch
US9367138B2 (en) Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
CN111182205B (zh) 拍摄方法、电子设备及介质
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
US20130321347A1 (en) Virtual touch device without pointer
WO2010098050A1 (ja) 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
US9207779B2 (en) Method of recognizing contactless user interface motion and system there-of
KR20150092964A (ko) 지문 처리 방법 및 그 전자 장치
US20180150211A1 (en) Method for adjusting photographing focal length of mobile terminal by using touchpad, and mobile terminal
KR101797260B1 (ko) 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법
CN107407959B (zh) 基于姿势的三维图像的操纵
JP2017533602A (ja) 電子デバイスのカメラ間の切り替え
CN109068055B (zh) 一种构图方法、终端和存储介质
US20160070410A1 (en) Display apparatus, electronic apparatus, hand-wearing apparatus and control system
CN107360375B (zh) 一种拍摄方法及移动终端
US20160188021A1 (en) Method of receiving user input by detecting movement of user and apparatus therefor
CN111708479B (zh) 触控操作的响应方法、装置、终端及存储介质
CN108111750B (zh) 一种变焦调节方法、移动终端及计算机可读存储介质
CN108737731B (zh) 一种对焦方法及终端设备
US20160054860A1 (en) Input device
US10437415B2 (en) System, method, and device for controlling a display
CN108628487A (zh) 一种位置信息确定方法、投影设备和计算机存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant