KR20200041554A - 모바일 장치 및 모바일 장치의 제어 방법 - Google Patents

모바일 장치 및 모바일 장치의 제어 방법 Download PDF

Info

Publication number
KR20200041554A
KR20200041554A KR1020180121739A KR20180121739A KR20200041554A KR 20200041554 A KR20200041554 A KR 20200041554A KR 1020180121739 A KR1020180121739 A KR 1020180121739A KR 20180121739 A KR20180121739 A KR 20180121739A KR 20200041554 A KR20200041554 A KR 20200041554A
Authority
KR
South Korea
Prior art keywords
target device
display
virtual image
mobile device
content
Prior art date
Application number
KR1020180121739A
Other languages
English (en)
Other versions
KR102620363B1 (ko
Inventor
최은영
박민선
장성현
한지연
황수현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180121739A priority Critical patent/KR102620363B1/ko
Priority to PCT/KR2019/001941 priority patent/WO2020075926A1/ko
Priority to EP19870260.7A priority patent/EP3848785B1/en
Priority to US17/284,566 priority patent/US11620824B2/en
Publication of KR20200041554A publication Critical patent/KR20200041554A/ko
Application granted granted Critical
Publication of KR102620363B1 publication Critical patent/KR102620363B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2812—Exchanging configuration information on appliance services in a home automation network describing content present in a home automation network, e.g. audio video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/2849—Audio/video appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

카메라의 시야 또는 화각(FOV) 내에 있는 타겟 디바이스에서 재생되는 컨텐츠와 관련된 정보를 제공하고, 타겟 디바이스 제어를 위해, 일 실시예에 따른 모바일 장치는, 디스플레이, 타겟 디바이스를 촬영하는 카메라, 사용자의 입력을 수신하는 사용자 인터페이스부 및 상기 사용자의 입력에 대응하여, 상기 카메라에 의해 촬영된 상기 타겟 디바이스의 이미지 및 상기 타겟 디바이스가 재생 중인 컨텐츠에 포함된 객체와 관련된 정보를 함께 표시하도록 상기 디스플레이를 제어하는 제어부를 포함한다.

Description

모바일 장치 및 모바일 장치의 제어 방법{A MOBILE APPARATUS AND A METHOD FOR CONTROLLING THE MOBILE APPARATUS}
증강 현실(Augmented Reality) 기술을 이용하여 타겟 디바이스를 제어할 수 있는 모바일 장치 및 모바일 장치의 제어방법에 관한 것이다.
모바일 장치는 이동성을 기반으로 다양한 기능을 제공하는 장치로서, 다양한 분야에서 폭넓게 사용되고 있다. 이러한 모바일 장치는 다양한 기능을 제공하기 위해 여러 가지 기능 모듈을 포함한다. 예를 들면, 모바일 장치는 이미지 수집 기능을 제공하는 카메라 모듈을 포함한다.
모바일 장치의 카메라 모듈을 이용하는 기술로서 증강 현실 기술이 존재한다. 증강 현실 기술은 실제 환경에 가상 사물이나 가상 정보를 합성하여 실제 환경에 존재하는 사물처럼 보이도록 하는 그래픽 기술을 말한다.
증강　현실 기술은 가상의 공간과 가상의 사물로 구현되는 기존의 가상　현실 기술과는　다르게 실제 공간에 가상의 사물을 합성한다. 따라서,　현실　세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가진다. 이러한 증강 현실 기술은 다양한　현실　환경에 응용이 가능하며, 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
일 측면은 카메라의 시야 또는 화각(FOV) 내에 있는 타겟 디바이스에서 재생되는 컨텐츠 및 컨텐츠 내의 객체를 인식하고, 컨텐츠 내의 객체와 관련된 정보 제공 및 타겟 디바이스 제어를 위한 그래픽 사용자 인터페이스(GUI)를 디스플레이에 함께 표시할 수 있는 모바일 장치 및 모바일 장치의 제어 방법을 제공하는 것을 목적으로 한다.
일 실시예에 따른 모바일 장치는 디스플레이, 타겟 디바이스를 촬영하는 카메라, 사용자의 입력을 수신하는 사용자 인터페이스부 및 상기 사용자의 입력에 대응하여, 상기 카메라에 의해 촬영된 상기 타겟 디바이스의 이미지 및 상기 타겟 디바이스가 재생 중인 컨텐츠에 포함된 객체와 관련된 정보를 함께 표시하도록 상기 디스플레이를 제어하는 제어부를 포함한다.
또한, 상기 제어부는 상기 카메라의 화각(FOV) 내에 있는 상기 타겟 디바이스의 이미지 주변에 상기 객체와 관련된 정보를 포함하는 적어도 하나의 가상 이미지를 표시하도록 상기 디스플레이를 제어하고, 상기 타겟 디바이스의 이미지 및 상기 적어도 하나의 가상 이미지 중 적어도 하나에 대한 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스를 제어할 수 있다.
또한, 상기 제어부는 상기 카메라 화각(FOV)의 중심선의 이동 방향에 위치하는 상기 가상 이미지를 확대 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제어부는 상기 적어도 하나의 가상 이미지 중 어느 하나를 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 선택된 상기 가상 이미지에 대응하는 제1 컨텐츠를 상기 타겟 디바이스가 출력하도록 상기 타겟 디바이스를 제어할 수 있다.
또한, 상기 제어부는 상기 가상 이미지를 추가 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스의 출력 영역을 제1 영역과 제2 영역으로 분할하고, 상기 제1 컨텐츠 및 추가 선택된 상기 가상 이미지에 대응하는 제2 컨텐츠를 각각 상기 제1 영역과 상기 제2 영역에서 출력하도록 상기 타겟 디바이스를 제어할 수 있다.
또한, 상기 제어부는 상기 타겟 디바이스의 상기 제1 영역 또는 상기 제2 영역에 대한 줌(Zoom) 입력에 대응하여, 상기 제1 영역의 크기 및 상기 제2 영역의 크기를 조절하도록 상기 타겟 디바이스를 제어할 수 있다.
또한, 상기 제어부는 모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 객체와 관련된 정보의 상세 내용을 제공하는 화면을 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제어부는 모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 적어도 하나의 가상 이미지 각각에 대응하는 컨텐츠의 정보를 목록으로 제공하는 화면을 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 일 실시예에 따른 모바일 장치는 음성 명령을 수신하는 마이크를 더 포함하고, 상기 제어부는 상기 마이크를 통해 수신되는 음성 명령에 대응하여, 상기 타겟 디바이스를 제어할 수 있다.
또한, 일 실시예에 따른 모바일 장치는 상기 타겟 디바이스와 구별되는 제1 외부 디바이스를 연결하는 통신부를 더 포함하고, 상기 제어부는 상기 디스플레이에 표시되는 화면에 대한 공유를 요청하는 상기 사용자의 입력에 대응하여, 상기 디스플레이에 표시되는 화면을 상기 제1 외부 디바이스로 전송하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 모바일 장치의 제어 방법은 카메라를 이용하여 타겟 디바이스를 촬영하는 단계, 사용자의 입력에 대응하여, 촬영된 상기 타겟 디바이스가 재생 중인 컨텐츠에 포함된 객체를 식별하는 단계 및 촬영된 상기 타겟 디바이스의 이미지 및 상기 식별된 객체와 관련된 정보를 함께 디스플레이에 표시하는 단계를 포함한다.
또한, 상기 디스플레이에 표시하는 단계는 상기 타겟 디바이스의 이미지 주변에 상기 객체와 관련된 정보를 포함하는 적어도 하나의 가상 이미지를 상기 디스플레이에 표시하는 단계를 포함할 수 있다.
또한, 일 실시예에 따른 모바일 장치의 제어 방법은 상기 타겟 디바이스의 이미지 및 상기 적어도 하나의 가상 이미지 중 적어도 하나에 대한 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스를 제어하는 단계;를 더 포함할 수 있다.
또한, 상기 적어도 하나의 가상 이미지를 상기 디스플레이에 표시하는 단계는 상기 카메라 화각(FOV)의 중심선의 이동 방향에 위치하는 상기 가상 이미지를 확대 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 타겟 디바이스를 제어하는 단계는 상기 적어도 하나의 가상 이미지 중 어느 하나를 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 선택된 상기 가상 이미지에 대응하는 제1 컨텐츠를 상기 타겟 디바이스가 출력하도록 상기 타겟 디바이스를 제어하는 단계;를 포함할 수 있다.
또한, 상기 타겟 디바이스를 제어하는 단계는 상기 가상 이미지를 추가 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스의 출력 영역을 제1 영역과 제2 영역으로 분할하고, 상기 제1 컨텐츠 및 추가 선택된 상기 가상 이미지에 대응하는 제2 컨텐츠를 각각 상기 제1 영역과 상기 제2 영역에서 출력하도록 상기 타겟 디바이스를 제어하는 단계;를 더 포함할 수 있다.
또한, 상기 타겟 디바이스를 제어하는 단계는 상기 타겟 디바이스의 상기 제1 영역 또는 상기 제2 영역에 대한 줌(Zoom) 입력에 대응하여, 상기 제1 영역의 크기 및 상기 제2 영역의 크기를 조절하도록 상기 타겟 디바이스를 제어하는 단계;를 더 포함할 수 있다.
또한, 일 실시예에 따른 모바일 장치의 제어 방법은 모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 객체와 관련된 정보의 상세 내용을 제공하는 화면을 상기 디스플레이에 표시하는 단계;를 더 포함할 수 있다.
또한, 일 실시예에 따른 모바일 장치의 제어 방법은 모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 적어도 하나의 가상 이미지 각각에 대응하는 컨텐츠의 정보를 목록으로 제공하는 화면을 상기 디스플레이에 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 타겟 디바이스를 제어하는 단계는 마이크를 통해 수신되는 음성 명령에 대응하여, 상기 타겟 디바이스를 제어하는 단계;를 포함할 수 있다.
또한, 일 실시예에 따른 모바일 장치의 제어 방법은 상기 타겟 디바이스와 구별되는 제1 외부 디바이스를 연결하는 단계 및 상기 디스플레이에 표시되는 화면에 대한 공유를 요청하는 상기 사용자의 입력에 대응하여, 상기 디스플레이에 표시되는 화면을 상기 제1 외부 디바이스로 전송하는 단계;를 더 포함할 수 있다.
일 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 카메라의 시야 또는 화각(FOV) 내에 있는 타겟 디바이스에서 재생되는 컨텐츠 및 컨텐츠 내의 객체를 인식하고, 컨텐츠 내의 객체와 관련된 정보 제공 및 타겟 디바이스 제어를 위한 그래픽 사용자 인터페이스(GUI)를 디스플레이에 함께 표시할 수 있다. 따라서 사용자는 보다 직관적인 방식으로 정보를 획득할 수 있고, 타겟 디바이스를 보다 쉽게 제어할 수 있다.
또한, 일 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 복수의 디바이스를 등록하고, 카메라의 시야 또는 화각(FOV)의 이동에 따라 복수의 디바이스를 동시에 또는 연계하여 제어할 수 있다.
도 1은 일 실시예에 따른 모바일 장치의 제어 블록도이다.
도 2는 도 1에 도시된 제어부의 상세 블록도이다.
도 3은 일 실시예에 따른 모바일 장치와 복수의 디바이스 간의 네트워크 환경을 도시한다.
도 4는 일 실시예에 따른 모바일 장치 제어 방법의 흐름도이다.
도 5는 일 실시예에 따른 모바일 장치가 타겟 디바이스를 인식하는 방법을 설명하기 위한 도면이다.
도 6 및 도 7은 타겟 디바이스에서 재생 중인 컨텐츠를 인식하여 컨텐츠와 관련된 정보를 디스플레이에 표시하는 예시를 보여준다.
도 8 및 도 9는 인식된 객체와 관련된 정보를 가상 이미지로 표시하는 예시를 보여준다.
도 10 내지 도 16은 디스플레이에 표시되는 그래픽 사용자 인터페이스를 이용하여 타겟 디바이스를 제어하는 예시를 보여준다.
도 17 내지 도 20은 모바일 장치의 움직임에 따라 디스플레이에 표시되는 화면이 전환되는 것을 설명하기 위한 도면이다.
도 21은 일 실시예에 따른 모바일 장치를 통해 복수의 디바이스가 연계 제어되는 방법을 설명하기 위한 도면이다.
도 22 및 도 23은 일 실시예에 따른 모바일 장치와 다른 모바일 장치 간의 컨텐츠 공유를 설명하기 위한 도면이다.
도 24는 카메라를 통해 인식된 객체와 관련된 정보를 타겟 디바이스에 표시하는 다른 예시를 보여준다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다. 본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것이고, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다.
명세서에서 사용되는 '부'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부'가 하나의 구성 요소로 구현되거나, 하나의 '부'가 복수의 구성 요소들을 포함하는 것도 가능하다. 본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한, 제 1 이나 제 2 등의 용어는 하나의 부분을 다른 부분으로부터 구별하기 위해 사용되는 것으로, 특별한 기재가 없는 이상 이들이 순차적인 표현을 의미하는 것은 아니다.
또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합이 존재함을 표현하고자 하는 것이며, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합의 추가적인 존재 또는 부가 가능성을 배제하지 않는다.
또한, "제1", "제2" 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위하여 사용되며, 상기 하나의 구성요소들을 한정하지 않는다. 또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 적어도 하나의 하드웨어/메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
이하에서는 첨부한 도면을 참조하여 개시된 발명의 일 실시예가 상세하게 설명된다. 첨부된 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낼 수 있다.
도 1은 일 실시예에 따른 모바일 장치의 제어 블록도이고, 도 2는 도 1에 도시된 제어부의 상세 블록도이다.
먼저, 일 실시예에 따른 모바일 장치(1)는 이동 가능한 장치로서 증강 현실을 제공할 수 있는 장치를 포함한다. 예를 들면, 모바일 장치(1)는 휴대 전화기, PMP(Portable Multimedia Player), 디지털 방송 플레이어, PDA(Personal Digital Assistant), 음악 파일 재생기(예컨대, MP3 플레이어), 휴대 게임 단말기, 태블릿 PC 및 스마트폰(Smart Phone) 등 카메라를 구비하여 증강 현실을 제공할 수 있는 장치로 구현될 수 있다. 이하에서는 설명의 편의를 위해 모바일 장치(1)가 스마트폰인 것으로 가정한다.
도 1을 참조하면, 일 실시예에 따른 모바일 장치(1)는 카메라(100), 사용자 인터페이스부(210), 마이크(220), 출력부(300), 통신부(400), 저장부(500) 및 제어부(600)를 포함할 수 있다.
카메라(100)는 타겟 디바이스를 촬영하여 타겟 디바이스의 이미지를 획득할 수 있다. 제어부(600)는 카메라(100)에 의해 촬영된 타겟 디바이스의 이미지를 기초로 타겟 디바이스에서 재생 중인 컨텐츠 및 컨텐츠 내의 객체를 식별할 수 있다. 타겟 디바이스는 모바일 장치(1)에 의해 제어될 수 있는 전자 장치로서, TV 등의 디스플레이 장치, 음향 기기, 모바일 장치(1)와 통신망을 통해 연결된 다른 모바일 장치 등을 의미한다. 도 3을 참조하면, 타겟 디바이스는 제2 모바일 장치(2), TV(10), 음향기기(20) 중 적어도 하나를 포함할 수 있다.
카메라(100)는 모바일 장치(1)에 통상적으로 장착되는 카메라 모듈로서, 렌즈, CCD, CMOS와 같은 영상 센서 및 아날로그 디지털 컨버터를 포함할 수 있다. 카메라(100)는 피사체를 포착하여 획득한 영상을 디지털 신호로 변환하여 제어부(600)로 전송한다. 후술할 제어부(600)는 디지털 신호로 변환된 영상에 대한 처리를 수행할 수 있다.
사용자 인터페이스부(210)는 사용자의 입력을 수신하여 제어부(600)에 전달한다. 사용자 인터페이스부(210)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등 다양한 사용자 입력 수단을 포함할 수 있다.
또한, 사용자 인터페이스부(210)는 터치 패널을 장착한 디스플레이(310)일 수 있다. 사용자 인터페이스부(210)는 터치 제스처와 같은 사용자의 입력을 감지하고 동시에 사용자의 입력에 대한 처리 결과를 이미지로 표시하는 디스플레이(310)와 동일하게 취급될 수 있다. 사용자 인터페이스부(210)는 디스플레이(310) 상에 모바일 장치(1)의 제어를 가능하게 하는 그래픽 사용자 인터페이스(GUI, Graphic User Interface)를 표시할 수 있다. 즉, 디스플레이(310) 상에 아이콘(Icon)과 같은 UI 엘리먼트(User Interface Element)가 표시될 수 있다.
또한, 사용자 인터페이스부(210)는 모바일 장치(1)의 움직임을 검출하기 위한 움직임 센서를 포함할 수 있다. 움직임 센서에는 가속도 센서, 자이로 센서, 지자기 센서 등이 포함될 수 있다. 제어부(600)는 모바일 장치(1)가 특정 방향으로 움직이는 것에 따라 디스플레이(310)에 표시되는 화면을 전환시킬 수 있다.
마이크(220)는 오디오 신호를 수신하고 전기적 신호로 변환하여 제어부(600)에 전송할 수 있다. 마이크(220)는 사용자의 음성 명령을 입력 받아 제어부(600)로 전송하고, 제어부(600)는 사용자의 음성 명령에 대응하여 모바일 장치(1)를 제어할 수 있다. 또한, 마이크(220)는 타겟 디바이스에서 출력되는 오디오 신호를 감지하여 제어부(600)로 전송할 수 있다. 제어부(600)는 타겟 디바이스에서 출력되는 오디오 신호를 기초로 타겟 디바이스에서 재생되는 컨텐츠를 식별할 수 있다.
출력부(300)는 영상 신호 또는 오디오 신호를 출력할 수 있는 장치로서 다양한 장치에 해당할 수 있다. 구체적으로, 출력부(300)는 디스플레이(310) 및 스피커(320) 중 적어도 하나를 포함할 수 있다. 스피커(320)는 모바일 장치(1)의 각종 기능과 관련된 오디오 신호를 출력할 수 있다.
디스플레이(310)는 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 다양한 화면으로 표시할 수 있다. 디스플레이(310) 제어부(600)에서 처리되는 정보를 표시한다. 예를 들면, 디스플레이(310)는 카메라(100)에 의해 촬영된 공간의 영상을 표시하고, 공간의 영상에 가상 이미지가 합성된 증강 현실 영상을 표시할 수 있다. 디스플레이(310)는 모바일 장치(1)의 각종 기능과 관련된 GUI(Graphic User Interface)를 표시할 수 있다.
또한, 디스플레이(310)는 터치 패널을 포함하여 입력 장치로도 사용될 수 있다. 디스플레이(310)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystaldisplay), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
통신부(400)는 네트워크 또는 통신 채널을 통해 모바일 장치(1)를 타겟 디바이스, 서버 등과 연결한다. 도 3을 참조하면, 모바일 장치(1)는 타겟 디바이스에 해당하는 제2 모바일 장치(2), TV(10), 음향기기(20) 중 적어도 하나와 연결되어 데이터를 송수신할 수 있다. 또한, 통신부(400)는 제어부(600)의 제어에 따라 외부 서버로부터 카메라(100)에 의해 촬영된 객체와 관련된 정보를 수신할 수 있다. 예를 들면, 통신부(400)는 타겟 디바이스에서 재생 중인 컨텐츠의 정보, 타겟 디바이스에서 재생 중인 컨텐츠 내의 객체에 관련된 정보를 외부 서버로부터 수신할 수 있다.
통신부(400)는 다양한 통신 모듈을 포함할 수 있다. 예를 들면, 통신부(400)는 블루투스(Bluetooth), 지그비(Zigbee), 무선 랜((wireless local area network), 홈 RF(Home Radio Frequency), UWB(Ultra-wide band), 인터넷 등과 같은 다양한 통신 네트워크와 연결 가능한 통신 모듈을 포함할 수 있다.
저장부(500)는 모바일 장치(1)의 작동을 제어하기 위한 프로그램 및 데이터를 기억/저장할 수 있다. 또한, 저장부(500)는 입/출력되는 데이터(예를 들어, 메시지, 정지 영상, 동영상 등)를 저장할 수 있다. 이러한 저장부(500)는 메모리에 해당할 수 있고, S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory) 등과 같은 휘발성 메모리, 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read Only Memory: EEPROM) 등과 같은 비휘발성 메모리를 포함할 수 있다.
제어부(600)는 저장부(500)에 저장/기억된 프로그램 및 데이터에 따라 모바일 장치(1)의 작동을 제어하기 위한 제어 신호를 생성하는 프로세서를 포함할 수 있다. 프로세서는 논리 회로와 연산 회로를 포함할 수 있으며, 저장부(500)로부터 제공된 프로그램에 따라 데이터를 처리하고, 처리 결과에 따라 제어 신호를 생성할 수 있다.
또한, 프로세서와 메모리는 별도의 칩으로 구현되거나, 단일의 칩으로 구현될 수 있다. 제어부(600)는 복수의 프로세서와 복수의 메모리를 포함할 수도 있다.
도 2를 참조하면, 제어부(600)는 기기 인식부(610), 컨텐츠 정보 처리부(620), 가상 이미지 생성부(630) 및 증강 현실 처리부(640)를 포함할 수 있다. 기기 인식부(610), 컨텐츠 정보 처리부(620), 가상 이미지 생성부(630) 및 증강 현실 처리부(640)는 각각 별개의 프로세서로 구현되거나, 하나의 프로세서로 구현될 수 있다.
기기 인식부(610)는 카메라(100)의 시야 또는 화각(FOV, Field of View) 내에 있는 타겟 디바이스를 인식하고, 제어 대상으로 등록할 수 있다. 구체적으로, 기기 인식부(610)는 타겟 디바이스에 포함된 특정 마커를 인식하여 타겟 디바이스를 인식할 수 있다. 또한, 기기 인식부(610)는 카메라(100)에 의해 촬영된 특정 공간을 인식하고, 특정 공간 내에서 타겟 디바이스의 위치를 인식할 수 있다.
또한, 기기 인식부(610)는 카메라(100)의 화각 내에 있는 복수의 타겟 디바이스를 인식하여 각각을 제어 대상으로 등록할 수 있다. 예를 들면, 카메라(100)의 화각 내에서 TV(10)와 음향기기(20)가 포착된 경우, 기기 인식부(610)는 TV(10)와 음향기기(20)를 타겟 디바이스로 인식하고, 제어 대상에 등록할 수 있다.
컨텐츠 정보 처리부(620)는 카메라(100)에 의해 촬영된 타겟 디바이스의 이미지를 기초로 타겟 디바이스에서 재생 중인 컨텐츠 및/또는 컨텐츠 내의 객체를 식별할 수 있다. 또한, 컨텐츠 정보 처리부(620)는 식별된 컨텐츠의 정보 및 컨텐츠 내의 객체와 관련된 정보를 통신부(400)를 통해 외부 서버로부터 획득할 수 있다.
또한, 컨텐츠 정보 처리부(620)는 카메라(100)에 의해 촬영된 객체를 인식하고, 객체와 관련된 컨텐츠 정보를 통신부(400)를 통해 외부 서버로부터 획득할 수 있다.
컨텐츠는 사진, 비디오, 오디오, 텍스트 등의 다양한 형태의 데이터를 의미한다. 식별된 객체와 관련된 정보는, 식별된 객체에 대한 요약 정보, 식별된 객체에 대한 상세 정보, 식별된 객체와 연관된 다른 컨텐츠 정보를 포함할 수 있다. 이러한 식별된 객체와 관련된 정보는 부가 정보로 정의될 수도 있다.
예를 들면, 타겟 디바이스에서 재생 중인 컨텐츠가 영상 컨텐츠이고, 영상 컨텐츠에 포함된 객체가 인물인 경우, 부가 정보는 인물의 신상 정보, 해당 인물과 연관된 다른 컨텐츠 정보 등을 포함할 수 있다. 또한, 타겟 디바이스에서 재생 중인 컨텐츠가 오디오 컨텐츠인 경우, 부가 정보는 해당 오디오 컨텐츠의 가수 정보, 가사 정보, 해당 오디오 컨텐츠와 연관된 다른 오디오 컨텐츠 정보, 해당 오디오 컨텐츠와 연관된 영상 컨텐츠 정보 등을 포함할 수 있다.
가상 이미지 생성부(630)는 증강 현실 영상을 제공하기 위한 가상 이미지를 생성할 수 있다. 가상 이미지 생성부(630)는 컨텐츠 정보 처리부(620)에 의해 획득된 컨텐츠 정보, 부가 정보 등을 포함하는 가상 이미지를 생성할 수 있다. 또한, 가상 이미지 생성부(630)는 타겟 디바이스의 제어를 위한 UI 엘리먼트(User Interface Element)를 생성할 수 있다.
생성된 가상 이미지 및 UI 엘리먼트(User Interface Element)는 사용자의 입력과 인터랙션 가능한 것으로서, 사용자는 사용자 인터페이스부(210)를 통해 가상 이미지 및 UI 엘리먼트(User Interface Element)를 선택, 이동, 변경할 수 있다.
예를 들면, 가상 이미지 생성부(630)는 타겟 디바이스에서 재생 중인 컨텐츠 내 객체의 식별 결과를 표시하는 식별 마커(Identification marker), 식별된 객체에 대한 요약 정보를 표시하는 요약 정보의 가상 이미지, 식별된 객체에 대한 상세 정보를 표시하는 상세 정보의 가상 이미지, 식별된 객체와 연관된 다른 컨텐츠 정보를 표시하는 컨텐츠 정보의 가상 이미지를 생성할 수 있다.
또한, 가상 이미지 생성부(630)는 타겟 디바이스를 제어하기 위한 재생 아이콘, 일시 정지 아이콘, 정지 아이콘, 볼륨 조절 아이콘 등의 UI 엘리먼트(User Interface Element)를 생성할 수 있다.
증강 현실 처리부(630)는 타겟 디바이스의 이미지와 가상 이미지를 디스플레이(310)에 함께 표시할 수 있다. 구체적으로, 증강 현실 처리부(630)는 타겟 디바이스의 이미지와 가상 이미지를 합성한 증강 현실 영상을 생성하고, 생성된 증강 현실 영상을 디스플레이(310)에 표시할 수 있다. 증강 현실 처리부(630)는 가상 이미지 생성부(620)에 의해 생성된 객체와 관련된 정보를 포함하는 적어도 하나의 가상 이미지를 타겟 디바이스의 이미지 주변에 표시하도록 디스플레이(310)를 제어할 수 있다.
이와 같이, 본 발명은 타겟 디바이스에서 재생 중인 컨텐츠와 관련된 정보를 제공함에 있어서, 증강 현실 기술을 이용하여 타겟 디바이스의 이미지와 컨턴츠 정보를 포함하는 가상 이미지를 함께 디스플레이(310) 상에 표시하므로, 사용자에게 보다 직관적인 방식으로 정보를 제공할 수 있다. 또한, 사용자는 타겟 디바이스를 보다 쉽게 제어할 수 있다.
도 3은 일 실시예에 따른 모바일 장치와 복수의 디바이스 간의 네트워크 환경을 도시한다.
도 3을 참조하면, 일 실시예에 따른 모바일 장치(1)는 제1 모바일 장치(1)에 해당한다. 상술한 바와 같이, 제1 모바일 장치(1)는 통신부(400)를 통해 제2 모바일 장치(2), TV(10), 음향기기(20) 중 적어도 하나와 연결될 수 있다. 제2 모바일 장치(2), TV(10), 음향기기(20) 각각도 네트워크 또는 통신 채널과 연결 가능한 통신 모듈을 포함한다.
제1 모바일 장치(1)의 타겟 디바이스의 제어를 위한 기능이 실행되면, 카메라(100)의 응시 방향은 제2 모바일 장치(2), TV(10), 음향기기(20) 중 어느 하나가 위치하는 방향이 될 수 있다. 또한, 카메라(100)의 응시 방향에 따라 화각(FOV) 내에 복수의 타겟 디바이스가 포함될 수 있다.
제1 모바일 장치(1)의 제어부(600)는 카메라(100)에 의해 촬영되는 타겟 디바이스를 인식 및 등록하고, 타겟 디바이스를 제어하기 위한 제어 신호를 생성할 수 있다. 예를 들면, 제1 모바일 장치(1)의 카메라(100)의 화각 내에 TV(10)만 포함되는 경우, 제어부(600)는 사용자의 입력에 대응하여, TV(10)를 제어하기 위한 제어 신호를 생성하고, TV(10)에 제어 신호를 전송함으로써 TV(10)의 작동을 제어할 수 있다. 타겟 디바이스의 제어에 관한 구체적인 내용은 후술한다.
도 4는 일 실시예에 따른 모바일 장치 제어 방법의 흐름도이다. 도 4는 모바일 장치(1)를 이용하여 타겟 디바이스에서 재생되는 컨텐츠와 관련된 부가 정보를 제공하고, 타겟 디바이스를 제어하는 전체 과정을 보여준다.
도 4에서는 모바일 장치(1)의 카메라(100)가 도 3의 TV(10)만 촬영하는 것으로 가정한다. 따라서 타겟 디바이스는 TV(10)인 것으로 가정한다.
도 4를 참조하면, 모바일 장치(1)의 카메라(100)는 타겟 디바이스의 이미지를 획득하고, 제어부(600)는 카메라(100)에 의해 촬영된 타겟 디바이스를 상술한 바와 같이 인식한다(701). 제어부(600)는 사용자의 입력에 대응하여, 타겟 디바이스가 재생 중인 컨텐츠와 컨텐츠 내에 포함된 객체를 인식한다(702). 예를 들면, 디스플레이(310)에 표시되는 타겟 디바이스의 이미지의 특정 위치에 대한 사용자의 터치 입력이 있는 경우, 제어부(600)는 타겟 디바이스에서 재생되는 컨텐츠 내의 객체를 인식하고, 인식 결과를 식별 마커로 표시할 수 있다.
이후 제어부(600)는 인식된 객체에 대한 부가 정보를 획득한다(703). 상술한 바와 같이, 인식된 객체에 대한 부가 정보는 외부 서버로부터 획득될 수 있다. 부가 정보에는 식별된 객체에 대한 요약 정보, 식별된 객체에 대한 상세 정보, 식별된 객체와 연관된 다른 컨텐츠 정보 등이 포함될 수 있다.
제어부(600)는 식별된 객체에 대한 부가 정보를 포함하는 인터랙션 가능한 적어도 하나의 가상 이미지를 생성한다(704). 상술한 바와 같이, 가상 이미지는 증강 현실 영상을 제공하기 위해 생성되는 이미지이다. 제어부(600)는 타겟 디바이스의 실제 이미지와 가상 이미지를 함께 표시하도록 디스플레이(310)를 제어한다(705). 다시 말해, 제어부(600)는 타겟 디바이스의 실제 이미지와 가상 이미지가 합성된 증강 현실 영상을 디스플레이(310) 상에 표시할 수 있다.
또한, 제어부(600)는 디스플레이(310)에 표시된 가상 이미지에 대한 사용자의 입력에 대응하여, 가상 이미지에 대한 조작을 수행한다(706). 타겟 디바이스는 가상 이미지의 조작에 대응하여 제어된다(707). 예를 들면, 타겟 디바이스의 이미지 주변에 표시되고, 특정 컨텐츠 정보를 포함하는 가상 이미지를 선택 및 이동시켜 타겟 디바이스의 이미지 영역으로 옮기는 사용자의 입력이 있는 경우, 제어부(600)는 타겟 디바이스의 이미지 영역으로 옮겨진 가상 이미지에 대응하는 컨텐츠가 타겟 디바이스에서 실제로 표시되도록 타겟 디바이스를 제어할 수 있다.
이하 도 5 내지 도 24에서 본 발명의 구성이 보다 자세히 설명된다.
도 5는 일 실시예에 따른 모바일 장치가 타겟 디바이스를 인식하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 모바일 장치(1)는 복수의 타겟 디바이스를 인식하여 각각을 제어 대상으로 등록할 수 있다. 구체적으로, 모바일 장치(1)의 카메라(100)의 화각 내에 TV(10)와 음향기기(20)가 포착되는 경우, 제어부(600)는 TV(10)와 음향기기(20)를 인식하여 타겟 디바이스로 등록할 수 있다. 타겟 디바이스를 인식하는 방법은 타겟 디바이스에 포함된 특정 마커를 인식하는 방법, 타겟 디바이스의 고유 식별 번호를 이용하는 방법, 촬영된 타겟 디바이스의 이미지를 학습 데이터와 비교하여 식별하는 방법 등이 있을 수 있다.
도 6 및 도 7은 타겟 디바이스에서 재생 중인 컨텐츠를 인식하여 컨텐츠와 관련된 정보를 디스플레이에 표시하는 예시를 보여준다.
도 6에서, 타겟 디바이스는 TV(10)이다. 제어부(600)는 디스플레이(310) 상에 표시되는 타겟 디바이스(10)에서 재생 중인 컨텐츠를 인식할 수 있다. 타겟 디바이스(10)에서 재생 중인 컨텐츠에 포함된 객체(A)를 선택하는 사용자의 입력이 있는 경우, 제어부(600)는 선택된 객체(A)를 식별하고 식별 결과로서 식별 마커(11)를 디스플레이(310)에 표시할 수 있다. 한편, 제어부(600)는 사용자의 입력과 무관하게 타겟 디바이스(10)에서 재생 중인 컨텐츠에 포함된 객체(A)를 식별할 수도 있다.
또한, 타겟 디바이스(10)에서 재생되고 있는 컨텐츠가 동영상일 경우, 타겟 디바이스(10)의 디스플레이에서 표시되고 있는 화면이 전환될 수 있다. 이 경우 타겟 디바이스(10)에서 표시되는 동영상 내의 객체가 변경될 수 있다. 제어부(600)는 변경된 객체에 대한 사용자의 선택 입력에 대응하여, 변경된 객체를 식별할 수 있다.
제어부(600)는 식별된 객체(A)와 관련된 정보(부가 정보)를 외부 서버(미도시)로부터 수신할 수 있다. 상술한 바와 같이, 식별된 객체(A)와 관련된 정보에는 식별된 객체(A)에 대한 요약 정보, 식별된 객체(A)에 대한 상세 정보, 식별된 객체와 연관된 다른 컨텐츠 정보가 포함될 수 있다.
또한, 제어부(600)는 식별된 객체(A)에 대한 부가 정보를 포함하는 가상 이미지(12)를 생성하여 디스플레이(310)에 표시할 수 있다. 디스플레이(310) 영역 내에 타겟 디바이스(10)의 이미지와 식별된 객체(A)에 대한 부가 정보를 포함하는 가상 이미지(12)가 모두 표시되는 경우, 타겟 디바이스(10)의 이미지와 가상 이미지(12)는 디스플레이(310) 영역 내에서 서로 다른 위치에 표시될 수 있다. 또한, 가상 이미지(12)에는 식별된 객체(A)에 대한 요약 정보만 표시될 수 있다.
타겟 디바이스(10)에서 표시되고 있는 화면이 전환되어, 타겟 디바이스(10)에서 표시되는 컨텐츠 내의 객체가 변경되는 경우에는, 가상 이미지(12)에 표시되는 부가 정보가 변경된 객체에 관련된 정보로 변경될 수 있다. 가상 이미지(12)에 표시되는 부가 정보는, 변경된 객체에 대한 사용자의 선택 입력에 따라 변경되거나, 자동으로 변경될 수 있다.
도 7에서, 타겟 디바이스는 음향기기(20)이다. 제어부(600)는 음향기기(20)에서 출력되는 오디오 신호를 기초로 음향기기(20)가 재생 중인 음원을 식별할 수 있다. 제어부(600)는 식별된 음원과 관련된 정보를 외부 서버(미도시)로부터 수신할 수 있고, 식별된 음원과 관련된 정보를 포함하는 가상 이미지(22)를 생성할 수 있다. 제어부(600)는 음향기기(20)의 이미지와 가상 이미지(22)를 함께 표시하도록 디스플레이(310)를 제어할 수 있다.
이와 같이, 본 발명은 카메라(100)의 화각 내에 존재하는 타겟 디바이스의 이미지와 타겟 디바이스에서 재생되는 컨텐츠 및/또는 컨텐츠 내 객체와 관련된 정보를 함께 디스플레이(310) 상에 표시할 수 있으므로, 사용자는 사용자는 보다 직관적인 방식으로 정보를 획득할 수 있다.
도 8 및 도 9는 인식된 객체와 관련된 정보를 가상 이미지로 표시하는 예시를 보여준다.
도 8을 참조하면, 제어부(600)는 카메라의 화각(FOV) 내에 있는 타겟 디바이스의 이미지 주변에 객체와 관련된 정보를 포함하는 적어도 하나의 가상 이미지를 표시하도록 디스플레이(310)를 제어할 수 있다.
예를 들면, 타겟 디바이스(TV)(10)에서 재생 중인 컨텐츠 내의 객체(A)에 대한 요약 정보를 포함하는 요약 정보 가상 이미지(12)가 디스플레이(310) 상에 표시되어 있는 상태에서, 디스플레이(310)의 임의의 영역에 사용자의 스와이프(Swipe) 제스처가 입력되는 경우, 제어부(600)는 식별된 객체(A)와 연관된 다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)를 타겟 디바이스(10)의 주변에 표시하도록 디스플레이(310)를 제어할 수 있다.
식별된 객체(A)와 연관된 다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)는 타겟 디바이스(10)에서 재생 가능한 컨텐츠의 썸네일(Thumnail) 이미지를 포함할 수 있다.
다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)는 다양한 패턴으로 배열될 수 있다. 예를 들면, 다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)는 타겟 디바이스의 이미지(10)를 둘러싸도록 원형으로 배열되거나, 타겟 디바이스의 이미지(10)를 중심으로 상하 방향 또는 대각선 방향으로 배열될 수 있다.
다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)는 카테고리 별로 표시될 수 있다. 카테고리 별 컨텐츠는 외부 서버(미도시)로부터 수신될 수 있다. 예를 들면, 컨텐츠 카테고리는 뮤직 비디오 카테고리, 영화 카테고리, 사진 카테고리 등으로 분류될 수 있다.
타겟 디바이스의 이미지(10) 주변에 제1 카테고리에 해당하는 적어도 하나의 가상 이미지(30)가 표시되어 있는 상태에서, 디스플레이(310) 상의 임의의 영역에 사용자의 스와이프(swipe) 제스처가 입력되는 경우, 제어부(600)는 타겟 디바이스의 이미지(10) 주변에 제2 카테고리에 해당하는 적어도 하나의 가상 이미지(미도시)를 디스플레이(310)에 표시할 수 있다. 이 때, 제1 카테고리에 해당하는 적어도 하나의 가상 컨텐츠 이미지(30)는 디스플레이(310)에서 표시되지 않으며, 사용자의 스와이프(swipe) 제스처 입력에 따라 다시 표시될 수 있다.
또한, 제어부(600)는 모바일 장치(1)의 이동 및 카메라(100)의 응시 방향에 따라 다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)를 확대 표시하도록 디스플레이(310)를 제어할 수 있다. 구체적으로, 사용자가 모바일 장치(1)를 움직임에 따라, 카메라(100) 화각 내에 타겟 디바이스(10)가 포함되는 범위에서 카메라(100)의 응시 방향이 변경될 수 있다. 이 때, 카메라(100) 화각의 중심선 방향에 위치하는 가상 이미지(30a)가 확대되어 표시될 수 있다. 도 8에서 카메라(100) 화각의 중심선 방향에 Movie 4의 가상 이미지가 위치하고, 따라서 Movie 4의 가상 이미지가 확대되어 표시(30a)된다. 이와 같이, 카메라(100)가 응시하는 방향에 위치하는 가상 이미지를 확대함으로써, 시각적인 효과를 증대시킬 수 있다.
또한, 제어부(600)는 카메라(100)의 응시 방향에 따라 확대된 가상 이미지(30a)에 대응하는 컨텐츠를 재생하도록 타겟 디바이스(10)를 제어할 수 있다.
도 9는 타겟 디바이스가 음향기기(20)인 경우를 도시한 것으로서, 제어부(600)는 사용자의 스와이프 제스처 입력에 대응하여, 식별된 음원과 관련된 다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(40)를 음향기기(20)의 이미지 주변에 표시하도록 디스플레이(310)를 제어할 수 있다. 또한, 카메라(100) 화각의 중심선 방향에 위치하는 Song6의 가상 이미지가 확대 표시(40a)될 수 있다. 이와 같이, 제어부(600)는 타겟 디바이스의 종류에 따라 가상 이미지가 다르게 생성하여 디스플레이(310)에 표시할 수 있다.
도 10 내지 도 16은 디스플레이에 표시되는 그래픽 사용자 인터페이스를 이용하여 타겟 디바이스를 제어하는 예시를 보여준다. 도 10 내지 도 16에서 타겟 디바이스는 TV(10)인 것으로 설명한다.
도 10을 참조하면, 제어부(600)는 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30) 중 어느 하나를 선택하는 사용자의 입력에 대응하여, 선택된 가상 컨텐츠 이미지(30s)에 대응하는 제1 컨텐츠를 출력하도록 타겟 디바이스(10)를 제어할 수 있다.
즉, 사용자가 가상 이미지(30) 중 A의 컨텐츠 정보를 포함하는 가상 이미지(30s)를 선택하면, 타겟 디바이스(10)는 A 컨텐츠를 재생한다. 적어도 하나의 가상 이미지(30)는 각각 서로 다른 컨텐츠 정보를 포함할 수 있고, A 및 Movie 2 내지 Movie 6은 동영상일 수 있다.
한편, 타겟 디바이스(10)가 A 컨텐츠를 출력하고 있는 경우, 제어부(600)는 A 컨텐츠와 연관된 다른 컨텐츠 정보를 포함하는 가상 이미지(32)를 표시하도록 디스플레이(310)를 제어할 수 있다. 즉, 타겟 디바이스(10)에서 재생되는 컨텐츠가 변경되면, 변경된 컨텐츠에 연관된 정보가 가상 이미지로 표시될 수 있다.
도 11은 사용자가 타겟 디바이스의 이미지(10)에 특정 제스처를 입력하여 타겟 디바이스를 제어하는 것을 설명한다. 구체적으로, 모바일 장치(1)의 카메라(100) 화각 내에 타겟 디바이스가 존재하여, 디스플레이(310)에 타겟 디바이스의 이미지(10)가 표시되고 있는 상태에서, 타겟 디바이스의 이미지(10)에 대한 사용자의 터치가 입력될 수 있다. 이 경우, 제어부(600)는 타겟 디바이스의 재생(Play/pause) 제어 신호를 생성하여 타겟 디바이스에 전송할 수 있다. 그에 따라 타겟 디바이스는 컨텐츠를 재생, 일시 정지 또는 정지(Stop)하게 된다.
또한, 타겟 디바이스의 이미지(10)에 대해 상하 드래그 제스처가 입력되면, 제어부(600)는 사용자의 입력에 대응하여, 타겟 디바이스의 볼륨 제어 신호를 생성하여 타겟 디바이스에 전송할 수 있다. 그에 따라 타겟 디바이스의 볼륨이 조절된다.
한편, 타겟 디바이스의 제어는 음성 명령을 통해서도 가능하다. 모바일 장치(1)의 카메라(100) 화각 내에 타겟 디바이스를 포함시킨 상태에서 마이크(220)를 통해 사용자의 음성 명령이 입력되면, 제어부(600)는 사용자의 음성 명령에 대응하여 타겟 디바이스를 제어하는 제어 신호를 생성하고, 제어 신호를 타겟 디바이스에 전송할 수 있다.
도 12는 타겟 디바이스의 디스플레이 영역을 분할하여 컨텐츠를 표시하는 것을 설명하기 위한 도면이다.
도 12를 참조하면, 제어부(600)는 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)를 추가 선택 및 이동시키는 사용자의 입력에 대응하여, 타겟 디바이스(10)의 디스플레이 영역을 제1 영역과 제2 영역으로 분할하고, 제1 컨텐츠(30p) 및 추가 선택된 가상 이미지에 대응하는 제2 컨텐츠(30s)를 각각 1 영역과 제2 영역에 표시하도록 타겟 디바이스(10)를 제어할 수 있다. 또한, 제어부(600)는 사용자의 입력에 대응하여, 제1 영역과 제2 영역의 위치를 변경하도록 타겟 디바이스(10)를 제어할 수 있다.
구체적으로, 타겟 디바이스의 디스플레이 영역에 제1 컨텐츠(30p)가 표시되고 있는 상태에서, 사용자가 제2 컨텐츠 정보를 포함하는 가상 이미지(30s)를 선택하여 모바일 장치(1)의 디스플레이(310)에 표시된 타겟 디바이스의 이미지(10)로 이동시키는 제스처를 입력한 경우, 타겟 디바이스는 제1 컨텐츠와 제2 컨텐츠를 모두 출력하도록 제어될 수 있다.
즉, 제어부(60)는 사용자의 입력에 대응하여, 타겟 디바이스의 디스플레이 영역을 복수 개로 분할하고, 분할된 복수의 영역에 복수의 컨텐츠를 동시에 표시할 수 있다.
반대로, 타겟 디바이스에 제1 컨텐츠와 제2 컨텐츠가 모두 표시되고 있는 상태에서, 타겟 디바이스의 이미지(10)에 포함된 제2 컨텐츠 표시 영역을 선택하여 타겟 디바이스의 이미지(10) 밖으로 이동시키는 사용자의 제스처가 입력되면, 제2 컨텐츠에 대응하는 가상 이미지(30s)가 타겟 디바이스의 이미지(10) 영역 밖에서 다시 표시될 수 있다. 이 때, 타겟 디바이스는 제1 컨텐츠를 재생하게 된다.
또한, 제어부(600)는 타겟 디바이스 이미지(10)의 제1 영역 또는 제2 영역에 대한 사용자의 줌(Zoom) 입력에 대응하여, 제1 영역의 크기 및 제2 영역의 크기를 조절하도록 타겟 디바이스를 제어할 수 있다. 예를 들면, 사용자가 디스플레이(310)에 표시된 타겟 디바이스의 이미지(10)에 대해, 제1 컨텐츠가 표시되고 있는 제1 영역을 줌인(zoon-in)하는 제스처를 입력한 경우, 제어부(600)는 타겟 디바이스의 디스플레이 영역 중 제1 컨텐츠가 재생되고 있는 영역을 확대하는 제어 신호를 생성하여 타겟 디바이스에 전송할 수 있다. 그에 따라 타겟 디바이스는 제1 컨텐츠 표시 영역을 확대하고, 제2 컨텐츠 표시 영역을 축소하여 표시할 수 있다.
도 13을 참조하면, 제어부(600)는 디스플레이(310) 상에 플레이 리스트 영역(30L)을 표시할 수 있다. 제어부(600)는 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30) 중 어느 하나를 선택하여 플레이 리스트 영역(30L)로 이동시키는 사용자의 제스처 입력에 대응하여, 선택된 가상 이미지(30s)를 플레이 리스트 영역(30L)으로 이동시켜 표시하도록 디스플레이(310)를 제어할 수 있다.
가상 이미지(30)가 추가 선택되어 플레이 리스트 영역(30L)으로 옮겨지는 경우, 제어부(600)는 플레이 리스트 영역(30L)에 포함된 복수의 가상 이미지의 일부 영역을 중첩시켜 표시하도록 디스플레이(310)를 제어할 수 있다.
도 14를 참조하면, 제어부(600)는 플레이 리스트 영역(30L)에 대한 사용자의 스와이프 제스처 입력에 대응하여, 타겟 디바이스에서 재생되는 컨텐츠가 변경되도록 타겟 디바이스를 제어할 수 있다. 예를 들면, 타겟 디바이스가 A 컨텐츠를 재생하고 있는 상태에서, 플레이 리스트 영역(30L)에 대한 스와이프 제스처가 입력되면, 제어부(600)는 다음 재생 순서로 설정되어 있는 B 컨텐츠를 재생하는 제어 신호를 생성하여 타겟 디바이스로 전송할 수 있다. 그에 따라 타겟 디바이스는 B컨텐츠를 재생하게 된다. 이 때, 모바일 장치(1)의 디스플레이(31)에 표시되는 플레이 리스트 영역(30L)에는 그 다음 재생 순서를 갖는 C 컨텐츠 정보가 표시된다.
도 15를 참조하면, 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30) 중 어느 하나를 선택하는 사용자의 입력이 있는 경우, 제어부(600)는 선택된 가상 이미지(30s)의 크기를 확대하고, 선택되지 않은 가상 이미지들을 모바일 장치(1)의 디스플레이(310) 영역 밖으로 밀어내는 모션을 표시하도록 디스플레이(310)를 제어할 수 있다. 이와 같은 시각적 효과를 통해, 사용자는 선택한 가상 이미지를 쉽게 확인할 수 있다.
도 16을 참조하면, 제어부(600)는 디스플레이(310)에 표시되는 타겟 디바이스의 이미지(10)에 대한 사용자의 입력에 대응하여, 타겟 디바이스의 디스플레이에 표시되고 있는 화면에 대한 스크린샷(Screenshot)을 생성할 수 있다. 구체적으로, 타겟 디바이스의 이미지(10)를 연속으로 두 번 터치하는 사용자의 입력에 대응하여, 제어부(600)는 타겟 디바이스의 디스플레이에 표시되고 있는 화면을 순간적으로 포착(capture)하고, 포착한 화면을 저장부(500)에 저장할 수 있다.
또한, 타겟 디바이스의 디스플레이에 표시되고 있는 화면에 대한 스크린샷이 생성된 경우, 제어부(600)는 타겟 디바이스의 이미지(10) 영역과 다른 영역에 스크린샷 이미지(60)를 표시하도록 디스플레이(310)를 제어할 수 있다.
그리고 제어부(600)는 스크린샷 이미지 영역(60)에 대한 사용자의 터치 입력에 대응하여, 저장부(500)에 저장된 스크린샷 이미지의 목록을 포함하는 화면이 표시되도록 디스플레이(310)를 제어할 수 있다.
도 17 내지 도 20은 모바일 장치의 움직임에 따라 디스플레이에 표시되는 화면이 전환되는 것을 설명하기 위한 도면이다.
도 17을 참조하면, 제어부(600)는 모바일 장치(1)를 틸팅(tilting) 하는 사용자의 입력에 대응하여, 타겟 디바이스에서 재생 중인 컨텐츠 내에 포함된 객체와 관련된 정보의 상세 내용을 제공하는 화면을 표시하도록 디스플레이(310)를 제어할 수 있다.
구체적으로, 모바일 장치(1)의 디스플레이(310)에 타겟 디바이스의 이미지(10)와 함께 타겟 디바이스에서 재생 중인 컨텐츠 내에 포함된 객체에 대한 요약 정보를 포함하는 가상 이미지(12)가 표시된 상태에서, 모바일 장치(1)를 아래 방향으로 틸팅하는 움직임이 사용자 인터페이스부(210)에 의해 검출된 경우, 제어부(600)는 타겟 디바이스에서 재생 중인 컨텐츠 내에 포함된 객체에 대한 상세 정보가 포함된 화면을 표시하도록 디스플레이(310)를 제어할 수 있다.
모바일 장치(1)를 아래 방향으로 틸팅하게 되면, 타겟 디바이스는 카메라(100)의 화각에서 벗어나게 되므로, 제어부(600)는 디스플레이(310)에 표시되는 화면을 전환시켜 객체에 대한 상세 정보가 포함된 화면을 표시할 수 있다.
또한, 객체에 대한 상세 정보를 표시하는 상세 정보 표시 영역(12d)과 타겟 디바이스에 대한 컨트롤 메뉴를 표시하는 컨트롤 메뉴 표시 영역(50)이 함께 디스플레이(310) 상에 표시될 수 있다.
타겟 디바이스에 대한 컨트롤 메뉴에는 타겟 디바이스에서 재생 중인 컨텐츠의 썸네일, 컨텐츠 타이틀, 이전 버튼, 다음 버튼, 재생/일시정지 버튼이 포함될 수 있다.
도 18을 참조하면, 컨트롤 메뉴 표시 영역(50)에 대한 사용자의 터치 입력이 있는 경우, 제어부(600)는 컨트롤 메뉴에 포함된 UI 엘리먼트들(52, 53, 54, 55)이 확장되어 표시(51)되도록 디스플레이(310)를 제어할 수 있다.
도 19를 참조하면, 제어부(600)는 모바일 장치(1)를 틸팅(tilting) 하는 사용자의 입력에 대응하여, 적어도 하나의 가상 이미지 각각에 대응하는 컨텐츠의 정보를 목록으로 제공하는 화면을 표시하도록 디스플레이(310)를 제어할 수 있다.
구체적으로, 모바일 장치(1)의 디스플레이(310)에 타겟 디바이스의 이미지(10)와 함께 연관 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)가 표시된 상태에서, 모바일 장치(1)를 아래 방향으로 틸팅하는 움직임이 사용자 인터페이스부(210)에 의해 검출된 경우, 제어부(600)는 적어도 하나의 가상 이미지 각각에 포함된 컨텐츠 정보를 목록(30)으로 제공하는 화면을 디스플레이(310)에 표시할 수 있다.
또한, 컨텐츠 정보를 목록으로 표시하는 컨텐츠 목록 표시 영역(33)과 타겟 디바이스에 대한 컨트롤 메뉴를 표시하는 컨트롤 메뉴 표시 영역(50)이 함께 디스플레이(310) 상에 표시될 수 있다.
도 20을 참조하면, 타겟 디바이스가 음향기기(20)인 경우에도, 모바일 장치(1)의 틸팅 움직임에 대응하여 디스플레이(310)에 표시되는 화면이 전환될 수 있다.
구체적으로, 모바일 장치(1)의 디스플레이(310)에 음향기기의 이미지(20)와 음향기기(20)에서 재생 중인 음원에 대한 요약 정보를 포함하는 가상 이미지(12)가 표시된 상태에서, 모바일 장치(1)를 아래 방향으로 틸팅하는 움직임이 사용자 인터페이스부(210)에 의해 검출된 경우, 제어부(600)는 음향기기(20)에서 재생 중인 음원에 대한 상세 정보가 포함된 화면을 표시하도록 디스플레이(310)를 제어할 수 있다.
또한, 음원의 제목, 가사 등을 포함하는 상세 정보 표시 영역(22d)과 타겟 디바이스에 대한 컨트롤 메뉴를 표시하는 컨트롤 메뉴 표시 영역(50)이 함께 디스플레이(310) 상에 표시될 수 있다.
도 21은 일 실시예에 따른 모바일 장치를 통해 복수의 디바이스가 연계 제어되는 방법을 설명하기 위한 도면이다.
도 21을 참조하면, 제어부(600)는 사용자의 입력에 대응하여, 복수의 타겟 디바이스를 연계 제어할 수 있다. 구체적으로, 카메라(100)가 음향기기(20)를 촬영하는 동안, 음향기기(20)의 이미지와 음향기기(20)의 이미지 주변에 컨텐츠 정보를 포함하는 복수의 가상 이미지(40)가 디스플레이(310)에 표시된다. 사용자가 복수의 가상 이미지(40) 중 어느 하나(Song6)를 선택하고, 동시에 모바일 장치(1)를 움직여 카메라(100)의 응시 방향을 TV(10)로 옮기면서, 디스플레이(310)에 표시되는 TV(10)의 이미지에 선택한 가상 이미지(Song6)를 옮길 수 있다. 그에 따라, TV(10)는 Song6을 재생하게 된다.
한편, TV(10)에서 재생되는 컨텐츠와 관련된 연관 컨텐츠 정보를 포함하는 가상 이미지를 음향기기(20)의 이미지로 옮기게 되는 경우, 음향기기(20)는 해당 연관 컨텐츠에 포함된 오디오 신호를 출력한다.
이와 같이, 본 발명은 복수의 디바이스를 등록하고, 카메라의 시야 또는 화각(FOV)의 이동에 따라 복수의 디바이스를 동시에 또는 연계하여 제어할 수 있다.
도 22 및 도 23은 일 실시예에 따른 모바일 장치와 다른 모바일 장치 간의 컨텐츠 공유를 설명하기 위한 도면이다.
도 22를 참조하면, 모바일 장치(1)는 통신부(400)를 통해 타겟 디바이스와 구별되는 제1 외부 디바이스를 연결할 수 있다. 제어부(600)는 디스플레이(310)에 표시되는 화면에 대한 공유를 요청하는 사용자의 입력에 대응하여, 디스플레이(310)에 표시되는 화면을 제1 외부 디바이스로 전송하도록 통신부(400)를 제어할 수 있다.
설명의 편의를 위해, 모바일 장치(1)는 제1 모바일 장치(1), 제1 외부 디바이스는 제2 모바일 장치(2)로 호칭한다. 도 22에서, 제1 모바일 장치(1)는 TV(10)를 촬영하고, TV(10)에서 재생되고 있는 컨텐츠 내의 객체(A)를 식별하여 식별 마커(11) 및 객체(A)와 관련된 부가 정보를 포함하는 가상 이미지(12)를 디스플레이(310)에 표시하고 있다. 또한, 제어부(600)는 공유(share) 아이콘(80)을 함께 디스플레이(310)에 표시할 수 있다.
제어부(600)는 공유(share) 아이콘(80)에 대한 사용자의 터치 입력에 대응하여, 모바일 장치(1)의 디스플레이(310)에 표시되는 화면을 제1 모바일 장치(2)에 전송할 수 있다. 그에 따라 제2 모바일 장치(2)는 제1 모바일 장치(1)와 동일한 화면을 출력한다.
도 23을 참조하면, 제1 모바일 장치(1), 제2 모바일 장치(2) 및 타겟 디바이스(TV)(10)이 연결된다. 제1 모바일 장치(1)는 저장부(500)에 저장된 컨텐츠 정보를 제2 모바일 장치(2)와 타겟 디바이스(10)에 전송할 수 있고, 제2 모바일 장치(2) 또한 저장부에 저장된 컨텐츠 정보를 제1 모바일 장치(1)와 타겟 디바이스(10)에 전송할 수 있다.
그에 따라, 제1 모바일 장치(1)는 저장부(500)에 저장된 컨텐츠 정보(70)와 제2 모바일 장치(2) 저장된 컨텐츠 정보(71)를 디스플레이(310)에 표시할 수 있다. 제2 모바일 장치(2) 또한 저장하고 있는 컨텐츠 정보(70)과 제1 모바일 장치(1)에 저장된 컨텐츠 정보(71)를 표시할 수 있다. 타겟 디바이스(10)는 제1 모바일 장치(1)와 제2 모바일 장치(2)에 저장되어 있는 컨텐츠 정보를 모두 표시할 수 있다.
따라서 복수의 사용자가 컨텐츠를 공유할 수 있고, 타겟 디바이스를 통해 공유된 컨텐츠를 재생할 수 있다.
도 24는 카메라를 통해 인식된 객체와 관련된 정보를 타겟 디바이스에 표시하는 다른 예시를 보여준다.
도 24를 참조하면, 모바일 장치(1)는 카메라(100)를 통해 인식된 객체에 관한 정보를 외부 서버(미도시)로부터 검색하고, 검색 정보(90)를 디스플레이(310)에 표시할 수 있다. 또한, 모바일 장치(1)는 디스플레이(310)에 표시된 객체에 관한 검색 정보(90)를 타겟 디바이스(10)가 표시하도록 타겟 디바이스(10)를 제어할 수 있다.
상술한 바와 같이, 일 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 카메라의 시야 또는 화각(FOV) 내에 있는 타겟 디바이스에서 재생되는 컨텐츠 및 컨텐츠 내의 객체를 인식하고, 컨텐츠 내의 객체와 관련된 정보 제공 및 타겟 디바이스 제어를 위한 그래픽 사용자 인터페이스(GUI)를 디스플레이에 함께 표시할 수 있다. 따라서 사용자는 보다 직관적인 방식으로 정보를 획득할 수 있고, 타겟 디바이스를 보다 쉽게 제어할 수 있다.
또한, 일 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 복수의 디바이스를 등록하고, 카메라의 시야 또는 화각(FOV)의 이동에 따라 복수의 디바이스를 동시에 또는 연계하여 제어할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 게시된 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 게시된 실시예의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되지 않아야 한다.
1: 모바일 장치
100: 카메라
210: 사용자 인터페이스부
220: 마이크
310: 디스플레이
320: 스피커
400: 통신부
500: 저장부
600: 제어부

Claims (21)

  1. 디스플레이;
    타겟 디바이스를 촬영하는 카메라;
    사용자의 입력을 수신하는 사용자 인터페이스부; 및
    상기 사용자의 입력에 대응하여, 상기 카메라에 의해 촬영된 상기 타겟 디바이스의 이미지 및 상기 타겟 디바이스가 재생 중인 컨텐츠에 포함된 객체와 관련된 정보를 함께 표시하도록 상기 디스플레이를 제어하는 제어부; 를 포함하는 모바일 장치.
  2. 상기 제어부는
    상기 카메라의 화각(FOV) 내에 있는 상기 타겟 디바이스의 이미지 주변에 상기 객체와 관련된 정보를 포함하는 적어도 하나의 가상 이미지를 표시하도록 상기 디스플레이를 제어하고,
    상기 타겟 디바이스의 이미지 및 상기 적어도 하나의 가상 이미지 중 적어도 하나에 대한 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스를 제어하는 모바일 장치.
  3. 제2항에 있어서,
    상기 제어부는
    상기 카메라 화각(FOV)의 중심선의 이동 방향에 위치하는 상기 가상 이미지를 확대 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  4. 제2항에 있어서,
    상기 제어부는
    상기 적어도 하나의 가상 이미지 중 어느 하나를 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 선택된 상기 가상 이미지에 대응하는 제1 컨텐츠를 상기 타겟 디바이스가 출력하도록 상기 타겟 디바이스를 제어하는 모바일 장치.
  5. 제4항에 있어서,
    상기 제어부는
    상기 가상 이미지를 추가 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스의 출력 영역을 제1 영역과 제2 영역으로 분할하고, 상기 제1 컨텐츠 및 추가 선택된 상기 가상 이미지에 대응하는 제2 컨텐츠를 각각 상기 제1 영역과 상기 제2 영역에서 출력하도록 상기 타겟 디바이스를 제어하는 모바일 장치.
  6. 제5항에 있어서,
    상기 제어부는
    상기 타겟 디바이스의 상기 제1 영역 또는 상기 제2 영역에 대한 줌(Zoom) 입력에 대응하여, 상기 제1 영역의 크기 및 상기 제2 영역의 크기를 조절하도록 상기 타겟 디바이스를 제어하는 모바일 장치.
  7. 제1항에 있어서,
    상기 제어부는
    모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 객체와 관련된 정보의 상세 내용을 제공하는 화면을 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  8. 제2항에 있어서,
    상기 제어부는
    모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 적어도 하나의 가상 이미지 각각에 대응하는 컨텐츠의 정보를 목록으로 제공하는 화면을 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  9. 제1항에 있어서,
    음성 명령을 수신하는 마이크;를 더 포함하고,
    상기 제어부는
    상기 마이크를 통해 수신되는 음성 명령에 대응하여, 상기 타겟 디바이스를 제어하는 모바일 장치.
  10. 제1항에 있어서,
    상기 타겟 디바이스와 구별되는 제1 외부 디바이스를 연결하는 통신부;를 더 포함하고,
    상기 제어부는
    상기 디스플레이에 표시되는 화면에 대한 공유를 요청하는 상기 사용자의 입력에 대응하여, 상기 디스플레이에 표시되는 화면을 상기 제1 외부 디바이스로 전송하도록 상기 통신부를 제어하는 모바일 장치.
  11. 카메라를 이용하여 타겟 디바이스를 촬영하는 단계;
    사용자의 입력에 대응하여, 촬영된 상기 타겟 디바이스가 재생 중인 컨텐츠에 포함된 객체를 식별하는 단계; 및
    촬영된 상기 타겟 디바이스의 이미지 및 상기 식별된 객체와 관련된 정보를 함께 디스플레이에 표시하는 단계;를 포함하는 모바일 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 디스플레이에 표시하는 단계는
    상기 타겟 디바이스의 이미지 주변에 상기 객체와 관련된 정보를 포함하는 적어도 하나의 가상 이미지를 상기 디스플레이에 표시하는 단계;를 포함하는 모바일 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 타겟 디바이스의 이미지 및 상기 적어도 하나의 가상 이미지 중 적어도 하나에 대한 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스를 제어하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  14. 제12항에 있어서,
    상기 적어도 하나의 가상 이미지를 상기 디스플레이에 표시하는 단계는
    상기 카메라 화각(FOV)의 중심선의 이동 방향에 위치하는 상기 가상 이미지를 확대 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  15. 제13항에 있어서,
    상기 타겟 디바이스를 제어하는 단계는
    상기 적어도 하나의 가상 이미지 중 어느 하나를 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 선택된 상기 가상 이미지에 대응하는 제1 컨텐츠를 상기 타겟 디바이스가 출력하도록 상기 타겟 디바이스를 제어하는 단계;를 포함하는 모바일 장치의 제어 방법.
  16. 제15항에 있어서,
    상기 타겟 디바이스를 제어하는 단계는
    상기 가상 이미지를 추가 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스의 출력 영역을 제1 영역과 제2 영역으로 분할하고, 상기 제1 컨텐츠 및 추가 선택된 상기 가상 이미지에 대응하는 제2 컨텐츠를 각각 상기 제1 영역과 상기 제2 영역에서 출력하도록 상기 타겟 디바이스를 제어하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  17. 제16항에 있어서,
    상기 타겟 디바이스를 제어하는 단계는
    상기 타겟 디바이스의 상기 제1 영역 또는 상기 제2 영역에 대한 줌(Zoom) 입력에 대응하여, 상기 제1 영역의 크기 및 상기 제2 영역의 크기를 조절하도록 상기 타겟 디바이스를 제어하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  18. 제11항에 있어서,
    모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 객체와 관련된 정보의 상세 내용을 제공하는 화면을 상기 디스플레이에 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  19. 제12항에 있어서,
    모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 적어도 하나의 가상 이미지 각각에 대응하는 컨텐츠의 정보를 목록으로 제공하는 화면을 상기 디스플레이에 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  20. 제13항에 있어서,
    상기 타겟 디바이스를 제어하는 단계는
    마이크를 통해 수신되는 음성 명령에 대응하여, 상기 타겟 디바이스를 제어하는 단계;를 포함하는 모바일 장치의 제어 방법.
  21. 제11항에 있어서,
    상기 타겟 디바이스와 구별되는 제1 외부 디바이스를 연결하는 단계; 및
    상기 디스플레이에 표시되는 화면에 대한 공유를 요청하는 상기 사용자의 입력에 대응하여, 상기 디스플레이에 표시되는 화면을 상기 제1 외부 디바이스로 전송하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
KR1020180121739A 2018-10-12 2018-10-12 모바일 장치 및 모바일 장치의 제어 방법 KR102620363B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180121739A KR102620363B1 (ko) 2018-10-12 2018-10-12 모바일 장치 및 모바일 장치의 제어 방법
PCT/KR2019/001941 WO2020075926A1 (ko) 2018-10-12 2019-02-19 모바일 장치 및 모바일 장치의 제어 방법
EP19870260.7A EP3848785B1 (en) 2018-10-12 2019-02-19 Mobile device and method for controlling mobile device
US17/284,566 US11620824B2 (en) 2018-10-12 2019-02-19 Mobile apparatus and control method thereof to control an object displayed on a target device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180121739A KR102620363B1 (ko) 2018-10-12 2018-10-12 모바일 장치 및 모바일 장치의 제어 방법

Publications (2)

Publication Number Publication Date
KR20200041554A true KR20200041554A (ko) 2020-04-22
KR102620363B1 KR102620363B1 (ko) 2024-01-04

Family

ID=70163975

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180121739A KR102620363B1 (ko) 2018-10-12 2018-10-12 모바일 장치 및 모바일 장치의 제어 방법

Country Status (4)

Country Link
US (1) US11620824B2 (ko)
EP (1) EP3848785B1 (ko)
KR (1) KR102620363B1 (ko)
WO (1) WO2020075926A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12131405B2 (en) 2022-08-15 2024-10-29 Disney Enterprises, Inc. User responsive augmented reality enhancement of moving images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
KR20110133295A (ko) * 2010-06-04 2011-12-12 엘지전자 주식회사 휴대 단말기 및 그 동작방법
KR20140077015A (ko) * 2012-12-13 2014-06-23 삼성전자주식회사 디스플레이 장치, 원격 제어 장치 및 그들의 사용자 인터페이스 제공 방법
KR20160086717A (ko) * 2015-01-12 2016-07-20 삼성전자주식회사 모바일 디바이스를 구부리는 사용자 입력에 따라 기설정된 서비스를 제공하는 방법 및 모바일 디바이스

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101612957B1 (ko) 2009-09-11 2016-04-26 엘지전자 주식회사 원격 제어 장치 및 방법
KR101722784B1 (ko) 2010-09-10 2017-04-04 주식회사 엘지유플러스 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기
KR20120076541A (ko) 2010-11-30 2012-07-09 안명호 증강 현실 코드를 이용한 광고 방법 및 그 시스템
US10180715B2 (en) * 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US10126839B2 (en) * 2013-07-24 2018-11-13 Innoventions, Inc. Motion-based view scrolling with augmented tilt control
US20160163063A1 (en) 2014-12-04 2016-06-09 Matthew Ashman Mixed-reality visualization and method
US20170201808A1 (en) * 2016-01-09 2017-07-13 Globalive Xmg Jv Inc. System and method of broadcast ar layer
US10110678B2 (en) 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
KR102671795B1 (ko) 2016-09-27 2024-06-03 삼성전자주식회사 증강 현실 영상을 제공하는 방법, 디바이스 및 기록매체
US10043406B1 (en) * 2017-03-10 2018-08-07 Intel Corporation Augmented emotion display for austistic persons
US10453263B2 (en) * 2018-02-27 2019-10-22 Verizon Patent And Licensing Inc. Methods and systems for displaying augmented reality content associated with a media content instance
US10725629B2 (en) * 2018-06-25 2020-07-28 Google Llc Identifying and controlling smart devices
US11087538B2 (en) * 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
KR20110133295A (ko) * 2010-06-04 2011-12-12 엘지전자 주식회사 휴대 단말기 및 그 동작방법
KR20140077015A (ko) * 2012-12-13 2014-06-23 삼성전자주식회사 디스플레이 장치, 원격 제어 장치 및 그들의 사용자 인터페이스 제공 방법
KR20160086717A (ko) * 2015-01-12 2016-07-20 삼성전자주식회사 모바일 디바이스를 구부리는 사용자 입력에 따라 기설정된 서비스를 제공하는 방법 및 모바일 디바이스

Also Published As

Publication number Publication date
EP3848785A1 (en) 2021-07-14
EP3848785B1 (en) 2023-09-06
US20210342590A1 (en) 2021-11-04
EP3848785C0 (en) 2023-09-06
EP3848785A4 (en) 2021-11-17
US11620824B2 (en) 2023-04-04
KR102620363B1 (ko) 2024-01-04
WO2020075926A1 (ko) 2020-04-16

Similar Documents

Publication Publication Date Title
US11640235B2 (en) Additional object display method and apparatus, computer device, and storage medium
KR20170064242A (ko) 영상통화를 제공하는 전자 장치 및 방법
US10721430B2 (en) Display device and method of operating the same
CN108476339B (zh) 一种遥控方法和终端
KR20110071349A (ko) 휴대단말의 외부 출력 제어 방법 및 장치
KR20160024002A (ko) 비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치
US10645283B2 (en) Display device
KR20130056529A (ko) 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법
JP2013533541A (ja) 文字の選択
US20190012129A1 (en) Display apparatus and method for controlling display apparatus
US20240355071A1 (en) Mobile device and mobile device control method
WO2020000975A1 (zh) 视频拍摄方法、客户端、终端及介质
KR20160060385A (ko) 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
KR102620363B1 (ko) 모바일 장치 및 모바일 장치의 제어 방법
EP3842907B1 (en) Mobile device and control method for mobile device
KR20110085033A (ko) 멀티디스플레이 장치 및 이를 이용한 정보 제공 방법
CN114100121A (zh) 操作控制方法、装置、设备、存储介质及计算机程序产品
CN113613053A (zh) 视频推荐方法、装置、电子设备及存储介质
KR20160102835A (ko) 단말기 및 그의 동작 방법
JP7289208B2 (ja) プログラム、情報処理装置、および方法
KR102330475B1 (ko) 단말기 및 그의 동작 방법
KR101601763B1 (ko) 거치형 단말기에 대한 모션 제어 방법
CN115576476A (zh) 鼠标模拟方法及装置、移动终端及存储介质
CN117608465A (zh) 信息处理装置、显示方法以及存储介质和计算机装置
CN116661656A (zh) 画面交互方法及摄像展示系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right