WO2020075926A1 - 모바일 장치 및 모바일 장치의 제어 방법 - Google Patents

모바일 장치 및 모바일 장치의 제어 방법 Download PDF

Info

Publication number
WO2020075926A1
WO2020075926A1 PCT/KR2019/001941 KR2019001941W WO2020075926A1 WO 2020075926 A1 WO2020075926 A1 WO 2020075926A1 KR 2019001941 W KR2019001941 W KR 2019001941W WO 2020075926 A1 WO2020075926 A1 WO 2020075926A1
Authority
WO
WIPO (PCT)
Prior art keywords
target device
display
virtual image
mobile device
content
Prior art date
Application number
PCT/KR2019/001941
Other languages
English (en)
French (fr)
Inventor
최은영
박민선
장성현
한지연
황수현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP19870260.7A priority Critical patent/EP3848785B1/en
Priority to US17/284,566 priority patent/US11620824B2/en
Publication of WO2020075926A1 publication Critical patent/WO2020075926A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2812—Exchanging configuration information on appliance services in a home automation network describing content present in a home automation network, e.g. audio video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/2849—Audio/video appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Definitions

  • the present invention relates to a mobile device capable of controlling a target device using augmented reality technology and a control method of the mobile device.
  • Mobile devices are devices that provide various functions based on mobility, and are widely used in various fields.
  • Such a mobile device includes various function modules to provide various functions.
  • a mobile device includes a camera module that provides an image collection function.
  • Augmented reality technology exists as a technology using a camera module of a mobile device.
  • Augmented reality technology refers to a graphic technology that synthesizes a virtual object or virtual information in a real environment so that it looks like an object in the real environment.
  • Augmented reality technology synthesizes virtual objects in real space differently from the existing virtual reality technology, which is implemented with virtual space and virtual objects. Therefore, it has a feature that can reinforce and provide additional information that is difficult to obtain with the “reality” world alone.
  • This augmented reality technology can be applied to various “reality” environments, and is particularly popular as a next-generation display technology suitable for ubiquitous environments.
  • One aspect recognizes content and objects in the content that are played on the target device within the field of view or field of view (FOV) of the camera, and provides a graphical user interface (GUI) on the display for providing information related to the objects in the content and controlling the target device It is an object to provide a displayable mobile device and a control method of the mobile device.
  • GUI graphical user interface
  • the mobile device may include a display, a camera photographing a target device, a user interface unit receiving a user input, and an image of the target device photographed by the camera and the target device in response to the user input It includes a control unit for controlling the display to display information related to the object included in the content being played together.
  • control unit controls the display to display at least one virtual image including information related to the object around the image of the target device in the field of view (FOV) of the camera, and the image and the image of the target device
  • FOV field of view
  • control unit may control the display to enlarge and display the virtual image located in the moving direction of the center line of the camera field of view (FOV).
  • FOV camera field of view
  • control unit controls the target device to output the first content corresponding to the selected virtual image in response to the user input to select and move any one of the at least one virtual image. You can.
  • the controller divides the output area of the target device into a first area and a second area in response to the user's input for further selecting and moving the virtual image, and the first content and the additionally selected virtual image.
  • the target device may be controlled to output second content corresponding to the first area and the second area, respectively.
  • the controller controls the target device to adjust the size of the first area and the size of the second area in response to a zoom input for the first area or the second area of the target device. can do.
  • the controller may control the display to display a screen that provides details of information related to the object in response to the user's input for tilting the mobile device.
  • control unit may control the display to display a screen that provides information on content corresponding to each of the at least one virtual image as a list in response to the user input for tilting a mobile device.
  • the mobile device may further include a microphone that receives a voice command, and the controller may control the target device in response to the voice command received through the microphone.
  • the mobile device further includes a communication unit that connects a first external device different from the target device, and the control unit corresponds to an input of the user requesting sharing of a screen displayed on the display. Accordingly, the communication unit may be controlled to transmit a screen displayed on the display to the first external device.
  • the method of controlling a mobile device includes photographing a target device using a camera, identifying an object included in content in which the photographed target device is playing, in response to a user input, and photographing the target device And displaying an image of the target device and information related to the identified object on a display together.
  • displaying on the display may include displaying at least one virtual image including information related to the object on the display around the image of the target device.
  • the method of controlling a mobile device may further include controlling the target device in response to the user's input to at least one of the target device image and the at least one virtual image. You can.
  • the displaying of the at least one virtual image on the display may further include the step of enlarging and displaying the virtual image positioned in a moving direction of the center line of the camera field of view (FOV).
  • FOV camera field of view
  • controlling of the target device may include, in response to the user input for selecting and moving any one of the at least one virtual image, the target device to output first content corresponding to the selected virtual image. And controlling the target device.
  • controlling of the target device may include dividing the output area of the target device into a first area and a second area, in response to the user input for further selecting and moving the virtual image, and the first content and The method may further include controlling the target device to output second content corresponding to the additionally selected virtual image in the first area and the second area, respectively.
  • controlling the target device may adjust the size of the first area and the size of the second area in response to a zoom input for the first area or the second area of the target device.
  • Controlling the target device may further include.
  • a control method of a mobile device may include displaying, on the display, a screen providing details of information related to the object in response to the user's input for tilting the mobile device; It may further include.
  • control method of the mobile device may correspond to a user input for tilting the mobile device, and a screen for providing information of content corresponding to each of the at least one virtual image as a list Displaying on the display; may further include.
  • controlling the target device may include controlling the target device in response to a voice command received through a microphone.
  • control method of the mobile device is connected to a first external device distinguished from the target device and in response to the user input requesting sharing of a screen displayed on the display, the display And transmitting the screen displayed on the screen to the first external device.
  • the content and objects in the content that are played on the target device in the field of view or field of view (FOV) of the camera are recognized, and information related to the objects in the content and target device control
  • a graphical user interface (GUI) for display can be displayed on the display together. Therefore, the user can acquire information in a more intuitive manner, and can more easily control the target device.
  • GUI graphical user interface
  • a plurality of devices may be registered, and a plurality of devices may be controlled simultaneously or in association with movement of a camera's field of view or field of view (FOV).
  • FOV field of view
  • FIG. 1 is a control block diagram of a mobile device according to an embodiment.
  • FIG. 2 is a detailed block diagram of the control unit illustrated in FIG. 1.
  • FIG. 3 illustrates a network environment between a mobile device and a plurality of devices according to an embodiment.
  • FIG. 4 is a flowchart of a mobile device control method according to an embodiment.
  • FIG. 5 is a diagram for describing a method for a mobile device to recognize a target device according to an embodiment.
  • 6 and 7 show an example of recognizing content being played on a target device and displaying information related to the content on a display.
  • 10 to 16 show examples of controlling a target device using a graphical user interface displayed on a display.
  • 17 to 20 are views for explaining that the screen displayed on the display is switched according to the movement of the mobile device.
  • 21 is a diagram for explaining a method in which a plurality of devices are linked and controlled through a mobile device according to an embodiment.
  • 22 and 23 are diagrams for describing content sharing between a mobile device and another mobile device according to an embodiment.
  • FIG. 24 shows another example of displaying information related to an object recognized through a camera on a target device.
  • 'part' used in the specification may be implemented in software or hardware, and according to embodiments, a plurality of 'parts' may be implemented as one component, or one 'part' may include a plurality of components. It is also possible. In this specification, a singular expression may include a plural expression unless the context clearly indicates otherwise. In addition, terms such as first or second are used to distinguish one part from another, and they do not mean sequential expression unless otherwise specified.
  • ⁇ unit may refer to a unit that processes at least one function or operation.
  • the terms may refer to at least one process processed by at least one software or processor stored in at least one hardware / memory.
  • FIG. 1 is a control block diagram of a mobile device according to an embodiment
  • FIG. 2 is a detailed block diagram of a control unit shown in FIG. 1.
  • the mobile device 1 includes a device capable of providing augmented reality as a mobile device.
  • the mobile device 1 includes a mobile phone, a portable multimedia player (PMP), a digital broadcast player, a personal digital assistant (PDA), a music file player (eg, an MP3 player), a mobile game terminal, a tablet PC, and a smart phone.
  • PMP portable multimedia player
  • PDA personal digital assistant
  • music file player eg, an MP3 player
  • a mobile game terminal e.g, an MP3 player
  • tablet PC a smart phone.
  • Smart Phone may be implemented as a device capable of providing augmented reality with a camera.
  • the mobile device 1 is a smartphone.
  • the mobile device 1 includes a camera 100, a user interface unit 210, a microphone 220, an output unit 300, a communication unit 400, and a storage unit 500 And it may include a control unit 600.
  • the camera 100 may acquire an image of the target device by photographing the target device.
  • the controller 600 may identify content and objects in the content being played on the target device based on the image of the target device captured by the camera 100.
  • the target device is an electronic device that can be controlled by the mobile device 1 and refers to a display device such as a TV, a sound device, and other mobile devices connected to the mobile device 1 through a communication network.
  • the target device may include at least one of the second mobile device 2, the TV 10, and the sound device 20.
  • the camera 100 is a camera module that is typically mounted on the mobile device 1 and may include an image sensor such as a lens, CCD, CMOS, and an analog-to-digital converter.
  • the camera 100 captures the subject and converts the acquired image into a digital signal and transmits it to the controller 600.
  • the controller 600 which will be described later, may perform processing on an image converted into a digital signal.
  • the user interface unit 210 receives a user input and transmits it to the control unit 600.
  • the user interface unit 210 may include various user input means, such as a key pad dome switch, a touch pad (static pressure / power outage), a jog wheel, and a jog switch.
  • the user interface unit 210 may be a display 310 equipped with a touch panel.
  • the user interface 210 may be treated in the same way as the display 310 that senses a user's input, such as a touch gesture, and simultaneously displays a result of processing for the user's input as an image.
  • the user interface unit 210 may display a graphic user interface (GUI) that enables control of the mobile device 1 on the display 310. That is, a user interface element (UI) such as an icon may be displayed on the display 310.
  • GUI graphic user interface
  • UI user interface element
  • the user interface unit 210 may include a motion sensor for detecting the motion of the mobile device 1.
  • the motion sensor may include an acceleration sensor, a gyro sensor, and a geomagnetic sensor.
  • the control unit 600 may switch the screen displayed on the display 310 as the mobile device 1 moves in a specific direction.
  • the microphone 220 may receive an audio signal, convert it into an electrical signal, and transmit it to the controller 600.
  • the microphone 220 receives a user's voice command and transmits it to the control unit 600, and the control unit 600 may control the mobile device 1 in response to the user's voice command.
  • the microphone 220 may detect an audio signal output from the target device and transmit it to the controller 600.
  • the controller 600 may identify content played on the target device based on the audio signal output from the target device.
  • the output unit 300 is a device capable of outputting an image signal or an audio signal, and may correspond to various devices. Specifically, the output unit 300 may include at least one of the display 310 and the speaker 320. The speaker 320 may output audio signals related to various functions of the mobile device 1.
  • the display 310 may display information input by the user or information provided to the user on various screens.
  • the information processed by the control unit 600 of the display 310 is displayed.
  • the display 310 may display an image of a space photographed by the camera 100 and display an augmented reality image in which a virtual image is synthesized in the image of the space.
  • the display 310 may display a graphical user interface (GUI) related to various functions of the mobile device 1.
  • GUI graphical user interface
  • the display 310 may also be used as an input device including a touch panel.
  • the display 310 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a 3D display. ).
  • the communication unit 400 connects the mobile device 1 to a target device, a server, or the like through a network or communication channel.
  • the mobile device 1 is connected to at least one of the second mobile device 2, the TV 10, and the audio device 20 corresponding to the target device to transmit and receive data.
  • the communication unit 400 may receive information related to an object photographed by the camera 100 from an external server under the control of the control unit 600.
  • the communication unit 400 may receive information on content being played on the target device and information related to an object in the content being played on the target device from an external server.
  • the communication unit 400 may include various communication modules.
  • the communication unit 400 is a variety of communication, such as Bluetooth (Bluetooth), Zigbee (Zigbee), wireless LAN (wireless local area network), home RF (Home Radio Frequency), UWB (Ultra-wide band), the Internet It may include a communication module that can be connected to the network.
  • Bluetooth Bluetooth
  • Zigbee Zigbee
  • wireless LAN wireless local area network
  • home RF Home Radio Frequency
  • UWB Ultra-wide band
  • the Internet may include a communication module that can be connected to the network.
  • the storage unit 500 may store / store programs and data for controlling the operation of the mobile device 1. Also, the storage unit 500 may store input / output data (eg, messages, still images, videos, etc.).
  • the storage unit 500 may correspond to a memory, volatile memory such as static random access memory (S-RAM), dynamic random access memory (D-RAM), and a ROM for storing data for a long period of time ( Non-volatile memory, such as Read Only Memory (EPA), Erasable Programmable Read Only Memory (EPROM), and EEPROM (Electrically Erasable Programmable Read Only Memory) can be included.
  • S-RAM static random access memory
  • D-RAM dynamic random access memory
  • ROM Read Only Memory
  • EEPROM Electrical Erasable Programmable Read Only Memory
  • the control unit 600 may include a processor that generates a control signal for controlling the operation of the mobile device 1 according to programs and data stored / stored in the storage unit 500.
  • the processor may include a logic circuit and an operation circuit, process data according to a program provided from the storage unit 500, and generate a control signal according to the processing result.
  • the processor and the memory may be implemented as separate chips or may be implemented as a single chip.
  • the controller 600 may include a plurality of processors and a plurality of memories.
  • control unit 600 may include a device recognition unit 610, a content information processing unit 620, a virtual image generation unit 630, and an augmented reality processing unit 640.
  • the device recognition unit 610, the content information processing unit 620, the virtual image generation unit 630, and the augmented reality processing unit 640 may be respectively implemented as separate processors or as one processor.
  • the device recognition unit 610 may recognize a target device within a field of view (FOV) or field of view of the camera 100 and register it as a control target. Specifically, the device recognition unit 610 may recognize a target device by recognizing a specific marker included in the target device. In addition, the device recognition unit 610 may recognize a specific space photographed by the camera 100 and recognize a location of the target device within the specific space.
  • FOV field of view
  • the device recognition unit 610 may recognize a target device within a field of view (FOV) or field of view of the camera 100 and register it as a control target. Specifically, the device recognition unit 610 may recognize a target device by recognizing a specific marker included in the target device. In addition, the device recognition unit 610 may recognize a specific space photographed by the camera 100 and recognize a location of the target device within the specific space.
  • FOV field of view
  • the device recognition unit 610 may recognize a plurality of target devices within an angle of view of the camera 100 and register each of them as a control target. For example, when the TV 10 and the sound device 20 are captured within the angle of view of the camera 100, the device recognition unit 610 recognizes the TV 10 and the sound device 20 as target devices , Can be registered in the control target.
  • the content information processing unit 620 may identify content and / or objects in the content being played on the target device based on the image of the target device captured by the camera 100. Also, the content information processing unit 620 may obtain information of the identified content and information related to an object in the content from an external server through the communication unit 400.
  • the content information processing unit 620 may recognize an object photographed by the camera 100 and obtain content information related to the object from an external server through the communication unit 400.
  • Content refers to various types of data such as photos, videos, audio, and text.
  • the information related to the identified object may include summary information about the identified object, detailed information about the identified object, and other content information associated with the identified object.
  • Information related to the identified object may be defined as additional information.
  • the additional information may include personal information of the person, other content information associated with the person.
  • the additional information may include singer information of the audio content, lyrics information, other audio content information associated with the audio content, and video content information associated with the audio content. have.
  • the virtual image generator 630 may generate a virtual image for providing an augmented reality image.
  • the virtual image generation unit 630 may generate a virtual image including content information, additional information, and the like obtained by the content information processing unit 620.
  • the virtual image generator 630 may generate a UI element (User Interface Element) for controlling the target device.
  • UI element User Interface Element
  • the generated virtual image and UI element are capable of interacting with user input, and the user can select, move, and change the virtual image and UI element through the user interface unit 210.
  • the virtual image generation unit 630 identifies, an identification marker displaying an identification result of the object in the content being played on the target device, a virtual image of the summary information displaying summary information about the identified object, and identification A virtual image of detailed information displaying detailed information about the object, and a virtual image of content information displaying other content information associated with the identified object may be generated.
  • the virtual image generator 630 may generate a UI element (User Interface Element) such as a play icon, a pause icon, a stop icon, and a volume control icon for controlling the target device.
  • UI element User Interface Element
  • the augmented reality processing unit 630 may display an image of the target device and a virtual image on the display 310 together. Specifically, the augmented reality processing unit 630 may generate an augmented reality image obtained by synthesizing an image of a target device and a virtual image, and display the generated augmented reality image on the display 310. The augmented reality processor 630 may control the display 310 to display at least one virtual image including information related to the object generated by the virtual image generator 620 around the image of the target device.
  • an augmented reality technology is used to display a virtual image including an image of the target device and content information on the display 310, so that the user Can provide information in a more intuitive way.
  • the user can more easily control the target device.
  • FIG. 3 illustrates a network environment between a mobile device and a plurality of devices according to an embodiment.
  • the mobile device 1 corresponds to the first mobile device 1.
  • the first mobile device 1 may be connected to at least one of the second mobile device 2, the TV 10, and the sound device 20 through the communication unit 400.
  • Each of the second mobile device 2, the TV 10, and the sound device 20 also includes a communication module connectable to a network or communication channel.
  • one of the second mobile device 2, the TV 10, and the sound device 20 is positioned in the gaze direction of the camera 100. It can be a direction. Also, a plurality of target devices may be included in the field of view (FOV) according to the gaze direction of the camera 100.
  • FOV field of view
  • the control unit 600 of the first mobile device 1 may recognize and register the target device photographed by the camera 100 and generate a control signal for controlling the target device. For example, when only the TV 10 is included in the field of view of the camera 100 of the first mobile device 1, the control unit 600 controls the TV 10 in response to a user input. By generating a, and transmitting a control signal to the TV 10, it is possible to control the operation of the TV 10. Details of the control of the target device will be described later.
  • FIG. 4 is a flowchart of a mobile device control method according to an embodiment.
  • FIG. 4 shows the entire process of providing additional information related to content played on the target device using the mobile device 1 and controlling the target device.
  • the camera 100 of the mobile device 1 acquires an image of the target device, and the controller 600 recognizes the target device photographed by the camera 100 as described above (701). .
  • the controller 600 recognizes the content being played by the target device and the objects included in the content in response to the user's input (operation 702). For example, when there is a user's touch input for a specific location of the image of the target device displayed on the display 310, the controller 600 recognizes an object in the content played on the target device, and identifies the recognition result as a marker Can be displayed as
  • the controller 600 obtains additional information about the recognized object (703).
  • additional information on the recognized object may be obtained from an external server.
  • the additional information may include summary information about the identified object, detailed information about the identified object, and other content information associated with the identified object.
  • the controller 600 generates at least one interactive virtual image including additional information about the identified object (704).
  • the virtual image is an image generated to provide an augmented reality image.
  • the controller 600 controls the display 310 to display both the actual image and the virtual image of the target device (705).
  • the controller 600 may display an augmented reality image in which a real image and a virtual image of the target device are synthesized on the display 310.
  • the controller 600 performs an operation on the virtual image in response to a user input for the virtual image displayed on the display 310 (706).
  • the target device is controlled in response to manipulation of the virtual image (707). For example, when there is an input of a user that is displayed around an image of the target device and selects and moves a virtual image containing specific content information and moves it to the image area of the target device, the controller 600 controls the image area of the target device The target device may be controlled so that content corresponding to the virtual image moved to is actually displayed on the target device.
  • FIGS. 5 to 24 the configuration of the present invention will be described in more detail in FIGS. 5 to 24.
  • FIG. 5 is a diagram for describing a method for a mobile device to recognize a target device according to an embodiment.
  • the mobile device 1 may recognize a plurality of target devices and register each of them as a control target. Specifically, when the TV 10 and the sound device 20 are captured within the angle of view of the camera 100 of the mobile device 1, the control unit 600 recognizes the TV 10 and the sound device 20 to target You can register as a device.
  • the method of recognizing the target device may include a method of recognizing a specific marker included in the target device, a method of using a unique identification number of the target device, a method of identifying an image of the photographed target device by comparing it with learning data.
  • 6 and 7 show an example of recognizing content being played on a target device and displaying information related to the content on a display.
  • the target device is the TV 10.
  • the controller 600 may recognize the content being played on the target device 10 displayed on the display 310.
  • the controller 600 identifies the selected object A and displays the identification marker 11 as an identification result ( 310).
  • the control unit 600 may identify the object A included in the content being played on the target device 10 regardless of the user's input.
  • the screen displayed on the display of the target device 10 may be switched.
  • an object in the video displayed on the target device 10 may be changed.
  • the controller 600 may identify the changed object in response to the user's selection input for the changed object.
  • the controller 600 may receive information (additional information) related to the identified object A from an external server (not shown).
  • the information related to the identified object A may include summary information about the identified object A, detailed information about the identified object A, and other content information associated with the identified object.
  • the controller 600 may generate a virtual image 12 including additional information on the identified object A and display it on the display 310.
  • the image and the virtual image 12 of the target device 10 May be displayed at different locations within the display 310 area. Further, only the summary information on the identified object A may be displayed on the virtual image 12.
  • additional information displayed on the virtual image 12 is changed to information related to the changed object. You can.
  • the additional information displayed on the virtual image 12 may be changed or automatically changed according to a user's selection input for the changed object.
  • the target device is an acoustic device 20.
  • the controller 600 may identify a sound source being played by the sound device 20 based on the audio signal output from the sound device 20.
  • the controller 600 may receive information related to the identified sound source from an external server (not shown), and generate a virtual image 22 including information related to the identified sound source.
  • the control unit 600 may control the display 310 to display both the image of the sound device 20 and the virtual image 22.
  • the present invention can display the image of the target device existing in the field of view of the camera 100 and information related to the content and / or the object played in the target device on the display 310 together, so that the user Users can acquire information in a more intuitive way.
  • control unit 600 may control the display 310 to display at least one virtual image including information related to an object around an image of a target device within a field of view (FOV) of the camera.
  • FOV field of view
  • the display 310 For example, while the summary information virtual image 12 including summary information on the object A in the content being played on the target device (TV) 10 is displayed on the display 310, the display ( When a user's swipe gesture is input to an arbitrary area of 310, the controller 600 targets at least one virtual image 30 including other content information associated with the identified object A.
  • the display 310 may be controlled to be displayed around the (10).
  • the at least one virtual image 30 including other content information associated with the identified object A may include a thumbnail image of content playable on the target device 10.
  • At least one virtual image 30 including other content information may be arranged in various patterns.
  • the at least one virtual image 30 including other content information is arranged in a circle to surround the image 10 of the target device, or vertically or diagonally around the image 10 of the target device. Can be arranged.
  • At least one virtual image 30 including other content information may be displayed for each category.
  • Content for each category may be received from an external server (not shown).
  • the content category may be classified into a music video category, a movie category, and a photo category.
  • the controller 600 may display at least one virtual image (not shown) corresponding to the second category on the display 310 around the image 10 of the target device.
  • the at least one virtual content image 30 corresponding to the first category is not displayed on the display 310 and may be displayed again according to a user's swipe gesture input.
  • the controller 600 may control the display 310 to enlarge and display at least one virtual image 30 including other content information according to the movement of the mobile device 1 and the gaze direction of the camera 100.
  • the gaze direction of the camera 100 may be changed in a range in which the target device 10 is included in the field of view of the camera 100.
  • the virtual image 30a positioned in the direction of the center line of the field of view of the camera 100 may be enlarged and displayed.
  • the virtual image of Movie 4 is located in the direction of the center line of the camera 100's angle of view, and thus, the virtual image of Movie 4 is enlarged and displayed 30a.
  • the visual effect can be increased by enlarging the virtual image positioned in the direction in which the camera 100 gazes.
  • controller 600 may control the target device 10 to play content corresponding to the enlarged virtual image 30a according to the gaze direction of the camera 100.
  • FIG. 9 illustrates a case in which the target device is the sound device 20, and the controller 600 corresponds to a user's swipe gesture input, and includes at least one virtual image including other content information related to the identified sound source (
  • the display 310 may be controlled to display 40) around the image of the sound device 20.
  • the virtual image of Song6 positioned in the center line direction of the camera angle of view of the camera 100 may be enlarged (40a).
  • the control unit 600 may generate and display a virtual image differently according to the type of the target device, to be displayed on the display 310.
  • 10 to 16 show examples of controlling a target device using a graphical user interface displayed on a display. 10 to 16, the target device will be described as the TV 10.
  • control unit 600 corresponds to a user input selecting any one of the at least one virtual image 30 including content information, and the first content corresponding to the selected virtual content image 30s.
  • the target device 10 may be controlled to output.
  • the target device 10 plays the A content.
  • Each of the at least one virtual image 30 may include different content information, and A and Movie 2 to Movie 6 may be videos.
  • the controller 600 may control the display 310 to display the virtual image 32 including other content information associated with the A content. That is, when the content played on the target device 10 is changed, information related to the changed content may be displayed as a virtual image.
  • FIG 11 illustrates that a user controls a target device by inputting a specific gesture to the image 10 of the target device.
  • the target device exists within the field of view of the camera 100 of the mobile device 1, and while the image 10 of the target device is displayed on the display 310, the user for the image 10 of the target device Can be input.
  • the controller 600 may generate a play / pause control signal of the target device and transmit it to the target device. Accordingly, the target device plays, pauses or stops the content.
  • the controller 600 may generate a volume control signal of the target device and transmit it to the target device in response to a user input.
  • the volume of the target device is adjusted accordingly.
  • control of the target device is also possible through voice commands.
  • the controller 600 controls the target device in response to the user's voice command
  • a control signal can be generated and the control signal can be transmitted to a target device.
  • FIG. 12 is a view for explaining displaying content by dividing a display area of a target device.
  • the control unit 600 sets the display area of the target device 10 to the first area.
  • the target device 10 may be controlled to be divided into a second area and to display the first content 30p and the second content 30s corresponding to the additionally selected virtual image in the first area and the second area, respectively.
  • the control unit 600 may control the target device 10 to change the positions of the first area and the second area in response to a user input.
  • the target device may be controlled to output both the first content and the second content.
  • the controller 60 may divide the display area of the target device into a plurality of pieces and simultaneously display a plurality of contents in the divided areas in response to a user input.
  • the target device plays the first content.
  • the controller 600 may adjust the size of the first area and the size of the second area in response to a user's zoom input to the first area or the second area of the target device image 10. Can be controlled. For example, when a user inputs a gesture to zoom in (zoon-in) the first area in which the first content is displayed, for the image 10 of the target device displayed on the display 310, the controller 600 May generate a control signal to enlarge an area in which the first content is being reproduced among the display areas of the target device and transmit the generated control signal to the target device. Accordingly, the target device may enlarge and display the first content display area and reduce the second content display area.
  • control unit 600 may display the play list area 30L on the display 310.
  • the controller 600 selects any one of the at least one virtual image 30 including content information and moves the selected virtual image 30s to the play list area 30L in response to a user's gesture input.
  • the display 310 may be controlled to move to and display the area 30L.
  • control unit 600 displays 310 to overlap and display some areas of the plurality of virtual images included in the play list area 30L. Can be controlled.
  • the controller 600 may control the target device to change the content played on the target device in response to a user's swipe gesture input to the play list area 30L. For example, when a swipe gesture for the play list area 30L is input while the target device is playing the A content, the control unit 600 controls a signal to play the B content set in the next play order. Can be generated and transmitted to the target device. Accordingly, the target device reproduces the B content. At this time, C content information having a next playback order is displayed in the play list area 30L displayed on the display 31 of the mobile device 1.
  • the controller 600 enlarges and selects the size of the selected virtual image 30s.
  • the display 310 may be controlled to display a motion of pushing unimagined virtual images out of the display 310 area of the mobile device 1. Through this visual effect, the user can easily check the selected virtual image.
  • the controller 600 corresponds to a user input to the image 10 of the target device displayed on the display 310, and a screenshot of a screen being displayed on the display of the target device (Screenshot) You can create Specifically, in response to a user input that touches the image 10 of the target device twice in succession, the controller 600 instantly captures the screen displayed on the display of the target device and captures the screen Can be stored in the storage unit 500.
  • the controller 600 displays 310 to display the screenshot image 60 in an area different from the image 10 area of the target device. Can be controlled.
  • controller 600 may control the display 310 to display a screen including a list of screenshot images stored in the storage unit 500 in response to a user's touch input to the screenshot image area 60. have.
  • 17 to 20 are views for explaining that the screen displayed on the display is switched according to the movement of the mobile device.
  • control unit 600 displays a screen for providing details of information related to an object included in content being played on a target device in response to a user's input for tilting the mobile device 1
  • the display 310 can be controlled to display.
  • the control unit 600 displays a screen including detailed information about the object included in the content being played on the target device.
  • the display 310 can be controlled to do so.
  • the controller 600 switches the screen displayed on the display 310 to include detailed information about the object.
  • the screen can be displayed.
  • the detailed information display area 12d for displaying detailed information about an object and a control menu display area 50 for displaying a control menu for a target device may be displayed on the display 310 together.
  • the control menu for the target device may include a thumbnail of the content being played on the target device, a content title, a previous button, a next button, and a play / pause button.
  • the controller 600 expands and displays UI elements 52, 53, 54, and 55 included in the control menu ( 51) so that the display 310 can be controlled.
  • control unit 600 displays a screen that provides information of content corresponding to each of the at least one virtual image as a list in response to a user input tilting the mobile device 1
  • the display 310 can be controlled.
  • the control unit 600 displays a screen providing the content information included in each of the at least one virtual image as the list 30 on the display 310. You can.
  • the content list display area 33 displaying content information as a list and the control menu display area 50 displaying a control menu for the target device may be displayed on the display 310 together.
  • a screen displayed on the display 310 may be switched in response to the tilting movement of the mobile device 1.
  • the mobile device In a state in which a virtual image 12 including summary information on an image 20 of a sound device and a sound source being played by the sound device 20 is displayed on the display 310 of the mobile device 1, the mobile device When the movement of tilting (1) in the downward direction is detected by the user interface unit 210, the control unit 600 displays the screen to display a screen including detailed information about the sound source being played by the sound device 20 ( 310) can be controlled.
  • the detailed information display area 22d including the title and lyrics of the sound source and a control menu display area 50 displaying a control menu for the target device may be displayed on the display 310 together.
  • 21 is a diagram for explaining a method in which a plurality of devices are linked and controlled through a mobile device according to an embodiment.
  • the controller 600 may cooperatively control a plurality of target devices in response to a user input. Specifically, while the camera 100 photographs the sound device 20, a plurality of virtual images 40 including content information around the image of the sound device 20 and the image of the sound device 20 is displayed ( 310). The user selects any one of the plurality of virtual images 40 (Song6), and simultaneously moves the mobile device 1 to move the gaze direction of the camera 100 to the TV 10, and the TV displayed on the display 310 The selected virtual image (Song6) can be moved to the image in (10). Accordingly, the TV 10 plays Song6.
  • the sound device 20 when the virtual image including the related content information related to the content played on the TV 10 is moved to the image of the sound device 20, the sound device 20 outputs an audio signal included in the relevant content. .
  • the present invention can register a plurality of devices and control the plurality of devices simultaneously or in association with the movement of the field of view or field of view (FOV) of the camera.
  • FOV field of view
  • 22 and 23 are diagrams for describing content sharing between a mobile device and another mobile device according to an embodiment.
  • the mobile device 1 may connect a first external device distinguished from the target device through the communication unit 400.
  • the controller 600 may control the communication unit 400 to transmit the screen displayed on the display 310 to the first external device in response to a user's input requesting sharing of the screen displayed on the display 310. have.
  • the mobile device 1 is referred to as the first mobile device 1 and the first external device is referred to as the second mobile device 2.
  • the first mobile device 1 photographs the TV 10 and identifies the object A in the content being played on the TV 10, thereby adding an identification marker 11 and an object A.
  • the virtual image 12 including the information is displayed on the display 310.
  • the control unit 600 may display the share icon 80 together on the display 310.
  • the controller 600 may transmit a screen displayed on the display 310 of the mobile device 1 to the first mobile device 2 in response to a user's touch input to the share icon 80. Accordingly, the second mobile device 2 outputs the same screen as the first mobile device 1.
  • a first mobile device 1, a second mobile device 2 and a target device (TV) 10 are connected.
  • the first mobile device 1 can transmit the content information stored in the storage unit 500 to the second mobile device 2 and the target device 10, and the second mobile device 2 also stores the content information stored in the storage unit To the first mobile device 1 and the target device 10.
  • the first mobile device 1 may display the content information 70 stored in the storage unit 500 and the content information 71 stored in the second mobile device 2 on the display 310.
  • the second mobile device 2 may also display the stored content information 70 and the content information 71 stored in the first mobile device 1.
  • the target device 10 may display both content information stored in the first mobile device 1 and the second mobile device 2.
  • a plurality of users can share the content and play the shared content through the target device.
  • FIG. 24 shows another example of displaying information related to an object recognized through a camera on a target device.
  • the mobile device 1 may search for information on an object recognized through the camera 100 from an external server (not shown), and display the search information 90 on the display 310. .
  • the mobile device 1 may control the target device 10 so that the target device 10 displays search information 90 about the object displayed on the display 310.
  • GUI graphical user interface
  • a plurality of devices may be registered, and a plurality of devices may be controlled simultaneously or in association with movement of a camera's field of view or field of view (FOV).
  • FOV field of view
  • the disclosed embodiments may be implemented in the form of a recording medium that stores instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may generate program modules to perform operations of the disclosed embodiments.
  • the recording medium may be embodied as a computer-readable recording medium.
  • the computer-readable recording medium includes all kinds of recording media storing instructions that can be read by a computer.
  • a computer for example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, and an optical data storage device.
  • ROM read only memory
  • RAM random access memory
  • magnetic tape a magnetic tape
  • magnetic disk a magnetic disk
  • flash memory a flash memory
  • optical data storage device optical data storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

카메라의 시야 또는 화각(FOV) 내에 있는 타겟 디바이스에서 재생되는 컨텐츠와 관련된 정보를 제공하고, 타겟 디바이스 제어를 위해, 일 실시예에 따른 모바일 장치는, 디스플레이, 타겟 디바이스를 촬영하는 카메라, 사용자의 입력을 수신하는 사용자 인터페이스부 및 상기 사용자의 입력에 대응하여, 상기 카메라에 의해 촬영된 상기 타겟 디바이스의 이미지 및 상기 타겟 디바이스가 재생 중인 컨텐츠에 포함된 객체와 관련된 정보를 함께 표시하도록 상기 디스플레이를 제어하는 제어부를 포함한다.

Description

모바일 장치 및 모바일 장치의 제어 방법
증강 현실(Augmented Reality) 기술을 이용하여 타겟 디바이스를 제어할 수 있는 모바일 장치 및 모바일 장치의 제어방법에 관한 것이다.
모바일 장치는 이동성을 기반으로 다양한 기능을 제공하는 장치로서, 다양한 분야에서 폭넓게 사용되고 있다. 이러한 모바일 장치는 다양한 기능을 제공하기 위해 여러 가지 기능 모듈을 포함한다. 예를 들면, 모바일 장치는 이미지 수집 기능을 제공하는 카메라 모듈을 포함한다.
모바일 장치의 카메라 모듈을 이용하는 기술로서 증강 현실 기술이 존재한다. 증강 현실 기술은 실제 환경에 가상 사물이나 가상 정보를 합성하여 실제 환경에 존재하는 사물처럼 보이도록 하는 그래픽 기술을 말한다.
증강　현실 기술은 가상의 공간과 가상의 사물로 구현되는 기존의 가상　현실 기술과는　다르게 실제 공간에 가상의 사물을 합성한다. 따라서,　현실　세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가진다. 이러한 증강 현실 기술은 다양한　현실　환경에 응용이 가능하며, 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
일 측면은 카메라의 시야 또는 화각(FOV) 내에 있는 타겟 디바이스에서 재생되는 컨텐츠 및 컨텐츠 내의 객체를 인식하고, 컨텐츠 내의 객체와 관련된 정보 제공 및 타겟 디바이스 제어를 위한 그래픽 사용자 인터페이스(GUI)를 디스플레이에 함께 표시할 수 있는 모바일 장치 및 모바일 장치의 제어 방법을 제공하는 것을 목적으로 한다.
일 실시예에 따른 모바일 장치는 디스플레이, 타겟 디바이스를 촬영하는 카메라, 사용자의 입력을 수신하는 사용자 인터페이스부 및 상기 사용자의 입력에 대응하여, 상기 카메라에 의해 촬영된 상기 타겟 디바이스의 이미지 및 상기 타겟 디바이스가 재생 중인 컨텐츠에 포함된 객체와 관련된 정보를 함께 표시하도록 상기 디스플레이를 제어하는 제어부를 포함한다.
또한, 상기 제어부는 상기 카메라의 화각(FOV) 내에 있는 상기 타겟 디바이스의 이미지 주변에 상기 객체와 관련된 정보를 포함하는 적어도 하나의 가상 이미지를 표시하도록 상기 디스플레이를 제어하고, 상기 타겟 디바이스의 이미지 및 상기 적어도 하나의 가상 이미지 중 적어도 하나에 대한 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스를 제어할 수 있다.
또한, 상기 제어부는 상기 카메라 화각(FOV)의 중심선의 이동 방향에 위치하는 상기 가상 이미지를 확대 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제어부는 상기 적어도 하나의 가상 이미지 중 어느 하나를 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 선택된 상기 가상 이미지에 대응하는 제1 컨텐츠를 상기 타겟 디바이스가 출력하도록 상기 타겟 디바이스를 제어할 수 있다.
또한, 상기 제어부는 상기 가상 이미지를 추가 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스의 출력 영역을 제1 영역과 제2 영역으로 분할하고, 상기 제1 컨텐츠 및 추가 선택된 상기 가상 이미지에 대응하는 제2 컨텐츠를 각각 상기 제1 영역과 상기 제2 영역에서 출력하도록 상기 타겟 디바이스를 제어할 수 있다.
또한, 상기 제어부는 상기 타겟 디바이스의 상기 제1 영역 또는 상기 제2 영역에 대한 줌(Zoom) 입력에 대응하여, 상기 제1 영역의 크기 및 상기 제2 영역의 크기를 조절하도록 상기 타겟 디바이스를 제어할 수 있다.
또한, 상기 제어부는 모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 객체와 관련된 정보의 상세 내용을 제공하는 화면을 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제어부는 모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 적어도 하나의 가상 이미지 각각에 대응하는 컨텐츠의 정보를 목록으로 제공하는 화면을 표시하도록 상기 디스플레이를 제어할 수 있다.
또한, 일 실시예에 따른 모바일 장치는 음성 명령을 수신하는 마이크를 더 포함하고, 상기 제어부는 상기 마이크를 통해 수신되는 음성 명령에 대응하여, 상기 타겟 디바이스를 제어할 수 있다.
또한, 일 실시예에 따른 모바일 장치는 상기 타겟 디바이스와 구별되는 제1 외부 디바이스를 연결하는 통신부를 더 포함하고, 상기 제어부는 상기 디스플레이에 표시되는 화면에 대한 공유를 요청하는 상기 사용자의 입력에 대응하여, 상기 디스플레이에 표시되는 화면을 상기 제1 외부 디바이스로 전송하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 모바일 장치의 제어 방법은 카메라를 이용하여 타겟 디바이스를 촬영하는 단계, 사용자의 입력에 대응하여, 촬영된 상기 타겟 디바이스가 재생 중인 컨텐츠에 포함된 객체를 식별하는 단계 및 촬영된 상기 타겟 디바이스의 이미지 및 상기 식별된 객체와 관련된 정보를 함께 디스플레이에 표시하는 단계를 포함한다.
또한, 상기 디스플레이에 표시하는 단계는 상기 타겟 디바이스의 이미지 주변에 상기 객체와 관련된 정보를 포함하는 적어도 하나의 가상 이미지를 상기 디스플레이에 표시하는 단계를 포함할 수 있다.
또한, 일 실시예에 따른 모바일 장치의 제어 방법은 상기 타겟 디바이스의 이미지 및 상기 적어도 하나의 가상 이미지 중 적어도 하나에 대한 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스를 제어하는 단계;를 더 포함할 수 있다.
또한, 상기 적어도 하나의 가상 이미지를 상기 디스플레이에 표시하는 단계는 상기 카메라 화각(FOV)의 중심선의 이동 방향에 위치하는 상기 가상 이미지를 확대 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 타겟 디바이스를 제어하는 단계는 상기 적어도 하나의 가상 이미지 중 어느 하나를 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 선택된 상기 가상 이미지에 대응하는 제1 컨텐츠를 상기 타겟 디바이스가 출력하도록 상기 타겟 디바이스를 제어하는 단계;를 포함할 수 있다.
또한, 상기 타겟 디바이스를 제어하는 단계는 상기 가상 이미지를 추가 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스의 출력 영역을 제1 영역과 제2 영역으로 분할하고, 상기 제1 컨텐츠 및 추가 선택된 상기 가상 이미지에 대응하는 제2 컨텐츠를 각각 상기 제1 영역과 상기 제2 영역에서 출력하도록 상기 타겟 디바이스를 제어하는 단계;를 더 포함할 수 있다.
또한, 상기 타겟 디바이스를 제어하는 단계는 상기 타겟 디바이스의 상기 제1 영역 또는 상기 제2 영역에 대한 줌(Zoom) 입력에 대응하여, 상기 제1 영역의 크기 및 상기 제2 영역의 크기를 조절하도록 상기 타겟 디바이스를 제어하는 단계;를 더 포함할 수 있다.
또한, 일 실시예에 따른 모바일 장치의 제어 방법은 모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 객체와 관련된 정보의 상세 내용을 제공하는 화면을 상기 디스플레이에 표시하는 단계;를 더 포함할 수 있다.
또한, 일 실시예에 따른 모바일 장치의 제어 방법은 모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 적어도 하나의 가상 이미지 각각에 대응하는 컨텐츠의 정보를 목록으로 제공하는 화면을 상기 디스플레이에 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 타겟 디바이스를 제어하는 단계는 마이크를 통해 수신되는 음성 명령에 대응하여, 상기 타겟 디바이스를 제어하는 단계;를 포함할 수 있다.
또한, 일 실시예에 따른 모바일 장치의 제어 방법은 상기 타겟 디바이스와 구별되는 제1 외부 디바이스를 연결하는 단계 및 상기 디스플레이에 표시되는 화면에 대한 공유를 요청하는 상기 사용자의 입력에 대응하여, 상기 디스플레이에 표시되는 화면을 상기 제1 외부 디바이스로 전송하는 단계;를 더 포함할 수 있다.
일 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 카메라의 시야 또는 화각(FOV) 내에 있는 타겟 디바이스에서 재생되는 컨텐츠 및 컨텐츠 내의 객체를 인식하고, 컨텐츠 내의 객체와 관련된 정보 제공 및 타겟 디바이스 제어를 위한 그래픽 사용자 인터페이스(GUI)를 디스플레이에 함께 표시할 수 있다. 따라서 사용자는 보다 직관적인 방식으로 정보를 획득할 수 있고, 타겟 디바이스를 보다 쉽게 제어할 수 있다.
또한, 일 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 복수의 디바이스를 등록하고, 카메라의 시야 또는 화각(FOV)의 이동에 따라 복수의 디바이스를 동시에 또는 연계하여 제어할 수 있다.
도 1은 일 실시예에 따른 모바일 장치의 제어 블록도이다.
도 2는 도 1에 도시된 제어부의 상세 블록도이다.
도 3은 일 실시예에 따른 모바일 장치와 복수의 디바이스 간의 네트워크 환경을 도시한다.
도 4는 일 실시예에 따른 모바일 장치 제어 방법의 흐름도이다.
도 5는 일 실시예에 따른 모바일 장치가 타겟 디바이스를 인식하는 방법을 설명하기 위한 도면이다.
도 6 및 도 7은 타겟 디바이스에서 재생 중인 컨텐츠를 인식하여 컨텐츠와 관련된 정보를 디스플레이에 표시하는 예시를 보여준다.
도 8 및 도 9는 인식된 객체와 관련된 정보를 가상 이미지로 표시하는 예시를 보여준다.
도 10 내지 도 16은 디스플레이에 표시되는 그래픽 사용자 인터페이스를 이용하여 타겟 디바이스를 제어하는 예시를 보여준다.
도 17 내지 도 20은 모바일 장치의 움직임에 따라 디스플레이에 표시되는 화면이 전환되는 것을 설명하기 위한 도면이다.
도 21은 일 실시예에 따른 모바일 장치를 통해 복수의 디바이스가 연계 제어되는 방법을 설명하기 위한 도면이다.
도 22 및 도 23은 일 실시예에 따른 모바일 장치와 다른 모바일 장치 간의 컨텐츠 공유를 설명하기 위한 도면이다.
도 24는 카메라를 통해 인식된 객체와 관련된 정보를 타겟 디바이스에 표시하는 다른 예시를 보여준다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다. 본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것이고, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다.
명세서에서 사용되는 '부'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부'가 하나의 구성 요소로 구현되거나, 하나의 '부'가 복수의 구성 요소들을 포함하는 것도 가능하다. 본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한, 제 1 이나 제 2 등의 용어는 하나의 부분을 다른 부분으로부터 구별하기 위해 사용되는 것으로, 특별한 기재가 없는 이상 이들이 순차적인 표현을 의미하는 것은 아니다.
또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합이 존재함을 표현하고자 하는 것이며, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합의 추가적인 존재 또는 부가 가능성을 배제하지 않는다.
또한, "제1", "제2" 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위하여 사용되며, 상기 하나의 구성요소들을 한정하지 않는다. 또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 적어도 하나의 하드웨어/메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
이하에서는 첨부한 도면을 참조하여 개시된 발명의 일 실시예가 상세하게 설명된다. 첨부된 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낼 수 있다.
도 1은 일 실시예에 따른 모바일 장치의 제어 블록도이고, 도 2는 도 1에 도시된 제어부의 상세 블록도이다.
먼저, 일 실시예에 따른 모바일 장치(1)는 이동 가능한 장치로서 증강 현실을 제공할 수 있는 장치를 포함한다. 예를 들면, 모바일 장치(1)는 휴대 전화기, PMP(Portable Multimedia Player), 디지털 방송 플레이어, PDA(Personal Digital Assistant), 음악 파일 재생기(예컨대, MP3 플레이어), 휴대 게임 단말기, 태블릿 PC 및 스마트폰(Smart Phone) 등 카메라를 구비하여 증강 현실을 제공할 수 있는 장치로 구현될 수 있다. 이하에서는 설명의 편의를 위해 모바일 장치(1)가 스마트폰인 것으로 가정한다.
도 1을 참조하면, 일 실시예에 따른 모바일 장치(1)는 카메라(100), 사용자 인터페이스부(210), 마이크(220), 출력부(300), 통신부(400), 저장부(500) 및 제어부(600)를 포함할 수 있다.
카메라(100)는 타겟 디바이스를 촬영하여 타겟 디바이스의 이미지를 획득할 수 있다. 제어부(600)는 카메라(100)에 의해 촬영된 타겟 디바이스의 이미지를 기초로 타겟 디바이스에서 재생 중인 컨텐츠 및 컨텐츠 내의 객체를 식별할 수 있다. 타겟 디바이스는 모바일 장치(1)에 의해 제어될 수 있는 전자 장치로서, TV 등의 디스플레이 장치, 음향 기기, 모바일 장치(1)와 통신망을 통해 연결된 다른 모바일 장치 등을 의미한다. 도 3을 참조하면, 타겟 디바이스는 제2 모바일 장치(2), TV(10), 음향기기(20) 중 적어도 하나를 포함할 수 있다.
카메라(100)는 모바일 장치(1)에 통상적으로 장착되는 카메라 모듈로서, 렌즈, CCD, CMOS와 같은 영상 센서 및 아날로그 디지털 컨버터를 포함할 수 있다. 카메라(100)는 피사체를 포착하여 획득한 영상을 디지털 신호로 변환하여 제어부(600)로 전송한다. 후술할 제어부(600)는 디지털 신호로 변환된 영상에 대한 처리를 수행할 수 있다.
사용자 인터페이스부(210)는 사용자의 입력을 수신하여 제어부(600)에 전달한다. 사용자 인터페이스부(210)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등 다양한 사용자 입력 수단을 포함할 수 있다.
또한, 사용자 인터페이스부(210)는 터치 패널을 장착한 디스플레이(310)일 수 있다. 사용자 인터페이스부(210)는 터치 제스처와 같은 사용자의 입력을 감지하고 동시에 사용자의 입력에 대한 처리 결과를 이미지로 표시하는 디스플레이(310)와 동일하게 취급될 수 있다. 사용자 인터페이스부(210)는 디스플레이(310) 상에 모바일 장치(1)의 제어를 가능하게 하는 그래픽 사용자 인터페이스(GUI, Graphic User Interface)를 표시할 수 있다. 즉, 디스플레이(310) 상에 아이콘(Icon)과 같은 UI 엘리먼트(User Interface Element)가 표시될 수 있다.
또한, 사용자 인터페이스부(210)는 모바일 장치(1)의 움직임을 검출하기 위한 움직임 센서를 포함할 수 있다. 움직임 센서에는 가속도 센서, 자이로 센서, 지자기 센서 등이 포함될 수 있다. 제어부(600)는 모바일 장치(1)가 특정 방향으로 움직이는 것에 따라 디스플레이(310)에 표시되는 화면을 전환시킬 수 있다.
마이크(220)는 오디오 신호를 수신하고 전기적 신호로 변환하여 제어부(600)에 전송할 수 있다. 마이크(220)는 사용자의 음성 명령을 입력 받아 제어부(600)로 전송하고, 제어부(600)는 사용자의 음성 명령에 대응하여 모바일 장치(1)를 제어할 수 있다. 또한, 마이크(220)는 타겟 디바이스에서 출력되는 오디오 신호를 감지하여 제어부(600)로 전송할 수 있다. 제어부(600)는 타겟 디바이스에서 출력되는 오디오 신호를 기초로 타겟 디바이스에서 재생되는 컨텐츠를 식별할 수 있다.
출력부(300)는 영상 신호 또는 오디오 신호를 출력할 수 있는 장치로서 다양한 장치에 해당할 수 있다. 구체적으로, 출력부(300)는 디스플레이(310) 및 스피커(320) 중 적어도 하나를 포함할 수 있다. 스피커(320)는 모바일 장치(1)의 각종 기능과 관련된 오디오 신호를 출력할 수 있다.
디스플레이(310)는 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 다양한 화면으로 표시할 수 있다. 디스플레이(310) 제어부(600)에서 처리되는 정보를 표시한다. 예를 들면, 디스플레이(310)는 카메라(100)에 의해 촬영된 공간의 영상을 표시하고, 공간의 영상에 가상 이미지가 합성된 증강 현실 영상을 표시할 수 있다. 디스플레이(310)는 모바일 장치(1)의 각종 기능과 관련된 GUI(Graphic User Interface)를 표시할 수 있다.
또한, 디스플레이(310)는 터치 패널을 포함하여 입력 장치로도 사용될 수 있다. 디스플레이(310)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystaldisplay), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
통신부(400)는 네트워크 또는 통신 채널을 통해 모바일 장치(1)를 타겟 디바이스, 서버 등과 연결한다. 도 3을 참조하면, 모바일 장치(1)는 타겟 디바이스에 해당하는 제2 모바일 장치(2), TV(10), 음향기기(20) 중 적어도 하나와 연결되어 데이터를 송수신할 수 있다. 또한, 통신부(400)는 제어부(600)의 제어에 따라 외부 서버로부터 카메라(100)에 의해 촬영된 객체와 관련된 정보를 수신할 수 있다. 예를 들면, 통신부(400)는 타겟 디바이스에서 재생 중인 컨텐츠의 정보, 타겟 디바이스에서 재생 중인 컨텐츠 내의 객체에 관련된 정보를 외부 서버로부터 수신할 수 있다.
통신부(400)는 다양한 통신 모듈을 포함할 수 있다. 예를 들면, 통신부(400)는 블루투스(Bluetooth), 지그비(Zigbee), 무선 랜((wireless local area network), 홈 RF(Home Radio Frequency), UWB(Ultra-wide band), 인터넷 등과 같은 다양한 통신 네트워크와 연결 가능한 통신 모듈을 포함할 수 있다.
저장부(500)는 모바일 장치(1)의 작동을 제어하기 위한 프로그램 및 데이터를 기억/저장할 수 있다. 또한, 저장부(500)는 입/출력되는 데이터(예를 들어, 메시지, 정지 영상, 동영상 등)를 저장할 수 있다. 이러한 저장부(500)는 메모리에 해당할 수 있고, S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory) 등과 같은 휘발성 메모리, 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read Only Memory: EEPROM) 등과 같은 비휘발성 메모리를 포함할 수 있다.
제어부(600)는 저장부(500)에 저장/기억된 프로그램 및 데이터에 따라 모바일 장치(1)의 작동을 제어하기 위한 제어 신호를 생성하는 프로세서를 포함할 수 있다. 프로세서는 논리 회로와 연산 회로를 포함할 수 있으며, 저장부(500)로부터 제공된 프로그램에 따라 데이터를 처리하고, 처리 결과에 따라 제어 신호를 생성할 수 있다.
또한, 프로세서와 메모리는 별도의 칩으로 구현되거나, 단일의 칩으로 구현될 수 있다. 제어부(600)는 복수의 프로세서와 복수의 메모리를 포함할 수도 있다.
도 2를 참조하면, 제어부(600)는 기기 인식부(610), 컨텐츠 정보 처리부(620), 가상 이미지 생성부(630) 및 증강 현실 처리부(640)를 포함할 수 있다. 기기 인식부(610), 컨텐츠 정보 처리부(620), 가상 이미지 생성부(630) 및 증강 현실 처리부(640)는 각각 별개의 프로세서로 구현되거나, 하나의 프로세서로 구현될 수 있다.
기기 인식부(610)는 카메라(100)의 시야 또는 화각(FOV, Field of View) 내에 있는 타겟 디바이스를 인식하고, 제어 대상으로 등록할 수 있다. 구체적으로, 기기 인식부(610)는 타겟 디바이스에 포함된 특정 마커를 인식하여 타겟 디바이스를 인식할 수 있다. 또한, 기기 인식부(610)는 카메라(100)에 의해 촬영된 특정 공간을 인식하고, 특정 공간 내에서 타겟 디바이스의 위치를 인식할 수 있다.
또한, 기기 인식부(610)는 카메라(100)의 화각 내에 있는 복수의 타겟 디바이스를 인식하여 각각을 제어 대상으로 등록할 수 있다. 예를 들면, 카메라(100)의 화각 내에서 TV(10)와 음향기기(20)가 포착된 경우, 기기 인식부(610)는 TV(10)와 음향기기(20)를 타겟 디바이스로 인식하고, 제어 대상에 등록할 수 있다.
컨텐츠 정보 처리부(620)는 카메라(100)에 의해 촬영된 타겟 디바이스의 이미지를 기초로 타겟 디바이스에서 재생 중인 컨텐츠 및/또는 컨텐츠 내의 객체를 식별할 수 있다. 또한, 컨텐츠 정보 처리부(620)는 식별된 컨텐츠의 정보 및 컨텐츠 내의 객체와 관련된 정보를 통신부(400)를 통해 외부 서버로부터 획득할 수 있다.
또한, 컨텐츠 정보 처리부(620)는 카메라(100)에 의해 촬영된 객체를 인식하고, 객체와 관련된 컨텐츠 정보를 통신부(400)를 통해 외부 서버로부터 획득할 수 있다.
컨텐츠는 사진, 비디오, 오디오, 텍스트 등의 다양한 형태의 데이터를 의미한다. 식별된 객체와 관련된 정보는, 식별된 객체에 대한 요약 정보, 식별된 객체에 대한 상세 정보, 식별된 객체와 연관된 다른 컨텐츠 정보를 포함할 수 있다. 이러한 식별된 객체와 관련된 정보는 부가 정보로 정의될 수도 있다.
예를 들면, 타겟 디바이스에서 재생 중인 컨텐츠가 영상 컨텐츠이고, 영상 컨텐츠에 포함된 객체가 인물인 경우, 부가 정보는 인물의 신상 정보, 해당 인물과 연관된 다른 컨텐츠 정보 등을 포함할 수 있다. 또한, 타겟 디바이스에서 재생 중인 컨텐츠가 오디오 컨텐츠인 경우, 부가 정보는 해당 오디오 컨텐츠의 가수 정보, 가사 정보, 해당 오디오 컨텐츠와 연관된 다른 오디오 컨텐츠 정보, 해당 오디오 컨텐츠와 연관된 영상 컨텐츠 정보 등을 포함할 수 있다.
가상 이미지 생성부(630)는 증강 현실 영상을 제공하기 위한 가상 이미지를 생성할 수 있다. 가상 이미지 생성부(630)는 컨텐츠 정보 처리부(620)에 의해 획득된 컨텐츠 정보, 부가 정보 등을 포함하는 가상 이미지를 생성할 수 있다. 또한, 가상 이미지 생성부(630)는 타겟 디바이스의 제어를 위한 UI 엘리먼트(User Interface Element)를 생성할 수 있다.
생성된 가상 이미지 및 UI 엘리먼트(User Interface Element)는 사용자의 입력과 인터랙션 가능한 것으로서, 사용자는 사용자 인터페이스부(210)를 통해 가상 이미지 및 UI 엘리먼트(User Interface Element)를 선택, 이동, 변경할 수 있다.
예를 들면, 가상 이미지 생성부(630)는 타겟 디바이스에서 재생 중인 컨텐츠 내 객체의 식별 결과를 표시하는 식별 마커(Identification marker), 식별된 객체에 대한 요약 정보를 표시하는 요약 정보의 가상 이미지, 식별된 객체에 대한 상세 정보를 표시하는 상세 정보의 가상 이미지, 식별된 객체와 연관된 다른 컨텐츠 정보를 표시하는 컨텐츠 정보의 가상 이미지를 생성할 수 있다.
또한, 가상 이미지 생성부(630)는 타겟 디바이스를 제어하기 위한 재생 아이콘, 일시 정지 아이콘, 정지 아이콘, 볼륨 조절 아이콘 등의 UI 엘리먼트(User Interface Element)를 생성할 수 있다.
증강 현실 처리부(630)는 타겟 디바이스의 이미지와 가상 이미지를 디스플레이(310)에 함께 표시할 수 있다. 구체적으로, 증강 현실 처리부(630)는 타겟 디바이스의 이미지와 가상 이미지를 합성한 증강 현실 영상을 생성하고, 생성된 증강 현실 영상을 디스플레이(310)에 표시할 수 있다. 증강 현실 처리부(630)는 가상 이미지 생성부(620)에 의해 생성된 객체와 관련된 정보를 포함하는 적어도 하나의 가상 이미지를 타겟 디바이스의 이미지 주변에 표시하도록 디스플레이(310)를 제어할 수 있다.
이와 같이, 본 발명은 타겟 디바이스에서 재생 중인 컨텐츠와 관련된 정보를 제공함에 있어서, 증강 현실 기술을 이용하여 타겟 디바이스의 이미지와 컨턴츠 정보를 포함하는 가상 이미지를 함께 디스플레이(310) 상에 표시하므로, 사용자에게 보다 직관적인 방식으로 정보를 제공할 수 있다. 또한, 사용자는 타겟 디바이스를 보다 쉽게 제어할 수 있다.
도 3은 일 실시예에 따른 모바일 장치와 복수의 디바이스 간의 네트워크 환경을 도시한다.
도 3을 참조하면, 일 실시예에 따른 모바일 장치(1)는 제1 모바일 장치(1)에 해당한다. 상술한 바와 같이, 제1 모바일 장치(1)는 통신부(400)를 통해 제2 모바일 장치(2), TV(10), 음향기기(20) 중 적어도 하나와 연결될 수 있다. 제2 모바일 장치(2), TV(10), 음향기기(20) 각각도 네트워크 또는 통신 채널과 연결 가능한 통신 모듈을 포함한다.
제1 모바일 장치(1)의 타겟 디바이스의 제어를 위한 기능이 실행되면, 카메라(100)의 응시 방향은 제2 모바일 장치(2), TV(10), 음향기기(20) 중 어느 하나가 위치하는 방향이 될 수 있다. 또한, 카메라(100)의 응시 방향에 따라 화각(FOV) 내에 복수의 타겟 디바이스가 포함될 수 있다.
제1 모바일 장치(1)의 제어부(600)는 카메라(100)에 의해 촬영되는 타겟 디바이스를 인식 및 등록하고, 타겟 디바이스를 제어하기 위한 제어 신호를 생성할 수 있다. 예를 들면, 제1 모바일 장치(1)의 카메라(100)의 화각 내에 TV(10)만 포함되는 경우, 제어부(600)는 사용자의 입력에 대응하여, TV(10)를 제어하기 위한 제어 신호를 생성하고, TV(10)에 제어 신호를 전송함으로써 TV(10)의 작동을 제어할 수 있다. 타겟 디바이스의 제어에 관한 구체적인 내용은 후술한다.
도 4는 일 실시예에 따른 모바일 장치 제어 방법의 흐름도이다. 도 4는 모바일 장치(1)를 이용하여 타겟 디바이스에서 재생되는 컨텐츠와 관련된 부가 정보를 제공하고, 타겟 디바이스를 제어하는 전체 과정을 보여준다.
도 4에서는 모바일 장치(1)의 카메라(100)가 도 3의 TV(10)만 촬영하는 것으로 가정한다. 따라서 타겟 디바이스는 TV(10)인 것으로 가정한다.
도 4를 참조하면, 모바일 장치(1)의 카메라(100)는 타겟 디바이스의 이미지를 획득하고, 제어부(600)는 카메라(100)에 의해 촬영된 타겟 디바이스를 상술한 바와 같이 인식한다(701). 제어부(600)는 사용자의 입력에 대응하여, 타겟 디바이스가 재생 중인 컨텐츠와 컨텐츠 내에 포함된 객체를 인식한다(702). 예를 들면, 디스플레이(310)에 표시되는 타겟 디바이스의 이미지의 특정 위치에 대한 사용자의 터치 입력이 있는 경우, 제어부(600)는 타겟 디바이스에서 재생되는 컨텐츠 내의 객체를 인식하고, 인식 결과를 식별 마커로 표시할 수 있다.
이후 제어부(600)는 인식된 객체에 대한 부가 정보를 획득한다(703). 상술한 바와 같이, 인식된 객체에 대한 부가 정보는 외부 서버로부터 획득될 수 있다. 부가 정보에는 식별된 객체에 대한 요약 정보, 식별된 객체에 대한 상세 정보, 식별된 객체와 연관된 다른 컨텐츠 정보 등이 포함될 수 있다.
제어부(600)는 식별된 객체에 대한 부가 정보를 포함하는 인터랙션 가능한 적어도 하나의 가상 이미지를 생성한다(704). 상술한 바와 같이, 가상 이미지는 증강 현실 영상을 제공하기 위해 생성되는 이미지이다. 제어부(600)는 타겟 디바이스의 실제 이미지와 가상 이미지를 함께 표시하도록 디스플레이(310)를 제어한다(705). 다시 말해, 제어부(600)는 타겟 디바이스의 실제 이미지와 가상 이미지가 합성된 증강 현실 영상을 디스플레이(310) 상에 표시할 수 있다.
또한, 제어부(600)는 디스플레이(310)에 표시된 가상 이미지에 대한 사용자의 입력에 대응하여, 가상 이미지에 대한 조작을 수행한다(706). 타겟 디바이스는 가상 이미지의 조작에 대응하여 제어된다(707). 예를 들면, 타겟 디바이스의 이미지 주변에 표시되고, 특정 컨텐츠 정보를 포함하는 가상 이미지를 선택 및 이동시켜 타겟 디바이스의 이미지 영역으로 옮기는 사용자의 입력이 있는 경우, 제어부(600)는 타겟 디바이스의 이미지 영역으로 옮겨진 가상 이미지에 대응하는 컨텐츠가 타겟 디바이스에서 실제로 표시되도록 타겟 디바이스를 제어할 수 있다.
이하 도 5 내지 도 24에서 본 발명의 구성이 보다 자세히 설명된다.
도 5는 일 실시예에 따른 모바일 장치가 타겟 디바이스를 인식하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 모바일 장치(1)는 복수의 타겟 디바이스를 인식하여 각각을 제어 대상으로 등록할 수 있다. 구체적으로, 모바일 장치(1)의 카메라(100)의 화각 내에 TV(10)와 음향기기(20)가 포착되는 경우, 제어부(600)는 TV(10)와 음향기기(20)를 인식하여 타겟 디바이스로 등록할 수 있다. 타겟 디바이스를 인식하는 방법은 타겟 디바이스에 포함된 특정 마커를 인식하는 방법, 타겟 디바이스의 고유 식별 번호를 이용하는 방법, 촬영된 타겟 디바이스의 이미지를 학습 데이터와 비교하여 식별하는 방법 등이 있을 수 있다.
도 6 및 도 7은 타겟 디바이스에서 재생 중인 컨텐츠를 인식하여 컨텐츠와 관련된 정보를 디스플레이에 표시하는 예시를 보여준다.
도 6에서, 타겟 디바이스는 TV(10)이다. 제어부(600)는 디스플레이(310) 상에 표시되는 타겟 디바이스(10)에서 재생 중인 컨텐츠를 인식할 수 있다. 타겟 디바이스(10)에서 재생 중인 컨텐츠에 포함된 객체(A)를 선택하는 사용자의 입력이 있는 경우, 제어부(600)는 선택된 객체(A)를 식별하고 식별 결과로서 식별 마커(11)를 디스플레이(310)에 표시할 수 있다. 한편, 제어부(600)는 사용자의 입력과 무관하게 타겟 디바이스(10)에서 재생 중인 컨텐츠에 포함된 객체(A)를 식별할 수도 있다.
또한, 타겟 디바이스(10)에서 재생되고 있는 컨텐츠가 동영상일 경우, 타겟 디바이스(10)의 디스플레이에서 표시되고 있는 화면이 전환될 수 있다. 이 경우 타겟 디바이스(10)에서 표시되는 동영상 내의 객체가 변경될 수 있다. 제어부(600)는 변경된 객체에 대한 사용자의 선택 입력에 대응하여, 변경된 객체를 식별할 수 있다.
제어부(600)는 식별된 객체(A)와 관련된 정보(부가 정보)를 외부 서버(미도시)로부터 수신할 수 있다. 상술한 바와 같이, 식별된 객체(A)와 관련된 정보에는 식별된 객체(A)에 대한 요약 정보, 식별된 객체(A)에 대한 상세 정보, 식별된 객체와 연관된 다른 컨텐츠 정보가 포함될 수 있다.
또한, 제어부(600)는 식별된 객체(A)에 대한 부가 정보를 포함하는 가상 이미지(12)를 생성하여 디스플레이(310)에 표시할 수 있다. 디스플레이(310) 영역 내에 타겟 디바이스(10)의 이미지와 식별된 객체(A)에 대한 부가 정보를 포함하는 가상 이미지(12)가 모두 표시되는 경우, 타겟 디바이스(10)의 이미지와 가상 이미지(12)는 디스플레이(310) 영역 내에서 서로 다른 위치에 표시될 수 있다. 또한, 가상 이미지(12)에는 식별된 객체(A)에 대한 요약 정보만 표시될 수 있다.
타겟 디바이스(10)에서 표시되고 있는 화면이 전환되어, 타겟 디바이스(10)에서 표시되는 컨텐츠 내의 객체가 변경되는 경우에는, 가상 이미지(12)에 표시되는 부가 정보가 변경된 객체에 관련된 정보로 변경될 수 있다. 가상 이미지(12)에 표시되는 부가 정보는, 변경된 객체에 대한 사용자의 선택 입력에 따라 변경되거나, 자동으로 변경될 수 있다.
도 7에서, 타겟 디바이스는 음향기기(20)이다. 제어부(600)는 음향기기(20)에서 출력되는 오디오 신호를 기초로 음향기기(20)가 재생 중인 음원을 식별할 수 있다. 제어부(600)는 식별된 음원과 관련된 정보를 외부 서버(미도시)로부터 수신할 수 있고, 식별된 음원과 관련된 정보를 포함하는 가상 이미지(22)를 생성할 수 있다. 제어부(600)는 음향기기(20)의 이미지와 가상 이미지(22)를 함께 표시하도록 디스플레이(310)를 제어할 수 있다.
이와 같이, 본 발명은 카메라(100)의 화각 내에 존재하는 타겟 디바이스의 이미지와 타겟 디바이스에서 재생되는 컨텐츠 및/또는 컨텐츠 내 객체와 관련된 정보를 함께 디스플레이(310) 상에 표시할 수 있으므로, 사용자는 사용자는 보다 직관적인 방식으로 정보를 획득할 수 있다.
도 8 및 도 9는 인식된 객체와 관련된 정보를 가상 이미지로 표시하는 예시를 보여준다.
도 8을 참조하면, 제어부(600)는 카메라의 화각(FOV) 내에 있는 타겟 디바이스의 이미지 주변에 객체와 관련된 정보를 포함하는 적어도 하나의 가상 이미지를 표시하도록 디스플레이(310)를 제어할 수 있다.
예를 들면, 타겟 디바이스(TV)(10)에서 재생 중인 컨텐츠 내의 객체(A)에 대한 요약 정보를 포함하는 요약 정보 가상 이미지(12)가 디스플레이(310) 상에 표시되어 있는 상태에서, 디스플레이(310)의 임의의 영역에 사용자의 스와이프(Swipe) 제스처가 입력되는 경우, 제어부(600)는 식별된 객체(A)와 연관된 다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)를 타겟 디바이스(10)의 주변에 표시하도록 디스플레이(310)를 제어할 수 있다.
식별된 객체(A)와 연관된 다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)는 타겟 디바이스(10)에서 재생 가능한 컨텐츠의 썸네일(Thumnail) 이미지를 포함할 수 있다.
다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)는 다양한 패턴으로 배열될 수 있다. 예를 들면, 다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)는 타겟 디바이스의 이미지(10)를 둘러싸도록 원형으로 배열되거나, 타겟 디바이스의 이미지(10)를 중심으로 상하 방향 또는 대각선 방향으로 배열될 수 있다.
다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)는 카테고리 별로 표시될 수 있다. 카테고리 별 컨텐츠는 외부 서버(미도시)로부터 수신될 수 있다. 예를 들면, 컨텐츠 카테고리는 뮤직 비디오 카테고리, 영화 카테고리, 사진 카테고리 등으로 분류될 수 있다.
타겟 디바이스의 이미지(10) 주변에 제1 카테고리에 해당하는 적어도 하나의 가상 이미지(30)가 표시되어 있는 상태에서, 디스플레이(310) 상의 임의의 영역에 사용자의 스와이프(swipe) 제스처가 입력되는 경우, 제어부(600)는 타겟 디바이스의 이미지(10) 주변에 제2 카테고리에 해당하는 적어도 하나의 가상 이미지(미도시)를 디스플레이(310)에 표시할 수 있다. 이 때, 제1 카테고리에 해당하는 적어도 하나의 가상 컨텐츠 이미지(30)는 디스플레이(310)에서 표시되지 않으며, 사용자의 스와이프(swipe) 제스처 입력에 따라 다시 표시될 수 있다.
또한, 제어부(600)는 모바일 장치(1)의 이동 및 카메라(100)의 응시 방향에 따라 다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)를 확대 표시하도록 디스플레이(310)를 제어할 수 있다. 구체적으로, 사용자가 모바일 장치(1)를 움직임에 따라, 카메라(100) 화각 내에 타겟 디바이스(10)가 포함되는 범위에서 카메라(100)의 응시 방향이 변경될 수 있다. 이 때, 카메라(100) 화각의 중심선 방향에 위치하는 가상 이미지(30a)가 확대되어 표시될 수 있다. 도 8에서 카메라(100) 화각의 중심선 방향에 Movie 4의 가상 이미지가 위치하고, 따라서 Movie 4의 가상 이미지가 확대되어 표시(30a)된다. 이와 같이, 카메라(100)가 응시하는 방향에 위치하는 가상 이미지를 확대함으로써, 시각적인 효과를 증대시킬 수 있다.
또한, 제어부(600)는 카메라(100)의 응시 방향에 따라 확대된 가상 이미지(30a)에 대응하는 컨텐츠를 재생하도록 타겟 디바이스(10)를 제어할 수 있다.
도 9는 타겟 디바이스가 음향기기(20)인 경우를 도시한 것으로서, 제어부(600)는 사용자의 스와이프 제스처 입력에 대응하여, 식별된 음원과 관련된 다른 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(40)를 음향기기(20)의 이미지 주변에 표시하도록 디스플레이(310)를 제어할 수 있다. 또한, 카메라(100) 화각의 중심선 방향에 위치하는 Song6의 가상 이미지가 확대 표시(40a)될 수 있다. 이와 같이, 제어부(600)는 타겟 디바이스의 종류에 따라 가상 이미지가 다르게 생성하여 디스플레이(310)에 표시할 수 있다.
도 10 내지 도 16은 디스플레이에 표시되는 그래픽 사용자 인터페이스를 이용하여 타겟 디바이스를 제어하는 예시를 보여준다. 도 10 내지 도 16에서 타겟 디바이스는 TV(10)인 것으로 설명한다.
도 10을 참조하면, 제어부(600)는 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30) 중 어느 하나를 선택하는 사용자의 입력에 대응하여, 선택된 가상 컨텐츠 이미지(30s)에 대응하는 제1 컨텐츠를 출력하도록 타겟 디바이스(10)를 제어할 수 있다.
즉, 사용자가 가상 이미지(30) 중 A의 컨텐츠 정보를 포함하는 가상 이미지(30s)를 선택하면, 타겟 디바이스(10)는 A 컨텐츠를 재생한다. 적어도 하나의 가상 이미지(30)는 각각 서로 다른 컨텐츠 정보를 포함할 수 있고, A 및 Movie 2 내지 Movie 6은 동영상일 수 있다.
한편, 타겟 디바이스(10)가 A 컨텐츠를 출력하고 있는 경우, 제어부(600)는 A 컨텐츠와 연관된 다른 컨텐츠 정보를 포함하는 가상 이미지(32)를 표시하도록 디스플레이(310)를 제어할 수 있다. 즉, 타겟 디바이스(10)에서 재생되는 컨텐츠가 변경되면, 변경된 컨텐츠에 연관된 정보가 가상 이미지로 표시될 수 있다.
도 11은 사용자가 타겟 디바이스의 이미지(10)에 특정 제스처를 입력하여 타겟 디바이스를 제어하는 것을 설명한다. 구체적으로, 모바일 장치(1)의 카메라(100) 화각 내에 타겟 디바이스가 존재하여, 디스플레이(310)에 타겟 디바이스의 이미지(10)가 표시되고 있는 상태에서, 타겟 디바이스의 이미지(10)에 대한 사용자의 터치가 입력될 수 있다. 이 경우, 제어부(600)는 타겟 디바이스의 재생(Play/pause) 제어 신호를 생성하여 타겟 디바이스에 전송할 수 있다. 그에 따라 타겟 디바이스는 컨텐츠를 재생, 일시 정지 또는 정지(Stop)하게 된다.
또한, 타겟 디바이스의 이미지(10)에 대해 상하 드래그 제스처가 입력되면, 제어부(600)는 사용자의 입력에 대응하여, 타겟 디바이스의 볼륨 제어 신호를 생성하여 타겟 디바이스에 전송할 수 있다. 그에 따라 타겟 디바이스의 볼륨이 조절된다.
한편, 타겟 디바이스의 제어는 음성 명령을 통해서도 가능하다. 모바일 장치(1)의 카메라(100) 화각 내에 타겟 디바이스를 포함시킨 상태에서 마이크(220)를 통해 사용자의 음성 명령이 입력되면, 제어부(600)는 사용자의 음성 명령에 대응하여 타겟 디바이스를 제어하는 제어 신호를 생성하고, 제어 신호를 타겟 디바이스에 전송할 수 있다.
도 12는 타겟 디바이스의 디스플레이 영역을 분할하여 컨텐츠를 표시하는 것을 설명하기 위한 도면이다.
도 12를 참조하면, 제어부(600)는 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)를 추가 선택 및 이동시키는 사용자의 입력에 대응하여, 타겟 디바이스(10)의 디스플레이 영역을 제1 영역과 제2 영역으로 분할하고, 제1 컨텐츠(30p) 및 추가 선택된 가상 이미지에 대응하는 제2 컨텐츠(30s)를 각각 1 영역과 제2 영역에 표시하도록 타겟 디바이스(10)를 제어할 수 있다. 또한, 제어부(600)는 사용자의 입력에 대응하여, 제1 영역과 제2 영역의 위치를 변경하도록 타겟 디바이스(10)를 제어할 수 있다.
구체적으로, 타겟 디바이스의 디스플레이 영역에 제1 컨텐츠(30p)가 표시되고 있는 상태에서, 사용자가 제2 컨텐츠 정보를 포함하는 가상 이미지(30s)를 선택하여 모바일 장치(1)의 디스플레이(310)에 표시된 타겟 디바이스의 이미지(10)로 이동시키는 제스처를 입력한 경우, 타겟 디바이스는 제1 컨텐츠와 제2 컨텐츠를 모두 출력하도록 제어될 수 있다.
즉, 제어부(60)는 사용자의 입력에 대응하여, 타겟 디바이스의 디스플레이 영역을 복수 개로 분할하고, 분할된 복수의 영역에 복수의 컨텐츠를 동시에 표시할 수 있다.
반대로, 타겟 디바이스에 제1 컨텐츠와 제2 컨텐츠가 모두 표시되고 있는 상태에서, 타겟 디바이스의 이미지(10)에 포함된 제2 컨텐츠 표시 영역을 선택하여 타겟 디바이스의 이미지(10) 밖으로 이동시키는 사용자의 제스처가 입력되면, 제2 컨텐츠에 대응하는 가상 이미지(30s)가 타겟 디바이스의 이미지(10) 영역 밖에서 다시 표시될 수 있다. 이 때, 타겟 디바이스는 제1 컨텐츠를 재생하게 된다.
또한, 제어부(600)는 타겟 디바이스 이미지(10)의 제1 영역 또는 제2 영역에 대한 사용자의 줌(Zoom) 입력에 대응하여, 제1 영역의 크기 및 제2 영역의 크기를 조절하도록 타겟 디바이스를 제어할 수 있다. 예를 들면, 사용자가 디스플레이(310)에 표시된 타겟 디바이스의 이미지(10)에 대해, 제1 컨텐츠가 표시되고 있는 제1 영역을 줌인(zoon-in)하는 제스처를 입력한 경우, 제어부(600)는 타겟 디바이스의 디스플레이 영역 중 제1 컨텐츠가 재생되고 있는 영역을 확대하는 제어 신호를 생성하여 타겟 디바이스에 전송할 수 있다. 그에 따라 타겟 디바이스는 제1 컨텐츠 표시 영역을 확대하고, 제2 컨텐츠 표시 영역을 축소하여 표시할 수 있다.
도 13을 참조하면, 제어부(600)는 디스플레이(310) 상에 플레이 리스트 영역(30L)을 표시할 수 있다. 제어부(600)는 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30) 중 어느 하나를 선택하여 플레이 리스트 영역(30L)로 이동시키는 사용자의 제스처 입력에 대응하여, 선택된 가상 이미지(30s)를 플레이 리스트 영역(30L)으로 이동시켜 표시하도록 디스플레이(310)를 제어할 수 있다.
가상 이미지(30)가 추가 선택되어 플레이 리스트 영역(30L)으로 옮겨지는 경우, 제어부(600)는 플레이 리스트 영역(30L)에 포함된 복수의 가상 이미지의 일부 영역을 중첩시켜 표시하도록 디스플레이(310)를 제어할 수 있다.
도 14를 참조하면, 제어부(600)는 플레이 리스트 영역(30L)에 대한 사용자의 스와이프 제스처 입력에 대응하여, 타겟 디바이스에서 재생되는 컨텐츠가 변경되도록 타겟 디바이스를 제어할 수 있다. 예를 들면, 타겟 디바이스가 A 컨텐츠를 재생하고 있는 상태에서, 플레이 리스트 영역(30L)에 대한 스와이프 제스처가 입력되면, 제어부(600)는 다음 재생 순서로 설정되어 있는 B 컨텐츠를 재생하는 제어 신호를 생성하여 타겟 디바이스로 전송할 수 있다. 그에 따라 타겟 디바이스는 B컨텐츠를 재생하게 된다. 이 때, 모바일 장치(1)의 디스플레이(31)에 표시되는 플레이 리스트 영역(30L)에는 그 다음 재생 순서를 갖는 C 컨텐츠 정보가 표시된다.
도 15를 참조하면, 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30) 중 어느 하나를 선택하는 사용자의 입력이 있는 경우, 제어부(600)는 선택된 가상 이미지(30s)의 크기를 확대하고, 선택되지 않은 가상 이미지들을 모바일 장치(1)의 디스플레이(310) 영역 밖으로 밀어내는 모션을 표시하도록 디스플레이(310)를 제어할 수 있다. 이와 같은 시각적 효과를 통해, 사용자는 선택한 가상 이미지를 쉽게 확인할 수 있다.
도 16을 참조하면, 제어부(600)는 디스플레이(310)에 표시되는 타겟 디바이스의 이미지(10)에 대한 사용자의 입력에 대응하여, 타겟 디바이스의 디스플레이에 표시되고 있는 화면에 대한 스크린샷(Screenshot)을 생성할 수 있다. 구체적으로, 타겟 디바이스의 이미지(10)를 연속으로 두 번 터치하는 사용자의 입력에 대응하여, 제어부(600)는 타겟 디바이스의 디스플레이에 표시되고 있는 화면을 순간적으로 포착(capture)하고, 포착한 화면을 저장부(500)에 저장할 수 있다.
또한, 타겟 디바이스의 디스플레이에 표시되고 있는 화면에 대한 스크린샷이 생성된 경우, 제어부(600)는 타겟 디바이스의 이미지(10) 영역과 다른 영역에 스크린샷 이미지(60)를 표시하도록 디스플레이(310)를 제어할 수 있다.
그리고 제어부(600)는 스크린샷 이미지 영역(60)에 대한 사용자의 터치 입력에 대응하여, 저장부(500)에 저장된 스크린샷 이미지의 목록을 포함하는 화면이 표시되도록 디스플레이(310)를 제어할 수 있다.
도 17 내지 도 20은 모바일 장치의 움직임에 따라 디스플레이에 표시되는 화면이 전환되는 것을 설명하기 위한 도면이다.
도 17을 참조하면, 제어부(600)는 모바일 장치(1)를 틸팅(tilting) 하는 사용자의 입력에 대응하여, 타겟 디바이스에서 재생 중인 컨텐츠 내에 포함된 객체와 관련된 정보의 상세 내용을 제공하는 화면을 표시하도록 디스플레이(310)를 제어할 수 있다.
구체적으로, 모바일 장치(1)의 디스플레이(310)에 타겟 디바이스의 이미지(10)와 함께 타겟 디바이스에서 재생 중인 컨텐츠 내에 포함된 객체에 대한 요약 정보를 포함하는 가상 이미지(12)가 표시된 상태에서, 모바일 장치(1)를 아래 방향으로 틸팅하는 움직임이 사용자 인터페이스부(210)에 의해 검출된 경우, 제어부(600)는 타겟 디바이스에서 재생 중인 컨텐츠 내에 포함된 객체에 대한 상세 정보가 포함된 화면을 표시하도록 디스플레이(310)를 제어할 수 있다.
모바일 장치(1)를 아래 방향으로 틸팅하게 되면, 타겟 디바이스는 카메라(100)의 화각에서 벗어나게 되므로, 제어부(600)는 디스플레이(310)에 표시되는 화면을 전환시켜 객체에 대한 상세 정보가 포함된 화면을 표시할 수 있다.
또한, 객체에 대한 상세 정보를 표시하는 상세 정보 표시 영역(12d)과 타겟 디바이스에 대한 컨트롤 메뉴를 표시하는 컨트롤 메뉴 표시 영역(50)이 함께 디스플레이(310) 상에 표시될 수 있다.
타겟 디바이스에 대한 컨트롤 메뉴에는 타겟 디바이스에서 재생 중인 컨텐츠의 썸네일, 컨텐츠 타이틀, 이전 버튼, 다음 버튼, 재생/일시정지 버튼이 포함될 수 있다.
도 18을 참조하면, 컨트롤 메뉴 표시 영역(50)에 대한 사용자의 터치 입력이 있는 경우, 제어부(600)는 컨트롤 메뉴에 포함된 UI 엘리먼트들(52, 53, 54, 55)이 확장되어 표시(51)되도록 디스플레이(310)를 제어할 수 있다.
도 19를 참조하면, 제어부(600)는 모바일 장치(1)를 틸팅(tilting) 하는 사용자의 입력에 대응하여, 적어도 하나의 가상 이미지 각각에 대응하는 컨텐츠의 정보를 목록으로 제공하는 화면을 표시하도록 디스플레이(310)를 제어할 수 있다.
구체적으로, 모바일 장치(1)의 디스플레이(310)에 타겟 디바이스의 이미지(10)와 함께 연관 컨텐츠 정보를 포함하는 적어도 하나의 가상 이미지(30)가 표시된 상태에서, 모바일 장치(1)를 아래 방향으로 틸팅하는 움직임이 사용자 인터페이스부(210)에 의해 검출된 경우, 제어부(600)는 적어도 하나의 가상 이미지 각각에 포함된 컨텐츠 정보를 목록(30)으로 제공하는 화면을 디스플레이(310)에 표시할 수 있다.
또한, 컨텐츠 정보를 목록으로 표시하는 컨텐츠 목록 표시 영역(33)과 타겟 디바이스에 대한 컨트롤 메뉴를 표시하는 컨트롤 메뉴 표시 영역(50)이 함께 디스플레이(310) 상에 표시될 수 있다.
도 20을 참조하면, 타겟 디바이스가 음향기기(20)인 경우에도, 모바일 장치(1)의 틸팅 움직임에 대응하여 디스플레이(310)에 표시되는 화면이 전환될 수 있다.
구체적으로, 모바일 장치(1)의 디스플레이(310)에 음향기기의 이미지(20)와 음향기기(20)에서 재생 중인 음원에 대한 요약 정보를 포함하는 가상 이미지(12)가 표시된 상태에서, 모바일 장치(1)를 아래 방향으로 틸팅하는 움직임이 사용자 인터페이스부(210)에 의해 검출된 경우, 제어부(600)는 음향기기(20)에서 재생 중인 음원에 대한 상세 정보가 포함된 화면을 표시하도록 디스플레이(310)를 제어할 수 있다.
또한, 음원의 제목, 가사 등을 포함하는 상세 정보 표시 영역(22d)과 타겟 디바이스에 대한 컨트롤 메뉴를 표시하는 컨트롤 메뉴 표시 영역(50)이 함께 디스플레이(310) 상에 표시될 수 있다.
도 21은 일 실시예에 따른 모바일 장치를 통해 복수의 디바이스가 연계 제어되는 방법을 설명하기 위한 도면이다.
도 21을 참조하면, 제어부(600)는 사용자의 입력에 대응하여, 복수의 타겟 디바이스를 연계 제어할 수 있다. 구체적으로, 카메라(100)가 음향기기(20)를 촬영하는 동안, 음향기기(20)의 이미지와 음향기기(20)의 이미지 주변에 컨텐츠 정보를 포함하는 복수의 가상 이미지(40)가 디스플레이(310)에 표시된다. 사용자가 복수의 가상 이미지(40) 중 어느 하나(Song6)를 선택하고, 동시에 모바일 장치(1)를 움직여 카메라(100)의 응시 방향을 TV(10)로 옮기면서, 디스플레이(310)에 표시되는 TV(10)의 이미지에 선택한 가상 이미지(Song6)를 옮길 수 있다. 그에 따라, TV(10)는 Song6을 재생하게 된다.
한편, TV(10)에서 재생되는 컨텐츠와 관련된 연관 컨텐츠 정보를 포함하는 가상 이미지를 음향기기(20)의 이미지로 옮기게 되는 경우, 음향기기(20)는 해당 연관 컨텐츠에 포함된 오디오 신호를 출력한다.
이와 같이, 본 발명은 복수의 디바이스를 등록하고, 카메라의 시야 또는 화각(FOV)의 이동에 따라 복수의 디바이스를 동시에 또는 연계하여 제어할 수 있다.
도 22 및 도 23은 일 실시예에 따른 모바일 장치와 다른 모바일 장치 간의 컨텐츠 공유를 설명하기 위한 도면이다.
도 22를 참조하면, 모바일 장치(1)는 통신부(400)를 통해 타겟 디바이스와 구별되는 제1 외부 디바이스를 연결할 수 있다. 제어부(600)는 디스플레이(310)에 표시되는 화면에 대한 공유를 요청하는 사용자의 입력에 대응하여, 디스플레이(310)에 표시되는 화면을 제1 외부 디바이스로 전송하도록 통신부(400)를 제어할 수 있다.
설명의 편의를 위해, 모바일 장치(1)는 제1 모바일 장치(1), 제1 외부 디바이스는 제2 모바일 장치(2)로 호칭한다. 도 22에서, 제1 모바일 장치(1)는 TV(10)를 촬영하고, TV(10)에서 재생되고 있는 컨텐츠 내의 객체(A)를 식별하여 식별 마커(11) 및 객체(A)와 관련된 부가 정보를 포함하는 가상 이미지(12)를 디스플레이(310)에 표시하고 있다. 또한, 제어부(600)는 공유(share) 아이콘(80)을 함께 디스플레이(310)에 표시할 수 있다.
제어부(600)는 공유(share) 아이콘(80)에 대한 사용자의 터치 입력에 대응하여, 모바일 장치(1)의 디스플레이(310)에 표시되는 화면을 제1 모바일 장치(2)에 전송할 수 있다. 그에 따라 제2 모바일 장치(2)는 제1 모바일 장치(1)와 동일한 화면을 출력한다.
도 23을 참조하면, 제1 모바일 장치(1), 제2 모바일 장치(2) 및 타겟 디바이스(TV)(10)이 연결된다. 제1 모바일 장치(1)는 저장부(500)에 저장된 컨텐츠 정보를 제2 모바일 장치(2)와 타겟 디바이스(10)에 전송할 수 있고, 제2 모바일 장치(2) 또한 저장부에 저장된 컨텐츠 정보를 제1 모바일 장치(1)와 타겟 디바이스(10)에 전송할 수 있다.
그에 따라, 제1 모바일 장치(1)는 저장부(500)에 저장된 컨텐츠 정보(70)와 제2 모바일 장치(2) 저장된 컨텐츠 정보(71)를 디스플레이(310)에 표시할 수 있다. 제2 모바일 장치(2) 또한 저장하고 있는 컨텐츠 정보(70)과 제1 모바일 장치(1)에 저장된 컨텐츠 정보(71)를 표시할 수 있다. 타겟 디바이스(10)는 제1 모바일 장치(1)와 제2 모바일 장치(2)에 저장되어 있는 컨텐츠 정보를 모두 표시할 수 있다.
따라서 복수의 사용자가 컨텐츠를 공유할 수 있고, 타겟 디바이스를 통해 공유된 컨텐츠를 재생할 수 있다.
도 24는 카메라를 통해 인식된 객체와 관련된 정보를 타겟 디바이스에 표시하는 다른 예시를 보여준다.
도 24를 참조하면, 모바일 장치(1)는 카메라(100)를 통해 인식된 객체에 관한 정보를 외부 서버(미도시)로부터 검색하고, 검색 정보(90)를 디스플레이(310)에 표시할 수 있다. 또한, 모바일 장치(1)는 디스플레이(310)에 표시된 객체에 관한 검색 정보(90)를 타겟 디바이스(10)가 표시하도록 타겟 디바이스(10)를 제어할 수 있다.
상술한 바와 같이, 일 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 카메라의 시야 또는 화각(FOV) 내에 있는 타겟 디바이스에서 재생되는 컨텐츠 및 컨텐츠 내의 객체를 인식하고, 컨텐츠 내의 객체와 관련된 정보 제공 및 타겟 디바이스 제어를 위한 그래픽 사용자 인터페이스(GUI)를 디스플레이에 함께 표시할 수 있다. 따라서 사용자는 보다 직관적인 방식으로 정보를 획득할 수 있고, 타겟 디바이스를 보다 쉽게 제어할 수 있다.
또한, 일 측면에 따른 모바일 장치 및 모바일 장치의 제어 방법에 의하면, 복수의 디바이스를 등록하고, 카메라의 시야 또는 화각(FOV)의 이동에 따라 복수의 디바이스를 동시에 또는 연계하여 제어할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 게시된 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 게시된 실시예의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되지 않아야 한다.

Claims (15)

  1. 디스플레이;
    타겟 디바이스를 촬영하는 카메라;
    사용자의 입력을 수신하는 사용자 인터페이스부; 및
    상기 사용자의 입력에 대응하여, 상기 카메라에 의해 촬영된 상기 타겟 디바이스의 이미지 및 상기 타겟 디바이스가 재생 중인 컨텐츠에 포함된 객체와 관련된 정보를 함께 표시하도록 상기 디스플레이를 제어하는 제어부; 를 포함하는 모바일 장치.
  2. 상기 제어부는
    상기 카메라의 화각(FOV) 내에 있는 상기 타겟 디바이스의 이미지 주변에 상기 객체와 관련된 정보를 포함하는 적어도 하나의 가상 이미지를 표시하도록 상기 디스플레이를 제어하고,
    상기 타겟 디바이스의 이미지 및 상기 적어도 하나의 가상 이미지 중 적어도 하나에 대한 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스를 제어하는 모바일 장치.
  3. 제2항에 있어서,
    상기 제어부는
    상기 카메라 화각(FOV)의 중심선의 이동 방향에 위치하는 상기 가상 이미지를 확대 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  4. 제2항에 있어서,
    상기 제어부는
    상기 적어도 하나의 가상 이미지 중 어느 하나를 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 선택된 상기 가상 이미지에 대응하는 제1 컨텐츠를 상기 타겟 디바이스가 출력하도록 상기 타겟 디바이스를 제어하는 모바일 장치.
  5. 제4항에 있어서,
    상기 제어부는
    상기 가상 이미지를 추가 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스의 출력 영역을 제1 영역과 제2 영역으로 분할하고, 상기 제1 컨텐츠 및 추가 선택된 상기 가상 이미지에 대응하는 제2 컨텐츠를 각각 상기 제1 영역과 상기 제2 영역에서 출력하도록 상기 타겟 디바이스를 제어하는 모바일 장치.
  6. 제5항에 있어서,
    상기 제어부는
    상기 타겟 디바이스의 상기 제1 영역 또는 상기 제2 영역에 대한 줌(Zoom) 입력에 대응하여, 상기 제1 영역의 크기 및 상기 제2 영역의 크기를 조절하도록 상기 타겟 디바이스를 제어하는 모바일 장치.
  7. 제1항에 있어서,
    상기 제어부는
    모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 객체와 관련된 정보의 상세 내용을 제공하는 화면을 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  8. 제2항에 있어서,
    상기 제어부는
    모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 적어도 하나의 가상 이미지 각각에 대응하는 컨텐츠의 정보를 목록으로 제공하는 화면을 표시하도록 상기 디스플레이를 제어하는 모바일 장치.
  9. 카메라를 이용하여 타겟 디바이스를 촬영하는 단계;
    사용자의 입력에 대응하여, 촬영된 상기 타겟 디바이스가 재생 중인 컨텐츠에 포함된 객체를 식별하는 단계; 및
    촬영된 상기 타겟 디바이스의 이미지 및 상기 식별된 객체와 관련된 정보를 함께 디스플레이에 표시하는 단계;를 포함하는 모바일 장치의 제어 방법.
  10. 제9에 있어서,
    상기 디스플레이에 표시하는 단계는
    상기 타겟 디바이스의 이미지 주변에 상기 객체와 관련된 정보를 포함하는 적어도 하나의 가상 이미지를 상기 디스플레이에 표시하는 단계; 및
    상기 타겟 디바이스의 이미지 및 상기 적어도 하나의 가상 이미지 중 적어도 하나에 대한 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스를 제어하는 단계;를 포함하는 모바일 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 적어도 하나의 가상 이미지를 상기 디스플레이에 표시하는 단계는
    상기 카메라 화각(FOV)의 중심선의 이동 방향에 위치하는 상기 가상 이미지를 확대 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  12. 제10항에 있어서,
    상기 타겟 디바이스를 제어하는 단계는
    상기 적어도 하나의 가상 이미지 중 어느 하나를 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 선택된 상기 가상 이미지에 대응하는 제1 컨텐츠를 상기 타겟 디바이스가 출력하도록 상기 타겟 디바이스를 제어하는 단계;를 포함하는 모바일 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 타겟 디바이스를 제어하는 단계는
    상기 가상 이미지를 추가 선택 및 이동시키는 상기 사용자의 입력에 대응하여, 상기 타겟 디바이스의 출력 영역을 제1 영역과 제2 영역으로 분할하고, 상기 제1 컨텐츠 및 추가 선택된 상기 가상 이미지에 대응하는 제2 컨텐츠를 각각 상기 제1 영역과 상기 제2 영역에서 출력하도록 상기 타겟 디바이스를 제어하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  14. 제9항에 있어서,
    모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 객체와 관련된 정보의 상세 내용을 제공하는 화면을 상기 디스플레이에 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
  15. 제10항에 있어서,
    모바일 장치를 틸팅(tilting) 하는 상기 사용자의 입력에 대응하여, 상기 적어도 하나의 가상 이미지 각각에 대응하는 컨텐츠의 정보를 목록으로 제공하는 화면을 상기 디스플레이에 표시하는 단계;를 더 포함하는 모바일 장치의 제어 방법.
PCT/KR2019/001941 2018-10-12 2019-02-19 모바일 장치 및 모바일 장치의 제어 방법 WO2020075926A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19870260.7A EP3848785B1 (en) 2018-10-12 2019-02-19 Mobile device and method for controlling mobile device
US17/284,566 US11620824B2 (en) 2018-10-12 2019-02-19 Mobile apparatus and control method thereof to control an object displayed on a target device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0121739 2018-10-12
KR1020180121739A KR102620363B1 (ko) 2018-10-12 2018-10-12 모바일 장치 및 모바일 장치의 제어 방법

Publications (1)

Publication Number Publication Date
WO2020075926A1 true WO2020075926A1 (ko) 2020-04-16

Family

ID=70163975

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/001941 WO2020075926A1 (ko) 2018-10-12 2019-02-19 모바일 장치 및 모바일 장치의 제어 방법

Country Status (4)

Country Link
US (1) US11620824B2 (ko)
EP (1) EP3848785B1 (ko)
KR (1) KR102620363B1 (ko)
WO (1) WO2020075926A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240054690A1 (en) * 2022-08-15 2024-02-15 Disney Enterprises, Inc. User Responsive Augmented Reality Enhancement of Moving Images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
KR20110133295A (ko) * 2010-06-04 2011-12-12 엘지전자 주식회사 휴대 단말기 및 그 동작방법
KR20120076541A (ko) * 2010-11-30 2012-07-09 안명호 증강 현실 코드를 이용한 광고 방법 및 그 시스템
KR20160086717A (ko) * 2015-01-12 2016-07-20 삼성전자주식회사 모바일 디바이스를 구부리는 사용자 입력에 따라 기설정된 서비스를 제공하는 방법 및 모바일 디바이스
KR20170092632A (ko) * 2014-12-04 2017-08-11 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 혼합 현실 시각화 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101612957B1 (ko) 2009-09-11 2016-04-26 엘지전자 주식회사 원격 제어 장치 및 방법
KR101722784B1 (ko) 2010-09-10 2017-04-04 주식회사 엘지유플러스 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기
US10180715B2 (en) * 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
KR20140077015A (ko) * 2012-12-13 2014-06-23 삼성전자주식회사 디스플레이 장치, 원격 제어 장치 및 그들의 사용자 인터페이스 제공 방법
US10126839B2 (en) * 2013-07-24 2018-11-13 Innoventions, Inc. Motion-based view scrolling with augmented tilt control
US20170201808A1 (en) * 2016-01-09 2017-07-13 Globalive Xmg Jv Inc. System and method of broadcast ar layer
US10110678B2 (en) 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
KR20180034116A (ko) 2016-09-27 2018-04-04 삼성전자주식회사 증강 현실 영상을 제공하는 방법, 디바이스 및 기록매체
US10043406B1 (en) * 2017-03-10 2018-08-07 Intel Corporation Augmented emotion display for austistic persons
US10453263B2 (en) * 2018-02-27 2019-10-22 Verizon Patent And Licensing Inc. Methods and systems for displaying augmented reality content associated with a media content instance
US10725629B2 (en) * 2018-06-25 2020-07-28 Google Llc Identifying and controlling smart devices
US11087538B2 (en) * 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
KR20110133295A (ko) * 2010-06-04 2011-12-12 엘지전자 주식회사 휴대 단말기 및 그 동작방법
KR20120076541A (ko) * 2010-11-30 2012-07-09 안명호 증강 현실 코드를 이용한 광고 방법 및 그 시스템
KR20170092632A (ko) * 2014-12-04 2017-08-11 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 혼합 현실 시각화 및 방법
KR20160086717A (ko) * 2015-01-12 2016-07-20 삼성전자주식회사 모바일 디바이스를 구부리는 사용자 입력에 따라 기설정된 서비스를 제공하는 방법 및 모바일 디바이스

Also Published As

Publication number Publication date
KR102620363B1 (ko) 2024-01-04
EP3848785A4 (en) 2021-11-17
EP3848785A1 (en) 2021-07-14
KR20200041554A (ko) 2020-04-22
US11620824B2 (en) 2023-04-04
EP3848785C0 (en) 2023-09-06
EP3848785B1 (en) 2023-09-06
US20210342590A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
WO2011078540A2 (en) Mobile device and related control method for external output depending on user interaction based on image sensing module
WO2014182112A1 (en) Display apparatus and control method thereof
WO2010143843A2 (ko) 컨텐츠 브로드캐스트 방법 및 이를 적용한 디바이스
WO2016028042A1 (en) Method of providing visual sound image and electronic device implementing the same
WO2015186964A1 (ko) 촬영 장치 및 촬영 장치의 비디오 생성방법
WO2015178677A1 (en) User terminal device, method for controlling user terminal device, and multimedia system thereof
WO2018048178A1 (en) Display device
WO2018080180A1 (en) System and method for providing augmented reality service associated with broadcasting
WO2017188585A1 (en) Display device and method of operating the same
WO2014182140A1 (en) Display apparatus and method of providing a user interface thereof
WO2018080165A1 (en) Image display apparatus, mobile device, and methods of operating the same
WO2015182935A1 (en) Method of controlling display device and remote controller thereof
WO2020054978A1 (ko) 이미지 생성 장치 및 그 방법
WO2014107025A1 (en) Method and apparatus for controlling contents in electronic device
WO2016080662A1 (ko) 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
WO2014182111A1 (en) Remote control device, display apparatus, and method for controlling the remote control device and the display apparatus thereof
WO2021080290A1 (en) Electronic apparatus and control method thereof
WO2018056587A1 (en) Electronic apparatus and controlling method thereof
WO2020075926A1 (ko) 모바일 장치 및 모바일 장치의 제어 방법
WO2016122153A1 (en) Display apparatus and control method thereof
WO2020242064A1 (ko) 모바일 장치 및 모바일 장치의 제어 방법
WO2020171342A1 (ko) 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
WO2017039250A1 (en) Video communication device and operation thereof
WO2020075925A1 (ko) 모바일 장치 및 모바일 장치의 제어 방법
WO2014129683A1 (ko) 원격 포인팅 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19870260

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019870260

Country of ref document: EP

Effective date: 20210406

NENP Non-entry into the national phase

Ref country code: DE