WO2012033238A1 - 이동 단말기 및 그 제어방법 - Google Patents

이동 단말기 및 그 제어방법 Download PDF

Info

Publication number
WO2012033238A1
WO2012033238A1 PCT/KR2010/006069 KR2010006069W WO2012033238A1 WO 2012033238 A1 WO2012033238 A1 WO 2012033238A1 KR 2010006069 W KR2010006069 W KR 2010006069W WO 2012033238 A1 WO2012033238 A1 WO 2012033238A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
mobile terminal
camera
display
Prior art date
Application number
PCT/KR2010/006069
Other languages
English (en)
French (fr)
Inventor
박승용
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2010/006069 priority Critical patent/WO2012033238A1/ko
Publication of WO2012033238A1 publication Critical patent/WO2012033238A1/ko

Links

Images

Classifications

    • H04W4/043—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications

Definitions

  • the present invention relates to a mobile terminal and a control method thereof, and more particularly, to display information related to an image included in an image captured by a camera so that the information is superimposed on the image so that the user can intuitively recognize the information. And a control method thereof.
  • Terminals such as personal computers, laptops, mobile phones, etc.
  • multimedia devices having complex functions such as taking pictures or videos, playing music or video files, playing games, and receiving broadcasts. It is implemented in the form of (Multimedia player).
  • Terminal can move It may be divided into a mobile terminal and a stationary terminal, depending on whether it is present.
  • the mobile terminal may be further classified into a handheld terminal and a vehicle mount terminal according to whether a user can directly carry it.
  • the present invention relates to a mobile terminal capable of intuitively recognizing information by displaying information associated with an image included in an image captured by a camera so as to overlap the image, and a control method thereof.
  • Mobile terminal for realizing the above object, a display; A camera for taking an image; And a controller configured to obtain information related to at least one image included in the image photographed by the camera, and display the information on the display to overlap the image.
  • the controller may acquire location information of the at least one image, and the associated information may be a history of use of the mobile terminal at a location corresponding to the acquired location information.
  • the usage history may be at least one of call information at a location corresponding to the acquired location information, text message transmission / reception information, email transmission / reception information, and uploading information to a social network service.
  • the apparatus may further include a wireless communication unit, and the control unit may obtain the associated information from a social network service (SNS) server using the wireless communication unit.
  • SNS social network service
  • the controller may acquire location information of the at least one image and obtain the associated information from the social network service server based on the obtained location information.
  • the apparatus may further include a wireless communication unit, wherein the associated information is detailed information about the at least one image, and the control unit may transmit the image to which the associated information is superimposed using the wireless communication unit.
  • the at least one image is a building image
  • the detailed information may be at least one of information on a structure of the building, information on a use of the building, and information on a building record of the building.
  • the associated information is traffic information for guiding a moving route of the mobile terminal, and the control unit displays the traffic information superimposed on the image, but in a call state using a mobile communication module of the mobile terminal.
  • the traffic information may be output through at least one of a sound output module and a haptic module of the mobile terminal.
  • the apparatus may further include a memory configured to store at least one of the obtained information, the captured image, and an image in which the obtained information is overlapped.
  • a mobile terminal for realizing the above object, a wireless communication unit; display; A camera for taking an image; And a controller configured to obtain information associated with at least one image included in the image photographed by the camera, from the at least one social network service server through the wireless communication unit, and display the overlapped image on the display. .
  • the controller may acquire location information of the at least one image and obtain the associated information from the social network service server based on the obtained location information.
  • the controller may acquire location information of the at least one image, and the associated information may be a history of use of the mobile terminal at a location corresponding to the acquired location information.
  • the usage history may be at least one of call information at a location corresponding to the acquired location information, text message transmission / reception information, email transmission / reception information, and uploading information to a social network service.
  • a control method of a mobile terminal for realizing the above object, the step of taking an image with a camera; Obtaining location information of a specific image included in the captured image; Acquiring association information of the specific image based on the acquired position information; And displaying the related information obtained at all times so as to overlap the photographed image.
  • the association information may be a history of use of the mobile terminal at a location corresponding to the acquired location information.
  • the usage history may be at least one of call information at a location corresponding to the acquired location information, text message transmission / reception information, email transmission / reception information, and uploading information to a social network service.
  • the association information may be obtained from a social network service (SNS) server.
  • SNS social network service
  • the mobile terminal and a control method thereof according to the present invention can effectively transmit information by displaying information associated with a specific image included in the captured image so as to overlap the captured image.
  • FIG. 1 is a block diagram of a mobile terminal according to an embodiment of the present invention.
  • FIG. 2 and 3 are front and rear perspective views of the mobile terminal of FIG.
  • FIG. 4 is a flowchart illustrating the operation of the mobile terminal of FIG. 1.
  • 5 is a diagram illustrating the operation of four mobile terminals.
  • FIG. 6 is a signal flow diagram illustrating the operation of the mobile terminal of FIG. 4.
  • FIG. 7 is a diagram illustrating the operation of the mobile terminal of FIG. 4.
  • FIG. 8 is a diagram illustrating location information acquired by the mobile terminal of FIG. 4.
  • FIG. 9 is a diagram illustrating a process of acquiring information about a specific image by the mobile terminal of FIG. 4.
  • FIG. 12 is a diagram illustrating the operation of a mobile terminal according to another embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an operation of a mobile terminal according to another embodiment of the present invention.
  • FIG. 14 is a diagram illustrating the operation of a mobile terminal according to another embodiment of the present invention.
  • the mobile terminal described herein may include a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), navigation, and the like.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • the configuration according to the embodiments described herein may also be applied to fixed terminals such as digital TVs, desktop computers, etc., except when applicable only to mobile terminals.
  • FIG. 1 is a block diagram of a mobile terminal according to an embodiment of the present invention.
  • the mobile terminal 100 includes a wireless communication unit 20, a camera 30, a power supply unit 40, a control unit 50, an output unit 60, and an input unit ( 70 and a memory 80.
  • the wireless communication unit 20 may include one or more modules that enable wireless communication between the mobile terminal 100 and the wireless communication system or between the mobile terminal 100 and a network in which the mobile terminal 100 is located.
  • the wireless communication unit 20 may include a mobile communication module 21 and a short range communication module 23, and may further include a wireless internet module and a location information module, although not shown in detail. .
  • the mobile communication module 21 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the short range communication module 23 refers to a module for short range communication.
  • Bluetooth Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like may be used.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the camera 30 processes image frames such as still images or moving images obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the output unit 60.
  • the image frame processed by the camera 30 may be stored in a memory or transmitted to the outside through the wireless communication unit 20.
  • Two or more cameras 30 may be provided according to the configuration aspect of the terminal.
  • the first camera 31 of FIG. 2 provided on the front side of the mobile terminal 100 and the second camera 32 of FIG. 3 provided on the rear side of the mobile terminal 100 may be included.
  • the first camera 31 of FIG. 2 may take a picture of the mobile terminal 100 itself during a video call
  • the second camera 32 of FIG. 3 may take a picture of an external image.
  • the second camera 32 (refer to FIG. 3) located at the rear of the mobile terminal 100 will be represented by the camera 30.
  • such display does not limit the camera 32 to a specific position.
  • the power supply unit 40 may receive external power and internal power by the control of the controller 50 to supply power required for the operation of each component.
  • the controller 50 controls the overall operation of the mobile terminal 100. For example, perform related control and processing for voice calls, data communications, video calls, and the like.
  • the controller 50 may include a multimedia module for playing multimedia.
  • the multimedia module may be implemented in the controller 50 or may be implemented separately from the controller 50.
  • the controller 50 may perform a pattern recognition process for recognizing a writing input or a drawing input performed on the touch screen as a character and an image, respectively.
  • the output unit 60 may output various types of information including the state of the mobile terminal 100 in various ways. For example, the output unit 60 may output information visually, acoustically, and tactilely.
  • the display unit 151 displays and outputs information processed by the mobile terminal 100. For example, when the mobile terminal is in a call mode, the mobile terminal displays a user interface (UI) or a graphic user interface (GUI) related to the call. When the mobile terminal 100 is in a video call mode or a photographing mode, the mobile terminal 100 displays a photographed and / or received image, UI, or GUI.
  • the display unit 151 may be a liquid crystal display, a thin film transistor liquid crystal display, an organic light emitting diode, a flexible display, or a 3D display. It may include at least one.
  • the sound output module 152 may output audio data received from the wireless communication unit 110 or stored in the memory unit 160 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output module 152 outputs a sound signal related to a function (for example, a call signal reception sound and a message reception sound) performed in the mobile terminal 100.
  • the sound output module 152 may include a receiver, a speaker, a buzzer, and the like.
  • the haptic module 154 generates various haptic effects that a user can feel. Vibration is a representative example of the haptic effect generated by the haptic module 154.
  • the intensity and pattern of vibration generated by the haptic module 154 can be controlled. For example, different vibrations may be synthesized and output or may be sequentially output.
  • the haptic module 154 may be used for the effects of stimulation by the arrangement of pins vertically moving with respect to the contact skin surface, the effect of the injection force of the air through the injection or inlet or the stimulation through the suction force, and the stimulation that rubs the skin surface.
  • Various tactile effects may be generated, such as effects by stimulation through contact of electrodes, effects by stimulation using electrostatic force, and effects of reproducing a sense of warmth and heat using an endothermic or heat generating element.
  • the haptic module 154 may not only deliver the haptic effect through direct contact, but also implement the haptic effect through the muscle sense of the user's finger or arm. Two or more haptic modules 154 may be provided according to a configuration aspect of the mobile terminal 100.
  • the input unit 70 may include a plurality of key buttons 70 of FIG. 2 that are operated to receive a command for controlling an operation of the mobile terminal 100.
  • the key button 70 of FIG. 2 may be collectively referred to as a manipulating portion, and may be employed in any manner as long as the user is tactile in a tactile manner. Content input by the key button 70 of FIG. 2 may be variously set.
  • the memory 80 may store a program for the operation of the controller 50, and may temporarily store input / output data (eg, a phone book, a message, a still image, a video, etc.).
  • the memory 80 may store data on vibration and sound of various patterns output when a touch is input on the touch screen.
  • the memory 80 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM (Random Access Memory, RAM), Static Random Access Memory (SRAM), ReadOnly Memory (ROM), Electrically Erasable Programmable ReadOnly Memory (EEPROM), Programmable ReadOnly Memory (PROM) magnetic memory, magnetic disk, optical disk It may include a storage medium of the type.
  • the mobile terminal 100 may operate in association with a web storage that performs a storage function of the memory 80 on the Internet.
  • FIG. 2 and 3 are front and rear perspective views of the mobile terminal of FIG.
  • the first and second bodies 11 and 12 may form an appearance of the mobile terminal 100.
  • the first and second bodies 11 and 12 may be formed by injection molding a plastic material or the like. Appearance of the mobile terminal 100 may be formed of one body as a whole, or two or more bodies may be assembled. However, for convenience of understanding, the front body of the mobile terminal 100 is distinguished from the first body 11 and the rear body of the mobile terminal 100 into the second body 12.
  • the first body 11 may be provided with a first display 61 and a first camera 31, and the second body 12 may be provided with a second camera 32.
  • FIG. 4 is a flowchart illustrating the operation of the mobile terminal of Figure 1
  • Figure 5 is a view showing the operation of the four mobile terminals.
  • the controller (50 in FIG. 1) of the mobile terminal 100 may include a step (S10) for activating the camera (32).
  • the camera 32 may be activated or deactivated by a user's manipulation or a control operation of the controller 50 of FIG. 1.
  • the controller 50 of FIG. 1 may enable the camera 32 to be activated or deactivated according to the sensing value of the posture detection sensor capable of detecting the posture of the mobile terminal 100.
  • the posture detection sensor may be configured of any one or two or more of an acceleration sensor, a gravity sensor, and a geomagnetic sensor.
  • the controller (50 of FIG. 1) may determine a direction in which the camera 32 is located in the mobile terminal 100. Can be. For example, it means that the controller (50 of FIG.
  • the controller 50 of FIG. 1 may deactivate the camera 32 to stop the shooting.
  • the controller (50 of FIG. 1) may activate the camera 32 to start shooting. Since the controller (50 of FIG. 1) can adjust the activation / deactivation of the camera 32 according to the posture sensed by the posture detection sensor, an optimized photography may be performed without a user's additional manipulation. Furthermore, by operating the camera 32 at the optimized moment, battery consumption can be minimized.
  • an operation S20 of obtaining an image from the activated camera 32 may be performed.
  • an image may be acquired from the camera 32. That is, the photographing using the camera 32 may be performed.
  • An image captured by the camera 32 may be displayed on the display 61.
  • the user activates the camera 32 toward the front, it means that an image acquired through the camera 32 may be displayed on the display 61 in real time. Therefore, when the user changes the orientation of the mobile terminal 100, the image captured by the camera 32 may be changed, and thus the image displayed on the display 61 may also be different.
  • the specific image OB included in the image may be selected by a user's selection or a control operation of the controller 50 of FIG. 1.
  • the user may touch a specific portion of the screen with a finger or the like. If an object exists in a specific part touched by the user, the object may be selected.
  • the controller 50 of FIG. 1 may select an object in the center of the screen as the specific image OB.
  • the current position of the mobile terminal 100 is acquired to acquire the location information of the selected specific image OB.
  • the process may proceed.
  • the controller of FIG. 1 (50 of FIG. 1) may obtain information such as a current position of the mobile terminal 100, a direction in which the camera 32 photographs, an angle of view of the camera 32, and the like.
  • the current location of the mobile terminal 100 may be obtained through a method in which a location information module embedded in the mobile terminal 100 receives a Global Navigation Satellite System (GNSS) signal.
  • GNSS can be classified into GPS, Galileo, GLONASS, COMPASS, IRNSS, QZSS, etc. according to the operating entity.
  • the direction photographed by the camera 32 may be obtained through the sensor unit of the mobile terminal 100.
  • a direction in which the camera 32 of the mobile terminal 100 is directed may be sensed using a geomagnetic sensor, an acceleration sensor, a gyro sensor, or the like.
  • the angle of view of the camera 32 may be determined at the production stage of the mobile terminal 100.
  • the controller may determine which object is included in the image currently being captured. For example, the prohibition arch is present at a point of 500 m in front of the current position, and considering the camera's angle of view, it is possible to obtain information indicating that the buildings on the left and right sides of the triumphal arch are displayed on the display 61. That is, it means that the position information of the specific image OB included in the image can be obtained.
  • the step S40 of obtaining information from the server based on the obtained location information may be performed.
  • the image captured by the camera 32 may include various objects.
  • a specific image may be selected by a user's selection operation or a control signal of the controller 50 of FIG. 1, and may obtain position information of the image OB through the above-described process.
  • information about a point, a building, and the like corresponding to the image OB may be obtained from the server S.
  • the information may be obtained from a social network service (SNS) server (S).
  • SNS social network service
  • the social network service may be a service for exchanging information with other users registered or not registered by a specific user and forming a network.
  • a first user can easily read text or pictures uploaded by a second user registered as a friend.
  • Social network services may include twitter, facebook, myspace, and me2DAY.
  • location information may be tagged. That is, information on a place where the second user uploaded text or a picture or a place where the second user wants to notify the first user may be tagged.
  • the information can be obtained from the social network service server S.
  • a user of another mobile terminal who first visited the Arc de Triomphe in Paris may upload an article about the Arc de Triomphe to the social network service server S together with its location information, and the user of the mobile terminal 100 may visit the Arc de Triomphe in Paris.
  • Photographing with the camera 32 means that the user can download the posts uploaded by the user of other mobile terminals 1000 and 2000 with respect to the triumphal arch.
  • the step S50 of displaying the obtained information on the image may be performed.
  • An image captured by the camera 32 may be displayed on the display 61 of the mobile terminal 100.
  • various information obtained from the social network service server S may be displayed.
  • the obtained various information may be expressed in the form of a pop-up window (P).
  • Augmented Reality (AR) technique may be applied when the acquired image is superimposed and displayed on the image captured by the camera 32. That is, it means that the obtained information can be displayed to be integrated with the image captured by the camera 32. In addition, when the photographing direction is changed, information may be displayed to correspond to the changed image.
  • AR Augmented Reality
  • FIG. 6 is a signal flow diagram illustrating the operation of the mobile terminal of FIG. 4.
  • the mobile terminal 100 can obtain and request information from the server S.
  • the controller (50 of FIG. 1) may request information (S42) from the server S using the wireless communication unit (20 of FIG. 1).
  • the server S which has received information from the mobile terminal 100, may search for information corresponding to a specific image OB in the database of the server S (S44).
  • the server S may be a server that provides a social network service. It may also be a server (S) containing information about various structures. For example, in the case where the specific image OB is a building, it means that the server S may hold the building internal structure and / or information of each floor.
  • the server S having searched for information corresponding to the specific image may transmit the searched information to the mobile terminal 100 (S46).
  • the mobile terminal 100 that has received the retrieved information may display the acquired information on the display 61.
  • FIG. 7 is a diagram illustrating an operation of the mobile terminal of FIG. 4, and FIG. 8 is a diagram illustrating location information acquired by the mobile terminal of FIG. 4.
  • the mobile terminal 100 may determine the current position through a method of receiving a GNSS signal.
  • the mobile terminal 100 may receive a signal from a plurality of satellites AO that transmit a GNSS signal.
  • the location information module of the mobile terminal 100 may calculate the absolute coordinates on the indicator by processing the received signal. Furthermore, the mobile terminal 100 can know the direction that the mobile terminal 100 is oriented using a geomagnetic sensor or the like.
  • Knowing the absolute coordinates and direction of the mobile terminal 100 it is possible to know the object being photographed through the camera (32). That is, as shown in FIG. 8, knowing the position and the direction of the mobile terminal 100 means that the specific image OB knows in which direction.
  • FIG. 9 is a diagram illustrating a process of acquiring information about a specific image by the mobile terminal of FIG. 4.
  • the mobile terminal 100 can acquire information corresponding to the selected specific image OB through various paths.
  • the user may select a specific image OB with the finger F or the like. For example, it may be possible to select through a touch operation of touching a specific image OB or drawing a closed curve to include the outline of the specific image OB.
  • control unit 50 of FIG. 1 displays the name of the specific image OB itself or the specific image OB, or the like in the server S or another terminal 200. Can be sent by
  • the server S may be a server S providing a social network service or a server S providing information on a building.
  • the server S may collect information as well as search for information. For example, when a user of the mobile terminal 100 or a user of another mobile terminal 200 writes and uploads a comment on a specific building, the server S stores the uploaded comment and requests another terminal. To users of.
  • the mobile terminal 100 can retrieve the history of the user of the mobile terminal 100 and display it on the display 151.
  • An image captured by the camera 32 of FIG. 8 may include a point where the user uploaded a comment in the past. For example, as shown in FIG. 10, there is a record that the user visited on March 15, 2010 in the first location L1 included in the image currently being photographed, and the user visited the second location L2. You may have a record of your visit on July 2, 2010. The record may be data in the past where the user has updated, photographed, made a call, texted, or emailed a social networking service at the location at the visit.
  • the controller 50 of FIG. 1 may search the memory 80 of the mobile terminal 100 or request a search from an external server S to obtain a record of a user.
  • the obtained record may be displayed in the form of the first and second pop-up windows P1 and P2 at the corresponding position.
  • the first and second pop-up windows P1 and P2 may be displayed on the image in augmented reality format. Therefore, when the user changes the orientation of the mobile terminal 100 to change the photographed image, the displayed contents may also vary.
  • past records of a user may be displayed on a map. That is, the current location of the mobile terminal 100 is displayed, and the point where the user operated the mobile terminal 100 in the past may be displayed on the map.
  • specific details may be displayed.
  • FIG. 12 is a diagram illustrating the operation of a mobile terminal according to another embodiment of the present invention.
  • the mobile terminal 100 may display traffic information on the display 151.
  • the controller 50 of FIG. 1 may recognize the fact. That is, as described above, based on the current position of the mobile terminal 100, it is possible to determine whether the object being photographed by the user.
  • the controller 50 of FIG. 1 may obtain traffic information of the road from the server S providing the traffic information.
  • the controller 50 of FIG. 1 may display the obtained traffic information on the currently displayed screen. For example, it means that the smoothness of the traffic flow can be expressed in color.
  • FIG. 13 is a diagram illustrating an operation of a mobile terminal according to another embodiment of the present invention.
  • the mobile terminal 100 may display detailed information of a building on the display 151.
  • the controller (50 of FIG. 1) When the user of the mobile terminal 100 photographs a specific building, the controller (50 of FIG. 1) sends information about the building to the server S or another mobile terminal 200 that can provide the building information. You can request The controller (50 of FIG. 1) may display the acquired building information on the display 151. In addition, when the user selects a specific floor, the controller 50 of FIG. 1 may further display more detailed information about the selected floor. For example, a floor plan of a selected floor, a name of a store located in the selected floor, a contact number, and the like may be displayed.
  • the controller 50 of FIG. 1 may transmit detailed building information to the other terminal 200. For example, when a user wants to guide a road to another user of the terminal 200, the user of the mobile terminal 100 may transmit a cross-sectional view of the acquired building to the other terminal 200.
  • FIG. 14 is a diagram illustrating the operation of a mobile terminal according to another embodiment of the present invention.
  • the mobile terminal 100 can proceed the route guidance based on the image being photographed.
  • the display 151 may display a route guidance to a destination so as to overlap the image being captured.
  • the road to the set destination may be displayed on the display 151 when the road roll is lit.
  • a call may come in the middle of the route guidance.
  • the user can pick up the mobile terminal 100 and proceed with the call.
  • the proximity sensor may detect this.
  • the controller 50 of FIG. 1 may cut off the power supplied to the display 151. This is because visual information provision through the display 151 may be meaningless in a state where the mobile terminal 100 approaches the ear.
  • the controller (50 of FIG. 1) of the mobile terminal 100 may continue to perform route guidance even in a call state in which the display 151 is turned off. That is, it means that through the sound output module (62 in Fig. 1) it can be audibly output announcements such as 'turn right at 50 meters ahead.'
  • the haptic module (63 of FIG. 1) may be operated to generate vibration. Therefore, the user can be continuously guided the route even during the call.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

이동 단말기 및 그 제어방법이 개시된다. 본 발명의 이동 단말기 및 그 제어방법은, 디스플레이; 영상을 촬영하는 카메라; 및 카메라로 촬영한 영상에 포함된 적어도 하나의 이미지에 연관된 정보를 획득하여, 디스플레이에 영상과 중첩되도록 표시하는 제어부를 포함하는 것을 특징으로 한다. 본 발명에 의하면, 카메라로 촬영된 영상에 포함된 이미지에 연관된 정보를, 그 영상에 중첩되도록 표시함으로써 사용자가 정보를 직관적으로 인식할 수 있다.

Description

이동 단말기 및 그 제어방법
본 발명은 이동 단말기 및 그 제어방법에 관한 것으로서, 보다 구체적으로는 카메라로 촬영된 영상에 포함된 이미지에 연관된 정보를, 그 영상에 중첩되도록 표시함으로써 사용자가 정보를 직관적으로 인식할 수 있는 이동 단말기 및 그 제어방법에 관한 것이다.
개인용 컴퓨터, 노트북, 휴대폰 등과 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
단말기는 이동 가능 여부에 따라 이동 단말기(mobile terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려되고 있다.
최근 이동 단말기를 포함한 다양한 단말기들은 복합적이고 다양한 기능들을 제공함에 따라 메뉴 구조 또한 복잡해지는 추세이다. 또한 이동 단말기로 웹페이지를 포함하는 각종 디지털문서를 디스플레이할 수 있는 기능이 추가되고 있다.
본 발명은 카메라로 촬영된 영상에 포함된 이미지에 연관된 정보를, 그 영상에 중첩되도록 표시함으로써 사용자가 정보를 직관적으로 인식할 수 있는 이동 단말기 및 그 제어방법에 관한 것이다.
상기한 과제를 실현하기 위한 본 발명의 일 실시예에 따른 이동 단말기는, 디스플레이; 영상을 촬영하는 카메라; 및 상기 카메라로 촬영한 영상에 포함된 적어도 하나의 이미지에 연관된 정보를 획득하여, 상기 디스플레이에 상기 영상과 중첩되도록 표시하는 제어부를 포함할 수 있다.
상기 제어부는, 상기 적어도 하나의 이미지의 위치정보를 획득하며, 상기 연관된 정보는, 상기 획득한 위치정보에 대응된 위치에서 상기 이동 단말기의 사용 이력일 수 있다.
상기 사용 이력은, 상기 획득한 위치정보에 대응된 위치에서의 통화 정보, 문자 메시지 송수신 정보, 이메일 송수신 정보, 소셜네트워크서비스에의 업로드 정보 중 적어도 어느 하나일 수 있다.
무선 통신부를 더 포함하며, 상기 제어부는, 상기 무선 통신부를 사용하여 상기 연관된 정보를 소셜네트워크서비스(SNS) 서버로부터 획득할 수 있다.
상기 제어부는, 상기 적어도 하나의 이미지의 위치정보를 획득하고, 상기 획득한 위치정보에 기반하여 상기 소셜네트워크서비스 서버로부터 상기 연관된 정보를 획득할 수 있다.
무선 통신부를 더 포함하며, 상기 연관된 정보는, 상기 적어도 하나의 이미지에 대한 상세 정보이고, 상기 제어부는, 상기 무선 통신부를 사용하여 상기 연관된 정보가 충첩된 상기 영상을 다른 단말기로 송신할 수 있다.
상기 적어도 하나의 이미지는, 건물 이미지이며, 상기 상세 정보는, 상기 건물의 구조에 관한 정보, 상기 건물의 용도에 관한 정보, 상기 건물의 건축기록에 관한 정보 중 적어도 어느 하나일 수 있다.
상기 연관된 정보는, 상기 이동 단말기의 이동 경로를 안내하는 교통 정보이고, 상기 제어부는, 상기 영상에 상기 교통 정보를 중첩하여 표시하되, 상기 이동 단말기의 이동 통신 모듈을 사용하는 콜(call) 상태에 진입하면, 상기 교통 정보를 상기 이동 단말기의 음향 출력 모듈, 햅틱 모듈 중 적어도 어느 하나를 통하여 출력할 수 있다.
상기 획득한 정보, 상기 촬영한 영상, 상기 획득한 정보가 중첩된 영상 중 적어도 어느 하나를 저장하는 메모리를 더 포함할 수 있다.
또한, 상기한 과제를 실현하기 위한 본 발명의 일 실시예에 따른 이동 단말기는, 무선 통신부; 디스플레이; 영상을 촬영하는 카메라; 및 상기 카메라로 촬영한 영상에 포함된 적어도 하나의 이미지와 연관된 정보를상기 무선 통신부를 통해 적어도 하나의 소셜네트워크서비스 서버로부터 획득하여, 상기 디스플레이에 상기 영상과 중첩되도록 표시하는 제어부를 포함할 수 있다.
상기 제어부는, 상기 적어도 하나의 이미지의 위치정보를 획득하고, 상기 획득한 위치정보에 기반하여 상기 소셜네트워크서비스 서버로부터 상기 연관된 정보를 획득할 수 있다.
상기 제어부는, 상기 적어도 하나의 이미지의 위치정보를 획득하며, 상기 연관된 정보는, 상기 획득한 위치정보에 대응된 위치에서 상기 이동 단말기의 사용 이력일 수 있다.
상기 사용 이력은, 상기 획득한 위치정보에 대응된 위치에서의 통화 정보, 문자 메시지 송수신 정보, 이메일 송수신 정보, 소셜네트워크서비스에의 업로드 정보 중 적어도 어느 하나일 수 있다.
또한, 상기한 과제를 실현하기 위한 본 발명의 일 실시예에 따른 이동 단말기의 제어방법은, 카메라로 영상을 촬영하는 단계; 상기 촬영한 영상에 포함된 특정 이미지의 위치정보를 획득하는 단계; 상기 획득한 위치정보에 기반하여 상기 특정 이미지의 연관 정보를 획득하는 단계; 및 상시 획득한 연관 정보를 상기 촬영한 영상에 중첩되도록 표시하는 단계를 포함할 수 있다.
상기 연관 정보는, 상기 획득한 위치정보에 대응된 위치에서 상기 이동 단말기의 사용 이력일 수 있다.
상기 사용 이력은, 상기 획득한 위치정보에 대응된 위치에서의 통화 정보, 문자 메시지 송수신 정보, 이메일 송수신 정보, 소셜네트워크서비스에의 업로드 정보 중 적어도 어느 하나일 수 있다.
상기 연관 정보는, 소셜네트워크서비스(SNS) 서버로부터 획득할 수 있다.
본 발명에 따른 이동 단말기 및 그 제어방법은, 촬영한 영상에 포함된 특정 이미지와 연관된 정보를 촬영한 영상에 중첩되도록 표시함으로써 정보의 전달을 효과적으로 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이동 단말기의 블록 구성도(block diagram)이다.
도 2 및 도 3은 도 1 이동 단말기의 전면 및 후면 사시도이다.
도 4는 도 1 이동 단말기의 작동을 도시한 플로우 챠트이다.
도 5는 4 이동 단말기의 동작을 도시한 도면이다.
도 6은 도 4 이동 단말기의 작동을 도시한 신호 흐름도이다.
도 7은 도 4 이동 단말기의 작동을 도시한 도면이다.
도 8은 도 4 이동 단말기가 획득한 위치 정보를 도시한 도면이다.
도 9는 도 4 이동 단말기가 특정 이미지에 대한 정보를 획득하는 과정을 도시한 도면이다.
도 10 및 도 11은 본 발명의 다른 실시예에 따른 이동 단말기의 작동을 도시한 도면이다.
도 12는 본 발명의 또 다른 실시예에 따른 이동 단말기의 작동을 도시한 도면이다.
도 13은 본 발명의 또 다른 실시예에 따른 이동 단말기의 작동을 도시한 도면이다.
도 14는 본 발명의 또 다른 실시예에 따른 이동 단말기의 작동을 도시한 도면이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다
이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 이동 단말기의 블록 구성도(block diagram)이다.
본 발명의 일 실시예에 따른 이동 단말기(100)는, 무선 통신부(20)와, 카메라(30)와, 전원 공급부(40)와, 제어부(50)와, 출력부(60)와, 입력부(70)와, 메모리(80)를 포함할 수 있다.
무선 통신부(20)는 이동 단말기(100)와 무선 통신 시스템 사이 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(20)는 이동 통신 모듈(21)과, 근거리 통신 모듈(23)을 포함할 수 있으며, 도면에 자세히 도시하지는 않았지만 무선 인터넷 모듈 및 위치 정보 모듈 등을 더 포함할 수 있다.
이동 통신 모듈(21)은 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
근거리 통신 모듈(23)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
카메라(30)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 출력부(60)에 표시될 수 있다. 카메라(30)에서 처리된 화상 프레임은 메모리에 저장되거나 무선 통신부(20)를 통하여 외부로 전송될 수 있다. 카메라(30)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다. 예를 들어, 이동 단말기(100)의 전면 측에 마련된 제 1카메라(도 2의 31)와, 이동 단말기(100)의 후면 측에 마련된 제 2카메라(도 3의 32)를 포함할 수 있다. 제 1카메라(도 2의 31)는 화상 통화시에이동 단말기(100) 사용자 자신을 촬영하는 역할을 하고, 제 2카메라(도 3의 32)는 외부 영상을 촬영하는 역할을 할 수 있다. 이해의 편의를 위하여, 이하에서는 이동 단말기(100)의 후면에 위치한 제 2카메라(도 3의 32)를 카메라(30)로 표현하도록 한다. 그러나 이와 같은 표시가 카메라(32)를 특정 위치로 한정하는 것이 아님은 물론이다.
전원 공급부(40)는 제어부(50)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.
제어부(50)는 이동 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(50)는 멀티 미디어 재생을 위한 멀티미디어 모듈을 구비할 수도 있다. 멀티미디어 모듈은 제어부(50) 내에 구현될 수도 있고, 제어부(50)와 별도로 구현될 수도 있다. 제어부(50)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
출력부(60)는 이동 단말기(100)의 상태 등을 포함하는 각종 정보를 다양한 방법으로 출력할 수 있다. 예를 들어, 출력부(60)는 정보를 시각적, 청각적 및 촉각적으로 출력할 수 있다.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. 디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistorliquid crystal display), 유기 발광 다이오드(organic lightemitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리부(160)에 저장된 오디오 데이터를 출력할 수도 있다. 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다. 햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열에 의한 자극에 의한 효과, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력을 통한 자극에 의한 효과, 피부 표면을 스치는 자극에 의한 효과, 전극(eletrode)의 접촉을 통한 자극에 의한 효과, 정전기력을 이용한 자극에 의한 효과, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다. 햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자의 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 휴대 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
입력부(70)는 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력받기 위하여 조작되는 복수의 키버튼(도 2의 70)을 포함할 수 있다. 키버튼(도 2의 70)은 조작부(manipulating portion)로도 통칭 될 수 있으며, 사용자가 촉각 적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 키버튼(도 2의 70)에 의하여 입력되는 내용은 다양하게 설정될 수 있다.
메모리(80)는 제어부(50)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 메모리(80)는 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다. 메모리(80)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(ReadOnly Memory, ROM), EEPROM(Electrically Erasable Programmable ReadOnly Memory), PROM(Programmable ReadOnly Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(80)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
도 2 및 도 3은 도 1 이동 단말기의 전면 및 후면 사시도이다.
제 1,2바디(11, 12)는 이동 단말기(100)의 외관을 형성할 수 있다. 제 1,2바디(11, 12)는 플라스틱 재질 등을 사출성형하는 방법을 통하여 형성될 수 있다. 이동 단말기(100)의 외관은 전체가 하나의 바디로 형성되거나, 2개 이상의 바디가 조립될 수 있음은 물론이다. 다만, 이해의 편의를 위하여, 이동 단말기(100)의 전면 측 바디를 제 1바디(11), 이동 단말기(100)의 후면 측 바디를 제 2바디(12)로 구별하도록 한다. 제 1바디(11)에는 제 1디스플레이(61)와 제 1카메라(31)가 마련되고, 제 2바디(12)에는 제 2카메라(32)가 마련되어 있을 수 있다.
도 4는 도 1 이동 단말기의 작동을 도시한 플로우 챠트이고, 도 5는 4 이동 단말기의 동작을 도시한 도면이다.
이들 도면에 도시한 바와 같이, 본 발명의 일 실시예에 따른 이동 단말기(100)의 제어부(도 1의 50)는 카메라(32)를 활성화하는 단계(S10)를 포함할 수 있다.
카메라(32)는 사용자의 조작 또는 제어부(도 1의 50)의 제어동작에 의하여 활성화 또는 비활성화될 수 있다. 예를 들어, 제어부(도 1의 50)는 이동 단말기(100)의 자세를 감지할 수 있는 자세감지 센서의 센싱값에 따라 카메라(32)가 활성화 또는 비활성화 되도록 할 수 있다. 자세감지 센서는 가속도 센서, 중력센서, 지자기 센서 중 어느 하나 또는 둘 이상의 조합으로 구성될 수 있다. 가속도 센서, 중력센서, 지자기 센서 중 어느 하나 또는 둘 이상의 조합으로 구성된 자세감지 센서를 통하여, 제어부(도 1의 50)는 이동 단말기(100)에서 카메라(32)가 위치한 면의 지향 방향을 판단할 수 있다. 예를 들어, 이동 단말기(100)에서 카메라(32)가 위치한 면이, 지면을 향하고 있는지 또는 지면과 나란한 전/후방을 향하고 있는지 여부를 제어부(도 1의 50)가 판단할 수 있음을 의미한다. 카메라(32)가 지면을 향하고 있는 것으로 판단된 경우에, 제어부(도 1의 50)는 카메라(32)를 비활성화 하여 촬영이 정지되도록 할 수 있다. 또한, 카메라(32)가 지면과 나란한 전/후방을 향하고 있는 것으로 판단된 경우에, 제어부(도 1의 50)는 카메라(32)를 활성화 하여 촬영이 개시되도록 할 수 있다. 자세감지 센서를 통하여 감지된 자세에 따라서 카메라(32)의 활성화/비활성화를 제어부(도 1의 50)가 조절할 수 있음으로 인하여, 사용자가 별도의 조작을 가하지 않아도 최적화된 촬영이 진행될 수 있다. 나아가, 최적화된 순간에 카메라(32)가 작동함으로 인하여, 배터리 소모가 최소화되도록 할 수 있다.
카메라(32)가 활성화되면, 활성화된 카메라(32)로부터 영상을 획득하는 단계(S20)가 진행될 수 있다.
카메라(32)가 활성화되면, 카메라(32)로부터 영상을 획득할 수 있다. 즉, 카메라(32)를 사용한 촬영이 진행될 수 있음을 의미한다. 카메라(32)로 촬영한 영상은 디스플레이(61)에 표시될 수 있다. 예를 들어, 사용자가 전방을 향하여 카메라(32)를 활성화하면, 카메라(32)를 통하여 획득한 영상이 디스플레이(61)에 실시간으로 표시될 수 있음을 의미한다. 따라서 사용자가 이동 단말기(100)의 지향 방향을 변경하면, 카메라(32)로 촬영되는 영상이 변경되고 따라서 디스플레이(61)에 표시되는 영상도 달리질 수 있다.
영상에 포함된 이미지(OB)의 위치정보를 획득하는 단계(S30)가 진행될 수 있다.
영상에 포함된 특정 이미지(OB)는 사용자의 선택 또는 제어부(도 1의 50)의 제어동작에 의하여 선택될 수 있다. 사용자에 의하여 선택되는 경우에, 사용자는 손가락 등으로 화면의 특정 부분을 터치할 수 있다. 사용자가 터치한 특정 부분에 오브젝트가 존재하면, 그 오브젝트가 선택될 수 있다. 제어부(도 1의 50)의 제어동작에 의하여 선택되는 경우에, 제어부(도 1의 50)는 화면의 중심에 있는 오브젝트를 특정 이미지(OB)로 선택할 수 있다.
사용자의 터치동작 또는 제어부(도 1의 50)의 제어동작을 통하여 특정 이미지(OB)가 선택되면, 선택된 특정 이미지(OB)의 위치정보를 회득하기 위하여 이동 단말기(100)의 현재 위치 등을 획득하는 과정이 진행될 수 있다. 이동 단말기(100)의 제어부(도 1의 50)는, 이동 단말기(100)의 현재 위치, 카메라(32)가 촬영하는 방향, 카메라(32)의 화각 등의 정보를 획득할 수 있다.
이동 단말기(100)의 현재 위치는, 이동 단말기(100)에 내장된 위치 정보 모듈이 GNSS(Global Navigation Satellite System, 범지구위성항법시스템)신호를 수신하는 방법을 통하여 획득될 수 있다. GNSS는 운영 주체에 따라서, GPS, Galileo, GLONASS, COMPASS, IRNSS, QZSS 등으로 구분될 수 있다.
카메라(32)가 촬영하는 방향은, 이동 단말기(100)의 센서부를 통하여 획득될 수 있다. 예를 들어, 지자기 센서, 가속도 센서, 자이로 센서 등을 이용하여 이동 단말기(100)의 카메라(32)가 지향하는 방향이 감지될 수 있다.
카메라(32)의 화각은, 이동 단말기(100)의 생산 단계에서 결정될 수 있다.
이동 단말기(100)의 현재 위치, 촬영 방향, 화각 등을 알면, 제어부(도 1의 50)는 현재 촬영되고 있는 영상에 어떤 오브젝트가 포함되어 있는가를 판단할 수 있다. 예를 들어, 현재 위치를 중심으로 하여 전방 500m 지점에 개선문이 존재하며, 카메라의 화각범위를 고려할 때 개선문 좌우측의 건물이 디스플레이(61)에 표시되고 있다는 정보를 획득할 수 있다. 즉, 영상에 표함된 특정 이미지(OB)의 위치정보를 획득할 수 있음을 의미한다.
영상에 포함된 이미지(OB)의 위치정보를 획득하면, 획득한 위치정보에 기반하여 서버에서 정보를 획득하는 단계(S40)가 진행될 수 있다.
카메라(32)로 촬영한 영상에는 다양한 오브젝트가 포함되어 있을 수 있다. 다양한 오브젝트 중에서 사용자의 선택동작 또는 제어부(도 1의 50)의 제어신호에 의하여 특정한 이미지가 선택될 수 있으며, 전술한 과정을 거쳐 그 이미지(OB)의 위치정보를 획득할 수 있다.
획득한 위치정보에 기반하여, 서버(S)로부터 그 이미지(OB)에 대응된 지점, 건축물 등에 대한 정보를 획득할 수 있다. 이때, 정보는 소셜네트워크서비스(SNS, Social Network Service) 서버(S)로부터 획득할 수 있다.
소셜네트워크서비스는 특정 사용자가 등록한 또는 등록하지 않은 다른 사용자와 정보를 교환하며 인맥이 형성되도록 하는 서비스일 수 있다. 예를 들어, 소셜네트워크서비스를 이용하면 제 1사용자는 친구로 등록한 제 2사용자가 업로드한 텍스트(text)나 그림 등을 손쉽게 열람할 수 있다. 소셜네트워크서비스로는 트위터(twitter), 페이스북(facebook), 마이스페이스(myspace), 미투데이(me2DAY) 등이 잇을 수 있다. 제 2사용자가 업로드한 텍스트나 그림에는, 위치정보가 태깅(tagging)되어 있을 수 있다. 즉, 제 2사용자가 텍스트나 그림을 올린 장소, 혹은 제 2사용자가 제 1사용자에게 알려주고 싶은 장소 등에 대한 정보가 태깅되어 있을 수 있음을 의미한다.
이동 단말기(100)의 사용자가 촬영한 화면의 특정 지점에 대응된 정보가 링크되어있다면, 그 정보를 소셜네트워크서비스 서버(S)로부터 획득할 수 있다. 예를 들어, 파리의 개선문을 먼저 방문한 다른 이동 단말기의 사용자가 개선문에 대한 글을 그 위치정보와 함께 소셜네트워크서비스 서버(S)로 업로드할 수 있으며, 이동 단말기(100)의 사용자가 파리의 개선문을 카메라(32)로 촬영하면 개선문에 대해서 다른 이동 단말기(1000, 2000)의 사용자가 업로드했던 글을 다운받을 수 있음을 의미한다.
소셜네트워크서비스 서버(S)로부터 특정 지점에 대한 정보를 획득하면, 획득한 정보를 영상에 표시하는 단계(S50)가 진행될 수 있다.
이동 단말기(100)의 디스플레이(61)에는 카메라(32)로 촬영한 영상이 표시될 수 있다. 디스플레이(61)에 표시된 영상에는, 소셜네트워크서비스 서버(S)로부터 획득한 각종 정보가 표시될 수 있다. 획득한 각종 정보는 팝업창(P) 형태로 표현될 수 있다.
카메라(32)로 촬영된 영상에 획득한 영상을 중첩하여 표시할 때 증강현실(AR, Augmented Reality) 기법을 적용할 수 있다. 즉, 카메라(32)로 촬영되는 영상에 일체화되도록 획득한 정보를 표시할 수 있음을 의미한다. 또한, 촬영 방향 등을 변경하면, 변경된 영상에 대응되도록 정보를 표시할 수 있다.
도 6은 도 4 이동 단말기의 작동을 도시한 신호 흐름도이다.
이에 도시한 바와 같이, 본 발명의 일 실시예에 따른 이동 단말기(100)는 서버(S)로부터 정보를 요청하여 획득할 수 있다.
특정 이미지(OB)의 위치정보를 획득(S30)하면, 제어부(도 1의 50)는 무선 통신부(도 1의 20)를 사용하여 서버(S)로 정보를 요청(S42)할 수 있다.
이동 단말기(100)로부터 정보를 요청받은 서버(S)는, 서버(S)의 데이터베이스에서 특정 이미지(OB)에 대응된 정보를 검색(S44)할 수 있다. 이때, 서버(S)는 소셜네트워크서비스를 제공하는 서버일 수 있다. 또한, 각종 구조물에 대한 정보를 담고 있는 서버(S)일 수 있다. 예를 들어, 특정 이미지(OB)가 빌딩인 경우에, 빌딩 내부 구조 및/또는 각 층의 정보를 보유하고 있는 서버(S)일 수 있음을 의미한다.
특정 이미지에 대응된 정보를 검색한 서버(S)는, 검색된 정보를 이동 단말기(100)로 송신(S46)할 수 있다. 검색된 정보를 송신받은 이동 단말기(100)는, 획득한 정보를 디스플레이(61)에 표시할 수 있다.
도 7은 도 4 이동 단말기의 작동을 도시한 도면이고, 도 8은 도 4 이동 단말기가 획득한 위치 정보를 도시한 도면이다.
이들 도면에 도시한 바와 같이, 본 발명의 일 실시예에 따른 이동 단말기(100)는 GNSS 신호를 수신하는 방법 등을 통하여 현재의 위치를 판단할 수 있다.
이동 단말기(100)가 특정 위치에 있을 경우에, GNSS 신호를 발신하는 복수의 인공위성(AO)으로부터 신호를 수신할 수 있다. 이동 단말기(100)의 위치 정보 모듈은, 수신한 신호를 처리하여 지표 상의 절대좌표를 산출할 수 있다. 나아가, 이동 단말기(100)는 지자기 센서 등을 이용하여 이동 단말기(100)가 지향하고 있는 방향을 알 수 있다.
이동 단말기(100)의 절대좌표 및 지향방향을 알면, 카메라(32)를 통하여 촬영하고 있는 객체를 알 수 있다. 즉, 도 8에 도시한 바와 같이, 이동 단말기(100)의 위치 및 지향방향을 알면 특정 이미지(OB)가 어떠한 방향의 무엇이지 알 수 있음을 의미한다.
도 9는 도 4 이동 단말기가 특정 이미지에 대한 정보를 획득하는 과정을 도시한 도면이다.
이에 도시한 바와 같이, 본 발명의 일 실시예에 따른 이동 단말기(100)는 선택한 특정 이미지(OB)에 대응된 정보를 다양한 경로를 통하여 획득할 수 있다.
사용자는 손가락(F) 등으로 특정 이미지(OB)를 선택할 수 있다. 예를 들어, 특정 이미지(OB)를 터치하거나, 특정 이미지(OB)의 윤곽이 포함되도록 폐곡선을 그리는 터치 동작을 통한 선택이 가능할 수 있다.
상세한 정보를 알고 싶은 특정 이미지(OB)가 선택되면, 제어부(도 1의 50)는 그 특정 이미지(OB) 자체 또는 그 특정 이미지(OB)의 명칭 등을 서버(S) 또는 다른 단말기(200)로 송신할 수 있다.
서버(S)는, 전술한 바와 같이, 소셜네트워크서비스를 제공하는 서버(S) 또는 건축물 등에 대한 정보를 제공하는 서버(S)일 수 있다. 서버(S)는, 정보에 대한 검색뿐만 아니라 정보를 수집할 수도 있다. 예를 들어, 이동 단말기(100)의 사용자 또는 다른 이동 단말기(200)의 사용자가 특정한 건축물에 대한 코멘트를 작성하여 업로드하면, 서버(S)는 업로드한 코멘트를 저장하고 있다가 이를 요청하는 다른 단말기의 사용자에게 제공할 수 있다.
도 10 및 도 11은 본 발명의 다른 실시예에 따른 이동 단말기의 작동을 도시한 도면이다.
이들 도면에 도시한 바와 같이, 본 발명의 다른 실시예에 따른 이동 단말기(100)는, 이동 단말기(100) 사용자의 이력을 검색하여 디스플레이(151)에 표시할 수 있다.
카메라(도 8의 32)로 촬영된 영상에는 사용자가 과거에 코멘트를 업로드한 지점이 포함되어 있을 수 있다. 예를 들어, 도 10에 도시한 바와 같이, 현재 촬영하고 있는 영상에 포함된 제 1장소(L1)에 사용자가 2010년 3월 15일에 방문한 기록이 있으며, 제 2장소(L2)에 사용자가 2010년 7월 2일에 방문한 기록이 있을 수 있다. 기록은, 과거에 사용자가 방문에 그 위치에서 소셜네트워크서비스에 글을 업데이트 했거나, 사진을 찍었거나, 통화를 했거나, 문자 메시지를 보냈거나, 이메일을 보냈던 데이터일 수 있다.
제어부(도 1의 50)는 이동 단말기(100)의 메모리(80)를 탐색하거나, 외부 서버(S)에 검색을 요청하여, 사용자의 기록을 획득할 수 있다. 획득된 기록은, 해당하는 위치에 제 1,2팝업창(P1, P2) 형태로 표시될 수 있다. 예를 들어, 제 1,2팝업창(P1, P2)이 증강현실 형식으로 영상에 겹쳐지며 표시될 수 있음을 의미한다. 따라서 사용자가 이동 단말기(100)의 지향방향을 변경하여 촬영 영상이 바뀌면, 표시되는 내용도 달라질 수 있다.
도 11에 도시한 바와 같이, 사용자의 과거 기록은 지도상에 표시될 수도 있다. 즉, 이동 단말기(100)의 현재 위치가 표시되며, 사용자가 과거에 이동 단말기(100)를 조작한 지점이 지도상에 표시될 수 있다. 사용자가 특정 지점을 터치하여 어느 하나를 선택하면, 그 구체적인 내용이 표시될 수도 있다.
도 12는 본 발명의 또 다른 실시예에 따른 이동 단말기의 작동을 도시한 도면이다.
이에 도시한 바와 같이, 본 발명의 또 다른 실시예에 따른 이동 단말기(100)는 교통정보를 디스플레이(151)에 표시할 수 있다.
이동 단말기(100)의 사용자가 도로를 촬영하면, 제어부(도 1의 50)는 그 사실을 인식할 수 있다. 즉, 전술한 바와 같이, 이동 단말기(100)의 현재 위치를 토대로 하여 사용자가 촬영하고 있는 대상이 무엇인지 여부를 판단할 수 있다. 사용자가 도로를 촬영하는 경우에, 제어부(도 1의 50)는 교통정보를 제공하는 서버(S)로부터 그 도록의 교통정보를 획득할 수 있다. 교통정보가 획득되면, 제어부(도 1의50)는 현재 보여지고 있는 화면에 획득한 교통정보를 표시할 수 있다. 예를 들어, 교통 흐름의 원활 정도를 색상으로 표현할 수 있음을 의미한다.
도 13은 본 발명의 또 다른 실시예에 따른 이동 단말기의 작동을 도시한 도면이다.
이에 도시한 바와 같이, 본 발명의 또 다른 실시예에 따른 이동 단말기(100)는 빌딩의 세부정보를 디스플레이(151)에 표시할 수 있다.
이동 단말기(100)의 사용자가 특정한 빌딩을 촬영하면, 제어부(도 1의 50)는 그 빌딩의 정보를 제공하여 줄 수 있는 서버(S) 또는 다른 이동 단말기(200)에 그 빌딩에 대한 정보를 요청할 수 있다. 제어부(도 1의 50)는, 획득한 빌딩에 대한 정보를 디스플레이(151)에 표시할 수 있다. 또한, 사용자가 특정 층을 선택하면, 제어부(도 1의 50)는 선택된 층에 대한 보다 세부적인 정보를 더 표시할 수도 있다. 예를 들어, 선택된 층의 평면도, 선택된 층에 입주하여 있는 상점이 명칭, 연락처 등이 표시될 수 있다.
제어부(도 1의 50)는 빌딩의 세부정보를 다른 단말기(200)로 송신할 수도 있다. 예를 들어, 다른 단말기(200)의 사용자에게 길을 안내하고자 할 때, 이동 단말기(100)의 사용자는 획득한 빌딩의 단면도 등을 다른 단말기(200)로 송신할 수 있음을 의미한다.
도 14는 본 발명의 또 다른 실시예에 따른 이동 단말기의 작동을 도시한 도면이다.
이에 도시한 바와 같이, 본 발명의 또 다른 실시예에 따른 이동 단말기(100)는 촬영되고 있는 영상을 기초로 경로 안내를 진행할 수 있다.
도 14의 (a)에 도시한 바와 같이, 디스플레이(151)에는 촬영되고 있는 영상에 중첩되도록 목적지까지의 경로 안내가 표시될 수 있다. 즉, 사용자가 목적지를 설정한 상태에서, 도로롤 비추면 설정된 목적지까지의 경로가 디스플레이(151)에 표시될 수 있음을 의미한다.
도 14의 (b)에 도시한 바와 같이, 경로 안내가 진행되는 도중에 전화가 올 수 있다. 전화가 오면, 사용자는 이동 단말기(100)를 들어 통화를 진행할 수 있다.
도 14의 (c)에 도시한 바와 같이, 사용자가 이동 단말기(100)를 들어 귀에 가까이 하면 근접센서가 이를 감지할 수 있다. 근접센서의 작동에 의하여 이동 단말기(100)가 사용자의 귀에 접근하였음이 감지되면, 제어부(도 1의 50)는 디스플레이(151)에 공급되는 전원을 차단할 수 있다. 이동 단말기(100)를 귀에 접근하여 사용하는 상태에서는 디스플레이(151)를 통한 시각적 정보제공이 의미없을 수 있기 때문이다.
본 발명의 또 다른 실시예에 따른 이동 단말기(100)의 제어부(도 1의 50)는, 디스플레이(151)가 꺼진 통화 상태에서도 경로 안내를 계속하여 수행할 수 있다. 즉, 음향 출력 모듈(도 1의 62)를 통하여 ‘50미터 전방에서 우회전입니다’와 같은 안내 멘트를 청각적으로 출력할 수 있음을 의미하다. 또한, 사용자가 설정된 경로를 이탈하는 경우에는 햅틱 모듈(도 1의 63)을 작동하여 진동을 발생시킬 수도 있다. 따라서 사용자는 통화를 하는 도중에도 경로를 지속적으로 안내받을 수 있다.
본 발명은 기재된 실시예들에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서, 그러한 수정예 또는 변형예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이다.

Claims (17)

  1. 디스플레이;
    영상을 촬영하는 카메라; 및
    상기 카메라로 촬영한 영상에 포함된 적어도 하나의 이미지에 연관된 정보를 획득하여, 상기 디스플레이에 상기 영상과 중첩되도록 표시하는 제어부를 포함하는 이동 단말기.
  2. 제 1항에 있어서,
    상기 제어부는, 상기 적어도 하나의 이미지의 위치정보를 획득하며,
    상기 연관된 정보는,
    상기 획득한 위치정보에 대응된 위치에서 상기 이동 단말기의 사용 이력인 것을 특징으로 하는 이동 단말기.
  3. 제 2항에 있어서,
    상기 사용 이력은,
    상기 획득한 위치정보에 대응된 위치에서의 통화 정보, 문자 메시지 송수신 정보, 이메일 송수신 정보, 소셜네트워크서비스에의 업로드 정보 중 적어도 어느 하나인 것을 특징으로 하는 이동 단말기.
  4. 제 1항에 있어서,
    무선 통신부를 더 포함하며,
    상기 제어부는,
    상기 무선 통신부를 사용하여 상기 연관된 정보를 소셜네트워크서비스(SNS) 서버로부터 획득하는 것을 특징으로 하는 이동 단말기.
  5. 제 4항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 이미지의 위치정보를 획득하고, 상기 획득한 위치정보에 기반하여 상기 소셜네트워크서비스 서버로부터 상기 연관된 정보를 획득하는 것을 특징으로 하는 이동 단말기.
  6. 제 1항에 있어서,
    무선 통신부를 더 포함하며,
    상기 연관된 정보는, 상기 적어도 하나의 이미지에 대한 상세 정보이고,
    상기 제어부는,
    상기 무선 통신부를 사용하여 상기 연관된 정보가 충첩된 상기 영상을 다른 단말기로 송신하는 것을 특징으로 하는 이동 단말기.
  7. 제 6항에 있어서,
    상기 적어도 하나의 이미지는, 건물 이미지이며,
    상기 상세 정보는, 상기 건물의 구조에 관한 정보, 상기 건물의 용도에 관한 정보, 상기 건물의 건축기록에 관한 정보 중 적어도 어느 하나인 것을 특징으로 하는 이동 단말기.
  8. 제 1항에 있어서,
    상기 연관된 정보는, 상기 이동 단말기의 이동 경로를 안내하는 교통 정보이고,
    상기 제어부는,
    상기 영상에 상기 교통 정보를 중첩하여 표시하되, 상기 이동 단말기의 이동 통신 모듈을 사용하는 콜(call) 상태에 진입하면, 상기 교통 정보를 상기 이동 단말기의 음향 출력 모듈, 햅틱 모듈 중 적어도 어느 하나를 통하여 출력하는 것을 특징으로 하는 이동 단말기.
  9. 제 1항에 있어서,
    상기 획득한 정보, 상기 촬영한 영상, 상기 획득한 정보가 중첩된 영상 중 적어도 어느 하나를 저장하는 메모리를 더 포함하는 이동 단말기.
  10. 무선 통신부;
    디스플레이;
    영상을 촬영하는 카메라; 및
    상기 카메라로 촬영한 영상에 포함된 적어도 하나의 이미지와 연관된 정보를상기 무선 통신부를 통해 적어도 하나의 소셜네트워크서비스 서버로부터 획득하여, 상기 디스플레이에 상기 영상과 중첩되도록 표시하는 제어부를 포함하는 이동 단말기.
  11. 제 10항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 이미지의 위치정보를 획득하고, 상기 획득한 위치정보에 기반하여 상기 소셜네트워크서비스 서버로부터 상기 연관된 정보를 획득하는 것을 특징으로 하는 이동 단말기.
  12. 제 10항에 있어서,
    상기 제어부는, 상기 적어도 하나의 이미지의 위치정보를 획득하며,
    상기 연관된 정보는,
    상기 획득한 위치정보에 대응된 위치에서 상기 이동 단말기의 사용 이력인 것을 특징으로 하는 이동 단말기.
  13. 제 10항에 있어서,
    상기 사용 이력은,
    상기 획득한 위치정보에 대응된 위치에서의 통화 정보, 문자 메시지 송수신 정보, 이메일 송수신 정보, 소셜네트워크서비스에의 업로드 정보 중 적어도 어느 하나인 것을 특징으로 하는 이동 단말기.
  14. 카메라로 영상을 촬영하는 단계;
    상기 촬영한 영상에 포함된 특정 이미지의 위치정보를 획득하는 단계;
    상기 획득한 위치정보에 기반하여 상기 특정 이미지의 연관 정보를 획득하는 단계; 및
    상시 획득한 연관 정보를 상기 촬영한 영상에 중첩되도록 표시하는 단계를 포함하는 이동 단말기의 제어방법.
  15. 제 14항에 있어서,
    상기 연관 정보는,
    상기 획득한 위치정보에 대응된 위치에서 상기 이동 단말기의 사용 이력인 것을 특징으로 하는 이동 단말기의 제어방법.
  16. 제 15항에 있어서,
    상기 사용 이력은,
    상기 획득한 위치정보에 대응된 위치에서의 통화 정보, 문자 메시지 송수신 정보, 이메일 송수신 정보, 소셜네트워크서비스에의 업로드 정보 중 적어도 어느 하나인 것을 특징으로 하는 이동 단말기의 제어방법.
  17. 제 14항에 있어서,
    상기 연관 정보는,
    소셜네트워크서비스(SNS) 서버로부터 획득하는 것을 특징으로 하는 이동 단말기의 제어방법.
PCT/KR2010/006069 2010-09-07 2010-09-07 이동 단말기 및 그 제어방법 WO2012033238A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2010/006069 WO2012033238A1 (ko) 2010-09-07 2010-09-07 이동 단말기 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2010/006069 WO2012033238A1 (ko) 2010-09-07 2010-09-07 이동 단말기 및 그 제어방법

Publications (1)

Publication Number Publication Date
WO2012033238A1 true WO2012033238A1 (ko) 2012-03-15

Family

ID=45810822

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/006069 WO2012033238A1 (ko) 2010-09-07 2010-09-07 이동 단말기 및 그 제어방법

Country Status (1)

Country Link
WO (1) WO2012033238A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014031899A1 (en) * 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
WO2014038787A1 (ko) * 2012-09-07 2014-03-13 에스케이플래닛 주식회사 통신 이력 제공 시스템 및 방법
WO2018190888A1 (en) * 2017-04-14 2018-10-18 Facebook, Inc. Discovering augmented reality elements in a camera viewfinder display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100936198B1 (ko) * 2008-03-21 2010-01-11 인하대학교 산학협력단 소셜 네트워크 분석 시스템
US20100036875A1 (en) * 2008-08-07 2010-02-11 Honeywell International Inc. system for automatic social network construction from image data
US20100103277A1 (en) * 2006-09-14 2010-04-29 Eric Leebow Tagging camera
KR100963236B1 (ko) * 2007-11-01 2010-06-10 광주과학기술원 증강현실을 이용한 제품정보 제공 시스템 및 그 제공방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103277A1 (en) * 2006-09-14 2010-04-29 Eric Leebow Tagging camera
KR100963236B1 (ko) * 2007-11-01 2010-06-10 광주과학기술원 증강현실을 이용한 제품정보 제공 시스템 및 그 제공방법
KR100936198B1 (ko) * 2008-03-21 2010-01-11 인하대학교 산학협력단 소셜 네트워크 분석 시스템
US20100036875A1 (en) * 2008-08-07 2010-02-11 Honeywell International Inc. system for automatic social network construction from image data

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014031899A1 (en) * 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US9721394B2 (en) 2012-08-22 2017-08-01 Snaps Media, Inc. Augmented reality virtual content platform apparatuses, methods and systems
US9792733B2 (en) 2012-08-22 2017-10-17 Snaps Media, Inc. Augmented reality virtual content platform apparatuses, methods and systems
US10169924B2 (en) 2012-08-22 2019-01-01 Snaps Media Inc. Augmented reality virtual content platform apparatuses, methods and systems
WO2014038787A1 (ko) * 2012-09-07 2014-03-13 에스케이플래닛 주식회사 통신 이력 제공 시스템 및 방법
WO2018190888A1 (en) * 2017-04-14 2018-10-18 Facebook, Inc. Discovering augmented reality elements in a camera viewfinder display

Similar Documents

Publication Publication Date Title
TWI410906B (zh) 使用擴增實境導航路徑之方法及使用該方法之行動終端機
KR101604843B1 (ko) 휴대 단말기 및 그 동작 제어방법
CN106572303A (zh) 一种图片处理方法及终端
CN109922356B (zh) 视频推荐方法、装置和计算机可读存储介质
CN102469212B (zh) 移动终端及其元数据应用方法
CN110377195B (zh) 展示交互功能的方法和装置
CN110267054B (zh) 一种推荐直播间的方法及装置
WO2021109960A1 (zh) 图像处理方法、电子设备及存储介质
WO2018036010A1 (zh) 平衡车的控制方法及装置
CN112052354A (zh) 视频推荐方法、视频展示方法、装置及计算机设备
JP7194286B2 (ja) セッション作成方法及び端末機器
KR20160097655A (ko) 이동 단말기 및 그 제어 방법
WO2014024639A1 (ja) 携帯通信端末およびデータ受け取り方法
CN110457571B (zh) 获取兴趣点信息的方法、装置、设备及存储介质
CN110245255B (zh) 歌曲显示方法、装置、设备及存储介质
CN103914151A (zh) 信息显示方法及装置
CN109547847B (zh) 添加视频信息的方法、装置及计算机可读存储介质
WO2012033238A1 (ko) 이동 단말기 및 그 제어방법
CN107147567A (zh) 位置信息共享方法、设备及系统
CN106226797A (zh) 运动场地信息推送方法及装置
CN110990728B (zh) 兴趣点信息的管理方法、装置、设备及存储介质
WO2020145653A1 (ko) 이미지의 촬영 장소를 추천하는 전자 장치 및 방법
CN112069350A (zh) 歌曲推荐方法、装置、设备以及计算机存储介质
KR20170004447A (ko) 이동단말기 및 그 제어방법
CN112365088B (zh) 行程关键点的确定方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10857025

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10857025

Country of ref document: EP

Kind code of ref document: A1