WO2023153544A1 - 사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기 - Google Patents

사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기 Download PDF

Info

Publication number
WO2023153544A1
WO2023153544A1 PCT/KR2022/002164 KR2022002164W WO2023153544A1 WO 2023153544 A1 WO2023153544 A1 WO 2023153544A1 KR 2022002164 W KR2022002164 W KR 2022002164W WO 2023153544 A1 WO2023153544 A1 WO 2023153544A1
Authority
WO
WIPO (PCT)
Prior art keywords
real
user
selected object
information
user terminal
Prior art date
Application number
PCT/KR2022/002164
Other languages
English (en)
French (fr)
Inventor
송지현
김형국
김모정
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2022/002164 priority Critical patent/WO2023153544A1/ko
Publication of WO2023153544A1 publication Critical patent/WO2023153544A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Definitions

  • the present invention relates to a method for providing user-customized tour guide contents and a terminal for implementing the same.
  • User terminals may be divided into mobile/portable terminals and stationary terminals according to whether or not they are movable. Again, user terminals can be divided into handheld terminals and vehicle mounted terminals according to whether the user can carry them directly.
  • Functions of user terminals are diversifying. For example, there are functions of data and voice communication, photographing and video recording through a camera, voice recording, music file reproduction through a speaker system, and outputting an image or video to a display unit.
  • Some terminals have an electronic game play function added or a multimedia player function.
  • recent user terminals can receive multicast signals providing visual content such as broadcasting and video or television programs.
  • Such a user terminal diversify, for example, it is implemented in the form of a multimedia player equipped with complex functions such as taking pictures or videos, playing music or video files, playing games, and receiving broadcasts. there is.
  • the user accesses a specific website or executes a specific app through the user terminal, inputs a search term into the accessed website or the specific app, and provides desired travel information (ie, search results) through the searched results (ie, search results). , travel content) in many cases.
  • the present invention provides a method for providing user-customized tour guide contents that can provide appropriate tour contents to a user with minimal user intervention by using at least one of user data during a trip, movement data, and destination data, and a terminal for implementing the same. is intended to provide
  • a display, a microphone, a location information module, a camera, and a real-time image sensed through the camera are displayed on the display, and through analysis of the real-time image
  • a plurality of objects included in the real-time video are analyzed in real time, and at least one of the current position and direction sensed through the location information module and the user's voice input through the microphone are analyzed by artificial intelligence to provide the user's voice. Selecting an object corresponding to the selected object, and selecting the real-time image and the selected object while highlighting the selected object in the real-time image when the selected object is included in the real-time image currently displayed on the display.
  • control unit for displaying object information together and displaying the real-time image and the selected object information together without object highlighting in the real-time image when the selected object is not included in the real-time image currently displayed on the display; It is possible to provide a user terminal including.
  • the controller may control the display position of the selected object information to be varied according to the position of the selected object in the real-time image.
  • the controller may control the selected object information to be displayed at a predetermined position on the display.
  • the user terminal further includes a memory, and the control unit identifies at least one object among the plurality of objects in the real-time image, tags identification information on the identified object, and assigns the at least one object to the user terminal.
  • the real-time image including the tagged identification information may be controlled to be stored in the memory.
  • the controller searches whether there is a section tagged with identification information corresponding to the selected object among the stored real-time images, A clip of a real-time video may be controlled to be reproduced together with the selected object information.
  • the controller may control not to reproduce a clip of the real-time video of the searched section when displaying the selected object information.
  • the user terminal further includes a wireless communication unit, and the control unit transmits the identification information of the selected object to the external platform by the wireless communication unit, and text, sound, and image information corresponding to the identification information from the external platform. At least one of the information may be received through the wireless communication unit, and at least one of the text, sound, and image information may be included in the selected object information.
  • the controller may control to display different types of selection object information according to the user's moving speed.
  • the controller may display a detailed version of the selected object information when the moving speed is equal to or greater than a predetermined speed, and display a simplified version of the selected object information when the moving speed is less than a predetermined speed.
  • the controller may control the selected object information of the detailed version to be displayed.
  • control unit divides the screen to display the selected object information screen and the execution screen of the other application at the same time. You can control the display.
  • the controller may control the real-time image and the selected object information to be displayed as a full screen.
  • the user terminal may further include an audio output unit, and the control unit may control the selected object information to be output only as audio through the audio output unit when the display is in a power saving mode when the user's voice is sensed. there is.
  • the controller may control the real-time image and the selected object information to be displayed as a full screen when the display is switched to a non-power saving mode.
  • the control unit may control to output different types of audio according to the moving speed of the user.
  • the control unit may output audio of the selected object information of a simplified version when the moving speed is equal to or greater than a certain speed, and output audio of the selected object information of a detailed version when the moving speed is less than a certain speed.
  • the controller may display the selected object information when the selected object is included in the real-time image and the selected object is located within a predetermined distance.
  • the controller may display a plurality of object information on a plurality of objects together with a plurality of object type icons.
  • the controller controls to display only information of at least one object corresponding to the selected at least one object type icon among the plurality of objects. can do.
  • displaying a real-time image sensed through a camera on a display analyzing a plurality of objects included in the real-time image in real time through analysis of the real-time image, and a location information module Analyzing at least one of the current position and direction sensed through artificial intelligence and the user's voice input through the microphone to select an object that matches the user's voice, the selected object is currently displayed on the display
  • displaying the real-time image and selected object information of the selected object together while highlighting the object in the real-time image, and the selected object is currently displayed on the display.
  • a method for controlling a user terminal may be provided, including displaying the real-time image and the selected object information together without object highlighting in the real-time image.
  • FIG. 1 is a schematic block diagram of a user terminal related to the present invention.
  • FIG. 2 illustrates interworking between a user terminal and an external device according to an aspect of the present invention.
  • FIG. 3 illustrates a vehicle capable of interworking with a user terminal according to an aspect of the present invention.
  • FIG 4 illustrates an example of movement data collection to provide user-customized tour guide contents according to an aspect of the present invention.
  • FIG 5 illustrates an example of user data collection to provide user-customized tour guide contents according to an aspect of the present invention.
  • FIG 6 illustrates an example of collecting tour point data to provide user-customized tour guide contents according to an aspect of the present invention.
  • FIG. 7 is a flowchart of a process for providing user-customized tour guide content in accordance with an aspect of the present invention.
  • FIG. 8 is a flowchart of a process for providing user-customized tour guide content in accordance with one aspect of the present invention.
  • FIG. 9 is a flowchart illustrating a process of providing user-customized tour guide contents in situation 1 of FIG. 8 .
  • FIG. 10 is a flowchart of a process of providing user-customized tour guide contents in situation 2 of FIG. 8 .
  • FIG. 11 is a flowchart illustrating a process of providing user-customized tour guide contents in situation 3 of FIG. 8 .
  • FIG. 12 is a flowchart of a process of providing user-customized tour guide contents in situation 4 of FIG. 8 .
  • FIG. 13 shows a display screen providing tour guide contents in situation 1 of FIG. 9 .
  • FIG. 14 shows a display screen providing tour guide contents in situation 2 of FIG. 10 .
  • FIG. 16 illustrates an example of tour guide contents provided in situation 4 of FIG. 12 .
  • FIG. 17 illustrates a screen on which tour guide contents provided according to FIG. 7 are displayed.
  • FIG. 18 illustrates an example of a distance range in which tour guide content is displayed according to an aspect of the present invention.
  • FIG. 19 illustrates an example of selecting a type of tour guide content according to an aspect of the present invention.
  • 20 illustrates an example of selection of a displayed real-time image according to an aspect of the present invention.
  • 21 illustrates an example of sharing tour guide contents according to an aspect of the present invention.
  • 22 is a flowchart of a process for providing user-customized tour guide content in accordance with an aspect of the present invention.
  • User terminals described herein include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation devices, and slate PCs.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • slate PCs slate PCs.
  • tablet PC ultrabook
  • wearable device eg, watch type terminal (smartwatch), glass type terminal (smart glass), HMD (head mounted display)), etc. may be included there is.
  • Figure 1 is a block diagram for explaining a user terminal related to the present invention.
  • the user terminal 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a control unit 180, and a power supply unit ( 190) and the like.
  • the components shown in FIG. 1 are not essential to implement the user terminal, so the user terminal described herein may have more or fewer components than the components listed above.
  • the wireless communication unit 110 is between the user terminal 100 and the wireless communication system, between the user terminal 100 and other user terminals 100, or between the user terminal 100 and an external server. It may include one or more modules enabling wireless communication between In addition, the wireless communication unit 110 may include one or more modules that connect the user terminal 100 to one or more networks.
  • the wireless communication unit 110 may include at least one of a broadcast reception module 111, a mobile communication module 112, a wireless Internet module 113, a short-distance communication module 114, and a location information module 115. .
  • the input unit 120 includes a camera 121 or video input unit for inputting a video signal, a microphone 122 for inputting an audio signal, or a user input unit 123 for receiving information from a user, for example , a touch key, a push key (mechanical key, etc.). Voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information within the user terminal, surrounding environment information surrounding the user terminal, and user information.
  • the sensing unit 140 may include a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity.
  • G-sensor gyroscope sensor
  • motion sensor motion sensor
  • RGB sensor infrared sensor
  • IR sensor infrared sensor
  • finger scan sensor ultrasonic sensor
  • an optical sensor eg, a camera (see 121)
  • a microphone see 122
  • a battery gauge an environmental sensor (eg, a barometer, a hygrometer, a thermometer, a radiation detection sensor, It may include at least one of a heat detection sensor, a gas detection sensor, etc.), a chemical sensor (eg, an electronic nose, a healthcare sensor, a biometric sensor, etc.).
  • the user terminal disclosed in this specification may combine and utilize information sensed by at least two or more of these sensors.
  • the output unit 150 is for generating an output related to sight, hearing, or touch, and includes at least one of a display unit 151, a sound output unit 152, a haptic module 153, and an optical output unit 154. can do.
  • the display unit 151 may implement a touch screen by forming a mutual layer structure or integrally with the touch sensor. Such a touch screen may function as a user input unit 123 providing an input interface between the user terminal 100 and the user and provide an output interface between the user terminal 100 and the user.
  • the interface unit 160 serves as a passage for various types of external devices connected to the user terminal 100 .
  • the interface unit 160 connects a device equipped with a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port.
  • the user terminal 100 may perform appropriate control related to the connected external device.
  • the memory 170 stores data supporting various functions of the user terminal 100 .
  • the memory 170 may store a plurality of application programs (application programs or applications) running in the user terminal 100 , data for operation of the user terminal 100 , and commands. At least some of these application programs may be downloaded from an external server through wireless communication. In addition, at least some of these application programs may exist on the user terminal 100 from the time of shipment for basic functions of the user terminal 100 (eg, incoming and outgoing calls, outgoing functions, message receiving, and outgoing functions). Meanwhile, the application program may be stored in the memory 170, installed on the user terminal 100, and driven by the control unit 180 to perform an operation (or function) of the user terminal.
  • the controller 180 controls general operations of the user terminal 100 in addition to operations related to the application program.
  • the control unit 180 may provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the components described above or by running an application program stored in the memory 170.
  • controller 180 may control at least some of the components discussed in conjunction with FIG. 1 in order to drive an application program stored in the memory 170 . Furthermore, the controller 180 may combine and operate at least two or more of the components included in the user terminal 100 to drive the application program.
  • the power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power to each component included in the user terminal 100 .
  • the power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • At least some of the above components may operate in cooperation with each other to implement operation, control, or a control method of a user terminal according to various embodiments described below. Also, the operation, control, or control method of the user terminal may be implemented on the user terminal by driving at least one application program stored in the memory 170 .
  • the broadcast reception module 111 of the wireless communication unit 110 receives a broadcast signal and/or broadcast-related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • Two or more broadcast receiving modules may be provided in the mobile terminal 100 to receive simultaneous broadcasting of at least two broadcast channels or to switch broadcast channels.
  • the broadcast management server may refer to a server that generates and transmits a broadcast signal and/or broadcast-related information or a server that receives and transmits a previously generated broadcast signal and/or broadcast-related information to a terminal.
  • the broadcast signal includes not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a TV broadcast signal or a broadcast signal in which a data broadcast signal is combined with a radio broadcast signal.
  • the broadcast signal may be encoded according to at least one of technical standards for transmission and reception of digital broadcast signals (or a broadcast method, eg, ISO, IEC, DVB, ATSC, etc.), and the broadcast reception module 111
  • the digital broadcasting signal can be received using a method suitable for technical standards determined by technical standards.
  • the broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast-related information may also be provided through a mobile communication network. In this case, it can be received by the mobile communication module 112.
  • the broadcast-related information may exist in various forms, such as, for example, an Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or an Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
  • EPG Electronic Program Guide
  • DMB Digital Multimedia Broadcasting
  • ESG Electronic Service Guide
  • DVD-H Digital Video Broadcast-Handheld
  • the mobile communication module 112 complies with technical standards or communication methods for mobile communication (eg, Global System for Mobile communication (GSM), Code Division Multi Access (CDMA), Code Division Multi Access 2000 (CDMA2000), EV) -DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A (Long Term Evolution-Advanced), 5G, etc.) to transmit and receive radio signals with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • CDMA2000 Code Division Multi Access 2000
  • EV -DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only)
  • HSDPA High Speed Downlink Packet Access
  • HSUPA High Speed Uplink Packet
  • the wireless signal may include a voice call signal, a video call signal, or various types of data according to text/multimedia message transmission/reception.
  • the wireless Internet module 113 refers to a module for wireless Internet access, and may be built into or external to the user terminal 100 .
  • the wireless Internet module 113 is configured to transmit and receive radio signals in a communication network according to wireless Internet technologies.
  • Wireless Internet technologies include, for example, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), LTE (Long Term Evolution), LTE-A (Long Term Evolution-Advanced), 5G, etc.
  • the module 113 transmits and receives data according to at least one wireless Internet technology within a range including Internet technologies not listed above.
  • the wireless Internet module for performing wireless Internet access through the mobile communication network 113 may be understood as a kind of the mobile communication module 112.
  • the short-range communication module 114 is for short-range communication, and includes Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and NFC. Near Field Communication (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and wireless USB (Wireless Universal Serial Bus) technology may be used to support short-distance communication.
  • the short-range communication module 114 may be used between the user terminal 100 and a wireless communication system, between the user terminal 100 and other user terminals 100, or between the user terminal 100 through wireless area networks. ) and a network where another user terminal 100 (or an external server) is located.
  • the local area wireless communication network may be a local area wireless personal area network (Wireless Personal Area Networks).
  • the other user terminal 100 is a wearable device capable of exchanging (or interlocking) data with the user terminal 100 according to the present invention (for example, a smart watch), smart glasses (smart glass) or HMD (head mounted display).
  • the short-range communication module 114 may detect (or recognize) a wearable device capable of communicating with the user terminal 100 around the user terminal 100 .
  • the controller 180 transmits at least a portion of data processed by the user terminal 100 to the short-range communication module ( 114) can be transmitted to the wearable device. Accordingly, the user of the wearable device may use data processed by the user terminal 100 through the wearable device.
  • the user when a call is received in the user terminal 100, the user makes a phone call through the wearable device, or when a message is received in the user terminal 100, the received message is received through the wearable device. It is possible to check the message.
  • the location information module 115 is a module for acquiring the location (or current location) of the user terminal, and representative examples thereof include a Global Positioning System (GPS) module or a Wireless Fidelity (WiFi) module.
  • GPS Global Positioning System
  • Wi-Fi Wireless Fidelity
  • the location of the user terminal may be obtained using a signal transmitted from a GPS satellite.
  • the location of the user terminal may be obtained based on information of the Wi-Fi module and a wireless access point (AP) that transmits or receives a wireless signal.
  • AP wireless access point
  • the location information module 115 may perform any function among other modules of the wireless communication unit 110 to obtain data on the location of the user terminal in substitution or addition.
  • the location information module 115 is a module used to obtain the location (or current location) of the user terminal, and is not limited to a module that directly calculates or acquires the location of the user terminal.
  • the input unit 120 is for inputting video information (or signals), audio information (or signals), data, or information input from the user.
  • the user terminal 100 has one Alternatively, a plurality of cameras 121 may be provided.
  • the camera 121 processes an image frame such as a still image or a moving image obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display unit 151 or stored in the memory 170 .
  • the plurality of cameras 121 provided in the user terminal 100 may be arranged to form a matrix structure, and through the cameras 121 forming the matrix structure, various angles or focal points may be provided to the user terminal 100.
  • a plurality of image information having may be input.
  • the plurality of cameras 121 may be arranged in a stereo structure to obtain left and right images for realizing a stereoscopic image.
  • the plurality of cameras 121 may include a depth camera and/or a Time of Flight (TOF) camera for three-dimensionally sensing a subject.
  • TOF Time of Flight
  • the microphone 122 processes external sound signals into electrical voice data.
  • the processed voice data may be utilized in various ways according to the function (or application program being executed) being performed in the user terminal 100 . Meanwhile, various noise cancellation algorithms for removing noise generated in the process of receiving an external sound signal may be implemented in the microphone 122 .
  • the user input unit 123 is for receiving information from a user, and when information is input through the user input unit 123, the control unit 180 can control the operation of the user terminal 100 to correspond to the input information.
  • the user input unit 123 is a mechanical input means (or a mechanical key, for example, a button located on the front, rear or side of the user terminal 100, a dome switch, a jog wheel, jog switch, etc.) and a touch input means.
  • the touch input means consists of a virtual key, soft key, or visual key displayed on a touch screen through software processing, or a part other than the touch screen. It can be made of a touch key (touch key) disposed on.
  • the virtual key or visual key can be displayed on the touch screen while having various forms, for example, graphic (graphic), text (text), icon (icon), video (video) or these may be made of a combination of
  • the sensing unit 140 senses at least one of information within the user terminal, surrounding environment information surrounding the user terminal, and user information, and generates a sensing signal corresponding thereto. Based on these sensing signals, the controller 180 may control driving or operation of the user terminal 100 or perform data processing, functions, or operations related to applications installed in the user terminal 100 . Representative sensors among various sensors that may be included in the sensing unit 140 will be described in more detail.
  • the proximity sensor 141 refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object existing nearby without mechanical contact by using the force of an electromagnetic field or infrared rays.
  • the proximity sensor 141 may be disposed in an inner area of the user terminal surrounded by the touch screen described above or in the vicinity of the touch screen.
  • the proximity sensor 141 examples include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitance type proximity sensor, a magnetic type proximity sensor, an infrared proximity sensor, and the like. If the touch screen is a capacitive type, the proximity sensor 141 may be configured to detect the proximity of a conductive object as a change in electric field according to the proximity of the object. In this case, the touch screen (or touch sensor) itself may be classified as a proximity sensor.
  • a proximity touch an action of approaching a touch screen without contacting an object to recognize that the object is located on the touch screen
  • touch An act of actually touching an object on a screen is called a "contact touch”.
  • the location at which an object is proximity-touched on the touch screen means a location at which the object corresponds vertically to the touch screen when the object is proximity-touched.
  • the proximity sensor 141 may detect a proximity touch and a proximity touch pattern (eg, proximity touch distance, proximity touch direction, proximity touch speed, proximity touch time, proximity touch position, proximity touch movement state, etc.) there is.
  • the controller 180 processes data (or information) corresponding to the proximity touch operation and proximity touch pattern detected through the proximity sensor 141, and furthermore, visual information corresponding to the processed data. It can be output on the touch screen. Furthermore, the controller 180 may control the user terminal 100 to process different operations or data (or information) depending on whether a touch to the same point on the touch screen is a proximity touch or a contact touch. .
  • the touch sensor detects a touch (or touch input) applied to the touch screen (or the display unit 151) using at least one of various touch methods such as a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and a magnetic field method. detect a touch (or touch input) applied to the touch screen (or the display unit 151) using at least one of various touch methods such as a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and a magnetic field method. detect
  • the touch sensor may be configured to convert a change in pressure applied to a specific part of the touch screen or capacitance generated in a specific part into an electrical input signal.
  • the touch sensor may be configured to detect a location, area, pressure upon touch, capacitance upon touch, and the like, at which a touch object that applies a touch to the touch screen is touched on the touch sensor.
  • the touch object is an object that applies a touch to the touch sensor, and may be, for example, a finger, a touch pen, a stylus pen, or a pointer.
  • the touch controller processes the signal(s) and then transmits corresponding data to the controller 180.
  • the controller 180 can know which area of the display unit 151 has been touched.
  • the touch controller may be a component separate from the controller 180 or may be the controller 180 itself.
  • the controller 180 may perform different controls or the same control according to the type of the touch object that touches the touch screen (or a touch key provided other than the touch screen). Whether to perform different controls or the same control according to the type of touch object may be determined according to an operating state of the user terminal 100 or an application program being executed.
  • touch sensor and proximity sensor described above are independently or combined, short (or tap) touch, long touch, multi-touch, drag touch on the touch screen ), flick touch, pinch-in touch, pinch-out touch, swipe touch, hovering touch, etc. Touch can be sensed.
  • the ultrasonic sensor may recognize location information of a sensing object by using ultrasonic waves.
  • the controller 180 may calculate the location of the wave generating source through information detected by the optical sensor and the plurality of ultrasonic sensors.
  • the position of the wave generating source can be calculated using the property that light is much faster than ultrasonic waves, that is, the time for light to reach the optical sensor is much faster than the time for ultrasonic waves to reach the ultrasonic sensor. More specifically, the location of the wave generating source may be calculated by using light as a reference signal and a time difference between the arrival time of ultrasonic waves.
  • the camera 121 includes at least one of a camera sensor (eg, CCD, CMOS, etc.), a photo sensor (or image sensor), and a laser sensor.
  • a camera sensor eg, CCD, CMOS, etc.
  • a photo sensor or image sensor
  • a laser sensor e.g., a laser sensor
  • the camera 121 and the laser sensor may be combined with each other to detect a touch of a sensing target for a 3D stereoscopic image.
  • a photo sensor may be stacked on a display device, and the photo sensor is configured to scan a motion of a sensing target close to the touch screen. More specifically, the photo sensor scans the content placed on the photo sensor by mounting photo diodes and transistors (TRs) in rows/columns and using electrical signals that change according to the amount of light applied to the photo diodes. That is, the photo sensor calculates the coordinates of the sensing object according to the change in light, and through this, the location information of the sensing object can be obtained.
  • TRs photo diodes and transistors
  • the display unit 151 displays (outputs) information processed by the user terminal 100 .
  • the display unit 151 may display execution screen information of an application program driven in the user terminal 100 or UI (User Interface) and GUI (Graphic User Interface) information according to such execution screen information. .
  • the display unit 151 may be configured as a 3D display unit that displays a 3D image.
  • a 3D display method such as a stereoscopic method (glasses method), an auto stereoscopic method (non-glasses method), or a projection method (holographic method) may be applied to the 3D display unit.
  • the audio output unit 152 may output audio data received from the wireless communication unit 110 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output unit 152 also outputs sound signals related to functions performed by the user terminal 100 (eg, call signal reception sound, message reception sound, etc.).
  • the sound output unit 152 may include a receiver, a speaker, a buzzer, and the like.
  • the haptic module 153 generates various tactile effects that a user can feel.
  • a representative example of the tactile effect generated by the haptic module 153 may be vibration.
  • the strength and pattern of the vibration generated by the haptic module 153 may be controlled by a user's selection or a setting of a controller.
  • the haptic module 153 may synthesize and output different vibrations or sequentially output them.
  • the haptic module 153 responds to stimuli such as an array of pins that move vertically with respect to the contact skin surface, air blowing force or suction force through a nozzle or suction port, rubbing against the skin surface, electrode contact, and electrostatic force. It is possible to generate various tactile effects, such as the effect of heat absorption and the effect of reproducing the feeling of coolness and warmth using an element capable of absorbing heat or generating heat.
  • the haptic module 153 not only transmits a tactile effect through direct contact, but also can be implemented so that a user can feel a tactile effect through a muscle sense such as a finger or an arm. Two or more haptic modules 153 may be provided according to configuration aspects of the user terminal 100 .
  • the light output unit 154 outputs a signal for notifying occurrence of an event using light from a light source of the user terminal 100 .
  • Examples of events occurring in the user terminal 100 may include message reception, call signal reception, missed calls, alarms, schedule notifications, e-mail reception, and information reception through applications.
  • a signal output from the light output unit 154 is implemented as the user terminal emits light of a single color or multiple colors toward the front or back side.
  • the signal output may be terminated when the user terminal detects the user's confirmation of the event.
  • the interface unit 160 serves as a passage for all external devices connected to the user terminal 100 .
  • the interface unit 160 receives data from an external device or receives power and transmits it to each component inside the user terminal 100, or transmits data inside the user terminal 100 to an external device.
  • a wired/wireless headset port For example, a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and a port for connecting a device having an identification module.
  • the interface unit 160 may include an audio I/O (Input/Output) port, a video I/O (Input/Output) port, an earphone port, and the like.
  • the identification module is a chip that stores various types of information for authenticating the right to use the user terminal 100, and includes a user identification module (UIM), a subscriber identity module (SIM), and universal user authentication. module (universal subscriber identity module; USIM) and the like.
  • a device equipped with an identification module (hereinafter referred to as 'identification device') may be manufactured in the form of a smart card. Accordingly, the identification device may be connected to the terminal 100 through the interface unit 160 .
  • the interface unit 160 becomes a passage through which power from the cradle is supplied to the user terminal 100 when the user terminal 100 is connected to an external cradle, or a power input from the cradle by the user. It can be a passage through which various command signals are transmitted to the user terminal 100 .
  • Various command signals or the power input from the cradle may operate as a signal for recognizing that the user terminal 100 is correctly mounted on the cradle.
  • the memory 170 may store programs for operation of the controller 180 and may temporarily store input/output data (eg, phonebook, message, still image, video, etc.).
  • the memory 170 may store data related to vibration and sound of various patterns output when a touch is input on the touch screen.
  • the memory 170 may be a flash memory type, a hard disk type, a solid state disk type, a silicon disk drive type, or a multimedia card micro type. ), card-type memory (eg SD or XD memory, etc.), RAM (random access memory; RAM), SRAM (static random access memory), ROM (read-only memory; ROM), EEPROM (electrically erasable programmable read -only memory), a programmable read-only memory (PROM), a magnetic memory, a magnetic disk, and an optical disk.
  • the user terminal 100 may operate in relation to a web storage that performs a storage function of the memory 170 on the Internet.
  • control unit 180 controls the operation related to the application program and generally the overall operation of the user terminal 100 . For example, if the state of the user terminal satisfies a set condition, the control unit 180 may execute or release a locked state that restricts the user's control command input to applications.
  • controller 180 may perform control and processing related to voice calls, data communications, video calls, etc., or perform pattern recognition processing capable of recognizing handwriting input or drawing input performed on the touch screen as characters and images, respectively.
  • control unit 180 may control any one or a combination of a plurality of components described above in order to implement various embodiments described below on the user terminal 100 according to the present invention.
  • the power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power necessary for the operation of each component.
  • the power supply unit 190 includes a battery, and the battery may be a built-in battery capable of being charged, or may be detachably coupled to the terminal body for charging.
  • the power supply unit 190 may have a connection port, and the connection port may be configured as an example of an interface 160 electrically connected to an external charger that supplies power to charge the battery.
  • the power supply unit 190 may charge the battery in a wireless manner without using the connection port.
  • the power supply unit 190 uses at least one of an inductive coupling method based on magnetic induction from an external wireless power transmitter or a magnetic resonance coupling method based on electromagnetic resonance. power can be delivered.
  • the control unit may include one or a plurality of processors.
  • the one or more processors may be a general-purpose processor such as a CPU, an AP, or a digital signal processor (DSP), a graphics-only processor such as a GPU or a vision processing unit (VPU), or an artificial intelligence-only processor such as an NPU.
  • DSP digital signal processor
  • GPU graphics-only processor
  • VPU vision processing unit
  • NPU artificial intelligence-only processor
  • One or more processors may be controlled to process input data according to predefined operating rules or artificial intelligence models stored in a memory.
  • the processors dedicated to artificial intelligence may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
  • Predefined action rules or artificial intelligence models can be created through learning.
  • being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden.
  • Such learning may be performed in the device itself in which artificial intelligence according to the present disclosure is performed, or through a separate server and/or system.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the above examples.
  • An artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation may be performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • a plurality of weights possessed by a plurality of neural network layers may be optimized by a learning result of an artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from an artificial intelligence model is reduced or minimized during a learning process.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), A deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or deep Q-networks, but is not limited to the above examples.
  • DNN deep neural network
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • RBM Restricted Boltzmann Machine
  • BBN Restricted Boltzmann Machine
  • BBN deep belief network
  • BNN bidirectional recurrent deep neural network
  • Q-networks deep Q-networks
  • the user terminal 100 may operate in conjunction with an external device and/or an external platform. This will be described with further reference to FIG. 2 . 2 illustrates interworking between a user terminal and an external device according to an aspect of the present invention.
  • the controller 180 of the user terminal 100 may operate in conjunction with at least one external device.
  • the user terminal 100 may be connected to the at least one external device by wire through the interface unit 160, or wirelessly connected to the at least one external device through the wireless communication unit 110.
  • the controller 180 may receive an image sensed in real time by at least one external camera 221 .
  • the controller 180 may transmit image, Augmented Reality (AR), and/or Extended Reality (XR) information to at least one external display 251 so that it can be displayed. Also, when the external display 251 is configured as a touch screen, the controller 180 may receive a signal related to a touch gesture received from a user through the external display 251 .
  • AR Augmented Reality
  • XR Extended Reality
  • the controller 180 of the user terminal 100 may operate in conjunction with at least one external platform (or server) 300-1 and 300-2.
  • the user terminal 100 may be wirelessly connected to the at least one external platform 300 - 1 or 300 - 2 through the wireless communication unit 110 . Data exchanged between the user terminal 100 and the at least one external platform 300-1 or 300-2 will be described later.
  • the user terminal 100 may be operated in conjunction with the vehicle 200 or a device mounted on the vehicle 200 .
  • FIG. 3 illustrates a vehicle capable of interworking with a user terminal according to an aspect of the present invention.
  • the control unit 180 of the user terminal 100 includes at least one camera 221-1, 221-2, 221-1 mounted on the vehicle 200. 3, 221-4) and can operate.
  • the at least one camera is illustrated as including a front camera 221-1, a right camera 221-2, a left camera 221-3, and a rear camera 221-4.
  • the controller 180 may operate in conjunction with the first display 251-1 provided in the vehicle.
  • the first display 251-1 can display, for example, a navigation guide screen, and can also display an image sensed by the at least one camera when a specific event (eg, user command, etc.) occurs.
  • the control unit 180 includes a user input unit 223 (eg, a button, a dome switch, a jog wheel, A jog switch, a touch input means, etc.) may operate in conjunction with each other.
  • a user input unit 223 eg, a button, a dome switch, a jog wheel, A jog switch, a touch input means, etc.
  • the control unit 180 displays the information on the first display 251-1 and/or the second display 251-2 provided in the vehicle.
  • An image sensed by at least one camera may be displayed.
  • an image sensed by the at least one camera is displayed on the second display 251-2 provided as a digital instrument panel display of the vehicle.
  • an image sensed by the at least one camera is displayed on the first display 251-1 and/or the second display 251-2, the image is displayed on another display (not shown) (for example, a rear seat occupant
  • another display for example, a rear seat occupant
  • An object (not shown) for sharing may be displayed together on a display provided for display), and when the object is touched through, for example, a touch input, the image may be shared with the other display.
  • FIG. 4 illustrates an example of movement data collection to provide user-customized tour guide contents according to an aspect of the present invention.
  • the controller 180 of the user terminal 100 uses cameras 121 and 221, lidar sensors 240- 1) and the radar sensor 240-2, etc., real-time images around the user and information on places, buildings, topography and/or features may be obtained.
  • the lidar sensor 240 - 1 and the lidar sensor 240 - 2 may be external devices that interwork with the user terminal 100 or may be built into the user terminal 100 .
  • the control unit 180 uses, for example, a GPS module (and/or Wi-Fi module) to obtain location information of the user while moving, in real time of the user. Location information, driving speed information, movement route information, and stay time information in a specific place may be obtained. In addition, the control unit 180 may set a user's desired destination through the navigation application or program 310 in the user terminal 100, search for and guide a movement route to the set destination.
  • a GPS module and/or Wi-Fi module
  • the controller 180 may, for example, use a home appliance 320 (e.g., a TV, audio system, etc.), IoT (Internet of Things) sensor 330 (eg, illuminance sensor, temperature/humidity sensor, etc.) Information on illuminance, current temperature and humidity, etc. may be acquired.
  • a home appliance 320 e.g., a TV, audio system, etc.
  • IoT Internet of Things
  • sensor 330 eg, illuminance sensor, temperature/humidity sensor, etc.
  • Information on illuminance, current temperature and humidity, etc. may be acquired.
  • FIG. 5 illustrates an example of user data collection to provide user-customized tour guide contents according to an aspect of the present invention.
  • the controller 180 of the user terminal 100 uses a camera 121, a radar sensor 240- 3) can be used to obtain information such as the user's movement, gaze, breathing, and the like.
  • the camera 121 and the radar sensor 240-3 may be arranged to face the user.
  • the control unit 180 can determine whether the user is currently sleeping or not sleeping in the vehicle, for example.
  • the controller 180 may recognize the user's voice or the content of a conversation through the microphone 122 .
  • the control unit 180 uses the user applications 340 and the use history of the home appliance 320, the user's search and selection pattern, travel destination reservation and
  • the user's propensity (in particular, a propensity related to travel) may be grasped by obtaining information on visit frequency, SNS data, content of interest, review content, and home appliance use pattern.
  • FIG. 6 illustrates an example of collecting tour point data to provide user-customized tour guide contents according to an aspect of the present invention.
  • the user terminal 100 may operate in conjunction with the first external platform 300-1 that provides a tour guide through the wireless communication unit 110. . Through this, the user terminal 100 receives information about recommended travel itineraries, concierge information available at hotels to stay in, and big data about travel information of other users from the first external platform 300-1. can be obtained
  • the user terminal 100 may operate in conjunction with the second external platform 300-2 that provides travel destination information through the wireless communication unit 110. Through this, the user terminal 100 can acquire weather information, local information, and tourism information of a travel destination from the second external platform 300-2.
  • first external platform 300-1 and the second external platform 300-2 are illustrated as being composed of separate entities. However, it does not necessarily have to be configured that way.
  • the first external platform 300-1 and the second external platform 300-2 are integrated with each other to form a single entity or interlocked with each other, so that the first external platform 300-1 and the second external platform ( 300-2) may be provided through one integrated platform or another platform.
  • FIG. 7 is a flowchart of a process for providing user-customized tour guide content in accordance with an aspect of the present invention.
  • the control unit 180 of the user terminal 100 can detect an event triggering the provision of tour guide contents [S71].
  • the event may be, for example, recognizing an input of a user command requesting provision of tour guide contents.
  • the user command may be input through a touch gesture on the display 151 or 251 or through the user's voice through the microphone 122 .
  • the event is received from the first external platform 300-1 or the second external platform 300-2 by reaching a specific travel destination location even without a user command, and is an event for recommending tour guide contents related to the specific travel destination. It could be. That is, the recommendation event may be automatically generated and received by the first external platform 300-1 or the second external platform 300-2.
  • control unit 180 may collect various data for providing the user-customized tour guide contents, that is, movement data, user data, and travel destination data [S72]. Since this has been described above with reference to FIGS. 4 to 6 , a detailed description thereof will be omitted.
  • step S72 is performed after the step S71 is performed. However, it does not matter even if the order of these two steps is changed, and in fact, it is okay to see them as being performed simultaneously from the user's point of view.
  • control unit 180 may model the data collected in step S72 to provide the user-customized tour guide contents [S73].
  • the control unit 180 analyzes the image sensed in real time through the camera 221 to detect objects such as places, buildings, topography, and/or features within a predetermined radial distance (eg, 5 km) from the current location. and tagging the identified object on the image with corresponding identification information (eg, place building, terrain, and/or feature identification information).
  • the object may include the tour point.
  • the control unit 180 analyzes the image sensed in real time through the camera 221, and performs image processing such that objects related to providing the tour guide content are highlighted, dimmed, or 3D rendered in the image so as to be visually distinguished. can do.
  • the control unit 180 identifies the timing point at which the user requests to provide tour guide content and the location of the user at that point in time, and identifies an object corresponding to the timing point and the location of the user in the video, It is possible to analyze the intention of the user's command regarding the object for which the user desires to provide tour guide contents.
  • the controller 180 may recognize the voice through artificial intelligence and analyze the user's intention more accurately by further based on information on the recognized voice. Based on the analyzed user intention, the control unit 180 can more accurately grasp the intention of the user command regarding which object the user wants to receive tour guide contents for.
  • the controller 180 analyzes the user's voice spectrum input through the microphone 122 through artificial intelligence to determine the user's characteristics (eg, gender, age, etc.), thereby sensing before the user command.
  • the user's speech or conversation context may be recognized. For example, when a user's utterance or conversation is "famous restaurant", the recognition of the context is intended to reflect this, since the criterion for "famous restaurant” may vary depending on the characteristics of the user.
  • the control unit 180 may analyze the frequency and content of a specific word in the user's speech or conversation, and extract and store the subject and intention of the speech or conversation as a feature vector. Based on the context of the analyzed user utterance or conversation, the control unit 180 can more accurately grasp the intention of the user command regarding which object the user wants to receive tour guide contents for.
  • the controller 180 analyzes the user's behavior and/or appearance sensed through the camera 121 and the radar sensor 240-3 through artificial intelligence, and also analyzes the user's behavior and/or appearance sensed through the microphone 122.
  • the controller 180 may further grasp the current state of the home appliance 320 operated by the user. For example, by determining the current operating state of the home appliance 320 , it is possible to more accurately determine whether the user is using the home appliance 320 and, if so, how the user is using the home appliance 320 .
  • the controller 180 can identify which mode (eg, sleep mode, rest mode, multi-tasking mode, or do not disturb mode) the user is currently in.
  • the control unit 180 may recognize not only the user but also the state of the vehicle the user is currently riding for movement. For example, the controller 180 may recognize information about the user's real-time location information, driving speed information, and the like, by using the GPS module or the like. In addition, the control unit 180 may directly communicate with the vehicle and directly receive information about the vehicle state from the vehicle. The condition of the vehicle may be used, for example, to determine the type and/or amount of tour guide content provided to the user.
  • the controller 180 controls the places where the user has traveled, the length of stay in each place, the places bookmarked by the user among each place, the user's behavior and/or activity in each place, and the user at each place. Based on accumulated data on searched information and information shared by users in each place, the user's travel pattern and service usage pattern during travel can be analyzed through artificial intelligence. It is possible to recognize what kind of preference the user has through the user's travel pattern and service use pattern during travel. Based on the analyzed user's preference, the control unit 180 can more accurately grasp the intention of the user's command regarding which object the user wants to receive tour guide contents for.
  • the analysis of the travel patterns and service usage patterns during travel can be done independently for different users, for example through facial recognition of the users. That is, even if two or more users use the user terminal 100, the user terminal 100 may individually analyze the travel pattern and the service use pattern during travel for the two or more users.
  • control unit 180 may analyze big data on the preferences of other users who use the tour guide contents providing service and utilize it in providing tour guide contents at each place. That is, in providing tour guide contents, not only the user's preferences are reflected, but also the preferences of other users based on big data may be reflected.
  • control unit 180 may provide the user-customized tour guide contents [S74].
  • the provided content is generated based on the result of modeling the data collected in step S72 in step S73.
  • the tour guide content is information about an object such as the tour point, it may be referred to as object information.
  • the tour guide contents may be generated by the user terminal 100 itself.
  • the tour guide content transmits identification information of the object to the first external platform 300-1 and/or the second external platform 300-2, and the first external platform 300-1 and/or It may be created by receiving text, sound and/or image information corresponding to the identification information to the second external platform 300-2. That is, the tour guide content may include at least one of text, sound, and image information.
  • the provided content may be audio content through the audio output unit 152 and/or visual content through the displays 151 and 251 .
  • the audio content and the visual content will be described again later.
  • control unit 180 may automatically or manually provide the user-customized tour guide contents [S74]. That is, the end of providing the user-customized tour guide contents may be manually performed by the user inputting a user command for this purpose, or may be automatically performed when a preset event is issued even if the user does not input the user command. there is. This will be explained again later.
  • FIG. 8 is a flowchart of a process for providing user-customized tour guide content in accordance with one aspect of the present invention.
  • control unit 180 of the user terminal 100 may determine whether or not a user command requesting provision of the tour guide contents has been received [S81].
  • the user command may be input through a touch gesture on the display 151 or 251 or through the user's voice through the microphone 122 .
  • step S81 If it is determined that there is the user command in step S81, the process proceeds to step S87 to be described below.
  • the controller 180 can determine whether an event recommending the tour guide contents has occurred [S83].
  • the event is received from the first external platform 300-1 or the second external platform 300-2 by reaching a specific travel destination location even without a user command, and is an event that recommends tour guide contents related to the specific travel destination. may be That is, the recommendation event may be automatically generated and received by the first external platform 300-1 or the second external platform 300-2.
  • step S82 is performed after the step S81 is performed.
  • step S81 is not necessarily performed before the step S82 is performed.
  • step S83 If it is determined that the recommendation event has not occurred in step S83, the process proceeds to step S81.
  • the controller 180 can determine whether the user is in a non-sleeping state, that is, not sleeping [S85]. That is, the controller 180 can determine whether the user moving in the vehicle for travel is currently sleeping or not sleeping. As described above, the controller 180 uses the camera 121 and the radar sensor 240-3 arranged to face the user to obtain information about the user's behavior while moving, By acquiring information such as movement, gaze, breathing, etc., it is possible to identify whether the user is sleeping or not sleeping.
  • step S85 the controller 180 determines that the current situation is situation 4.
  • the provision of the tour guide contents in the situation 4 will be described with reference to FIG. 12 below.
  • the controller 180 can determine whether the displays 151 and 251 are in a power saving mode or a non-power saving mode.
  • the power saving mode may include power off of the display, inactivation mode, and always on display (AOD) mode.
  • step S87 the controller 180 determines that the current situation is situation 3.
  • the provision of the tour guide contents in the situation 3 will be described with reference to FIG. 11 below.
  • the controller 180 determines whether another application (or program) is already running in the foreground in the user terminal 100. It can [S89]. That is, when the other application is already running in the foreground and the tour guide content is provided and displayed, the control unit 180 can determine whether or not to run the application in multitasking mode.
  • step S85 the controller 180 determines that the current situation is situation 2.
  • the provision of the tour guide contents in the situation 2 will be described with reference to FIG. 10 below.
  • step S85 the controller 180 determines that the current situation is situation 1.
  • the provision of the tour guide contents in the situation 1 will be described with reference to FIG. 9 below.
  • FIG. 9 is a flowchart illustrating a process of providing user-customized tour guide contents in situation 1 of FIG. 8 .
  • the controller 180 divides the screens of the displays 151 and 251 and controls the display of the tour guide content screen and the screen of the application running in the foreground at the same time [S91].
  • the display 151 or 251 is screen-divided in a Picture in Picture (PIP) method, and an application running in the foreground is displayed in a larger area among the two screen-divided areas of the display 151 or 251.
  • An execution screen may be displayed, and the tour guide content screen may be displayed in a small area.
  • PIP Picture in Picture
  • the controller 180 can determine whether a user command for displaying the tour guide content on a screen related to it is input [S93].
  • the user command may be input through a touch gesture on the display 151 or 251 or through a user's voice through the microphone 122 .
  • that the screen related to the tour guide content is displayed on the full screen means that the screen related to the tour guide content is displayed on the display when the user sees it at a glance without the execution screen of another application or the playback screen of other content being displayed on the display ( 151, 251), but does not mean that the relevant screen of the tour guide content must be displayed occupying 100% of the display 151, 251.
  • the controller 180 may provide a screen related to the tour guide content in accordance with situation 2 above.
  • control unit 180 maintains the screen division of the displays 151 and 251 while performing the tour
  • the screen of the guide content and the screen of the application running in the foreground may be controlled to be simultaneously displayed [S91].
  • FIG. 10 is a flowchart of a process of providing user-customized tour guide contents in situation 2 of FIG. 8 .
  • the controller 180 may control the displays 151 and 251 to display an image sensed in real time by the at least one external camera 221 in a full screen [S101].
  • the controller 180 may determine whether a tour point, such as a place, building, terrain, and/or object of a feature corresponding to a famous tourist destination or travel destination in the image is within the frame of the image sensed in real time [ S103].
  • a tour point such as a place, building, terrain, and/or object of a feature corresponding to a famous tourist destination or travel destination in the image is within the frame of the image sensed in real time [ S103].
  • step S103 If it is determined in step S103 that the tour point is not within the frame, the controller 180 may not display tour guide contents for the tour point [S105].
  • the controller 180 can display the tour guide contents for the tour point together with the real-time video [S107].
  • the tour guide content displayed here may be a simplified version of the tour guide content.
  • the tour guide content may be displayed only while the tour point exists within the frame. Alternatively, the tour guide contents may not be displayed after a lapse of a predetermined time from the time when the tour point is included in the frame even if the tour point is included in the frame.
  • the controller 180 may receive a user command requesting display of detailed information on the tour guide contents (ie, detailed version of the tour guide contents).
  • the user command may be input through a touch gesture on the display 151 or 251 or through a user's voice through the microphone 122 .
  • the controller 180 can display detailed information of the tour guide contents.
  • the detailed information may be displayed on the full screen without the real-time image, or may be displayed together overlaid on the real-time image [S109].
  • the controller 180 may control the detailed information to automatically disappear after displaying the detailed information for a predetermined time (eg, 10 seconds) [S111].
  • the detailed information may be continuously displayed for the predetermined time even if the tour point disappears within the frame.
  • FIG. 11 is a flowchart illustrating a process of providing user-customized tour guide contents in situation 3 of FIG. 8 .
  • control unit 180 may provide the tour guide information only with audio through the audio output unit 152 [S111].
  • the controller 180 may determine whether a user command for switching the displays 151 and 251 to a non-power saving mode is input [S113].
  • the user command may be input through a touch gesture on the display 151 or 251 or through a user's voice through the microphone 122 .
  • the controller 180 may provide the tour guide contents according to situation 2 of FIG. 10 described above.
  • the controller 180 may determine whether the tour point is still within the frame [S115].
  • the controller 180 may continue to provide the tour guide information only with audio [S111].
  • step S115 if it is determined in step S115 that the tour point has disappeared within the frame (ie, it is determined that it has moved out of the frame), the control unit 180 provides audio only up to the currently spoken sentence, and then further guides the tour. Information can be controlled not to be provided [S117].
  • FIG. 12 is a flowchart of a process of providing user-customized tour guide contents in situation 4 of FIG. 8 .
  • the controller 180 may store the real-time video including the tour point [S121]. That is, the control unit 180 controls from the moment the tour point enters the frame or from a predetermined time (for example, 5 seconds) before the tour point enters the frame to the moment the tour point leaves the frame and disappears or for a predetermined time after disappearing (eg, 5 seconds). For example, up to 5 seconds), the real-time video can be recorded and the recorded real-time video can be stored in the memory 170 .
  • a predetermined time for example, 5 seconds
  • a predetermined time for example, 5 seconds
  • the real-time video can be recorded and the recorded real-time video can be stored in the memory 170 .
  • the controller 180 can display an image list.
  • the image list may be displayed when a user command is input [S123].
  • the video list may include the recorded real-time video.
  • the controller 180 can reproduce and display the selected image on the display 151 or 251 .
  • a user command for displaying the image list and a user command for selecting one image from the image list may be input through a corresponding touch gesture on the display 151 or 251, or a user command through the microphone 122. It may be input through the corresponding voice.
  • FIG. 13 shows a display screen providing tour guide contents in situation 1 of FIG. 9 .
  • the controller 180 can display the execution screen 410 of an application running in the foreground on the displays 151 and 251 in full screen.
  • the application running in the foreground is a video playback application
  • the execution screen 410 of the application is a video (eg, movie) playback screen.
  • the user terminal 100 receives a user's command requesting the provision of the tour guide contents or recommends the tour guide contents. event can occur.
  • the reception of a user's command requesting the provision of tour guide contents and the occurrence of an event recommending the tour guide contents will be collectively referred to as a "tour guide contents provision triggering event".
  • the controller 180 divides the screens of the displays 151 and 251 to display the execution screen 410 of the application and the tour guide contents 430. can be controlled to display simultaneously.
  • the displays 151 and 251 are screen-divided in a PIP (Picture in Picture) method, and the application is displayed in a larger area among the two screen-divided areas of the displays 151 and 251.
  • An execution screen 410 is displayed, and the tour guide content screen 430 is displayed in a small area.
  • the controller 180 when the screen 430 of the tour guide content is touched and selected, the controller 180 is configured as shown in (14-1), (14-2), or (14-3) of FIG. 14 to be described below.
  • the tour guide content may be displayed on a full screen.
  • FIG. 14 shows a display screen providing tour guide contents in situation 2 of FIG. 10 .
  • the controller 180 displays an image 420 sensed in real time by the at least one external camera 221 on the displays 151 and 251 as a full screen. can be controlled to display.
  • the controller 180 may display a plurality of tour point indicators 421 and 423 indicating tour points and a navigation map 451 in the image 420 .
  • the tour point indicators 421 and 423 and/or the navigation map 451 may also be understood as belonging to the tour guide content.
  • the tour point indicators 421 and 423 may be displayed in an Augmented Reality (AR) or Extended Reality (XR) manner to correspond to a corresponding tour point in the image.
  • the tour point indicator may include only brief information about the tour point (eg, the name of a tourist destination or travel destination). The brief information of the tour point may be understood as a simplified version of the tour guide content.
  • the controller 180 does not necessarily have to display all of the plurality of tour point indicators 421 and 423.
  • the control unit 180 considers the user's inclination, and as shown in (14-2) of FIG. 14, the tour point indicator 422 corresponding to the tour point 423 that most closely matches the user's inclination. can only be displayed. In this case, the area other than the tour point 423 and its indicator 422 is dimmed on the screen on which the tour guide contents are displayed, or the tour point 423 and its indicator 422 are highlighted. , the tour point 423 and its indicator 422 can be displayed so as to be visually conspicuous, that is, visually identified.
  • one tour point indicator 422 may be selected. The selection may be made through a touch gesture on the display 151 or 251 or through a user's voice through the microphone 122 .
  • the controller 180 can display the detailed content 422-2 of the tour point 423.
  • the detailed content 422-2 may include more detailed information (eg, a detailed description of a tourist destination or travel destination) in addition to the brief information.
  • the tour point indicator 422 may be converted to a minimized indicator 422-1 and displayed.
  • 15 illustrates an example of tour guide contents provided in situation 3 of FIG. 11 .
  • control unit 180 may provide the tour guide information only as audio through the audio output unit 152. At this time, the controller 180 may provide different versions of tour guide information for the same tour point according to the moving speed of the user (or the vehicle in which the user rides).
  • the controller 180 may also provide a simplified version of the tour guide information 510 .
  • the reason for providing the simplified version of the tour guide information 510 is that if the moving speed exceeds a certain speed, the tour point will pass quickly, so the provision of the tour guide information 510 before completely passing the tour point This is to make it possible to finish.
  • the controller 180 may also provide detailed version of tour guide information 520 (or detailed information on the tour guide contents).
  • the reason why the detailed version of the tour guide information 520 is provided is that if the moving speed is less than a certain speed, the tour point will pass slowly, and it will take a certain amount of time to completely pass the tour point. This is to sufficiently provide information about the tour point during the time.
  • the controller 180 may provide additional information 530 about the tour point.
  • FIG. 16 illustrates an example of tour guide contents provided in situation 4 of FIG. 12 .
  • the controller 180 may record the real-time video including the tour point and store it in the memory 170.
  • the recorded real-time video may include both the tour point indicator and related information.
  • the controller 180 can display the image list 610.
  • the video list 610 includes at least one video classified as a recommendation category 611, at least one video classified as a recent category 613, at least one video classified as a favorite category 615, and a place category ( 617) may include at least one image.
  • the recorded video may be classified into at least one category among the plurality of categories and stored in the video list 610 .
  • the controller 180 When a user command for selecting a video from the video list 610 is input, the controller 180 reproduces the selected video to display a playback screen 620 as shown in (16-2) of FIG. can be displayed on the displays 151 and 251.
  • the controller 180 may display a progress bar 630 for controlling reproduction of the selected image on the reproduction screen 620 .
  • At least one bookmark indicator 631 , 632 , 633 may be displayed on the progress bar 630 to correspond to a time point at which the tour point appears. Accordingly, when one of the bookmark indicators is selected, an image at a point in time including a tour point corresponding to the selected bookmark indicator can be immediately reproduced. When an image at a time point including the tour point is reproduced, a corresponding tour point indicator and related information may be displayed together.
  • FIG. 17 illustrates a screen on which tour guide contents provided according to FIG. 7 are displayed.
  • the controller 180 displays the real-time image 420 on the displays 151 and 251 (sensed in real time by the at least one external camera 221). image) can be controlled to display.
  • the triggering event may occur in the user terminal 100 .
  • the occurrence of the triggering event means that, as shown in (17-2) of FIG. 17, the controller 180 receives an input of a user's voice command 710 requesting the provision of tour guide contents. It may be recognized through the microphone 122.
  • the controller 180 can generate tour guide contents customized for the user for the tour point based on the result of modeling the data collected in step S72 in step S73. That is, even if there is an unclear part in the voice command 710, the controller 180 understands the context of the user's voice command based on the result of modeling the data collected in step S72 in step S73 and Tour guide contents customized to the user may be provided.
  • the controller 180 may control to display the information 423 of the tour guide content.
  • the displayed tour guide content is a simplified version, and only brief information may be displayed.
  • the display size of the tour guide content information 423 may vary according to the distance between the tour point and the user. For example, the display size of the tour guide content information 423 may increase as the distance between the user and the tour point decreases.
  • the triggering event occurs, if the user's moving speed is less than a predetermined speed, the detailed tour guide contents may be displayed, and if the user's moving speed is greater than or equal to the predetermined speed, the simple information may be displayed.
  • the controller 180 may control the display of the tour guide content to end when the tour point is out of the frame of the real-time video.
  • controller 180 may end the display of the tour guide contents in response to a user command even if the tour point does not deviate from the frame of the real-time video.
  • tour guide contents for the tour point may not necessarily be displayed. This will be further described with reference to FIG. 18 .
  • 18 illustrates an example of a distance range in which tour guide content is displayed according to an aspect of the present invention.
  • the triggering event may occur in the user terminal 100 while the real-time video 420 is being displayed.
  • the generation of the triggering event may mean that the control unit 180 recognizes, through the microphone 122, an input of a user's voice command 710 requesting the provision of tour guide contents.
  • control unit 180 generates a plurality of tour guide contents corresponding to a plurality of tour points, based on the result of modeling the data collected in the step S72 in the step S73, and the plurality of tour guide contents. (eg, brief information) 424 may be controlled to be displayed.
  • a plurality of tour guide contents corresponding to a plurality of tour points, based on the result of modeling the data collected in the step S72 in the step S73, and the plurality of tour guide contents. (eg, brief information) 424 may be controlled to be displayed.
  • the plurality of tour points may be some of all tour points existing in a frame of the real-time video.
  • the plurality of tour points include the user or the vehicle 200 in which the user is riding among all tour points existing in a frame of the real-time video.
  • It may be located within a predetermined radial distance (eg, 200 m) from.
  • FIG. 19 illustrates an example of selecting a type of tour guide content according to an aspect of the present invention.
  • the controller 180 displays a plurality of tour guides for a plurality of tour points while displaying the real-time image 420 on the displays 151 and 251.
  • Contents 425, 426, and 427 may be displayed.
  • the controller 180 displays tour point type icons 441, 442, and 443 for determining the type of tour point desired by the user together with the plurality of tour guide contents 425, 426, and 427.
  • Each tour point type icon is an on/off toggle switch type, and selection and deselection of the corresponding tour object type can be toggled whenever each icon is touched and selected. Accordingly, the user may toggle the tour point type icons 441, 442, and 443 to determine the type of tour point desired by the user.
  • the controller 180 controls so that only tour guide contents corresponding to at least one tour point type selected through the tour point type icons 441, 442, and 443 are selectively displayed together with the real-time image 420. can do.
  • the present invention is not limited to A.
  • the number of tour guide contents that can be displayed is limited to a predetermined number (eg, 10), and if the tour guide contents to be displayed exceed the predetermined number, the tour guide contents displayed for a long time. It may also be configured to be deleted in order.
  • the real-time video can be displayed as tour guide content on the displays 151 and 251 .
  • the user terminal 100 has a plurality of external cameras, that is, a front camera 221-1, a right camera 221-2, a left camera 221-3, and a rear camera. It can operate in conjunction with (221-4).
  • an image sensed in real time by a camera selected by a user from among the four cameras may be displayed as a main image on the displays 151 and 251 .
  • FIG. 20 illustrates an example of selection of a displayed real-time image according to an aspect of the present invention.
  • the controller 180 displays camera icons respectively corresponding to the four cameras 221-1, 221-2, 221-3, and 221-4 on the displays 151 and 251. (221A, 221B, 221C, 221D) can be controlled to be displayed.
  • the controller 180 may display an image 420 sensed in real time by a camera corresponding to the selected icon as a main image on the displays 151 and 251. there is.
  • the tour guide content provision triggering events include reception of a user's command requesting the provision of the tour guide content and occurrence of an event recommending the tour guide content.
  • the tour guide content provision triggering event may not be limited thereto.
  • the driver of the vehicle 200 may trigger whether to provide the tour guide contents to passengers using the user terminal 100 while sitting in the back seat of the vehicle 200 . This will be further described with reference to FIG. 21 .
  • 21 illustrates an example of sharing tour guide contents according to an aspect of the present invention.
  • the vehicle 200 and the user terminal 100 may interwork with each other.
  • the driver may use the user input unit 223 provided on the steering wheel of the vehicle (eg For example, when a button, a dome switch, a jog wheel, a jog switch, a touch input means, etc.) are operated, a control signal for triggering the provision of the tour guide contents is transmitted from the vehicle 200 to the user terminal 100. ) can be provided.
  • the user terminal 100 may provide the above-described tour guide contents to the passenger based on the control signal.
  • the user terminal 100 may provide information about the current situation determined according to FIG. 8 to the vehicle 200 .
  • the vehicle 200 may display the current situation information 460 on the digital instrument panel display 251 - 2 of the vehicle 200 .
  • the driver may determine whether to share the tour guide contents with the passenger by referring to the displayed information 460 on the current situation.
  • the real-time video may be stored regardless of whether the user is in a non-sleeping state, and tour guide contents for the tour point may be displayed regardless of whether the tour point exists within a frame of the currently displayed real-time video. can This will be further described with reference to FIG. 22 .
  • the controller 180 senses an image in real time through the external camera 221, and through the location information module 115, the location of the user terminal 100 and the direction of the user terminal 100 (i.e., Information on the direction of the external camera 221) may be sensed [S221].
  • the controller 180 may analyze a plurality of objects included in the real-time video in real time through analysis of the real-time video.
  • the controller 180 analyzes the image sensed in real time, that is, the real-time image, identifies at least one object such as a place, building, terrain and/or feature in the image, and identifies the corresponding object for each identified object.
  • Information eg, object name, etc.
  • the object may include the aforementioned tour point.
  • controller 180 may store the real-time image including identification information tagged to the at least one object in the memory 170 [S223].
  • the controller 180 may detect the triggering event [S224]. For example, detecting the triggering event may mean that the controller 180 recognizes, through the microphone 122, an input of a user's voice command requesting the provision of tour guide contents.
  • the controller 180 may select an object corresponding to the triggering event [S225].
  • the triggering event is the user's voice command
  • the controller 180 may select an object corresponding to the voice command in consideration of the location and direction of the user terminal 100 .
  • the controller 180 selects the object, the above-described data collection in step S72 of FIG. 7 and data modeling in step S73 may be further utilized.
  • the controller 180 may determine whether the selected object is included in the real-time image currently being displayed on the display 151 [S226].
  • the controller 180 may display object information corresponding to the object while processing the image so that the object is highlighted in the image.
  • the object information may include the tour content information.
  • Highlighting the object in the image means that the object can be visually distinguished from other objects in the real-time image, and there is no limitation on the image processing method for the visual distinction. For example, graphics for only the object may be displayed, and only the object may be image-processed more brightly than other objects.
  • the object information may be generated by the user terminal 100 itself.
  • the object information transmits identification information of the object to the first external platform 300-1 and/or the second external platform 300-2, and the first external platform 300-1 and/or the second external platform 300-2. 2 It may be generated by receiving text, sound and/or image information corresponding to the identification information to the external platform 300-2. That is, the object information may include at least one of text, sound, and image information.
  • the controller 180 may control the display position of the object information within the display 151 to be changed according to the position where the object is displayed within the image.
  • a display position of the object information may be determined so as to be adjacent to the object within a range in which the object information does not cover the object in the image, and may be displayed so as to be overlaid on the real-time image.
  • the controller 180 may control the object information to be displayed together with the real-time image at a predetermined location.
  • highlight image processing may not be performed for any object in the real-time image in response to the user's voice.
  • the object information may be displayed on the display 151 in a pop-up window, PIP, or screen division method.
  • the object information may be generated by the user terminal 100 itself.
  • the object information transmits identification information of the object to the first external platform 300-1 and/or the second external platform 300-2, and the first external platform 300-1 and/or the second external platform 300-2. 2 It may be generated by receiving text, sound and/or image information corresponding to the identification information to the external platform 300-2. That is, the object information may include at least one of text, sound, and image information.
  • the controller 180 searches whether there is a section tagged with identification information corresponding to the selected object among the stored real-time images, and searches for the real-time image of the searched section. A clip of an image may be reproduced together with the object information. However, if the selected object is in the real-time video, the controller 180 may not reproduce a clip of the real-time video of the searched section when displaying the object information.
  • Object information (tour guide contents) of different types may be displayed according to the user's moving speed.
  • a detailed version of the object information may be displayed, and when the moving speed is less than a certain speed, a simplified version of the object information may be displayed. If the object information of the simplified version is selected while the object information of the simplified version is displayed, object information of the detailed version may be displayed.
  • the display is divided into screens to display the object information screen and the execution screen of the other application at the same time You can control the display.
  • the real-time video may also be displayed within the object information screen.
  • the real-time image and the object information may be displayed as a full screen.
  • the object information When the display is in a power saving mode at the time when an event triggering provision of the object information occurs, the object information may be output only as audio through the audio output unit.
  • the display When the display is switched from the power saving mode to the non-power saving mode, the real-time image and the object information may be displayed as a full screen.
  • the object information is output only as audio in the power saving mode
  • different types of audio may be output according to the moving speed of the user.
  • audio of the object information of a simplified version may be output
  • audio of the object information of a detailed version may be output when the movement speed is less than a certain speed.
  • a plurality of object information on a plurality of objects may be displayed together with a plurality of object type icons.
  • At least one of the plurality of object type icons is selected by the user, only object information of at least one object corresponding to the selected at least one object type icon among the plurality of object information may be displayed. .
  • the above-described present invention can be implemented as computer readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. , and also includes those implemented in the form of a carrier wave (eg, transmission over the Internet). Accordingly, the above detailed description should not be construed as limiting in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은, 여행 중의 사용자 데이터, 이동 데이터, 및 여행지 데이터 중 적어도 하나를 이용하여 사용자의 최소한의 개입만으로도 사용자에게 적절한 여행 컨텐츠를 제공할 수 있는 사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기를 제공하기 위한 것이다. 본 발명의 일 측면에 따르면, 디스플레이, 마이크, 위치 정보 모듈, 카메라, 및 상기 카메라를 통해 센싱되는 실시간 영상을 상기 디스플레이 상에 디스플레이하고, 상기 실시간 영상의 분석을 통해 상기 실시간 영상에 포함된 다수의 오브젝트들을 실시간으로 분석하고, 상기 위치 정보 모듈을 통해 센싱되는 현재 위치 및 방향 중 적어도 하나와 상기 마이크를 통해 입력되는 사용자의 음성을 인공지능으로 분석하여 상기 사용자의 음성에 부합하는 오브젝트를 선정하고, 상기 선정된 오브젝트가 상기 디스플레이 상에 현재 디스플레이되는 상기 실시간 영상 내에 포함되는 경우, 상기 실시간 영상 내에서 상기 선정된 오브젝트를 하이라이트하면서 상기 실시간 영상과 상기 선정된 오브젝트의 선정 오브젝트 정보를 함께 디스플레이하고, 상기 선정된 오브젝트가 상기 디스플레이 상에 현재 디스플레이되는 상기 실시간 영상 내에 포함되지 않는 경우, 상기 실시간 영상 내에서 오브젝트 하이라이트 없이 상기 실시간 영상과 상기 선정 오브젝트 정보를 함께 디스플레이하는 제어부;를 포함하는 사용자 단말기를 제공할 수 있다.

Description

사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기
본 발명은 사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기에 관한 것이다.
사용자 단말기는 이동 가능여부에 따라 사용자 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 사용자 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다.
사용자 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 사용자 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.
이와 같은 사용자 단말기는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
최근에는 많은 사람들이 여행에 더욱 많은 관심을 가지고 있고, 여행 중에 사용자 단말기를 통해 다양한 여행 정보를 획득하는 경향이 있다. 사용자는 사용자 단말기를 통해 특정 웹사이트에 접속하거나 특정 앱을 실행하고, 상기 접속된 웹사이트 또는 상기 실행된 특정 앱에 검색어를 입력하여 검색된 결과물들(즉, 검색 결과)을 통해 원하는 여행 정보(즉, 여행 컨텐츠)를 구하는 경우가 많다.
그러나, 원하는 결과물을 검색하기 위해서는 이를 위한 정확한 검색어를 입력하여야 하나, 사용자 입장에서는 정확한 검색어를 생각해 내기가 쉽지 않은 경우가 많다. 특히 사용자가 처음 가보는 여행지를 이동하는 경우에는 더욱 그러하다.
본 발명은, 여행 중의 사용자 데이터, 이동 데이터, 및 여행지 데이터 중 적어도 하나를 이용하여 사용자의 최소한의 개입만으로도 사용자에게 적절한 여행 컨텐츠를 제공할 수 있는 사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기를 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 디스플레이, 마이크, 위치 정보 모듈, 카메라, 및 상기 카메라를 통해 센싱되는 실시간 영상을 상기 디스플레이 상에 디스플레이하고, 상기 실시간 영상의 분석을 통해 상기 실시간 영상에 포함된 다수의 오브젝트들을 실시간으로 분석하고, 상기 위치 정보 모듈을 통해 센싱되는 현재 위치 및 방향 중 적어도 하나와 상기 마이크를 통해 입력되는 사용자의 음성을 인공지능으로 분석하여 상기 사용자의 음성에 부합하는 오브젝트를 선정하고, 상기 선정된 오브젝트가 상기 디스플레이 상에 현재 디스플레이되는 상기 실시간 영상 내에 포함되는 경우, 상기 실시간 영상 내에서 상기 선정된 오브젝트를 하이라이트하면서 상기 실시간 영상과 상기 선정된 오브젝트의 선정 오브젝트 정보를 함께 디스플레이하고, 상기 선정된 오브젝트가 상기 디스플레이 상에 현재 디스플레이되는 상기 실시간 영상 내에 포함되지 않는 경우, 상기 실시간 영상 내에서 오브젝트 하이라이트 없이 상기 실시간 영상과 상기 선정 오브젝트 정보를 함께 디스플레이하는 제어부를 포함하는 사용자 단말기를 제공할 수 있다.
상기 제어부는, 상기 선정된 오브젝트가 현재 디스플레이되는 상기 실시간 영상 내에 포함되는 경우, 상기 실시간 영상 내의 상기 선정된 오브젝트의 위치에 따라서 상기 디스플레이에서 상기 선정 오브젝트 정보가 디스플레이되는 위치가 가변되도록 제어할 수 있다.
상기 제어부는, 상기 선정된 오브젝트가 현재 디스플레이되는 상기 실시간 영상 내에 포함되지 않는 경우, 상기 선정 오브젝트 정보가 상기 디스플레이의 일정한 위치에서 디스플레이되도록 제어할 수 있다.
상기 사용자 단말기는 메모리를 더욱 포함하고, 상기 제어부는, 상기 실시간 영상 내의 상기 다수의 오브젝트들 중 적어도 하나의 오브젝트를 식별하고, 상기 식별된 오브젝트에 대한 식별 정보를 태깅하고, 상기 적어도 하나의 오브젝트에 태깅된 식별 정보를 포함하는 상기 실시간 영상을 상기 메모리에 저장하도록 제어할 수 있다.
상기 제어부는, 상기 선정된 오브젝트가 현재 디스플레이되는 상기 실시간 영상 내에 포함되지 않는 경우, 상기 저장된 실시간 영상 중에서 상기 선정된 오브젝트에 해당하는 식별정보가 태깅된 구간이 있는지를 검색하고, 상기 검색된 구간의 상기 실시간 영상의 클립을 상기 선정된 오브젝트 정보와 함께 재생하도록 제어할 수 있다.
상기 제어부는, 상기 선정된 오브젝트가 현재 디스플레이되는 상기 실시간 영상 내에 포함되는 경우, 상기 선정된 오브젝트 정보를 디스플레이할 때 상기 검색된 구간의 상기 실시간 영상의 클립을 재생하지 않도록 제어할 수 있다.
상기 사용자 단말기는 무선통신부를 더욱 포함하고, 상기 제어부는, 상기 선정된 오브젝트의 식별정보를 상기 무선통신부를 상기 외부 플랫폼에 전송하고, 상기 외부 플랫폼으로부터 상기 식별정보에 해당하는 텍스트, 사운드 및 이미지 정보 중 적어도 하나를 상기 무선통신부를 통해 수신하고, 상기 텍스트, 상기 사운드 및 상기 이미지 정보 중 적어도 하나가 상기 선정 오브젝트 정보에 포함되도록 제어할 수 있다.
상기 제어부는, 상기 사용자의 이동 속도에 따라 다른 타입의 선정 오브젝트 정보를 디스플레이하도록 제어할 수 있다.
상기 제어부는, 상기 이동 속도가 일정 속도 이상인 경우 상세 버전의 상기 선정 오브젝트 정보를 디스플레이하고, 상기 이동 속도가 일정 속도 미만인 경우 간략 버전의 상기 선정 오브젝트 정보를 디스플레이하도록 제어할 수 있다.
상기 제어부는, 상기 간략 버전의 상기 선정 오브젝트 정보가 상기 사용자에 의해 선택되는 경우, 상기 상세 버전의 상기 선정 오브젝트 정보가 디스플레이되도록 제어할 수 있다.
상기 제어부는, 상기 디스플레이 상에서 포어 그라운드로 실행 중인 다른 어플리케이션의 실행 화면이 디스플레이되는 도중에 상기 사용자 음성이 센싱되는 경우, 상기 디스플레이를 화면 분할하여 상기 선정 오브젝트 정보의 화면과 상기 다른 애플리케이션의 실행 화면을 동시에 디스플레이하도록 제어할 수 있다.
상기 제어부는, 상기 선정 오브젝트 정보의 화면이 상기 사용자에 의해 선택되면, 상기 실시간 영상과 상기 선정 오브젝트 정보를 전체 화면으로서 디스플레이하도록 제어할 수 있다.
상기 사용자 단말기는 음성출력부를 더욱 포함하고, 상기 제어부는, 상기 사용자의 음성이 센싱되는 시점에 상기 디스플레이가 절전 모드에 있는 경우, 상기 선정 오브젝트 정보를 상기 음성출력부를 통해 오디오만으로 출력하도록 제어할 수 있다.
상기 제어부는, 상기 디스플레이가 비절전 모드로 전환되는 경우, 상기 실시간 영상과 상기 선정 오브젝트 정보를 전체 화면으로서 디스플레이하도록 제어할 수 있다.
상기 제어부는, 상기 사용자의 이동 속도에 따라 다른 타입의 오디오가 출력되도록 제어할 수 있다.
상기 제어부는, 상기 이동 속도가 일정 속도 이상인 경우 간략 버전의 상기 선정 오브젝트 정보의 오디오를 출력하고, 상기 이동 속도가 일정 속도 미만인 경우 상세 버전의 상기 선정 오브젝트 정보의 오디오를 출력할 수 있다.
상기 제어부는, 상기 선정된 오브젝트가 상기 실시간 영상 내에 포함되고 상기 선정된 오브젝트가 소정 거리 이내에 위치하는 경우 상기 선정 오브젝트 정보를 디스플레이하도록 제어할 수 있다.
상기 제어부는, 복수의 오브젝트들에 대한 복수의 오브젝트 정보을 복수의 오브젝트 타입 아이콘들과 함께 디스플레이할 수 있다.
상기 제어부는, 상기 복수의 오브젝트 타입 아이콘들 중 적어도 하나가 상기 사용자에 의해 선택되는 경우, 상기 복수의 오브젝트들 중에서 상기 선택된 적어도 하나의 오브젝트 타입 아이콘에 대응되는 적어도 하나의 오브젝트의 정보만을 디스플레이하도록 제어할 수 있다.
또한, 본 발명의 일 측면에 따르면, 카메라를 통해 센싱되는 실시간 영상을 디스플레이 상에 디스플레이하는 단계, 상기 실시간 영상의 분석을 통해 상기 실시간 영상에 포함된 다수의 오브젝트들을 실시간으로 분석하고, 위치 정보 모듈을 통해 센싱되는 현재 위치 및 방향 중 적어도 하나와 마이크를 통해 입력되는 사용자의 음성을 인공지능으로 분석하여 상기 사용자의 음성에 부합하는 오브젝트를 선정하는 단계, 상기 선정된 오브젝트가 상기 디스플레이 상에 현재 디스플레이되는 상기 실시간 영상 내에 포함되는 경우, 상기 실시간 영상 내에서 상기 오브젝트를 하이라이트하면서 상기 실시간 영상과 상기 선정된 오브젝트의 선정 오브젝트 정보를 함께 디스플레이하는 단계, 및 상기 선정된 오브젝트가 상기 디스플레이 상에 현재 디스플레이되는 상기 실시간 영상 내에 포함되지 않는 경우, 상기 실시간 영상 내에서 오브젝트 하이라이트 없이 상기 실시간 영상과 상기 선정 오브젝트 정보를 함께 디스플레이하는 단계를 포함하는 사용자 단말기의 제어 방법을 제공할 수 있다.
본 발명에 따른 사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기의 효과에 대해 설명하면 다음과 같다.
본 발명의 여러 측면들 중에서 적어도 하나에 의하면, 여행 중의 사용자 데이터, 이동 데이터, 및 여행지 데이터 중 적어도 하나를 이용하여 사용자의 최소한의 개입만으로도 사용자에게 적절한 투어 가이드 컨텐츠를 제공할 수 있다는 장점이 있다.
도 1은 본 발명과 관련된 사용자 단말기의 개략적 블록도이다.
도 2는 본 발명의 일 측면에 따른 사용자 단말기와 외부 디바이스 간의 연동에 대해 도시한다.
도 3는 본 발명의 일 측면에 따른 사용자 단말기와 연동될 수 있는 차량에 대해 도시한다.
도 4는 본 발명의 일 측면에 따른 사용자 맞춤형 투어 가이드 컨텐츠를 제공하기 위한 이동 데이터 수집의 예시를 도시한다.
도 5는 본 발명의 일 측면에 따른 사용자 맞춤형 투어 가이드 컨텐츠를 제공하기 위한 사용자 데이터 수집의 예시를 도시한다.
도 6는 본 발명의 일 측면에 따른 사용자 맞춤형 투어 가이드 컨텐츠를 제공하기 위한 투어 포인트 데이터 수집의 예시를 도시한다.
도 7은 본 발명의 일 측면에 따라 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
도 8은 본 발명의 일 측면에 따라 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
도 9는 도 8의 상황1에서 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
도 10는 도 8의 상황2에서 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
도 11는 도 8의 상황3에서 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
도 12는 도 8의 상황4에서 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
도 13는 도 9의 상황1에서 투어 가이드 컨텐츠를 제공하는 디스플레이 화면을 도시한다.
도 14는 도 10의 상황2에서 투어 가이드 컨텐츠를 제공하는 디스플레이 화면을 도시한다.
도 15는 도 11의 상황3에서 제공되는 투어 가이드 컨텐츠의 예시를 도시한다.
도 16는 도 12의 상황4에서 제공되는 투어 가이드 컨텐츠의 예시를 도시한다.
도 17은 도 7에 따라 제공되는 투어 가이드 컨텐츠가 디스플레이되는 화면을 도시한다.
도 18은 본 발명의 일 측면에 따라 투어 가이드 컨텐츠가 디스플레이되는 거리 범위에 관한 예시를 도시한다.
도 19은 본 발명의 일 측면에 따라 투어 가이드 컨텐츠의 타입 선택에 관한 예시를 도시한다.
도 20은 본 발명의 일 측면에 따라 디스플레이되는 실시간 영상의 선택에 관한 예시를 도시한다.
도 21은 본 발명의 일 측면에 따른 투어 가이드 컨텐츠의 공유에 관한 예시를 도시한다.
도 22는 본 발명의 일 측면에 따라 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 출원에서, "A 및 B 중 적어도 하나"라는 표현은 "A"를 의미할 수도 있고, "B"를 의미할 수도 있고, "A"와 "B"를 모두 의미할 수도 있다.
본 명세서에서 설명되는 사용자 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 사용자 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1을 참조하면, 도 1은 본 발명과 관련된 사용자 단말기를 설명하기 위한 블록도이다.
상기 사용자 단말기(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180), 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들은 사용자 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 사용자 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 사용자 단말기(100)와 무선 통신 시스템 사이, 사용자 단말기(100)와 다른 사용자 단말기(100) 사이, 또는 사용자 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 사용자 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(140)는 사용자 단말기 내 정보, 사용자 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 사용자 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 사용자 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 사용자 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 사용자 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 사용자 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 사용자 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 사용자 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 사용자 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 사용자 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 사용자 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 사용자 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 사용자 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 사용자 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 사용자 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 사용자 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 사용자 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 사용자 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 사용자 단말기 상에서 구현될 수 있다.
이하에서는, 위에서 살펴본 사용자 단말기(100)를 통하여 구현되는 다양한 실시 예들을 살펴보기에 앞서, 위에서 열거된 구성요소들에 대하여 도 1를 참조하여 보다 구체적으로 살펴본다.
먼저, 무선 통신부(110)에 대하여 살펴보면, 무선 통신부(110)의 방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈이 상기 이동단말기(100)에 제공될 수 있다.
상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 신호는 디지털 방송 신호의 송수신을 위한 기술표준들(또는 방송방식, 예를 들어, ISO, IEC, DVB, ATSC 등) 중 적어도 하나에 따라 부호화될 수 있으며, 방송 수신 모듈(111)은 상기 기술표준들에서 정한 기술규격에 적합한 방식을 이용하여 상기 디지털 방송 신호를 수신할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련된 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 다양한 형태로 존재할 수 있다. 방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(170)에 저장될 수 있다.
이동통신 모듈(112)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 사용자 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(113)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G 등이 있으며, 상기 무선 인터넷 모듈(113)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
WiBro, HSDPA, HSUPA, GSM, CDMA, WCDMA, LTE, LTE-A, 5G 등에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈(113)은 상기 이동통신 모듈(112)의 일종으로 이해될 수도 있다.
근거리 통신 모듈(114)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth쪠), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 통신 모듈(114)은, 근거리 무선 통신망(Wireless Area Networks)을 통해 사용자 단말기(100)와 무선 통신 시스템 사이, 사용자 단말기(100)와 다른 사용자 단말기(100) 사이, 또는 사용자 단말기(100)와 다른 사용자 단말기(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 상기 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 사용자 단말기(100)는 본 발명에 따른 사용자 단말기(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display))가 될 수 있다. 근거리 통신 모듈(114)은, 사용자 단말기(100) 주변에, 상기 사용자 단말기(100)와 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(180)는 상기 감지된 웨어러블 디바이스가 본 발명에 따른 사용자 단말기(100)와 통신하도록 인증된 디바이스인 경우, 사용자 단말기(100)에서 처리되는 데이터의 적어도 일부를, 상기 근거리 통신 모듈(114)을 통해 웨어러블 디바이스로 전송할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 사용자 단말기(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다. 예를 들어, 이에 따르면 사용자는, 사용자 단말기(100)에 전화가 수신된 경우, 웨어러블 디바이스를 통해 전화 통화를 수행하거나, 사용자 단말기(100)에 메시지가 수신된 경우, 웨어러블 디바이스를 통해 상기 수신된 메시지를 확인하는 것이 가능하다.
위치정보 모듈(115)은 사용자 단말기의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 사용자 단말기는 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 사용자 단말기의 위치를 획득할 수 있다. 다른 예로서, 사용자 단말기는 Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 사용자 단말기의 위치를 획득할 수 있다. 필요에 따라서, 위치정보모듈(115)은 치환 또는 부가적으로 사용자 단말기의 위치에 관한 데이터를 얻기 위해 무선 통신부(110)의 다른 모듈 중 어느 기능을 수행할 수 있다. 위치정보모듈(115)은 사용자 단말기의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 사용자 단말기의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.
다음으로, 입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 사용자 단말기(100) 는 하나 또는 복수의 카메라(121)를 구비할 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다. 한편, 사용자 단말기(100)에 구비되는 복수의 카메라(121)는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라(121)를 통하여, 사용자 단말기(100)에는 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있다. 또한, 복수의 카메라(121)는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수 있다. 또한, 복수의 카메라(121)는 피사체를 입체적으로 센싱하기 위한 뎁스 카메라 및/또는 TOF(Time of Flight) 카메라를 포함할 수 있다.
마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 사용자 단말기(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(123)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면, 제어부(180)는 입력된 정보에 대응되도록 사용자 단말기(100)의 동작을 제어할 수 있다. 이러한, 사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 사용자 단말기(100)의 전·후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.
한편, 센싱부(140)는 사용자 단말기 내 정보, 사용자 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 제어부(180)는 이러한 센싱 신호에 기초하여, 사용자 단말기(100)의 구동 또는 동작을 제어하거나, 사용자 단말기(100)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행 할 수 있다. 센싱부(140)에 포함될 수 있는 다양한 센서 중 대표적인 센서들의 대하여, 보다 구체적으로 살펴본다.
먼저, 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선 등을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 이러한 근접 센서(141)는 위에서 살펴본 터치 스크린에 의해 감싸지는 사용자 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다.
근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 터치 스크린이 정전식인 경우에, 근접 센서(141)는 전도성을 갖는 물체의 근접에 따른 전계의 변화로 상기 물체의 근접을 검출하도록 구성될 수 있다. 이 경우 터치 스크린(또는 터치 센서) 자체가 근접 센서로 분류될 수 있다.
한편, 설명의 편의를 위해, 터치 스크린 상에 물체가 접촉되지 않으면서 근접되어 상기 물체가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 명명하고, 상기 터치 스크린 상에 물체가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 명명한다. 상기 터치 스크린 상에서 물체가 근접 터치 되는 위치라 함은, 상기 물체가 근접 터치될 때 상기 물체가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다. 상기 근접 센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지할 수 있다. 한편, 제어부(180)는 위와 같이, 근접 센서(141)를 통해 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 데이터(또는 정보)를 처리하며, 나아가, 처리된 데이터에 대응하는 시각적인 정보를 터치 스크린상에 출력시킬 수 있다. 나아가, 제어부(180)는, 터치 스크린 상의 동일한 지점에 대한 터치가, 근접 터치인지 또는 접촉 터치인지에 따라, 서로 다른 동작 또는 데이터(또는 정보)가 처리되도록 사용자 단말기(100)를 제어할 수 있다.
터치 센서는 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식, 자기장 방식 등 여러 가지 터치방식 중 적어도 하나를 이용하여 터치 스크린(또는 디스플레이부(151))에 가해지는 터치(또는 터치입력)을 감지한다.
일 예로서, 터치 센서는, 터치 스크린의 특정 부위에 가해진 압력 또는 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는, 터치 스크린 상에 터치를 가하는 터치 대상체가 터치 센서 상에 터치 되는 위치, 면적, 터치 시의 압력, 터치 시의 정전 용량 등을 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다.
이와 같이, 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다. 여기에서, 터치 제어기는, 제어부(180)와 별도의 구성요소일 수 있고, 제어부(180) 자체일 수 있다.
한편, 제어부(180)는, 터치 스크린(또는 터치 스크린 이외에 구비된 터치키)을 터치하는, 터치 대상체의 종류에 따라 서로 다른 제어를 수행하거나, 동일한 제어를 수행할 수 있다. 터치 대상체의 종류에 따라 서로 다른 제어를 수행할지 또는 동일한 제어를 수행할 지는, 현재 사용자 단말기(100)의 동작상태 또는 실행 중인 응용 프로그램에 따라 결정될 수 있다.
한편, 위에서 살펴본 터치 센서 및 근접 센서는 독립적으로 또는 조합되어, 터치 스크린에 대한 숏(또는 탭) 터치(short touch), 롱 터치(long touch), 멀티 터치(multi touch), 드래그 터치(drag touch), 플리크 터치(flick touch), 핀치-인 터치(pinch-in touch), 핀치-아웃 터치(pinch-out 터치), 스와이프(swype) 터치, 호버링(hovering) 터치 등과 같은, 다양한 방식의 터치를 센싱할 수 있다.
초음파 센서는 초음파를 이용하여, 감지대상의 위치정보를 인식할 수 있다. 한편 제어부(180)는 광 센서와 복수의 초음파 센서로부터 감지되는 정보를 통해, 파동 발생원의 위치를 산출하는 것이 가능하다. 파동 발생원의 위치는, 광이 초음파보다 매우 빠른 성질, 즉, 광이 광 센서에 도달하는 시간이 초음파가 초음파 센서에 도달하는 시간보다 매우 빠름을 이용하여, 산출될 수 있다. 보다 구체적으로 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치가 산출될 수 있다.
한편, 입력부(120)의 구성으로 살펴본, 카메라(121)는 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함한다.
카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지할 수 있다. 포토 센서는 디스플레이 소자에 적층될 수 있는데, 이러한 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보가 획득될 수 있다.
디스플레이부(151)는 사용자 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 사용자 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
또한, 상기 디스플레이부(151)는 입체영상을 표시하는 입체 디스플레이부로서 구성될 수 있다.
상기 입체 디스플레이부에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다.
음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(152)는 사용자 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(152)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅틱 모듈(153)에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(153)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(153)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(153)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(153)은 사용자 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
광출력부(154)는 사용자 단말기(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 사용자 단말기(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.
광출력부(154)가 출력하는 신호는 사용자 단말기가 전면이나 후면으로 단색이나 복수색의 빛을 발광함에 따라 구현된다. 상기 신호 출력은 사용자 단말기가 사용자의 이벤트 확인을 감지함에 의하여 종료될 수 있다.
인터페이스부(160)는 사용자 단말기(100)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(160)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 사용자 단말기(100) 내부의 각 구성요소에 전달하거나, 사용자 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(160)에 포함될 수 있다.
한편, 식별 모듈은 사용자 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(160)를 통하여 단말기(100)와 연결될 수 있다.
또한, 상기 인터페이스부(160)는 사용자 단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 사용자 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 사용자 단말기(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 사용자 단말기(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수 있다.
메모리(170)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(170)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 사용자 단말기(100)는 인터넷(internet)상에서 상기 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.
한편, 앞서 살펴본 것과 같이, 제어부(180)는 응용 프로그램과 관련된 동작과, 통상적으로 사용자 단말기(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(180)는 상기 사용자 단말기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행하거나, 해제할 수 있다.
또한, 제어부(180)는 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행하거나, 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다. 나아가 제어부(180)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 사용자 단말기(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원공급부(190)는 배터리를 포함하며, 배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 단말기 바디에 착탈 가능하게 결합될 수 있다.
또한, 전원공급부(190)는 연결포트를 구비할 수 있으며, 연결포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결되는 인터페이스(160)의 일 예로서 구성될 수 있다.
다른 예로서, 전원공급부(190)는 상기 연결포트를 이용하지 않고 무선방식으로 배터리를 충전하도록 이루어질 수 있다. 이 경우에, 전원공급부(190)는 외부의 무선 전력 전송장치로부터 자기 유도 현상에 기초한 유도 결합(Inductive Coupling) 방식이나 전자기적 공진 현상에 기초한 공진 결합(Magnetic Resonance Coupling) 방식 중 하나 이상을 이용하여 전력을 전달받을 수 있다.
한편, 이하에서 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
본 발명에 따른 인공지능과 관련된 기능은 제어부와 메모리를 통해 동작될 수 있다. 제어부는 하나 또는 복수의 프로세서를 포함할 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
상기 사용자 단말기(100)는 외부 디바이스 및/또는 외부 플랫폼과 연동되어 동작할 수 있다. 이에 대해 도 2를 더욱 참조하여 설명하겠다. 도 2는 본 발명의 일 측면에 따른 사용자 단말기와 외부 디바이스 간의 연동에 대해 도시한다.
상기 사용자 단말기(100)의 상기 제어부(180)는 적어도 하나의 외부 디바이스와 연동되어 동작할 수 있다. 상기 사용자 단말기(100)는 상기 인터페이스부(160)을 통해 유선으로 상기 적어도 하나의 외부 디바이스와 연결될 수도 있고, 또는 상기 무선통신부(110)을 통해 무선으로 상기 적어도 하나의 외부 디바이스와 연결될 수도 있다.
예를 들면, 상기 제어부(180)는 적어도 하나의 외부 카메라(221)에 의해 실시간으로 센싱되는 영상을 수신할 수 있다.
상기 제어부(180)는 적어도 하나의 외부 디스플레이(251)에 영상, AR (Augmented Reality), 및/또는 XR (Extended Reality) 정보를 전송하여 디스플레이될 수 있도록 할 수 있다. 또한, 상기 외부 디스플레이(251)가 터치스크린으로 구성되는 경우, 상기 제어부(180)는 상기 외부 디스플레이(251)을 통해 사용자로부터 입력 받는 터치 제스처에 관한 신호를 전송 받을 수 있다.
상기 사용자 단말기(100)의 상기 제어부(180)는 적어도 하나의 외부 플랫폼(또는 서버)(300-1, 300-2)와 연동되어 동작할 수 있다. 상기 사용자 단말기(100)는 상기 무선통신부(110)을 통해 무선으로 상기 적어도 하나의 외부 플랫폼(300-1, 300-2)과 연결될 수 있다. 상기 사용자 단말기(100)가 상기 적어도 하나의 외부 플랫폼(300-1, 300-2)과 주고 받는 데이터에 대해서는 나중에 다시 설명된다.
특히, 상기 사용자 단말기(100)는 차량(200) 또는 상기 차량(200)에 장착된 디바이스와 연동되어 동작될 수 있다. 이에 대해 도 3을 더욱 참조하여 설명하겠다. 도 3는 본 발명의 일 측면에 따른 사용자 단말기와 연동될 수 있는 차량에 대해 도시한다.
도 3의 (3-1)에 도시된 바와 같이, 상기 사용자 단말기(100)의 상기 제어부(180)는 상기 차량(200)에 장착된 적어도 하나의 카메라(221-1, 221-2, 221-3, 221-4)와 연동되어 동작할 수 있다. 도 3에서는 상기 적어도 하나의 카메라는 전방 카메라(221-1), 우측 카메라(221-2), 좌측 카메라(221-3), 후방 카메라(221-4)를 포함하는 것으로 예시되어 있다.
도 3의 (3-1)에 도시된 바와 같이, 상기 제어부(180)는 상기 차량에 구비되는 제 1 디스플레이(251-1)와 연동되어 동작할 수 있다. 제 1 디스플레이(251-1)는 예를 들면 네비게이션 안내 화면을 디스플레이할 수 있는 것으로서, 특정 이벤트(예를 들면, 사용자 명령 등) 발생시 상기 적어도 하나의 카메라에 의해 센싱되는 영상을 디스플레이할 수도 있다.
도 3의 (3-2)에 도시된 바와 같이, 상기 제어부(180)는 상기 차량의 스티어링 휠에 구비된 사용자 입력부(223)(예를 들면, 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치, 터치식 입력 수단 등)과 연동되어 동작할 수 있다. 예컨대, 상기 사용자 입력부(223)를 통한 사용자 명령이 입력이 되는 경우, 상기 제어부(180)는 제 1 디스플레이(251-1) 및/또는 상기 차량에 구비된 제 2 디스플레이(251-2)에 상기 적어도 하나의 카메라에 의해 센싱되는 영상을 디스플레이할 수도 있다. 도 3의 (3-3)에서는 상기 차량의 디지털 계기판 디스플레이로서 구비된 제 2 디스플레이(251-2)에 상기 적어도 하나의 카메라에 의해 센싱되는 영상이 디스플레이되는 것이 예시되어 있다.
제 1 디스플레이(251-1) 및/또는 제 2 디스플레이(251-2)에 상기 적어도 하나의 카메라에 의해 센싱되는 영상이 될 때, 상기 영상을 다른 디스플레이(미도시) (예를 들면, 후석 탑승자를 위해 구비되는 디스플레이)에 공유하기 위한 오브젝트(미도시)가 함께 디스플레이될 수 있고, 상기 오브젝트가 예컨대 터치 입력을 통해 터치되면 상기 영상은 상기 다른 디스플레이와 공유될 수 있다.
이하, 본 발명의 일 측면에 따른 사용자 맞춤형 투어 가이드 컨텐츠를 제공하기 위한 이동 데이터 수집에 대해 도 4를 더욱 참조하여 설명하겠다. 도 4는 본 발명의 일 측면에 따른 사용자 맞춤형 투어 가이드 컨텐츠를 제공하기 위한 이동 데이터 수집의 예시를 도시한다.
도 4의 (4-1)에 도시된 바와 같이, 상기 사용자 단말기(100)의 상기 제어부(180)는 이동 중의 사용자의 주변 정보를 획득하기 위해, 카메라(121, 221), 라이더 센서(240-1), 및 레이더 센서(240-2) 등을 이용하여, 상기 사용자의 주변 실시간 영상 및 장소, 건물, 지형 및/또는 지물에 관한 정보를 획득할 수 있다. 상기 라이더 센서(240-1) 및 레이터 센서(240-2)는 외부 디바이스로서 상기 사용자 단말기(100)와 연동되는 것이거나, 상기 사용자 단말기(100)에 내장되는 것일 수 있다.
도 4의 (4-2)에 도시된 바와 같이, 상기 제어부(180)는 이동 중의 사용자의 위치 정보를 획득하기 위해, 예컨대 GPS 모듈 (및/또는 와이파이 모듈) 등을 이용하여, 상기 사용자의 실시간 위치 정보, 주행 속도 정보, 이동 경로 정보, 특정 장소에서의 체류 시간 정보를 획득할 수 있다. 또한, 상기 제어부(180)는 상기 사용자 단말기(100) 내의 내비게이션 어플리케이션 또는 프로그램(310)을 통해 사용자의 희망하는 목적지를 설정하고, 그 설정된 목적지까지의 이동 경로를 탐색하여 안내할 수도 있다.
도 4의 (4-3)에 도시된 바와 같이, 상기 제어부(180)는 상기 사용자의 이동 환경에 관한 정보를 획득하기 위해 예컨대 상기 사용자 주변에 있는 가전기기(320) (예를 들면, TV, 오디오 시스템 등), IoT(Internet of Things) 센서(330) (예를 들면, 조도 센서, 온습도 센서 등) 등과 연동하여, 사용자가 이동 중인 차량 내에서 가전기기를 사용하고 있는 중인지 여부, 차량 내의 현재 조도, 현재 온습도 등에 대한 정보를 획득할 수 있다.
이하, 본 발명의 일 측면에 따른 사용자 맞춤형 투어 가이드 컨텐츠를 제공하기 위한 사용자 데이터 수집에 대해 도 5를 더욱 참조하여 설명하겠다. 도 5는 본 발명의 일 측면에 따른 사용자 맞춤형 투어 가이드 컨텐츠를 제공하기 위한 사용자 데이터 수집의 예시를 도시한다.
도 5의 (5-1)에 도시된 바와 같이, 상기 사용자 단말기(100)의 상기 제어부(180)는 이동 중의 사용자의 행동에 관한 정보를 획득하기 위해, 카메라(121), 레이더 센서(240-3)를 이용하여, 상기 사용자의 움직임, 시선, 호흡 등과 같은 정보를 획득할 수 있다. 상기 카메라(121) 및 상기 레이더 센서(240-3)은 상기 사용자는 향하도록 배치된 것일 수 있다. 이를 통해 상기 제어부(180)는 예컨대 차량 내에서 상기 사용자가 현재 수면 중에 있는지 아니면 비수면 중에 있는지를 파악할 수 있다. 또한, 상기 제어부(180)는 마이크(122)를 통해 상기 사용자의 음성을 인식하거나 대화의 내용을 인식할 수도 있다.
도 5의 (5-2)에 도시된 바와 같이, 상기 제어부(180)는 사용자 어플리케이션들(340) 및 상기 가전기기(320)의 사용 이력을 통해, 사용자의 검색 및 선택 패턴, 여행지의 예약 및 방문 빈도, SNS 데이터, 관심 컨텐츠, 리뷰 컨텐츠, 및 가전 사용 패턴에 관한 정보를 획득함으로써 상기 사용자의 성향 (특히, 여행과 관련된 성향)을 파악할 수 있다.
이하, 본 발명의 일 측면에 따른 사용자 맞춤형 투어 가이드 컨텐츠를 제공하기 위한 여행지 (예컨대, 장소, 건물, 지형 및/또는 지물 등의 오브젝트와 같은 투어 포인트)에 대한 데이터 수집에 대해 도 6를 더욱 참조하여 설명하겠다. 도 6는 본 발명의 일 측면에 따른 사용자 맞춤형 투어 가이드 컨텐츠를 제공하기 위한 투어 포인트 데이터 수집의 예시를 도시한다.
도 6의 (6-1)에 도시된 바와 같이, 상기 사용자 단말기(100)는 상기 무선통신부(110)을 통해 여행지 가이드를 제공하는 제1 외부 플랫폼(300-1)과 연동하여 동작할 수 있다. 이를 통해 상기 사용자 단말기(100)는 제 1 외부 플랫폼(300-1)으로부터 추천 여행 일정에 관한 정보, 여행지에서 숙박할 호텔에서 이용 가능한 컨시어지 정보, 다른 사용자들의 여행 정보에 대한 빅데이터에 관한 정보를 획득할 수 있다.
도 6의 (6-2)에 도시된 바와 같이, 사용자 단말기(100)는 상기 무선통신부(110)을 통해 여행지 정보를 제공하는 제2 외부 플랫폼(300-2)과 연동하여 동작할 수 있다. 이를 통해 상기 사용자 단말기(100)는 제 2 외부 플랫폼(300-2)으로부터 여행지의 날씨 정보, 지역 정보 및 관광 정보를 획득할 수 있다.
도 6에서는 제 1 외부 플랫폼(300-1)과 제 2 외부 플랫폼(300-2)는 별개의 엔티티로 구성되는 것으로 예시되어 있다. 그러나 반드시 그렇게 구성되어야만 하는 것은 아니다. 제 1 외부 플랫폼(300-1)과 제 2 외부 플랫폼(300-2)는 서로 통합되어 하나의 엔티티로 구성되거나 서로 연동되어 구성됨으로써, 제 1 외부 플랫폼(300-1) 및 제 2 외부 플랫폼(300-2)이 각각 제공하는 것으로 언급된 도 6에 설명된 정보는, 통합된 하나의 플랫폼 또는 다른 플랫폼을 통해 제공받을 수도 있다.
이하, 도 7을 참조하여, 본 발명의 일 측면에 따라 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 대해 설명하겠다. 도 7은 본 발명의 일 측면에 따라 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
먼저, 상기 사용자 단말기(100)의 상기 제어부(180)는 투어 가이드 컨텐츠의 제공을 트리거링하는 이벤트를 감지할 수 있다[S71]. 상기 이벤트는 예를 들면 사용자가 투어 가이드 컨텐츠의 제공을 요청하는 사용자 명령의 입력을 인식하는 것일 수 있다. 상기 사용자의 명령은 상기 사용자 명령은 상기 디스플레이(151, 251) 상의 터치 제스처를 통해 입력될 수도 있고, 상기 마이크(122)를 통한 사용자의 음성을 통해 입력될 수도 있다. 또는 상기 이벤트는 사용자 명령이 없더라도 특정 여행지 위치에 도달함으로써 제 1 외부 플랫폼(300-1) 또는 제 2 외부 플랫폼(300-2)로부터 수신하는 것으로서, 상기 특정 여행지에 관한 투어 가이드 컨텐츠를 추천하는 이벤트일 수도 있다. 즉, 상기 추천 이벤트는 제 1 외부 플랫폼(300-1) 또는 제 2 외부 플랫폼(300-2)에 의해 자동으로 생성되어 수신하는 것일 수 있다.
그 다음, 상기 제어부(180)는 상기 사용자 맞춤형 투어 가이드 컨텐츠를 제공하기 위한 각종 데이터, 즉, 이동 데이터, 사용자 데이터, 및 여행지 데이터를 수집할 수 있다[S72]. 이에 대해서는 앞서 도 4 내지 도 6에서 설명한 바와 같으므로, 자세한 설명은 생략하도록 하겠다.
도 7에서는 상기 S71 단계가 수행해진 다음에 상기 S72 단계가 수행되는 것으로 도시되어 있다. 그러나, 이들 두 단계는 순서가 바뀌어도 상관 없고, 사실상 사용자 입장에서는 동시에 수행되는 것으로 보아도 무방하다.
그 다음, 상기 제어부(180)는 상기 사용자 맞춤형 투어 가이드 컨텐츠를 제공하기 위해 상기 S72 단계에서 수집된 데이터를 모델링할 수 있다[S73].
상기 제어부(180)는 상기 카메라(221)을 통해 실시간으로 센싱되는 영상을 분석하여, 예컨대 현재 위치로부터 소정 반경 거리(예를 들면, 5km) 내의 장소, 건물, 지형 및/또는 지물 등과 같은 오브젝트를 식별하고, 상기 영상 상에서 상기 식별된 오브젝트에 대해 해당 식별 정보 (예를 들면, 장소 건물, 지형 및/또는 지물의 식별 정보)를 태깅할 수 있다. 상기 오브젝트는 상기 투어 포인트를 포함할 수 있다. 상기 제어부(180)는 상기 카메라(221)을 통해 실시간으로 센싱되는 영상을 분석하여, 상기 영상 내에서 상기 투어 가이드 컨텐츠 제공과 관련된 오브젝트가 시각적으로 구별되도록 하이라이트되거나 디밍되거나 3D 랜더링되도록 이미지 처리를 수행할 수 있다.
상기 제어부(180)는 사용자가 투어가이드 컨텐츠 제공을 요청하는 시점(timing point)와 그 시점에서의 사용자의 위치를 파악하여, 상기 영상에서 상기 시점과 상기 사용자의 위치에 해당하는 오브젝트를 식별함으로써, 상기 사용자가 투어가이드 컨텐츠 제공을 희망하는 오브젝트에 관한 사용자 명령의 의도를 분석할 수 있다. 특히, 상기 사용자의 요청이 음성으로 행해지는 경우, 상기 제어부(180)는 인공지능을 통해 상기 음성을 인식하고 상기 인식된 음성에 대한 정보에 더욱 기반함으로써 더욱 정확한 사용자의 의도를 분석할 수도 있다. 상기 분석된 사용자 의도에 기반하여 상기 제어부(180)는 사용자가 어떤 오브젝트에 대한 투어가이드 컨텐츠를 제공받기를 원하는지에 대한 사용자 명령의 의도를 더욱 정확히 파악할 수 있다.
상기 제어부(180)는, 상기 마이크(122)를 통해 입력되는 사용자의 음성 스펙트럼을 인공지능을 통해 분석하여 사용자의 특성(예를 들면, 성별, 나이 등)을 파악함으로써, 상기 사용자 명령 이전부터 센싱되는 사용자의 발화 또는 대화에 대한 맥락을 인지할 수 있다. 예를 들면, 사용자의 발화 또는 대화가 "유명 맛집"인 경우, 상기 사용자의 특성에 따라 "유명 맛집"에 대한 기준이 달라질 수 있기 때문에, 상기 맥락의 인지는 이를 반영하기 위한 것인다. 또한, 상기 제어부(180)는 사용자의 발화 또는 대화에서 특정 단어의 언급 빈도와 내용을 분석하여 발화 또는 대화의 주제 및 의도를 특징 벡터로서 추출하여 저장할 수 있다. 상기 분석된 사용자 발화 또는 대화의 맥락에 기반하여 상기 제어부(180)는 사용자가 어떤 오브젝트에 대한 투어가이드 컨텐츠를 제공받기를 원하는지에 대한 사용자 명령의 의도를 더욱 정확히 파악할 수 있다.
상기 제어부(180)는, 상기 카메라(121) 및 상기 레이더 센서(240-3)를 통해 센싱되는 사용자의 행동 및/또는 모습을 인공지능을 통해 분석하고, 또한 상기 마이크(122)를 통해 입력되는 상기 사용자의 음성 스펙트럼을 인공지능을 분석함으로써, 상기 사용자의 현재 상태에 관한 정보를 인지할 수 있다. 즉, 상기 현재 상태에 관한 정보는 상기 사용자가 현재 무엇을 하고 있는지에 관한 정보를 포함할 수 있다. 상기 사용자가 현재 무엇을 하고 있는지를 더욱 정확히 파악하기 위해서, 상기 제어부(180)는 상기 사용자에 의해 조작되는 가전기기(320)의 현재 상태를 더욱 파악할 수 있다. 예를 들면, 현재 상기 가전기기(320)의 작동 상태를 파악함으로써 상기 사용자 상기 가전기기(320)를 사용하고 있는지, 사용하고 있다면 어떻게 사용하고 있는지에 대해 더욱 정확히 파악할 수 있다. 이를 통해 상기 제어부(180)는 상기 사용자가 현재 어떤 모드(예를 들면, 수면 모드, 휴식 모드, 멀티 태스킹 모드, 방해 금지 모드 등 중의 하나) 중에 있는지 식별할 수 있다.
상기 제어부(180)는 상기 사용자 뿐만 아니라 상기 사용자가 현재 이동을 위해 탑승하고 있는 차량의 상태도 인지할 수 있다. 예를 들면, 상기 제어부(180)는 상기 GPS 모듈 등을 이용하여, 상기 사용자의 실시간 위치 정보, 주행 속도 정보 등에 관한 정보를 인지할 수 있다. 또한, 상기 제어부(180)는 상기 차량과 직접 통신을 하고 상기 차량으로부터 차량 상태에 관한 정보를 직접 수신할 수도 있다. 상기 차량의 상태는 예컨대 상기 사용자에게 제공되는 투어 가이드 컨텐츠의 종류 및/또는 양의 결정에 사용될 수 있다.
또한, 상기 제어부(180)는 상기 사용자가 여행을 다녔던 장소, 각 장소의 체류 기간, 각 장소 중 사용자에 의해 북마킹된 장소, 각 장소에서의 사용자의 행동 및/또는 액티비티, 각 장소에서 사용자가 검색한 정보, 각 장소에서 사용자가 공유한 정보 등에 관한 누적 데이터에 기반하여 인공지능을 통해 사용자의 여행 패턴 및 여행 중의 서비스 사용 패턴을 분석할 수 있다. 상기 사용자의 여행 패턴 및 여행 중의 서비스 사용 패턴을 통해 상기 사용자가 어떤 선호도를 가지고 있는지에 대해 인지할 수 있다. 상기 분석된 사용자의 선호도에 기반하여 상기 제어부(180)는 사용자가 어떤 오브젝트에 대한 투어가이드 컨텐츠를 제공받기를 원하는지에 대한 사용자 명령의 의도를 더욱 정확히 파악할 수 있다.
상기 여행 패턴 및 여행 중의 서비스 사용 패턴을 분석은 사용자의 예컨대 안면 인식을 통해 서로 다른 사용자에 대해서 독립적으로 행해질 수 있다. 즉 둘 이상의 사용자가 상기 사용자 단말기(100)를 사용하더라도 상기 사용자 단말기(100)에는 상기 둘 이상의 사용자에 대해 개별적으로 상기 여행 패턴 및 여행 중의 서비스 사용 패턴의 분석이 행해질 수 있다.
그 뿐만 아니라, 상기 제어부(180)는 본 투어 가이드 컨텐츠 제공 서비스를 이용하는 다른 사용자들의 선호도에 관한 빅데이터를 분석하여 이를 각 장소에서 투어 가이드 컨텐츠를 제공함에 있어서 활용할 수도 있다. 즉, 투어 가이드 컨텐츠 제공에 있어 상기 사용자의 선호도만이 반영되는 것이 아니라 빅데이터에 기반한 다른 사용자들의 선호도도 반영될 수 있다.
그 다음, 상기 제어부(180)는 상기 사용자 맞춤형 투어 가이드 컨텐츠를 제공할 수 있다[S74].
상기 제공되는 컨텐츠는 상기 S72 단계에서 수집된 데이터가 상기 S73 단계에서 모델링된 결과에 기반하여 생성되는 것이다. 상기 투어 가이드 컨텐츠는 상기 투어 포인트와 같은 오브젝트에 관한 정보임을 고려할 때 오브젝트 정보라고 명칭될 수도 있다. 상기 투어 가이드 컨텐츠는 상기 사용자 단말기(100)에서 자체적으로 생성되는 것일 수도 있다. 또는 상기 투어 가이드 컨텐츠는 제 1 외부 플랫폼(300-1) 및/또는 제 2 외부 플랫폼(300-2)으로 상기 오브젝트의 식별 정보를 전송하고, 상기 제 1 외부 플랫폼(300-1) 및/또는 제 2 외부 플랫폼(300-2)으로 상기 식별 정보에 대응되는 텍스트, 사운드 및/또는 이미지 정보를 수신하여 생성되는 것일 수도 있다. 즉, 상기 투어 가이드 컨텐츠는 텍스트, 사운드 및 이미지 정보 중 적어도 하나를 포함할 수 있다.
상기 제공되는 컨텐츠는 상기 음향출력부(152)를 통한 음성 컨텐츠 및/또는 상기 디스플레이(151, 251)을 통한 시각 컨텐츠일 수 있다. 상기 음성 컨텐츠 및 상기 시각 컨텐츠에 대해서는 나중에 다시 설명된다.
그 다음, 상기 제어부(180)는 상기 사용자 맞춤형 투어 가이드 컨텐츠의 제공을 자동 또는 수동으로 제공할 수 있다[S74]. 즉, 상기 사용자 맞춤형 투어 가이드 컨텐츠의 제공의 종료는 상기 사용자가 이를 위한 사용자 명령을 입력함으로써 수동으로 행해질 수도 있고, 상기 사용자가 상기 사용자 명령을 입력하지 않더라도 기설정된 이벤트가 발행하는 경우 자동으로 행해질 수 있다. 이에 대해서는 나중에 다시 설명된다.
이하, 도 8을 참조하여, 본 발명의 일 측면에 따라 사용자의 상태를 고려하여 투어 가이드 컨텐츠를 제공하는 프로세스에 대해 설명하겠다. 도 8은 본 발명의 일 측면에 따라 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
먼저 상기 사용자 단말기(100)의 상기 제어부(180)는 상기 투어 가이드 컨텐츠의 제공을 요청하는 사용자의 명령이 수신되었는지를 파악할 수 있다[S81]. 상기 사용자의 명령은 상기 사용자 명령은 상기 디스플레이(151, 251) 상의 터치 제스처를 통해 입력될 수도 있고, 상기 마이크(122)를 통한 사용자의 음성을 통해 입력될 수도 있다.
상기 S81단계에서 상기 사용자 명령이 있는 것으로 파악되면, 상기 프로세스는 아래에서 설명될 S87 단계로 진행된다.
상기 S81 단계에서 상기 사용자 명령이 없는 것으로 파악되면, 상기 제어부(180)는 상기 투어 가이드 컨텐츠를 추천하는 이벤트가 발생하였는지를 파악할 수 있다[S83]. 상기 이벤트는 사용자 명령이 없더라도 특정 여행지 위치에 도달함으로써 제 1 외부 플랫폼(300-1) 또는 제 2 외부 플랫폼(300-2)로부터 수신하는 것으로서, 상기 특정 여행지에 관한 투어 가이드 컨텐츠를 추천하는 이벤트일 수도 있다. 즉, 상기 추천 이벤트는 제 1 외부 플랫폼(300-1) 또는 제 2 외부 플랫폼(300-2)에 의해 자동으로 생성되어 수신하는 것일 수 있다.
이상에서는 상기 S81 단계가 수행된 다음에 상기 S82 단계가 수행되는 것으로 설명되었다. 그러나, 상기 S82 단계가 수행되기 전에 상기 S81 단계가 반드시 수행되어야 하는 것은 아니다.
상기 S83 단계에서 상기 추천 이벤트가 발생되지 않은 것으로 판단되면, 상기 프로세스는 상기 S81 단계로 진행된다.
그러나, 상기 S83 단계에서 상기 추천 이벤트가 발생된 것으로 판단되면, 상기 제어부(180)는 상기 사용자가 비수면 상태에 있는지, 즉 잠들지 않고 있는지 여부를 파악할 수 있다[S85]. 즉, 상기 제어부(180)는 여행을 위해 차량 내에서 이동 중인 상기 사용자가 현재 수면 중에 있는지 아니면 비수면 중에 있는지를 파악할 수 있다. 앞서 설명한 바와 같이, 상기 제어부(180)는 이동 중의 사용자의 행동에 관한 정보를 획득하기 위해 상기 사용자를 향하도록 배치된 상기 카메라(121) 및 레이더 센서(240-3)를 이용하여, 상기 사용자의 움직임, 시선, 호흡 등과 같은 정보를 획득함으로써, 상기 사용자가 수면 중에 있는지 또는 비수면 중에 있는지를 식별할 수 있다.
상기 S85 단계에서 상기 사용자가 수면 중인 것으로 판단되면, 상기 제어부(180)는 현재 상황이 상황4인 것으로 판단한다. 상기 상황4에서 상기 투어 가이드 컨텐츠가 제공되는 것에 대해서는 이하 도 12에서 설명된다.
상기 S85 단계에서 상기 사용자가 비수면 중인 것으로 판단되면, 상기 제어부(180)는 상기 디스플레이(151, 251)가 절전 모드인지 비절전 모드인지 여부를 파악할 수 있다. 상기 절전 모드는 상기 디스플레이의 전원 오프, 비활성화 모드, 및 AOD (Always on Display) 모드를 포함할 수 있다.
상기 S87 단계에서 상기 디스플레이(151, 251)가 절전 모드 중인 것으로 파악되면, 상기 제어부(180)는 현재 상황이 상황3인 것으로 판단한다. 상기 상황3에서 상기 투어 가이드 컨텐츠가 제공되는 것에 대해서는 이하 도 11에서 설명된다.
상기 S87 단계에서 상기 디스플레이(151, 251)가 비절전 모드 중인 것으로 파악되면, 상기 제어부(180)는 상기 사용자 단말기(100)에서 이미 다른 애플리케이션(또는 프로그램)이 포어그라운드로 실행 중인지 여부를 판단할 수 있다[S89]. 즉, 상기 제어부(180)는 상기 다른 애플리케이션이 이미 포어그라운드로 실행되고 있어서 상기 투어 가이드 컨텐츠가 제공되어 디스플레이되는 경우 멀티태스킹으로 실행되어야 하는지 여부를 판단할 수 있다.
상기 S85 단계에서 포어그라운드로 실행 중인 애플리케이션이 없는 것으로 판단되면, 상기 제어부(180)는 현재 상황이 상황2인 것으로 판단한다. 상기 상황2에서 상기 투어 가이드 컨텐츠가 제공되는 것에 대해서는 이하 도 10에서 설명된다.
상기 S85 단계에서 포어그라운드로 실행 중인 애플리케이션이 있는 것으로 판단되면, 상기 제어부(180)는 현재 상황이 상황1인 것으로 판단한다. 상기 상황1에서 상기 투어 가이드 컨텐츠가 제공되는 것에 대해서는 이하 도 9에서 설명된다.
이하, 도 9를 더욱 참조하여, 상기 상황1에서 투어 가이드 컨텐츠가 제공되는 것에 설명하겠다. 도 9는 도 8의 상황1에서 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
상기 제어부(180)는 상기 디스플레이(151, 251)을 화면 분할하여, 상기 투어 가이드 컨텐츠의 화면과 상기 포어그라운드로 실행 중의 애플리케이션의 화면을 동시에 디스플레이하도록 제어할 수 있다[S91]. 상기 디스플레이(151, 251)의 화면 분할에 제한은 없다. 예를 들면, 상기 디스플레이(151, 251)이 PIP(Picture in Picture) 방식으로 화면 분할되고, 상기 디스플레이(151, 251)의 상기 화면 분할된 두 영역 중에서 큰 영역에 상기 포어그라운드로 실행 중의 애플리케이션의 실행 화면이 디스플레이되고, 작은 영역에 상기 투어 가이드 컨텐츠의 화면이 디스플레이될 수 있다.
그 다음, 상기 제어부(180)는 상기 투어 가이드 컨텐츠와 관련된 화면으로 디스플레이하기 위한 사용자 명령이 입력되는지를 판단할 수 있다[S93]. 상기 사용자 명령은 상기 디스플레이(151, 251) 상의 터치 제스처를 통해 입력될 수도 있고, 상기 마이크(122)를 통한 사용자의 음성을 통해 입력될 수도 있다. 여기서 상기 투어 가이드 컨텐츠과 관련된 화면이 전체 화면으로 디스플레이된다고 함은, 상기 디스플레이 상에서 다른 애플리케이션의 실행 화면 또는 다른 컨텐츠의 재생 화면이 디스플레이됨 없이 사용자가 일견 보았을 때 상기 투어 가이드 컨텐츠의 관련 화면이 상기 디스플레이(151, 251)의 상당한 영역을 차지하도록 디스플레이된다는 것을 의미하는 것이지, 상기 투어 가이드 컨텐츠의 관련 화면이 반드시 상기 디스플레이(151, 251)의 100% 영역을 차지하도록 디스플레이되어야 한다는 것을 의미하는 것은 아니다.
상기 S93 단계에서 상기 투어 가이드 컨텐츠과 관련된 화면을 전체 화면으로 디스플레이하기 위한 사용자 명령이 입력되었다고 판단되면, 상기 제어부(180)는 상기 상황 2에 준하여 상기 투어 가이드 컨텐츠과 관련된 화면을 제공할 수 있다.
그러나, 상기 S93 단계에서 상기 투어 가이드 컨텐츠과 관련된 화면을 전체 화면으로 디스플레이하기 위한 사용자 명령이 입력되지 않았다고 판단되면, 상기 제어부(180)는 상기 디스플레이(151, 251)의 화면 분할을 유지하면서, 상기 투어 가이드 컨텐츠의 화면과 상기 포어그라운드로 실행 중의 애플리케이션의 화면을 동시에 디스플레이하도록 제어할 수 있다[S91].
이하, 도 10을 더욱 참조하여, 상기 상황2에서 투어 가이드 컨텐츠가 제공되는 것에 설명하겠다. 도 10는 도 8의 상황2에서 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
상기 제어부(180)는 상기 디스플레이(151, 251)가 상기 적어도 하나의 외부 카메라(221)에 의해 실시간으로 센싱되는 영상을 전체 화면으로 디스플레이하도록 제어할 수 있다[S101].
그 다음, 상기 제어부(180)는 상기 영상 내의 유명 관광지 또는 여행지에 대응되는 장소 건물, 지형 및/또는 지물의 오브젝트와 같은 투어 포인트가 상기 실시간으로 센싱되는 영상의 프레임 내에 있는지를 판단할 수 있다[S103].
상기 S103 단계에서 상기 투어 포인트가 상기 프레임 내에 없다고 판단되면, 상기 제어부(180)는 상기 투어 포인트에 대한 투어 가이드 컨텐츠를 디스플레이하지 않을 수 있다[S105].
상기 S103 단계에서 상기 투어 포인트가 상기 프레임 내에 있다고 판단되면, 상기 제어부(180)는 상기 투어 포인트에 대한 투어 가이드 컨텐츠를 상기 실시간 영상과 함께 디스플레이할 수 있다[S107]. 여기서 디스플레이되는 투어 가이드 컨텐츠는 간략 버전의 투어 가이드 컨텐츠일 수 있다. 상기 투어 가이드 컨텐츠는 상기 투어 포인트가 상기 프레임 내에 존재하는 동안에만 디스플레이될 수 있다. 또는 상기 투어 가이드 컨텐츠는 상기 투어 포인트가 상기 프레임 내에 존재하더라도 상기 투어 포인트가 상기 프레임 내에 포함되는 시점부터 소정 시간 경과 이후에는 디스플레이되지 않을 수 있다.
그 다음, 상기 투어 가이드 정보가 디스플레이되는 도중에, 상기 제어부(180)는 상기 투어 가이드 컨텐츠의 상세 정보(즉, 상세 버전의 투어 가이드 컨텐츠)가 디스플레이되기를 요청하는 사용자 명령을 입력 받을 수 있다. 상기 사용자 명령은 상기 디스플레이(151, 251) 상의 터치 제스처를 통해 입력될 수도 있고, 상기 마이크(122)를 통한 사용자의 음성을 통해 입력될 수도 있다.
그러면, 상기 제어부(180)는 상기 투어 가이드 컨텐츠의 상세 정보를 디스플레이할 수 있다. 상기 상세 정보는 상기 실시간 영상 없이 상기 전체 화면으로 디스플레이될 수도 있고, 상기 실시간 영상 상에 오버레이되어 함께 디스플레이될 수도 있다[S109].
상기 제어부(180)는 상기 상세 정보를 소정 시간(예를 들면, 10초) 동안 디스플레이한 후 상기 상세 정보가 자동으로 사라지도록 제어할 수 있다[S111]. 상기 상세 정보는 상기 투어 포인트가 상기 프레임 내에서 사라지더라도 상기 소정 시간 동안은 계속 디스플레이될 수 있다.
이하, 도 11을 더욱 참조하여, 상기 상황3에서 투어 가이드 컨텐츠가 제공되는 것에 설명하겠다. 도 11는 도 8의 상황3에서 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
상기 제어부(180)는 상기 투어 포인트가 상기 프레임 내에 있으면 상기 투어 가이드 정보를 상기 음성출력부(152)를 통해 오디오만으로 제공할 수 있다[S111].
상기 제어부(180)는 상기 디스플레이(151, 251)를 비절전 모드로 전환하려는 사용자 명령가 입력되는지를 판단할 수 있다[S113]. 상기 사용자 명령은 상기 디스플레이(151, 251) 상의 터치 제스처를 통해 입력될 수도 있고, 상기 마이크(122)를 통한 사용자의 음성을 통해 입력될 수도 있다.
상기 S113 단계에서 상기 비절전 모드로 전환하려는 사용자 명령이 입력되는 것으로 판단되면, 상기 제어부(180)는 앞서 설명한 도 10의 상황2에 준하여 상기 투어 가이드 컨텐츠를 제공할 수 있다.
그러나, 상기 S113 단계에서 상기 비절전 모드로 전환하려는 사용자 명령이 입력되지 않는 것으로 판단되면, 상기 제어부(180)는 상기 투어 포인트가 상기 프레임 내에 계속 있는지 판단할 수 있다[S115].
상기 S115 단계에서 상기 투어 포인트가 상기 프레임 내에 있다고 판단되면, 상기 제어부(180)는 상기 투어 가이드 정보를 계속 오디오만으로 제공할 수 있다[S111].
그러나, 상기 S115 단계에서 상기 투어 포인트가 상기 프레임 내에서 사라졌다고 판단되면 (즉, 상기 프레임 밖으로 벗어났다고 판단되면), 상기 제어부(180)는 현재 발화 중인 문장까지만 오디오로 제공한후 더 이상의 상기 투어 가이드 정보는 제공하지 않도록 제어할 수 있다[S117].
이하, 도 12를 더욱 참조하여, 상기 상황4에서 투어 가이드 컨텐츠가 제공되는 것에 설명하겠다. 도 12는 도 8의 상황4에서 사용자 맞춤형 투어 가이드 컨텐츠를 제공하는 프로세스에 관한 순서도이다.
상기 제어부(180)는 상기 투어 포인트를 포함하는 상기 실시간 영상을 저장할 수 있다[S121]. 즉, 상기 제어부(180)는 상기 투어 포인트가 상기 프레임 내에 들어오는 순간부터 또는 들어오기 소정 시간(예를 들면 5초) 전부터 상기 투어 포인트가 상기 프레임 내에 벗어나서 사라지는 순간까지 또는 사라진 후 소정 시간(예를 들면 5초)까지 상기 실시간 영상을 녹화하고 상기 녹화된 실시간 영상을 상기 메모리(170)에 저장할 수 있다.
그 다음, 상기 제어부(180)는 영상 리스트를 디스플레이할 수 있다. 예를 들면, 상기 영상 리스트는 사용자 명령이 입력될 때 디스플레이될 수 있다[S123]. 상기 영상 리스트는 상기 녹화된 실시간 영상을 포함할 수 있다.
상기 영상 리스트에서 한 영상을 선택하는 사용자 명령이 입력되면, 상기 제어부(180)는 상기 선택된 영상을 재생하여 상기 디스플레이(151, 251) 상에 디스플레이할 수 있다.
상기 영상 리스트를 디스플레이하기 위한 사용자 명령 및 상기 영상 리스트에서 한 영상을 선택하기 위한 사용자 명령은 상기 디스플레이(151, 251) 상의 해당 터치 제스처를 통해 입력될 수도 있고, 상기 마이크(122)를 통한 사용자의 해당 음성을 통해 입력될 수도 있다.
이하, 도 13을 더욱 참조하여, 상기 상황1에서 상기 투어 가이드 컨텐츠를 제공하는 것에 대해 좀더 구체적으로 살펴보겠다. 도 13는 도 9의 상황1에서 투어 가이드 컨텐츠를 제공하는 디스플레이 화면을 도시한다.
도 13의 (13-1)에 도시된 바와 같이, 상기 제어부(180)는 포어그라운드로 실행 중인 애플리케이션의 실행 화면(410)을 상기 디스플레이(151, 251) 상에 전체 화면으로 디스플레이할 수 있다. 도 13에서는 상기 포어그라운드로 실행 중인 애플리케이션은 동영상 재생 애플리케이션이고, 상기 애플리케이션의 실행 화면(410)은 동영상 (예를 들면, 영화) 재생 화면인 것으로 예시되어 있다.
상기 실행 화면(410)이 상기 디스플레이(151, 251) 상에 디스플레이되는 중에, 상기 사용자 단말기(100)에서 상기 투어 가이드 컨텐츠의 제공을 요청하는 사용자의 명령이 수신되거나, 상기 투어 가이드 컨텐츠를 추천하는 이벤트가 발생할 수 있다. 이하 상기 투어 가이드 컨텐츠의 제공을 요청하는 사용자의 명령의 수신과 상기 투어 가이드 컨텐츠를 추천하는 이벤트의 발생을 "투어 가이드 컨텐츠 제공 트리거링 이벤트"라고 통칭 하겠다.
그러면, 도 13의 (13-2)에 도시된 바와 같이, 상기 제어부(180)는 상기 디스플레이(151, 251)을 화면 분할하여, 상기 애플리케이션의 실행 화면(410)과 상기 투어 가이드 컨텐츠(430)을 동시에 디스플레이하도록 제어할 수 있다. 도 13의 (13-2)에서는 상기 디스플레이(151, 251)가 PIP(Picture in Picture) 방식으로 화면 분할되고, 상기 디스플레이(151, 251)의 상기 화면 분할된 두 영역 중에서 큰 영역에 상기 애플리케이션의 실행 화면(410)이 디스플레이되고, 작은 영역에 상기 투어 가이드 컨텐츠의 화면(430)이 디스플레이되는 것이 예시되어있다.
예컨대, 상기 투어 가이드 컨텐츠의 화면(430)이 터치되어 선택되면, 상기 제어부(180)는 아래에서 설명될 도 14의 (14-1), (14-2), 또는 (14-3)과 같이 상기 투어 가이드 컨텐츠를 전체 화면으로 디스플레이할 수 있다.
이하, 도 14를 더욱 참조하여, 상기 상황2에서 상기 투어 가이드 컨텐츠를 제공하는 것에 대해 좀더 구체적으로 살펴보겠다. 도 14는 도 10의 상황2에서 투어 가이드 컨텐츠를 제공하는 디스플레이 화면을 도시한다.
도 14의 (14-1)에 도시된 바와 같이, 상기 제어부(180)는 상기 디스플레이(151, 251) 가 상기 적어도 하나의 외부 카메라(221)에 의해 실시간으로 센싱되는 영상(420)을 전체 화면으로 디스플레이하도록 제어할 수 있다.
그리고, 상기 제어부(180)는 상기 영상(420) 내에서 투어 포인트를 나타내는 복수의 투어 포인트 인디케이터(421, 423)와, 내비게이션 맵(451)를 디스플레이할 수 있다. 상기 투어 포인트 인디케이터(421, 423) 및/또는 상기 내비게이션 맵(451)도 상기 투어 가이드 컨텐츠에 속하는 것으로 이해될 수 있다. 상기 투어 포인트 인디케이터(421, 423)는 AR (Augmented Reality) 또는 XR (Extended Reality) 방식으로 상기 영상에서 해당 투어 포인트에 대응되도록 디스플레이될 수 있다. 상기 투어 포인트 인디케이터는 상기 투어 포인트의 간략 정보(예를 들면, 관광지 또는 여행지의 이름)만을 포함할 수 있다. 상기 투어 포인트의 간략 정보는 상기 투어 가이드 컨텐츠의 간략 버전으로 이해될 수 있다.
상기 제어부(180)는 상기 복수의 투어 포인트 인디케이터(421, 423)를 반드시 모두 디스플레이하여야 하는 것은 아니다. 상기 제어부(180)는 상기 사용자의 성향을 고려하여, 도 14의 (14-2)에 도시된 바와 같이, 상기 사용자의 성향에 가장 부합하는 투어 포인트(423)에 해당하는 투어 포인트 인디케이터(422)만을 디스플레이할 수도 있다. 이 경우, 상기 투어 가이드 컨텐츠가 디스플레이되는 화면에서 상기 투어 포인트(423) 및 그 인디케이터(422)를 제외한 나머지 영역을 디밍 처리되거나, 상기 상기 투어 포인트(423) 및 그 인디케이터(422)를 하이라이트 처리함으로써, 상기 투어 포인트(423) 및 그 인디케이터(422)를 시각적으로 두드러지게 즉 시가적으로 식별되도록 디스플레이할 수 있다.
도 14의 (14-1) 또는 (14-2)에서 한 투어 포인트 인디케이터(422)가 선택될 수 있다. 상기 선택은 상기 디스플레이(151, 251) 상의 터치 제스처를 통해 행해질 수도 있고, 상기 마이크(122)를 통한 사용자의 음성을 통해 행해질 수도 있다.
그러면, 상기 제어부(180)는, 도 14의 (14-3)에 도시된 바와 같이, 상기 투어 포인트(423)의 상세 컨텐츠(422-2)를 디스플레이할 수 있다. 상기 상세 컨텐츠(422-2)는 상기 간략 정보 이외에 더 자세한 정보 (예를 들면, 관광지 또는 여행지에 관한 자세한 설명)를 포함할 수 있다. 그리고, 상기 투어 포인트 인디케이터(422)는 최소화 인디케이터(422-1)로 전환되어 디스플레이될 수 있다.
이하, 도 15를 더욱 참조하여, 상기 상황3에서 상기 투어 가이드 컨텐츠를 제공하는 것에 대해 좀더 구체적으로 살펴보겠다. 도 15는 도 11의 상황3에서 제공되는 투어 가이드 컨텐츠의 예시를 도시한다.
상기 제어부(180)는 상기 투어 포인트가 상기 프레임 내에 있으면 상기 투어 가이드 정보를 상기 음성출력부(152)를 통해 오디오만으로 제공할 수 있다. 이 때, 상기 제어부(180)는 상기 사용자(또는 상기 사용자가 탑승한 차량)의 이동 속도에 따라 동일한 투어 포인트에 대해 다른 버전의 투어 가이드 정보를 제공할 수 있다.
상기 사용자의 이동 속도가 제 1 속도 (예를 들면, 시속 80km) 이상인 경우에는 상기 제어부(180)도 간략 버전의 투어 가이드 정보(510)를 제공할 수 있다. 상기 간략 버전의 투어 가이드 정보(510)를 제공하는 이유는, 이동 속도가 일정 속도 이상이 되면 상기 투어 포인트를 빠르게 지나갈 것이므로, 상기 투어 포인트를 완전히 지나가기 전에 상기 투어 가이드 정보(510)의 제공을 마무리 지을 수 있도록 하기 위한 것이다.
상기 사용자의 이동 속도가 제 1 속도 미만이면 상기 제어부(180)도 상세 버전의 투어 가이드 정보(520)(또는 상기 투어 가이드 컨텐츠의 상세 정보)를 제공할 수 있다. 상기 상세 버전의 투어 가이드 정보(520)를 제공하는 이유는, 이동 속도가 일정 속도 미만이 되면 상기 투어 포인트를 천천히 지나갈 것이므로, 상기 투어 포인트를 완전히 지나가기에는 어느 정도 충분한 시간이 소요되므로, 상기 충분한 시간 동안에 상기 투어 포인트에 대한 정보를 충분히 제공하기 위한 것이다.
한편, 상기 상세 버전의 투어 가이드 정보(520)를 제공하였음에도 여전히 상기 사용자가 상기 투어 포인트를 완전히 지나가지 않았다면, 상기 제어부(180)는 상기 투어 포인트에 대한 추가 정보(530)를 제공할 수도 있다.
이하, 도 16을 더욱 참조하여, 상기 상황4에서 상기 투어 가이드 컨텐츠를 제공하는 것에 대해 좀더 구체적으로 살펴보겠다. 도 16는 도 12의 상황4에서 제공되는 투어 가이드 컨텐츠의 예시를 도시한다.
상기 상황 4에서 상기 제어부(180)는 상기 투어 포인트를 포함하는 상기 실시간 영상을 녹화하고 이를 상기 메모리(170)에 저장할 수 있다. 상기 녹화된 실시간 영상에는 상기 투어 포인트 인디케이터 및 관련 정보가 모두 포함될 수 있다.
그리고, 도 16의 (16-1)에 도시된 바와 같이, 상기 제어부(180)는 영상 리스트(610)를 디스플레이할 수 있다.
상기 영상 리스트(610)는 추천 카테고리(611)로 분류되는 적어도 하나의 영상, 최근 카테고리(613)로 분류되는 적어도 하나의 영상, 즐겨찾기 카테고리(615)로 분류되는 적어도 하나의 영상, 장소 카테고리(617)로 분류되는 적어도 하나의 영상을 포함할 수 있다.
상기 녹화된 영상은 상기 복수의 카테고리들 중에서 적어도 하나의 카테고리로 분류되어 상기 영상 리스트(610)에 저장될 수 있다.
상기 영상 리스트(610)에서 한 영상을 선택하는 사용자 명령이 입력되면, 상기 제어부(180)는, 도 16의 (16-2)에 도시된 바와 같이, 상기 선택된 영상을 재생하여 재생 화면(620)을 상기 디스플레이(151, 251) 상에 디스플레이할 수 있다.
상기 제어부(180)는 상기 재생 화면(620) 상에 상기 선택된 영상 재생을 제어하기 위한 프로그레스 바(630)을 디스플레이할 수 있다.
상기 프로그레스 바(630)에는 상기 투어 포인트가 나타나는 시점에 대응되도록 적어도 하나의 북마크 인디케이터(631, 632, 633)가 디스플레이될 수 있다. 따라서, 상기 북마크 인디케이터 중에 하나가 선택되면 상기 선택된 북마크 인디케이터에 해당하는 투어 포인트가 포함된 시점의 영상이 바로 재생될 수 있다. 상기 투어 포인트가 포함된 시점의 영상이 재생될 때 해당 투어 포인트 인디케이터 및 관련 정보가 함께 디스플레이될 수 있다.
이하, 도 17을 참조하여, 사용자의 요청에 따라 상기 투어 가이드 컨텐츠가 디스플레이되는 것에 대해 좀더 구체적으로 설명하겠다. 도 17은 도 7에 따라 제공되는 투어 가이드 컨텐츠가 디스플레이되는 화면을 도시한다.
도 17의 (17-1)에 도시된 바와 같이, 상기 제어부(180)는 상기 디스플레이(151, 251) 상에 상기 실시간 영상(420) (상기 적어도 하나의 외부 카메라(221)에 의해 실시간으로 센싱되는 영상)을 디스플레이하도록 제어할 수 있다.
상기 실시간 영상(420)이 디스플레이되는 중에, 상기 사용자 단말기(100)에서 상기 트리거링 이벤트가 발생할 수 있다. 상기 트리거링 이벤트가 발생되다는 것은, 도 17의 (17-2)에 도시된 바와 같이 상기 제어부(180)가 상기 사용자가 투어 가이드 컨텐츠의 제공을 요청하는 사용자의 음성 명령(710)의 입력을 상기 마이크(122)를 통해 인식하는 것일 수 있다.
그러면, 상기 제어부(180)는 상기 S72 단계에서 수집된 데이터가 상기 S73 단계에서 모델링된 결과에 기반하여, 투어 포인트에 대한 상기 사용자에게 맞춤된 투어 가이드 컨텐츠를 생성할 수 있다. 즉, 상기 음성 명령(710)에 불명확한 부분이 있더라도, 상기 제어부(180)는 상기 S72 단계에서 수집된 데이터가 상기 S73 단계에서 모델링된 결과에 기반하여 상기 사용자의 음성 명령의 맥락을 이해하고 상기 사용자에게 맞춤된 투어 가이드 컨텐츠를 제공할 수 있다.
상기 제어부(180)는, 도 17의 (17-3)에 도시된 바와 같이, 상기 투어 가이드 컨텐츠의 정보(423)를 디스플레이하도록 제어할 수 있다. 상기 디스플레이되는 투어 가이드 컨텐츠는 간략 버전으로서 간략 정보만을 디스플레이할 수 있다. 상기 투어 가이드 컨텐츠의 정보(423)의 디스플레이 사이즈는 상기 투어 포인트와 상기 사용자 간의 거리에 따라 달라질 수 있다. 예를 들면, 상기 사용자와 상기 투어 포인트 간의 거리가 가까울수록 상기 투어 가이드 컨텐츠의 정보(423)의 디스플레이 사이즈가 커질 수 있다.
상기 간략 정보(423)가 선택됨으로써 상기 투어 포인트에 대한 상세한 투어 가이드 컨텐츠가 디스플레이될 수 있음은 전술한 바와 같다.
그런데 반드시 상기 간략 정보(423)가 먼저 디스플레이되고 난 다음에 상기 간략 정보(423)이 선택되면 상기 상세 투어 가이드 컨텐츠가 제공되도록 구성되어야만 하는 것은 아니다.
예를 들면, 상기 트리거링 이벤트 발생시에 상기 사용자의 이동속도가 소정 속도 미만이면 상기 상세 투어 가이드 컨텐츠가 디스플레이되고, 상기 사용자의 이동 속도가 상기 소정 속도 이상이면 상기 간편 정보가 디스플레이될 수도 있다.
상기 제어부(180)는 상기 투어 포인트가 상기 실시간 영상의 프레임에서 벗어나면 상기 투어 가이드 컨텐츠의 디스플레이가 종료되도록 제어할 수 있다.
상기 제어부(180)는 상기 투어 포인트가 상기 실시간 영상의 프레임에서 벗어나지 않더라도 사용자 명령에 반응하여 상기 투어 가이드 컨텐츠의 디스플레이가 종료될 수 있음은 물론이다.
한편, 상기 투어 포인트가 상기 실시간 영상의 프레임 내에 포함된다고 해서 상기 투어 포인트에 대한 투어 가이드 컨텐츠가 반드시 디스플레이되는 것은 아닐 수 있다. 이에 대해 도 18을 더욱 참조하여 설명하겠다. 도 18은 본 발명의 일 측면에 따라 투어 가이드 컨텐츠가 디스플레이되는 거리 범위에 관한 예시를 도시한다.
도 18의 (18-1) 및 (18-2)에 도시된 바아 같이, 상기 실시간 영상(420)이 디스플레이되는 중에, 상기 사용자 단말기(100)에서 상기 트리거링 이벤트가 발생할 수 있다. 상기 트리거링 이벤트가 발생되다는 것은, 상기 제어부(180)가 상기 사용자가 투어 가이드 컨텐츠의 제공을 요청하는 사용자의 음성 명령(710)의 입력을 상기 마이크(122)를 통해 인식하는 것일 수 있다.
그러면, 상기 제어부(180)는 상기 S72 단계에서 수집된 데이터가 상기 S73 단계에서 모델링된 결과에 기반하여, 복수의 투어 포인트에 각각 대응되는 복수의 투어 가이드 컨텐츠를 생성하고, 상기 복수의 투어 가이드 컨텐츠들(예를 들면, 간략 정보들)(424)을 디스플레이하도록 제어할 수 있다.
상기 복수의 투어 포인트들은 상기 실시간 영상의 프레임 내에 존재하는 모든 투어 포인트들 중에서 일부일 수 있다. 예를 들면, 도 18의 (18-3)에 도시된 바와 같이, 상기 복수의 투어 포인트들은, 상기 실시간 영상의 프레임 내에 존재하는 모든 투어 포인트들 중에서 상기 사용자 또는 상기 사용자가 탑승하고 있는 차량(200)으로부터 소정 반경 거리(예를 들면, 200m) 이내에 위치하는 것일 수 있다.
그런데, 상기 소정 반경 거리로 제한을 하더라도 예컨대 유명 여행지 또는 관광지인 경우에는 상기 디스플레이(151, 251) 상에 디스플레이 되어야 하는 상기 실시간 영상의 프레임 내에 존재하는 투어 포인트들이 너무 많을 수 있다. 이 같은 경우 상기 투어 포인트에 대한 투어 가이드 컨텐츠를 효과적으로 디스플레이하기 위한 방안에 대해 도 19를 더욱 참조하여 설명하겠다. 도 19은 본 발명의 일 측면에 따라 투어 가이드 컨텐츠의 타입 선택에 관한 예시를 도시한다.
도 19의 (19-1)에 도시된 바와 같이, 상기 제어부(180)는 상기 디스플레이(151, 251) 상에 상기 실시간 영상(420)을 디스플레이하면서, 복수의 투어 포인트들에 대한 복수의 투어 가이드 컨텐츠들(425, 426, 427)을 디스플레이할 수 있다.
그리고, 상기 제어부(180)는 상기 복수의 투어 가이드 컨텐츠들(425, 426, 427)과 함께 사용자가 원하는 투어 포인트의 타입을 결정하기 위한 투어 포인트 타입 아이콘들(441, 442, 443)을 디스플레이할 수 있다. 각 투어 포인트 타입 아이콘은 온/오프 토글 스위치 타입으로서, 각 아이콘이 터치되어 선택될 때마다 해당 투어 오브젝터 타입의 선택 및 선택 해제가 토글될 수 있다. 따라서, 상기 사용자는 자신의 원하는 투어 포인트의 타입을 결정하기 위해 상기 투어 포인트 타입 아이콘들(441, 442, 443)을 토글링할 수 있다.
상기 제어부(180)는 상기 투어 포인트 타입 아이콘들(441, 442, 443)을 통해 선택된 적어도 하나의 투어 포인트 타입에 해당하는 투어 가이드 컨텐츠만이 선별적으로 상기 실시간 영상(420)과 함께 디스플레이되도록 제어할 수 있다.
도 19의 (19-2)에서는 상기 복수의 투어 포인트 타입 아이콘들(441, 442, 443) 중에서 "레스토랑" 타입 아이콘(441)만이 선택되어, 상기 선택된 "레스토랑" 타입 아이콘(441)에 해당하는 투어 포인트의 투어 가이드 컨텐츠(425)만이 디스플레이되는 것이 예시되어 있다.
이상에서는 거리 및/또는 투어 포인트 타입에 기반하여 상기 디스플레이되는 투어 가이드 컨텐츠의 개수를 제한하는 것에 대해 설명하였다. 그러나, 본 발명은 아에 한정되는 것이 아니다. 예를 들어, 상기 디스플레이될 수 있는 투어 가이드 컨텐츠의 개수는 소정 개수(예를 들면, 10개)로 한정되고, 디스플레이되어야될 투어 가이드 컨텐츠들이 상기 소정 개수를 넘어가는 경우에는 오래 디스플레이된 투어 가이드 컨텐츠 순서대로 삭제되도록 구성될 수도 있다.
이상에서는 상기 디스플레이(151, 251) 상에 상기 실시간 영상이 투어 가이드 컨텐츠로서 디스플레이될 수 있음이 설명되었다. 그런데, 도 3에 도시된 바와 같이, 상기 사용자 단말기(100)는 복수의 외부 카메라, 즉, 전방 카메라(221-1), 우측 카메라(221-2), 좌측 카메라(221-3), 후방 카메라(221-4)와 연동되어 동작할 수 있다. 이 경우, 상기 4대의 카메라 중에서 사용자에 의해 선택된 카메라에 의해 실시간으로 센싱되는 영상이 상기 디스플레이(151, 251) 상에 메인 영상으로서 디스플레이될 수 있다. 이에 대해 도 20을 더욱 참조하여 설명하겠다. 도 20은 본 발명의 일 측면에 따라 디스플레이되는 실시간 영상의 선택에 관한 예시를 도시한다.
도 20에 도시된 바와 같이, 상기 제어부(180)는 상기 디스플레이(151, 251) 상에 상기 4대의 카메라(221-1, 221-2, 221-3, 221-4)에 각각 해당하는 카메라 아이콘(221A, 221B, 221C, 221D)을 디스플레이하도록 제어할 수 있다.
이들 아이콘 중에서 한 아이콘이 터치되어 선택되면, 상기 제어부(180)는 상기 선택된 아이콘에 해당하는 카메라에 의해 실시간으로 센싱되는 영상(420)이 상기 디스플레이(151, 251) 상에 메인 영상으로서 디스플레이될 수 있다.
이상에서 상기 투어 가이드 컨텐츠 제공 트리거링 이벤트로는 상기 투어 가이드 컨텐츠의 제공을 요청하는 사용자의 명령의 수신과 상기 투어 가이드 컨텐츠를 추천하는 이벤트의 발생가 있음이 설명되었다.
그런데, 상기 투어 가이드 컨텐츠 제공 트리거링 이벤트는 이에 한정되지 않을 수 있다. 예를 들면, 상기 차량(200)의 운전자가 상기 차량(200)의 후석에 앉아서 상기 사용자 단말기(100)를 이용하는 탑승자에게 상기 투어 가이드 컨텐츠를 제공할지 여부를 트리거링할 수도 있다. 이에 대해 도 21을 더욱 참조하여 설명하겠다. 도 21은 본 발명의 일 측면에 따른 투어 가이드 컨텐츠의 공유에 관한 예시를 도시한다.
좀더 구체적으로 설명하면, 상기 차량(200)과 상기 사용자 단말기(100)와 서로 연동될 수 있다. 이 경우, 상기 운전자가 상기 탑승자에게 현재 위치에서 전방에 보이는 어떤 투어 포인트에 대한 투어 가이드 컨텐츠를 상기 탑승자와 공유하기를 원하면, 상기 운전자는 상기 차량의 스티어링 휠에 구비된 사용자 입력부(223) (예를 들면, 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치, 터치식 입력 수단 등)를 조작하면, 상기 투어 가이드 컨텐츠 제공 트리거링을 위한 제어 신호가 상기 차량(200)에서 상기 사용자 단말기(100)로 제공될 수 있다.
상기 사용자 단말기(100)는 상기 제어 신호에 기반하여 앞서 설명한 투어 가이드 컨텐츠를 상기 탑승자에게 제공할 수 있다.
한편, 상기 사용자 단말기(100)는 상기 차량(200)으로 도 8에 따라 결정된 현재 상황에 관한 정보를 제공할 수 있다. 상기 차량(200)은 도 21에 도시된 바와 같이, 상기 차량(200)의 디지털 계기판 디스플레이(251-2)에 상기 현재 상황에 관한 정보(460)를 디스플레이할 수 있다.
따라서, 상기 운전자는 상기 디스플레이된 현재 상황에 관한 정보(460)를 참고하여 상기 투어 가이드 컨텐츠를 상기 탑승자와 공유할지 여부를 결정할 수 있다.
이상에서는, 도 8 및 도 12에 설명된 바와 같이, 상기 사용자가 비수면 상태에 있는지 여부에 따라서 상기 실시간 영상을 저장할지 여부가 결정되는 것으로 설명되었다. 또한, 이상에서는 도 8 및 도 10에서 설명된 바와 같이, 상기 투어 포인트가 현재 디스플레이되는 실시간 영상의 프레임 내에 존재하는지 여부에 따라서 상기 투어 포인트에 대한 투어 가이드 컨텐츠를 디스플레이할지 여부가 결정되는 것으로 설명되었다.
그러나, 본 발명은 이에 한정되지 않는다. 상기 사용자가 비수면 상태에 있는지 여부에 상관 없이 상기 실시간 영상이 저장될 수도 있고, 상기 투어 포인트가 현재 디스플레이되는 실시간 영상의 프레임 내에 존재하는지 여부에 상관 없이 상기 투어 포인트에 대한 투어 가이드 컨텐츠를 디스플레이할 수 있다. 이에 대해 도 22를 더욱 참조하여 설명하겠다.
상기 제어부(180)는 상기 외부 카메라(221)를 통해 실시간으로 영상을 센싱하고, 상기 위치정보모듈(115)를 통해 상기 사용자 단말기(100)의 위치 및 상기 사용자 단말기(100)의 방향 (즉, 상기 외부 카메라(221)의 방향)에 관한 정보를 센싱할 수 있다[S221].
상기 제어부(180)는 상기 실시간 영상의 분석을 통해 상기 실시간 영상에 포함된 다수의 오브젝트들을 실시간으로 분석할 수 있다.
상기 제어부(180)는 상기 실시간으로 센싱된 영상, 즉 실시간 영상을 분석하여 상기 영상 내에서 장소, 건물, 지형 및/또는 지물 등과 같은 적어도 하나의 오브젝트를 식별하고, 각 식별된 오브젝트에 대해 해당 식별 정보(예를 들면, 오브젝트의 이름 등)를 상기 실시간 영상의 프레임 별로 태깅할 수 있다[S222]. 상기 오브젝트는 앞서 설명한 투어 포인트를 포함할 수 있다.
그리고, 상기 제어부(180)는 상기 적어도 하나의 오브젝트에 태깅된 식별 정보를 포함하는 상기 실시간 영상을 상기 메모리(170)에 저장할 수 있다[S223].
상기 제어부(180)는 상기 트리거링 이벤트를 감지할 수 있다[S224]. 예컨대, 상기 트리거링 이벤트를 감지한다는 것은, 상기 제어부(180)가 상기 사용자가 투어 가이드 컨텐츠의 제공을 요청하는 사용자의 음성 명령의 입력을 상기 마이크(122)를 통해 인식하는 것일 수 있다.
그러면, 상기 제어부(180)는 상기 트리거링 이벤트에 해당하는 오브젝트를 선정할 수 있다[S225]. 상기 트리거링 이벤트가 상기 사용자의 음성 명령인 경우, 상기 제어부(180)는 상기 사용자 단말기(100)의 위치 및 방향을 고려하여 상기 음성 명령에 대응되는 오브젝트를 선정할 수 있다. 또한, 상기 제어부(180)는 상기 오브젝트를 선정함에 있어, 앞서 설명된 도 7의 S72의 데이터 수집과 S73 단계의 데이터 모델링이 더욱 활용될 수 있다.
상기 제어부(180)는 상기 선정된 오브젝트가 상기 디스플레이(151)에서 현재 디스플레이되고 있는 실시간 영상 내에 포함되는지 여부를 판단할 수 있다[S226].
상기 판단결과, 상기 선정된 오브젝트가 상기 실시간 영상 내에 있으면, 상기 제어부(180)는 상기 영상 내에서 상기 오브젝트가 하이라이트되도록 영상 처리하면서, 상기 오브젝트에 해당하는 오브젝트 정보를 디스플레이할 수 있다. 상기 오브젝트 정보는 상기 투어 컨텐츠 정보를 포함할 수 있다. 상기 영상 내에서 상기 오브젝트가 하이라이트된다는 것은 상기 오브젝트가 상기 실시간 영상 내의 다른 오브젝트들과 시각적으로 구별될 수 있도록 한다는 것을 의미하는 것으로서, 상기 시각적 구별을 위한 영상 처리 방법에는 제한이 없다. 예를 들면, 상기 오브젝트만을 위한 그래픽이 디스플레이될 수 있고, 상기 오브젝트만이 다른 오브젝트들에 비해 밝게 영상 처리할 수도 있다.
상기 오브젝트 정보는 상기 사용자 단말기(100)에서 자체적으로 생성되는 것일 수도 있다. 또는 상기 오브젝트 정보는 제 1 외부 플랫폼(300-1) 및/또는 제 2 외부 플랫폼(300-2)으로 상기 오브젝트의 식별 정보를 전송하고, 상기 제 1 외부 플랫폼(300-1) 및/또는 제 2 외부 플랫폼(300-2)으로 상기 식별 정보에 대응되는 텍스트, 사운드 및/또는 이미지 정보를 수신하여 생성되는 것일 수도 있다. 즉, 상기 오브젝트 정보는 텍스트, 사운드 및 이미지 정보 중 적어도 하나를 포함할 수 있다.
상기 제어부(180)는 상기 오브젝트가 상기 영상 내에서 디스플레이되는 위치에 따라서, 상기 디스플레이(151) 내에서 상기 오브젝트 정보가 디스플레이되는 위치가 달라지도록 제어할 수 있다.
예를 들면, 상기 오브젝트 정보가 상기 영상 내의 상기 오브젝트를 가리지 않는 범위 내에서 상기 오브젝트에 인접하도록 상기 오브젝트 정보의 디스플레이 위치가 정해져서, 상기 실시간 영상에 오버레이 되도록 디스플레이될 수 있다.
상기 판단결과, 상기 선정된 오브젝트가 상기 실시간 영상 내에 없으면, 상기 제어부(180)는 사전 설정된 일정 위치에서 상기 오브젝트 정보를 상기 실시간 영상과 함께 디스플레이하도록 제어할 수 있다. 이 때에는 상기 실시간 영상 내에서 어떠한 오브젝트에 대해서도 상기 사용자 음성에 반응하여 하이라이트 영상 처리가 되지 않을 수 있다. 예를 들어, 상기 오브젝트 정보는 상기 디스플레이(151) 상에서 팝업 창, PIP, 또는 화면 분할 방식으로 디스플레이될 수 있다.
상기 오브젝트 정보는 상기 사용자 단말기(100)에서 자체적으로 생성되는 것일 수도 있다. 또는 상기 오브젝트 정보는 제 1 외부 플랫폼(300-1) 및/또는 제 2 외부 플랫폼(300-2)으로 상기 오브젝트의 식별 정보를 전송하고, 상기 제 1 외부 플랫폼(300-1) 및/또는 제 2 외부 플랫폼(300-2)으로 상기 식별 정보에 대응되는 텍스트, 사운드 및/또는 이미지 정보를 수신하여 생성되는 것일 수도 있다. 즉, 상기 오브젝트 정보는 텍스트, 사운드 및 이미지 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 선정된 오브젝트가 상기 실시간 영상 내에 없으면, 상기 제어부(180)는 상기 저장된 실시간 영상 중에서 상기 선정된 오브젝트에 해당하는 식별정보가 태깅된 구간이 있는지를 검색하고, 상기 검색된 구간의 상기 실시간의 영상의 클립을 상기 오브젝트 정보와 함께 재생할 수 있다. 그러나, 상기 선정된 오브젝트가 상기 실시간 영상 내에 있다면, 상기 제어부(180)는 상기 오브젝트 정보를 디스플레이할 때 상기 검색된 구간의 상기 실시간의 영상의 클립을 재생하지 않을 수 있다.
한편, 도 21과 같이 상기 오브젝트 정보가 디스플레이됨에 있어, 앞서 설명된 오브젝트 정보(투어 가이드 컨텐츠) 디스플레이 방법이 모두 적용될 수 있다. 예를 들면 아래와 같다.
상기 사용자의 이동 속도에 따라 다른 타입(간략 버전 / 상세 버전)의 오브젝트 정보(투어 가이드 컨텐츠)가 디스플레이될 수 있다. 상기 이동 속도가 일정 속도 이상인 경우 상세 버전의 상기 오브젝트 정보를 디스플레이하고, 상기 이동 속도가 일정 속도 미만인 경우 간략 버전의 상기 오브젝트 정보를 디스플레이할 수 있다. 상기 간략 버전의 오브젝트 정보가 디스플레이되는 동안 상기 오브젝트 정보가 선택되면 상기 상세 버전의 오브젝트 정보가 디스플레이될 수 있다.
상기 디스플레이 상에서 포어 그라운드로 실행 중인 다른 어플리케이션의 실행 화면이 디스플레이되는 도중에 상기 오브젝트 정보의 제공을 트리거링하는 이벤트가 발생되는 경우, 상기 디스플레이를 화면 분할하여 상기 오브젝트 정보 화면과 상기 다른 애플리케이션의 실행 화면을 동시에 디스플레이하도록 제어할 수 있다. 상기 오브젝트 정보 화면 내에서는 상기 실시간 영상이 함께 디스플레이될 수도 있다.
상기 오브젝트 정보 화면이 상기 사용자에 의해 선택되면, 상기 실시간 영상과 상기 오브젝트 정보가 전체 화면으로서 디스플레이될 수 있다.
상기 오브젝트 정보의 제공을 트리거링하는 이벤트가 발생되는 시점에 상기 디스플레이가 절전 모드에 있는 경우, 상기 오브젝트 정보가 상기 음성출력부를 통해 오디오만으로 출력될 수도 있다. 상기 디스플레이가 상기 절전 모드에서 비절전 모드로 전환되는 경우, 상기 실시간 영상과 상기 오브젝트 정보가 전체 화면으로서 디스플레이될 수 있다.
상기 절전 모드에서 상기 오브젝트 정보가 오디오만으로 출력되는 경우에 있어서, 상기 사용자의 이동 속도에 따라 다른 타입의 오디오가 출력될 수가 있다. 상기 이동 속도가 일정 속도 이상인 경우 간략 버전의 상기 오브젝트 정보의 오디오가 출력되고, 상기 이동 속도가 일정 속도 미만인 경우 상세 버전의 상기 오브젝트 정보의 오디오가 출력될 수 있다.
복수의 오브젝트들에 대한 복수의 오브젝트 정보들을 복수의 오브젝트 타입 아이콘들과 함께 디스플레이될 수 있다. 상기 복수의 오브젝트 타입 아이콘들 중 적어도 하나가 상기 사용자에 의해 선택되는 경우, 상기 복수의 오브젝트 정보들 중에서 상기 선택된 적어도 하나의 오브젝트 타입 아이콘에 대응되는 적어도 하나의 오브젝트의 오브젝트 정보만이 디스플레이될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 디스플레이;
    마이크;
    위치 정보 모듈;
    카메라; 및
    상기 카메라를 통해 센싱되는 실시간 영상을 상기 디스플레이 상에 디스플레이하고,
    상기 실시간 영상의 분석을 통해 상기 실시간 영상에 포함된 다수의 오브젝트들을 실시간으로 분석하고, 상기 위치 정보 모듈을 통해 센싱되는 현재 위치 및 방향 중 적어도 하나와 상기 마이크를 통해 입력되는 사용자의 음성을 인공지능으로 분석하여 상기 사용자의 음성에 부합하는 오브젝트를 선정하고,
    상기 선정된 오브젝트가 상기 디스플레이 상에 현재 디스플레이되는 상기 실시간 영상 내에 포함되는 경우, 상기 실시간 영상 내에서 상기 선정된 오브젝트를 하이라이트하면서 상기 실시간 영상과 상기 선정된 오브젝트의 선정 오브젝트 정보를 함께 디스플레이하고,
    상기 선정된 오브젝트가 상기 디스플레이 상에 현재 디스플레이되는 상기 실시간 영상 내에 포함되지 않는 경우, 상기 실시간 영상 내에서 오브젝트 하이라이트 없이 상기 실시간 영상과 상기 선정 오브젝트 정보를 함께 디스플레이하는 제어부;를 포함하는 사용자 단말기.
  2. 제 1 항에 있어서, 상기 제어부는,
    상기 선정된 오브젝트가 현재 디스플레이되는 상기 실시간 영상 내에 포함되는 경우, 상기 실시간 영상 내의 상기 선정된 오브젝트의 위치에 따라서 상기 디스플레이에서 상기 선정 오브젝트 정보가 디스플레이되는 위치가 가변되도록 제어하는 것을 특징으로 하는 사용자 단말기.
  3. 제 1 항에 있어서, 상기 제어부는,
    상기 선정된 오브젝트가 현재 디스플레이되는 상기 실시간 영상 내에 포함되지 않는 경우, 상기 선정 오브젝트 정보가 상기 디스플레이의 일정한 위치에서 디스플레이되도록 제어하는 것을 특징으로 하는 사용자 단말기.
  4. 제 1 항에 있어서, 상기 사용자 단말기는 메모리를 더욱 포함하고,
    상기 제어부는,
    상기 실시간 영상 내의 상기 다수의 오브젝트들 중 적어도 하나의 오브젝트를 식별하고, 상기 식별된 오브젝트에 대한 식별 정보를 태깅하고, 상기 적어도 하나의 오브젝트에 태깅된 식별 정보를 포함하는 상기 실시간 영상을 상기 메모리에 저장하도록 제어하는 것을 특징으로 하는 사용자 단말기.
  5. 제 4 항에 있어서, 상기 제어부는,
    상기 선정된 오브젝트가 현재 디스플레이되는 상기 실시간 영상 내에 포함되지 않는 경우, 상기 저장된 실시간 영상 중에서 상기 선정된 오브젝트에 해당하는 식별정보가 태깅된 구간이 있는지를 검색하고, 상기 검색된 구간의 상기 실시간 영상의 클립을 상기 선정된 오브젝트 정보와 함께 재생하도록 제어하는 것을 특징으로 하는 사용자 단말기.
  6. 제 5 항에 있어서, 상기 제어부는,
    상기 선정된 오브젝트가 현재 디스플레이되는 상기 실시간 영상 내에 포함되는 경우, 상기 선정된 오브젝트 정보를 디스플레이할 때 상기 검색된 구간의 상기 실시간 영상의 클립을 재생하지 않도록 제어하는 것을 특징으로 하는 사용자 단말기.
  7. 제 1 항에 있어서, 상기 사용자 단말기는 무선통신부를 더욱 포함하고,
    상기 제어부는,
    상기 선정된 오브젝트의 식별정보를 상기 무선통신부를 상기 외부 플랫폼에 전송하고,
    상기 외부 플랫폼으로부터 상기 식별정보에 해당하는 텍스트, 사운드 및 이미지 정보 중 적어도 하나를 상기 무선통신부를 통해 수신하고,
    상기 텍스트, 상기 사운드 및 상기 이미지 정보 중 적어도 하나가 상기 선정 오브젝트 정보에 포함되도록 제어하는 것을 특징으로 하는 것을 특징으로 하는 사용자 단말기.
  8. 제 1 항에 있어서, 상기 제어부는,
    상기 사용자의 이동 속도에 따라 다른 타입의 선정 오브젝트 정보를 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말기.
  9. 제 8 항에 있어서, 상기 제어부는,
    상기 이동 속도가 일정 속도 이상인 경우 상세 버전의 상기 선정 오브젝트 정보를 디스플레이하고,
    상기 이동 속도가 일정 속도 미만인 경우 간략 버전의 상기 선정 오브젝트 정보를 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말기.
  10. 제 9 항에 있어서, 상기 제어부는,
    상기 간략 버전의 오브젝트 정보가 상기 사용자에 의해 선택되는 경우, 상기 상세 버전의 상기 선정 오브젝트 정보가 디스플레이되도록 제어하는 것을 특징으로 하는 사용자 단말기.
  11. 제 1 항에 있어서, 상기 제어부는,
    상기 디스플레이 상에서 포어 그라운드로 실행 중인 다른 어플리케이션의 실행 화면이 디스플레이되는 도중에 상기 사용자 음성이 센싱되는 경우, 상기 디스플레이를 화면 분할하여 상기 선정 오브젝트 정보의 화면과 상기 다른 애플리케이션의 실행 화면을 동시에 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말기.
  12. 제 11 항에 있어서, 상기 제어부는,
    상기 선정 오브젝트 정보의 화면이 상기 사용자에 의해 선택되면, 상기 실시간 영상과 상기 선정 오브젝트 정보를 전체 화면으로서 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말기.
  13. 제 1 항에 있어서,
    상기 사용자 단말기는 음성출력부를 더욱 포함하고, 상기 제어부는,
    상기 사용자 음성이 센싱되는 시점에 상기 디스플레이가 절전 모드에 있는 경우, 상기 선정 오브젝트 정보를 상기 음성출력부를 통해 오디오만으로 출력하도록 제어하는 것을 특징으로 하는 사용자 단말기.
  14. 제 13 항에 있어서, 상기 제어부는,
    상기 디스플레이가 비절전 모드로 전환되는 경우, 상기 실시간 영상과 상기 선정 오브젝트 정보를 전체 화면으로서 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말기.
  15. 제 14 항에 있어서, 상기 제어부는,
    상기 사용자의 이동 속도에 따라 다른 타입의 오디오가 출력되도록 제어하는 것을 특징으로 하는 것을 특징으로 하는 사용자 단말기.
  16. 제 15 항에 있어서, 상기 제어부는,
    상기 이동 속도가 일정 속도 이상인 경우 간략 버전의 상기 선정 오브젝트 정보의 오디오를 출력하고,
    상기 이동 속도가 일정 속도 미만인 경우 상세 버전의 상기 선정오브젝트 정보의 오디오를 출력하도록 제어하는 것을 특징으로 하는 사용자 단말기.
  17. 제 1 항에 있어서, 상기 제어부는,
    상기 선정된 오브젝트가 상기 실시간 영상 내에 포함되고 상기 선정된 오브젝트가 소정 거리 이내에 위치하는 경우 상기 선정 오브젝트 정보를 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말기.
  18. 제 1 항에 있어서, 상기 제어부는,
    복수의 오브젝트들에 대한 복수의 오브젝트 정보들을 복수의 오브젝트 타입 아이콘들과 함께 디스플레이하는 것을 특징으로 하는 사용자 단말기.
  19. 제 18 항에 있어서, 상기 제어부는,
    상기 복수의 오브젝트 타입 아이콘들 중 적어도 하나가 상기 사용자에 의해 선택되는 경우,
    상기 복수의 오브젝트들 중에서 상기 선택된 적어도 하나의 오브젝트 타입 아이콘에 대응되는 적어도 하나의 오브젝트의 정보만을 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말기.
  20. 카메라를 통해 센싱되는 실시간 영상을 디스플레이 상에 디스플레이하는 단계;
    상기 실시간 영상의 분석을 통해 상기 실시간 영상에 포함된 다수의 오브젝트들을 실시간으로 분석하고, 위치 정보 모듈을 통해 센싱되는 현재 위치 및 방향 중 적어도 하나와 마이크를 통해 입력되는 사용자의 음성을 인공지능으로 분석하여 상기 사용자의 음성에 부합하는 오브젝트를 선정하는 단계;
    상기 선정된 오브젝트가 상기 디스플레이 상에 현재 디스플레이되는 상기 실시간 영상 내에 포함되는 경우, 상기 실시간 영상 내에서 상기 오브젝트를 하이라이트하면서 상기 실시간 영상과 상기 선정된 오브젝트의 선정 오브젝트 정보를 함께 디스플레이하는 단계; 및
    상기 선정된 오브젝트가 상기 디스플레이 상에 현재 디스플레이되는 상기 실시간 영상 내에 포함되지 않는 경우, 상기 실시간 영상 내에서 오브젝트 하이라이트 없이 상기 실시간 영상과 상기 선정 오브젝트 정보를 함께 디스플레이하는 단계;를 포함하는 사용자 단말기의 제어 방법.
PCT/KR2022/002164 2022-02-14 2022-02-14 사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기 WO2023153544A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/002164 WO2023153544A1 (ko) 2022-02-14 2022-02-14 사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/002164 WO2023153544A1 (ko) 2022-02-14 2022-02-14 사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기

Publications (1)

Publication Number Publication Date
WO2023153544A1 true WO2023153544A1 (ko) 2023-08-17

Family

ID=87564429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/002164 WO2023153544A1 (ko) 2022-02-14 2022-02-14 사용자 맞춤형 투어 가이드 컨텐츠 제공 방법 및 이를 구현하기 위한 단말기

Country Status (1)

Country Link
WO (1) WO2023153544A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170089662A (ko) * 2016-01-27 2017-08-04 엘지전자 주식회사 증강현실을 제공하는 웨어러블 디바이스
KR20200097523A (ko) * 2019-02-08 2020-08-19 이시완 공간 정보 기반의 카메라 서비스 방법 및 장치
KR20200101583A (ko) * 2019-02-20 2020-08-28 ㈜브이리얼 Vr 영상 컨텐츠 제작 방법, 장치 및 프로그램
KR20210064830A (ko) * 2019-11-26 2021-06-03 주식회사 딥파인 영상처리 시스템
KR20220014254A (ko) * 2020-07-28 2022-02-04 박가람 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170089662A (ko) * 2016-01-27 2017-08-04 엘지전자 주식회사 증강현실을 제공하는 웨어러블 디바이스
KR20200097523A (ko) * 2019-02-08 2020-08-19 이시완 공간 정보 기반의 카메라 서비스 방법 및 장치
KR20200101583A (ko) * 2019-02-20 2020-08-28 ㈜브이리얼 Vr 영상 컨텐츠 제작 방법, 장치 및 프로그램
KR20210064830A (ko) * 2019-11-26 2021-06-03 주식회사 딥파인 영상처리 시스템
KR20220014254A (ko) * 2020-07-28 2022-02-04 박가람 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템

Similar Documents

Publication Publication Date Title
WO2020050595A1 (ko) 음성 인식 서비스를 제공하는 서버
WO2019031707A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING A MOBILE TERMINAL USING MACHINE APPRENTICESHIP
WO2012157792A1 (en) Electronic device
WO2016076474A1 (ko) 이동단말기 및 그 제어방법
WO2017094926A1 (ko) 단말 장치 및 제어 방법
WO2015105257A1 (ko) 이동 단말기 및 그 제어방법
WO2017018583A1 (ko) 이동 단말기 및 그 제어방법
WO2015199280A1 (en) Mobile terminal and method of controlling the same
WO2019160198A1 (ko) 이동 단말기 및 그 제어방법
WO2016195147A1 (ko) 헤드 마운티드 디스플레이
WO2017104941A1 (en) Mobile terminal and method for controlling the same
WO2015194723A1 (ko) 이동단말기 및 그 제어방법
WO2017175942A1 (en) Mobile terminal and method for controlling the same
WO2017026554A1 (ko) 이동 단말기
WO2016039509A1 (ko) 단말기 및 그 동작 방법
WO2018026116A1 (en) Terminal and controlling method thereof
WO2016140393A1 (ko) 이동 단말기 및 그의 동작 방법
WO2015125993A1 (ko) 이동 단말기 및 이동 단말기의 제어방법
WO2016129781A1 (ko) 이동 단말기 및 그 제어 방법
WO2021118225A1 (en) Display device and operating method thereof
WO2017030212A1 (ko) 이동 단말기 및 그 제어 방법
WO2018124355A1 (ko) 오디오 장치 및 그 제어방법
WO2016153207A1 (ko) 이동 단말기 및 그 제어 방법
WO2017010602A1 (ko) 단말기 및 그것을 포함한 시스템
WO2016117754A1 (ko) 디스플레이 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22926142

Country of ref document: EP

Kind code of ref document: A1