WO2023068512A1 - 차량에 탑재된 전자 장치 및 그 동작 방법 - Google Patents

차량에 탑재된 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023068512A1
WO2023068512A1 PCT/KR2022/012285 KR2022012285W WO2023068512A1 WO 2023068512 A1 WO2023068512 A1 WO 2023068512A1 KR 2022012285 W KR2022012285 W KR 2022012285W WO 2023068512 A1 WO2023068512 A1 WO 2023068512A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
electronic device
vehicle
surrounding environment
type
Prior art date
Application number
PCT/KR2022/012285
Other languages
English (en)
French (fr)
Inventor
김영일
김태준
서보성
이상훈
이영석
이웅
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/953,431 priority Critical patent/US20230120933A1/en
Publication of WO2023068512A1 publication Critical patent/WO2023068512A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Definitions

  • One or more embodiments of the present disclosure generally relate to an electronic device mounted on a vehicle and an operating method thereof. Specifically, one or more embodiments of the present disclosure provide a method and an electronic device for performing a two-way wireless communication connection with objects such as other vehicles, pedestrians, traffic lights, and signboards around the vehicle.
  • V2X communication Vehicle to Everything communication
  • V2X communication represents a technology in which a vehicle transmits and receives data with other vehicles and objects in environmental infrastructure such as roads through a wired and wireless communication network.
  • Communication with individual objects may represent Vehicle to Vehicle (V2V), Vehicle to Infrastructure (V2I), Vehicle to Pedestrian (V2P), and Vehicle to Network (V2N).
  • V2V Vehicle to Vehicle
  • V2I Vehicle to Infrastructure
  • V2P Vehicle to Pedestrian
  • V2N Vehicle to Network
  • V2X communication technology is mainly limitedly used for receiving information or data unilaterally from other vehicles or objects.
  • an electronic device mounted in a vehicle performs only a function of receiving information, such as receiving speed information of another vehicle using V2X communication or obtaining store information through a signboard on the street.
  • An electronic device mounted in a vehicle performs V2X communication with objects such as other vehicles, pedestrians, traffic lights, or signboards, thereby requiring a two-way V2X communication service that not only receives information but also allows the electronic device to perform a function or operation for the object. It is becoming.
  • an electronic device needs to provide a user interface (UI) for communicating with other objects around the vehicle and performing functions or operations related to the object.
  • UI user interface
  • One or more embodiments of the present disclosure provide an electronic device that performs a two-way wireless communication connection with an object around a vehicle and an operating method thereof.
  • a specific embodiment may provide an electronic device that recognizes an object around a vehicle and provides a user interface (UI) for wireless communication with an object selected by a user input, and an operating method thereof.
  • UI user interface
  • An electronic device mounted in a vehicle.
  • An electronic device includes a communication interface, a user input unit, a display unit, a camera installed in the vehicle and acquiring a surrounding environment image by capturing the surrounding environment of the vehicle, and at least one instruction. It may include a memory that stores , and at least one processor that executes at least one instruction stored in the memory. The at least one processor may recognize at least one object from the surrounding environment image using an object recognition model. The at least one processor may receive a V2X data set including information about the at least one object through the communication interface.
  • the at least one processor may select a first object from among the at least one recognized object based on a user input received through the user input unit.
  • the at least one processor may obtain information about the type of the first object by using a recognition result determined based on the surrounding environment image and the received V2X data set.
  • the at least one processor may display a user interface (UI) for wireless communication connection with the first object on the display unit based on the information about the type of the first object.
  • the UI may include a selectable menu UI to perform a function or operation determined based on the type of the first object.
  • an embodiment of the present disclosure provides a method of operating an electronic device mounted in a vehicle.
  • a method of operating an electronic device may include acquiring an image of a surrounding environment by photographing the surroundings of the vehicle using a camera mounted in front of the vehicle.
  • the operating method of the electronic device may include recognizing at least one object from the surrounding environment image using an artificial intelligence model.
  • the operating method of the electronic device may include receiving a V2X data set including information related to the at least one object.
  • the operating method of the electronic device may include selecting a first object from among the one or more recognized objects based on a user input.
  • the operating method of the electronic device may include obtaining information about a type of the selected first object using a recognition result determined based on the surrounding environment image and the received V2X data set. there is.
  • the operating method of the electronic device may include displaying a user interface (UI) for a wireless communication connection with the first object based on information about the type of the first object.
  • the UI may include a selectable menu UI to perform a function or operation determined based on the type of the first object.
  • the computer program product may include instructions related to an operation of acquiring an image of the surrounding environment by photographing the surroundings of the vehicle using a camera.
  • the computer program product may include instructions for recognizing at least one object from the surrounding environment image using an artificial intelligence model.
  • the computer program product may include instructions related to an operation of receiving a V2X data set including information related to the at least one object.
  • the computer program product may include instructions related to an operation of selecting a first object from among the one or more recognized objects based on a user input.
  • the computer program product may include instructions for obtaining information about a type of the selected first object using a recognition result determined based on the surrounding environment image and the received V2X data set.
  • the computer program product may include instructions related to an operation of displaying a user interface (UI) for a wireless communication connection with the first object based on information about the type of the first object.
  • UI user interface
  • FIG. 1 is a conceptual diagram illustrating an embodiment in which an electronic device of the present disclosure displays a UI for performing a wireless communication connection with objects around a vehicle.
  • FIG. 2 is a block diagram illustrating components of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating a method of operating an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining an operation in which an electronic device receives a V2X data set through a V2X connection with objects around a vehicle according to an embodiment of the present disclosure.
  • FIG. 5 is a table illustrating information included in a V2X data set received by an electronic device from objects around a vehicle according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating a method for an electronic device to establish a wireless communication connection with an object around a vehicle according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining an operation of obtaining identification information of another vehicle based on information about a license plate of another vehicle by an electronic device according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for explaining an operation of obtaining identification information of an object based on a positional relationship between a vehicle and an object by an electronic device according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining an operation of acquiring identification information of an object based on a change in a positional relationship of an object over time by an electronic device according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating an example of a UI displayed before a wireless communication connection with an object is performed by an electronic device according to an embodiment of the present disclosure.
  • 11A is a diagram illustrating an example of a UI displayed while a wireless communication connection with an object is performed by an electronic device according to an embodiment of the present disclosure.
  • 11B is a diagram illustrating an example of a UI that changes as an electronic device wirelessly communicates with an object according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating an example of a UI displayed after a wireless communication connection with an object is performed by an electronic device according to an embodiment of the present disclosure.
  • FIGS. 13A to 13C are diagrams illustrating examples of UIs displayed according to the driving speed of an object by an electronic device according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram for explaining an operation of displaying a UI related to a wireless communication connection after an electronic device displays content provided by an object according to an embodiment of the present disclosure.
  • 15 is a diagram for explaining an operation performed by an electronic device of the present disclosure using artificial intelligence technology.
  • 16 is a diagram illustrating a disclosed embodiment in which an electronic device of the present disclosure operates in association with a server.
  • FIG. 17 is a diagram for explaining FIG. 16 in detail.
  • the expression "at least one of a, b, or c" refers to a only, b only, c only, a and b, a and c, b and c, and both a, b, and c.
  • a processor configured (or configured) to perform A, B, and C may include a dedicated processor (e.g., an embedded processor) to perform those operations, or by executing one or more software programs stored in memory; It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • a dedicated processor e.g., an embedded processor
  • It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • an element when referred to as “connected” or “connected” to another element, the element may be directly connected or directly connected to the other element, but in particular the opposite It should be understood that, as long as no description exists, it may be connected or connected via another component in the middle.
  • FIG. 1 is a conceptual diagram illustrating an embodiment in which an electronic device 1000 of the present disclosure displays UIs 110-1 to 110-5 for performing a wireless communication connection with objects around a vehicle.
  • an electronic device 1000 may be disposed in a vehicle and may include a display unit 1600 .
  • the display unit 1600 may be an Augmented Reality Head Up Display (HUD) that projects a virtual image onto the windshield 160 of a vehicle using a projector.
  • HUD Augmented Reality Head Up Display
  • the display unit 1600 may be, for example, a transparent display formed on the windshield 160 of the vehicle, a center information display (CID) 170, a navigation device, a dashboard display, or a passenger seat. At least one of the displays may be configured.
  • the electronic device 1000 may obtain an image of the surrounding environment including the at least one object 101 to 105 by capturing at least one object 101 to 105 located around or moving around the vehicle using a camera.
  • the at least one object 101 to 105 may be, for example, at least one of other vehicles, pedestrians, traffic lights, billboards, and signboards around the vehicle, but is not limited thereto.
  • the first object 101 and the second object 102 are other vehicles moving around the vehicle
  • the third object 103 is a pedestrian located around the vehicle
  • the fourth object Denoted by 104 is a signboard of a restaurant
  • the fifth object 105 may be a signboard of a theater.
  • the electronic device 1000 may recognize at least one object 101 to 105 from a surrounding environment image using an artificial intelligence model.
  • the artificial intelligence model may be composed of a deep learning-based object recognition model.
  • the object recognition model applies tens of thousands to hundreds of millions of images as input data and applies a label value (label) of an object included in the image as an output correct value (groundtruth) as a trained model parameter.
  • a configured deep neural network model may be included.
  • the electronic device 1000 may recognize the type of at least one object 101 to 105 through reasoning using an object recognition model. For example, the electronic device 1000 may recognize that the types of the first object 101 and the second object 102 are vehicles and the type of the third object 103 is a person. Similarly, the electronic device 1000 may recognize that the types of the fourth object 104 and the fifth object 105 are signs.
  • the electronic device 1000 may display the at least one object 101 to 105 in different colors according to the type of the at least one object 101 to 105 .
  • the first object 101 and the second object 102 which are vehicles, are colored red
  • the third object 103 which is a pedestrian
  • the fourth object 104 which is a signboard
  • the second object 102 which are signs
  • 5 object 105 may be displayed in green, but is not limited thereto.
  • the electronic device 1000 may receive a V2X data set from at least one object 101 to 105 or a Road Side Unit (RSU).
  • the V2X data set may include information related to at least one object 101 to 105.
  • the V2X data set may include at least one of identification information (id information), reception date, license plate information, type information, location information, direction information, and speed information of each of at least one object (101 to 105). there is.
  • the electronic device 1000 may receive an input for selecting any one of the at least one object 101 to 105 from the user.
  • the electronic device 1000 may receive a user input for selecting any one object through an AR pointing input such as hand tracking, eye tracking, and an input controller.
  • the electronic device 1000 may receive a user input for selecting the first object 101 by using a hand tracking device that tracks a location of a user's finger.
  • the electronic device 1000 does not receive only augmented reality pointing input.
  • the electronic device 1000 may receive a user input for selecting the first object 101 among at least one object 101 to 105 through a touch input, a gesture input, or a voice input.
  • the electronic device 1000 may select the first object 101 from among at least one object 101 to 105 based on a user input.
  • the electronic device 1000 may obtain identification information about the first object 101 by using the recognition result from the surrounding environment image and the V2X data set.
  • the electronic device 1000 obtains information such as license plate information, location information, type information, and predicted speed information of the first object 101 recognized from the surrounding environment image, and obtains the obtained information and V2X data set Identification information about the first object 101 may be obtained by matching information included in .
  • the electronic device 1000 may display at least one user interface (UI) 110-1 to 110-5 for performing a wireless communication connection with at least one of the first object 101 to the fifth object 105.
  • UI user interface
  • the electronic device 1000 may display at least one UI 110-1 to 110-5 by projecting a virtual image using a projector on the display unit 1600 configured as an augmented reality HUD.
  • the electronic device 1000 may display UIs 110-1 to 110-5 on at least one of a center information display (CID) 170, a navigation device, an instrument panel display, or a passenger seat display. ) can be displayed.
  • CID center information display
  • the at least one UI 110 - 1 to 110 - 5 respectively corresponds to the at least one object 101 to 105 and may be displayed at a position adjacent to the at least one object 101 to 105 .
  • the at least one UI 110 - 1 to 110 - 5 may be a contextual menu UI providing a customized menu according to the type of the at least one object 101 to 105 .
  • at least one UI (110-1 to 110-5) may include a selectable menu UI to perform a function or operation determined based on the type of at least one object (101 to 105). .
  • the menu UI may include a plurality of items for receiving a user input for selecting a function or operation to be performed for each of the at least one object 101 to 105 .
  • the first UI 110-1 includes a plurality of items that receive user input for performing operations determined based on the fact that the type of the first object 101 is a vehicle, and , The operations may include sending a message to the vehicle, obtaining vehicle information, or transmitting a danger notification signal. Since the type of the third object 103 is a pedestrian, the third UI 110-3 includes a plurality of items that receive a user input for performing operations that can be performed on the pedestrian, and the operations include sending a message and making a phone call. , or the transmission of danger notification signals.
  • the fourth UI 110-4 includes a plurality of items for receiving a user input for performing operations determined based on the fact that the type of the fourth object 104 is a restaurant sign, the operations obtaining restaurant information. , food menu orders, or reservations.
  • the fifth UI 110 - 5 includes a plurality of items for receiving a user input for performing operations determined based on the fact that the fifth object 105 is a signboard, and the operations are information acquisition or a signboard lamp. It may include finding out the lighting time.
  • the electronic device 1000 may establish a wireless communication connection with the first object 101 based on identification information of the first object 101 selected by a user input.
  • the electronic device 1000 may perform a bidirectional V2X communication connection with the first object 101 .
  • the electronic device 1000 may perform a function or operation corresponding to an item selected according to a user input among a plurality of items included in the first UI 110 - 1 corresponding to the first object 101 . For example, when an item to transmit a message through the first UI 110-1 is selected by a user input, the electronic device 1000 may perform an operation to transmit a message to the first object 101. .
  • V2X communication was limitedly used only for communication to unilaterally receive information or data from other vehicles or objects.
  • an electronic device mounted in a vehicle performs only a function of receiving information, such as receiving speed information of another vehicle using V2X communication or obtaining store information through a signboard on the street.
  • An electronic device mounted in a vehicle performs V2X communication with objects such as other vehicles, pedestrians, traffic lights, or signboards, thereby requiring a two-way V2X communication service that not only receives information but also allows the electronic device to perform a function or operation for the object. It is becoming.
  • the electronic device 1000 is not limited to simply performing an operation of obtaining information from other vehicles or signboards, and includes at least one object (101 to 105) such as other vehicles, pedestrians, traffic lights, and signboards. ) And at least one UI (110-1 to 110-5) that is a context-customized UI for performing a function or operation determined based on the type of each of the at least one object (101 to 105) and performing a bidirectional V2X communication connection.
  • the electronic device 1000 may increase the frequency of use of bidirectional V2X communication and enhance usability by displaying a user-friendly graphic UI.
  • FIG. 2 is a block diagram illustrating components of an electronic device 1000 according to an embodiment of the present disclosure.
  • the electronic device 1000 may be mounted inside the vehicle or mounted on an external surface of the vehicle.
  • the electronic device 1000 may include one or more electronic circuits constituting an electronic control unit (ECU) inside a vehicle.
  • ECU electronice control unit
  • the electronic device 1000 may include a camera 1100, a communication interface 1200, a processor 1300, a memory 1400, a user input unit 1500, and a display unit 1600.
  • the camera 1100, the communication interface 1200, the processor 1300, the memory 1400, the user input unit 1500, and the display unit 1600 may be electrically and/or physically connected to each other.
  • the components shown in FIG. 2 are only examples, and the components included in the electronic device 1000 are not limited to those shown in FIG. 2 .
  • the electronic device 1000 may not include some of the components shown in FIG. 2 and may further include components not shown in FIG. 2 .
  • the electronic device 1000 may further include a GPS sensor for acquiring information on the current location of the vehicle or a Light Detection And Ranging (LiDAR) sensor for measuring a distance to objects around the vehicle.
  • LiDAR Light Detection And Ranging
  • the camera 1100 may be disposed outside of the vehicle. In one embodiment, the cameras 1100 are disposed on the front, left, right, and rear of the vehicle, and may be configured in plurality.
  • the camera 1100 may obtain an image of the surrounding environment by photographing the surrounding environment of the vehicle.
  • the camera 1100 may capture an object including at least one of other vehicles, pedestrians, traffic lights, traffic signs, signboards, and billboards around the vehicle, and obtain an image of the surrounding environment including the object.
  • the camera 1100 may include an image sensor and an image processing module.
  • the camera 1100 may obtain a still image or a moving image obtained by an image sensor (eg, CMOS or CCD).
  • the image processing module may process a still image or moving image acquired through an image sensor, extract necessary information, and transmit the extracted information to the processor 1300 .
  • the communication interface 1200 is connected to an object outside the vehicle through a wireless communication network, and is configured to transmit/receive data with the object.
  • the communication interface 1200 may include, for example, wireless LAN (WLAN) (Wi-Fi), wireless broadband (Wibro), world interoperability for microwave access (Wimax), WiFi-Direct, radio frequency identification (RFID), infrared communication ( CDMA, WCDMA, 3G, 4G, and/or 5G; Data transmission and reception may be performed using a mobile communication network such as mmWAVE.
  • the communication interface 1200 may wirelessly transmit and receive data through a V2X communication connection with an object outside the vehicle, a road side unit (RSU), or a server.
  • the communication interface 1200 may receive a V2X data set including information about an object from an object or RSU around the vehicle.
  • the communication interface 1200 may include an On Board Unit (OBU) for V2X communication connection.
  • OBU On Board Unit
  • the communication interface 1200 may receive weather information and road traffic condition information (eg, Transport Protocol Expert Group (TPEG)) information from an external object or server.
  • TPEG Transport Protocol Expert Group
  • the processor 1300 may execute one or more instructions of a program stored in the memory 1400 .
  • the processor 1300 may be composed of hardware components that perform arithmetic, logic and input/output operations and signal processing.
  • the processor 1300 may include, for example, a central processing unit, a microprocessor, a graphic processing unit, application specific integrated circuits (ASICs), digital signal processors (DSPs), and digital signal processors (DSPDs). Signal Processing Devices), PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays).
  • the processor 1300 may include a microprocessor or one or more general-purpose processors (eg, an ARM-based processor), a digital signal processor (DSP), a programmable logic device (PLD), an application-specific integrated circuit (ASIC), an FPGA ( It may include any suitable type of processing circuitry, such as a Field-Programmable Gate Array (GPU), Graphical Processing Unit (GPU), video card controller, and the like. It can also be appreciated that when a general purpose computer accesses code for implementing the processes described in this disclosure, execution of the code transforms the general purpose computer into a special purpose computer for executing the processes. .
  • general-purpose processors eg, an ARM-based processor
  • DSP digital signal processor
  • PLD programmable logic device
  • ASIC application-specific integrated circuit
  • FPGA FPGA
  • It may include any suitable type of processing circuitry, such as a Field-Programmable Gate Array (GPU), Graphical Processing Unit (GPU), video card controller, and the like. It can also
  • processor 1300 is shown as one element in FIG. 2, it is not limited thereto. In one embodiment, the processor 1300 may be composed of one or a plurality of one or more.
  • Instructions for executing functions or operations of the electronic device 1000 may be stored in the memory 1400 .
  • instructions and program codes readable by the processor 1300 may be stored in the memory 1400 .
  • the processor 1300 may be implemented by executing instructions or program codes stored in the memory 1400 .
  • the memory 1400 may be, for example, a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg SD or XD memory). etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), or It may be composed of at least one type of storage medium among optical disks.
  • the processor 1300 may implement the following embodiments by executing instructions or program codes stored in the memory 1400 .
  • the processor 1300 may obtain an image of the environment captured by the camera 1100 and recognize at least one object from the image of the environment.
  • the processor 1300 may recognize at least one object from a surrounding environment image using an artificial intelligence model.
  • the artificial intelligence model may include a deep neural network model trained to recognize an object from image data input from the camera 1100 and classify the object according to a type.
  • the artificial intelligence model may be stored in the memory 1400, but is not limited thereto.
  • the artificial intelligence model is stored in a server outside the vehicle, and the electronic device 1000 transmits image data to the server and receives information about the type of object as an inference result from the artificial intelligence model in the server. may be
  • An artificial intelligence model is a deep neural network model composed of trained model parameters by applying tens of thousands to hundreds of millions of images as input data and applying the label value of an object included in the image as the output ground truth value.
  • Deep neural network models include, for example, a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), and a bidirectional recurrent deep neural network (BRDNN).
  • CNN convolutional neural network
  • RNN restricted boltzmann machine
  • BBN deep belief network
  • BNN bidirectional recurrent deep neural network
  • Neural Network and deep Q-Networks
  • artificial intelligence models do not include only deep neural network models, but SVM (Support Vector Machine), linear regression, logistic regression, naive Bayes classification, random forest ), decision tree, or k-nearest neighbor algorithm.
  • the processor 1300 may include an artificial intelligence (AI) processor.
  • An artificial intelligence (AI) processor may be configured in the form of a dedicated hardware chip for artificial intelligence (AI), and may be part of a general-purpose processor (eg, CPU or application processor) or a dedicated graphics processor (eg, GPU). As , it may be included in the processor 1300 .
  • the artificial intelligence processor may recognize at least one object from the surrounding environment image acquired from the camera 1100 by using the artificial intelligence model.
  • the artificial intelligence model can output object recognition results.
  • the object recognition result may include at least one label value related to the type of the object inferred from the input image of the surrounding environment and a reliability value related to the at least one label value.
  • the 'reliability value' represents a probability value that can be inferred as a specific type of an object type inferred from a surrounding environment image.
  • the artificial intelligence processor may obtain information about the type of object based on the label value and reliability value output by the artificial intelligence model. For example, the artificial intelligence processor may recognize at least one object from an image of the surrounding environment, and classify the at least one object as at least one type of other vehicles, pedestrians, traffic lights, traffic signs, signboards, or billboards.
  • the processor 1300 may select one of at least one object recognized from the surrounding environment image based on the user input received through the user input unit 1500 .
  • the user input unit 1500 may receive a user input for selecting any one object through an AR pointing input including at least one of hand tracking, eye tracking, and an input controller.
  • the user input unit 1500 may include a gesture sensor that recognizes and tracks the position of the user's hand or fingertip.
  • the user input unit 1500 may include a gaze tracking sensor that tracks gaze directions of both eyes of the user and detects a position of a gaze point where gazes of both eyes converge.
  • the user input unit 1500 may include a sensor mounted on a part of the user's body or tracking the location of an input controller carried by the user.
  • the input controller sensor is an inertial measurement sensor (e.g.
  • a gyroscope capable of tracking the relative and/or absolute position between the input controller and the vehicle's windshield (160, see FIG. 1), a wireless communication module ( For example, it may be paired with at least one of UWB, WiFi, Bluetooth, and a touch-sensitive surface to acquire the positional coordinates of the input controller.
  • the user input unit 1500 is not limited to receiving only the augmented reality pointing input as described above.
  • the user input unit 1500 may include a touch sensor for receiving a user's touch input or a microphone for receiving a user's voice input.
  • the processor 1300 may obtain identification information (eg, id information) and type information about the selected object based on a user input input through the user input unit 1500 . In one embodiment, the processor 1300 compares the recognition result of at least one object from the surrounding environment image and the V2X data set about the at least one object received through the communication interface 1200, through user input. Identification information and type information about the selected object may be obtained. In one embodiment, the processor 1300 obtains at least one of license plate information, location information, type information, and predicted speed information of the object from the surrounding environment image, and obtains the obtained information through the communication interface 1200. It can be matched with information included in one V2X data set.
  • identification information eg, id information
  • type information about the selected object based on a user input input through the user input unit 1500 . In one embodiment, the processor 1300 compares the recognition result of at least one object from the surrounding environment image and the V2X data set about the at least one object received through the communication interface 1200, through user input. Identification information and
  • the processor 1300 may extract identification information and type information about an object selected through a user input from information included in the V2X data set.
  • a specific method for the processor 1300 to obtain identification information and type information on an object selected through a user input using a recognition result of a surrounding environment image and a V2X data set will be described in detail with reference to FIGS. 6 to 9 do.
  • the processor 1300 may display a user interface (UI) for performing a wireless communication connection with the selected object on the display unit 1600 .
  • the electronic device 1000 further includes a projector configured to project a virtual image, and the processor 1300 configures a virtual image constituting a UI on the display unit 1600 configured as an augmented reality HUD.
  • the processor 1300 may display a UI on the display unit 1600 configured with at least one of a center information display (CID), a navigation device, an instrument panel display, and a passenger seat display. there is.
  • CID center information display
  • the UI displayed on the display unit 1600 may include a contextual menu UI that provides a customized menu according to the type of object.
  • the processor 1300 may display a menu UI including a plurality of selectable items to perform a function or operation determined based on the type of object.
  • the menu UI includes a UI related to a plurality of items that receives a user input for performing operations determined based on the object type of 'vehicle', and the operations send messages to the vehicle, Acquisition of vehicle information or transmission of danger notification signals may be included.
  • the menu UI includes a UI related to a plurality of items for receiving a user input for performing operations determined based on the pedestrian type, such as sending a message, calling a pedestrian, or danger. It may include sending a notification signal.
  • the menu UI includes a UI related to a plurality of items for receiving a user input for performing operations determined based on the restaurant signboard type, the operations including obtaining restaurant information, Can include food menu orders, or reservations.
  • the processor 1300 may display UIs of different colors and shapes according to before, during, and after wireless communication with an object is connected. For example, before wireless communication with the object is connected, the processor 1300 may display a UI displaying the object in different colors according to the object type without displaying the menu UI. When wireless communication with the object is being connected, the processor 1300 may track the location of the connection target object and display a tracking UI (refer to FIG. 11A 130) indicating the connection state. When the wireless communication connection with the object is completed, the processor 1300 performs not only a UI representing a plurality of items for performing a function or operation determined according to the type of object, but also profile information of the object, wireless communication connection signal strength, and battery level.
  • Object information UIs 112 to 115 representing object information including at least one of , , and moving speed may be displayed.
  • the processor 1300 displays different UIs according to a wireless communication connection state with an object will be described in detail with reference to FIGS. 10 to 12 .
  • the processor 1300 may display a focusing UI 140 (see FIGS. 13A to 13C ) composed of figures or symbols surrounding an image corresponding to an object selected by a user input in a surrounding environment image. .
  • the processor 1300 may display the focusing UI 140 in different colors according to the movement speed of the object.
  • the focusing UI 140 will be described in detail with reference to FIGS. 13A to 13C.
  • the processor 1300 may display an advertisement video or an introduction video received from an object. In one embodiment, the processor 1300 may display a menu UI related to the object after displaying the content image 142 (see FIG. 14 ) including an advertisement image or an introduction image of the object. A specific embodiment in which the processor 1300 displays advertisement content or an introduction video of an object will be described in detail with reference to FIG. 14 .
  • the processor 1300 may control the communication interface 1200 to establish a wireless communication connection with the object using object identification information.
  • the processor 1300 may perform a bidirectional V2X communication connection with an object through the communication interface 1200.
  • the display unit 1600 may include at least one of an augmented reality head up display (HUD), a transparent display formed on a windshield of a vehicle, a center information display (CID), a navigation device, an instrument panel display, or a passenger seat display.
  • HUD augmented reality head up display
  • CID center information display
  • a navigation device an instrument panel display
  • passenger seat display a passenger seat display.
  • a UI may be displayed by projecting a virtual image onto a transparent display provided on a windshield of a vehicle through a projector.
  • the display unit 1600 When the display unit 1600 is composed of at least one of a CID, a navigation device, an instrument panel display, and a passenger seat display, the display unit 1600 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (LCD), or a thin film transistor-liquid crystal display (LCD). display, TFT LCD), organic light-emitting diode (OLED), flexible display, 3D display, and e-ink display. . In this case, the display unit 1600 may form a mutual layer structure or be integrated with the touch sensor, thereby realizing a touch screen.
  • LCD liquid crystal display
  • LCD thin film transistor-liquid crystal display
  • LCD thin film transistor-liquid crystal display
  • LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • the display unit 1600 may form a mutual layer structure or be integrated with the touch sensor, thereby realizing a touch screen.
  • FIG 3 is a flowchart illustrating an operating method of the electronic device 1000 according to an embodiment of the present disclosure.
  • step S310 the electronic device 1000 acquires an image of the surrounding environment by photographing the surroundings of the vehicle using a camera.
  • the electronic device 1000 may obtain an image of the surrounding environment including objects such as other vehicles, pedestrians, traffic lights, traffic signs, signboards, or billboards around the vehicle by using a camera.
  • the electronic device 1000 recognizes at least one object from the surrounding environment image using the artificial intelligence model.
  • the artificial intelligence model may include a deep neural network model trained to recognize an object from a surrounding environment image and classify the object according to a type.
  • the artificial intelligence model may be stored in the memory 1400 (see FIG. 2) of the electronic device 1000, but is not limited thereto.
  • An artificial intelligence model is a deep neural network model composed of trained model parameters by applying tens of thousands to hundreds of millions of images as input data and applying the label value of an object included in the image as the output ground truth value.
  • Deep neural network models include, for example, a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), and a bidirectional recurrent deep neural network (BRDNN).
  • CNN convolutional neural network
  • RNN restricted boltzmann machine
  • BBN deep belief network
  • BNN bidirectional recurrent deep neural network
  • Neural Network and deep Q-Networks
  • artificial intelligence models do not include only deep neural network models, but SVM (Support Vector Machine), linear regression, logistic regression, naive Bayes classification, random forest ), decision tree, or k-nearest neighbor algorithm.
  • the electronic device 1000 may recognize objects such as other vehicles, pedestrians, traffic lights, traffic signs, signboards, or billboards from the surrounding environment image by using the artificial intelligence model.
  • the electronic device 1000 receives a V2X data set including information related to at least one object from at least one object or RSU (Road Side Unit).
  • the electronic device 1000 may receive a V2X data set from at least one object or RSU through the communication interface 1200 (see FIG. 2).
  • the V2X data set may include at least one of information related to at least one object, for example, identification information (id information), data reception date, license plate information, type information, location information, direction information, and speed information.
  • Information included in the V2X data set will be described in detail with reference to FIG. 5 .
  • the electronic device 1000 selects a first object from among at least one object based on a user input.
  • the electronic device 1000 may receive a user input for selecting a first object from among at least one object included in the surrounding environment image.
  • the electronic device 1000 provides augmented reality pointing (AR pointing) through at least one of a hand tracking sensor, an eye tracking sensor, and an input controller included in the user input unit 1500 (see FIG. 2 ). ) to receive input.
  • the electronic device 1000 may select a first object from among images corresponding to at least one object displayed on the augmented reality HUD according to a user input.
  • AR pointing augmented reality pointing
  • the electronic device 1000 is not limited thereto, and the electronic device 1000 may receive a touch input for selecting a first object displayed on any one of a navigation device, a center information display (CID), an instrument panel display, or a passenger seat display.
  • the electronic device 1000 may receive a voice input for uttering the type or location of the first object in order to select the first object from among at least one object.
  • the electronic device 1000 may select the first object based on the aforementioned touch input or voice input.
  • step S350 the electronic device 1000 obtains information about the first object by using the recognition result of the surrounding environment image and the received V2X data set.
  • the electronic device 1000 compares the recognition result of at least one object from the surrounding environment image and the V2X data set of at least one object received through the communication interface (1200, see FIG. 2).
  • identification information and type information on the first object may be obtained.
  • the electronic device 1000 obtains at least one of license plate information, location information, type information, and predicted speed information of an object from a surrounding environment image, and transmits the obtained information through the communication interface 1200. It can be matched with the information included in the acquired V2X data set. Based on the matching result, the electronic device 1000 may extract identification information and type information about an object selected through a user input from information included in the V2X data set.
  • the electronic device 1000 displays a user interface (UI) for wireless communication connection with the first object based on the information about the first object.
  • UI user interface
  • the electronic device 1000 projects a UI for wireless communication connection with the first object onto a windshield of a vehicle by using a projector to project a virtual image, thereby displaying the UI on an augmented reality head up display (HUD). can be displayed.
  • the electronic device 1000 may display the UI on at least one of a vehicle center information display (CID), a navigation device, an instrument panel display, or a passenger seat display.
  • CID vehicle center information display
  • a navigation device an instrument panel display
  • passenger seat display a passenger seat display.
  • the UI for wireless communication connection with the first object may include a menu UI selectable by a user to perform a function or operation determined based on the type of the first object.
  • the menu UI may include a UI related to a plurality of items representing functions or operations that can be performed with respect to the first object.
  • the menu UI includes a UI related to a plurality of items that receives a user input for performing operations determined based on the object type of 'vehicle', and the operations send messages to the vehicle, Acquisition of vehicle information or transmission of danger notification signals may be included.
  • the menu UI receives a user input for performing at least one of operations determined based on the 'pedestrian' type, for example, sending a message, calling the pedestrian, and transmitting a danger notification signal. It may include a UI related to a plurality of items that do.
  • the menu UI includes a UI related to a plurality of items for receiving a user input for performing operations determined based on the type of 'restaurant signboard', and the operations are restaurant information This may include acquiring, ordering a food menu, or making a reservation.
  • the electronic device 1000 displays an object information UI representing object information including at least one of profile information of the first object, wireless communication connection signal strength, battery level, and moving speed, as well as a menu UI. can do.
  • the electronic device 1000 may display the object information of the first object in the form of at least one of letters, numbers, symbols, and icons.
  • the electronic device 1000 may display UIs of different colors and shapes according to before, during, and after wireless communication with the first object is connected.
  • the electronic device 1000 may display at least one object recognized from the surrounding environment image as an image of different colors according to the object type.
  • FIG 4 is a diagram for explaining an operation in which the electronic device 1000 receives a V2X data set through a V2X connection with objects around the vehicle, according to an embodiment of the present disclosure.
  • an electronic device 1000 is mounted on a vehicle 100, and includes at least one of objects 200 and 310 around the vehicle 100, an RSU 400, and a server 2000 or a vehicle ( 100) and can receive a V2X data set including information related to the objects 200 and 310 from a communication connection.
  • the electronic device 1000 performs a vehicle-to-vehicle (V2V) connection with another vehicle 200 that is located around the vehicle 100 or is driving, thereby providing a radio installed in the other vehicle 200.
  • V2X data set of another vehicle 200 may be received from the communication device.
  • the electronic device 1000 performs a vehicle-to-pedestrian connection (Vehicle to Pedestrian, V2P) with the mobile device 310 owned or carried by the pedestrian 300, thereby allowing the mobile device 310 to pass through to the pedestrian.
  • V2X data set including information related to (300) may be received.
  • the electronic device 1000 performs a vehicle-to-infrastructure connection (V2I) with a road side unit (RSU) 400, so that the RSU 400 connects to objects around the vehicle 100 (for example, a V2X data set related to another vehicle 200 and a pedestrian 300 may be received.
  • the RSU 400 is a roadside base station, and may receive a V2X data set about at least one object located within a preset range from the location where the RSU 400 is installed or moving, and build a V2X database.
  • the RSU 400 may transmit the built V2X database to objects within a preset range.
  • the electronic device 1000 performs a vehicle-to-server (V2S) connection with the server 2000 outside the vehicle 100, so that the object around the vehicle 100 is transferred from the server 2000.
  • V2S vehicle-to-server
  • a V2X data set related to another vehicle 200 and a pedestrian 300 may be received.
  • FIG 5 is a table illustrating information included in the V2X data set 500 received by the electronic device 1000 from objects around the vehicle according to an embodiment of the present disclosure.
  • the V2X data set 500 includes date information 510 related to at least one object around the vehicle, OBU identification information 520, RSU identification information 530, reception date information 540, license plate Information 550 , vehicle type information 560 , location coordinate information 570 , direction information 580 , and speed information 590 may be included.
  • 5 is only a table showing an example of the V2X data set 500, but is not limited thereto.
  • the V2X data set 500 may not include at least one of the information shown in FIG. 5, and may further include information not shown in FIG.
  • Date information 510 represents information about the current date. In the embodiment shown in FIG. 5 , date information 510 indicates June 13, 2021.
  • the OBU identification information 520 represents identification information of an on board unit (OBU) that is a V2X communication terminal in a vehicle.
  • OBU on board unit
  • the OBU identification information 520 is 7001FF68.
  • the RSU identification information 530 indicates identification information of an RSU in which the V2X communication terminal in the vehicle has received the V2X data set 500.
  • the RSU identification information 530 is different for each object, but is not limited thereto.
  • Receipt date information 540 indicates information about the date on which the V2X data set was received. In the embodiment shown in FIG. 5 , the reception date information 540 is June 13, 2021.
  • License plate information 550 indicates information about a license plate of a vehicle when the object is a vehicle. Referring to the license plate information 550 in the embodiment shown in FIG. 5 , the license plate of the first other vehicle is 29 3924, the license plate of the second other vehicle is 34 3925, and the license plate of the third other vehicle is 21 is 3926, and the license plate of the 4th other vehicle is 27 characters 3845.
  • the vehicle type information 560 indicates the type of the vehicle with a corresponding identification number.
  • the type of vehicle may be classified into, for example, a passenger car, a sport-utility vehicle (SUV), a multi-utility vehicle (MPV), a pickup truck, or a commercial vehicle, but is not limited thereto.
  • '4' may be an identification number corresponding to a car, but is not limited thereto.
  • vehicle type information 560 may be replaced with object type information.
  • the object type information is information representing the type of objects (200, 300, see FIG. 4) around the vehicle (100, see FIG. 4), for example, other vehicles, pedestrians, traffic lights, traffic signs, signboards, or billboards. etc. may be included.
  • the location coordinate information 570 represents 3D location coordinate information of an object.
  • the location coordinate information 570 may include an X coordinate 571 , a Y coordinate 572 , and a Z coordinate 573 .
  • the location coordinate information 570 may include latitude and longitude information obtained from GPS information.
  • the direction information 580 represents information about the direction the object is heading.
  • the moving speed information 590 represents information about the moving speed of an object.
  • the electronic device 1000 may obtain identification information and type information of an object using information obtained from the V2X data set 500 and the surrounding environment image, and display a UI for bidirectional V2X communication connection with the object. Specific embodiments related to this will be described in detail with reference to FIGS. 6 to 9 .
  • FIG. 6 is a flowchart illustrating a method for the electronic device 1000 to establish a wireless communication connection with an object around a vehicle according to an embodiment of the present disclosure.
  • Step S610 to S630 shown in FIG. 6 are steps embodying step S350 shown in FIG. 3 .
  • Step S610 may be performed after step S340 shown in FIG. 3 is performed.
  • Step S640 shown in FIG. 6 is a step implementing step S360 shown in FIG. 3 .
  • step S610 the electronic device 1000 obtains at least one of license plate information, location information, type information, and predicted speed information of the first object from the surrounding environment image.
  • the electronic device 1000 may recognize the license plate of another vehicle from the image of the environment surrounding the vehicle acquired using the camera. In an embodiment, the electronic device 1000 may recognize another vehicle and its license plate from a surrounding environment image through reasoning using an artificial intelligence model. However, the electronic device 1000 is not limited thereto, and the electronic device 1000 may recognize other vehicles and license plates of other vehicles from surrounding environment images through known image processing techniques. The electronic device 1000 may obtain license plate information of another vehicle from the recognized license plate. In an embodiment, the electronic device 1000 may identify letters and numbers representing license plate information of another vehicle from a license plate using optical character recognition (OCR) technology or machine learning.
  • OCR optical character recognition
  • the electronic device 1000 may obtain location information of a recognized object from a surrounding environment image.
  • the electronic device 1000 may calculate the distance and direction between an object recognized from the image of the surrounding environment and the vehicle on which the electronic device 1000 is mounted.
  • the electronic device 1000 may obtain information about the distance and direction between the user's vehicle and the object using, for example, image processing technology, but is not limited thereto.
  • the electronic device 1000 may predict the distance and direction between the vehicle and the object by using the deep neural network model.
  • the electronic device 1000 may predict the latitude and longitude of the object based on information about the distance and direction between the user's vehicle and the object and location information of the user's vehicle obtained through GPS or the like.
  • the electronic device 1000 may obtain information about the type of object recognized from the surrounding environment image.
  • the electronic device 1000 may recognize an object from a surrounding environment image using an artificial intelligence model and classify the object according to a type.
  • the artificial intelligence model may include a deep neural network model trained to recognize an object from a surrounding environment image and classify the recognized object according to a type.
  • Deep neural network models include, for example, a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), and a bidirectional recurrent deep neural network (BRDNN). Neural Network) and deep Q-Networks (Deep Q-Networks).
  • artificial intelligence models do not include only deep neural network models, but SVM (Support Vector Machine), linear regression, logistic regression, naive Bayes classification, random forest ), decision tree, or k-nearest neighbor algorithm.
  • the electronic device 1000 may classify the object recognized from the surrounding environment image into at least one type among other vehicles, pedestrians, traffic lights, traffic signs, signboards, and billboards by using the artificial intelligence model.
  • the electronic device 1000 may predict the speed of an object by tracking the object in the image of the surrounding environment over time and acquiring a positional change of the object at various times. In an embodiment, the electronic device 1000 calculates a difference value between a first position of an object in a surrounding environment image at a first viewpoint and a second position of the object at a second viewpoint, and converts the calculated difference value into a first position.
  • the speed of the object can be predicted through an operation dividing by the time interval between the first viewpoint and the second viewpoint.
  • the electronic device 1000 matches the information of the object obtained from the surrounding environment image with the information included in the V2X data set.
  • the electronic device 1000 may match the license plate information of the object identified from the surrounding environment image with the license plate information (550, see FIG. 5) included in the V2X data set (500, see FIG. 5).
  • the electronic device 1000 may match the location information of the object obtained from the surrounding environment image with the location coordinate information (570, see FIG. 5) included in the V2X data set 500.
  • the electronic device 1000 may match object type information recognized from a surrounding environment image with vehicle type information 560 (see FIG. 5 ) included in the V2X data set 500 .
  • the electronic device 1000 may match the speed of the object predicted from the surrounding environment image with the speed information 590 (see FIG. 5) included in the V2X data set 500.
  • step S630 the electronic device 1000 extracts identification information and type information of the first object from the V2X data set based on the matching result.
  • the electronic device 1000 compares the license plate identified from the surrounding environment image with the license plate information 550 of the V2X data set 500, and as a result of the comparison, the identification information and type information of the object matched with the same license plate It can be extracted from the V2X data set 500.
  • the electronic device 1000 extracts identification information and type information of an object from the V2X data set 500 using license plate information will be described in detail with reference to FIG. 7 .
  • the electronic device 1000 compares the location information of the object predicted from the surrounding environment image with the location coordinate information 570 of the V2X data set 500, and identifies the object having the matching coordinate information and Type information can be extracted from the V2X data set 500.
  • the electronic device 1000 extracts identification information and type information of an object from the V2X data set 500 using a matching result of location information of the object will be described in detail with reference to FIG. 8 .
  • the electronic device 1000 compares the type of object recognized from the surrounding environment image with the vehicle type information 560 included in the V2X data set 500, and according to the comparison result, the object having the same type Identification information can be extracted from the V2X data set 500.
  • the electronic device 1000 compares the predicted speed information of the object obtained from the surrounding environment image with the speed information 590 included in the V2X data set 500, and moves at the same speed according to the comparison result Object identification information and type information may be extracted from the V2X data set 500.
  • Object identification information and type information may be extracted from the V2X data set 500.
  • step S640 the electronic device 1000 displays a UI for wireless communication connection with the first object based on the identification information and type information of the first object.
  • FIG. 7 is a diagram for explaining an operation in which the electronic device 1000 obtains identification information of another vehicle 700 based on information about the license plate 710 of another vehicle 700 according to an embodiment of the present disclosure.
  • the electronic device 1000 may recognize another vehicle 700 from a surrounding environment image displayed on the windshield 160 of the vehicle.
  • the surrounding environment image may be obtained by capturing another vehicle 700 moving around the vehicle using a camera.
  • the electronic device 1000 may recognize the license plate 710 of another vehicle 700 from the surrounding environment image.
  • the electronic device 1000 may recognize the other vehicle 700 and the license plate 710 of the other vehicle from the surrounding environment image through reasoning using an artificial intelligence model.
  • the electronic device 1000 may recognize the other vehicle 700 and the license plate 710 of the other vehicle from the surrounding environment image through a known image processing technique.
  • the electronic device 1000 may obtain license plate information of another vehicle 700 from the recognized license plate 710 .
  • the electronic device 1000 may identify letters and numbers representing license plate information of another vehicle 700 from a license plate using optical character recognition (OCR) technology or machine learning.
  • OCR optical character recognition
  • the electronic device 1000 may identify license plate information consisting of letters and numbers, such as 29mer 3924, from the license plate 710 of another vehicle 700 .
  • the electronic device 1000 may match license plate information of the identified other vehicle 700 with license plate information 550 (see FIG. 5) of the V2X data set 500 (see FIG. 5). Referring to FIG. 5 together, among the license plate information 550 of the V2X data set 500, an object having information '29mer 3924' is object number 1. The electronic device 1000 compares the license plate information of another vehicle 700 identified from the surrounding environment image with the V2X data set 500, thereby identifying the first object having the same license plate information (eg, 29mer 3924) can do.
  • the electronic device 1000 may extract identification information and type information of the identified object number 1 from the V2X data set 500. Referring to the embodiment shown in FIG. 5 together, the electronic device 1000 obtains OBU identification information (520, see FIG. 5) and RSU identification information (530, see FIG. 5) of object 1 from the V2X data set 500. , reception date information (540, see FIG. 5), and vehicle type information (560, see FIG. 5) may be obtained. However, it is not limited thereto, and the electronic device 1000 provides location information (570, see FIG. 5), direction information (580, see FIG. 5) and speed information (590, see FIG. 5) of the first object from the V2X data set 500. 5) may be obtained.
  • OBU identification information 520, see FIG. 5
  • RSU identification information 530, see FIG. 5
  • reception date information 540, see FIG. 5
  • vehicle type information 560, see FIG. 5
  • the electronic device 1000 provides location information (570, see FIG. 5), direction information (580, see FIG. 5) and speed
  • the electronic device 1000 may display a UI for wireless communication connection with the first object using identification information and type information of the first object extracted from the V2X data set 500.
  • FIG. 8 is a diagram of an electronic device 1000 obtaining identification information of an object 810, 820, or 830 based on a positional relationship between a vehicle 100 and an object 810, 820, or 830 according to an embodiment of the present disclosure. It is a drawing for explaining the operation.
  • location information of the plurality of objects 810 , 820 , and 830 may be obtained from a surrounding environment image obtained by photographing the plurality of objects 810 , 820 , and 830 using a camera.
  • the electronic device 1000 may calculate distances and directions between the plurality of objects 810 , 820 , and 830 recognized from the surrounding environment image and the vehicle 100 on which the electronic device 1000 is mounted.
  • the electronic device 1000 may obtain information about distances and directions between the vehicle 100 and each of the plurality of objects 810 , 820 , and 830 by using image processing technology, for example.
  • the electronic device 1000 may predict distances and directions between the user vehicle 100 and the plurality of objects 810 , 820 , and 830 using a deep neural network model.
  • the electronic device 1000 may predict a distance between the vehicle 100 and the first object 810 as 5.2 m and a direction of 30 degrees from the surrounding environment image.
  • the distance between the user vehicle 100 and the second object 820 is 4.8 m
  • the direction is 0°
  • the distance between the user vehicle 100 and the third object 830 is 2.8 m
  • the direction can be predicted by 300 degrees.
  • the electronic device 1000 may obtain location coordinate information of the own vehicle 100 by using a GPS sensor or the like.
  • the electronic device 1000 may obtain latitude and longitude information of the user vehicle 100 from a GPS sensor included in the user vehicle 100 through CAN (Controller Area Network) communication.
  • the electronic device 1000 itself includes a GPS sensor, and latitude and longitude information of the vehicle 100 on which the electronic device 1000 is mounted may be obtained by using the GPS sensor.
  • the latitude of the vehicle 100 may be 37.4°N and the longitude may be 127°W.
  • the electronic device 1000 includes information about distances and directions between the user vehicle 100 and the plurality of objects 810, 820, and 830 and location information of the user vehicle 100 acquired using a GPS sensor (for example, The latitude and longitude of the plurality of objects 810 , 820 , and 830 may be predicted based on the latitude and longitude information.
  • the electronic device 1000 compares the location information of the predicted plurality of objects 810, 820, and 830 with the location coordinate information (570, see FIG. 5) of the V2X data set (500, see FIG. 5), and matches the coordinates Identification information and type information of an object having information may be extracted from the V2X data set 500. Referring to the embodiment shown in FIG.
  • the electronic device 1000 when the predicted location coordinate information of the first object 810 is predicted as (127.2673, 34.68578, 567), the V2X data set 500 Compared with the location coordinate information 570 of the object having the same or similar location coordinates, OBU identification information (520, see FIG. 5), RSU identification information (530, see FIG. 5), reception date information (540, FIG. 5) reference), and vehicle type information (560, see FIG. 5) may be acquired.
  • FIG 9 illustrates an operation in which the electronic device 1000 obtains identification information of the objects 910 and 920 based on changes in the positional relationship of the objects 910 and 920 over time, according to an embodiment of the present disclosure. It is a drawing for
  • the electronic device 1000 may acquire a surrounding environment image by capturing a plurality of objects 910 and 920 using a camera.
  • the electronic device 1000 tracks the plurality of objects 910 and 920 in the surrounding environment image according to the lapse of time and acquires the position change of the plurality of objects 910 and 920 in real time according to a plurality of viewpoints, thereby speed can be predicted.
  • the distance between the vehicle 100 equipped with the electronic device 1000 and the first object 910 is 10 m at the first time point t1, and the speed of the first object 910 is is predicted to be 80 km/h.
  • the distance between the vehicle 100 and the second object 920 is 10 m, and the speed of the second object 920 is predicted to be 60 km/h.
  • the distance between the user vehicle 100 and the first object 910 is changed to 30 m, and the vehicle 100 and the second object 910 are changed to 30 m.
  • the distance between the two objects 920 may be predicted to be changed to 20 m.
  • the electronic device 1000 determines the distance between the vehicle 100 and the plurality of objects 910 and 920 at the first time point t1 and the distance between the plurality of objects 910 and 920 at the second time point t2.
  • the speed change of the plurality of objects 910 and 920 can be predicted by calculating the difference value and dividing the calculated difference value by the time interval ⁇ t between the first time point t1 and the second time point t2. there is. In the embodiment shown in FIG.
  • the electronic device 1000 predicts that the distance between the user vehicle 100 and the first object 910 is changed from 10 m to 30 m at the second time point t2, and the difference value of the distance It can be predicted that the speed of the first object 910 is changed to 85 km/h through an operation dividing 20 m by the time interval ⁇ t between the first time point t1 and the second time point t2. In the same way, the electronic device 1000 may predict that the speed of the second object 920 is changed to 70 km/h.
  • the electronic device 1000 compares the speed of the plurality of objects 910 and 920 changed over time with the speed information (590, see FIG. 5) included in the V2X data set (500, see FIG. 5), and compares According to the result, identification information and type information of objects moving at the same speed may be extracted from the V2X data set 500. For example, when the predicted speed of the second object 920 is 70 km/h at the second time point t2, the electronic device 1000 compares it with the speed information 590 of the V2X data set 500 and , OBU identification information (520, see FIG. 5), RSU identification information (530, see FIG. 5), reception date information (540, see FIG. 5), and Vehicle type information (560, see FIG. 5) may be obtained from the V2X data set 500.
  • OBU identification information 520, see FIG. 5
  • RSU identification information 530, see FIG. 5
  • reception date information 540, see FIG. 5
  • Vehicle type information 560, see FIG. 5
  • the electronic device 1000 acquires positional information of the plurality of objects 910 and 920 at each point in time as well as information on the speed of the plurality of objects 910 and 920 changed over time in real time. And, the obtained real-time location information of the plurality of objects 910 and 920 may be compared with location coordinate information (570, see FIG. 5) included in the V2X data set 500. The electronic device 1000 identifies objects corresponding to the plurality of objects 910 and 920 from the V2X data set 500 according to the comparison result, and provides information about the plurality of objects 910 and 920 from the V2X data set 500. Identification information and type information may be obtained.
  • the electronic device 1000 combines real-time location information of the plurality of objects 910 and 920 with information included in the V2X data set 500 as well as speed information of the plurality of objects 910 and 920 predicted at a plurality of points in time. By comparing, matching accuracy may be improved, and accurate identification information and type information regarding the plurality of objects 910 and 920 may be obtained.
  • FIG. 10 is a diagram illustrating an example of a UI that the electronic device 1000 according to an embodiment of the present disclosure displays before a wireless communication connection with an object is performed.
  • the electronic device 1000 may display different UIs according to each case before wireless communication with an object is connected, during connection, and after connection.
  • the electronic device 1000 may display images corresponding to a plurality of objects 101 to 105 and a clustering UI 120 on a display unit 1600 configured as an augmented reality HUD.
  • the electronic device 1000 may implement an augmented reality HUD by projecting a virtual image onto the windshield 160 of the vehicle using a projector.
  • the electronic device 1000 may display a UI on at least one of a center information display (CID) 170 in a vehicle, a navigation device, an instrument panel display, or a passenger seat display.
  • CID center information display
  • the electronic device 1000 may display images corresponding to the plurality of objects 101 to 105 displayed on the display unit 1600 in different colors according to the types of the plurality of objects 101 to 105 .
  • the processor 1300 (see FIG. 2) of the electronic device 1000 uses a camera 1100 (see FIG. 2) to capture a plurality of objects 101 to 105 around the vehicle, thereby obtaining an image of the surrounding environment. It is possible to recognize the type of each of the plurality of objects 101 to 105 from. Since the specific method for the processor 1300 to recognize the types of the plurality of objects 101 to 105 from the image of the surrounding environment is related to the above-described FIGS. 1 and 2 , overlapping descriptions will be omitted.
  • the processor 1300 may allocate different colors to each of the plurality of objects 101 to 105 according to the recognized types of the plurality of objects 101 to 105 . For example, red is assigned to the first object 101 and the second object 102 recognized as other vehicles, yellow is assigned to the third object 103 recognized as a pedestrian, and a fourth object recognized as a billboard is assigned yellow. A green color may be assigned to the object 104 and a blue color may be assigned to a fifth object 105 recognized as a traffic light.
  • the processor 1300 may display the plurality of objects 101 to 105 in different colors according to types by overlapping and displaying colors at locations of the plurality of objects 101 to 105 in the image of the surrounding environment.
  • the processor 1300 may project images representing colors assigned to positions of the plurality of objects 101 to 105 using a projector.
  • the processor 1300 performs image processing to perform a plurality of The objects 101 to 105 may be displayed in different colors according to their types.
  • the processor 1300 may display a clustering UI (clustering user interface) 120 indicating the number of the plurality of overlapping objects when a plurality of objects spaced apart from the location of the vehicle by a predetermined distance overlap each other.
  • the clustering UI 120 may be composed of icons representing the number of overlapping objects in numbers.
  • the processor 1300 may display a UI composed of a plurality of items from which one of a plurality of overlapping objects may be selected.
  • the electronic device 1000 displays a plurality of objects 101 to 105, which are targets of wireless communication connection, in different colors according to types, so that the user can view vehicles, pedestrians, traffic lights, billboards, and signboards. It is possible to improve user convenience by easily recognizing and distinguishing objects to be connected according to object types.
  • the electronic device 1000 according to an embodiment of the present disclosure allows the user to determine the number of a plurality of objects far away from the user's vehicle through the clustering UI 120 indicating the number of a plurality of objects separated by a predetermined distance or more. It provides a technical effect that allows you to intuitively recognize how many.
  • 11A is a diagram illustrating an example of a UI displayed by the electronic device 1000 according to an embodiment of the present disclosure while a wireless communication connection with an object is being performed.
  • a tracking UI 130 indicating a connection state with a first object 101 selected by a user may be displayed on a display unit 1600 configured as an augmented reality HUD.
  • the electronic device 1000 may implement an augmented reality HUD by projecting a virtual image corresponding to the tracking UI 130 onto the windshield 160 of the vehicle using a projector.
  • the electronic device 1000 displays the tracking UI 130 on at least one of a center information display (CID) 170 in a vehicle, a navigation device, an instrument panel display, or a passenger seat display. can do.
  • CID center information display
  • the processor 1300 of the electronic device 1000 selects one of a plurality of objects displayed on the display unit 1600 based on a user input received from the user input unit 1500 (see FIG. 2 ).
  • the first object 101 may be selected, and the location of the selected first object 101 may be tracked.
  • the processor 1300 may display the tracking UI 130 in the form of an arrow pointing to the location of the first object 101 .
  • the processor 1300 may change the color of the tracking UI 130 differently and display the color of the tracking UI 130 based on the wireless communication connection state with the first object 101 .
  • a specific embodiment in which the processor 1300 modifies and displays the color of the tracking UI 130 will be described in detail with reference to FIG. 11B.
  • 11B is a diagram illustrating examples of tracking UIs 130a, 130b, and 130c that are changed as the electronic device 1000 wirelessly communicates with an object according to an embodiment of the present disclosure.
  • the processor 1300 (see FIG. 2 ) of the electronic device 1000 is displayed alternately based on the state of the wireless communication connection with the first object 101 (see FIG. 11A ). displayed) The color of the tracking UIs 130a, 130b, and 130c may be changed and displayed.
  • the processor 1300 may display the tracking UI 130a in white or in the form of an empty figure without color in a state in which a wireless communication connection with the first object 101 is not established.
  • the figure constituting the tracking UI 130a may have, for example, a triangle or arrow shape, but is not limited thereto.
  • the processor 1300 gradually changes the density or saturation of colors representing a plurality of figures included in the tracking UI 130b while being connected to the first object 101 in wireless communication. It can be displayed in the form of a gradation.
  • the processor 1300 may display a plurality of figures included in the tracking UI 130c in a single color when the wireless communication connection with the first object 101 is completed. For example, in a state in which the wireless communication connection is completed, the tracking UI 130c may be displayed in the same color as the color having the maximum density among the colors of the plurality of figures included in the tracking UI 130b. However, it is not limited thereto.
  • the electronic device 1000 changes and displays the color of the tracking UIs 130a, 130b, and 130c according to the wireless communication connection state with the first object 101, so that the user can A technical effect enabling intuitive recognition of a wireless communication connection state with the first object 101 is provided through the tracking UIs 130a, 130b, and 130c. Through this, user convenience may be improved.
  • FIG. 12 is a diagram illustrating an example of a UI 110 displayed after a wireless communication connection with the first object 101 is performed by the electronic device 1000 according to an embodiment of the present disclosure.
  • the electronic device 1000 may display a UI 110 representing information about a first object 101 on a display unit 1600 configured as an augmented reality HUD.
  • the electronic device 1000 may implement an augmented reality HUD by projecting a virtual image constituting the UI 110 onto the windshield 160 of the vehicle using a projector.
  • the electronic device 1000 may display the UI 110 on at least one of a center information display (CID) 170 in a vehicle, a navigation device, an instrument panel display, or a passenger seat display.
  • CID center information display
  • the processor 1300 of the electronic device 1000 may display the UI 110 related to the first object 101 at a location adjacent to a location where the first object 101 is displayed.
  • the UI 110 may be a contextual menu UI that provides a customized menu according to the type of the first object 101 .
  • the UI 110 includes a menu UI 111 representing functions or operations that can be performed with respect to the first object 101 and object information UIs 112 to 115 representing profile information and status information of the first object 101. can do.
  • the menu UI 111 may include a plurality of items for receiving a user input for selecting a function or operation to be performed with respect to the first object 101 through which the wireless communication connection with the electronic device 1000 is performed.
  • the type of the first object 101 is a vehicle
  • the menu UI 111 is a user input for performing operations determined based on the fact that the type of the first object 101 is a vehicle.
  • the operations may include sending a message to the vehicle, acquiring vehicle information, or transmitting a danger notification signal.
  • a user selects one of a plurality of items, and the electronic device 1000 may perform a function or operation corresponding to the selected item according to a user input.
  • the menu UI 111 when the type of the first object 101 is a pedestrian, the menu UI 111 includes a plurality of items for receiving a user input for performing operations that can be performed on the pedestrian. And the operations may include sending a message, calling a pedestrian, or transmitting a danger notification signal.
  • the menu UI 111 when the type of the first object 101 is a signboard or billboard of a restaurant, the menu UI 111 performs operations determined based on the fact that the type of the first object 101 is a signboard or billboard, for example, a restaurant. It may include a plurality of items that receive a user input for performing at least one operation of obtaining information, ordering a food menu, and making a reservation.
  • the object information UIs 112 to 115 provide object information including at least one of profile information, wireless communication connection signal strength, battery level, and movement speed of the first object 101 as letters, numbers, symbols, figures, or icons. It is a UI that represents at least one of them.
  • the object information UIs 112 to 115 include a profile image 112 of the first object 101 and a profile phrase 113 of the first object 101 received from the first object 101 . can do.
  • the object information UIs 112 to 115 may further include a profile music UI 114 for playing profile music provided by the first object 101 .
  • the object information UIs 112 to 115 include a first icon representing a wireless communication connection state with the first object 101 and a second icon representing the remaining battery capacity of the first object 101 .
  • An information UI 115 may be included.
  • the electronic device 1000 displays a contextual menu UI related to the first object 101 to which the wireless communication connection is made, so that the user can interact with the first object 101. It provides a technical effect that allows intuitive selection of related functions or operations.
  • the electronic device 1000 according to an embodiment of the present disclosure converts object information including at least one of profile information, wireless communication connection signal strength, battery level, and movement speed of the first object 101 to letters and numbers. By displaying a UI represented by at least one of , symbols, and icons, the user can intuitively recognize the state of the first object 101, and through this, user convenience can be improved.
  • the electronic device 1000 may display the focusing UI 140 composed of figures or symbols surrounding an image corresponding to the first object 101 on the display unit 1600. .
  • the focusing UI 140 will be described in detail with reference to FIGS. 13A to 13C.
  • FIGS. 13A to 13C are diagrams illustrating examples of UIs displayed by the electronic device 1000 according to the traveling speed of an object according to an embodiment of the present disclosure.
  • the electronic device 1000 may display the focusing UI 140 surrounding an image corresponding to the first object 101 displayed on the display unit 1600 (see FIG. 12 ).
  • the focusing UI 140 may be composed of icons or symbols surrounding four corners of the image of the first object 101 .
  • the electronic device 1000 may monitor the traveling speed of the first object 101, change the color of the focusing UI 140 differently according to the moving speed of the first object 101, and display the changed color. .
  • the electronic device 1000 may display the focusing UI 140 in blue.
  • the electronic device 1000 may display the focusing UI 140 in yellow.
  • the electronic device 1000 may display the focusing UI 140 in red.
  • the color of the focusing UI 140 is exemplary and is not limited to the colors described above.
  • the electronic device 1000 displays a focusing UI 140 surrounding an image corresponding to the first object 101 to which a wireless communication connection has been made, of the first object 101 .
  • a technical effect is provided so that the user can intuitively grasp the speed of the first object 101 .
  • FIG. 14 is a diagram for explaining an operation of displaying a UI related to a wireless communication connection after the electronic device 1000 displays content provided by an object according to an embodiment of the present disclosure.
  • the electronic device 1000 may display a commercial film (CF) related to the first object 101 connected through wireless communication or a content image 142 including an introduction video.
  • the content video 142 may include an advertisement video or an introduction video received from the first object 101 .
  • the content image 142 may include a business card or profile information indicating an advertisement target or an introduction target of the first object 101 .
  • the content video 142 may be a video. However, it is not limited thereto, and the content video 142 may be composed of a single image frame.
  • the electronic device 1000 may display the UI 110 related to the first object 101 after the content image 142 is displayed.
  • the electronic device 1000 may display the content video 142 for a preset time period and display the UI 110 after the preset time period has elapsed. Since the UI 110 is the same as the UI 110 shown in FIG. 12 (refer to FIG. 12), duplicate descriptions are omitted.
  • 15 is a diagram for explaining an operation performed by the electronic device 1000 using artificial intelligence technology according to an embodiment of the present disclosure.
  • the operation performed by the electronic device 1000 i) recognizing at least one object from the surrounding environment image using an artificial intelligence model and ii) using the recognition result of the surrounding environment image and the received V2X data set
  • at least one of operations for obtaining information about the type of the first object may be performed using artificial intelligence (AI) technology that performs calculations through a neural network.
  • AI artificial intelligence
  • 'AI technology' Artificial intelligence technology is a technology that obtains a desired result by processing input data such as analysis and/or classification based on an operation through a neural network.
  • an algorithm or a set of algorithms for implementing AI technology is called a neural network.
  • the neural network may receive input data, perform the above-described calculation for analysis and/or classification, and output result data.
  • 'training' means that the neural network discovers or discovers a method of analyzing input data for the neural network, a method of classifying the input data, and/or a method of extracting features necessary for generating result data from the input data. It can mean training to learn.
  • the neural network may optimize weight values inside the neural network by training on training data (eg, a plurality of different images). Then, by processing input data through a neural network having optimized weight values, a desired result is output.
  • a neural network can be classified as a deep neural network when the number of hidden layers, which are internal layers that perform calculations, is plural, that is, when the depth of the neural network that performs calculations increases.
  • Neural networks include, for example, convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted Boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), and deep Q-networks (Deep Q-networks).
  • CNNs convolutional neural networks
  • RNNs restricted Boltzmann machines
  • DNNs deep belief networks
  • BWDNNs bidirectional recurrent deep neural networks
  • Deep Q-networks Deep Q-networks
  • An 'AI model' may refer to a neural network including at least one layer that operates to receive input data and output desired results.
  • an 'AI model' is an algorithm that outputs a desired result by performing an operation through a neural network, a set of multiple algorithms, a processor for executing an algorithm (or a set of algorithms), an algorithm (or a set of algorithms) ), or hardware for executing an algorithm (or a set of algorithms).
  • the above-described i) operation of recognizing at least one object from the surrounding environment image using the artificial intelligence model and ii) using the recognition result of the surrounding environment image and the received V2X data set, the type of the first object At least one of the operations for obtaining information about may be performed based on an AI model.
  • the neural network 150 may be trained by receiving training data. Then, the learned neural network 150 receives the input data 151 through the input terminal 152, and the input terminal 152, the hidden layer 153, and the output terminal 154 receive the input data 151 and the previous An operation for outputting the output data 155 may be performed by analyzing data transmitted from the layer.
  • the hidden layer 153 is illustrated as one layer in FIG. 15 , this is only an example, and the hidden layer 153 may include a plurality of layers.
  • the neural network 150 may learn to display a selectable menu UI in order to perform a function or operation determined based on the type of the first object.
  • the neural network 150 may learn to display UIs of different colors and shapes according to before, during, and after connection of wireless communication with the selected first object.
  • the neural network 150 may learn to display at least one object included in a surrounding environment image as an image of different colors according to the type of at least one object.
  • the neural network 150 converts object information including at least one of profile information, wireless communication connection signal strength, battery level, and movement speed of a first object selected by a user input into letters, numbers, symbols, or It may be learned to display an object information UI represented by at least one of icons.
  • the neural network 150 displays a focusing UI composed of figures or symbols surrounding an image corresponding to a first object on a surrounding environment image, and displays the focusing UI based on the moving speed of the first object. It can be learned to display in different colors depending on the color.
  • the neural network 150 may be trained to display advertisement content or an introduction video received from the first object, and to display a UI related to the first object after the advertisement content or introduction video is displayed.
  • the aforementioned i) operation of recognizing at least one object from the surrounding environment image using the artificial intelligence model and ii) using the recognition result of the surrounding environment image and the received V2X data set, the first object Data or program codes related to the neural network 150 that performs at least one of the operations of acquiring information about the type of the data or program code may be performed by the processor 1300 (see FIG. 2).
  • Data or programs related to the neural network 150 are stored in the memory 1400 (see FIG. 2 ), and learning using the neural network 150 may be performed by the processor 1300 .
  • the processor 1300 may include an artificial intelligence processor (AI processor).
  • the neural network 150 performing the above-described operations may be implemented in a separate device (not shown) or processor (not shown) distinguished from the electronic device 1000 .
  • the above-described calculation through the neural network 150 may be performed by a server (2000, see FIGS. 16 and 17) capable of communicating with the electronic device 1000 through a wireless communication network according to an embodiment. Communication between the electronic device 1000 and the server 2000 will be described with reference to FIGS. 16 and 17 .
  • FIG. 16 is a diagram illustrating an electronic device 1000 operating in conjunction with a server 2000 according to the disclosed embodiment.
  • the server 2000 may transmit and receive data with the electronic device 1000 through the communication network 3000 and process data.
  • the server 2000 may include a communication unit 2100 communicating with the electronic device 1000, a processor 2200 executing at least one instruction, and a database 2300.
  • the server 2000 may train an AI model and store the trained AI model.
  • the server 2000 uses the trained AI model to perform the aforementioned i) operation of recognizing at least one object from the surrounding environment image using the artificial intelligence model and ii) the recognition result of the surrounding environment image and the received V2X
  • At least one of operations for obtaining information about the type of the first object may be performed using the data set.
  • the electronic device 1000 may have limitations compared to the server 2000 in terms of memory storage capacity, processing speed of operations, ability to collect learning data sets, and the like. Accordingly, operations requiring storage of large data and large amounts of computation may be performed in the server 2000, and then necessary data and/or AI models may be transmitted to the electronic device 1000 through a communication network. Then, the electronic device 1000 can perform necessary operations quickly and easily by receiving and using necessary data and/or AI models through the server 2000 without a large-capacity memory and a processor having fast computing capability.
  • the server 2000 may include the neural network 150 described in FIG. 15 .
  • FIG. 17 is a diagram for explaining FIG. 16 in detail.
  • a server 2000 may include a communication unit 2100, a processor 2200, and a database 2300.
  • the communication unit 2100 communicates with an external device through a wireless communication network.
  • the external device may include a server capable of performing at least one of calculations required by the electronic device 1000 or transmitting data and the like required by the electronic device 1000 .
  • the communication unit 2100 includes at least one communication module such as a short-distance communication module, a wired communication module, a mobile communication module, and a broadcast reception module.
  • at least one communication module includes a tuner for receiving broadcasting, Bluetooth, Wireless LAN (WLAN) (Wi-Fi), Wireless broadband (Wibro), World Interoperability for Microwave Access (WiMAX), CDMA, WCDMA, Internet, 3G , 4G, 5G, and/or a communication module capable of transmitting and receiving data through a network conforming to a communication standard such as a communication method using mmwave.
  • a communication standard such as a communication method using mmwave.
  • the communication unit 2100 when the communication unit 2100 performs communication using mmWAVE, a large amount of data can be quickly transmitted and received.
  • the vehicle quickly receives large amounts of data using millimeter waves, and V2X data sets including vehicle-related information, object-related information (eg, object profile information, wireless communication connection signal strength, battery level, movement speed, etc.) can be provided quickly.
  • object-related information eg, object profile information, wireless communication connection signal strength, battery level, movement speed, etc.
  • the mobile communication module included in the communication unit 2100 communicates with other devices (eg, the electronic device 1000) located at a distance through a communication network conforming to communication standards such as 3G, 4G, and/or 5G. can do.
  • a communication module that communicates with another device located at a long distance may be referred to as a 'remote communication module'.
  • the communication unit 2100 may transmit and receive data with the communication interface 1200 of the electronic device 1000 by wire or wirelessly.
  • the processor 2200 controls the overall operation of the server 2000.
  • the processor 2200 may perform required operations by executing at least one of at least one instruction and programs of the server 2000 .
  • the database 2300 may include a memory (not shown), and may store at least one of at least one instruction, program, and data necessary for the server 2000 to perform a predetermined operation in the memory (not shown). In addition, the database 2300 may store data necessary for the server 2000 to perform calculations according to the neural network.
  • the server 2000 may store the neural network 150 described in FIG. 15 .
  • the neural network 150 may be stored in at least one of the processor 2200 and the database 2300 .
  • the neural network 150 included in the server 2000 may be a trained neural network.
  • the server 2000 may transmit the learned neural network to the communication interface 1200 of the electronic device 1000 through the communication unit 2100 . Then, the electronic device 1000 may acquire and store the neural network for which learning has been completed, and obtain desired output data through the neural network.
  • An electronic device 1000 mounted in a vehicle.
  • An electronic device 1000 includes a communication interface, a user input unit, a display unit 1600, a camera 1100 mounted in a vehicle and acquiring a surrounding environment image by photographing the surrounding environment of the vehicle, It may include a memory 1400 that stores at least one instruction, and at least one processor 1300 that executes the one or more instructions stored in the memory 1400.
  • the at least one processor 1300 may recognize at least one object from the surrounding environment image using an object recognition model.
  • the at least one processor 1300 may receive a V2X data set including information about the at least one object through the communication interface.
  • the at least one processor 1300 may select a first object from among the at least one recognized object based on a user input received through the user input unit.
  • the at least one processor 1300 may obtain information about the type of the first object using a recognition result determined based on the surrounding environment image and the received V2X data set.
  • the at least one processor 1300 may display a UI (User Interface) for wireless communication connection with the first object on the display unit 1600 based on the information about the type of the first object.
  • the UI may include a selectable menu UI to perform a function or operation determined based on the type of the first object.
  • the at least one processor 1300 executes the at least one command to display the UI according to before, during, and after connection of wireless communication with the selected first object.
  • the display unit 1600 may be controlled to display in different colors and shapes.
  • the at least one processor 1300 executes the at least one command, thereby corresponding to the at least one object included in the surrounding environment image according to the type of the at least one object.
  • the display unit 1600 may be controlled to display images in different colors.
  • the at least one processor 1300 may determine at least one of profile information, wireless communication connection signal strength, battery level, and movement speed of the first object by executing the at least one command.
  • the display unit 1600 may be controlled to display the included object information UI.
  • the object information UI may include letters, numbers, symbols, and/or icons.
  • the at least one processor 1300 executes the at least one command, thereby providing a focusing UI composed of icons or symbols surrounding an image corresponding to the first object on the surrounding environment image.
  • the display unit 1600 may be controlled to display (Focusing UI).
  • the at least one processor 1300 changes the focusing UI surrounding the first object to different colors according to the moving speed of the first object.
  • the display unit 1600 may be controlled to display.
  • the at least one processor 1300 receives a content image including an advertisement video or an introduction video from the first object through the communication interface by executing the at least one command
  • the display unit 1600 may be controlled to display the received content image.
  • the UI may be displayed after the content image is displayed.
  • the display unit 1600 may include an augmented reality head up display (HUD) of the vehicle, a transparent display formed on a windshield of the vehicle, a center information display (CID) of the vehicle, It may be a vehicle navigation device or instrument panel display.
  • HUD augmented reality head up display
  • CID center information display
  • the at least one processor 1300 executes the at least one instruction, so that license plate information, location information, type information, and/or predicted speed of the first object from the surrounding environment image It is possible to obtain information, match the obtained information with information included in the received V2X data set, and extract identification information and type information of the first object from the V2X data set based on a matching result.
  • the at least one processor 1300 configures the communication interface to perform a wireless communication connection with the first object by using the extracted identification information by executing the at least one command. You can control it.
  • the present disclosure provides a method of operating an electronic device 1000 mounted in a vehicle.
  • the method of operating the electronic device 1000 may include obtaining an image of the surrounding environment by photographing the surroundings of the vehicle using the camera 1100 mounted on the front of the vehicle (S310). there is.
  • the operating method of the electronic device 1000 may include recognizing at least one object from the surrounding environment image using an artificial intelligence model (S320).
  • the operating method of the electronic device 1000 may include receiving a V2X data set including information related to the at least one object (S330).
  • the operating method of the electronic device 1000 may include selecting a first object from among the at least one recognized object based on a user input (S340).
  • the operating method of the electronic device 1000 includes obtaining information about a type of the selected first object using a recognition result determined based on the surrounding environment image and the received V2X data set ( S350) may be included.
  • the operating method of the electronic device 1000 may include displaying a user interface (UI) for wireless communication connection with the first object based on the information about the type of the first object (S360). .
  • the UI may include a selectable menu UI to perform a function or operation determined based on the type of the first object.
  • the displaying of the UI includes displaying the UI in different colors and shapes according to before, during, and after the connection of the wireless communication with the selected first object. may further include.
  • the displaying of the UI may include displaying an image corresponding to the at least one object included in the surrounding environment image in different colors according to the type of the at least one object. Further steps may be included.
  • the displaying of the UI may include displaying an object information UI including at least one of profile information of the first object, wireless communication connection signal strength, battery level, and moving speed. Further steps may be included.
  • the object information UI may include letters, numbers, symbols, or icons.
  • the displaying of the UI may include displaying a focusing UI composed of icons or symbols surrounding an image corresponding to the first object on the surrounding environment image.
  • a focusing UI composed of icons or symbols surrounding an image corresponding to the first object on the surrounding environment image.
  • the displaying of the focusing UI may further include displaying the focusing UI surrounding the first object in different colors according to a moving speed of the first object.
  • the operating method of the electronic device 1000 further includes displaying advertisement content or an introduction video received from the first object, and displaying the UI (S360) It may be performed after the advertising content or introduction video is displayed.
  • the display unit 1600 of the electronic device 1000 includes an augmented reality HUD (Head Up Display) of the vehicle, a transparent display formed on a windshield of the vehicle, and a CID (CID) of the vehicle. Center Information Display), a navigation device of the vehicle, or an instrument panel display.
  • HUD Head Up Display
  • CID CID
  • Center Information Display a navigation device of the vehicle
  • instrument panel display an instrument panel display.
  • the obtaining of information on the type of the first object may include obtaining license plate information, location information, type information, and/or predicted speed information of the first object from the surrounding environment image.
  • the step of matching the obtained information with the information included in the received V2X data set, and based on the matching result, the step of extracting identification information and type information of the first object from the V2X data set can include
  • the present disclosure provides a computer program product including a computer-readable storage medium.
  • the computer program product may include instructions related to an operation of acquiring an image of the surrounding environment by photographing the surroundings of the vehicle using a camera.
  • the computer program product may include instructions for recognizing at least one object from the surrounding environment image using an artificial intelligence model.
  • the computer program product may include instructions related to an operation of receiving a V2X data set including information related to the at least one object.
  • the computer program product may include instructions related to an operation of selecting a first object from among the one or more recognized objects based on a user input.
  • the computer program product may include instructions for obtaining information about a type of the selected first object using a recognition result determined based on the surrounding environment image and the received V2X data set.
  • the computer program product may include instructions related to an operation of displaying a user interface (UI) for a wireless communication connection with the first object based on the information about the type of the first object.
  • UI user interface
  • a program executed by the electronic device 1000 described in this specification may be implemented as a hardware component, a software component, and/or a combination of hardware components and software components.
  • a program can be executed by any system capable of executing computer readable instructions.
  • Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device.
  • Computer-readable recording media include, for example, magnetic storage media (e.g., read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and optical reading media (e.g., CD-ROM) (CD-ROM) and DVD (Digital Versatile Disc).
  • ROM read-only memory
  • RAM random-access memory
  • CD-ROM CD-ROM
  • DVD Digital Versatile Disc
  • a computer-readable recording medium may be distributed among computer systems connected through a network, and computer-readable codes may be stored and executed in a distributed manner. The medium may be readable by a computer, stored in a memory, and executed by a processor.
  • a computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium does not contain a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily in the storage medium.
  • the 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • program according to the embodiments disclosed in this specification may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product may include a software program and a computer-readable storage medium in which the software program is stored.
  • a computer program product is a product in the form of a software program (eg, Samsung Galaxy Store TM , Google Play Store TM , App Store TM ) distributed electronically through a manufacturer of an electronic device or an electronic market (eg, Samsung Galaxy Store TM , Google Play Store TM , App Store TM ).
  • a downloadable application may be included.
  • the storage medium may be a server of a manufacturer of the vehicle or electronic device 1000, a server of an electronic market, or a storage medium of a relay server temporarily storing a software program.
  • the computer program product may include a storage medium of the server 2000 or a storage medium of the electronic device in a system including the electronic device 1000, the server 2000 (see FIGS. 16 and 17), and other electronic devices. there is.
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include a software program itself transmitted from the electronic device 1000 to the electronic device or a third device, or transmitted from the third device to the electronic device.
  • one of the electronic device 1000, the electronic device, and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the electronic device 1000, the electronic device, and the third device may execute the computer program product to implement the method according to the disclosed embodiments in a distributed manner.
  • the electronic device 1000 executes a computer program product stored in the memory 1400 (see FIG. 2) to control another electronic device communicatively connected to the electronic device 1000 to perform a method according to the disclosed embodiments. can do.
  • the third device may execute a computer program product to control an electronic device communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the electronic device 1000 and execute the downloaded computer program product.
  • the third device may perform the method according to the disclosed embodiments by executing a computer program product provided in a pre-loaded state.
  • Some of the foregoing embodiments of the present disclosure are hardware, firmware or CD-ROM, DVD (Digital Versatile Disc), magnetic tape, RAM, floppy disk, hard disk, or magneto-optical disk downloaded over a network or remote recording medium
  • Computer code downloaded over a network from a remote recording medium, or stored in a non-transitory machine readable medium and a local recording medium, using a general-purpose computer or special processor It can be rendered through software stored on a recording medium or through programmable or dedicated hardware such as an ASIC or FPGA.
  • a computer, processor, microprocessor controller, or programmable hardware includes memory components such as RAM, ROM, flash, etc., which when accessed and executed store or store software or computer code. can receive

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

차량에 탑재된 전자 장치 및 그 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 전자 장치는, 카메라를 이용하여 차량 주변을 촬영함으로써, 주변 환경 이미지를 획득하고, 인공지능 모델을 이용하여 주변 환경 이미지로부터 적어도 하나의 객체를 인식하고, 적어도 하나의 객체와 관련된 정보를 포함하는 V2X 데이터 셋을 수신하고, 사용자 입력에 기초하여 적어도 하나의 객체 중 제1 객체를 선택하고, 주변 환경 이미지에 기초하여 판단된 인식 결과 및 수신된 V2X 데이터 셋을 이용하여 제1 객체의 타입(type)에 관한 정보를 획득하고, 제1 객체의 타입에 관한 정보에 기초하여 제1 객체와 무선 통신 연결을 위한 UI(User Interface)를 디스플레이할 수 있다.

Description

차량에 탑재된 전자 장치 및 그 동작 방법
본 개시의 하나 또는 그 이상의 실시예들은 일반적으로 차량에 탑재된 전자 장치 및 그 동작 방법에 관련된다. 구체적으로, 본 개시의 하나 또는 그 이상의 실시예들은 차량 주변의 타 차량, 보행자, 신호등, 간판 등 객체와 양방향 무선 통신 연결을 수행하는 방법 및 전자 장치를 제공한다.
최근에는 차량을 중심으로 유무선 통신 네트워크를 통해 차량으로부터 데이터를 송수신하는 V2X 통신(Vehicle to Everything communication)이 사용되고 있다. V2X 통신은 차량이 유무선 통신 네트워크를 통해 타 차량 및 도로 등 환경 인프라(environment infrastructure) 내의 객체와 데이터를 송수신하는 기술을 나타낸다. 개별적인 객체와의 통신은 V2V(Vehicle to Vehicle), V2I(Vehicle to Infrastructure), V2P(Vehicle to Pedestrian), 및 V2N(Vehicle to Network) 등을 나타낼 수 있다.
기존 V2X 통신 기술은 타 차량 또는 객체로부터 주로 일방적으로 정보 또는 데이터를 수신하는 용도로만 제한적으로 사용되고 있다. 예를 들어, 차량에 탑재된 전자 장치는 V2X 통신을 이용하여 타 차량의 속도 정보를 수신하거나, 거리의 간판을 통해 상점의 정보를 획득하는 등 정보를 수신하는 기능만을 수행하고 있다.
차량에 탑재된 전자 장치가 타 차량, 보행자, 신호등, 또는 간판 등 객체와 V2X 통신을 수행함으로써, 정보를 수신할 뿐만 아니라 전자 장치가 객체에 대한 기능 또는 동작을 수행하도록 하는 양방향 V2X 통신 서비스가 요구되고 있다. 사용자가 양방향 V2X 통신 서비스를 편리하게 이용하기 위하여, 전자 장치는 차량 주변의 다른 객체와 통신 연결하고, 객체와 관련되는 기능 또는 동작을 수행하기 위한 UI(User Interface)를 제공할 필요가 있다.
본 개시의 하나 또는 그 이상의 실시예들은 차량 주변의 객체와 양방향 무선 통신 연결을 수행하는 전자 장치 및 그 동작 방법을 제공한다. 특정 실시예는, 차량 주변의 객체를 인식하고, 사용자 입력에 의해 선택된 객체와 무선 통신 연결을 위한 UI(User Interface)를 제공하는 전자 장치 및 그 동작 방법을 제공할 수 있다.
상술한 기술적 과제를 해결하기 위하여 본 개시는 일 실시예는, 차량에 탑재된 전자 장치를 제공한다. 본 개시의 일 실시예에 따른 전자 장치는 통신 인터페이스, 사용자 입력부, 디스플레이부, 상기 차량에 탑재되고, 상기 차량의 주변 환경을 촬영함으로써 주변 환경 이미지를 획득하는 카메라, 적어도 하나의 명령어들(instructions)을 저장하는 메모리, 및 상기 메모리에 저장된 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 객체 인식 모델을 이용하여 상기 주변 환경 이미지로부터 적어도 하나의 객체를 인식할 수 있다. 상기 적어도 하나의 프로세서는 상기 통신 인터페이스를 통해, 상기 적어도 하나의 객체에 관한 정보를 포함하는 V2X 데이터 셋을 수신할 수 있다. 상기 적어도 하나의 프로세서는 상기 사용자 입력부를 통해 수신된 사용자 입력에 기초하여, 상기 인식된 적어도 하나의 객체 중 제1 객체를 선택할 수 있다. 상기 적어도 하나의 프로세서는 상기 주변 환경 이미지에 기초하여 판단된 인식 결과 및 상기 수신된 V2X 데이터 셋을 이용하여, 상기 제1 객체의 타입(type)에 관한 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 객체의 타입에 관한 정보에 기초하여, 상기 제1 객체와 무선 통신 연결을 위한 UI(User Interface)를 상기 디스플레이부 상에 디스플레이할 수 있다. 상기 UI는 상기 제1 객체의 타입에 기초하여 결정된 기능 또는 동작을 수행하기 위하여 선택 가능한 메뉴 UI를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여 본 개시의 일 실시예는, 차량에 탑재된 전자 장치의 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 전자 장치의 동작 방법은, 차량 전방에 탑재된 카메라를 이용하여 상기 차량의 주변을 촬영함으로써, 주변 환경 이미지를 획득하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 인공지능 모델을 이용하여 상기 주변 환경 이미지로부터 적어도 하나의 객체를 인식하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 상기 적어도 하나의 객체와 관련된 정보를 포함하는 V2X 데이터 셋(V2X data set)을 수신하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 사용자 입력에 기초하여 상기 인식된 적어도 하나의 객체 중 제1 객체를 선택하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 상기 주변 환경 이미지에 기초하여 판단된 인식 결과 및 상기 수신된 V2X 데이터 셋을 이용하여, 상기 선택된 제1 객체의 타입(type)에 관한 정보를 획득하는 단계를 포함할 수 있다. 상기 전자 장치의 동작 방법은 상기 제1 객체의 타입에 관한 정보에 기초하여, 상기 제1 객체와 무선 통신 연결을 위한 UI(User Interface)를 디스플레이하는 단계를 포함할 수 있다. 상기 UI는 상기 제1 객체의 타입에 기초하여 결정된 기능 또는 동작을 수행하기 위하여 선택 가능한 메뉴 UI를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)를 제공한다. 상기 컴퓨터 프로그램 제품은 카메라를 이용하여 차량의 주변을 촬영함으로써, 주변 환경 이미지를 획득하는 동작에 관한 명령어들(instructions)을 포함할 수 있다. 상기 컴퓨터 프로그램 제품은 인공지능 모델을 이용하여, 상기 주변 환경 이미지로부터 적어도 하나의 객체를 인식하는 동작에 관한 명령어들을 포함할 수 있다. 상기 컴퓨터 프로그램 제품은 상기 적어도 하나의 객체와 관련된 정보를 포함하는 V2X 데이터 셋(V2X data set)을 수신하는 동작에 관한 명령어들을 포함할 수 있다. 상기 컴퓨터 프로그램 제품은 사용자 입력에 기초하여 상기 인식된 적어도 하나의 객체 중 제1 객체를 선택하는 동작에 관한 명령어들을 포함할 수 있다. 상기 컴퓨터 프로그램 제품은 상기 주변 환경 이미지에 기초하여 판단된 인식 결과 및 상기 수신된 V2X 데이터 셋을 이용하여, 상기 선택된 제1 객체의 타입(type)에 관한 정보를 획득하는 동작에 관한 명령어들을 포함할 수 있다. 상기 컴퓨터 프로그램 제품은 상기 제1 객체의 타입에 관한 정보에 기초하여, 상기 제1 객체와 무선 통신 연결을 위한 UI(User Interface)를 디스플레이하는 동작에 관련된 명령어들을 포함할 수 있다.
본 개시의 특정 실시예의 상기 및 다른 측면(the above and other aspects),특징, 및 이점(advantages)은 첨부된 도면과 함께 취해진 하기의 설명으로부터 더욱 명백할 것이다. 여기서:
도 1은 본 개시의 전자 장치가 차량 주변의 객체와 무선 통신 연결을 수행하기 위한 UI를 디스플레이하는 실시예를 도시한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 구성 요소를 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치가 차량 주변의 객체들과 V2X 연결을 통해 V2X 데이터 셋(V2X data set)을 수신하는 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치가 차량 주변의 객체들로부터 수신한 V2X 데이터 셋에 포함되는 정보를 도시한 표이다.
도 6은 본 개시의 일 실시예에 따른 전자 장치가 차량 주변의 객체와 무선 통신 연결을 수행하는 방법을 도시한 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 전자 장치가 타 차량의 번호판에 관한 정보에 기초하여 타 차량의 식별 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 전자 장치가 차량과 객체와의 위치 관계에 기초하여 객체의 식별 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치가 객체의 시간의 흐름에 따른 위치 관계 변화에 기초하여 객체의 식별 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 전자 장치가 객체와의 무선 통신 연결이 수행되기 전에 디스플레이하는 UI의 예시를 도시한 도면이다.
도 11a는 본 개시의 일 실시예에 따른 전자 장치가 객체와의 무선 통신 연결이 수행되는 중에 디스플레이하는 UI의 예시를 도시한 도면이다.
도 11b는 본 개시의 일 실시예에 따른 전자 장치가 객체와의 무선 통신 연결이 진행됨에 따라 변화되는 UI의 예시를 도시한 도면이다.
도 12는 본 개시의 일 실시예에 따른 전자 장치가 객체와의 무선 통신 연결이 수행된 이후에 디스플레이하는 UI의 예시를 도시한 도면이다.
도 13a 내지 도 13c는 본 개시의 일 실시예에 따른 전자 장치가 객체의 주행 속도에 따라 디스플레이하는 UI의 예시를 도시한 도면이다.
도 14는 본 개시의 일 실시예에 따른 전자 장치가 객체에 의해 제공되는 컨텐트를 디스플레이한 이후, 무선 통신 연결과 관련된 UI를 디스플레이하는 동작을 설명하기 위한 도면이다.
도 15는 본 개시의 전자 장치가 인공 지능 기술을 이용하여 수행하는 동작을 설명하기 위한 도면이다.
도 16은 본 개시의 전자 장치가 서버와 연동하여 동작하는 개시된 실시예를 도시한 도면이다.
도 17은 도 16을 상세하게 설명하기 위한 도면이다.
본 개시 전체에서, "a, b, 또는 c 중 적어도 하나"라는 표현은 a만, b만, c만, a와 b, a와 c, b와 c, a, b, 및 c 모두를 나타낸다.
본 개시의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 일반적인 상식(conventional sense)으로 사용되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
또한, 본 개시에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1은 본 개시의 본 개시의 전자 장치(1000)가 차량 주변의 객체와 무선 통신 연결을 수행하기 위한 UI(110-1 내지 110-5)를 디스플레이하는 실시예를 도시한 개념도이다.
도 1을 참조하면, 전자 장치(1000)는 차량 내에 배치되고, 디스플레이부(1600)를 포함할 수 있다. 도 1에 도시된 실시예에서, 디스플레이부(1600)는 프로젝터를 이용하여 차량의 윈드 쉴드(160) 상에 가상 이미지를 투사하는 증강 현실 HUD(Augmented Reality Head Up Display, AR HUD)일 수 있다. 그러나, 이에 한정되는 것은 아니고, 디스플레이부(1600)는 예를 들어, 차량의 윈드 쉴드(160) 상에 형성되는 투명 디스플레이, CID(Center Information Display)(170), 네비게이션 장치, 계기판 디스플레이, 또는 조수석 디스플레이 중 적어도 하나로 구성될 수 있다.
전자 장치(1000)는 카메라를 이용하여 차량 주변에 위치하거나 이동 중인 적어도 하나의 객체(101 내지 105)를 촬영함으로써, 적어도 하나의 객체(101 내지 105)를 포함하는 주변 환경 이미지를 획득할 수 있다. 적어도 하나의 객체(101 내지 105)는 예를 들어, 차량 주변의 타 차량, 보행자, 신호등, 광고판, 또는 간판 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다. 도 1에 도시된 실시예에서, 제1 객체(101) 및 제2 객체(102)는 차량 주변에서 이동 중인 타 차량이고, 제3 객체(103)는 차량 주변에 위치하는 보행자이고, 제4 객체(104)는 음식점의 간판이며, 제5 객체(105)는 극장의 간판일 수 있다.
전자 장치(1000)는 인공지능 모델을 이용하여 주변 환경 이미지로부터 적어도 하나의 객체(101 내지 105)를 인식할 수 있다. 인공지능 모델은 딥 러닝(Deep Learning) 기반의 객체 인식 모델로 구성될 수 있다. 일 실시예에서, 객체 인식 모델은 수만 내지 수억 장의 이미지를 입력 데이터로 적용하고, 이미지에 포함되는 객체의 라벨 값(label)을 출력 정답값(groundtruth)로 적용하여 학습된(trained) 모델 파라미터로 구성되는 심층 신경망 모델(Deep Neural Network)을 포함할 수 있다. 일 실시예에서, 전자 장치(1000)는 객체 인식 모델을 이용한 추론을 통해 적어도 하나의 객체(101 내지 105)의 타입(type)을 인식할 수 있다. 예를 들어, 전자 장치(1000)는 제1 객체(101) 및 제2 객체(102)의 타입이 차량이고, 제3 객체(103)의 타입이 사람이라고 인식할 수 있다. 마찬가지로, 전자 장치(1000)는 제4 객체(104) 및 제5 객체(105)의 타입이 간판이라고 인식할 수 있다.
일 실시예에서, 전자 장치(1000)는 적어도 하나의 객체(101 내지 105)의 타입에 따라, 적어도 하나의 객체(101 내지 105)를 서로 다른 컬러로 표시할 수 있다. 도 1에 도시된 실시예에서, 차량인 제1 객체(101)와 제2 객체(102)는 빨간색으로, 보행자인 제3 객체(103)는 노란색으로, 간판인 제4 객체(104) 및 제5 객체(105)는 녹색으로 표시할 수 있으나, 이에 한정되는 것은 아니다.
전자 장치(1000)는 적어도 하나의 객체(101 내지 105) 또는 RSU(Road Side Unit)으로부터 V2X 데이터 셋(V2X data set)을 수신할 수 있다. V2X 데이터 셋은 적어도 하나의 객체(101 내지 105)와 관련된 정보를 포함할 수 있다. 예를 들어, V2X 데이터 셋은 적어도 하나의 객체(101 내지 105) 각각의 식별 정보(id 정보), 수신 일자, 번호판 정보, 타입 정보, 위치 정보, 방향 정보 및 속도 정보 중 적어도 하나를 포함할 수 있다.
전자 장치(1000)는 사용자로부터 적어도 하나의 객체(101 내지 105) 중 어느 하나의 객체를 선택하는 입력을 수신할 수 있다. 일 실시예에서, 전자 장치(1000)는 핸드 트래킹, 시선 추적, 입력 컨트롤러 등 증강 현실 포인팅(AR pointing) 입력을 통해 어느 하나의 객체를 선택하는 사용자 입력을 수신할 수 있다. 도 1에 도시된 실시예에서, 전자 장치(1000)는 사용자의 손가락의 위치를 추적하는 핸드 트래킹 장치를 이용하여 제1 객체(101)를 선택하는 사용자 입력을 수신할 수 있다. 그러나, 전자 장치(1000)가 증강 현실 포인팅 입력만을 수신하는 것은 아니다. 다른 실시예에서, 전자 장치(1000)는 터치 입력, 제스처 입력, 또는 음성 입력 등을 통해 적어도 하나의 객체(101 내지 105) 중 제1 객체(101)를 선택하는 사용자 입력을 수신할 수 있다.
전자 장치(1000)는 사용자 입력에 기초하여, 적어도 하나의 객체(101 내지 105) 중 제1 객체(101)를 선택할 수 있다. 전자 장치(1000)는 주변 환경 이미지로부터의 인식 결과 및 V2X 데이터 셋을 이용하여, 제1 객체(101)에 관한 식별 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터 인식된 제1 객체(101)의 번호판 정보, 위치 정보, 타입 정보, 및 예측 속도 정보 같은 정보를 획득하고, 획득된 정보와 V2X 데이터 셋에 포함된 정보를 매칭함으로써, 제1 객체(101)에 관한 식별 정보를 획득할 수 있다.
전자 장치(1000)는 제1 객체(101) 내지 제5 객체(105) 중 적어도 하나와 무선 통신 연결을 수행하기 위한 적어도 하나의 UI(User Interface)(110-1 내지 110-5)를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 증강 현실 HUD로 구성된 디스플레이부(1600) 상에 프로젝터를 이용하여 가상 이미지를 투사함으로써, 적어도 하나의 UI(110-1 내지 110-5)를 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니고, 다른 실시예에서 전자 장치(1000)는 CID(Center Information Display)(170), 네비게이션 장치, 계기판 디스플레이, 또는 조수석 디스플레이 중 적어도 하나에 UI(110-1 내지 110-5)를 디스플레이할 수 있다.
적어도 하나의 UI(110-1 내지 110-5)는 적어도 하나의 객체(101 내지 105)에 각각 대응되고, 적어도 하나의 객체(101 내지 105)와 인접한 위치에 디스플레이될 수 있다. 적어도 하나의 UI(110-1 내지 110-5)는 적어도 하나의 객체(101 내지 105)의 타입에 따라 맞춤형 메뉴를 제공하는 상황 맞춤형 UI(contextual menu UI)일 수 있다. 일 실시예에서, 적어도 하나의 UI(110-1 내지 110-5)는 적어도 하나의 객체(101 내지 105)의 타입에 기초하여 결정된 기능 또는 동작을 수행하기 위하여 선택 가능한 메뉴 UI를 포함할 수 있다.
메뉴 UI는 적어도 하나의 객체(101 내지 105) 각각에 대하여 수행할 수 있는 기능 또는 동작을 선택하는 사용자 입력을 수신하기 위한 복수의 항목들을 포함할 수 있다. 도 1에 도시된 실시예에서, 제1 UI(110-1)는 제1 객체(101)의 타입이 차량이라는 점에 기초하여 결정된 동작들을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들을 포함하고, 상기 동작들은 차량에 메시지 보내지, 차량 정보 획득, 또는 위험 알림 신호 전송을 포함할 수 있다. 제3 UI(110-3)는 제3 객체(103)의 타입이 보행자이므로, 보행자에 대하여 수행 가능한 동작들을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들을 포함하고, 상기 동작들은 메시지 보내기, 전화, 또는 위험 알림 신호 전송을 포함할 수 있다. 제4 UI(110-4)는 제4 객체(104)의 타입이 음식점의 간판이라는 점에 기초하여 결정된 동작들을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들을 포함하고, 상기 동작들은 음식점 정보 획득, 음식 메뉴 주문, 또는 예약을 포함할 수 있다. 마찬가지로, 제5 UI(110-5)는 제5 객체(105)가 간판이라는 점에 기초하여 결정된 동작들을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들을 포함하고, 상기 동작들은 정보 획득 또는 간판 램프 점등 시간 알아보기를 포함할 수 있다.
전자 장치(1000)는 사용자 입력에 의해 선택된 제1 객체(101)의 식별 정보에 기초하여, 제1 객체(101)와 무선 통신 연결을 수행할 수 있다. 일 실시예에서, 전자 장치(1000)는 제1 객체(101)와 양방향 V2X 통신 연결을 수행할 수 있다. 전자 장치(1000)는 제1 객체(101)에 대응되는 제1 UI(110-1)에 포함된 복수의 항목들 중 사용자 입력에 따라 선택된 항목에 해당되는 기능 또는 동작을 수행할 수 있다. 예를 들어, 사용자 입력에 의해 제1 UI(110-1)를 통해 메시지를 전송하는 항목이 선택된 경우, 전자 장치(1000)는 제1 객체(101)에 메시지를 전송하는 동작을 수행할 수 있다.
기존 V2X 통신은 타 차량 또는 객체로부터 정보 또는 데이터를 일방적으로 수신하는 통신 용도로만 제한적으로 사용되었다. 예를 들어, 차량에 탑재된 전자 장치는 V2X 통신을 이용하여 타 차량의 속도 정보를 수신하거나, 거리의 간판을 통해 상점의 정보를 획득하는 등 정보를 수신하는 기능만을 수행하고 있다. 차량에 탑재된 전자 장치가 타 차량, 보행자, 신호등, 또는 간판 등 객체와 V2X 통신을 수행함으로써, 정보를 수신할 뿐만 아니라 전자 장치가 객체에 대한 기능 또는 동작을 수행하도록 하는 양방향 V2X 통신 서비스가 요구되고 있다.
본 개시의 일 실시예에 따른 전자 장치(1000)는 단순히 타 차량 또는 간판으로부터 정보를 획득하는 동작을 수행하는 것으로 제한되지 않고, 타 차량, 보행자, 신호등, 간판 등 적어도 하나의 객체(101 내지 105)와 양방향 V2X 통신 연결을 수행하며, 적어도 하나의 객체(101 내지 105) 각각의 타입에 기초하여 결정된 기능 또는 동작을 수행하기 위한 상황 맞춤형 UI인 적어도 하나의 UI(110-1 내지 110-5)를 디스플레이함으로써, 사용자 편의성을 향상시킬 수 있다. 또한, 본 개시의 일 실시예에 따른 전자 장치(1000)는 사용자에게 친숙한 그래픽 UI를 디스플레이함으로써, 양방향 V2X 통신의 사용 빈도를 높이고, 사용성을 강화할 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치(1000)의 구성 요소를 도시한 블록도이다.
전자 장치(1000)는 차량의 내부에 탑재되거나, 또는 차량의 외측면(external surface)에 장착될 수 있다. 일 실시예에서, 전자 장치(1000)는 차량 내부의 ECU(Electonic Control Unit)를 구성하는 하나 이상의 전자 회로를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니다.
도 2를 참조하면, 전자 장치(1000)는 카메라(1100), 통신 인터페이스(1200), 프로세서(1300), 메모리(1400), 사용자 입력부(1500), 및 디스플레이부(1600)를 포함할 수 있다. 카메라(1100), 통신 인터페이스(1200), 프로세서(1300), 메모리(1400), 사용자 입력부(1500), 및 디스플레이부(1600)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다.
도 2에 도시된 구성 요소는 예시일 뿐, 전자 장치(1000)가 포함하고 있는 구성 요소가 도 2에 도시된 것으로 한정되는 것은 아니다. 전자 장치(1000)는 도 2에 도시된 구성 요소 중 일부를 포함하지 않을 수 있고, 도 2에 도시되지 않은 구성 요소를 더 포함할 수도 있다. 예를 들어, 전자 장치(1000)는 차량의 현재 위치에 관한 정보를 획득하기 위한 GPS 센서 또는 차량 주변의 객체와의 거리를 측정하기 위한 라이다(Light Detection And Ranging, LiDAR) 센서를 더 포함할 수 있다.
카메라(1100)는 차량의 외부에 배치될 수 있다. 일 실시예에서, 카메라(1100)는 차량의 전방, 좌측, 우측, 및 후방에 배치되고, 복수 개로 구성될 수 있다.
카메라(1100)는 차량의 주변 환경을 촬영함으로써, 주변 환경 이미지를 획득할 수 있다. 카메라(1100)는 차량 주변의 타 차량, 보행자, 신호등, 교통 표지판, 간판, 또는 광고판 중 적어도 하나를 포함하는 객체를 촬영하고, 객체를 포함하는 주변 환경 이미지를 획득할 수 있다.
카메라(1100)는 이미지 센서 및 영상 처리 모듈을 포함할 수 있다. 카메라(1100)는 이미지 센서(예를 들어, CMOS 또는 CCD)에 의해 얻어지는 정지 이미지 또는 동영상을 획득할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지 이미지 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 프로세서(1300)에 전달할 수 있다.
통신 인터페이스(1200)는 차량 외부의 객체와 무선 통신 네트워크를 통해 연결되고, 객체와 데이터 송수신을 수행하도록 구성된다. 통신 인터페이스(1200)는 예를 들어, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), WiFi-Direct, RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), 또는 블루투스(Bluetooth™)와 같은 근거리 무선 데이터 통신 뿐만 아니라, CDMA, WCDMA, 3G, 4G, 및/또는 5G, 밀리미터파(mmWAVE)와 같은 이동 통신 네트워크를 이용하여 데이터 송수신을 수행할 수 있다.
통신 인터페이스(1200)는 차량 외부의 객체, RSU(Road Side Unit), 또는 서버와 V2X 통신 연결을 통해, 무선으로 데이터를 송수신할 수 있다. 일 실시예에서, 통신 인터페이스(1200)는 차량 주변의 객체 또는 RSU로부터 객체에 관한 정보를 포함하는 V2X 데이터 셋(V2X data set)을 수신할 수 있다. 이 경우, 통신 인터페이스(1200)는 V2X 통신 연결을 위한 OBU(On Board Unit)을 포함할 수 있다.
일 실시예에서, 통신 인터페이스(1200)는 외부 객체 또는 서버로부터 날씨 정보, 도로의 교통 상황 정보(예를 들어, TPEG(Transport Protocol Expert Group))정보를 수신할 수 있다.
프로세서(1300)는 메모리(1400)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행할 수 있다. 프로세서(1300)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1300)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 한정되는 것은 아니다. 또한, 프로세서(1300)는 마이크로프로세서 또는 하나 이상의 범용 프로세서(예를 들어, ARM-기반 프로세서), DSP(Digital Signal Processor), PLD(Programmable Logic Device), ASIC(Application-Specific Integrated Circuit), FPGA(Field-Programmable Gate Array), GPU(Graphical Processing Unit), 비디오 카드 컨트롤러(video card controller) 등과 같은 임의의 적절한 유형의 프로세싱 회로를 포함할 수 있다. 또한, 범용 컴퓨터(general purpose computer)가 본 개시에 기재된 처리를 구현하기 위한 코드(code)에 액세스할 때 코드의 실행은 범용 컴퓨터를 처리를 실행하기 위한 특수 목적 컴퓨터로 변환한다는 것이 인식될 수 있다. 도면에 제공된 특정 기능 및 단계(steps)는 하드웨어, 소프트웨어 또는 이 둘의 조합으로 구현될 수 있으며 컴퓨터의 프로그래밍된 명령어(programmed instructions) 내에서 전체적으로 또는 부분적으로 수행될 수 있다. "~을 위한 수단"이라는 문구를 사용하여 요소가 명시적으로 인용되지 않는 한, 본 개시에서 어떠한 청구 요소도 기능식 청구항(means plus function)으로 해석되어서는 안 된다. 또한, 통상의 기술자는 청구된 개시 내용에서 "프로세서" 또는 "마이크로프로세서"가 하드웨어일 수 있음을 이해하고 인식할 수 있다.
도 2에는 프로세서(1300)가 하나의 엘리먼트로 도시되었으나, 이에 한정되는 것은 아니다. 일 실시예에서, 프로세서(1300)는 하나 또는 하나 이상의 복수 개로 구성될 수 있다.
메모리(1400)에는 전자 장치(1000)의 기능 또는 동작을 실행하기 위한 명령어들(instructions)이 저장될 수 있다. 일 실시예에서, 메모리(1400)에는 프로세서(1300)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 이하의 실시예에서, 프로세서(1300)는 메모리(1400)에 저장된 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다.
메모리(1400)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 또는 광 디스크 중 적어도 하나의 타입의 저장매체로 구성될 수 있다.
프로세서(1300)는 메모리(1400)에 저장된 명령어들 또는 프로그램 코드들을 실행함으로써 이하의 실시예들을 구현할 수 있다.
프로세서(1300)는 카메라(1100)에 의해 촬영된 주변 환경 이미지를 획득하고, 주변 환경 이미지로부터 적어도 하나의 객체를 인식할 수 있다. 일 실시예에서, 프로세서(1300)는 인공지능 모델을 이용하여, 주변 환경 이미지로부터 적어도 하나의 객체를 인식할 수 있다. 인공지능 모델은 카메라(1100)로부터 입력받은 이미지 데이터로부터 객체를 인식하고, 객체를 타입에 따라 분류(classify)하도록 학습된 심층 신경망 모델을 포함할 수 있다. 인공지능 모델은 메모리(1400)에 저장될 수 있지만, 이에 한정되는 것은 아니다. 일 실시예에서, 인공지능 모델은 차량 외부의 서버에 저장되어 있고, 전자 장치(1000)은 서버에 이미지 데이터를 전송하고, 서버의 인공지능 모델로부터 추론 결과인 객체의 타입에 관한 정보를 수신할 수도 있다.
인공지능 모델은 수만 내지 수억장의 이미지를 입력 데이터로 적용하고, 이미지에 포함되는 객체의 라벨값(label)을 출력 정답값(groundtruth)로 적용하여 학습된(trained) 모델 파라미터로 구성되는 심층 신경망 모델(Deep Neural Network)을 포함할 수 있다. 심층 신경망 모델은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN), 순환 신경망 모델(Recurrent Neural Network; RNN), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나를 포함할 수 있다. 그러나, 인공지능 모델이 심층 신경망 모델만을 포함하는 것은 아니고, SVM(Support Vector Machine), 선형 회귀(linear regression), 로지스틱 회귀(logistic regression), 나이브 베이즈 분류(Naive Bayes), 랜덤 포레스트(random forest), decision tree, 또는 k-nearest neighbor algorithm 중 적어도 하나로 구성될 수도 있다.
프로세서(1300)는 인공지능(AI) 프로세서를 포함할 수 있다. 인공 지능(AI) 프로세서는, 인공 지능(AI)을 위한 전용 하드웨어 칩 형태로 구성될 수도 있고, 범용 프로세서(예를 들어, CPU 또는 애플리케이션 프로세서) 또는 그래픽 전용 프로세서(예를 들어, GPU)의 일부로서 프로세서(1300)에 포함될 수 있다. 인공지능 프로세서는 인공지능 모델을 이용하여, 카메라(1100)로부터 획득된 주변 환경 이미지로부터 적어도 하나의 객체를 인식할 수 있다.
인공지능 모델은 객체 인식 결과를 출력할 수 있다. 일 실시예에서, 객체 인식 결과는 입력받은 주변 환경 이미지로부터 추론된 객체의 타입에 관한 적어도 하나의 라벨값 및 적어도 하나의 라벨값에 관한 신뢰도 값을 포함할 수 있다. 여기서, '신뢰도 값'은 주변 환경 이미지로부터 추론된 객체의 타입에 특정 타입으로 추론될 수 있는 확률값을 나타낸다. 인공지능 프로세서는 인공지능 모델에 의해 출력된 라벨값과 신뢰도 값에 기초하여, 객체의 타입에 관한 정보를 획득할 수 있다. 예를 들어, 인공지능 프로세서는 주변 환경 이미지로부터 적어도 하나의 객체를 인식하고, 적어도 하나의 객체를 타 차량, 보행자, 신호등, 교통 표지판, 간판, 또는 광고판 중 적어도 하나의 타입으로 분류할 수 있다.
프로세서(1300)는 사용자 입력부(1500)를 통해 수신된 사용자 입력에 기초하여, 주변 환경 이미지로부터 인식된 적어도 하나의 객체 중 어느 하나의 객체를 선택할 수 있다.
사용자 입력부(1500)는 핸드 트래킹, 시선 추적(eye tracking), 또는 입력 컨트롤러 중 적어도 하나를 포함하는 증강 현실 포인팅(AR pointing) 입력을 통해 어느 하나의 객체를 선택하는 사용자 입력을 수신할 수 있다. 일 실시예에서, 사용자 입력부(1500)는 사용자의 손의 위치 또는 손가락 끝점의 위치를 인식하고, 트래킹하는 제스처 센서를 포함할 수 있다. 다른 실시예에서, 사용자 입력부(1500)는 사용자의 양안의 시선 방향을 추적하고, 양안의 시선이 수렴하는 응시점(gaze point)의 위치를 감지하는 시선 추적 센서를 포함할 수 있다. 다른 실시예에서, 사용자 입력부(1500)는 사용자의 신체 일부에 장착되거나, 사용자가 휴대하는 입력 컨트롤러의 위치를 추적하는 센서를 포함할 수 있다. 입력 컨트롤러 센서는 입력 컨트롤러와 차량의 윈드 쉴드(160, 도 1 참조) 간의 상대 위치 및/또는 절대 위치를 추적할 수 있는 관성 측정 센서(예를 들어, gyroscope, accelerometer, magnetometer), 무선 통신 모듈(예를 들어, UWB, WiFi, Bluetooth) 및 터치 센서(Touch-Sensitive Surface) 중 적어도 하나와 페어링(pairing)되어 입력 컨트롤러의 위치 좌표값을 획득하도록 구성될 수 있다.
그러나, 사용자 입력부(1500)가 전술한 바와 같은 증강 현실 포인팅 입력만을 수신하는 것으로 한정되는 것은 아니다. 일 실시예에서, 사용자 입력부(1500)는 사용자의 터치 입력을 수신하는 터치 센서 또는 사용자의 음성 입력을 수신하는 마이크로폰을 포함할 수도 있다.
프로세서(1300)는 사용자 입력부(1500)를 통해 입력된 사용자 입력에 기초하여 선택된 객체에 관한 식별 정보(예를 들어, id 정보) 및 타입 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1300)는 주변 환경 이미지로부터의 적어도 하나의 객체에 관한 인식 결과 및 통신 인터페이스(1200)를 통해 수신한 적어도 하나의 객체에 관한 V2X 데이터 셋을 비교함으로써, 사용자 입력을 통해 선택된 객체에 관한 식별 정보 및 타입 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1300)는 주변 환경 이미지로부터 객체의 번호판 정보, 위치 정보, 타입 정보, 및 예측 속도 정보 중 적어도 하나의 정보를 획득하고, 획득된 정보를 통신 인터페이스(1200)를 통해 획득한 V2X 데이터 셋에 포함된 정보와 매칭할 수 있다. 프로세서(1300)는 매칭 결과에 기초하여, V2X 데이터 셋에 포함된 정보 중 사용자 입력을 통해 선택된 객체에 관한 식별 정보 및 타입 정보를 추출할 수 있다. 프로세서(1300)가 주변 환경 이미지의 인식 결과 및 V2X 데이터 셋을 이용하여, 사용자 입력을 통해 선택된 객체에 관한 식별 정보 및 타입 정보를 획득하는 구체적인 방법에 대해서는 도 6 내지 도 9에서 상세하게 설명하기로 한다.
프로세서(1300)는 선택된 객체와 무선 통신 연결을 수행하기 위한 UI(User Interface)를 디스플레이부(1600) 상에 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 가상 이미지를 투사하도록 구성되는 프로젝터(projector)를 더 포함하고, 프로세서(1300)는 증강 현실 HUD로 구성된 디스플레이부(1600) 상에 UI를 구성하는 가상 이미지를 투사하도록 프로젝터를 제어함으로써, UI를 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니고, 다른 실시예에서 프로세서(1300)는 CID(Center Information Display), 네비게이션 장치, 계기판 디스플레이, 또는 조수석 디스플레이 중 적어도 하나로 구성되는 디스플레이부(1600) 상에 UI를 디스플레이할 수 있다.
디스플레이부(1600) 상에 디스플레이되는 UI는 객체의 타입에 따라 맞춤형 메뉴를 제공하는 상황 맞춤형 메뉴 UI(contextual menu UI)를 포함할 수 있다. 일 실시예에서, 프로세서(1300)는 객체의 타입에 기초하여 결정된 기능 또는 동작을 수행하기 위하여 선택 가능한 복수의 항목들을 포함하는 메뉴 UI를 디스플레이할 수 있다. 객체의 타입이 차량인 경우, 메뉴 UI는 '차량'이라는 객체 타입에 기초하여 결정된 동작들을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들과 관련된 UI를 포함하고, 상기 동작들은 차량에 메시지 보내지, 차량 정보 획득, 또는 위험 알림 신호 전송을 포함할 수 있다. 객체의 타입이 보행자인 경우, 메뉴 UI는 보행자 타입에 기초하여 결정된 동작들을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들과 관련된 UI를 포함하고, 상기 동작들은 메시지 보내기, 보행자에게 전화, 또는 위험 알림 신호 전송을 포함할 수 있다. 객체의 타입이 음식점의 간판인 경우, 메뉴 UI는 음식점의 간판이라는 타입에 기초하여 결정된 동작들을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들과 관련된 UI를 포함하고, 상기 동작들은 음식점 정보 획득, 음식 메뉴 주문, 또는 예약을 포함할 수 있다.
일 실시예에서, 프로세서(1300)는 객체와의 무선 통신이 연결되기 전, 연결 중, 및 연결 후에 따라 각각 다른 컬러 및 형태의 UI를 디스플레이할 수 있다. 예를 들어, 객체와의 무선 통신이 연결되기 전인 경우, 프로세서(1300)는 메뉴 UI를 디스플레이하지 않고, 객체의 타입에 따라 객체를 서로 다른 컬러로 디스플레이하는 UI를 디스플레이할 수 있다. 객체와의 무선 통신이 연결되는 중인 경우, 프로세서(1300)는 연결 대상 객체의 위치를 트래킹하고, 연결 상태를 나타내는 트래킹 UI(130, 도 11a 참조)를 디스플레이할 수 있다. 객체와의 무선 통신 연결이 완료된 경우, 프로세서(1300)는 객체의 타입에 따라 결정된 기능 또는 동작을 수행하기 위한 복수의 항목들을 나타내는 UI 뿐만 아니라, 객체의 프로필 정보, 무선 통신 연결 신호 세기, 배터리 레벨, 및 이동 속도 중 적어도 하나를 포함하는 객체 정보를 나타내는 객체 정보 UI(112 내지 115, 도 12 참조)를 디스플레이할 수 있다. 프로세서(1300)가 객체와의 무선 통신 연결 상태에 따라 서로 다른 UI를 디스플레이하는 구체적인 실시예에 대해서는 도 10 내지 도 12에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1300)는 주변 환경 이미지 내에서 사용자 입력에 의해 선택된 객체에 대응되는 이미지를 둘러싸는 도형 또는 기호로 구성된 포커싱 UI(140, 도 13a 내지 도 13c 참조)를 디스플레이할 수 있다. 프로세서(1300)는 포커싱 UI(140)를 객체의 이동 속도에 따라 다른 컬러로 디스플레이할 수 있다. 포커싱 UI(140)에 대해서는 도 13a 내지 도 13c에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1300)는 객체로부터 수신된 광고 영상 또는 소개 영상을 디스플레이할 수 있다. 일 실시예에서, 프로세서(1300)는 객체의 광고 영상 또는 소개 영상을 포함하는 컨텐트 영상(142, 도 14 참조)을 디스플레이한 이후, 객체와 관련된 메뉴 UI를 디스플레이할 수 있다. 프로세서(1300)가 객체의 광고 컨텐트 또는 소개 영상을 디스플레이하는 구체적인 실시예에 대해서는 도 14에서 상세하게 설명하기로 한다.
프로세서(1300)는 객체의 식별 정보를 이용하여 객체와 무선 통신 연결을 수행하도록 통신 인터페이스(1200)를 제어할 수 있다. 프로세서(1300)는 통신 인터페이스(1200)를 통해 객체와 양방향 V2X 통신 연결을 수행할 수 있다.
디스플레이부(1600)는 증강 현실 HUD(Augmented Reality Head Up Display), 차량의 윈드 쉴드 상에 형성되는 투명 디스플레이, CID(Center Information Display), 네비게이션 장치, 계기판 디스플레이, 또는 조수석 디스플레이 중 적어도 하나로 구성될 수 있다. 디스플레이부(1600)가 증강 현실 HUD로 구현되는 경우, 프로젝터를 통해 차량의 윈드 쉴드에 구비되는 투명 디스플레이 상에 가상 이미지를 투사함으로써, UI를 디스플레이할 수 있다.
디스플레이부(1600)가 CID, 네비게이션 장치, 계기판 디스플레이 또는 조수석 디스플레이 중 적어도 하나로 구성되는 경우, 디스플레이부(1600)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나로 구현될 수 있다. 이 경우, 디스플레이부(1600)는 터치 센서와 상호 레이어 구조를 이루거나 통합형으로(integratedly) 됨으로써, 터치 스크린을 구현할 수 있다.
도 3은 본 개시의 일 실시예에 따른 전자 장치(1000)의 동작 방법을 도시한 흐름도이다.
단계 S310에서, 전자 장치(1000)는 카메라를 이용하여 차량 주변을 촬영함으로써, 주변 환경 이미지를 획득한다. 일 실시예에서, 전자 장치(1000)는 카메라를 이용하여 차량 주변의 타 차량, 보행자, 신호등, 교통 표지판, 간판, 또는 광고판과 같은 객체를 포함하는 주변 환경 이미지를 획득할 수 있다.
단계 S320에서, 전자 장치(1000)는 인공지능 모델을 이용하여, 주변 환경 이미지로부터 적어도 하나의 객체를 인식한다. 인공지능 모델은 주변 환경 이미지로부터 객체를 인식하고, 객체를 타입에 따라 분류(classify)하도록 학습된 심층 신경망 모델을 포함할 수 있다. 인공지능 모델은 전자 장치(1000)의 메모리(1400, 도 2 참조)에 저장될 수 있지만, 이에 한정되는 것은 아니다.
인공지능 모델은 수만 내지 수억장의 이미지를 입력 데이터로 적용하고, 이미지에 포함되는 객체의 라벨값(label)을 출력 정답값(groundtruth)로 적용하여 학습된(trained) 모델 파라미터로 구성되는 심층 신경망 모델(Deep Neural Network)을 포함할 수 있다. 심층 신경망 모델은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN), 순환 신경망 모델(Recurrent Neural Network; RNN), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나를 포함할 수 있다. 그러나, 인공지능 모델이 심층 신경망 모델만을 포함하는 것은 아니고, SVM(Support Vector Machine), 선형 회귀(linear regression), 로지스틱 회귀(logistic regression), 나이브 베이즈 분류(Naive Bayes), 랜덤 포레스트(random forest), decision tree, 또는 k-nearest neighbor algorithm 중 적어도 하나로 구성될 수도 있다.
전자 장치(1000)는 인공지능 모델을 이용하여, 주변 환경 이미지로부터 타 차량, 보행자, 신호등, 교통 표지판, 간판, 또는 광고판와 같은 객체를 인식할 수 있다.
단계 S330에서, 전자 장치(1000)는 적어도 하나의 객체 또는 RSU(Road Side Unit)으로부터 적어도 하나의 객체와 관련된 정보를 포함하는 V2X 데이터 셋을 수신한다. 일 실시예에서, 전자 장치(1000)는 통신 인터페이스(1200, 도 2 참조)를 통해 적어도 하나의 객체 또는 RSU로부터 V2X 데이터 셋을 수신할 수 있다. V2X 데이터 셋은 적어도 하나의 객체와 관련된 정보, 예를 들어 식별 정보(id 정보), 데이터 수신 일자, 번호판 정보, 타입 정보, 위치 정보, 방향 정보 및 속도 정보 중 적어도 하나를 포함할 수 있다. V2X 데이터 셋에 포함되는 정보에 대해서는 도 5에서 상세하게 설명하기로 한다.
단계 S340에서, 전자 장치(1000)는 사용자 입력에 기초하여, 적어도 하나의 객체 중 제1 객체를 선택한다. 전자 장치(1000)는 주변 환경 이미지 내에 포함되는 적어도 하나의 객체 중 제1 객체를 선택하는 사용자 입력을 수신할 수 있다. 일 실시예에서, 전자 장치(1000)는 사용자 입력부(1500, 도 2 참조)에 포함되는 핸드 트래킹 센서, 시선 추적 센서(eye tracking sensor), 또는 입력 컨트롤러 중 적어도 하나를 통해 증강 현실 포인팅(AR pointing) 입력을 수신할 수 있다. 일 실시예에서, 전자 장치(1000)는 증강 현실 HUD 상에 디스플레이되는 적어도 하나의 객체에 대응되는 이미지 중 사용자 입력에 따라 제1 객체를 선택할 수 있다.
그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 네비게이션 장치, CID(Center Information Display), 계기판 디스플레이, 또는 조수석 디스플레이 중 어느 하나에 디스플레이되는 제1 객체를 선택하는 터치 입력을 수신할 수도 있다. 다른 실시예에서, 전자 장치(1000)는 적어도 하나의 객체 중 제1 객체를 선택하기 위하여 제1 객체의 타입 또는 위치를 발화하는 음성 입력을 수신할 수도 있다. 전자 장치(1000)는 전술한 터치 입력 또는 음성 입력에 기초하여, 제1 객체를 선택할 수 있다.
단계 S350에서, 전자 장치(1000)는 주변 환경 이미지의 인식 결과 및 수신된 V2X 데이터 셋을 이용하여, 제1 객체에 관한 정보를 획득한다. 일 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터의 적어도 하나의 객체에 관한 인식 결과 및 통신 인터페이스(1200, 도 2 참조)를 통해 수신한 적어도 하나의 객체에 관한 V2X 데이터 셋을 비교함으로써, 제1 객체에 관한 식별 정보 및 타입 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터 객체의 번호판 정보, 위치 정보, 타입 정보, 및 예측 속도 정보 중 적어도 하나의 정보를 획득하고, 획득된 정보를 통신 인터페이스(1200)를 통해 획득한 V2X 데이터 셋에 포함된 정보와 매칭할 수 있다. 전자 장치(1000)는 매칭 결과에 기초하여, V2X 데이터 셋에 포함된 정보 중 사용자 입력을 통해 선택된 객체에 관한 식별 정보 및 타입 정보를 추출할 수 있다.
단계 S360에서, 전자 장치(1000)는 제1 객체에 관한 정보에 기초하여, 제1 객체와 무선 통신 연결을 위한 UI(User Interface)를 디스플레이한다. 일 실시예에서, 전자 장치(1000)는 제1 객체와 무선 통신 연결을 위한 UI를 차량의 윈드 쉴드에 프로젝터를 이용하여 가상 이미지를 투사함으로써, 증강 현실 HUD(Augmented Reality Head Up Display)에 UI를 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니고, 다른 실시예에서 전자 장치(1000)는 차량의 CID(Center Information Display), 네비게이션 장치, 계기판 디스플레이, 또는 조수석 디스플레이 중 적어도 하나에 UI를 디스플레이 할 수 있다.
제1 객체와 무선 통신 연결을 위한 UI는 제1 객체의 타입에 기초하여 결정된 기능 또는 동작을 수행하기 위하여 사용자에 의해 선택 가능한 메뉴 UI를 포함할 수 있다. 일 실시예에서, 메뉴 UI는 제1 객체에 대하여 수행 가능한 기능 또는 동작들을 나타내는 복수의 항목들에 관한 UI를 포함할 수 있다. 객체의 타입이 차량인 경우, 메뉴 UI는 '차량'이라는 객체 타입에 기초하여 결정된 동작들을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들과 관련된 UI를 포함하고, 상기 동작들은 차량에 메시지 보내지, 차량 정보 획득, 또는 위험 알림 신호 전송을 포함할 수 있다. 객체의 타입이 보행자인 경우, 메뉴 UI는 '보행자' 타입에 기초하여 결정된 동작들, 예를 들어 메시지 보내기, 보행자에게 전화, 및 위험 알림 신호 전송 중 적어도 하나의 동작을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들과 관련된 UI를 포함할 수 있다. 객체의 타입이 음식점의 간판인 경우, 메뉴 UI는 '음식점의 간판'이라는 타입에 기초하여 결정된 동작들을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들과 관련된 UI를 포함하고, 상기 동작들은 음식점 정보 획득, 음식 메뉴 주문, 또는 예약을 포함할 수 있다.
일 실시예에서, 전자 장치(1000)는 메뉴 UI 뿐만 아니라, 제1 객체의 프로필 정보, 무선 통신 연결 신호 세기, 배터리 레벨, 및 이동 속도 중 적어도 하나를 포함하는 객체 정보를 나타내는 객체 정보 UI를 디스플레이할 수 있다. 전자 장치(1000)는 제1 객체의 객체 정보를 문자, 숫자, 기호, 아이콘 등 중 적어도 하나의 형태로 디스플레이할 수 있다.
일 실시예에서, 전자 장치(1000)는 제1 객체와의 무선 통신이 연결되기 전, 연결 중, 및 연결 후에 따라 각각 다른 컬러 및 형태의 UI를 디스플레이할 수 있다.
일 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터 인식된 적어도 하나의 객체를 객체의 타입에 따라 서로 다른 컬러의 이미지로 디스플레이할 수 있다.
도 4는 본 개시의 일 실시예에 따른 전자 장치(1000)가 차량 주변의 객체들과 V2X 연결을 통해 V2X 데이터 셋(V2X data set)을 수신하는 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 전자 장치(1000)는 차량(100)에 탑재되고, 차량(100)의 주변의 객체(200, 310), RSU(400), 또는 서버(2000) 중 적어도 하나 또는 차량(100)과 통신으로 연결된 로부터 객체(200, 310)와 관련된 정보를 포함하는 V2X 데이터 셋(V2X data set)을 수신할 수 있다.
일 실시예에서, 전자 장치(1000)는 차량(100) 주변에 위치하거나 주행 중인 타 차량(200)과 차량 간 연결(Vehicle to Vehicle, V2V)을 수행함으로써, 타 차량(200)에 탑재된 무선 통신 장치로부터 타 차량(200)의 V2X 데이터 셋을 수신할 수 있다. 일 실시예에서, 전자 장치(1000)는 보행자(300)가 보유하거나 휴대하고 있는 모바일 디바이스(310)와 차량-보행자 간 연결(Vehicle to Pedestrian, V2P)을 수행함으로써, 모바일 디바이스(310)로부터 보행자(300)와 관련된 정보를 포함하는 V2X 데이터 셋을 수신할 수 있다. 일 실시예에서, 전자 장치(1000)는 RSU(Road Side Unit)(400)와 차량-인프라 연결(Vehicle to Infrastructure, V2I)을 수행함으로써, RSU(400)로부터 차량(100)의 주변의 객체(예를 들어, 타 차량(200) 및 보행자(300))에 관한 V2X 데이터 셋을 수신할 수 있다. RSU(400)는 도로 변 기지국으로서, RSU(400)가 설치된 위치로부터 기 설정된 범위 내에 위치하거나 이동 중인 적어도 하나의 객체에 관한 V2X 데이터 셋을 수신하고, V2X 데이터베이스를 구축할 수 있다. RSU(400)는 구축된 V2X 데이터베이스를 기 설정된 범위 내의 객체에 전송할 수 있다. 일 실시예에서, 전자 장치(1000)는 차량(100) 외부의 서버(2000)와 차량-서버 간 연결(Vehicle to Server, V2S)을 수행함으로써, 서버(2000)로부터 차량(100) 주변의 객체(예를 들어, 타 차량(200) 및 보행자(300))에 관한 V2X 데이터 셋을 수신할 수 있다.
V2X 데이터 셋에 포함되는 객체에 관한 정보에 대해서는 도 5에서 상세하게 설명하기로 한다.
도 5는 본 개시의 일 실시예에 따른 전자 장치(1000)가 차량 주변의 객체들로부터 수신한 V2X 데이터 셋(500)에 포함되는 정보를 도시한 표이다.
도 5를 참조하면, V2X 데이터 셋(500)은 차량 주변의 적어도 하나의 객체와 관련된 일자 정보(510), OBU 식별 정보(520), RSU 식별 정보(530), 수신 일자 정보(540), 번호판 정보(550), 차량 타입 정보(560), 위치 좌표 정보(570), 방향 정보(580), 및 속도 정보(590)을 포함할 수 있다. 도 5는 V2X 데이터 셋(500)의 예시를 도시한 표일 뿐, 이에 같이 한정되는 것은 아니다. 일 실시예에서, V2X 데이터 셋(500)은 도 5에 도시된 정보들 중 적어도 하나를 포함하지 않을 수 있고, 도 5에 도시되지 않은 정보들을 더 포함할 수도 있다.
일자 정보(510)는 현재 날짜에 관한 정보를 나타낸다. 도 5에 도시된 실시예에서, 일자 정보(510)는 2021년 6월 13일을 나타낸다.
OBU 식별 정보(520)는 차량 내 V2X 통신 단말인 OBU(On Board Unit)의 식별 정보를 나타낸다. 도 5에 도시된 실시예에서, OBU 식별 정보(520)는 7001FF68이다.
RSU 식별 정보(530)는 차량 내 V2X 통신 단말이 V2X 데이터 셋(500)을 수신한 RSU의 식별 정보를 나타낸다. 도 5에 도시된 실시예에서, RSU 식별 정보(530)는 객체에 따라 각각 다르지만, 이에 한정되는 것은 아니다.
수신 일자 정보(540)는 V2X 데이터 셋이 수신된 일자에 관한 정보를 나타낸다. 도 5에 도시된 실시예에서, 수신 일자 정보(540)는 2021년 6월 13일이다.
번호판 정보(550)는 객체가 차량인 경우, 차량의 번호판에 관한 정보를 나타낸다. 도 5에 도시된 실시예에서의 번호판 정보(550)를 참조하면, 제1 타 차량의 번호판은 29머3924이고, 제2 타 차량의 번호판은 34더3925이고, 제3 타 차량의 번호판은 21가3926이며, 제4 타 차량의 번호판은 27자3845이다.
차량 타입 정보(560)는 객체가 차량인 경우, 차량의 타입을 대응되는 식별 번호로 나타낸다. 차량의 타입은 예를 들어, 승용차, SUV(Sport-Utility Vehicle), MPV(Multi-Utility Vehicle), 픽업 트럭, 또는 상용차(commercial vehicle) 등으로 분류될 수 있으나, 이에 한정되는 것은 아니다. 도 5에 도시된 실시예에서, '4'는 승용차에 대응되는 식별 번호일 수 있으나, 이에 한정되는 것은 아니다.
도 5에는 도시되지 않았지만, 차량 타입 정보(560)는 객체 타입 정보로 대체될 수 있다. 객체 타입 정보는, 차량(100, 도 4 참조) 주변의 객체(200, 300, 도 4 참조)의 타입을 나타내는 정보로서, 예를 들어, 타 차량, 보행자, 신호등, 교통 표지판, 간판, 또는 광고판 등을 포함할 수 있다.
위치 좌표 정보(570)는 객체의 3차원 위치 좌표 정보를 나타낸다. 위치 좌표 정보(570)는 X좌표(571), Y좌표(572), 및 Z좌표(573)을 포함할 수 있다. 일 실시예에서, 위치 좌표 정보(570)는 GPS 정보로부터 획득한 위도 및 경도 정보를 포함할 수 있다.
방향 정보(580)는 객체가 향하는 방향에 관한 정보를 나타낸다.
이동 속도 정보(590)는 객체의 이동 속도에 관한 정보를 나타낸다.
전자 장치(1000)는 V2X 데이터 셋(500) 및 주변 환경 이미지로부터 획득된 정보를 이용하여, 객체의 식별 정보 및 타입 정보를 획득하고, 객체와 양방향 V2X 통신 연결을 위한 UI를 디스플레이할 수 있다. 이에 관한 구체적인 실시예는 도 6 내지 도 9에서 상세하게 설명하기로 한다.
도 6은 본 개시의 일 실시예에 따른 전자 장치(1000)가 차량 주변의 객체와 무선 통신 연결을 수행하는 방법을 도시한 흐름도이다.
도 6에 도시된 S610 내지 S630은 도 3에 도시된 단계 S350을 구체화한 단계들이다. 단계 S610은 도 3에 도시된 단계 S340이 수행된 이후 수행될 수 있다. 도 6에 도시된 단계 S640은 도 3에 도시된 단계 S360을 구현한 단계이다.
단계 S610에서, 전자 장치(1000)는 주변 환경 이미지로부터 제1 객체의 번호판 정보, 위치 정보, 타입 정보, 및 예측 속도 정보 중 적어도 하나의 정보를 획득한다.
전자 장치(1000)는 카메라를 이용하여 획득한 차량 주변에 관한 주변 환경 이미지로부터, 타 차량의 번호판을 인식할 수 있다. 일 실시예에서, 전자 장치(1000)는 인공지능 모델을 이용하는 추론을 통해, 주변 환경 이미지로부터 타 차량 및 타 차량의 번호판을 인식할 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 공지의 이미지 프로세싱 기술을 통해, 주변 환경 이미지로부터 타 차량 및 타 차량의 번호판을 인식할 수 있다. 전자 장치(1000)는 인식된 번호판으로부터 타 차량의 번호판 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 OCR 기술(Optical Character Recognition)을 사용하거나, 또는 머신 러닝을 이용하여 번호판으로부터 타 차량의 번호판 정보를 나타내는 문자 및 숫자를 식별할 수 있다.
전자 장치(1000)는 주변 환경 이미지로부터 인식된 객체의 위치 정보를 획득할 수 있다. 일 실시예에서 전자 장치(1000)는 주변 환경 이미지로부터 인식된 객체와 전자 장치(1000)가 탑재된 자 차량 간의 거리 및 방향을 계산할 수 있다. 전자 장치(1000)는 예를 들어, 이미지 프로세싱 기술을 이용하여 자 차량과 객체 간의 거리 및 방향에 관한 정보를 획득할 수 있으나, 이에 한정되는 것은 아니다. 다른 예를 들어, 전자 장치(1000)는 심층 신경망 모델을 이용하여 자 차량과 객체 간의 거리 및 방향을 예측할 수 있다. 전자 장치(1000)는 자 차량과 객체 간의 거리 및 방향에 관한 정보와 GPS 등을 통해 획득한 자 차량의 위치 정보에 기초하여, 객체의 위도 및 경도를 예측할 수 있다.
전자 장치(1000)는 주변 환경 이미지로부터 인식된 객체의 타입에 관한 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 인공지능 모델을 이용하여 주변 환경 이미지로부터 객체를 인식하고, 객체를 타입에 따라 분류할 수 있다. 인공지능 모델은 주변 환경 이미지로부터 객체를 인식하고, 인식된 객체를 타입에 따라 분류(classify)하도록 학습된 심층 신경망 모델을 포함할 수 있다. 심층 신경망 모델은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN), 순환 신경망 모델(Recurrent Neural Network; RNN), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나를 포함할 수 있다. 그러나, 인공지능 모델이 심층 신경망 모델만을 포함하는 것은 아니고, SVM(Support Vector Machine), 선형 회귀(linear regression), 로지스틱 회귀(logistic regression), 나이브 베이즈 분류(Naive Bayes), 랜덤 포레스트(random forest), decision tree, 또는 k-nearest neighbor algorithm 중 적어도 하나로 구성될 수도 있다. 전자 장치(1000)는 인공지능 모델을 이용하여, 주변 환경 이미지로부터 인식된 객체를 타 차량, 보행자, 신호등, 교통 표지판, 간판, 또는 광고판 중 적어도 하나의 타입으로 분류할 수 있다.
전자 장치(1000)는 주변 환경 이미지 내의 객체를 시간의 흐름에 따라 트래킹하고, 객체의 위치 변화를 여러 시각에서 획득함으로써, 객체의 속도를 예측할 수 있다. 일 실시예에서, 전자 장치(1000)는 제1 시점에서의 주변 환경 이미지 내의 객체의 제1 위치와 제2 시점에서의 객체의 제2 위치 간의 차이 값을 계산하고, 계산된 차이값을 제1 시점과 제2 시점 간의 시간 간격으로 나누는 연산을 통해 객체의 속도를 예측할 수 있다.
단계 S620에서, 전자 장치(1000)는 주변 환경 이미지로부터 획득된 객체의 정보와 V2X 데이터 셋에 포함된 정보를 매칭한다. 일 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터 식별된 객체의 번호판 정보를 V2X 데이터 셋(500, 도 5 참조)에 포함된 번호판 정보(550, 도 5 참조)와 매칭할 수 있다. 일 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터 획득한 객체의 위치 정보를 V2X 데이터 셋(500)에 포함된 위치 좌표 정보(570, 도 5 참조)와 매칭할 수 있다. 일 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터 인식된 객체의 타입 정보를 V2X 데이터 셋(500)에 포함된 차량 타입 정보(560, 도 5 참조)와 매칭할 수 있다. 일 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터 예측된 객체의 속도를 V2X 데이터 셋(500)에 포함된 속도 정보(590, 도 5 참조)와 매칭할 수 있다.
단계 S630에서, 전자 장치(1000)는 매칭 결과에 기초하여, V2X 데이터 셋으로부터 제1 객체의 식별 정보 및 타입 정보를 추출한다.
일 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터 식별된 번호판과 V2X 데이터 셋(500)의 번호판 정보(550)를 비교하고, 비교 결과 동일한 번호판으로 매칭된 객체의 식별 정보 및 타입 정보를 V2X 데이터 셋(500)으로부터 추출할 수 있다. 전자 장치(1000)가 번호판 정보를 이용하여, V2X 데이터 셋(500)으로부터 객체의 식별 정보 및 타입 정보를 추출하는 구체적인 실시예에 대해서는 도 7에서 상세하게 설명하기로 한다.
일 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터 예측된 객체의 위치 정보와 V2X 데이터 셋(500)의 위치 좌표 정보(570)를 비교하고, 매칭되는 좌표 정보를 갖는 객체의 식별 정보 및 타입 정보를 V2X 데이터 셋(500)으로부터 추출할 수 있다. 전자 장치(1000)가 객체의 위치 정보의 매칭 결과를 이용하여, V2X 데이터 셋(500)으로부터 객체의 식별 정보 및 타입 정보를 추출하는 구체적인 실시예에 대해서는 도 8에서 상세하게 설명하기로 한다.
일 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터 인식된 객체의 타입을 V2X 데이터 셋(500)에 포함된 차량 타입 정보(560)와 비교하고, 비교 결과에 따라 동일한 타입을 갖는 객체의 식별 정보를 V2X 데이터 셋(500)으로부터 추출할 수 있다.
일 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터 획득된 객체의 예측 속도 정보를 V2X 데이터 셋(500)에 포함된 속도 정보(590)와 비교하고, 비교 결과에 따라 동일한 속도로 이동하는 객체의 식별 정보 및 타입 정보를 V2X 데이터 셋(500)으로부터 추출할 수 있다. 전자 장치(1000)가 시간의 흐름에 따라 복수의 시점에서 객체의 이동 속도를 예측하고, V2X 데이터 셋(500)으로부터 객체의 식별 정보 및 타입 정보를 추출하는 구체적인 실시예에 대해서는 도 9에서 상세하게 설명하기로 한다.
단계 S640에서, 전자 장치(1000)는 제1 객체의 식별 정보 및 타입 정보에 기초하여, 제1 객체와 무선 통신 연결을 위한 UI를 디스플레이한다.
도 7은 본 개시의 일 실시예에 따른 전자 장치(1000)가 타 차량(700)의 번호판(710)에 관한 정보에 기초하여, 타 차량의 식별 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 전자 장치(1000)는 차량의 윈드 쉴드(160) 상에 표시되는 주변 환경 이미지로부터 타 차량(700)을 인식할 수 있다. 주변 환경 이미지는 카메라를 이용하여 차량의 주변에서 이동하고 있는 타 차량(700)을 촬영함으로써 획득될 수 있다.
전자 장치(1000)는 주변 환경 이미지로부터, 타 차량(700)의 번호판(710)을 인식할 수 있다. 일 실시예에서, 전자 장치(1000)는 인공지능 모델을 이용하는 추론을 통해, 주변 환경 이미지로부터 타 차량(700) 및 타 차량의 번호판(710)을 인식할 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 공지의 이미지 프로세싱 기술을 통해, 주변 환경 이미지로부터 타 차량(700) 및 타 차량의 번호판(710)을 인식할 수 있다. 전자 장치(1000)는 인식된 번호판(710)으로부터 타 차량(700)의 번호판 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 OCR 기술(Optical Character Recognition)을 사용하거나, 또는 머신 러닝을 이용하여 번호판으로부터 타 차량(700)의 번호판 정보를 나타내는 문자 및 숫자를 식별할 수 있다. 도 7에 도시된 실시예에서, 전자 장치(1000)는 타 차량(700)의 번호판(710)으로부터 29머3924라는 문자 및 숫자로 구성된 번호판 정보를 식별할 수 있다.
전자 장치(1000)는 식별된 타 차량(700)의 번호판 정보와 V2X 데이터 셋(500, 도 5 참조)의 번호판 정보(550, 도 5 참조)를 매칭할 수 있다. 도 5를 함께 참조하면, V2X 데이터 셋(500)의 번호판 정보(550) 중 '29머3924'라는 정보를 갖는 객체는 1번 객체이다. 전자 장치(1000)는 주변 환경 이미지로부터 식별된 타 차량(700)의 번호판 정보와 V2X 데이터 셋(500)을 비교함으로써, 동일한 번호판 정보(예를 들어, 29머3924)를 갖는 1번 객체를 식별할 수 있다.
전자 장치(1000)는 식별된 1번 객체의 식별 정보 및 타입 정보를 V2X 데이터 셋(500)으로부터 추출할 수 있다. 도 5에 도시된 실시예를 함께 참조하면, 전자 장치(1000)는 V2X 데이터 셋(500)으로부터 1번 객체의 OBU 식별 정보(520, 도 5 참조), RSU 식별 정보(530, 도 5 참조), 수신 일자 정보(540, 도 5 참조), 및 차량 타입 정보(560, 도 5 참조)를 획득할 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 V2X 데이터 셋(500)으로부터 제1 객체의 위치 정보(570, 도 5 참조), 방향 정보(580, 도 5 참조) 및 속도 정보(590, 도 5 참조)를 획득할 수도 있다.
전자 장치(1000)는 V2X 데이터 셋(500)으로부터 추출된 1번 객체의 식별 정보 및 타입 정보를 이용하여, 1번 객체와 무선 통신 연결을 위한 UI를 디스플레이할 수 있다.
도 8은 본 개시의 일 실시예에 따른 전자 장치(1000)가 차량(100)과 객체(810, 820, 830)와의 위치 관계에 기초하여 객체(810, 820, 830)의 식별 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 8을 참조하면, 카메라를 이용하여 복수의 객체(810, 820, 830)를 촬영함으로써 획득된 주변 환경 이미지로부터 복수의 객체(810, 820, 830)의 위치 정보를 획득할 수 있다. 일 실시예에서 전자 장치(1000)는 주변 환경 이미지로부터 인식된 복수의 객체(810, 820, 830)와 전자 장치(1000)가 탑재된 자 차량(100) 간의 거리 및 방향을 계산할 수 있다. 전자 장치(1000)는 예를 들어, 이미지 프로세싱 기술을 이용하여 자 차량(100)과 복수의 객체(810, 820, 830) 각각과의 거리 및 방향에 관한 정보를 획득할 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 심층 신경망 모델을 이용하여 자 차량(100)과 복수의 객체(810, 820, 830) 간의 거리 및 방향을 예측할 수 있다. 도 8에 도시된 실시예에서, 전자 장치(1000)는 주변 환경 이미지로부터 자 차량(100)과 제1 객체(810) 간의 거리가 5.2m이고, 방향은 30˚로 예측할 수 있다. 마찬가지로, 전자 장치(1000)는 자 차량(100)과 제2 객체(820) 간의 거리는 4.8m이고, 방향은 0˚이며, 자 차량(100)과 제3 객체(830) 간의 거리는 2.8m이고, 방향은 300˚로 예측할 수 있다.
전자 장치(1000)는 GPS 센서 등을 이용하여, 자 차량(100)의 위치 좌표 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 CAN(Controller Area Network) 통신을 통해 자 차량(100)에 포함되는 GPS 센서로부터 자 차량(100)의 위도 및 경도 정보를 획득할 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 자체적으로 GPS 센서를 포함하고, GPS 센서를 이용하여 전자 장치(1000)가 탑재된 자 차량(100)의 위도 및 경도 정보를 획득할 수 있다. 도 8에 도시된 실시예에서, 자 차량(100)의 위도는 37.4˚N이고,경도는 127˚W일 수 있다.
전자 장치(1000)는 자 차량(100)과 복수의 객체(810, 820, 830) 간의 거리 및 방향에 관한 정보와 GPS 센서를 이용하여 획득한 자 차량(100)의 위치 정보(예를 들어, 위도 및 경도 정보)에 기초하여, 복수의 객체(810, 820, 830)의 위도 및 경도를 예측할 수 있다. 전자 장치(1000)는 예측된 복수의 객체(810, 820, 830)의 위치 정보와 V2X 데이터 셋(500, 도 5 참조)의 위치 좌표 정보(570, 도 5 참조)를 비교하고, 매칭되는 좌표 정보를 갖는 객체의 식별 정보 및 타입 정보를 V2X 데이터 셋(500)으로부터 추출할 수 있다. 도 5에 도시된 실시예를 함께 참조하면, 전자 장치(1000)는 제1 객체(810)에 대하여 예측된 위치 좌표 정보가 (127.2673, 34.68578, 567)로 예측된 경우, V2X 데이터 셋(500)의 위치 좌표 정보(570)와 비교하고, 동일하거나 유사한 위치 좌표를 갖는 객체의 OBU 식별 정보(520, 도 5 참조), RSU 식별 정보(530, 도 5 참조), 수신 일자 정보(540, 도 5 참조), 및 차량 타입 정보(560, 도 5 참조)를 획득할 수 있다.
도 9는 본 개시의 일 실시예에 따른 전자 장치(1000)가 객체(910, 920)의 시간의 흐름에 따른 위치 관계 변화에 기초하여 객체(910, 920)의 식별 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 9를 참조하면, 전자 장치(1000)는 카메라를 이용하여 복수의 객체(910, 920)를 촬영함으로써 주변 환경 이미지를 획득할 수 있다. 전자 장치(1000)는 주변 환경 이미지 내의 복수의 객체(910, 920)를 시간의 흐름에 따라 트래킹하고, 복수의 객체(910, 920)의 위치 변화를 복수의 시점에 따라 실시간으로 획득함으로써, 객체의 속도를 예측할 수 있다. 도 9에 도시된 실시예에 따르면, 제1 시점(t1)에서 전자 장치(1000)가 탑재된 자 차량(100)과 제1 객체(910) 간의 거리는 10m이고, 제1 객체(910)의 속도는 80km/h로 예측된다. 또한, 제1 시점(t1)에서 자 차량(100)과 제2 객체(920) 간의 거리는 10m이고, 제2 객체(920)의 속도는 60km/h로 예측된다. 도 9에 도시된 실시예에서, 시간의 흐름에 따라 제2 시점(t2)이 된 경우, 자 차량(100)과 제1 객체(910) 간의 거리는 30m로 변경되고, 자 차량(100)과 제2 객체(920) 간의 거리는 20m로 변경된 것으로 예측될 수 있다.
전자 장치(1000)는 제1 시점(t1)에서의 자 차량(100)과 복수의 객체(910, 920) 간의 거리와 제2 시점(t2)에서의 복수의 객체(910, 920) 간의 거리의 차이 값을 계산하고, 계산된 차이값을 제1 시점(t1)과 제2 시점(t2) 간의 시간 간격(△t)으로 나누는 연산을 통해 복수의 객체(910, 920)의 속도 변화를 예측할 수 있다. 도 9에 도시된 실시예에서, 전자 장치(1000)는 제2 시점(t2)에서 자 차량(100)과 제1 객체(910) 간의 거리가 10m에서 30m로 변경된 것을 예측하고, 거리의 차이값인 20m를 제1 시점(t1)과 제2 시점(t2) 간의 시간 간격(△t)으로 나누는 연산을 통해 제1 객체(910)의 속도가 85km/h로 변경된 것을 예측할 수 있다. 동일한 방법으로, 전자 장치(1000)는 제2 객체(920)의 속도가 70km/h로 변경된 것을 예측할 수 있다.
전자 장치(1000)는 시간의 흐름에 따라 변경된 복수의 객체(910, 920)의 속도를 V2X 데이터 셋(500, 도 5 참조)에 포함된 속도 정보(590, 도 5 참조)와 비교하고, 비교 결과에 따라 동일한 속도로 이동하는 객체의 식별 정보 및 타입 정보를 V2X 데이터 셋(500)으로부터 추출할 수 있다. 예를 들어, 제2 객체(920)에 대하여 제2 시점(t2)에서 예측된 속도가 70km/h인 경우, 전자 장치(1000)는 V2X 데이터 셋(500)의 속도 정보(590)와 비교하고, 비교 결과 동일한 70km/h의 속도로 이동하는 4번 객체의 OBU 식별 정보(520, 도 5 참조), RSU 식별 정보(530, 도 5 참조), 수신 일자 정보(540, 도 5 참조), 및 차량 타입 정보(560, 도 5 참조)를 V2X 데이터 셋(500)으로부터 획득할 수 있다.
일 실시예에서, 전자 장치(1000)는 시간의 흐름에 따라 복수의 객체(910, 920)의 변경된 속도 정보 뿐만 아니라, 각 시점에서의 복수의 객체(910, 920)의 위치 정보를 실시간으로 획득하고, 획득된 복수의 객체(910, 920)의 실시간 위치 정보를 V2X 데이터 셋(500)에 포함된 위치 좌표 정보(570, 도 5 참조)와 비교할 수 있다. 전자 장치(1000)는 비교 결과에 따라 복수의 객체(910, 920)에 대응되는 객체를 V2X 데이터 셋(500)으로부터 식별하고, V2X 데이터 셋(500)으로부터 복수의 객체(910, 920)에 관한 식별 정보 및 타입 정보를 획득할 수 있다. 전자 장치(1000)는 복수의 시점에서 예측한 복수의 객체(910, 920)의 속도 정보 뿐만 아니라, 복수의 객체(910, 920)의 실시간 위치 정보를 V2X 데이터 셋(500)에 포함된 정보와 비교함으로써, 매칭 정확도를 향상시키고, 복수의 객체(910, 920)에 관한 정확한 식별 정보 및 타입 정보를 획득할 수 있다.
도 10은 본 개시의 일 실시예에 따른 전자 장치(1000)가 객체와의 무선 통신 연결이 수행되기 전에 디스플레이하는 UI의 예시를 도시한 도면이다.
전자 장치(1000)는 객체와의 무선 통신이 연결되기 전, 연결 중, 및 연결 후 각각의 경우에 따라 서로 다른 UI를 디스플레이할 수 있다.
도 10을 참조하면, 전자 장치(1000)는 증강 현실 HUD로 구성된 디스플레이부(1600) 상에 복수의 객체(101 내지 105)에 대응되는 이미지들 및 클러스터링 UI(120)를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 프로젝터를 이용하여 차량의 윈드 쉴드(160) 상에 가상 이미지를 투사함으로써, 증강 현실 HUD를 구현할 수 있다. 그러나, 이에 한정되는 것은 아니고, 다른 실시예에서 전자 장치(1000)는 차량 내의 CID(Center Information Display)(170), 네비게이션 장치, 계기판 디스플레이, 또는 조수석 디스플레이 중 적어도 하나에 UI를 디스플레이할 수 있다.
전자 장치(1000)는 디스플레이부(1600) 상에 표시되는 복수의 객체(101 내지 105)에 대응되는 이미지를 복수의 객체(101 내지 105)의 타입에 따라 서로 다른 컬러로 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1300, 도 2 참조)는 카메라(1100, 도 2 참조)를 이용하여 차량 주변의 복수의 객체(101 내지 105)를 촬영함으로써 획득된 주변 환경 이미지로부터 복수의 객체(101 내지 105) 각각의 타입을 인식할 수 있다. 프로세서(1300)가 주변 환경 이미지로부터 복수의 객체(101 내지 105)의 타입을 인식하는 구체적인 방법은 전술한 도 1 및 도 2와 관련되므로, 중복되는 설명은 생략한다. 일 실시예에서, 프로세서(1300)는 인식된 복수의 객체(101 내지 105)의 타입에 따라 복수의 객체(101 내지 105) 각각에 대하여 서로 다른 컬러를 할당할 수 있다. 예를 들어, 타 차량으로 인식되는 제1 객체(101) 및 제2 객체(102)에는 빨간색을 할당하고, 보행자로 인식된 제3 객체(103)에는 노란색을 할당하고, 광고판으로 인식된 제4 객체(104)에는 녹색을 할당하며, 신호등으로 인식된 제5 객체(105)에는 파란색을 할당할 수 있다. 프로세서(1300)는 주변 환경 이미지 내의 복수의 객체(101 내지 105)의 위치에 컬러를 오버랩하여 표시함으로써, 복수의 객체(101 내지 105)를 타입에 따라 서로 다른 컬러로 디스플레이할 수 있다.
일 실시예에서, 디스플레이부(1600)가 증강 현실 HUD로 구현되는 경우, 프로세서(1300)는 프로젝터를 이용하여 복수의 객체(101 내지 105)의 위치에 할당된 컬러를 나타내는 이미지를 투사할 수 있다. 그러나, 이에 한정되는 것은 아니고, 다른 실시예에서 디스플레이부(1600)가 CID(170), 네비게이션 장치, 계기판 디스플레이, 또는 조수석 디스플레이 중 적어도 하나로 구현되는 경우, 프로세서(1300)는 이미지 프로세싱을 통해 복수의 객체(101 내지 105)를 타입에 따라 서로 다른 컬러로 디스플레이할 수 있다.
프로세서(1300)는 차량의 위치로부터 기 설정된 거리 보다 멀리 이격되어 있는 복수의 객체들이 겹쳐있는 경우, 겹쳐있는 복수의 객체들의 수를 나타내는 클러스터링 UI(clustering User Interface)(120)를 디스플레이할 수 있다. 클러스터링 UI(120)는 겹쳐진 복수의 객체의 수를 숫자로 나타내는 아이콘으로 구성될 수 있다. 클러스터링 UI(120)를 선택하는 사용자 입력이 수신되는 경우, 프로세서(1300)는 겹쳐져 있는 복수의 객체 중 어느 하나를 선택할 수 있는 복수의 항목들로 구성된 UI를 디스플레이할 수 있다.
도 10에 도시된 실시예에 따른 전자 장치(1000)는 무선 통신 연결 대상인 복수의 객체(101 내지 105)를 타입에 따라 서로 다른 컬러로 디스플레이하는 바, 사용자가 차량, 보행자, 신호등, 광고판, 간판 등 객체의 타입에 따라 연결하고자 하는 대상을 쉽게 인지하고, 구별할 수 있게 하여 사용자 편의성을 향상시킬 수 있다. 또한, 본 개시의 일 실시예에 따른 전자 장치(1000)는 자 차량과 일정 거리 이상으로 이격된 복수의 객체들의 수를 나타내는 클러스터링 UI(120)를 통해, 사용자가 멀리 떨어진 복수의 객체들의 개수가 몇인지 직관적으로 인지할 수 있게 하는 기술적 효과를 제공한다.
도 11a는 본 개시의 일 실시예에 따른 전자 장치(1000)가 객체와의 무선 통신 연결이 수행되는 중에 디스플레이하는 UI의 예시를 도시한 도면이다.
도 11a를 참조하면, 증강 현실 HUD로 구성된 디스플레이부(1600) 상에 사용자에 의해 선택된 제1 객체(101)와의 연결 상태를 나타내는 트래킹 UI(130)를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 프로젝터를 이용하여 차량의 윈드 쉴드(160) 상에 트래킹 UI(130)에 대응되는 가상 이미지를 투사함으로써, 증강 현실 HUD를 구현할 수 있다. 그러나, 이에 한정되는 것은 아니고, 다른 실시예에서 전자 장치(1000)는 차량 내의 CID(Center Information Display)(170), 네비게이션 장치, 계기판 디스플레이, 또는 조수석 디스플레이 중 적어도 하나에 트래킹 UI(130)를 디스플레이할 수 있다.
일 실시예에서, 전자 장치(1000)의 프로세서(1300, 도 2 참조)는 사용자 입력부(1500, 도 2 참조)로부터 입력받은 사용자 입력에 기초하여 디스플레이부(1600) 상에 디스플레이되는 복수의 객체 중 제1 객체(101)를 선택하고, 선택된 제1 객체(101)의 위치를 트래킹할 수 있다. 프로세서(1300)는 제1 객체(101)의 위치를 가리키는 화살표 형태의 트래킹 UI(130)를 디스플레이할 수 있다.
일 실시예에서, 프로세서(1300)는 제1 객체(101)와의 무선 통신 연결 상태에 기초하여, 트래킹 UI(130)의 컬러를 다르게 변형하여 디스플레이할 수 있다. 프로세서(1300)가 트래킹 UI(130)의 컬러를 변형하여 디스플레이하는 구체적인 실시예에 대해서는 도 11b에서 상세하게 설명하기로 한다.
도 11b는 본 개시의 일 실시예에 따른 전자 장치(1000)가 객체와의 무선 통신 연결이 진행됨에 따라 변화되는 트래킹 UI(130a, 130b, 130c)의 예시를 도시한 도면이다.
도 11b를 참조하면, 전자 장치(1000)의 프로세서(1300, 도 2 참조)는 제1 객체(101, 도 11a 참조)와의 무선 통신 연결의 상태에 기초하여, 교호(交互)하면서 표시되는(alternatingly displayed) 트래킹 UI(130a, 130b, 130c)의 컬러를 변경하여 디스플레이할 수 있다.
일 실시예에서, 프로세서(1300)는 제1 객체(101)와 무선 통신 연결이 되지 않은 상태에서는 트래킹 UI(130a)를 흰색으로 표시하거나, 또는 컬러 없이 빈 도형의 형태로 디스플레이할 수 있다. 트래킹 UI(130a)를 구성하는 도형은 예를 들어, 삼각형 또는 화살표의 형태를 가질 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 프로세서(1300)는 제1 객체(101)와의 무선 통신 연결 중인 상태에서는, 트래킹 UI(130b)에 포함되는 복수의 도형을 나타내는 컬러의 농도 또는 채도를 점진적으로(gradually) 변경하는 그라데이션(gradation) 형태로 디스플레이할 수 있다.
일 실시예에서, 프로세서(1300)는 제1 객체(101)와의 무선 통신 연결이 완료된 상태에서는, 트래킹 UI(130c)에 포함되는 복수의 도형을 단일 컬러로 디스플레이할 수 있다. 예를 들어, 무선 통신 연결이 완료된 상태에서 트래킹 UI(130c)는, 트래킹 UI(130b)에 포함되는 복수의 도형의 컬러 중 최대 농도를 갖는 컬러와 동일한 컬러로 디스플레이될 수 있다. 그러나, 이에 한정되는 것은 아니다.
도 11a 및 도 11b에 도시된 실시예에서, 전자 장치(1000)는 제1 객체(101)와의 무선 통신 연결 상태에 따라 트래킹 UI(130a, 130b, 130c)의 컬러를 변경하여 디스플레이함으로써, 사용자가 트래킹 UI(130a, 130b, 130c)를 통해 제1 객체(101)와의 무선 통신 연결 상태를 직관적으로 인지할 수 있게 하는 기술적 효과를 제공한다. 이를 통해, 사용자 편의성이 향상될 수 있다.
도 12는 본 개시의 일 실시예에 따른 전자 장치(1000)가 제1 객체(101)와의 무선 통신 연결이 수행된 이후에 디스플레이하는 UI(110)의 예시를 도시한 도면이다.
도 12를 참조하면, 전자 장치(1000)는 증강 현실 HUD로 구성된 디스플레이부(1600) 상에 제1 객체(101)에 관한 정보를 나타내는 UI(110)를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 프로젝터를 이용하여 차량의 윈드 쉴드(160) 상에 UI(110)를 구성하는 가상 이미지를 투사함으로써, 증강 현실 HUD를 구현할 수 있다. 그러나, 이에 한정되는 것은 아니고, 다른 실시예에서 전자 장치(1000)는 차량 내의 CID(Center Information Display)(170), 네비게이션 장치, 계기판 디스플레이, 또는 조수석 디스플레이 중 적어도 하나에 UI(110)를 디스플레이할 수 있다.
전자 장치(1000)의 프로세서(1300)는 제1 객체(101)와 관련된 UI(110)를 제1 객체(101)가 표시되는 위치와 인접한 위치에 디스플레이할 수 있다. UI(110)는 제1 객체(101)의 타입에 따라 맞춤형 메뉴를 제공하는 상황 맞춤형 UI(contextual menu UI)일 수 있다. UI(110)는 제1 객체(101)에 대하여 수행 가능한 기능 또는 동작을 나타내는 메뉴 UI(111) 및 제1 객체(101)의 프로필 정보 및 상태 정보를 나타내는 객체 정보 UI(112 내지 115)를 포함할 수 있다.
메뉴 UI(111)는 전자 장치(1000)와 무선 통신 연결이 수행된 제1 객체(101)에 대하여 수행할 수 있는 기능 또는 동작을 선택하는 사용자 입력을 수신하기 위한 복수의 항목들을 포함할 수 있다. 도 12에 도시된 실시예에서, 제1 객체(101)의 타입은 차량이고, 메뉴 UI(111)는 제1 객체(101)의 타입이 차량이라는 점에 기초하여 결정된 동작들을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들을 포함하고, 상기 동작들은 차량에 메시지 보내지, 차량 정보 획득, 또는 위험 알림 신호 전송을 포함할 수 있다. 사용자는 복수의 항목들 중 어느 하나의 항목을 선택하고, 전자 장치(1000)는 사용자 입력에 따라 선택된 항목에 대응되는 기능 또는 동작을 수행할 수 있다.
도 12에 도시된 실시예와는 달리, 제1 객체(101)의 타입이 보행자인 경우, 메뉴 UI(111)는 보행자에 대하여 수행 가능한 동작들을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들을 포함하고, 상기 동작들은 메시지 보내기, 보행자에게 전화, 또는 위험 알림 신호 전송을 포함할 수 있다. 또한, 제1 객체(101)의 타입이 음식점의 간판 또는 광고판인 경우, 메뉴 UI(111)는 제1 객체(101)의 타입이 간판 또는 광고판이라는 점에 기초하여 결정된 동작들, 예를 들어 음식점 정보 획득, 음식 메뉴 주문, 및 예약 중 적어도 하나의 동작을 수행하기 위한 사용자 입력을 수신하는 복수의 항목들을 포함할 수 있다.
객체 정보 UI(112 내지 115)는 제1 객체(101)의 프로필 정보, 무선 통신 연결 신호 세기, 배터리 레벨, 및 이동 속도 중 적어도 하나를 포함하는 객체 정보를 문자, 숫자, 기호, 도형, 또는 아이콘 중 적어도 하나로 나타내는 UI이다. 일 실시예에서, 객체 정보 UI(112 내지 115)는 제1 객체(101)로부터 수신한 제1 객체(101)의 프로필 이미지(112) 및 제1 객체(101)의 프로필 문구(113)를 포함할 수 있다. 일 실시예에서, 객체 정보 UI(112 내지 115)는 제1 객체(101)에 의해 제공되는 프로필 음악을 플레이하기 위한 프로필 뮤직 UI(114)를 더 포함할 수 있다. 일 실시예에서, 객체 정보 UI(112 내지 115)는 제1 객체(101)와의 무선 통신 연결 상태를 나타내는 제1 아이콘 및 제1 객체(101)의 배터리 잔여 용량을 나타내는 제2 아이콘을 포함하는 상태 정보 UI(115)를 포함할 수 있다.
도 12에 도시된 실시예에서, 전자 장치(1000)는 무선 통신 연결이 수행된 제1 객체(101)에 관한 상황 맞춤형 UI(contextual menu UI)를 디스플레이함으로써, 사용자가 제1 객체(101)와 관련된 기능 또는 동작을 직관적으로 선택할 수 있도록 하는 기술적 효과를 제공한다. 또한, 본 개시의 일 실시예에 따른 전자 장치(1000)는 제1 객체(101)의 프로필 정보, 무선 통신 연결 신호 세기, 배터리 레벨, 및 이동 속도 중 적어도 하나를 포함하는 객체 정보를 문자, 숫자, 기호, 또는 아이콘 중 적어도 하나로 나타내는 UI를 디스플레이함으로써, 사용자가 제1 객체(101)의 상태를 직관적으로 인식할 수 있도록 하고, 이를 통해 사용자 편의성을 향상시킬 수 있다.
본 개시의 일 실시예에 따른 전자 장치(1000)는, 제1 객체(101)에 대응되는 이미지를 둘러싸는 도형 또는 기호로 구성된 포커싱 UI(140)를 디스플레이부(1600) 상에 디스플레이할 수 있다. 포커싱 UI(140)에 대해서는 도 13a 내지 도 13c에서 상세하게 설명하기로 한다.
도 13a 내지 도 13c는 본 개시의 일 실시예에 따른 전자 장치(1000)가 객체의 주행 속도에 따라 디스플레이하는 UI의 예시를 도시한 도면이다.
전자 장치(1000)는 디스플레이부(1600, 도 12 참조) 상에 디스플레이되는 제1 객체(101)에 대응되는 이미지를 둘러싸는 포커싱 UI(140)를 디스플레이할 수 있다. 포커싱 UI(140)는 제1 객체(101)의 이미지의 네 모서리 부분을 둘러싸는 아이콘 또는 기호로 구성될 수 있다. 일 실시예에서, 전자 장치(1000)는 제1 객체(101)의 주행 속도를 모니터링하고, 제1 객체(101)의 이동 속도에 따라 포커싱 UI(140)의 컬러를 다르게 변경하여 디스플레이할 수 있다.
도 13a를 참조하면, 제1 객체(101)가 급 감속 주행하는 경우, 전자 장치(1000)는 포커싱 UI(140)를 파란 색으로 디스플레이할 수 있다.
도 13b를 참조하면, 제1 객체(101)가 정속 주행하는 경우, 전자 장치(1000)는 포커싱 UI(140)를 노란 색으로 디스플레이할 수 있다.
도 13c를 참조하면, 제1 객체(101)가 급 가속 주행하는 경우, 전자 장치(1000)는 포커싱 UI(140)를 빨간 색으로 디스플레이할 수 있다.
도 13a 내지 도 13c에 도시된 실시예에서, 포커싱 UI(140)의 컬러는 예시적인 것이고, 설명한 것과 같은 컬러로 한정되는 것은 아니다.
도 13a 내지 도 13c에 도시된 실시예에 따른 전자 장치(1000)는 무선 통신 연결이 수행된 제1 객체(101)에 대응되는 이미지를 둘러싸는 포커싱 UI(140)를 제1 객체(101)의 주행 속도에 따라 서로 다른 컬러로 디스플레이함으로써, 사용자가 제1 객체(101)의 속도를 직관적으로 파악할 수 있도록 하는 기술적 효과를 제공한다.
도 14는 본 개시의 일 실시예에 따른 전자 장치(1000)가 객체에 의해 제공되는 컨텐트를 디스플레이한 이후, 무선 통신 연결과 관련된 UI를 디스플레이하는 동작을 설명하기 위한 도면이다.
도 14를 참조하면, 전자 장치(1000)는 무선 통신 연결된 제1 객체(101)와 관련된 상업 광고 영상(Commercial Film, CF) 또는 소개 영상을 포함하는 컨텐트 영상(142)을 디스플레이할 수 있다. 컨텐트 영상(142)은 제1 객체(101)로부터 수신된 광고 영상 또는 소개 영상을 포함할 수 있다. 일 실시예에서, 컨텐트 영상(142)은 제1 객체(101)의 광고 대상 또는 소개 대상을 나타내는 명함 또는 프로필 정보를 포함할 수도 있다. 컨텐트 영상(142)은 비디오일 수 있다. 그러나, 이에 한정되는 것은 아니고, 컨텐트 영상(142)은 단일 이미지 프레임으로 구성될 수도 있다.
전자 장치(1000)는 컨텐트 영상(142)이 디스플레이된 이후, 제1 객체(101)에 관한 UI(110)를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 기 설정된 시간 동안 컨텐트 영상(142)을 디스플레이하고, 기 설정된 시간이 경과한 이후에 UI(110)를 디스플레이할 수 있다. UI(110)는 도 12에 도시된 UI(110, 도 12 참조)와 동일하므로, 중복되는 설명은 생략한다.
도 15는 본 개시의 일 실시예에 따른 전자 장치(1000)가 인공 지능 기술을 이용하여 수행되는 동작을 설명하기 위한 도면이다.
구체적으로, 전자 장치(1000)에 의해 수행되는 i) 인공지능 모델을 이용하여, 주변 환경 이미지로부터 적어도 하나의 객체를 인식하는 동작 및 ii) 주변 환경 이미지의 인식 결과 및 수신된 V2X 데이터 셋을 이용하여, 제1 객체의 타입(type)에 관한 정보를 획득하는 동작 중 적어도 하나는, 신경망(neural network)을 통한 연산을 수행하는 인공지능(AI: Artificial Intelligence) 기술을 이용하여 수행될 수 있다.
인공 지능 기술(이하, 'AI 기술')은 신경망(Neural Network)을 통한 연산을 기반으로 입력 데이터를 분석 및/또는 분류 등과 같은 처리를 하여 목적하는 결과를 획득하는 기술이다.
이러한 AI 기술은 알고리즘을 활용하여 구현될 수 있다. 여기서, AI 기술을 구현하기 위한 알고리즘 또는 알고리즘의 집합을 신경망(Neural Network)이라 한다. 여기서, 신경망은 입력 데이터를 입력받고, 전술한 분석 및/또는 분류를 위한 연산을 수행하여, 결과 데이터를 출력할 수 있다. 신경망이 입력 데이터에 대응되는 결과 데이터를 정확하게 출력하기 위해서는, 신경망을 학습(training)시킬 필요가 있다. 여기서, '학습(training)'은 신경망에 대한 입력 데이터들을 분석하는 방법, 입력 데이터들을 분류하는 방법, 및/또는 입력 데이터들에서 결과 데이터 생성에 필요한 특징을 추출하는 방법 등을 신경망이 스스로 발견 또는 터득할 수 있도록 훈련시키는 것을 의미할 수 있다. 구체적으로, 학습 과정을 통하여, 신경망은 학습 데이터(예를 들어, 서로 다른 복수의 이미지들)를 학습(training)하여 신경망 내부의 가중치(weight) 값들을 최적화할 수 있다. 그리고, 최적화된 가중치 값을 가지는 신경망을 통하여, 입력 데이터를 처리함으로써, 목적하는 결과를 출력한다.
신경망은 연산을 수행하는 내부의 레이어(layer)인 은닉 레이어(hidden layer)의 개수가 복수일 경우, 즉 연산을 수행하는 신경망의 심도(depth)가 증가하는 경우, 심층 신경망으로 분류될 수 있다. 신경망은 예를 들어, CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 등을 포함하고, 전술한 예시에 한정되지 않는다. 또한, 신경망은 세분화될 수 있다. 예를 들어, CNN 신경망은 D-CNN(Deep Convolution Neural Network) 또는 캡스넷(Capsnet) 신경망(미도시) 등으로 세분화 될 수 있다.
'AI 모델'은 입력 데이터를 수신하고 목적하는 결과를 출력하도록 동작하는 적어도 하나의 레이어를 포함하는 신경망을 의미할 수 있다. 또한, 'AI 모델'은 신경망을 통한 연산을 수행하여 목적하는 결과를 출력하는 알고리즘, 복수의 알고리즘의 집합, 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 프로세서(processor), 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 소프트웨어, 또는 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 하드웨어를 의미할 수 있다.
전술한 i) 인공지능 모델을 이용하여, 주변 환경 이미지로부터 적어도 하나의 객체를 인식하는 동작 및 ii) 주변 환경 이미지의 인식 결과 및 수신된 V2X 데이터 셋을 이용하여, 제1 객체의 타입(type)에 관한 정보를 획득하는 동작 중 적어도 하나는 AI 모델 기반으로 수행될 수 있다.
도 15를 참조하면, 신경망(150)은 학습 데이터(training data)를 입력받아 트레이닝(training)될 수 있다. 그리고, 학습된 신경망(150)은 입력단(152)으로 입력 데이터(151)를 입력받고, 입력단(152), 은닉 레이어(hidden layer)(153) 및 출력단(154)은 입력 데이터(151) 및 이전 레이어로부터 전달된 데이터를 분석하여 출력 데이터(155)를 출력하기 위한 연산을 수행할 수 있다. 도 15에서는 은닉 레이어(153)가 1개의 계층인 것으로 도시되어 있으나, 이는 예시일 뿐이고, 은닉 레이어(153)는 복수의 계층으로 이루어질 수도 있다.
개시된 실시예에서 신경망(150)은, 제1 객체의 타입에 기초하여 결정된 기능 또는 동작을 수행하기 위하여 선택 가능한 메뉴 UI를 디스플레이하도록 학습될 수 있다.
개시된 실시예에서 신경망(150)은, 선택된 제1 객체와의 무선 통신의 연결 전, 연결 중, 및 연결 후에 따라 각각 다른 컬러 및 형태의 UI를 디스플레이하도록 학습될 수 있다.
개시된 실시예에서 신경망(150)은, 적어도 하나의 객체의 타입에 따라 주변 환경 이미지 내에 포함된 적어도 하나의 객체를 서로 다른 컬러의 이미지로 디스플레이하도록 학습될 수 있다.
개시된 실시예에서 신경망(150)은, 사용자 입력에 의해 선택된 제1 객체의 프로필 정보, 무선 통신 연결 신호 세기, 배터리 레벨, 및 이동 속도 중 적어도 하나를 포함하는 객체 정보를 문자, 숫자, 기호, 또는 아이콘 중 적어도 하나로 나타내는 객체 정보 UI를 디스플레이하도록 학습될 수 있다.
개시된 실시예에서 신경망(150)은, 주변 환경 이미지 상에 제1 객체에 대응되는 이미지를 둘러싸는 도형 또는 기호로 구성된 포커싱 UI(Focusing UI)를 디스플레이하고, 포커싱 UI를 제1 객체의 이동 속도에 따라 서로 다른 컬러로 디스플레이하도록 학습될 수 있다.
개시된 실시예에서 신경망(150)은, 제1 객체로부터 수신된 광고 컨텐트 또는 소개 영상을 디스플레이하고, 광고 컨텐트 또는 소개 영상이 디스플레이된 이후 제1 객체와 관련된 UI를 디스플레이하도록 학습될 수 있다.
개시된 실시예에서, 전술한 i) 인공지능 모델을 이용하여, 주변 환경 이미지로부터 적어도 하나의 객체를 인식하는 동작 및 ii) 주변 환경 이미지의 인식 결과 및 수신된 V2X 데이터 셋을 이용하여, 제1 객체의 타입(type)에 관한 정보를 획득하는 동작 중 적어도 하나를 수행하는 신경망(150)과 관련된 데이터 또는 프로그램 코드는 프로세서(1300, 도 2 참조)에 의해 수행될 수 있다. 신경망(150)과 관련된 데이터 또는 프로그램은 메모리(1400, 도 2 참조) 내에 저장되고, 신경망(150)을 이용하는 학습은 프로세서(1300)에 의해 수행될 수 있다. 이 경우, 프로세서(1300)는 인공지능 프로세서(AI processor)를 포함할 수 있다.
또는, 전술한 동작들을 수행하는 신경망(150)은 전자 장치(1000)와 구별된 별도의 디바이스(미도시) 또는 프로세서(미도시) 내에 구현될 수 있다.
전술한 신경망(150)을 통한 연산은 일 실시예에 따른 전자 장치(1000)와 무선 통신 네트워크를 통해 통신할 수 있는 서버(2000, 도 16 및 도 17 참조)에 의해 수행될 수도 있다. 전자 장치(1000)와 서버(2000) 간의 통신은 도 16 및 도 17을 참조하여 설명한다.
도 16은 서버(2000)와 연동하여 동작하는 개시된 실시예에 따른 전자 장치(1000)를 나타내는 도면이다.
서버(2000)는 통신 네트워크(3000)를 통하여 전자 장치(1000)와 데이터를 송수신하며 데이터를 처리할 수 있다.
도 17을 함께 참조하면, 서버(2000)는 전자 장치(1000)와 통신하는 통신부(2100), 적어도 하나의 인스트럭션을 수행하는 프로세서(2200), 및 데이터베이스(2300)를 포함할 수 있다.
서버(2000)는 AI 모델을 훈련시키고, 훈련된 AI 모델을 저장하고 있을 수 있다. 그리고, 서버(2000)는 훈련된 AI 모델을 이용하여 전술한 i) 인공지능 모델을 이용하여, 주변 환경 이미지로부터 적어도 하나의 객체를 인식하는 동작 및 ii) 주변 환경 이미지의 인식 결과 및 수신된 V2X 데이터 셋을 이용하여, 제1 객체의 타입(type)에 관한 정보를 획득하는 동작 중 적어도 하나를 수행할 수 있다.
일반적으로, 전자 장치(1000)는 메모리 저장 용량, 연산의 처리 속도, 학습 데이터 셋의 수집 능력 등이 서버(2000)에 비하여 제한적일 수 있다. 따라서, 대용량 데이터의 저장 및 대용량의 연산량이 필요한 동작은 서버(2000)에서 수행한 후, 통신 네트워크를 통하여 필요한 데이터 및/또는 AI 모델을 전자 장치(1000)에 전송할 수 있다. 그러면, 전자 장치(1000)는 대용량의 메모리 및 빠른 연산 능력을 갖는 프로세서 없이도, 서버(2000)를 통하여 필요한 데이터 및/또는 AI 모델을 수신하여 이용함으로써, 빠르고 용이하게 필요한 동작을 수행할 수 있다.
개시된 실시예에서, 서버(2000)는 도 15에서 설명한 신경망(150)을 포함할 수 있다.
도 17은 도 16을 상세하게 설명하기 위한 도면이다.
도 17을 참조하면, 서버(2000)는 통신부(2100), 프로세서(2200), 및 데이터베이스(2300)를 포함할 수 있다.
통신부(2100)는 무선 통신 네트워크를 통해서 외부 장치와 통신을 수행한다. 여기서, 외부 장치(미도시)는 전자 장치(1000)가 필요로 하는 연산 중 적어도 하나를 수행하거나, 전자 장치(1000)가 필요로 하는 데이터 등을 송신할 수 있는 서버를 포함할 수 있다.
통신부(2100)는, 근거리 통신 모듈, 유선 통신 모듈, 이동 통신 모듈, 방송 수신 모듈 등과 같은 적어도 하나의 통신 모듈을 포함한다. 여기서, 적어도 하나의 통신 모듈은 방송 수신을 수행하는 튜너, 블루투스, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), WiMAX(World Interoperability for Microwave Access), CDMA, WCDMA, 인터넷, 3G, 4G, 5G 및/또는 밀리미터 파(mmwave)를 이용한 통신 방식과 같은 통신 규격을 따르는 네트워크를 통하여 데이터 송수신을 수행할 수 있는 통신 모듈을 의미한다.
예를 들어, 통신부(2100)가 밀리미터 파(mmWAVE)를 이용하여 통신을 수행하면, 대용량의 데이터를 빠르게 송수신할 수 있다. 구체적으로, 차량은 밀리미터파를 이용하여 대용량의 데이터를 빠르게 수신하고, 차량과 관련된 정보를 포함하는 V2X 데이터 셋, 객체와 관련된 정보(예를 들어, 객체의 프로필 정보, 무선 통신 연결 신호 세기, 배터리 레벨, 이동 속도 등) 등을 빠르게 제공할 수 있다.
통신부(2100)에 포함되는 이동 통신 모듈은 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 원거리에 위치하는 다른 장치(예를 들어, 전자 장치(1000))와 통신을 수행할 수 있다. 여기서, 원거리에 위치하는 다른 장치와 통신을 수행하는 통신 모듈을 '원거리 통신 모듈'이라 칭할 수 있다. 일 실시예에서, 통신부(2100)는 전자 장치(1000)의 통신 인터페이스(1200)와 유선 또는 무선으로 데이터를 송수신할 수 있다.
프로세서(2200)는 서버(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2200)는, 서버(2000)의 적어도 하나의 인스트럭션(instructions), 및 프로그램들 중 적어도 하나를 실행함으로써, 요구되는 동작들을 수행할 수 있다.
데이터베이스(2300)는 메모리(미도시)를 포함할 수 있으며, 메모리(미도시) 내에 서버(2000)가 소정 동작을 수행하기 위해서 필요한 적어도 하나의 인스트럭션, 프로그램, 데이터 중 적어도 하나를 저장할 수 있다. 또한, 데이터베이스(2300)는 서버(2000)가 신경망에 따른 연산을 수행하기 위해서 필요한 데이터들을 저장할 수 있다.
개시된 실시예에서, 서버(2000)는 도 15에서 설명한 신경망(150)을 저장하고 있을 수 있다. 신경망(150)은 프로세서(2200) 및 데이터베이스(2300) 중 적어도 하나에 저장될 수 있다. 서버(2000)가 포함하는 신경망(150)은 학습이 완료된 신경망이 될 수 있다.
또한, 서버(2000)는 학습이 완료된 신경망을 통신부(2100)를 통하여 전자 장치(1000)의 통신 인터페이스(1200)로 전송할 수 있다. 그러면, 전자 장치(1000)는 학습이 완료된 신경망을 획득 및 저장하고, 신경망을 통하여 목적하는 출력 데이터를 획득할 수 있다.
본 개시는 차량에 탑재된 전자 장치(1000)를 제공한다. 본 개시의 일 실시예에 따른 전자 장치(1000)는 통신 인터페이스,사용자 입력부, 디스플레이부(1600), 상기 차량에 탑재되고 상기 차량의 주변 환경을 촬영함으로써 주변 환경 이미지를 획득하는 카메라(1100), 적어도 하나의 명령어들(instructions)을 저장하는 메모리(1400), 및 상기 메모리(1400)에 저장된 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서(1300)를 포함할 수 있다. 상기 적어도 하나의 프로세서(1300)는 객체 인식 모델을 이용하여 상기 주변 환경 이미지로부터 적어도 하나의 객체를 인식할 수 있다. 상기 적어도 하나의 프로세서(1300)는 상기 통신 인터페이스를 통해, 상기 적어도 하나의 객체에 관한 정보를 포함하는 V2X 데이터 셋을 수신할 수 있다. 상기 적어도 하나의 프로세서(1300)는 상기 사용자 입력부를 통해 수신된 사용자 입력에 기초하여, 상기 인식된 적어도 하나의 객체 중 제1 객체를 선택할 수 있다. 상기 적어도 하나의 프로세서(1300)는 상기 주변 환경 이미지에 기초하여 판단된 인식 결과 및 상기 수신된 V2X 데이터 셋을 이용하여, 상기 제1 객체의 타입(type)에 관한 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서(1300)는 상기 제1 객체의 타입에 관한 정보에 기초하여, 상기 제1 객체와 무선 통신 연결을 위한 UI(User Interface)를 상기 디스플레이부(1600) 상에 디스플레이할 수 있다. 상기 UI는 상기 제1 객체의 타입에 기초하여 결정된 기능 또는 동작을 수행하기 위하여 선택 가능한 메뉴 UI를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1300)는 상기 적어도 하나의 명령어들을 실행함으로써, 상기 선택된 제1 객체와의 무선 통신의 연결 전, 연결 중, 및 연결 후에 따라 상기 UI를 각각 다른 컬러 및 형태로 디스플레이하도록 상기 디스플레이부(1600)를 제어할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1300)는 상기 적어도 하나의 명령어들을 실행함으로써, 상기 적어도 하나의 객체의 타입에 따라 상기 주변 환경 이미지에 포함된 상기 적어도 하나의 객체에 대응되는 이미지를 서로 다른 컬러로 디스플레이하도록 상기 디스플레이부(1600)를 제어할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1300)는 상기 적어도 하나의 명령어들을 실행함으로써, 상기 제1 객체의 프로필 정보, 무선 통신 연결 신호 세기, 배터리 레벨, 및 이동 속도 중 적어도 하나를 포함하는 객체 정보 UI를 디스플레이하도록 상기 디스플레이부(1600)를 제어할 수 있다. 상기 객체 정보 UI는 문자, 숫자, 기호, 및/또는 아이콘을 포함할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1300)는 상기 적어도 하나의 명령어들을 실행함으로써, 상기 주변 환경 이미지 상에 상기 제1 객체에 대응되는 이미지를 둘러싸는 아이콘 또는 기호로 구성된 포커싱 UI(Focusing UI)를 디스플레이하도록 상기 디스플레이부(1600)를 제어할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1300)는 상기 적어도 하나의 명령어들을 실행함으로써, 상기 제1 객체를 둘러싸는 상기 포커싱 UI를 상기 제1 객체의 이동 속도에 따라 서로 다른 컬러로 디스플레이하도록 상기 디스플레이부(1600)를 제어할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1300)는 상기 적어도 하나의 명령어들을 실행함으로써, 상기 통신 인터페이스를 통해 상기 제1 객체로부터 광고 영상 또는 소개 영상을 포함하는 컨텐트 영상을 수신하고, 상기 수신된 컨텐트 영상을 디스플레이하도록 상기 디스플레이부(1600)를 제어할 수 있다. 상기 UI는 상기 컨텐트 영상이 디스플레이된 이후에 디스플레이될 수 있다.
본 개시의 일 실시예에서, 상기 디스플레이부(1600)는 상기 차량의 증강 현실 HUD(Head Up Display), 상기 차량의 윈드 쉴드 상에 형성되는 투명 디스플레이, 상기 차량의 CID(Center Information Display), 상기 차량의 네비게이션 장치, 또는 계기판 디스플레이일 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1300)는 상기 적어도 하나의 명령어들을 실행함으로써, 상기 주변 환경 이미지로부터 상기 제1 객체의 번호판 정보, 위치 정보, 타입 정보, 및/또는 예측 속도 정보를 획득하고, 상기 획득된 정보와 상기 수신된 V2X 데이터 셋에 포함된 정보를 매칭하며, 매칭 결과에 기초하여 상기 V2X 데이터 셋으로부터 상기 제1 객체의 식별 정보 및 타입 정보를 추출할 수 있다.
본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서(1300)는 상기 적어도 하나의 명령어들을 실행함으로써, 상기 추출된 식별 정보를 이용하여, 상기 제1 객체와 무선 통신 연결을 수행하도록 상기 통신 인터페이스를 제어할 수 있다.
본 개시는 차량에 탑재된 전자 장치(1000)의 동작 방법을 제공한다. 본 개시의 일 실시예는 전자 장치(1000)의 동작 방법은 차량 전방에 탑재된 카메라(1100)를 이용하여 상기 차량의 주변을 촬영함으로써, 주변 환경 이미지를 획득하는 단계(S310)를 포함할 수 있다. 상기 전자 장치(1000)의 동작 방법은 인공지능 모델을 이용하여, 상기 주변 환경 이미지로부터 적어도 하나의 객체를 인식하는 단계(S320)를 포함할 수 있다. 상기 전자 장치(1000)의 동작 방법은 상기 적어도 하나의 객체와 관련된 정보를 포함하는 V2X 데이터 셋(V2X data set)을 수신하는 단계(S330)를 포함할 수 있다. 상기 전자 장치(1000)의 동작 방법은 사용자 입력에 기초하여 상기 인식된 적어도 하나의 객체 중 제1 객체를 선택하는 단계(S340)를 포함할 수 있다. 상기 전자 장치(1000)의 동작 방법은 상기 주변 환경 이미지에 기초하여 판단된 인식 결과 및 상기 수신된 V2X 데이터 셋을 이용하여, 상기 선택된 제1 객체의 타입(type)에 관한 정보를 획득하는 단계(S350)를 포함할 수 있다. 상기 전자 장치(1000)의 동작 방법은 상기 제1 객체의 타입에 관한 정보에 기초하여, 상기 제1 객체와 무선 통신 연결을 위한 UI(User Interface)를 디스플레이하는 단계(S360)를 포함할 수 있다. 상기 UI는 상기 제1 객체의 타입에 기초하여 결정된 기능 또는 동작을 수행하기 위하여 선택 가능한 메뉴 UI를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 UI를 디스플레이하는 단계(S360)는 상기 선택된 제1 객체와의 무선 통신의 연결 전, 연결 중, 및 연결 후에 따라 상기 UI를 각각 다른 컬러 및 형태로 디스플레이하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에서, 상기 UI를 디스플레이하는 단계(S360)는 상기 적어도 하나의 객체의 타입에 따라 상기 주변 환경 이미지에 포함된 상기 적어도 하나의 객체에 대응되는 이미지를 서로 다른 컬러로 디스플레이하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에서, 상기 UI를 디스플레이하는 단계(S360)는 상기 제1 객체의 프로필 정보, 무선 통신 연결 신호 세기, 배터리 레벨, 및 이동 속도 중 적어도 하나를 포함하는 객체 정보 UI를 디스플레이하는 단계를 더 포함할 수 있다. 상기 객체 정보 UI는 문자, 숫자, 기호, 또는 아이콘을 포함할 수 있다.
본 개시의 일 실시예에서, 상기 UI를 디스플레이하는 단계(S360)는 상기 주변 환경 이미지 상에 상기 제1 객체에 대응되는 이미지를 둘러싸는 아이콘 또는 기호로 구성된 포커싱 UI(Focusing UI)를 디스플레이하는 단계를 포함할 수 있다.
본 개시의 일 실시예에서, 상기 포커싱 UI를 디스플레이하는 단계는 상기 제1 객체를 둘러싸는 상기 포커싱 UI를 상기 제1 객체의 이동 속도에 따라 서로 다른 컬러로 디스플레이하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에서, 상기 전자 장치(1000)의 동작 방법은 상기 제1 객체로부터 수신된 광고 컨텐트 또는 소개 영상을 디스플레이하는 단계를 더 포함하고, 상기 UI를 디스플레이하는 단계(S360)는 상기 광고 컨텐트 또는 소개 영상이 디스플레이된 이후에 수행될 수 있다.
본 개시의 일 실시예에서, 상기 전자 장치(1000)의 디스플레이부(1600)는 상기 차량의 증강 현실 HUD(Head Up Display), 상기 차량의 윈드 쉴드 상에 형성되는 투명 디스플레이, 상기 차량의 CID(Center Information Display), 상기 차량의 네비게이션 장치, 또는 계기판 디스플레이일 수 있다.
본 개시의 일 실시예에서, 상기 제1 객체의 타입에 관한 정보를 획득하는 단계는, 상기 주변 환경 이미지로부터 상기 제1 객체의 번호판 정보, 위치 정보, 타입 정보, 및/또는 예측 속도 정보를 획득하는 단계, 상기 획득된 정보와 상기 수신된 V2X 데이터 셋에 포함된 정보를 매칭하는 단계, 및 매칭 결과에 기초하여, 상기 V2X 데이터 셋으로부터 상기 제1 객체의 식별 정보 및 타입 정보를 추출하는 단계를 포함할 수 있다.
본 개시는 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)를 제공한다. 상기 컴퓨터 프로그램 제품은 카메라를 이용하여 차량의 주변을 촬영함으로써, 주변 환경 이미지를 획득하는 동작에 관한 명령어들(instructions)을 포함할 수 있다. 상기 컴퓨터 프로그램 제품은 인공지능 모델을 이용하여, 상기 주변 환경 이미지로부터 적어도 하나의 객체를 인식하는 동작에 관한 명령어들을 포함할 수 있다. 상기 컴퓨터 프로그램 제품은 상기 적어도 하나의 객체와 관련된 정보를 포함하는 V2X 데이터 셋(V2X data set)을 수신하는 동작에 관한 명령어들을 포함할 수 있다. 상기 컴퓨터 프로그램 제품은 사용자 입력에 기초하여 상기 인식된 적어도 하나의 객체 중 제1 객체를 선택하는 동작에 관한 명령어들을 포함할 수 있다. 상기 컴퓨터 프로그램 제품은 상기 주변 환경 이미지에 기초하여 판단된 인식 결과 및 상기 수신된 V2X 데이터 셋을 이용하여, 상기 선택된 제1 객체의 타입(type)에 관한 정보를 획득하는 동작에 관한 명령어들을 포함할 수 있다. 상기 컴퓨터 프로그램 제품은 상기 제1 객체의 타입에 관한 정보에 기초하여, 상기 제1 객체와 무선 통신 연결을 위한 UI(User Interface)를 디스플레이하는 동작에 관련된 명령어들을 포함할 수 있다.
본 명세서에서 설명된 전자 장치(1000)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예를 들어, 삼성 갤럭시 스토어TM, 구글 플레이 스토어TM, 앱 스토어TM)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 차량 또는 전자 장치(1000)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 전자 장치(1000), 서버(2000, 도 16 및 도 17 참조), 및 타 전자 장치로 구성되는 시스템에서, 서버(2000)의 저장매체 또는 전자 장치의 저장매체를 포함할 수 있다. 또는, 전자 장치(1000)와 통신 연결되는 제3 장치(예를 들어, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 전자 장치(1000)로부터 전자 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 전자 장치로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 전자 장치(1000), 전자 장치, 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 전자 장치(1000), 전자 장치, 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 전자 장치(1000)가 메모리(1400, 도 2 참조)에 저장된 컴퓨터 프로그램 제품을 실행하여, 전자 장치(1000)와 통신 연결된 타 전자 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 전자 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 전자 장치(1000)로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드(pre-load)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
본 개시의 전술한 실시예 중 일부는 하드웨어, 펌웨어 또는 CD-ROM, DVD(Digital Versatile Disc), 자기 테이프, RAM, 플로피 디스크, 하드 디스크, 또는 네트워크를 통해 다운로드된 광 자기 디스크 또는 원격 기록 매체(remote recording medium)로부터 네트워크를 통해 다운로드된 컴퓨터 코드, 또는 비일시적인 기계에 의해 판독가능한 매체(non-transitory machine readable medium) 및 로컬 기록 매체에 저장되고, 범용 컴퓨터, 또는 특수 프로세서(special processor)를 사용하여 기록 매체에 저장된 소프트웨어를 통해 또는 ASIC 또는 FPGA와 같은 프로그래밍 가능 또는 전용 하드웨어를 통해 렌더링될 수 있다. 당해 기술 분야에서 이해되는 바와 같이, 컴퓨터, 프로세서, 마이크로프로세서 컨트롤러 또는 프로그램 가능한 하드웨어는 메모리 구성요소, 예를 들어 RAM, ROM, 플래시 등을 포함하며, 이는 액세스 및 실행될 때 소프트웨어 또는 컴퓨터 코드를 저장하거나 수신할 수 있다.

Claims (15)

  1. 차량에 탑재된 전자 장치에 있어서,
    통신 인터페이스;
    사용자 입력부;
    디스플레이부;
    상기 차량에 탑재되고, 상기 차량의 주변 환경을 촬영함으로써 주변 환경 이미지를 획득하는 카메라;
    적어도 하나의 명령어들(instructions)을 저장하는 메모리; 및
    상기 메모리에 저장된 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서;
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    객체 인식 모델을 이용하여 상기 주변 환경 이미지로부터 적어도 하나의 객체를 인식하고,
    상기 통신 인터페이스를 통해, 상기 적어도 하나의 객체에 관한 정보를 포함하는 V2X 데이터 셋을 수신하고,
    상기 사용자 입력부를 통해 수신된 사용자 입력에 기초하여, 상기 인식된 적어도 하나의 객체 중 제1 객체를 선택하고,
    상기 주변 환경 이미지에 기초하여 판단된 인식 결과 및 상기 수신된 V2X 데이터 셋을 이용하여, 상기 제1 객체의 타입(type)에 관한 정보를 획득하고,
    상기 제1 객체의 타입에 관한 정보에 기초하여, 상기 제1 객체와 무선 통신 연결을 위한 UI(User Interface)를 상기 디스플레이부 상에 디스플레이하고,
    상기 UI는 상기 제1 객체의 타입에 기초하여 결정된 기능 또는 동작을 수행하기 위하여 선택 가능한 메뉴 UI를 포함하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행함으로써,
    상기 적어도 하나의 객체의 타입에 따라 상기 주변 환경 이미지에 포함된 상기 적어도 하나의 객체에 대응되는 이미지를 서로 다른 컬러로 디스플레이하도록 상기 디스플레이부를 제어하는, 전자 장치.
  3. 제1 항에 있어서,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행함으로써,
    상기 제1 객체의 프로필 정보, 무선 통신 연결 신호 세기, 배터리 레벨, 및 이동 속도 중 적어도 하나를 포함하는 객체 정보 UI를 디스플레이하도록 상기 디스플레이부를 제어하고, 상기 객체 정보 UI는 문자, 숫자, 기호, 및/또는 아이콘을 포함하는, 전자 장치.
  4. 제1 항에 있어서,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행함으로써,
    상기 주변 환경 이미지 상에 상기 제1 객체에 대응되는 이미지를 둘러싸는 아이콘 또는 기호로 구성된 포커싱 UI(Focusing UI)를 디스플레이하도록 상기 디스플레이부를 제어하는, 전자 장치.
  5. 제4 항에 있어서,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행함으로써,
    상기 제1 객체를 둘러싸는 상기 포커싱 UI를 상기 제1 객체의 이동 속도에 따라 서로 다른 컬러로 디스플레이하도록 상기 디스플레이부를 제어하는, 전자 장치.
  6. 제1 항에 있어서,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행함으로써,
    상기 통신 인터페이스를 통해 상기 제1 객체로부터 광고 영상 또는 소개 영상을 포함하는 컨텐트 영상을 수신하고,
    상기 수신된 컨텐트 영상을 디스플레이하도록 상기 디스플레이부를 제어하고,
    상기 UI는 상기 컨텐트 영상이 디스플레이된 이후에 디스플레이되는, 전자 장치.
  7. 제1 항에 있어서,
    상기 프로세서는 상기 적어도 하나의 명령어들을 실행함으로써,
    상기 주변 환경 이미지로부터 상기 제1 객체의 번호판 정보, 위치 정보, 타입 정보, 및/또는 예측 속도 정보를 획득하고,
    상기 획득된 정보와 상기 수신된 V2X 데이터 셋에 포함된 정보를 매칭하고,
    매칭 결과에 기초하여, 상기 V2X 데이터 셋으로부터 상기 제1 객체의 식별 정보 및 타입 정보를 추출하는, 전자 장치.
  8. 차량에 탑재된 전자 장치의 동작 방법에 있어서,
    차량 전방에 탑재된 카메라를 이용하여 상기 차량의 주변을 촬영함으로써, 주변 환경 이미지를 획득하는 단계;
    인공지능 모델을 이용하여, 상기 주변 환경 이미지로부터 적어도 하나의 객체를 인식하는 단계;
    상기 적어도 하나의 객체와 관련된 정보를 포함하는 V2X 데이터 셋(V2X data set)을 수신하는 단계;
    사용자 입력에 기초하여, 상기 인식된 적어도 하나의 객체 중 제1 객체를 선택하는 단계;
    상기 주변 환경 이미지에 기초하여 판단된 인식 결과 및 상기 수신된 V2X 데이터 셋을 이용하여, 상기 선택된 제1 객체의 타입(type)에 관한 정보를 획득하는 단계; 및
    상기 제1 객체의 타입에 관한 정보에 기초하여, 상기 제1 객체와 무선 통신 연결을 위한 UI(User Interface)를 디스플레이하는 단계;
    를 포함하고,
    상기 UI는 상기 제1 객체의 타입에 기초하여 결정된 기능 또는 동작을 수행하기 위하여 선택 가능한 메뉴 UI를 포함하는, 방법.
  9. 제8 항에 있어서,
    상기 UI를 디스플레이하는 단계는,
    상기 적어도 하나의 객체의 타입에 따라 상기 주변 환경 이미지에 포함된 상기 적어도 하나의 객체에 대응되는 이미지를 서로 다른 컬러로 디스플레이하는 단계;
    를 더 포함하는, 방법.
  10. 제8 항에 있어서,
    상기 UI를 디스플레이하는 단계는,
    상기 제1 객체의 프로필 정보, 무선 통신 연결 신호 세기, 배터리 레벨, 및 이동 속도 중 적어도 하나를 포함하는 객체 정보 UI를 디스플레이하는 단계를 더 포함하고, 상기 객체 정보 UI는 문자, 숫자, 기호, 또는 아이콘을 포함하는, 방법.
  11. 제8 항에 있어서,
    상기 UI를 디스플레이하는 단계는,
    상기 주변 환경 이미지 상에 상기 제1 객체에 대응되는 이미지를 둘러싸는 아이콘 또는 기호로 구성된 포커싱 UI(Focusing UI)를 디스플레이하는 단계;
    를 포함하는, 방법.
  12. 제11 항에 있어서,
    상기 포커싱 UI를 디스플레이하는 단계는,
    상기 제1 객체를 둘러싸는 상기 포커싱 UI를 상기 제1 객체의 이동 속도에 따라 서로 다른 컬러로 디스플레이하는 단계;
    를 더 포함하는, 방법.
  13. 제8 항에 있어서,
    상기 제1 객체로부터 수신된 광고 컨텐트 또는 소개 영상을 디스플레이하는 단계;
    를 더 포함하고,
    상기 UI를 디스플레이하는 단계는, 상기 광고 컨텐트 또는 소개 영상이 디스플레이된 이후에 수행되는, 방법.
  14. 제8 항에 있어서,
    상기 제1 객체의 타입에 관한 정보를 획득하는 단계는,
    상기 주변 환경 이미지로부터 상기 제1 객체의 번호판 정보, 위치 정보, 타입 정보, 및/또는 예측 속도 정보를 획득하는 단계;
    상기 획득된 정보와 상기 수신된 V2X 데이터 셋에 포함된 정보를 매칭하는 단계; 및
    매칭 결과에 기초하여, 상기 V2X 데이터 셋으로부터 상기 제1 객체의 식별 정보 및 타입 정보를 추출하는 단계;
    를 포함하는, 방법.
  15. 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)에 있어서,
    상기 저장 매체는,
    카메라를 이용하여 차량의 주변을 촬영함으로써, 주변 환경 이미지를 획득하는 단계;
    인공지능 모델을 이용하여, 상기 주변 환경 이미지로부터 적어도 하나의 객체를 인식하는 단계;
    상기 적어도 하나의 객체와 관련된 정보를 포함하는 V2X 데이터 셋(V2X data set)을 수신하는 단계;
    사용자 입력에 기초하여, 상기 인식된 적어도 하나의 객체 중 제1 객체를 선택하는 단계;
    상기 주변 환경 이미지에 기초하여 판단된 인식 결과 및 상기 수신된 V2X 데이터 셋을 이용하여, 상기 선택된 제1 객체의 타입(type)에 관한 정보를 획득하는 단계; 및
    상기 제1 객체의 타입에 관한 정보에 기초하여, 상기 제1 객체와 무선 통신 연결을 위한 UI(User Interface)를 디스플레이하는 단계;
    를 수행하기 위하여 상기 전자 장치가 읽을 수 있는 명령어들(instructions)을 포함하는, 컴퓨터 프로그램 제품.
PCT/KR2022/012285 2021-10-20 2022-08-17 차량에 탑재된 전자 장치 및 그 동작 방법 WO2023068512A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/953,431 US20230120933A1 (en) 2021-10-20 2022-09-27 Electronic device mounted on vehicle and operating method of the electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210140487A KR20230056856A (ko) 2021-10-20 2021-10-20 차량에 탑재된 전자 장치 및 그 동작 방법
KR10-2021-0140487 2021-10-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/953,431 Continuation US20230120933A1 (en) 2021-10-20 2022-09-27 Electronic device mounted on vehicle and operating method of the electronic device

Publications (1)

Publication Number Publication Date
WO2023068512A1 true WO2023068512A1 (ko) 2023-04-27

Family

ID=86059352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/012285 WO2023068512A1 (ko) 2021-10-20 2022-08-17 차량에 탑재된 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20230056856A (ko)
WO (1) WO2023068512A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009026003A (ja) * 2007-07-18 2009-02-05 Denso Corp 運転支援システム
KR101708657B1 (ko) * 2015-09-01 2017-02-21 엘지전자 주식회사 차량 및 그 제어방법
US20180149491A1 (en) * 2015-05-20 2018-05-31 Shuichi Tayama Automobile periphery information display system
KR20200067645A (ko) * 2018-12-04 2020-06-12 현대자동차주식회사 쉐어링 차량의 증강 이미지 제공 장치 및 방법
KR20200075913A (ko) * 2018-12-07 2020-06-29 현대자동차주식회사 차량의 군집 주행을 위한 사용자 인터페이스 제공 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009026003A (ja) * 2007-07-18 2009-02-05 Denso Corp 運転支援システム
US20180149491A1 (en) * 2015-05-20 2018-05-31 Shuichi Tayama Automobile periphery information display system
KR101708657B1 (ko) * 2015-09-01 2017-02-21 엘지전자 주식회사 차량 및 그 제어방법
KR20200067645A (ko) * 2018-12-04 2020-06-12 현대자동차주식회사 쉐어링 차량의 증강 이미지 제공 장치 및 방법
KR20200075913A (ko) * 2018-12-07 2020-06-29 현대자동차주식회사 차량의 군집 주행을 위한 사용자 인터페이스 제공 장치 및 방법

Also Published As

Publication number Publication date
KR20230056856A (ko) 2023-04-28

Similar Documents

Publication Publication Date Title
WO2018212538A1 (en) Electronic device and method of detecting driving event of vehicle
WO2020071683A1 (ko) 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
EP3602497A1 (en) Electronic device and method of detecting driving event of vehicle
WO2020036419A1 (en) Method of assisting autonomous vehicle, and apparatus therefor
WO2020085694A1 (ko) 이미지 획득 장치 및 그의 제어 방법
WO2019027141A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE OPERATION OF A VEHICLE
WO2020231153A1 (en) Electronic device and method for assisting with driving of vehicle
WO2018110964A1 (en) Electronic device and method for recognizing object by using plurality of sensors
WO2014035148A1 (en) Information providing method and information providing vehicle therefor
WO2018182153A1 (ko) 입력 영상에 포함된 객체를 인식하는 디바이스 및 방법
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2018182275A1 (en) Method and device for controlling driving based on sensing information
WO2019059505A1 (ko) 객체를 인식하는 방법 및 장치
CN110543850B (zh) 目标检测方法及装置、神经网络训练方法及装置
WO2019059725A1 (en) METHOD AND DEVICE FOR PROVIDING SERVICE OF INCREASED REALITY
WO2019172645A1 (ko) 차량의 주행을 보조하는 전자 장치 및 방법
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2020171561A1 (en) Electronic apparatus and controlling method thereof
WO2020226343A1 (en) Electronic device and method for assisting with driving of vehicle
WO2020241919A1 (ko) 인공지능 기반의 세탁물 데이터 분석 장치
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2023120831A1 (ko) 비식별 처리 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2018135745A1 (ko) 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
WO2021215547A1 (ko) 스마트 홈 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22883740

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022883740

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022883740

Country of ref document: EP

Effective date: 20240321