WO2022270731A1 - 차량에 탑재된 전자 장치 및 그 동작 방법 - Google Patents

차량에 탑재된 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2022270731A1
WO2022270731A1 PCT/KR2022/005406 KR2022005406W WO2022270731A1 WO 2022270731 A1 WO2022270731 A1 WO 2022270731A1 KR 2022005406 W KR2022005406 W KR 2022005406W WO 2022270731 A1 WO2022270731 A1 WO 2022270731A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information
voice command
electronic device
display
Prior art date
Application number
PCT/KR2022/005406
Other languages
English (en)
French (fr)
Inventor
정민수
강현우
김태준
최종희
이웅
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/748,128 priority Critical patent/US20220415321A1/en
Publication of WO2022270731A1 publication Critical patent/WO2022270731A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/437—Administration of user profiles, e.g. generation, initialisation, adaptation, distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed

Definitions

  • the present disclosure relates to vehicular electronic devices, and more particularly to customized voice recognition for vehicular electronic devices including display screens.
  • the vehicle voice recognition function receives voice input from the driver to execute vehicle functions, detects a general voice agent included in the vehicle, and the state of the display screen and the situation in the vehicle, and provides a list of available voice recognition functions. It can be divided into sub-functions such as voice access application.
  • the driver may utter a voice command such as "Play the next song”.
  • the vehicle may fail to determine if the voice command is related to a music application and may not differentiate between moving to the next song in the current playlist or searching for a song titled “next song”. So, the in-vehicle electronics say “Did you mean play the next song in the playlist in the music application?"
  • An inquiry message for detecting parameter information related to the driver's voice command may be output. The driver has to utter an additional voice command in response to the inquiry message, such as “Okay. Play the next song in the music application.”
  • the driver's interaction with the driver increases, so the driver's fatigue may increase, and the driver's attention is dispersed, thereby increasing the risk of an accident. Also, due to cumbersomeness, the driver may not be able to utilize the voice recognition function.
  • voice access applications that include the display of a list of voice commands require the display of multiple pieces of information, which can lead to distracted driving.
  • the information displayed here further displays the entire command list and does not take into account the user, driver, occupant, environment and context to selectively display the information.
  • the present disclosure provides vehicles and electronic devices that reduce the requisite quantity of interactions between a driver and an electronic device for voice recognition.
  • the present disclosure increases the accuracy of voice recognition by visually displaying voice commands for functions of an electronic device or vehicle and providing more guides for user interface (UI) interactions.
  • UI user interface
  • an embodiment of the present disclosure provides an electronic device mounted on a vehicle.
  • the electronic device includes a display unit, a memory for storing voice commands executable by voice input for executing one or more functions of the vehicle or electronic device, and a processor configured to execute the one or more commands.
  • the processor acquires at least one of vehicle driving information, occupant information, and display output information, and performs at least one voice command based on at least one of the obtained vehicle driving information, occupant information, and display output information.
  • the display unit may be controlled to generate at least one simplified command, and display at least one voice command guide user interface (UI) displaying the at least one shortcut command.
  • UI voice command guide user interface
  • the processor obtains user identification information and usage history information of the occupant, obtains application information frequently used by the occupant from the user identification information and usage history information, and obtains the obtained user identification information and usage history information.
  • the at least one shortened command may be generated by simplifying a command for executing a function of a frequently used application.
  • the processor recognizes a function indicated by at least one graphic UI (GUI) output on the display unit from the display output information, and converts the recognized function into a natural language, so that the at least one GUI
  • GUI graphic UI
  • the processor may control the display unit to display the at least one voice command guide UI at a position adjacent to at least one graphic UI representing a function corresponding to each of the at least one voice command guide UI. .
  • the display unit includes a plurality of displays corresponding to seats included in the vehicle, and the processor receives a user input for activating a voice recognition function from a passenger in the vehicle, and the user input
  • the display unit may be controlled to activate a voice recognition function of a display corresponding to a boarding seat in which the passenger boarded among the plurality of displays, and to display the at least one voice command guide UI on the display.
  • the processor determines a safe speed based on information about the current location, driving road, and driving speed of the vehicle included in the vehicle driving information, and the vehicle driving information, the occupant information, and the display
  • a weight of the voice command guide UI may be determined based on at least one of output information and the determined safe speed, and whether to display the voice command guide UI, a display location, and a display size may be determined based on the determined weight.
  • the processor recognizes whether the driving speed of the vehicle is equal to or greater than the safe speed from the driving information of the vehicle, and based on the recognition result of the driving speed of the vehicle, performs a function related to driving of the vehicle. Weights of at least one first voice command guide UI to be executed and weights of at least one second voice command guide UI to execute convenience functions not related to driving of the vehicle may be adjusted.
  • the processor executes a function for removing the pop-up message on the display unit when a pop-up message overlaying a graphic UI displayed on the display unit is output.
  • the weight of the voice command guide UI can be adjusted.
  • the processor determines an area where the at least one voice command guide UI is displayed on the display unit based on the distance between the occupant's position and the display unit, and the at least one voice command guide UI is displayed in the determined area.
  • the display unit may be controlled to display a command guide UI.
  • the electronic device further includes a microphone for receiving a voice input uttered by a passenger, and the processor is configured to transmit the voice input received through the microphone and the at least one voice command guide UI.
  • the processor is configured to transmit the voice input received through the microphone and the at least one voice command guide UI.
  • an embodiment of the present disclosure provides a method of operating an electronic device mounted in a vehicle.
  • the method may include storing a voice command executable by voice input in a memory in order to execute one or more functions of a vehicle or an electronic device, obtaining at least one of vehicle driving information, occupant information, and display output information.
  • generating at least one shortened command by simplifying at least one voice command based on at least one of the obtained vehicle driving information, occupant information, and display output information;
  • the method may include displaying at least one voice command guide user interface (UI) displaying a shortened command.
  • UI voice command guide user interface
  • the acquiring of the at least one piece of information may include acquiring user identification information and usage history information of the passenger, and a frequently used information of the passenger from the user identification information and usage history information.
  • the method includes obtaining application information, and in the generating of the at least one short command, the electronic device generates the at least one short command by simplifying a command for executing a function of the frequently used application. can do.
  • the acquiring of the at least one information includes recognizing, by the electronic device, a function indicated by at least one graphic UI (GUI) output on a display unit, and the at least one short command
  • the generating may include generating the at least one short command corresponding to each of the at least one GUI by converting the recognized function into a natural language.
  • the electronic device in the displaying of the at least one voice command guide UI, converts the at least one voice command guide UI to at least one graphic representing a function corresponding to each of the at least one voice command guide UI. Each can be displayed at an adjacent location of the UI.
  • the electronic device includes a plurality of displays corresponding to each of a driver's seat, a front passenger's seat, and a rear seat included in the vehicle, and the displaying of the at least one voice command guide UI may include displaying the driver's seat, the passenger's seat, and the rear seat.
  • a driver's seat, a front passenger's seat, and a passenger's seat among the rear seats are selected from among the plurality of displays.
  • the method may include activating a voice recognition function of a corresponding display, and displaying the at least one voice command guide UI on the display.
  • the method further comprises determining a safe speed based on information about a current location, driving road, and driving speed of the vehicle included in the vehicle driving information, wherein the at least one voice command
  • the displaying of the guide UI may include determining a weight of each of the at least one voice command guide UI based on at least one of the vehicle driving information, the occupant information, the display output information, and the determined safe speed; Determining whether to display, display position, and size of the at least one voice command guide UI based on a weight, and displaying the at least one voice command guide UI according to the determined number, position, and size.
  • the acquiring of the at least one piece of information includes recognizing whether the driving speed of the vehicle is equal to or greater than the safe speed from the driving information of the vehicle, and the weight of the at least one voice command guide UI.
  • the electronic device determines the weight of at least one first voice command guide UI for executing a function related to driving of the vehicle and driving of the vehicle based on a result of recognizing the traveling speed of the vehicle.
  • a weight of at least one second voice command guide UI for executing an unrelated convenience function may be adjusted.
  • the electronic device when a pop-up message overlaying a graphic UI displayed on the display unit is output in the step of determining the weight of the at least one voice command guide UI, the electronic device A weight of a voice command guide UI that executes a function for removing the pop-up message on the display unit may be adjusted.
  • the acquiring of the at least one piece of information includes acquiring information about the boarding position of the passenger, and the displaying of the at least one voice command guide UI corresponds to the boarding position information of the passenger. determining an area where the at least one voice command guide UI is displayed on the display unit based on a distance between the occupant and the display unit, and displaying the at least one voice command guide UI in the determined area. steps may be included.
  • another embodiment of the present disclosure provides a computer-readable recording medium recording a program for execution on a computer.
  • FIG. 1 is a conceptual diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI.
  • FIG. 2 is a block diagram illustrating components of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating an electronic device and a vehicle sensor module according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a method of operating an electronic device according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI.
  • FIG. 6 is a diagram illustrating an embodiment in which the electronic device of the present disclosure generates shortcut commands related to functions of frequently used applications according to user identification information.
  • FIG. 7 is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI on a display unit in which a voice recognition function is activated by a user among a plurality of display units.
  • FIG. 8 is a flowchart illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI.
  • 9A is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI according to driving speed.
  • 9B is a diagram illustrating an embodiment in which the electronic device of the present disclosure displays a voice command guide UI according to driving speed.
  • FIG. 10 is a flowchart illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI based on a driving speed and a safe speed.
  • FIG. 11 is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI related to a pop-up message.
  • FIG. 12 is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI on a partial area on a display unit.
  • FIG. 13 is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI through a Head Up Display (HUD).
  • HUD Head Up Display
  • FIG. 14 is a flowchart illustrating an embodiment in which an electronic device of the present disclosure performs a voice recognition function.
  • 15 is a diagram for explaining an operation performed by an electronic device of the present disclosure using artificial intelligence technology.
  • 16 is a diagram illustrating a disclosed embodiment in which an electronic device of the present disclosure operates in association with a server.
  • FIG. 17 is a diagram for explaining FIG. 16 in detail.
  • a processor configured (or configured) to perform A, B, and C may include a dedicated processor (e.g., an embedded processor) to perform those operations, or by executing one or more software programs stored in memory; It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • a dedicated processor e.g., an embedded processor
  • It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • 'vehicle' refers to all types of vehicles driving on the road, and particularly refers to vehicles equipped with electronic devices.
  • 'voice input' refers to an input uttered by at least one of a driver, a front passenger seat passenger, or a rear seat passenger riding in a vehicle and received through a voice input unit (eg, microphone) of an electronic device. .
  • a voice input unit eg, microphone
  • a 'voice command' is a voice input uttered by a passenger, and means a command for executing a function and/or operation of a vehicle or electronic device.
  • the voice command may be, for example, “tell me the moving route to ⁇ (destination)” or “play the next song”.
  • a 'shortened command' refers to a shortened command generated by extracting only keywords of commands for executing functions and/or operations of a vehicle or electronic device.
  • a shortcut command may be 'destination' when a navigation application wants to know a moving route to a destination, and a shortcut command may be 'next song' when listening to the next song in a music application.
  • a 'shortened command list' is a list including at least one short command.
  • FIG. 1 is a conceptual diagram illustrating an embodiment in which an electronic device 1000 of the present disclosure displays voice command guide UIs 101, 102, 103, and 104.
  • an electronic device 1000 may be disposed in a vehicle and may include a display unit 1610.
  • the display unit 1610 may include a center information display (CID), but is not limited thereto.
  • the display unit 1610 may include, for example, at least one of a navigation device, an instrument panel display, a head up display (HUD), and a passenger seat display.
  • the electronic device 1000 may display voice command guide UIs 101 , 102 , 103 , and 104 for inducing the utterance of a voice command for executing a function of an application on the display unit 1610 .
  • 'Voice command guide UIs (101, 102, 103, 104)' include UIs displaying voice commands that induce speech of passengers in order to execute functions of the vehicle or electronic device 1000 provided through applications, Can contain letters, numbers, or symbols.
  • the voice command guide UIs 101, 102, 103, and 104 may include a graphic user interface (UI) (eg, a GUI element).
  • UI graphic user interface
  • the voice command guide UIs 101, 102, 103, and 104 may be composed of one or more of them.
  • the electronic device 1000 may display function UIs 111, 112, 113, and 114 that receive a user input for executing a function of an application.
  • the functional UIs 111, 112, 113, and 114 may include at least one of a widget displaying an execution screen of an application, an icon representing a function of the application, or a button UI.
  • the voice command guide UIs 101, 102, 103, and 104 may be arranged and displayed adjacent to the corresponding function UIs 111, 112, 113, and 114.
  • a first voice command guide UI 101 composed of text for receiving a voice command called 'music' is displayed at a location adjacent to the first UI 111 for execution of a music application. It can be.
  • a second voice command guide UI 102 composed of the letters 'previous song' is provided for play (or pause)
  • a third voice command guide UI 103 composed of the character 'play' is located adjacent to the third UI 113, which is a button-type graphic UI for playing the next song, and a fourth UI 114, which is a button-type graphic UI for playing the next song.
  • a fourth voice command guide UI 104 composed of the text 'next song' may be displayed respectively.
  • the voice command guide UIs 101, 102, 103, and 104 provide 'navi', 'zoom in' in addition to the aforementioned 'music', 'previous song', 'play', and 'next song'. ', 'zoom out', 'weather', 'air conditioner', 'temperature up', or 'temperature down' (eg, 123, 124, phone 125 and Adjacent to Favorites (126).
  • the electronic device 1000 may receive a user input for activating a voice recognition function from a driver, and may switch from a standby mode to a voice recognition mode for receiving a voice command according to the received user input.
  • the electronic device 1000 may receive, for example, a button input for executing a voice recognition function or a touch input through a GUI element related to a voice command displayed on the display unit 1610 .
  • the electronic device 1000 may display a voice recognition UI 120 for receiving a voice input.
  • the electronic device 1000 may receive a voice input uttered by a driver through the voice recognition UI 120 .
  • the electronic device 1000 may receive a voice input of 'next song' uttered by a driver.
  • the electronic device 1000 compares the received voice input with the voice command guide UIs 101, 102, 103, and 104 displayed on the display unit 1610, respectively, to obtain the corresponding voice command guide UIs 101, 102, and 103. , 104) can be identified.
  • the electronic device 1000 receives a voice input of 'next song', and among a plurality of voice command guide UIs 101, 102, 103, and 104, the electronic device 1000 corresponds to the received voice input.
  • the voice command guide UI 104 may identify "next song". Accordingly, the electronic device 1000 may execute the 'next song play function', which is a function indicated by the fourth voice command guide UI 104 .
  • the voice recognition agent provided by the vehicle's electronics fails to provide guidance regarding a list of voice commands for an actionable function, whereby the driver or occupant is unable to accept any voice commands. It is not known exactly whether the desired function is executed until it is ignited. Therefore, when the driver utters a specific voice command, the electronic device of the vehicle inquires about parameters required to execute a function corresponding to the utterance, and the driver has to utter the specific parameter according to the inquiry. For example, if the driver wants to play the next song from the current song he is listening to through a music application, the driver can utter a voice command, "Play the next song".
  • the in-vehicle electronic device in relation to the driver's voice command, can accurately determine whether the utterance is related to a music application, refers to the next song of the currently playing song, or whether the song is named 'next song'. does not exist. So, the in-vehicle electronics say, "Are you saying play the next song after the currently playing song in the music application?"
  • An inquiry message for obtaining or confirming parameter information on a driver's voice command, such as, may be output. The driver has to utter an additional voice command in response to the inquiry message, such as “Okay.
  • the electronic device 1000 may display voice command guide UIs 101 , 102 , 103 , and 104 for inducing a voice command to be uttered for each function provided by an application. Accordingly, there is an effect of enabling a driver or passenger to intuitively understand a function to be executed, and improving function recognition and user convenience.
  • the electronic device 1000 of the present disclosure does not require additional parameter information to be uttered in order to execute a function, and utterances matched to voice commands provided through the voice command guide UIs 101, 102, 103, and 104 Since the function is executed according to receiving the , interaction with the electronic device 1000 can be reduced and dispersion of the driver's concentration can be reduced.
  • the display unit 1610 when the display unit 1610 is a large-screen display, or a multi-display including a plurality of display units, or a driver or passenger directly functions through a UI (When it is difficult to touch 111, 112, 113, and 114, a related function may be executed by uttering a voice command displayed on the voice command guide UI (101, 102, 103, 104). Accordingly, a user experience (UX) such as a voice touch may be provided.
  • UX user experience
  • FIG. 2 is a block diagram illustrating components of an electronic device 1000 according to an embodiment of the present disclosure.
  • an electronic device 1000 includes a communication interface 1100, a processor 1200, a memory 1300, a shortcut command database 1400, an input unit 1500 (eg, an input circuit), and an output. unit 1600 (eg, an output circuit).
  • the communication interface 1100, processor 1200, memory 1300, short command database 1400, input unit 1500, and output unit 1600 may be electrically and/or physically connected to each other.
  • Components shown in FIG. 2 are merely according to an embodiment of the present disclosure, and components included in the electronic device 1000 are not limited to those shown in FIG. 2 .
  • the electronic device 1000 may not include some of the components shown in FIG. 2 and may further include components not shown in FIG. 2 .
  • the electronic device 1000 may further include a GPS sensor for obtaining information on the current location of the vehicle or an infrared sensor for recognizing the location of the occupant.
  • the communication interface 1100 is configured to perform data communication with a vehicle sensor module 200 (see FIG. 3), a server, or an external device.
  • the communication interface 1100 may include a CAN communication module 1110 and a data communication module 1120.
  • the CAN (Controller Area Network) communication module 1110 may perform CAN communication with the vehicle sensor module 200 mounted in the vehicle.
  • the CAN communication module 1110 may receive driving-related information including at least one of a current location of the vehicle, a driving road, and a driving speed from the vehicle sensor module 200 through CAN communication.
  • the CAN communication module 1110 may receive information on occupants in the driver's seat, front passenger's seat, and rear seat, respectively, from the seat sensor 230 (see FIG. 3 ) of the vehicle.
  • the CAN communication module 1110 may receive information about the distance between the occupant and the display unit 1610 according to the boarding position of the occupant from the infrared sensor 240 (see FIG. 3 ) of the vehicle.
  • the CAN communication module 1110 may provide the received driving information, occupant information, and distance information between the occupant and the display unit 1610 to the processor 1200 .
  • the vehicle sensor module 200 will be described in detail with reference to FIG. 3 .
  • the data communication module 1120 is configured to perform data communication with a server outside the vehicle or an external device.
  • the data communication module 1120 may include, for example, wireless LAN (WLAN) (Wi-Fi), wireless broadband (Wibro), world interoperability for microwave access (Wimax), or short-range wireless data communication such as Bluetooth, CDMA, Data transmission and reception may be performed using a mobile communication network such as WCDMA, 3G, 4G, and/or 5G, and mmWAVE.
  • the data communication module 1120 may receive traffic information, road information (eg, child protection zone, express road, general road, local national road, etc.), or safe speed information from the server.
  • the data communication module 1120 may receive data necessary for executing an application or data for updating an application from a server.
  • the processor 1200 may execute one or more instructions of a program stored in the memory 1300 .
  • the processor 1200 may be composed of hardware components that perform arithmetic, logic and input/output operations and signal processing.
  • the processor 1200 may include, for example, a central processing unit, a microprocessor, a graphic processing unit, an application processor, application specific integrated circuits (ASICs), and digital DSPs. Signal Processors), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), and Field Programmable Gate Arrays (FPGAs), but is not limited thereto.
  • the processor 1200 may be configured as a dedicated hardware chip that performs artificial intelligence (AI) learning.
  • AI artificial intelligence
  • the processor 1200 may be composed of one or more pieces of hardware.
  • the memory 1300 may be, for example, a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg SD or XD memory). etc.), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), and RAM (Random Access Memory) and non-volatile memory including at least one ) or volatile memory such as SRAM (Static Random Access Memory).
  • Instructions, data structures, and program codes readable by the processor 1200 may be stored in the memory 1300 .
  • the processor 1200 may be implemented by executing program instructions or program codes stored in the memory 1300 .
  • the processor 1200 may obtain at least one of vehicle driving information and occupant information through the CAN communication module 1110 .
  • the processor 1200 may obtain driving information including at least one of the current location of the vehicle, the road being driven, and the driving speed.
  • the processor 1200 may obtain information on passengers who have boarded each of the driver's seat, passenger seat, and rear seat in the vehicle from the CAN communication module 1110 .
  • the processor 1200 may obtain passenger information based on user identification information (user id) input by a passenger in a process of logging in to the electronic device 1000 .
  • the processor 1200 may obtain display output information including information about function UIs 111 , 112 , 113 , and 114 (see FIG. 1 ) being displayed on the display unit 1610 .
  • the processor 1200 performs at least one simplified voice command for executing at least one function provided by the vehicle or the electronic device 1000 based on at least one of the obtained vehicle driving information, occupant information, and display output information. You can create a single short command.
  • the 'shortened command' refers to a simplified command generated by extracting only keywords from voice commands received from a passenger to execute functions and/or operations of the vehicle or electronic device 1000 .
  • Shortcut commands may be one or more plural, each corresponding to one or more functions provided by an application of the vehicle or electronic device 1000 .
  • the processor 1200 may generate a shortened command by simplifying the voice command to include only essential commands for executing a function.
  • the processor 1200 when a voice command for determining a moving route to a destination in a navigation application is "tell me the moving route to the destination", the processor 1200 shortens 'destination', which is a key command for executing a function, among the voice commands. It can be created with command. For another example, when a voice command for playing the next song in a music application is "play the next song", the processor 1200 converts 'next song', which is a key command for executing a function, to a short command among voice commands. can be created with
  • the processor 1200 may recognize a function indicated by the function UI from display output information and generate at least one shortened command respectively corresponding to the function UI by converting the recognized function into a natural language.
  • the processor 1200 may identify each function of the graphic UI related to at least one function being displayed on the display unit 1610 . For example, the processor 1200 obtains function information on each graphic UI by searching for a resource name of a UI Framework in a platform layer of software constituting an application, and converts the acquired function information into natural language. to generate at least one abbreviated command.
  • the processor 1200 analyzes an application programmable interface (API) of an application, obtains information on functions corresponding to each graphic UI, converts the function information into natural language, and generates at least one shortened command. can do.
  • the processor 1200 may recognize a widget or icon included in an execution screen of an application and generate at least one short command for the recognized widget or icon.
  • the processor 1200 identifies function information indicated by a graphic UI including icons or widgets displayed on the display unit 1610 through image processing, and identifies the function. At least one short command may be generated by converting the information into natural language.
  • the processor 1200 may generate a shortened command by simplifying commands for executing an application frequently used by a passenger or a function of the application.
  • the processor 1200 obtains the passenger's usage history information from the passenger's identification information (user id) obtained through a log-in process, and based on the passenger's user identification information and the usage history information, the passenger frequently uses the information. It is possible to obtain application information that The processor 1200 may generate at least one shortened command by extracting only core keywords from commands for executing functions of an application frequently used by the passenger. An embodiment in which the processor 1200 generates at least one short command related to a frequently used application based on the passenger's use history information will be described in detail with reference to FIG. 6 .
  • the short command may be preset for a function of an application or may be determined by an input received from a user.
  • At least one short command may be stored in the short command database 1400 .
  • the processor 1200 may store at least one shortened command along with at least one related function or at least one application information in the shortened command database 1400 in the form of a list.
  • the processor 1200 may display, on the display unit 1610, at least one voice command guide UI that visually represents each of the at least one short command.
  • the 'Voice Command Guide UI' is a UI that displays a voice command that induces the occupant to speak in letters, numbers, or symbols in order to execute a function provided through an application of the vehicle or electronic device 1000 .
  • the voice command guide UI may be a graphic user interface (UI).
  • the voice command guide UI may be configured in one or more plural.
  • the processor 1200 may display each of the at least one voice command guide UI in an area adjacent to the position of the corresponding at least one function UI.
  • the processor 1200 may arrange and display at least one voice command guide UI related to a location separated by a predetermined distance from a location where the at least one function UI is displayed. For example, a first voice command guide UI composed of the text 'music' may be displayed at a location separated by a preset distance from a location where the first UI for execution of a music application is displayed.
  • a second voice command guide UI consisting of the text 'previous song' may be displayed at a location spaced apart from the second UI, which is a button-type graphic UI for playing the previous song, by a preset distance.
  • the processor 1200 displays at least one voice command guide UI will be described in detail with reference to FIG. 5 .
  • the processor 1200 may assign a weight to each of the at least one voice command guide UI, and determine at least one of the number, location, and size of the displayed voice command guide UI based on the weight. In an embodiment, the processor 1200 may determine a weight for at least one voice command guide UI based on at least one of vehicle driving information, occupant information, display output information, and safe speed.
  • the 'safe speed' may be determined based on driving information of the vehicle.
  • the processor 1200 may obtain at least one of a current location of the vehicle, driving road information, and driving speed from vehicle driving information, and determine a safe speed based on the obtained information.
  • the safe speed may be determined by a speed limit determined according to characteristic information of the road being traveled, for example, a child protection area, a highway, or a local road.
  • the safe speed may be a speed lower than the limit speed by a preset value. For example, if the speed limit in a child protection area is 30 km/h, the safe speed may be 25 km/h, and if the speed limit of a highway is 110 km/h, the safe speed may be determined as 100 km/h. However, it is not limited thereto, and the safe speed may be the same speed as the preset limit speed according to the road.
  • the processor 1200 may compare the driving speed of the vehicle and the safe speed, and determine a different weight of at least one voice command guide UI according to the comparison result. In one embodiment, if the driving speed exceeds the safe speed, the processor 1200 determines that the driver needs to concentrate on driving for safety, and provides at least one voice command guide UI for executing functions related to driving. A weight of at least one voice command guide UI may be adjusted to be high, and a weight of at least one voice command guide UI for executing a convenience function other than driving, for example, a function related to music reproduction, may be adjusted to be low.
  • the processor 1200 may set a weight of a voice command guide UI related to a function of a frequently used application higher than that of other voice command guide UIs, based on the passenger's use history information.
  • the processor 1200 determines the weight of a voice command guide UI related to an application executed through an icon or widget displayed on the display unit 1610 and a weight of a voice command guide UI related to another application that is not displayed. It can be set higher.
  • the processor 1200 may display only at least one voice command guide UI having a weight greater than a preset threshold. In another embodiment, the processor 1200 may display at least one voice command guide UI having a relatively high weight in a larger size than at least one voice command guide UI having a relatively low weight. For a specific embodiment in which the processor 1200 compares the driving speed of the vehicle and the safe speed, adjusts the weight of at least one voice command guide UI, and displays the at least one voice command guide UI based on the adjusted weight, FIG. 8 to 10 will be described in detail.
  • the processor 1200 may display at least one voice command guide UI only while the vehicle is driving, and may not display at least one voice command guide UI when the vehicle is stopped or parked.
  • the processor 1200 obtains vehicle speed information from the speed sensor 220 (see FIG. 3) of the vehicle sensor module 200 (see FIG. 3), and the vehicle speed is 0 km/h or a preset threshold. When the speed is less than (eg, 5 km/h), it is determined that the vehicle is parked and stopped, and at least one voice command guide UI may not be displayed according to the determination result.
  • the processor 1200 may display at least one voice command guide UI regardless of the speed of the vehicle.
  • a warning message may be displayed on the display unit 1610 when an event occurs, such as an error occurring in an application, a situation requiring an update, or an accident occurring on a nearby road.
  • the warning message may be displayed by overlaying a function UI or at least one voice command guide UI in the form of a pop-up message.
  • the passenger cannot see the function UI and at least one voice command guide UI displayed on the display unit 1610.
  • the processor 1200 may increase the weight of the voice command guide UI related to the function of removing the pop-up message so that it is not visible on the display unit 1610 .
  • the processor 1200 may set the weight of the voice command guide UI for executing the function of removing the pop-up message to a maximum value higher than the weight of the other at least one voice command guide UI.
  • the processor 1200 sets the weight of the voice command guide UI for removing the pop-up message will be described in detail with reference to FIG. 11 .
  • the processor 1200 may determine an area where at least one voice command guide UI is displayed on the display 1610 based on the distance between the occupant's position and the display 1610 .
  • the processor 1200 may acquire the location information of the occupant from the CAN communication module 1110 or the location information of the occupant through an infrared sensor included in the electronic device 1000 .
  • the processor 1200 may measure the distance between the occupant and the display unit 1610 using location information of the occupant.
  • the display unit 1610 is divided into a plurality of regions, and the processor 1200 may display at least one voice command guide UI only in a region relatively far from a passenger among the plurality of regions.
  • the processor 1200 displays at least one voice command guide UI only on a partial area of the display unit 1610 based on the distance between the passenger and the display unit 1610 will be described in detail with reference to FIG. 12 . do.
  • the processor 1200 receives a voice input spoken by a passenger through the microphone 1520 and compares the received voice input with at least one displayed voice command guide UI to obtain a voice command guide UI that matches the voice input. can be identified.
  • the processor 1200 may identify a short command corresponding to the identified voice command guide UI and control related devices to execute a function corresponding to the short command.
  • the processor 1200 may transmit data related to the voice input to the server when not identifying a voice command guide UI that matches the voice input.
  • a specific embodiment in which the processor 1200 performs a voice recognition function will be described in detail with reference to FIG. 14 .
  • the short command database 1400 is a storage for storing at least one short command.
  • the shortened command database 1400 may be composed of non-volatile memory.
  • Non-volatile memory refers to a storage medium that stores and maintains information even when power is not supplied and can use the stored information again when power is supplied.
  • Non-volatile memory includes, for example, at least one of a flash memory, a hard disk, a solid state drive (SSD), a multimedia card micro type, a magnetic memory, a magnetic disk, or an optical disk. may contain one.
  • the shortcut command database 1400 is illustrated as a component included in the electronic device 1000, but is not limited thereto.
  • the short command database 1400 is implemented in the form of an external memory not included in the electronic device 1000 (for example, SD or XD memory, etc.) or is connected to a wired or wireless network through the data communication module 1120. It may also be implemented as a connected web-based storage medium.
  • the input unit 1500 is configured to receive an input from a passenger in the vehicle (at least one of a driver, a passenger in the passenger seat, and a passenger in a rear seat).
  • the input unit 1500 may include a voice recognition function input unit 1510 and a microphone 1520 .
  • the voice recognition function input unit 1510 is configured to receive a user input for executing a voice recognition function.
  • the voice recognition function input unit 1510 is a hardware button, and may be disposed on a steering wheel of a vehicle or on a dashboard. However, it is not limited thereto, and the voice recognition function input unit 1510 may be a graphic UI displayed on the display unit 1610.
  • the voice recognition function input unit 1510 may not be included in the electronic device 1000 .
  • a voice recognition function may be executed based on the wake-up voice received through the microphone 1520 .
  • the wake-up voice is a voice command for waking up the electronic device 1000 to perform a voice recognition function, and may include, for example, 'Hi Bixby' or 'Okay Google'.
  • the microphone 1520 may receive a voice input uttered by a passenger.
  • the microphone 1520 may obtain a voice signal by converting the received voice input into a sound signal and removing noise (eg, non-voice components) from the sound signal.
  • the microphone 1520 may provide a voice signal to the processor 1200 .
  • the output unit 1600 may include a display unit 1610 and a speaker 1620.
  • the display unit 1610 may display an execution screen of an application, a function UI, and a voice command guide UI.
  • the display unit 1610 may be a CID (Center Information Display), but is not limited thereto.
  • the display unit 1610 may include, for example, any one of a navigation device, an instrument panel display, a head up display (HUD), and a passenger seat display.
  • HUD head up display
  • the display unit 1610 may include, for example, a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode display, and a flexible display. , a 3D display, or an electrophoretic display.
  • the display unit 1610 may include a plurality of displays.
  • the plurality of displays may be positioned to correspond to a plurality of occupant seats included in the vehicle.
  • the processor 1200 may display at least one voice command guide UI on a display on which a voice recognition function is activated by a passenger among a plurality of displays.
  • An embodiment in which the processor 1200 displays a voice command guide UI on a specific display unit among the plurality of display units 1610 will be described in detail with reference to FIG. 7 .
  • the speaker 1620 may output an audio signal.
  • the speaker 1620 may output a notification message related to the execution of a function under the control of the processor 1200 .
  • the present invention is not limited thereto, and the speaker 1620 may output an audio signal including at least one of a sound effect, a ringtone, a melody, music, or a song.
  • FIG. 3 is a block diagram illustrating an electronic device 1000 and a vehicle sensor module 200 according to an embodiment of the present disclosure.
  • the vehicle sensor module 200 may be mounted on a vehicle, monitor the location, speed, and occupants of the vehicle, and provide driving information and occupant information of the vehicle to the electronic device 1000 .
  • the vehicle sensor module 200 may transmit vehicle driving information and occupant information to the electronic device 1000 through the CAN communication module 1110 .
  • the vehicle sensor module 200 may perform controller area network (CAN) communication with the electronic device 1000 .
  • CAN controller area network
  • the vehicle sensor module 200 may include a GPS module 210, a speed sensor 220, a seat sensor 230, and an infrared sensor 240.
  • the vehicle sensor module 200 is a component separate from the electronic device 1000 . However, it is not limited thereto, and at least one component included in the vehicle sensor module 200 may be included in the electronic device 1000 .
  • the GPS module 210 or the infrared sensor 240 included in the vehicle sensor module 200 may be included in the electronic device 1000.
  • the GPS module 210 is configured to receive GPS signals and obtain information about the current location of the vehicle based on the obtained GPS signals.
  • the GPS module 210 may obtain vehicle location information by receiving a navigation message from at least one GPS satellite located above the earth. Specifically, the GPS module 210 may acquire the current location coordinates of the vehicle by measuring the delay time of radio waves emitted from GPS satellites. In one embodiment, the GPS module 210 may obtain road information on which the vehicle is currently driving.
  • the processor 1200 may obtain current location information of the vehicle from the GPS module 210 through the CAN communication module 1110 .
  • the speed sensor 220 may detect the driving speed of the vehicle and transmit driving speed information to the electronic device 1000 .
  • the seat sensor 230 is disposed in the seat cushion of the vehicle and can recognize whether the occupant is seated by measuring a pressure value applied from the seat cushion.
  • the seat sensor 230 may be configured as, for example, a pressure sensor.
  • the seat sensor 230 may recognize that the occupant is seated when the pressure value applied to the seat cushion exceeds a preset threshold pressure.
  • the seat sensor 230 may recognize that the occupant is not on board when the pressure value applied to the seat cushion is less than or equal to a preset threshold pressure.
  • the seat sensor 230 may provide the processor 1200 with information about a result of recognizing whether or not the occupant is boarding.
  • the processor 1200 may obtain information on whether or not a passenger is boarding in any one of the driver's seat, the front passenger's seat, and the rear seat, based on the passenger information received from the seat sensor 230 .
  • the infrared sensor 240 may recognize the occupant's position by receiving infrared rays reflected from the occupant.
  • the infrared sensor 240 may provide the processor 1200 with information about the intensity, transmission angle, and transmission position of the infrared signal.
  • the processor 1200 may obtain information about the occupant's location based on information obtained from the infrared sensor 240 .
  • FIG. 4 is a flowchart illustrating a method for operating the electronic device 1000 according to an embodiment of the present disclosure.
  • the electronic device 1000 may obtain at least one of vehicle driving information, occupant information, and display output information.
  • the electronic device 1000 may provide operation and operation of the vehicle, such as the current location of the vehicle, driving road information, speed information, and information on whether or not a passenger is boarding, from the vehicle sensor module 200 (see FIG. 3). information about can be obtained.
  • the electronic device 1000 may additionally receive traffic information, road information (eg, child protection zones, expressways, general roads, local national roads, etc.), or safety speed information from the server. .
  • the electronic device 1000 may obtain information about an execution screen of an application being displayed on the display unit 1610 (see FIG. 2) and a function UI.
  • the electronic device 1000 may identify each function of the graphic UI related to at least one function being displayed on the display unit 1610 .
  • the electronic device 1000 may acquire function information about each graphic UI by searching for a resource name of a UI Framework in a platform layer of software constituting an application.
  • the electronic device 1000 may obtain information about a function corresponding to each graphic UI by analyzing an application programmable interface (API) of an application.
  • API application programmable interface
  • the electronic device 1000 may generate at least one shortened command that simplifies voice commands for executing at least one function provided by the vehicle or electronic device, based on at least one piece of information.
  • the electronic device 1000 may generate a shortened command by simplifying the voice command to include essential core commands to execute a function.
  • the electronic device 1000 may generate at least one shortened command corresponding to each function UI by recognizing a function represented by a function UI from display output information and converting the function into a natural language.
  • the electronic device 1000 may generate a shortened command by simplifying commands for executing an application frequently used by a passenger or a function of the application.
  • the electronic device 1000 obtains the passenger's usage history information from the passenger's identification information (user id) obtained through a log-in process, and based on the passenger's user identification information and the usage history information, the passenger frequently Information on the application in use can be obtained.
  • the electronic device 1000 may generate at least one shortened command by extracting only key keywords from commands for executing functions of applications frequently used by passengers.
  • the electronic device 1000 may store at least one generated short command in the short command database 1400 in the form of a list.
  • the electronic device 1000 may display at least one voice command guide UI visually representing each of the at least one short command.
  • the 'Voice Command Guide UI' is a prompt that induces a vehicle occupant to ignite the name of a function provided by the vehicle or an application of the electronic device 1000, and may be displayed as letters, numbers, or symbols.
  • the voice command guide UI may be a graphic user interface (UI).
  • the electronic device 1000 may display each of the at least one voice command guide UI on a display area adjacent to a position of the corresponding at least one function UI.
  • the electronic device 1000 may assign a weight to each of the at least one voice command guide UI, and determine at least one of whether to display the displayed voice command guide UI, a display position, and a display size based on the weight. In an embodiment, the electronic device 1000 may determine a weight for at least one voice command guide UI based on at least one of vehicle driving information, occupant information, display output information, and safe speed.
  • the electronic device 1000 may compare the driving speed of the vehicle and the safe speed, and determine a different weight of at least one voice command guide UI according to the comparison result. In one embodiment, when the driving speed exceeds the safe speed, the electronic device 1000 determines that the driver needs to concentrate on driving for safety, and provides at least one voice command guide for executing functions related to driving. A weight of the UI may be adjusted high, and a weight of at least one voice command guide UI for executing a convenience function other than driving, for example, a function related to music reproduction may be adjusted low.
  • the electronic device 1000 may display only at least one voice command guide UI whose weight is higher than a preset threshold. In another embodiment, the electronic device 1000 may display a size of at least one voice command guide UI having a relatively high weight greater than a size of at least one voice command guide UI having a relatively low weight.
  • FIG. 5 is a diagram illustrating an embodiment in which the electronic device 1000 of the present disclosure displays a voice command guide UI.
  • the electronic device 1000 includes voice command guide UIs 501, 502, 503, 504, and 505 that induce utterance of a voice command for executing a function of an application on a display unit 1610 and an application.
  • Function UIs 511, 512, 513, 514, and 515 representing execution screens and functions of the can be displayed.
  • a plurality of voice command guide UIs 501, 502, 503, 504, and 505 and function UIs 511, 512, 513, 514, and 515 are illustrated, but are not limited thereto.
  • the number of voice command guide UIs 501 , 502 , 503 , 504 , and 505 and function UIs 511 , 512 , 513 , 514 , and 515 displayed on the display unit 1610 may be one, respectively.
  • the electronic device 1000 may generate a short command based on output information of the display unit 1610 .
  • the electronic device 1000 recognizes a function indicated by each of the plurality of function UIs 511, 512, 513, 514, and 515 displayed, and converts the recognized function into natural language (eg, the function Based on the name of the UI), a plurality of shortened commands respectively corresponding to the plurality of function UIs 511, 512, 513, 514, and 515 displayed may be generated.
  • the processor 1200 of the electronic device 1000 retrieves a resource name of a UI Framework from a platform layer of software constituting an application, thereby providing a plurality of function UIs 511 and 512 .
  • a plurality of shortened commands may be generated by obtaining function information (eg, a command name) for each function and converting the obtained function information into natural language.
  • the processor 1200 obtains information about a function corresponding to each of the plurality of function UIs 511, 512, 513, 514, and 515 by analyzing an application programmable interface (API) of the application, and A plurality of short commands can be generated by converting the information into natural language.
  • API application programmable interface
  • the processor 1200 includes a plurality of function UIs 511, 512, 513, 514, A plurality of shortened commands may be generated by identifying function information indicated by 515) and converting the identified function information into a natural language format.
  • the processor 1200 recognizes that the function information on the first function UI 511 is 'previous song play', and converts the function information into a natural language form, thereby generating a shortened command called 'previous song'. can create
  • the processor 1200 recognizes that the function information of the fourth UI 514 indicated by a '+' symbol is 'raise the set temperature of the air conditioner', converts the function information into natural language, and converts the function information into a natural language. By extracting only words, a short command called 'temperature up' can be created.
  • the short command may be set in advance for each of the plurality of function UIs 511, 512, 513, 514, and 515, or may be determined by an input received from a user.
  • the electronic device 1000 may display a plurality of voice command guide UIs 501, 502, 503, 504, and 505 that visually display a plurality of generated short commands using letters, numbers, or symbols.
  • the electronic device 1000 displays a plurality of function UIs 511, 512, 513, 514, and 515 corresponding to a plurality of voice command guide UIs 501, 502, 503, 504, and 505, respectively. It can be displayed in an area adjacent to the location. For example, in a music application, a first voice command guide UI composed of characters indicating a short command called 'previous song' is adjacent to a position where the first function UI 511 for executing a previous song play function is displayed ( 501) may be displayed.
  • a second voice command guide UI 502 called 'play' is displayed at a position adjacent to the position where the second function UI 512 for executing the play (or pause) function in the music application is displayed.
  • a third voice command guide UI 503 titled 'next song' may be displayed at a position adjacent to a position where the third function UI 513 for executing the function of playing the next song is displayed.
  • a fourth voice command guide UI 504 consisting of the text 'temperature up' is located adjacent to the position where the fourth function UI 514 for executing the function of raising the set temperature of the air conditioner is displayed
  • a fifth voice command guide UI 505 consisting of the text 'temperature down' may be displayed at a position adjacent to a position where the fifth function UI 515 for executing the function of lowering the set temperature of the air conditioner is displayed.
  • the electronic device 1000 displays a plurality of function UIs 511, 512, 513, 514, and 515 for executing functions provided through applications, and the plurality of function UIs 511 , 512, 513, 514, 515) by displaying a plurality of voice command guide UIs (501, 502, 503, 504, 505) corresponding to a location adjacent to the displayed location, thereby providing a voice command related to a function the passenger wants to execute.
  • a plurality of voice command guide UIs 501, 502, 503, 504, 505
  • the electronic device 1000 when the electronic device 1000 according to an embodiment of the present disclosure executes a function through a voice command, it does not require additional parameter information and uses the voice command guide UI (501, 502, 503, 504, 505) Since the function is executed simply by receiving an utterance corresponding to a character displayed in , the accuracy of voice recognition can be improved and the driver's distraction can be reduced.
  • the voice command guide UI 501, 502, 503, 504, 505
  • FIG. 6 is a diagram illustrating an embodiment in which the electronic device 1000 of the present disclosure generates shortcut commands related to functions of frequently used applications according to user identification information.
  • the electronic device 1000 may acquire user identification information 600 of a passenger through a log-in process.
  • the user identification information 600 may include user id information of the passenger.
  • the electronic device 1000 may obtain application usage history information 610 from the user identification information 600 .
  • the application use history information 610 may store the number of times of use of an application used by a passenger at a time in the past after logging in with a user ID.
  • the processor 1200 of the electronic device 1000 (see FIG. 2 ) may identify an application most frequently used by the passenger from the application use history information 610 . Referring to the application use history information 610 of the embodiment shown in FIG. 6, a passenger logged in with a user id of 'XXX' has used the music application 50 times and the navigation application 40 times from the past to the present. It can be seen that the weather application was used 10 times, the phone application 2 times, and the text application 1 time.
  • the processor 1200 may obtain the number of times of use of a plurality of functions provided by each of a plurality of applications from the application use history information 610 .
  • the processor 1200 may generate shortened commands 620 and 622 by extracting only key keywords from commands for executing functions of applications frequently used by passengers (excluding unused applications).
  • the processor 1200 may identify at least one application whose number of uses exceeds a preset threshold number of times among a plurality of applications. For example, when the preset threshold number is 30, the processor 1200 may identify a music application used 50 times and a navigation application used 40 times among a plurality of applications included in the application use history information 610. .
  • the processor 1200 may generate shortened commands 620 and 622 related to functions executed by the identified at least one application. In the embodiment shown in FIG.
  • the processor 1200 generates 'previous song', 'play', 'next song', 'volume up', and 'volume down' as short commands 620 associated with a music application. and 'search', 'destination', 'waypoint', 'zoom in', and 'zoom out' may be created as shortcut commands 622 related to the navigation application.
  • the processor 1200 may generate a voice command guide UI 630 composed of letters, numbers, or symbols to visually display the generated short command.
  • the processor 1200 may display the voice command guide UI 630.
  • the electronic device 1000 displays a voice command guide UI 630 for executing functions of applications frequently used by passengers (or drivers) based on usage history information, so voice recognition is performed.
  • the number of UIs is limited, and they are personalized for each passenger (or driver). Therefore, the display menu of the result is less crowded, and the distraction of driving can be reduced.
  • FIG. 7 illustrates an embodiment in which an electronic device of the present disclosure displays a voice command guide UI on a display unit in which a voice recognition function is activated by a user among a plurality of display units 1610-1, 1610-2, and 1610-3 it is a drawing
  • the electronic device 1000 may include a plurality of display units 1610-1, 1610-2, and 1610-3.
  • a plurality of displays may be positioned to correspond to a plurality of occupant seats included in the vehicle.
  • the first display unit 1610-1 is a CID (Center Information Display)
  • the second display unit 1610-2 is a display attached to the driver's seat back
  • the third display unit (1610-3) may be a display attached to the passenger seat backrest.
  • the second display unit 1610-2 may be allocated to be used by a rear seat occupant who sits in the left seat
  • the third display unit 1610-3 may be allocated to be used by a right seat occupant among rear seat occupants. there is.
  • the electronic device 1000 includes a plurality of display units 1610-1, 1610-2, and 1610-3 (excluding display of a UI on a display screen that does not correspond) to which a user input for activating a voice recognition function has been received.
  • a voice command guide UI may be displayed on .
  • the electronic device 1000 may receive a button input for activating a voice recognition function or a touch input for touching a graphic UI from at least one of a driver, a front passenger, or a rear seat passenger.
  • the electronic device 1000 may activate a voice recognition function and display a voice command guide UI.
  • the electronic device 1000 receives a wake-up voice for activating a voice recognition function from at least one of a driver, a passenger in the passenger seat, or a passenger in the back seat, and upon receiving the wake-up voice, the voice command guide UI can display.
  • the wake-up voice may include, for example, 'Hi Bixby' or 'Okay Google'.
  • the electronic device 1000 receives a user input activating a voice recognition function from a driver and a left rear seat passenger among two rear seat passengers, and displays a voice command on the second display unit 1610-2.
  • a guide UI 710 may be displayed.
  • the voice command guide UI 710 is a UI that visually displays a shortcut command for executing the function UI 720 representing the function of an application displayed on the second display unit 1610-2, and corresponds to the corresponding function UI ( 720) may be displayed at an adjacent location.
  • a voice command guide UI on the display unit only when the electronic device 1000 receives a button input, a touch input, or a wake-up voice input for activating a voice recognition function from a passenger has been described.
  • the electronic device 1000 recognizes whether a driver's seat, a front passenger's seat, and a rear passenger's seat are occupied, and assigns them to a seat for which boarding is recognized among a plurality of display units 1610-1, 1610-2, and 1610-3.
  • a voice command guide UI may be displayed on the display unit. Based on the pressure measurement value obtained from the seat sensor 230 (see FIG. 3) of the vehicle sensor module 200 (see FIG.
  • the electronic device 1000 determines whether at least one of the driver's seat, passenger seat, and rear seat is occupied. may be recognized, and a voice command guide UI may be displayed on a display unit assigned to a seat in which boarding is recognized. For example, when the driver's seat, front passenger's seat, and rear seat where the pressure measurement value obtained from the seat sensor 230 exceeds a preset threshold is the right rear seat, the electronic device 1000 displays the plurality of display units 1610- 1, 1610-2, and 1610-3), the voice command guide UI may be displayed on the third display unit 1610-3 allocated to the right rear seat.
  • FIG. 8 is a flowchart illustrating an embodiment in which the electronic device 1000 of the present disclosure displays a voice command guide UI.
  • Steps S820 to S840 shown in FIG. 8 are steps that embody step S430 shown in FIG. 4 .
  • the electronic device 1000 may determine a safe speed for driving the vehicle based on driving information of the vehicle.
  • the electronic device 1000 may obtain vehicle driving information about the current location of the vehicle and driving road through the GPS module 210 (see FIG. 3) of the vehicle sensor module 200 (see FIG. 3).
  • the electronic device 1000 may additionally obtain characteristic information of the road on which the vehicle is currently driving, eg, information about a child protection zone, a highway, or a local road.
  • the electronic device 1000 may obtain information about the driving speed of the vehicle from the speed sensor 220 (see FIG. 3).
  • the electronic device 1000 may determine a safe speed based on the acquired current location of the vehicle, driving road characteristics, and driving speed information. In an embodiment, the electronic device 1000 may determine a speed that is slower than a speed limit according to driving road characteristics by a predetermined speed as a safe speed. For example, if the speed limit in a child protection area is 30 km/h, the safe speed may be 25 km/h, and if the speed limit of a highway is 110 km/h, the safe speed may be determined as 100 km/h. However, the electronic device 1000 is not limited thereto, and the electronic device 1000 may determine the same speed as the preset speed limit as the safe speed according to the characteristics of the road on which the electronic device 1000 is driving.
  • the electronic device 1000 may determine a weight of each of at least one voice command guide UI based on at least one of vehicle driving information, occupant information, display output information, and safety speed.
  • the processor 1200 may compare the driving speed of the vehicle and the safe speed, and determine a weight of at least one voice command guide UI according to the comparison result. In one embodiment, if the driving speed exceeds the safe speed, the processor 1200 determines that the driver needs to concentrate on driving for safety, and provides at least one voice command guide UI for executing functions related to driving. A weight of at least one voice command guide UI may be adjusted to be high, and a weight of at least one voice command guide UI for executing a convenience function other than driving, for example, a function related to music reproduction, may be adjusted to be low.
  • the processor 1200 determines that there is a sufficient margin of safety for driving, and the driver may, accordingly, disable assistive vehicle functions (e.g., convenience and entertainment functions), and the weight of at least one voice command guide UI for executing the convenience function may be adjusted higher.
  • assistive vehicle functions e.g., convenience and entertainment functions
  • the processor 1200 may set a weight of a voice command guide UI related to a function of a frequently used application higher than that of other voice command guide UIs, based on the passenger's use history information.
  • the processor 1200 sets a higher weight of a voice command guide UI related to an application executed through an icon or widget displayed on the display unit 1610 than a voice command guide UI related to other applications that are not displayed. can be set
  • the electronic device 1000 determines at least one of the number, position, and size of at least one voice command guide UI displayed based on the weight.
  • the electronic device 1000 may determine whether to display at least one voice command guide UI, a display position, and a display size according to weights. For example, the electronic device 1000 may determine to display only at least one voice command guide UI having a weight greater than a preset threshold and to exclude from display at least one voice command guide UI having a weight less than the threshold.
  • the electronic device 1000 may determine the size of at least one voice command guide UI having a first weight to be larger than the size of at least one voice command guide UI having a second weight less than the first weight. there is.
  • the electronic device 1000 may display at least one voice command guide UI according to the determined number, location, and size. In an embodiment, the electronic device 1000 may display at least one voice command guide UI having a weight higher than a preset threshold. In another embodiment, the electronic device 1000 may display a size of at least one voice command guide UI having a relatively high weight greater than a size of at least one voice command guide UI having a relatively low weight.
  • FIG. 9A is a diagram illustrating an embodiment in which the electronic device 1000 of the present disclosure displays a voice command guide UI according to driving speed.
  • the embodiment shown in FIG. 9A is an embodiment in which the electronic device 1000 displays a plurality of voice command guide UIs 901 to 909 on the display unit 1610 when the driving speed of the vehicle is equal to or less than the safe speed.
  • the processor 1200 (see FIG. 2 ) of the electronic device 1000 obtains information about the driving speed of the vehicle from the vehicle speed sensor 220 (see FIG. 3 ), and converts the driving speed to a safe speed. can be compared
  • the processor 1200 guides a plurality of voice commands for each of a plurality of function UIs for executing functions provided to all applications being output on the display unit 1610.
  • UIs 910 to 909 may be displayed.
  • the processor 1200 may display the plurality of voice command guide UIs 901 to 909 with no weight or with the same weight (for example, , since less driver attention is inferred from operation at or below safe speeds).
  • the processor 1200 is not limited thereto, and the processor 1200 may use a voice command for executing a function of a convenience function application, eg, a music application or a weather application, which is not related to driving of a vehicle or has relatively low relevance among a plurality of applications.
  • the weight of the guide UI can be adjusted high. In the embodiment shown in FIG.
  • the processor 1200 includes a fourth voice command guide UI 904 related to the execution of a music application and a fifth voice command guide related to the execution of a function of playing a previous song in the music application.
  • a 6th voice command guide UI 906 related to the execution of play and pause functions
  • a 7th voice command guide UI 907 related to the execution of the function to play the next song
  • the weight to be used may be adjusted to a value higher than that of the other voice command guide UIs 901, 902, 903, 908, and 909.
  • the processor 1200 changes the size of the fourth voice command guide UI 904 to the seventh voice command guide UI 907 to other voice command guide UIs 901, 902, 903, 908, 909) can be displayed larger than the size.
  • FIG. 9B is a diagram illustrating an embodiment in which the electronic device 1000 of the present disclosure displays a voice command guide UI according to driving speed.
  • the electronic device 1000 displays a plurality of voice command guide UIs 901, 902, 903, 908, and 909 on the display unit 1610. This is a display example.
  • the processor 1200 when the processor 1200 (see FIG. 2 ) of the electronic device 1000 determines that the driving speed of the vehicle exceeds the safe speed, the processor 1200 provides all applications output on the display unit 1610. Among a plurality of function UIs for executing functions, voice command guide UIs (901, 902, 903, 908, 909) with high weights may be displayed (for example, excluding UI functions with insufficient weights, the driver's Simplify display at a time when more attention is deemed necessary). In an embodiment, the processor 1200 may set a high weight to a voice command guide UI for executing driving-related functions of the vehicle when it is determined that the driving speed exceeds the safe speed.
  • An application that executes a driving-related function of the vehicle may be predetermined.
  • An application that executes a function related to vehicle driving may include, for example, at least one of a navigation application and a heating, ventilation, and air conditioning (HVAC) application that controls air conditioning and heating.
  • the processor 1200 may also set a high weight to an application that can be used while driving, such as a phone application, even though it is not directly related to vehicle driving.
  • the processor 1200 includes a first voice command guide UI 901 to a third voice command guide UI 903 for executing a function of a navigation application and a function of an air conditioner application.
  • An eighth voice command guide UI 908 and a ninth voice command guide UI 909 may be displayed.
  • the processor 1200 may not display the fourth voice command guide UI 904 to the seventh voice command guide UI 907 whose weight is lower than a preset threshold.
  • FIG. 10 is a flowchart illustrating an embodiment in which the electronic device 1000 of the present disclosure displays a voice command guide UI based on a driving speed and a safe speed of a vehicle.
  • the electronic device 1000 assigns weights to voice command guide UIs based on the driving speed and safe speed of the vehicle, and adjusts the number, location, and size of voice command guide UIs according to the weights, and displays them.
  • An embodiment is shown.
  • Steps S1030 to S1080 shown in FIG. 10 embody step S430 shown in FIG. 4 .
  • step S1010 the electronic device 1000 may determine a safe speed.
  • the electronic device 1000 may determine a safe speed based on information about the current location of the vehicle, the current characteristics of the road on which the vehicle is driving, and the current driving speed. Since step S1010 is the same as step S810 shown in FIG. 8, duplicate descriptions will be omitted.
  • step S1020 the electronic device 1000 may determine whether the current driving speed exceeds the safe speed by comparing the current driving speed of the vehicle with the safe speed.
  • the electronic device 1000 When it is determined that the driving speed of the vehicle exceeds the safe speed (for example, additional caution is required for driving) (step S1030), the electronic device 1000 performs at least one function for executing a function related to driving the vehicle. It is possible to adjust the weight of the first shortened command of .
  • the at least one first shortened command is a command for executing a function of at least one application related to vehicle driving, and the at least one application may be predetermined.
  • An application that executes a function related to vehicle driving may include, for example, at least one of a navigation application and a heating, ventilation, and air conditioning (HVAC) application that controls air conditioning and heating.
  • the electronic device 1000 may adjust a weight of at least one first short command for executing a function provided by each of the navigation application and the HVAC application to be high.
  • the electronic device 1000 may adjust the weight of a short command for executing a function of an application usable while driving, for example, a phone application, even though it is not directly related to vehicle driving.
  • the electronic device 1000 determines the number, size, and location of at least one first voice command guide UI corresponding to the at least one first short command according to the adjusted weight.
  • the electronic device 1000 displays at least one first voice command guide UI that visually displays at least one first short command using letters, numbers, or symbols, or displays at least one first command guide UI.
  • the number may be determined to display only UIs whose weight exceeds a threshold.
  • the electronic device 1000 may determine to display the size of at least one first voice command guide UI larger than the size of other voice command guide UIs.
  • step S1050 the electronic device 1000 displays at least one first voice command guide UI according to the determined number, size, and position (eg, to simplify the display to increase the driver's attention to driving the vehicle). ).
  • the electronic device ( 1000) may adjust a weight of at least one second shortened command for executing a convenience function.
  • the at least one second shortened command is less related to driving of the vehicle and is a command for executing a convenience function.
  • An application related to the convenience function may be predetermined.
  • An application executing a convenience function of the vehicle may be, for example, a music application or a weather application.
  • the electronic device 1000 may adjust a weight of at least one second short command for executing a function provided by each of the music application and the weather application to be high.
  • step S1070 the electronic device 1000 determines the number, size, and position of at least one second voice command guide UI corresponding to the at least one second shortcut command according to the adjusted weight.
  • the electronic device 1000 displays at least one second voice command guide UI that visually displays at least one second shortened command using letters, numbers, or symbols, or displays at least one second voice command guide UI.
  • the number of UIs whose weight exceeds a threshold may be determined to be displayed.
  • the electronic device 1000 may determine to display a size of at least one second voice command guide UI larger than that of other voice command guide UIs.
  • step S1080 the electronic device 1000 displays at least one second voice command guide UI according to the determined number, size, and location.
  • FIG. 11 is a diagram illustrating an embodiment in which the electronic device 1000 of the present disclosure displays voice command guide UIs 1124 and 1126 related to a pop-up message 1112.
  • the electronic device 1000 may display a pop-up message 1112 on the display unit 1610.
  • the processor 1200 (see FIG. 2 ) of the electronic device 1000 may, for example, detect an error in a running application, a situation requiring an application update, or an accident on a nearby road. It is possible to recognize the occurrence of an event such as, and display a pop-up message 1112 as a warning message.
  • the pop-up message 1112 may be displayed on the display unit 1610 by overlaying the execution screen and UIs of the application being output. In the embodiment shown in FIG.
  • the pop-up message 1112 is a warning message notifying the occurrence of an accident 100 m ahead, and includes a first UI 1114 requesting a detour search and a second UI for closing the pop-up message ( 1116) may be included.
  • the processor 1200 may display voice command guide UIs 1124 and 1126 for executing the function UIs 1114 and 1116 related to the function of removing the pop-up message 1112 on the display unit 1610.
  • the processor 1200 may set the weight of the voice command guide UIs 1124 and 1126 for removing the pop-up message 1112 to be higher than weights assigned to other voice command guide UIs.
  • the processor 1200 may set the weight of the voice command guide UIs 1124 and 1126 for executing a function related to removing the pop-up message 1112 to a maximum value.
  • the electronic device 1000 sets a high weight to the displayed voice command guide UIs 1124 and 1126 in order to remove the pop-up message 1112 on the display unit 1610. , It provides an effect that allows the driver to easily remove the pop-up message 1112.
  • FIG. 12 is a diagram illustrating an embodiment in which the electronic device 1000 of the present disclosure displays voice command guide UIs 121 to 127 on a partial area on the display unit 1610.
  • the processor 1200 (see FIG. 2 ) of the electronic device 1000 divides the display unit 1610 into a plurality of areas 1611 , 1612 , and 1613 , and determines the position of the occupant and the display unit 1610 .
  • Voice command guide UIs 121 to 127 may be displayed based on distances between the plurality of areas 1611 , 1612 , and 1613 .
  • the processor 1200 may measure the distance between the plurality of regions 1611, 1612, and 1613 of the display unit 1610 and the position of the occupant. In one embodiment, the processor 1200 may obtain the location information of the occupant from the infrared sensor 2240 (see FIG. 3) of the vehicle sensor module 200 (see FIG. 3). 12, the distance between the first area 1611 of the display unit 1610 and the occupant is a first distance d1, and the distance between the second area 1612 and the occupant is a second distance d2. ), and the distance between the third area 1613 and the occupant may be measured as the third distance d3.
  • the processor 1200 may display the voice command guide UIs 121 to 127 in areas where the distance from the measured occupant position is equal to or greater than a predetermined reference value among the plurality of areas 1611 , 1612 , and 1613 of the display unit 1610 . .
  • the second distance d2 and the third distance d3 are measured above the reference values, and the processor 1200 uses voice commands only for the second area 1612 and the third area 1613.
  • Guide UIs 121 to 127 may be displayed.
  • d1 is equal to or less than a preset reference value (for example, it is expected that the user can input a touch input to the area without difficulty)
  • the processor 1200 is applied to the first area 1611 of the display unit 1610.
  • the voice command guide UI may not be displayed.
  • the electronic device 1000 may divide a space in the vehicle into left and right spaces of a driver's seat, a front passenger's seat, and a rear seat, respectively, and divide the display unit 1610 into a plurality of areas corresponding to the divided spaces.
  • the electronic device 1000 may display the voice command guide UIs 121 to 127 in areas where a passenger's touch input is difficult to reach in the plurality of areas of the divided display unit 1610 .
  • the display unit 1610 is divided into an area allocated to the driver's seat and an area allocated to the passenger seat, and the electronic device 1000 includes an area allocated to the passenger seat, which is too far for the driver to touch an icon or widget among a plurality of areas.
  • Voice command guide UIs 121 to 127 may be displayed in the region.
  • the electronic device 1000 is located at a distance that is difficult for a driver (or passenger) to touch among a plurality of areas 1611 , 1612 , and 1613 of the display unit 1610 ( FIG. 12 ). Since the voice command guide UIs 121 to 127 are displayed in the second area 1612 and the third area 1613, the driver (or passenger) can select the UI (eg, icon or widget). It is possible to execute a function based on an utterance without attempting to input a touch input, and the driver's distraction while driving can be reduced.
  • UI eg, icon or widget
  • FIG. 13 is a diagram illustrating an embodiment in which the electronic device 1000 of the present disclosure displays the voice command guide UI 134 through the HUD 130.
  • the electronic device 1000 may display an application UI 132 and a voice command guide UI 134 through a Head Up Display (HUD) 130 .
  • the electronic device 1000 may include a projector 1700 .
  • the projector 1700 may be configured to project an image onto a windshield that is a windshield of a vehicle.
  • the projector 1700 may be an optical engine that is configured to generate light of an image and includes an image panel, illumination optics, projection optics, and the like.
  • the projector 1700 obtains data including images constituting the application UI 132 and the voice command guide UI 134 included in the execution screen of the application from the processor 1200 (see FIG. 2), and , A virtual image may be generated based on the acquired image data, and light constituting the virtual image output from the light source may be projected onto the windshield through the emission surface.
  • An image projected by the projector 1700 may be displayed through the HUD 130 on the windshield.
  • the application UI 132 and the voice command guide UI 134 are displayed through the HUD 130 in FIG. 13, it is not limited thereto. In one embodiment, only the voice command guide UI 134 may be displayed on the HUD 130 .
  • the electronic device 1000 displays the voice command guide UI 134 through the HUD 130, so the driver does not have to bend his head to see the CID or navigation screen. It not only improves user convenience by intuitively grasping commands, but also relieves the driver's distraction.
  • FIG. 14 is a flowchart illustrating an embodiment in which the electronic device 1000 of the present disclosure performs a voice recognition function.
  • the electronic device 1000 may receive a user input for activating a voice recognition function.
  • the processor 1200 of the electronic device 1000 may receive a user input for activating the voice recognition function through the voice recognition function input unit 1510 (see FIG. 2 ).
  • the voice recognition function input unit 1510 is a hardware button and may be disposed on a steering wheel of a vehicle or on a dashboard. However, it is not limited thereto, and the voice recognition function input unit 1510 may be a selectable graphic UI element displayed on the display unit 1610.
  • the processor 1200 may receive a wake-up voice for activating a voice recognition function through a microphone 1520 (see FIG. 2).
  • the wake-up voice may include, for example, 'Hi Bixby' or 'Okay Google'.
  • step S1420 the electronic device 1000 may display at least one voice command guide UI.
  • the electronic device 1000 may activate a voice recognition function and display at least one voice command guide UI on the display unit 1610.
  • the electronic device 1000 may receive a voice input from a passenger.
  • the processor 1200 of the electronic device 1000 may receive a voice input uttered by a passenger sitting in at least one of a driver's seat, a front passenger's seat, and a rear seat through the microphone 1520 .
  • step S1440 the electronic device 1000 compares the received voice input with at least one shortened command corresponding to at least one voice command guide UI.
  • the processor 1200 of the electronic device 1000 may convert the received voice input into computer-readable text by performing Automatic Speech Recognition (ASR).
  • ASR Automatic Speech Recognition
  • the processor 1200 may compare the converted text with at least one shortened command corresponding to at least one voice command guide UI.
  • the electronic device 1000 executes a function corresponding to the identified short command. For example, when the voice input received from the passenger is “volume up”, the electronic device 1000 selects a shortcut that matches “volume up” among at least one shortcut command corresponding to at least one displayed voice command guide UI. A command may be identified, and a media volume raising function, which is a function corresponding to the identified short command, may be executed.
  • the electronic device 1000 transmits voice input data to the server.
  • the electronic device 1000 may transmit voice input data to the server using the data communication module 1120 (see FIG. 2).
  • the electronic device 1000 may be, for example, wireless LAN (WLAN) (Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), or short-range wireless communication including Bluetooth or CDMA, WCDMA, 3G , 4G, and/or 5G, voice input data may be transmitted to the server using a mobile communication network such as mmWAVE.
  • a mobile communication network such as mmWAVE.
  • the electronic device 1000 may transmit the voice input data received in step S1430 to the server as it is, but is not limited thereto.
  • the electronic device 1000 may convert voice input into text and transmit the converted text to a server.
  • the electronic device 1000 receives function information corresponding to the voice input from the server.
  • the server may receive voice input data from the electronic device 1000 and interpret the voice input data using a natural language understanding model, thereby recognizing the occupant's speech intent.
  • the server may identify a function according to the recognized speech intention and transmit information about the identified function to the electronic device 1000 .
  • step S1490 the electronic device 1000 identifies a related function using the function information received from the server and executes the identified function.
  • the electronic device 1000 displays at least one voice command guide UI and corresponds to each of the at least one voice command guide UI before transmitting and interpreting the voice input received from the passenger to the server.
  • a matching short command may be identified in advance by comparing with at least one short command.
  • the electronic device 1000 executes a function related to the identified short command, so it can execute the function on-device without needing to access a server. Accordingly, the electronic device 1000 according to an embodiment of the present disclosure provides technical effects capable of reducing time and communication costs consumed by communication with a server and improving accuracy of voice recognition.
  • 15 is a diagram for explaining an operation performed by the electronic device 1000 using artificial intelligence technology according to an embodiment of the present disclosure.
  • AI artificial intelligence
  • 'AI technology' Artificial intelligence technology is a technology that obtains a desired result by processing input data such as analysis and/or classification based on an operation through a neural network.
  • an algorithm or a set of algorithms for implementing AI technology is called a neural network.
  • the neural network may receive input data, perform the above-described calculation for analysis and/or classification, and output result data.
  • 'training' means that the neural network discovers a method of analyzing input data for the neural network, a method of classifying the input data, and/or a method of extracting features used to generate result data from the input data. Or it could mean training to master.
  • the neural network may optimize weight values inside the neural network by training on training data (eg, a plurality of different images). Then, by processing input data through a neural network having optimized weight values, a desired result is output.
  • a neural network can be classified as a deep neural network when the number of hidden layers, which are internal layers that perform calculations, is plural, that is, when the depth of the neural network that performs calculations increases.
  • Neural networks include, for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), a Deep Belief Network (DBN), a Bidirectional Recurrent Deep Neural Network (BRDNN), and Deep Q-Networks, etc. are included, but are not limited to the above examples.
  • neural networks can be subdivided.
  • a CNN neural network may be subdivided into a Deep Convolution Neural Network (DCNN) or a Capsnet neural network (not shown).
  • An 'AI model' may refer to a neural network including at least one layer that operates to receive input data and output desired results.
  • an 'AI model' is an algorithm that outputs a desired result by performing an operation through a neural network, a set of multiple algorithms, a processor for executing an algorithm (or a set of algorithms), an algorithm (or a set of algorithms) ), or hardware for executing an algorithm (or a set of algorithms).
  • At least one of the operations of displaying the UI may be performed based on the AI model.
  • the neural network 150 may be trained by receiving training data. Then, the learned neural network 150 receives the input data 151 through the input terminal 152, and the input terminal 152, the hidden layer 153, and the output terminal 154 receive the input data 151 and the previous An operation for outputting the output data 155 may be performed by analyzing data transmitted from the layer.
  • the hidden layer 153 is illustrated as one layer in FIG. 15 , this is only an example, and the hidden layer 153 may include a plurality of layers.
  • the neural network 150 obtains user identification information and usage history information of the passenger from login information, obtains application information frequently used by the occupant from the user identification information and usage history information, and identifies frequently used applications. It can be learned to generate at least one short command by simplifying the command to execute the function.
  • the neural network 150 recognizes a function indicated by at least one graphic UI output on the display unit 1610 (see FIG. 2), and converts the recognized function into natural language to correspond to each of the at least one GUI. It can be learned to generate at least one short command that is.
  • the neural network 150 may learn to display at least one voice command guide UI at a location adjacent to at least one graphic UI for executing a corresponding function.
  • the neural network 150 determines a safe speed based on information about the current location of the vehicle, the driving road, and the driving speed, and among the vehicle driving information, occupant information, display output information, and determined safe speed information.
  • Determine the weight of each of the at least one voice command guide UI based on the at least one determine the number, location, and size of the at least one voice command guide UI displayed based on the determined weight, determine the number, location, and size of the at least one voice command guide UI, and It may be learned to display the at least one voice command guide UI according to the size.
  • the neural network 150 recognizes whether the driving speed of the vehicle is equal to or higher than the safe speed from vehicle driving information and performs at least one control function for executing a function related to driving of the vehicle based on the recognition result. It may be learned to change the weight of one voice command guide UI and the weight of at least one second voice command guide UI for executing convenience functions.
  • the neural network 150 may be trained to adjust a weight of a voice command guide UI that performs a function for removing a displayed pop-up message.
  • the neural network 150 measures the distance between the occupant and the display unit according to the boarding position information of the occupant, and determines an area where at least one voice command guide UI is displayed on the display unit based on the measured distance. and learn to display the at least one voice command guide UI in the determined area.
  • the aforementioned i) operation of obtaining information on at least one of vehicle driving information, occupant information, and display output information, ii) voice input received from a passenger based on the obtained at least one information
  • Data or program code related to the neural network 150 that performs at least one of the operations of displaying one voice command guide UI is stored in the memory 1300 (see FIG. 2), and learning using the neural network 150 is performed using the processor 1200 , see FIG. 2).
  • the neural network 150 that performs at least one of the operations of displaying the command guide UI may be implemented in a separate device (not shown) or a processor (not shown) distinguished from the electronic device 1000 .
  • the above-described calculation through the neural network 150 may be performed by a server (2000, see FIGS. 16 and 17) capable of communicating with the electronic device 1000 through a wireless communication network according to an embodiment. Communication between the electronic device 1000 and the server 2000 will be described with reference to FIGS. 16 and 17 .
  • FIG. 16 is a diagram illustrating an electronic device 1000 operating in conjunction with a server 2000 according to the disclosed embodiment.
  • the server 2000 may transmit and receive data with the electronic device 1000 through the communication network 3000 and process data.
  • the server 2000 may include a communication unit 2100 communicating with the electronic device 1000, a processor 2200 executing at least one instruction, and a database 2300.
  • the server 2000 may train an AI model and store the trained AI model.
  • the server 2000 uses the trained AI model to perform the above-described i) operation of obtaining information on at least one of vehicle driving information, occupant information, and display output information, ii) operation of obtaining information on at least one of the obtained information Based on the voice input received from the occupant, generating at least one shortened command that simplifies voice commands for executing at least one function provided by the vehicle or the electronic device, and iii) at least one generated command.
  • At least one of the operations of displaying at least one voice command guide UI visually representing each of the short commands may be performed.
  • the electronic device 1000 may have limitations compared to the server 2000 in terms of memory storage capacity, processing speed of operations, ability to collect learning data sets, and the like. Accordingly, operations that store large amounts of data and use large amounts of computation may be performed in the server 2000 and then necessary data and/or AI models may be transmitted to the electronic device 1000 through a communication network. Then, the electronic device 1000 can perform necessary operations quickly and easily by receiving and using necessary data and/or AI models through the server 2000 without a large-capacity memory and a processor having fast computing capability.
  • the server 2000 may include the neural network 150 described in FIG. 15 .
  • FIG. 17 is a diagram for explaining FIG. 16 in detail.
  • a server 2000 may include a communication unit 2100, a processor 2200, and a database 2300.
  • the communication unit 2100 communicates with an external device through a wireless communication network.
  • the external device may include a server capable of performing at least one of calculations used by the electronic device 1000 or transmitting data used by the electronic device 1000 .
  • the communication unit 2100 includes at least one communication module such as a short-distance communication module, a wired communication module, a mobile communication module, and a broadcast reception module.
  • at least one communication module includes a tuner for receiving broadcasting, Bluetooth, Wireless LAN (WLAN) (Wi-Fi), Wireless broadband (Wibro), World Interoperability for Microwave Access (Wimax), CDMA, WCDMA, Internet, and 3G , 4G, 5G, and/or a communication module capable of transmitting and receiving data through a network conforming to a communication standard such as a communication method using mmwave.
  • a communication standard such as a communication method using mmwave.
  • the communication unit 2100 when the communication unit 2100 performs communication using mmWAVE, a large amount of data can be quickly transmitted and received.
  • the vehicle quickly receives large amounts of data using millimeter waves, and data used for safety of the vehicle (eg, data required for autonomous driving, data used for navigation service, etc.), user-used content ( For example, a movie, music, etc.) can be rapidly provided to increase vehicle safety and/or user convenience.
  • data used for safety of the vehicle eg, data required for autonomous driving, data used for navigation service, etc.
  • user-used content For example, a movie, music, etc.
  • the mobile communication module included in the communication unit 2100 communicates with other devices (eg, the electronic device 1000) located at a distance through a communication network conforming to communication standards such as 3G, 4G, and/or 5G. can do.
  • a communication module that communicates with another device located at a long distance may be referred to as a 'remote communication module'.
  • the communication unit 2100 may transmit and receive data with the data communication module 1120 of the electronic device 1000 by wire or wirelessly.
  • the processor 2200 controls the overall operation of the server 2000.
  • the processor 2200 may perform operations by executing at least one of at least one instruction and programs of the server 2000 .
  • the database 2300 may include a memory (not shown), and may store at least one of at least one instruction, program, and data used for the server 2000 to perform a predetermined operation in the memory (not shown). . Also, the database 2300 may store data used for the server 2000 to perform calculations according to the neural network.
  • the server 2000 may store the neural network 150 described in FIG. 15 .
  • the neural network 150 may be stored in at least one of the processor 2200 and the database 2300 .
  • the neural network 150 included in the server 2000 may be a trained neural network.
  • the server 2000 may transmit the trained neural network to the data communication module 1120 of the electronic device 1000 through the communication unit 2100 . Then, the electronic device 1000 may acquire and store the neural network for which learning has been completed, and obtain desired output data through the neural network.
  • a program executed by the electronic device 1000 described in this specification may be implemented as a hardware component, a software component, and/or a combination of hardware components and software components.
  • a program can be executed by any system capable of executing computer readable instructions.
  • Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device.
  • Computer-readable recording media include, for example, magnetic storage media (e.g., read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and optical reading media (e.g., CD-ROM) (CD-ROM) and DVD (Digital Versatile Disc).
  • ROM read-only memory
  • RAM random-access memory
  • CD-ROM CD-ROM
  • DVD Digital Versatile Disc
  • a computer-readable recording medium may be distributed among computer systems connected through a network, and computer-readable codes may be stored and executed in a distributed manner. The medium may be readable by a computer, stored in a memory, and executed by a processor.
  • a computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium does not contain a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily in the storage medium.
  • the 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • program according to the embodiments disclosed in this specification may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product may include a software program and a computer-readable storage medium in which the software program is stored.
  • a computer program product is a product in the form of a software program (eg, a downloadable application) that is distributed electronically through a manufacturer of an electronic device or an electronic market (eg, Google Play Store, App Store). ) may be included.
  • a software program eg, a downloadable application
  • an electronic market e.g, Google Play Store, App Store
  • the storage medium may be a server of a manufacturer of the vehicle or electronic device 1000, a server of an electronic market, or a storage medium of a relay server temporarily storing a software program.
  • the computer program product may include a storage medium of the server 2000 or a storage medium of the electronic device in a system including the electronic device 1000, the server 2000 (see FIGS. 16 and 17), and other electronic devices. there is.
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include a software program itself transmitted from the electronic device 1000 to the electronic device or a third device, or transmitted from the third device to the electronic device.
  • one of the electronic device 1000, the electronic device, and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the electronic device 1000, the electronic device, and the third device may execute the computer program product to implement the method according to the disclosed embodiments in a distributed manner.
  • the electronic device 1000 executes a computer program product stored in the memory 1300 (see FIG. 2) to control another electronic device communicatively connected to the electronic device 1000 to perform a method according to the disclosed embodiments. can do.
  • the third device may execute a computer program product to control an electronic device communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the electronic device 1000 and execute the downloaded computer program product.
  • the third device may perform the method according to the disclosed embodiments by executing a computer program product provided in a pre-loaded state.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

차량용 방법 및 전자 장치가 개시된다. 전자 장치는 차량에 장착되고, 디스플레이, 음성 명령어를 저장하는 메모리, 및 프로세서를 포함한다. 프로세서는 차량 주행 정보, 탑승자 정보, 또는 디스플레이 출력 정보 중 적어도 하나를 획득하는 단계, 획득된 차량 주행 정보, 탑승자 정보, 또는 디스플레이 출력 정보 중 적어도 하나에 기초하여 하나 또는 그 이상의 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성하는 단계, 및 적어도 하나의 단축 명령어를 표시하는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 디스플레이부를 제어하는 단계를 포함한다.

Description

차량에 탑재된 전자 장치 및 그 동작 방법
본 개시는 차량용 전자 장치에 관한 것으로, 보다 구체적으로는 디스플레이 스크린을 포함하는 차량용 전자 장치를 위한 커스텀된 음성 인식(customized voice recognition)에 관한 것이다.
음성 인식 기술의 발전으로 인하여, 오늘날 많은 차량에서 운전자의 음성 입력을 사용하여 기능 제어가 가능하다. 이러한 차량 음성 인식 기능은 운전자로부터 음성 입력을 수신하여 차량의 기능을 실행하거나 차량에 포함된 일반적인 음성 에이전트, 및 디스플레이 스크린의 상태와 차량 내의 상황을 감지하고, 이용 가능한 음성 인식 기능의 리스트를 제공하는 음성 액세스 애플리케이션(voice access application)과 같은 하위 기능으로 분할될 수 있다.
이러한 많은 구현에서, 일반적인 음성 인식 에이전트의 경우, 차량 내에서 제공되는 기능에 관한 음성 명령어 리스트에 관한 가이드가 존재하지 않으며, 이로 인하여 사용자는 가끔 원하는 기능을 실행하기 위하여 어떠한 음성 명령을 발화해야 하는지 알 수 없다. 따라서, 사용자가 특정 음성 명령어를 발화하면, 차량에서는 대응되는 기능을 실행하기 위하여 필요한 파라미터(parameter)를 문의하고, 차량의 문의에 관한 응답으로 사용자는 특정 파라미터를 발화하여야 하는 번거로움이 있다.
예를 들어, 운전자가 음악 애플리케이션을 통해 현재 듣고 있는 곡에서 다음 곡으로 넘어가기 위해서는, 운전자는 "다음 곡 틀어줘~"라는 음성 명령을 발화할 수 있다. 그러나, 차량은 음성 명령이 음악 애플리케이션과 관련되는지 판단하는 것에 실패하고, 현재 플레이리스트 내의 다음 곡으로 이동하거나 "다음 곡"이라는 제목의 노래를 검색하는 것을 구별하지 못할 수 있다. 따라서, 차량 내 전자 장치는 "음악 애플리케이션의 플레이리스트 내의 다음 곡을 플레이하라는 말씀이셨나요?" 와 같은 운전자의 음성 명령에 관한 파라미터 정보를 검출하기 위한 문의 메시지를 출력할 수 있다. 운전자는 문의 메시지에 관하여 "응. 음악 애플리케이션에서 다음 곡 플레이"와 같은 추가 음성 명령을 발화해야만 한다.
전술한 예시에서, 음성 내비게이션에 차량의 전자 장치가 활용됨에 따라 운전자와의 인터랙션(interaction)이 증가하기 때문에 운전자의 피로도가 증가할 수 있고, 주의력이 분산되어 사고 위험성이 증가된다. 또한, 번거로움 때문에, 운전자가 음성 인식 기능을 활용하지 못할 수 있다.
또한, 음성 명령어 리스트의 디스플레이를 포함하는 음성 액세스 애플리케이션은 복수의 정보의 표시를 필요로 하고, 이는 주의 산만 운행(distracted driving)을 유발할 수 있다. 여기에 디스플레이되는 정보는 전체 명령어 리스트를 추가로 디스플레이하며, 정보를 선택적으로 디스플레이하기 위하여 사용자, 운전자, 탑승자, 환경 및 컨텍스트를 고려하지 않는다.
본 개시는 음성 인식을 위한 운전자와 전자 장치 간의 필요한 인터랙션의 양(requisite quantity of interactions)을 감소시키는 차량 및 전자 장치를 제공한다. 본 개시는 전자 장치 또는 차량의 기능에 대한 음성 명령을 시각적으로 표시함으로써, 사용자 인터페이스(User Interface) 인터랙션에 대한 더 많은 가이드를 제공함으로써 음성 인식의 정확도를 증가시킨다.
상술한 기술적 과제를 해결하기 위하여 본 개시의 일 실시예는 차량에 탑재되는 전자 장치를 제공한다. 전자 장치는 디스플레이부, 차량 또는 전자 장치의 하나 또는 그 이상의 기능을 실행하기 위한 음성 입력에 의해 실행 가능한(executable) 음성 명령어를 저장하는 메모리, 및 하나 또는 그 이상의 명령어들을 실행하도록 구성되는 프로세서를 포함하고, 상기 프로세서는 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나를 획득하고, 획득된 상기 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 기초하여 적어도 하나의 음성 명령어를 간소화한 적어도 하나의 단축 명령어를 생성하고, 상기 적어도 하나의 단축 명령어를 표시하는 적어도 하나의 음성 명령어 가이드 UI(User Interface)를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
일 실시 예에서, 상기 프로세서는 탑승자의 사용자 식별 정보(user identification information) 및 사용 이력 정보를 획득하고, 상기 사용자 식별 정보 및 사용 이력 정보로부터 상기 탑승자가 자주 사용하는 애플리케이션 정보를 획득하고, 상기 획득된 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어를 간소화함으로써 상기 적어도 하나의 단축 명령어를 생성할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 디스플레이 출력 정보로부터 상기 디스플레이부 상에 출력되는 적어도 하나의 그래픽 UI(GUI)가 나타내는 기능을 인식하고, 상기 인식된 기능을 자연어로 변환함으로써, 상기 적어도 하나의 GUI 각각에 대응되는 상기 적어도 하나의 단축 명령어를 생성할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 적어도 하나의 음성 명령어 가이드 UI를 상기 적어도 하나의 음성 명령어 가이드 UI 각각에 대응되는 기능을 나타내는 적어도 하나의 그래픽 UI의 인접한 위치에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
일 실시 예에서, 상기 디스플레이부는 상기 차량에 포함되는 탑승석들에 대응하는 복수의 디스플레이들을 포함하고, 상기 프로세서는 상기 차량에 탑승한 탑승자로부터 음성 인식 기능을 활성화하는 사용자 입력을 수신하고, 사용자 입력에 응답하여 상기 복수의 디스플레이들 중 상기 탑승자가 탑승한 탑승석에 대응하는 디스플레이의 음성 인식 기능을 활성화하고, 상기 디스플레이 상에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 차량 주행 정보에 포함되는 상기 차량의 현재 위치, 주행 도로, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정하고, 상기 차량 주행 정보, 상기 탑승자 정보, 상기 디스플레이 출력 정보, 및 결정된 상기 안전 속도 중 적어도 하나에 기초하여 상기 음성 명령어 가이드 UI의 가중치를 결정하고, 상기 결정된 가중치에 기초하여 상기 음성 명령어 가이드 UI의 표시 여부, 표시 위치, 및 표시 크기를 결정할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 차량의 주행 정보로부터 차량의 주행 속도가 상기 안전 속도 이상인지 여부를 인식하고, 상기 차량의 주행 속도의 인식 결과에 기초하여, 상기 차량의 주행과 관련되는 기능을 실행하기 위한 적어도 하나의 제1 음성 명령어 가이드 UI의 가중치 및 상기 차량의 주행과 관련되지 않는 편의 기능을 실행하기 위한 적어도 하나의 제2 음성 명령어 가이드 UI의 가중치를 조절할 수 있다.
일 실시 예에서, 상기 프로세서는 상기 디스플레이부 상에 디스플레이되는 그래픽 UI를 오버레이하는 팝 업 메시지(pop-up message)가 출력되는 경우, 상기 팝 업 메시지를 상기 디스플레이부 상에서 제거하기 위한 기능을 실행하는 음성 명령어 가이드 UI의 가중치를 조절할 수 있다.
일 실시 예에서, 상기 프로세서는 탑승자의 위치와 상기 디스플레이부 사이의 거리에 기초하여 상기 디스플레이부 상에서 상기 적어도 하나의 음성 명령어 가이드 UI가 디스플레이되는 영역을 결정하고, 상기 결정된 영역에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
일 실시 예에서, 상기 전자 장치는 탑승자에 의해 발화된 음성 입력을 수신하는 마이크로폰을 더 포함하고, 상기 프로세서는 상기 마이크로폰을 통해 수신된 음성 입력과 상기 적어도 하나의 음성 명령어 가이드 UI가 나타내는 상기 적어도 하나의 단축 명령어를 비교함으로써, 상기 음성 입력과 대응되는 단축 명령어를 식별하고, 상기 식별된 단축 명령어에 대응되는 기능을 실행할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 차량에 탑재된 전자 장치의 동작 방법을 제공한다. 상기 방법은, 차량 또는 전자 장치의 하나 또는 그 이상의 기능을 실행하기 위하여 음성 입력에 의해 실행 가능한 음성 명령어를 메모리에 저장하는 단계, 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나를 획득하는 단계, 상기 획득된 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 기초하여, 적어도 하나의 음성 명령어를 간소화한 적어도 하나의 단축 명령어를 생성하는 단계, 및 생성된 상기 적어도 하나의 단축 명령어를 표시하는 적어도 하나의 음성 명령어 가이드 UI(User Interface)를 디스플레이하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 적어도 하나의 정보를 획득하는 단계는 탑승자의 사용자 식별 정보(user identification information) 및 사용 이력 정보를 획득하는 단계, 및 상기 사용자 식별 정보 및 사용 이력 정보로부터 상기 탑승자가 자주 사용하는 애플리케이션 정보를 획득하는 단계를 포함하고, 상기 적어도 하나의 단축 명령어를 생성하는 단계에서 상기 전자 장치는 상기 획득된 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어를 간소화함으로써 상기 적어도 하나의 단축 명령어를 생성할 수 있다.
일 실시 예에서, 상기 적어도 하나의 정보를 획득하는 단계에서 상기 전자 장치는 디스플레이부 상에 출력되는 적어도 하나의 그래픽 UI(GUI)가 나타내는 기능을 인식하는 단계를 포함하고, 상기 적어도 하나의 단축 명령어를 생성하는 단계는 상기 인식된 기능을 자연어로 변환함으로써, 상기 적어도 하나의 GUI 각각에 대응되는 상기 적어도 하나의 단축 명령어를 생성할 수 있다.
일 실시 예에서, 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계에서 상기 전자 장치는 상기 적어도 하나의 음성 명령어 가이드 UI를 상기 적어도 하나의 음성 명령어 가이드 UI 각각에 대응되는 기능을 나타내는 적어도 하나의 그래픽 UI의 인접한 위치에 각각 디스플레이할 수 있다.
일 실시 예에서, 상기 전자 장치는 상기 차량에 포함되는 운전석, 조수석, 및 뒷좌석 각각에 대응되는 복수의 디스플레이들을 포함하고, 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계는 상기 운전석, 조수석, 및 뒷좌석 중 적어도 하나에 탑승한 탑승자로부터 음성 인식 기능을 활성화하는 사용자 입력을 수신하는 단계, 상기 사용자 입력에 응답하여 상기 복수의 디스플레이들 중 상기 운전석, 조수석, 및 뒷좌석 중 상기 탑승자가 탑승한 탑승석에 대응되는 디스플레이의 음성 인식 기능을 활성화하는 단계, 및 상기 디스플레이 상에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 방법은 상기 차량 주행 정보에 포함되는 상기 차량의 현재 위치, 주행 도로, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정하는 단계를 더 포함하고, 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계는 상기 차량 주행 정보, 상기 탑승자 정보, 상기 디스플레이 출력 정보, 및 결정된 상기 안전 속도 중 적어도 하나에 기초하여 상기 적어도 하나의 음성 명령어 가이드 UI 각각의 가중치를 결정하는 단계, 상기 결정된 가중치에 기초하여 상기 적어도 하나의 음성 명령어 가이드 UI의 표시 여부, 표시 위치, 및 표시 크기를 결정하는 단계, 및 결정된 개수, 위치, 및 크기에 따라 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 적어도 하나의 정보를 획득하는 단계는 상기 차량의 주행 정보로부터 차량의 주행 속도가 상기 안전 속도 이상인지 여부를 인식하는 단계를 포함하고, 상기 적어도 하나의 음성 명령어 가이드 UI의 가중치를 결정하는 단계에서 상기 전자 장치는 상기 차량의 주행 속도의 인식 결과에 기초하여, 상기 차량의 주행과 관련되는 기능을 실행하기 위한 적어도 하나의 제1 음성 명령어 가이드 UI의 가중치 및 상기 차량의 주행과 관련되지 않는 편의 기능을 실행하기 위한 적어도 하나의 제2 음성 명령어 가이드 UI의 가중치를 조절할 수 있다.
일 실시 예에서, 상기 적어도 하나의 음성 명령어 가이드 UI의 가중치를 결정하는 단계에서 상기 디스플레이부 상에 디스플레이되는 그래픽 UI를 오버레이하는 팝 업 메시지(pop-up message)가 출력되는 경우, 상기 전자 장치는 상기 팝 업 메시지를 상기 디스플레이부 상에서 제거하기 위한 기능을 실행하는 음성 명령어 가이드 UI의 가중치를 조절할 수 있다.
일 실시 예에서, 상기 적어도 하나의 정보를 획득하는 단계는 탑승자의 탑승 위치에 관한 정보를 획득하는 단계를 포함하고, 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계는 상기 탑승자의 탑승 위치 정보에 따른 상기 탑승자와 상기 디스플레이부 사이의 거리에 기초하여, 상기 디스플레이부 상에서 상기 적어도 하나의 음성 명령어 가이드 UI가 디스플레이되는 영역을 결정하는 단계, 및 상기 결정된 영역에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
도 1은 본 개시의 전자 장치가 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 구성 요소를 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치 및 차량 센서 모듈을 도시한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 5는 본 개시의 전자 장치가 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 6은 본 개시의 전자 장치가 사용자의 식별 정보에 따라 자주 사용하는 애플리케이션의 기능과 관련된 단축 명령어들을 생성하는 실시예를 도시한 도면이다.
도 7은 본 개시의 전자 장치가 복수의 디스플레이부 중 사용자에 의해 음성 인식 기능이 활성화된 디스플레이부에 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 8은 본 개시의 전자 장치가 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 흐름도이다.
도 9a는 본 개시의 전자 장치가 주행 속도에 따라 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 9b는 본 개시의 전자 장치가 주행 속도에 따라 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 10은 본 개시의 전자 장치가 주행 속도 및 안전 속도에 기초하여 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 흐름도이다.
도 11은 본 개시의 전자 장치가 팝 업 메시지와 관련된 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 12는 본 개시의 전자 장치가 디스플레이부 상의 일부 영역에 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 13은 본 개시의 전자 장치가 HUD(Head Up Display)를 통해 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 14는 본 개시의 전자 장치가 음성 인식 기능을 수행하는 실시예를 도시한 흐름도이다.
도 15는 본 개시의 전자 장치가 인공 지능 기술을 이용하여 수행하는 동작을 설명하기 위한 도면이다.
도 16은 본 개시의 전자 장치가 서버와 연동하여 동작하는 개시된 실시예를 도시한 도면이다.
도 17은 도 16을 상세하게 설명하기 위한 도면이다.
본 개시의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 개시에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시에서 '차량'은 도로 위를 주행하는 모든 종류의 차를 의미하고, 특히 전자 장치가 탑재된 차를 의미한다.
본 개시에서 '음성 입력'은 차량 내에 탑승한 운전자, 조수석 탑승자, 또는 뒷좌석 탑승자 중 적어도 하나의 탑승자에 의해 발화되고, 전자 장치의 음성 입력부(예를 들어, 마이크로폰)를 통해 수신되는 입력을 의미한다.
본 개시에서 '음성 명령어'는 탑승자에 의해 발화되는 음성 입력으로서, 차량 또는 전자 장치의 기능 및/또는 동작을 실행하기 위한 명령어를 의미한다. 음성 명령어는 예를 들어, "~~(목적지)까지 이동 경로 알려줘" 또는 "다음 노래 틀어줘"일 수 있다.
본 개시에서 '단축 명령어'는 차량 또는 전자 장치의 기능 및/또는 동작을 실행하기 위한 명령어의 키워드만을 추출함으로써 생성된 단축된 명령어를 의미한다. 예를 들어, 네비게이션 애플리케이션에서 목적지까지 이동 경로를 알고 싶은 경우 단축 명령어는 '목적지'이고, 음악 애플리케이션에서 다음 곡을 듣고 싶은 경우 단축 명령어는 '다음곡'일 수 있다.
본 개시에서 '단축 명령어 리스트'는 적어도 하나의 단축 명령어를 포함하는 리스트이다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1은 본 개시의 전자 장치(1000)가 음성 명령어 가이드 UI(101, 102, 103, 104)를 디스플레이하는 실시예를 도시한 개념도이다.
도 1을 참조하면, 전자 장치(1000)는 차량 내에 배치되고, 디스플레이부(1610)를 포함할 수 있다. 일 실시예에서, 디스플레이부(1610)는 CID(Center Information Display)를 포함할 수 있으나, 이에 한정되는 것은 아니다. 디스플레이부(1610)는 예를 들어, 네비게이션 장치, 계기판 디스플레이, HUD(Head Up Display), 또는 조수석 디스플레이 중 적어도 하나로 구성될 수 있다.
전자 장치(1000)는 디스플레이부(1610) 상에 애플리케이션의 기능을 실행하기 위한 음성 명령어의 발화를 유도하는 음성 명령어 가이드 UI(101, 102, 103, 104)를 디스플레이할 수 있다. '음성 명령어 가이드 UI(101, 102, 103, 104)'는 애플리케이션을 통해 제공되는 차량 또는 전자 장치(1000)의 기능을 실행하기 위하여 탑승자의 발화를 유도하는 음성 명령어를 표시하는 UI를 포함하고, 문자, 숫자, 또는 기호를 포함할 수 있다. 일 실시예에서, 음성 명령어 가이드 UI(101, 102, 103, 104)는 그래픽 UI(Graphic User Interface)(예를 들어, GUI 엘리먼트)를 포함할 수 있다. 음성 명령어 가이드 UI(101, 102, 103, 104)는 하나 또는 그 이상의 복수 개로 구성될 수 있다.
전자 장치(1000)는 애플리케이션의 기능을 실행하기 위한 사용자 입력을 수신하는 기능 UI(111, 112, 113, 114)를 디스플레이할 수 있다. 일 실시예에서, 기능 UI(111, 112, 113, 114)는 애플리케이션의 실행 화면을 표시하는 위젯, 애플리케이션의 기능을 나타내는 아이콘, 또는 버튼 UI 중 적어도 하나를 포함할 수 있다.
음성 명령어 가이드 UI(101, 102, 103, 104)는 대응되는 기능 UI(111, 112, 113, 114)와 인접한 위치에 배치되고, 디스플레이될 수 있다. 도 1에 도시된 실시예에서, 음악 애플리케이션의 실행을 위한 제1 UI(111)와 인접한 위치에는 '음악'이라는 음성 명령어를 수신하기 위한 문자로 구성되는 제1 음성 명령어 가이드 UI(101)가 디스플레이될 수 있다. 또한, 이전 곡을 플레이하기 위한 버튼형 그래픽 UI인 제2 UI(112)와 인접한 위치에는 '이전곡'이라는 문자로 구성되는 제2 음성 명령어 가이드 UI(102)가, 플레이(또는 정지(pause))를 위한 버튼형 그래픽 UI인 제3 UI(113)와 인접한 위치에는 '플레이'라는 문자로 구성되는 제3 음성 명령어 가이드 UI(103)가, 다음 곡을 플레이하기 위한 버튼형 그래픽 UI인 제4 UI(114)와 인접한 위치에는 '다음곡'이라는 문자로 구성되는 제4 음성 명령어 가이드 UI(104)가 각각 디스플레이될 수 있다. 도 1에 도시된 실시예에서, 음성 명령어 가이드 UI(101, 102, 103, 104)는 상술한 '음악', '이전곡', '플레이', '다음곡' 외에 '네비', '줌 인', '줌 아웃', '날씨', '에어컨', '온도 업', 또는 '온도 다운'을 더 포함할 수 있다 (예를 들어, 도 12의 메뉴 내의 123, 124, 전화(125) 및 즐겨찾기(126)와 인접).
전자 장치(1000)는 운전자로부터 음성 인식 기능을 활성화하는 사용자 입력을 수신하고, 수신된 사용자 입력에 따라 대기 모드에서 음성 명령어를 수신하는 음성 인식 모드로 전환될 수 있다. 전자 장치(1000)는 예를 들어, 음성 인식 기능을 실행하기 위한 버튼 입력 또는 디스플레이부(1610) 상에 디스플레이되는 음성 명령과 관련된 GUI 엘리먼트를 통한 터치 입력을 수신할 수 있다. 전자 장치(1000)는 사용자 입력을 수신함에 따라, 음성 입력을 수신하기 위한 음성 인식 UI(120)를 디스플레이할 수 있다. 전자 장치(1000)는 음성 인식 UI(120)를 통해 운전자에 의해 발화된 음성 입력을 수신할 수 있다. 도 1에 도시된 실시예에서, 전자 장치(1000)는 운전자에 의해 발화된 '다음 곡'이라는 음성 입력을 수신할 수 있다.
전자 장치(1000)는 수신된 음성 입력을 디스플레이부(1610) 상에 디스플레이된 음성 명령어 가이드 UI(101, 102, 103, 104)와 각각 비교함으로써, 대응되는 음성 명령어 가이드 UI(101, 102, 103, 104)를 식별할 수 있다. 도 1에 도시된 실시예에서, 전자 장치(1000)는 '다음 곡'이라는 음성 입력을 수신하고, 복수의 음성 명령어 가이드 UI(101, 102, 103, 104) 중 수신된 음성 입력과 대응되는 제4 음성 명령어 가이드 UI(104) "다음 곡"을 식별할 수 있다. 이에 따라, 전자 장치(1000)는 제4 음성 명령어 가이드 UI(104)가 나타내는 기능인 '다음 곡 플레이 기능'을 실행할 수 있다.
특정 구현(certain implementations)에서, 차량의 전자 장치에 의해 제공되는 음성 인식 에이전트의 경우, 실행 가능한 기능에 관한 음성 명령어 리스트에 관한 안내를 제공하는 것에 실패하고, 이로 인하여 운전자 또는 탑승자는 어떠한 음성 명령을 발화해야 원하는 기능이 실행되는지를 정확하게 알 수 없다. 따라서, 운전자가 특정 음성 명령어를 발화하면, 차량의 전자 장치는 발화에 대응되는 기능을 실행하기 위하여 필요한 파라미터(parameter)를 문의하고, 운전자는 문의에 따라 특정 파라미터를 발화하여야 하는 번거로움이 있다. 예를 들어, 운전자가 음악 애플리케이션을 통해 현재 듣고 있는 곡에서 다음 곡을 플레이하고 싶은 경우, 운전자는 "다음 곡 틀어줘~"라는 음성 명령을 발화할 수 있다. 이 경우, 차량 내 전자 장치는 운전자의 음성 명령과 관련하여, 음악 애플리케이션과 관련된 발화인지, 현재 플레이되고 있는 곡의 다음 곡을 의미하는지, 아니면 곡의 이름이 '다음곡'인지 여부를 정확하게 알 수 없다. 따라서, 차량 내 전자 장치는 "음악 애플리케이션에서 현재 플레이되고 있는 곡의 다음 곡을 플레이하라는 말씀이신가요?" 와 같은 운전자의 음성 명령에 관한 파라미터 정보를 획득 또는 확인하기 위한 문의 메시지를 출력할 수 있다. 운전자는 문의 메시지에 관하여 "응. 음악 애플리케이션에서 다음 곡 플레이"와 같은 추가 음성 명령을 발화해야만 한다. 전술한 예시에서, 운전자는 음성 인식 기능을 이용함에 있어서 차량의 전자 장치와의 인터랙션(interaction)이 증가하고, 이로 인하여 운전자의 피로도가 감소되며, 주의력이 분산되어 사고 위험성이 증가되는 문제점이 있다. 또한, 추가적인 파라미터 정보를 입력해야 하는 번거로움 때문에, 운전자가 음성 인식 기능을 활용하는 빈도수가 떨어질 수 있다.
도 1에 도시된 실시예에 따른 전자 장치(1000)는 애플리케이션에 의해 제공되는 기능 각각에 대하여 음성 명령을 발화하도록 유도하는 음성 명령어 가이드 UI(101, 102, 103, 104)를 디스플레이할 수 있다. 이에 따라, 운전자 또는 탑승자가 실행하고자 하는 기능을 직관적으로 이해할 수 있도록 하고, 기능 인식도 및 사용자 편의성을 향상시키는 효과가 있다. 또한, 본 개시의 전자 장치(1000)는 기능을 실행하기 위하여 추가적인 파라미터 정보를 발화할 것을 요구하지 않고, 음성 명령어 가이드 UI(101, 102, 103, 104)를 통해 제공되는 음성 명령어에 매칭되는 발화를 수신함에 따라 기능을 실행하므로, 전자 장치(1000)와의 인터랙션을 감소시킬 수 있고, 운전자의 집중력 분산을 감소시킬 수 있다.
또한, 본 개시의 일 실시예에 따른 전자 장치(1000)는, 디스플레이부(1610)가 대화면 디스플레이인 경우, 또는 복수의 디스플레이부를 포함하는 멀티 디스플레이인 경우, 또는, 운전자 또는 탑승자가 직접 기능 UI(111, 112, 113, 114)를 터치하기 어려운 경우, 음성 명령어 가이드 UI(101, 102, 103, 104)에 표시되는 음성 명령어를 발화함으로써 관련 기능을 실행시킬 수 있다. 이에 따라, 보이스 터치(voice touch)와 같은 사용자 경험(User eXperience; UX)을 제공할 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치(1000)의 구성 요소를 도시한 블록도이다.
도 2를 참조하면, 전자 장치(1000)는 통신 인터페이스(1100), 프로세서(1200), 메모리(1300), 단축 명령어 데이터베이스(1400), 입력부(1500)(예를 들어, 입력 회로), 및 출력부(1600)(예를 들어, 출력 회로)를 포함할 수 있다. 통신 인터페이스(1100), 프로세서(1200), 메모리(1300), 단축 명령어 데이터베이스(1400), 입력부(1500), 및 출력부(1600)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다.
도 2에 도시된 구성 요소는 본 개시의 일 실시예에 따른 것일 뿐, 전자 장치(1000)가 포함하고 있는 구성 요소가 도 2에 도시된 것으로 한정되는 것은 아니다. 전자 장치(1000)는 도 2에 도시된 구성 요소 중 일부를 포함하지 않을 수 있고, 도 2에 도시되지 않은 구성 요소를 더 포함할 수도 있다. 예를 들어, 전자 장치(1000)는 차량의 현재 위치에 관한 정보를 획득하기 위한 GPS 센서 또는 탑승자의 위치를 인식하기 위한 적외선 센서를 더 포함할 수 있다.
통신 인터페이스(1100)는 차량 센서 모듈(200, 도 3 참조), 서버 또는 외부 디바이스와 데이터 통신을 수행하도록 구성된다. 통신 인터페이스(1100)는 CAN 통신 모듈(1110) 및 데이터 통신 모듈(1120)을 포함할 수 있다.
CAN(Controller Area Network) 통신 모듈(1110)은 차량에 탑재된 차량 센서 모듈(200)과 CAN 통신을 수행할 수 있다. CAN 통신 모듈(1110)은 CAN 통신을 통해 차량 센서 모듈(200)로부터 차량의 현재 위치, 주행 중인 도로, 또는 주행 속도 중 적어도 하나를 포함하는 주행 관련 정보를 수신할 수 있다. 일 실시예에서, CAN 통신 모듈(1110)은 차량의 시트 센서(230, 도 3 참조)로부터 차량 내 운전석, 조수석, 및 뒷좌석 각각에 탑승한 탑승자 정보를 수신할 수도 있다. 일 실시예에서, CAN 통신 모듈(1110)은 차량의 적외선 센서(240, 도 3 참조)로부터 탑승자의 탑승 위치에 따른 탑승자와 디스플레이부(1610) 사이의 거리에 관한 정보를 수신할 수도 있다. CAN 통신 모듈(1110)은 수신된 주행 정보, 탑승자 정보, 탑승자와 디스플레이부(1610) 간의 거리 정보를 프로세서(1200)에 제공할 수 있다.
차량 센서 모듈(200)에 관해서는 도 3에서 상세하게 설명하기로 한다.
데이터 통신 모듈(1120)은 차량 외부의 서버 또는 외부 디바이스와 데이터 통신을 수행하도록 구성된다. 데이터 통신 모듈(1120)은 예를 들어, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), 또는 블루투스와 같은 근거리 무선 데이터 통신 뿐만 아니라, CDMA, WCDMA, 3G, 4G, 및/또는 5G, 밀리미터파(mmWAVE)와 같은 이동 통신 네트워크를 이용하여 데이터 송수신을 수행할 수 있다. 일 실시예에서, 데이터 통신 모듈(1120)은 서버로부터 교통 정보, 도로 정보(예를 들어, 어린이 보호 구역, 고속 도로, 일반 도로, 지방 국도 등), 또는 안전 속도 정보를 수신할 수 있다. 다른 실시예에서, 데이터 통신 모듈(1120)은 서버로부터 애플리케이션의 실행을 위하여 필요한 데이터 또는 애플리케이션을 업데이트하기 위한 데이터 등을 수신할 수도 있다.
프로세서(1200)는 메모리(1300)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행할 수 있다. 프로세서(1200)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1200)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), 애플리케이션 프로세서(Application Processor), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다. 일 실시예에서, 프로세서(1200)는 인공 지능(Artificial Intelligence; AI) 학습을 수행하는 전용 하드웨어 칩으로 구성될 수도 있다.
프로세서(1200)는 하나 또는 그 이상의 복수 개의 하드웨어로 구성될 수 있다.
메모리(1300)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 롬(ROM, Read-Only Memory), 및 EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나를 포함하는 비휘발성 메모리 및 램(RAM, Random Access Memory) 또는 SRAM(Static Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다.
메모리(1300)에는 프로세서(1200)가 판독할 수 있는 명령어들(instructions), 데이터 구조, 및 프로그램 코드(program code)가 저장될 수 있다. 이하의 실시예에서, 프로세서(1200)는 메모리(1300)에 저장된 프로그램의 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다.
프로세서(1200)는 CAN 통신 모듈(1110)을 통해 차량의 주행 정보 및 탑승자 정보 중 적어도 하나를 획득할 수 있다. 일 실시예에서, 프로세서(1200)는 차량의 현재 위치, 주행 중인 도로, 또는 주행 속도 중 적어도 하나를 포함하는 주행 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1200)는 CAN 통신 모듈(1110)로부터 차량 내 운전석, 조수석, 및 뒷좌석 각각에 탑승한 탑승자 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1200)는 탑승자가 전자 장치(1000)에 로그인하는 과정에서 입력한 사용자 식별 정보(user id)에 기초하여 탑승자 정보를 획득할 수도 있다.
프로세서(1200)는 디스플레이부(1610) 상에 디스플레이되고 있는 기능 UI(111, 112, 113, 114, 도 1 참조)에 관한 정보를 포함하는 디스플레이 출력 정보를 획득할 수 있다.
프로세서(1200)는 획득된 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 기초하여, 차량 또는 전자 장치(1000)가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성할 수 있다. 여기서, '단축 명령어'는 차량 또는 전자 장치(1000)의 기능 및/또는 동작을 실행하기 위하여 탑승자로부터 수신되는 음성 명령어 중 키워드만을 추출하여 생성되는 간소화된 명령어를 의미한다. 단축 명령어는 차량 또는 전자 장치(1000)의 애플리케이션에 의해 제공되는 하나 또는 그 이상의 기능에 각각 대응되는 하나 또는 그 이상의 복수 개일 수 있다. 일 실시예에서, 프로세서(1200)는 음성 명령어 중 기능을 실행하기 위하여 필수적인 핵심 명령어들만을 포함하도록 간소화함으로써, 단축 명령어를 생성할 수 있다. 예를 들어, 네비게이션 애플리케이션에서 목적지까지 이동 경로를 결정하기 위한 음성 명령어가 "목적지까지 이동 경로 알려줘~" 인 경우, 프로세서(1200)는 음성 명령어 중 기능을 실행하기 위한 핵심 명령어인 '목적지'를 단축 명령어로 생성할 수 있다. 다른 예를 들어, 음악 애플리케이션에서 다음 곡을 플레이하기 위한 음성 명령어가 "다음 곡 틀어줘~"인 경우, 프로세서(1200)는 음성 명령어 중 기능을 실행하기 위한 핵심 명령어인 '다음곡'을 단축 명령어로 생성할 수 있다.
프로세서(1200)는 디스플레이 출력 정보로부터 기능 UI가 나타내는 기능을 인식하고, 인식된 기능을 자연어로 변환함으로써 기능 UI에 각각 대응되는 적어도 하나의 단축 명령어를 생성할 수 있다. 일 실시예에서, 프로세서(1200)는 디스플레이부(1610) 상에서 디스플레이되고 있는 적어도 하나의 기능과 관련된 그래픽 UI 각각의 기능을 식별할 수 있다. 예를 들어, 프로세서(1200)는 애플리케이션을 구성하는 소프트웨어의 플랫폼 레이어(platform layer)에서 UI Framework의 resource name을 검색함으로써, 그래픽 UI 각각에 관한 기능 정보를 획득하고, 획득된 기능 정보를 자연어로 변환하여 적어도 하나의 단축 명령어를 생성할 수 있다. 다른 예를 들어, 프로세서(1200)는 애플리케이션의 API(Application Programmable Interface)를 분석함으로써, 그래픽 UI 각각에 대응되는 기능에 관한 정보를 획득하고, 기능 정보를 자연어로 변환하여 적어도 하나의 단축 명령어를 생성할 수 있다. 일 실시예에서, 프로세서(1200)는 애플리케이션의 실행 화면에 포함되는 위젯 또는 아이콘을 인식하고, 인식된 위젯 또는 아이콘에 관한 적어도 하나의 단축 명령어를 생성할 수도 있다.
그러나, 이에 한정되는 것은 아니고, 프로세서(1200)는 이미지 프로세싱(image processing)을 통해, 디스플레이부(1610) 상에 디스플레이되는 아이콘 또는 위젯을 포함하는 그래픽 UI가 나타내는 기능 정보를 식별하고, 식별된 기능 정보를 자연어로 변환하여 적어도 하나의 단축 명령어를 생성할 수도 있다.
프로세서(1200)는 탑승자가 자주 사용하는 애플리케이션 또는 애플리케이션의 기능을 실행하기 위한 명령어들을 간소화함으로써, 단축 명령어를 생성할 수 있다. 일 실시예에서, 프로세서(1200)는 로그인 과정을 통해 획득한 탑승자의 식별 정보(user id)로부터 탑승자의 사용 이력 정보를 획득하고, 탑승자의 사용자 식별 정보 및 사용 이력 정보에 기초하여 탑승자가 자주 사용하는 애플리케이션 정보를 획득할 수 있다. 프로세서(1200)는 탑승자가 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어들로부터 핵심 키워드들만을 추출하여, 적어도 하나의 단축 명령어를 생성할 수 있다. 프로세서(1200)가 탑승자의 사용 이력 정보에 기초하여 자주 사용하는 애플리케이션과 관련된 적어도 하나의 단축 명령어를 생성하는 실시예에 대해서는 도 6에서 상세하게 설명하기로 한다.
그러나, 이에 한정되는 것은 아니고, 단축 명령어는 애플리케이션의 기능에 대하여 미리 설정되어 있거나, 또는 사용자로부터 수신된 입력에 의해 결정될 수 있다.
적어도 하나의 단축 명령어는 단축 명령어 데이터베이스(1400)에 저장될 수 있다. 일 실시예에서, 프로세서(1200)는 적어도 하나의 단축 명령어를 관련되는 적어도 하나의 기능 또는 적어도 하나의 애플리케이션 정보와 함께 리스트 형태로 단축 명령어 데이터베이스(1400)에 저장할 수 있다.
프로세서(1200)는 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이부(1610) 상에 디스플레이할 수 있다. '음성 명령어 가이드 UI'는 차량 또는 전자 장치(1000)의 애플리케이션을 통해 제공되는 기능을 실행하기 위하여 탑승자의 발화를 유도하는 음성 명령어를 문자, 숫자, 또는 기호로 표시하는 UI이다. 일 실시예에서, 음성 명령어 가이드 UI는 그래픽 UI(Graphic User Interface)일 수 있다. 음성 명령어 가이드 UI는 하나 또는 그 이상의 복수로 구성될 수 있다.
프로세서(1200)는 적어도 하나의 음성 명령어 가이드 UI 각각을 대응되는 적어도 하나의 기능 UI의 위치에 인접한 영역에 디스플레이할 수 있다. 일 실시예에서, 프로세서(1200)는 적어도 하나의 기능 UI가 디스플레이되는 위치로부터 기 설정된 거리만큼 이격된 위치에 관련되는 적어도 하나의 음성 명령어 가이드 UI를 배치하여 디스플레이할 수 있다. 예를 들어, 음악 애플리케이션의 실행을 위한 제1 UI가 디스플레이되는 위치로부터 기 설정된 거리만큼 이격된 위치에 '음악'이라는 문자로 구성되는 제1 음성 명령어 가이드 UI가 디스플레이될 수 있다. 또한, 이전 곡을 플레이하기 위한 버튼형 그래픽 UI인 제2 UI와 기 설정된 거리만큼 이격된 위치에는 '이전곡'이라는 문자로 구성되는 제2 음성 명령어 가이드 UI가 디스플레이될 수 있다. 프로세서(1200)가 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 구체적인 실시예에 대해서는 도 5에서 상세하게 설명하기로 한다.
프로세서(1200)는 적어도 하나의 음성 명령어 가이드 UI 각각에 가중치를 부여하고, 가중치에 기초하여 디스플레이되는 음성 명령어 가이드 UI의 개수, 위치, 및 크기 중 적어도 하나를 결정할 수 있다. 일 실시예에서, 프로세서(1200)는 차량의 주행 정보, 탑승자 정보, 디스플레이 출력 정보, 및 안전 속도 중 적어도 하나에 기초하여 적어도 하나의 음성 명령어 가이드 UI에 관한 가중치를 결정할 수 있다.
여기서, '안전 속도'는 차량의 주행 정보에 기초하여 결정될 있다. 일 실시예에서, 프로세서(1200)는 차량의 주행 정보로부터 차량의 현재 위치, 주행 중인 도로 정보, 또는 주행 속도 중 적어도 하나의 정보를 획득하고, 획득된 정보에 기초하여 안전 속도를 결정할 수 있다. 일 실시예에서, 안전 속도는 주행 중인 도로의 특성 정보, 예를 들어 어린이 보호 구역, 고속 도로, 또는 지방 도로에 따라 정해진 제한 속도에 의해 결정될 수 있다. 안전 속도는 제한 속도 보다 기 설정된 값 만큼 느린 속도일 수 있다. 예를 들어, 어린이 보호 구역 내의 제한 속도가 30km/h인 경우, 안전 속도는 25km/h이고, 고속 도로의 제한 속도가 110km/h인 경우 안전 속도는 100km/h로 결정될 수 있다. 그러나, 이에 한정되는 것은 아니고, 안전 속도는 도로에 따라 기 설정된 제한 속도와 동일한 속도일 수 있다.
프로세서(1200)는 차량의 주행 속도와 안전 속도를 비교하고, 비교 결과에 따라 적어도 하나의 음성 명령어 가이드 UI의 가중치를 다르게 결정할 수 있다. 일 실시예에서, 주행 속도가 안전 속도를 초과하는 경우, 프로세서(1200)는 운전자가 안전을 위하여 운전에 집중해야 하는 상황으로 판단하고, 주행과 관련된 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치를 높게 조절하고, 주행이 아닌 편의 기능, 예를 들어, 음악 재생과 관련된 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치는 낮게 조절할 수 있다.
일 실시예에서, 프로세서(1200)는 탑승자의 사용 이력 정보에 기초하여, 자주 사용하는 애플리케이션의 기능과 관련된 음성 명령어 가이드 UI의 가중치를 다른 음성 명령어 가이드 UI 보다 높게 설정할 수 있다.
일 실시예에서, 프로세서(1200)는 디스플레이부(1610) 상에 디스플레이되고 있는 아이콘 또는 위젯을 통해 실행되는 애플리케이션과 관련된 음성 명령어 가이드 UI의 가중치를 디스플레이되지 않은 다른 애플리케이션과 관련된 음성 명령어 가이드 UI의 가중치 보다 높게 설정할 수 있다.
일 실시예에서, 프로세서(1200)는 가중치가 기 설정된 임계치 보다 높은 적어도 하나의 음성 명령어 가이드 UI만을 디스플레이할 수 있다. 다른 실시예에서, 프로세서(1200)는 가중치가 높은 적어도 하나의 음성 명령어 가이드 UI를 가중치가 상대적으로 낮은 적어도 하나의 음성 명령어 가이드 UI 보다 큰 크기로 디스플레이할 수 있다. 프로세서(1200)가 차량의 주행 속도와 안전 속도를 비교하여 적어도 하나의 음성 명령어 가이드 UI의 가중치를 조절하고, 조절된 가중치에 기초하여 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 구체적인 실시예에 대해서는 도 8 내지 도 10에서 상세하게 설명하기로 한다.
프로세서(1200)는 차량이 주행 중에만 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하고, 차량이 정차 또는 주차되어 있는 경우에는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하지 않을 수 있다. 일 실시예에서, 프로세서(1200)는 차량 센서 모듈(200, 도 3 참조)의 속도 센서(220, 도 3 참조)로부터 차량의 속도 정보를 획득하고, 차량의 속도가 0km/h이거나 기 설정된 임계 속도(예를 들어, 5km/h) 미만인 경우 차량이 주정차 중이라고 판단하고, 판단 결과에 따라 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하지 않을 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(1200)는 차량의 속도와 관계없이 적어도 하나의 음성 명령어 가이드 UI를 디스플레이할 수도 있다.
애플리케이션에서 오류가 발생되거나, 업데이트를 요하는 상황이거나, 또는 인근 도로에서 사고가 발생하는 등의 이벤트 발생 시 디스플레이부(1610) 상에 경고 메시지가 표시될 수 있다. 경고 메시지는 팝 업 메시지(pop-up message) 형태로 기능 UI 또는 적어도 하나의 음성 명령어 가이드 UI를 오버레이하여 디스플레이될 수 있다. 이 경우, 탑승자는 디스플레이부(1610) 상에 표시되는 기능 UI 및 적어도 하나의 음성 명령어 가이드 UI를 볼 수 없게 되는 문제점이 발생된다. 프로세서(1200)는 팝 업 메시지를 디스플레이부(1610) 상에서 보이지 않도록 제거하는 기능과 관련된 음성 명령어 가이드 UI의 가중치를 높일 수 있다. 일 실시예에서, 프로세서(1200)는 팝 업 메시지를 제거하는 기능을 실행하기 위한 음성 명령어 가이드 UI의 가중치를 나머지 적어도 하나의 음성 명령어 가이드 UI의 가중치 보다 높도록 최대값으로 설정할 수 있다. 프로세서(1200)가 팝 업 메시지를 제거하는 음성 명령어 가이드 UI의 가중치를 설정하는 구체적인 실시예는 도 11에서 상세하게 설명하기로 한다.
프로세서(1200)는 탑승자의 위치와 디스플레이부(1610) 사이의 거리에 기초하여, 디스플레이부(1610) 상에서 적어도 하나의 음성 명령어 가이드 UI가 디스플레이되는 영역을 결정할 수 있다. 일 실시예에서, 프로세서(1200)는 CAN 통신 모듈(1110)로부터 탑승자의 위치 정보를 획득하거나, 또는 전자 장치(1000)에 포함되는 적외선 센서를 통해 탑승자의 위치 정보를 획득할 수 있다. 프로세서(1200)는 탑승자의 위치 정보를 이용하여, 탑승자와 디스플레이부(1610) 사이의 거리를 측정할 수 있다. 일 실시예에서, 디스플레이부(1610)는 복수의 영역으로 구분되고, 프로세서(1200)는 복수의 영역 중 탑승자와의 거리가 상대적으로 먼 영역에만 적어도 하나의 음성 명령어 가이드 UI를 디스플레이할 수 있다. 프로세서(1200)가 탑승자와 디스플레이부(1610) 사이의 거리에 기초하여 디스플레이부(1610)의 일부 영역에만 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 구체적인 실시예에 대해서는 도 12에서 상세하게 설명하기로 한다.
프로세서(1200)는 마이크로폰(1520)을 통해 탑승자에 의해 발화된 음성 입력을 수신하고, 수신된 음성 입력을 디스플레이되는 적어도 하나의 음성 명령어 가이드 UI와 비교함으로써, 음성 입력과 매칭되는 음성 명령어 가이드 UI를 식별할 수 있다. 프로세서(1200)는 식별된 음성 명령어 가이드 UI에 대응되는 단축 명령어를 식별하고, 단축 명령어에 해당되는 기능을 실행하도록 관련 장치들을 제어할 수 있다. 일 실시예에서, 프로세서(1200)는 음성 입력과 매칭되는 음성 명령어 가이드 UI를 식별하지 못한 경우, 서버에 음성 입력에 관한 데이터를 전송할 수 있다. 프로세서(1200)가 음성 인식 기능을 수행하는 구체적인 실시예에 대해서는 도 14에서 상세하게 설명하기로 한다.
단축 명령어 데이터베이스(1400)는 적어도 하나의 단축 명령어들을 저장하는 저장소이다. 단축 명령어 데이터베이스(1400)는 비휘발성 메모리로 구성될 수 있다. 비휘발성 메모리(Non-volatile memory)는 전원이 공급되지 않은 상태에서도 정보를 저장 및 유지하고, 전원이 공급되면 다시 저장된 정보를 사용할 수 있는 기억 매체를 의미한다. 비휘발성 메모리는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), SSD(Solid State Drive), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 자기 메모리, 자기 디스크, 또는 광디스크 중 적어도 하나를 포함할 수 있다.
도 2에서 단축 명령어 데이터베이스(1400)는 전자 장치(1000) 내에 포함되는 구성 요소로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 단축 명령어 데이터베이스(1400)는 전자 장치(1000)에 포함되지 않은 외장 메모리 형태(예를 들어, SD 또는 XD 메모리 등)로 구현되거나 또는 데이터 통신 모듈(1120)을 통해 유무선 네트워크로 연결되는 웹 기반 저장 매체로 구현될 수도 있다.
입력부(1500)는 차량 내 탑승자(운전자, 조수석 탑승자, 및 뒷좌석 탑승자 중 적어도 1명의 탑승자)로부터 입력을 수신하도록 구성된다. 입력부(1500)는 음성 인식 기능 입력부(1510) 및 마이크로폰(1520)을 포함할 수 있다.
음성 인식 기능 입력부(1510)는 음성 인식 기능을 실행하는 사용자 입력을 수신하도록 구성된다. 일 실시예에서, 음성 인식 기능 입력부(1510)는 하드웨어 버튼으로써, 차량의 스티어링 휠에 배치되거나 또는 대시보드(dashboard) 상에 배치될 수 있다. 그러나, 이에 한정되는 것은 아니고, 음성 인식 기능 입력부(1510)는 디스플레이부(1610) 상에 디스플레이되는 그래픽 UI일 수도 있다.
또한, 실시예에 따라, 음성 인식 기능 입력부(1510)는 전자 장치(1000)에 포함되지 않을 수 있다. 이 경우, 마이크로폰(1520)을 통해 수신된 웨이크 업 음성에 기초하여 음성 인식 기능이 실행될 수 있다. 웨이크 업 음성은 전자 장치(1000)가 음성 인식 기능을 수행하도록 웨이크 업하는 음성 명령어로서, 예를 들어, '하이 빅스비' 또는 '오케이 구글' 등을 포함할 수 있다.
마이크로폰(1520)은 탑승자에 의해 발화된 음성 입력을 수신할 수 있다. 일 실시예에서, 마이크로폰(1520)은 수신된 음성 입력을 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다. 마이크로폰(1520)은 음성 신호를 프로세서(1200)에 제공할 수 있다.
출력부(1600)는 디스플레이부(1610) 및 스피커(1620)를 포함할 수 있다.
디스플레이부(1610)는 애플리케이션의 실행 화면, 기능 UI, 및 음성 명령어 가이드 UI를 디스플레이할 수 있다. 디스플레이부(1610)는 CID(Center Information Display)일 수 있으나, 이에 한정되는 것은 아니다. 디스플레이부(1610)는 예를 들어, 네비게이션 장치, 계기판 디스플레이, HUD(Head Up Display), 또는 조수석 디스플레이 중 어느 하나로 구성될 수 있다.
디스플레이부(1610)는 예를 들어, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode display), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 또는 전기영동 디스플레이(electrophoretic display) 중 적어도 하나로 구성되는 스크린을 포함할 수 있다.
일 실시예에서, 디스플레이부(1610)는 복수의 디스플레이들을 포함할 수 있다. 이때, 복수의 디스플레이들은 차량에 포함되는 복수의 탑승석들에 대응되도록 위치할 수 있다. 일 실시예에서, 프로세서(1200)는 복수의 디스플레이들 중 탑승자에 의해 음성 인식 기능이 활성화된 디스플레이 상에 적어도 하나의 음성 명령어 가이드 UI를 디스플레이할 수 있다. 프로세서(1200)가 복수 개의 디스플레이부(1610) 중 특정 디스플레이부에 음성 명령어 가이드 UI를 디스플레이하는 실시예에 대해서는 도 7에서 상세하게 설명하기로 한다.
스피커(1620)는 오디오 신호를 출력할 수 있다. 스피커(1620)는 프로세서(1200)의 제어에 의해 기능의 수행과 관련된 알림 메시지를 출력할 수 있다. 그러나, 이에 한정되는 것은 아니고, 스피커(1620)는 효과음, 벨소리, 멜로디, 음악, 또는 노래 중 적어도 하나를 포함하는 오디오 신호를 출력할 수도 있다.
도 3은 본 개시의 일 실시예에 따른 전자 장치(1000) 및 차량 센서 모듈(200)을 도시한 블록도이다.
차량 센서 모듈(200)은 차량에 탑재되고, 차량의 위치, 속도, 및 탑승자를 모니터링하고, 차량의 주행 정보 및 탑승자 정보를 전자 장치(1000)에 제공할 수 있다. 차량 센서 모듈(200)은 차량의 주행 정보 및 탑승자 정보를 CAN 통신 모듈(1110)을 통해 전자 장치(1000)에 전송할 수 있다. 차량 센서 모듈(200)은 전자 장치(1000)와 CAN(Controller Area Network) 통신을 수행할 수 있다.
도 3을 참조하면, 차량 센서 모듈(200)은 GPS 모듈(210), 속도 센서(220), 시트 센서(230), 및 적외선 센서(240)를 포함할 수 있다. 차량 센서 모듈(200)은 전자 장치(1000)와는 별개의 구성 요소이다. 그러나, 이에 한정되는 것은 아니고, 차량 센서 모듈(200)에 포함되는 적어도 하나의 구성 요소는 전자 장치(1000) 내에 포함될 수 있다. 예를 들어, 차량 센서 모듈(200)에 포함되는 GPS 모듈(210) 또는 적외선 센서(240)는 전자 장치(1000)에 포함될 수도 있다.
GPS 모듈(210)은 GPS 신호를 수신하고, 획득된 GPS 신호에 기초하여 차량의 현재 위치에 관한 정보를 획득하도록 구성된다. 일 실시예에서, GPS 모듈(210)은 지구 상공에 위치한 적어도 하나의 GPS 위성으로부터 항법 메시지를 수신하여 차량의 위치 정보를 획득할 수 있다. 구체적으로, GPS 모듈(210)은 GPS 위성에서 발사되는 전파의 지연시간을 계측하는 방법으로 차량의 현재 위치 좌표를 획득할 수 있다. 일 실시예에서, GPS 모듈(210)은 차량이 현재 주행 중인 도로 정보를 획득할 수도 있다.
프로세서(1200)는 CAN 통신 모듈(1110)을 통해 GPS 모듈(210)로부터 차량의 현재 위치 정보를 획득할 수 있다.
속도 센서(220)는 차량의 주행 속도를 감지하고, 주행 속도 정보를 전자 장치(1000)에 전송할 수 있다.
시트 센서(230)는 차량의 시트 쿠션 내에 배치되고, 시트 쿠션으로부터 가해지는 압력값을 측정함으로써, 탑승자의 착좌 여부를 인식할 수 있다. 시트 센서(230)는 예를 들어, 압력 센서로 구성될 수 있다. 일 실시예에서, 시트 센서(230)는 시트 쿠션에 가해지는 압력값이 기 설정된 임계 압력을 초과하는 경우, 탑승자가 착좌한 것으로 인식할 수 있다. 또한, 시트 센서(230)는 시트 쿠션에 가해지는 압력값이 기 설정된 임계 압력 이하인 경우, 탑승자가 탑승하지 않은 상태로 인식할 수 있다. 시트 센서(230)는 탑승자의 탑승 여부 인식 결과에 관한 정보를 프로세서(1200)에 제공할 수 있다. 프로세서(1200)는 시트 센서(230)로부터 수신된 탑승자 정보에 기초하여, 운전석, 조수석, 및 뒷좌석 중 어느 하나에 관한 탑승 여부에 관한 정보를 획득할 수 있다.
적외선 센서(240)는 탑승자로부터 반사되는 적외선을 수신함으로써 탑승자의 위치를 인식할 수 있다. 적외선 센서(240)는 적외선 신호의 강도, 송출 각도, 및 송출 위치에 관한 정보를 프로세서(1200)에 제공할 수 있다. 프로세서(1200)는 적외선 센서(240)로부터 획득한 정보에 기초하여 탑승자의 위치 정보를 획득할 수 있다.
도 4는 본 개시의 일 실시예에 따른 전자 장치(1000)의 동작을 위한 방법을 도시한 흐름도이다.
단계 S410에서, 전자 장치(1000)는 차량 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 차량 센서 모듈(200, 도 3 참조)로부터 차량의 현재 위치, 주행 중인 도로 정보, 속도 정보, 및 탑승자의 탑승 여부에 관한 정보와 같은 차량의 동작 및 운행에 관한 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 서버로부터 교통 정보, 도로 정보(예를 들어, 어린이 보호 구역, 고속 도로, 일반 도로, 지방 국도 등), 또는 안전 속도에 관한 정보를 추가적으로 수신할 수 있다.
전자 장치(1000)는 디스플레이부(1610, 도 2 참조) 상에 디스플레이되고 있는 애플리케이션의 실행 화면 및 기능 UI에 관한 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 디스플레이부(1610) 상에서 디스플레이되고 있는 적어도 하나의 기능과 관련된 그래픽 UI 각각의 기능을 식별할 수 있다. 예를 들어, 전자 장치(1000)는 애플리케이션을 구성하는 소프트웨어의 플랫폼 레이어(platform layer)에서 UI Framework의 resource name을 검색함으로써, 그래픽 UI 각각에 관한 기능 정보를 획득할 수 있다. 다른 실시예에서, 전자 장치(1000)는 애플리케이션의 API(Application Programmable Interface)를 분석함으로써, 그래픽 UI 각각에 대응되는 기능에 관한 정보를 획득할 수 있다.
단계 S420에서, 전자 장치(1000)는 적어도 하나의 정보에 기초하여, 차량 또는 전자 장치가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성할 수 있다. 일 실시예에서, 전자 장치(1000)는 음성 명령어 중 기능을 실행하기 위하여 필수적인 핵심 명령어들을 포함하도록 간소화하여 단축 명령어를 생성할 수 있다.
일 실시예에서, 전자 장치(1000)는 디스플레이 출력 정보로부터 기능 UI가 나타내는 기능을 인식하고, 기능을 자연어로 변환함으로써 기능 UI 각각에 대응되는 적어도 하나의 단축 명령어를 생성할 수 있다.
일 실시예에서, 전자 장치(1000)는 탑승자가 자주 사용하는 애플리케이션 또는 애플리케이션의 기능을 실행하기 위한 명령어들을 간소화함으로써, 단축 명령어를 생성할 수 있다. 일 실시예에서, 전자 장치(1000)는 로그인 과정을 통해 획득한 탑승자의 식별 정보(user id)로부터 탑승자의 사용 이력 정보를 획득하고, 탑승자의 사용자 식별 정보 및 사용 이력 정보에 기초하여 탑승자가 자주 사용하는 애플리케이션 정보를 획득할 수 있다. 전자 장치(1000)는 탑승자가 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어들로부터 핵심 키워드들만을 추출하여, 적어도 하나의 단축 명령어를 생성할 수 있다.
일 실시예에서, 전자 장치(1000)는 생성된 적어도 하나의 단축 명령어들을 리스트 형태로 단축 명령어 데이터베이스(1400)에 저장할 수 있다.
단계 S430에서, 전자 장치(1000)는 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이할 수 있다. '음성 명령어 가이드 UI'는 차량의 탑승자에게 차량이 제공하는 기능의 명칭 또는 전자 장치(1000)의 애플리케이션을 발화하도록 유도하는 프롬프트로서, 문자, 숫자, 또는 기호로 표시될 수 있다. 본 개시의 일 실시예에서, 음성 명령어 가이드 UI는 그래픽 UI(Graphic User Interface)일 수 있다.
전자 장치(1000)는 적어도 하나의 음성 명령어 가이드 UI 각각을 대응되는 적어도 하나의 기능 UI의 위치에 인접한 디스플레이 영역에 디스플레이할 수 있다.
전자 장치(1000)는 적어도 하나의 음성 명령어 가이드 UI 각각에 가중치를 부여하고, 가중치에 기초하여 디스플레이되는 음성 명령어 가이드 UI의 표시 여부, 표시 위치, 및 표시 크기 중 적어도 하나를 결정할 수 있다. 일 실시예에서, 전자 장치(1000)는 차량의 주행 정보, 탑승자 정보, 디스플레이 출력 정보, 및 안전 속도 중 적어도 하나에 기초하여 적어도 하나의 음성 명령어 가이드 UI에 관한 가중치를 결정할 수 있다.
전자 장치(1000)는 차량의 주행 속도와 안전 속도를 비교하고, 비교 결과에 따라 적어도 하나의 음성 명령어 가이드 UI의 가중치를 다르게 결정할 수 있다. 일 실시예에서, 주행 속도가 안전 속도를 초과하는 경우, 전자 장치(1000)는 운전자가 안전을 위하여 운전에 집중해야 하는 상황으로 판단하고, 주행과 관련된 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치를 높게 조절하고, 주행이 아닌 편의 기능, 예를 들어, 음악 재생과 관련된 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치는 낮게 조절할 수 있다.
일 실시예에서, 전자 장치(1000)는 가중치가 기 설정된 임계치 보다 높은 적어도 하나의 음성 명령어 가이드 UI만을 디스플레이할 수 있다. 다른 실시예에서, 전자 장치(1000)는 가중치가 높은 적어도 하나의 음성 명령어 가이드 UI의 크기를 가중치가 상대적으로 낮은 적어도 하나의 음성 명령어 가이드 UI 크기 보다 크게 디스플레이할 수 있다.
도 5는 본 개시의 전자 장치(1000)가 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 5를 참조하면, 전자 장치(1000)는 디스플레이부(1610) 상에 애플리케이션의 기능을 실행하기 위한 음성 명령어의 발화를 유도하는 음성 명령어 가이드 UI(501, 502, 503, 504, 505) 및 애플리케이션의 실행 화면과 기능을 나타내는 기능 UI(511, 512, 513, 514, 515)를 디스플레이할 수 있다. 도 5에 도시된 실시예에서, 음성 명령어 가이드 UI(501, 502, 503, 504, 505) 및 기능 UI(511, 512, 513, 514, 515)는 복수로 도시되었으나, 이에 한정되는 것은 아니다. 디스플레이부(1610) 상에 디스플레이되는 음성 명령어 가이드 UI(501, 502, 503, 504, 505) 및 기능 UI(511, 512, 513, 514, 515)는 각각 1개일 수도 있다.
전자 장치(1000)는 디스플레이부(1610)의 출력 정보에 기초하여 단축 명령어를 생성할 수 있다. 일 실시예에서, 전자 장치(1000)는 디스플레이되는 복수의 기능 UI(511, 512, 513, 514, 515) 각각이 나타내는 기능을 인식하고, 인식된 기능을 자연어로 변환함으로써(예를 들어, 기능 UI의 명칭에 기초하여) 디스플레이된 복수의 기능 UI(511, 512, 513, 514, 515)에 각각 대응되는 복수의 단축 명령어를 생성할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 애플리케이션을 구성하는 소프트웨어의 플랫폼 레이어(platform layer)에서 UI Framework의 resource name을 검색함으로써, 복수의 기능 UI(511, 512, 513, 514, 515) 각각에 관한 기능 정보(예를 들어, 명령어 명칭)를 획득하고, 획득된 기능 정보를 자연어로 변환하여 복수의 단축 명령어를 생성할 수 있다. 다른 실시예에서, 프로세서(1200)는 애플리케이션의 API(Application Programmable Interface)를 분석함으로써, 복수의 기능 UI(511, 512, 513, 514, 515) 각각에 대응되는 기능에 관한 정보를 획득하고, 기능 정보를 자연어로 변환하여 복수의 단축 명령어를 생성할 수 있다.
그러나, 이에 한정되는 것은 아니고, 프로세서(1200)는 이미지 프로세싱(image processing)을 통해, 디스플레이부(1610) 상에 디스플레이되는 아이콘 또는 위젯을 포함하는 복수의 기능 UI(511, 512, 513, 514, 515)가 나타내는 기능 정보를 식별하고, 식별된 기능 정보를 자연어 형태(natural language format)로 변환하여 복수의 단축 명령어를 생성할 수도 있다.
도 5에 도시된 실시예에서, 프로세서(1200)는 제1 기능 UI(511)에 관한 기능 정보가 '이전 곡 플레이'임을 인식하고, 기능 정보를 자연어 형태로 변환함으로써 '이전 곡'이라는 단축 명령어를 생성할 수 있다. 다른 예를 들어, 프로세서(1200)는 '+'라는 기호로 표시된 제4 UI(514)에 관한 기능 정보가 '에어컨의 설정 온도 올림'임을 인식하고, 기능 정보를 자연어로 변환하고 기능을 나타내는 핵심 단어만을 추출하여 '온도 업'이라는 단축 명령어를 생성할 수 있다.
그러나, 이에 한정되는 것은 아니고, 단축 명령어는 복수의 기능 UI(511, 512, 513, 514, 515) 각각에 대하여 미리 설정되어 있거나, 또는 사용자로부터 수신된 입력에 의해 결정될 수 있다.
전자 장치(1000)는 생성된 복수의 단축 명령어를 문자, 숫자, 또는 기호를 이용하여 시각적으로 표시하는 복수의 음성 명령어 가이드 UI(501, 502, 503, 504, 505)를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 복수의 음성 명령어 가이드 UI(501, 502, 503, 504, 505)를 각각 대응되는 복수의 기능 UI(511, 512, 513, 514, 515)가 디스플레이되는 위치와 인접한 영역에 디스플레이할 수 있다. 예를 들어, 음악 애플리케이션에서 이전 곡 플레이 기능의 실행을 위한 제1 기능 UI(511)가 디스플레이되는 위치와 인접한 위치에는 '이전 곡'이라는 단축 명령어를 나타내는 문자로 구성되는 제1 음성 명령어 가이드 UI(501)가 디스플레이될 수 있다. 마찬가지로, 음악 애플리케이션에서 플레이(또는 pause) 기능을 실행하기 위한 제2 기능 UI(512)가 디스플레이되는 위치와 인접한 위치에는 '플레이'라는 제2 음성 명령어 가이드 UI(502)가, 현재 플레이되는 곡의 다음 곡을 플레이하는 기능을 실행하기 위한 제3 기능 UI(513)가 디스플레이되는 위치와 인접한 위치에는 '다음 곡'이라는 제3 음성 명령어 가이드 UI(503)가 디스플레이될 수 있다. 에어컨 애플리케이션에서도 마찬가지로, 에어컨의 설정 온도를 올리는 기능을 실행하기 위한 제4 기능 UI(514)가 디스플레이되는 위치와 인접한 위치에는 '온도 업'이라는 문자로 구성된 제4 음성 명령어 가이드 UI(504)가, 에어컨의 설정 온도를 낮추는 기능을 실행하기 위한 제5 기능 UI(515)가 디스플레이되는 위치와 인접한 위치에는 '온도 다운'이라는 문자로 구성된 제5 음성 명령어 가이드 UI(505)가 디스플레이될 수 있다.
도 5에 도시된 실시예에서, 전자 장치(1000)는 애플리케이션을 통해 제공되는 기능을 실행하기 위한 복수의 기능 UI(511, 512, 513, 514, 515)를 디스플레이하고, 복수의 기능 UI(511, 512, 513, 514, 515)가 디스플레이되는 위치와 인접한 위치에 대응되는 복수의 음성 명령어 가이드 UI(501, 502, 503, 504, 505)를 디스플레이함으로써, 탑승자가 실행하고 싶은 기능에 관한 음성 명령어를 직관적으로 알 수 있게 하여 사용자 편의성을 향상시킬 수 있다. 또한, 본 개시의 일 실시예에 따른 전자 장치(1000)는 음성 명령을 통해 기능을 실행하는 경우, 추가적인 파라미터 정보를 필요로 하지 않고, 음성 명령어 가이드 UI(501, 502, 503, 504, 505)에 표시된 문자에 해당되는 발화를 수신하기만 하면 기능을 실행하므로, 음성 인식의 정확도를 향상시키고, 운전자의 집중력 분산을 감소될 수 있다.
도 6은 본 개시의 전자 장치(1000)가 사용자의 식별 정보에 따라 자주 사용하는 애플리케이션의 기능과 관련된 단축 명령어들을 생성하는 실시예를 도시한 도면이다.
도 6을 참조하면, 전자 장치(1000)는 로그인 과정을 통해 탑승자의 사용자 식별 정보(600)를 획득할 수 있다. 일 실시예에서, 사용자 식별 정보(600)는 탑승자의 user id 정보를 포함할 수 있다.
전자 장치(1000)는 사용자 식별 정보(600)로부터 애플리케이션의 사용 이력 정보(610)를 획득할 수 있다. 애플리케이션 사용 이력 정보(610)는 탑승자가 사용자 id로 로그인하여 과거 시점에 사용하였던 애플리케이션의 사용 횟수를 저장할 수 있다. 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 애플리케이션 사용 이력 정보(610)로부터 탑승자가 가장 자주 사용하는 애플리케이션을 식별할 수 있다. 도 6에 도시된 실시예의 애플리케이션 사용 이력 정보(610)를 참조하면, 'XXX'라는 user id로 로그인한 탑승자는 과거 시점으로부터 현재까지 음악 애플리케이션을 50회 사용하였고, 네비게이션 애플리케이션을 40회 사용하였으며, 날씨 애플리케이션은 10회, 전화 애플리케이션은 2회, 문자 애플리케이션은 1회 사용하였음을 알 수 있다. 도 6에는 도시되지 않았지만, 일 실시예에서 프로세서(1200)는 애플리케이션 사용 이력 정보(610)로부터 복수의 애플리케이션 각각에 의해 제공되는 복수의 기능의 사용 빈도의 횟수를 획득할 수도 있다.
프로세서(1200)는 탑승자가 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어들로부터 핵심 키워드들만을 추출하여(사용되지 않은 애플리케이션을 배제하고), 단축 명령어들(620, 622)을 생성할 수 있다. 일 실시예에서, 프로세서(1200)는 복수의 애플리케이션 중 사용 횟수가 기 설정된 임계 횟수를 초과하는 적어도 하나의 애플리케이션을 식별할 수 있다. 예를 들어, 기 설정된 임계 횟수가 30회인 경우, 프로세서(1200)는 애플리케이션 사용 이력 정보(610)에 포함되는 복수의 애플리케이션 중 50회 사용된 음악 애플리케이션과 40회 사용된 네비게이션 애플리케이션을 식별할 수 있다. 프로세서(1200)는 식별된 적어도 하나의 애플리케이션에 의해 실행되는 기능에 관한 단축 명령어들(620, 622)를 생성할 수 있다. 도 6에 도시된 실시예에서, 프로세서(1200)는 음악 애플리케이션과 관련된 단축 명령어(620)로서 '이전 곡', '플레이', '다음 곡', '볼륨 업', 및 '볼륨 다운'을 생성하고, 네비게이션 애플리케이션과 관련되 단축 명령어(622)로서 '검색', '목적지', '경유지', '줌 인', 및 '줌 아웃'을 생성할 수 있다.
프로세서(1200)는 생성된 단축 명령어를 시각적으로 표시할 수 있도록 문자, 숫자, 또는 기호로 구성된 음성 명령어 가이드 UI(630)를 생성할 수 있다. 프로세서(1200)는 음성 명령어 가이드 UI(630)를 디스플레이할 수 있다.
디스플레이 화면에 현재 실행 가능한 모든 기능과 관련된 음성 명령어 가이드 UI를 디스플레이하는 경우 화면이 복잡해지고, 복수의 음성 명령어 가이드 UI로 인하여 운전자의 집중력이 분산되는 문제점이 발생될 수 있다. 도 6에 도시된 실시예에서, 전자 장치(1000)는 사용 이력 정보에 기초하여 탑승자(또는 운전자)가 자주 사용하는 애플리케이션의 기능들을 실행하기 위한 음성 명령어 가이드 UI(630)를 디스플레이하므로, 음성 인식 UI의 개수가 한정되고, 탑승자(또는 운전자)에 특화되어 개인화된다. 따라서, 결과의 디스플레이 메뉴는 덜 혼잡하지고, 운전의 집중력 분산을 감소될 수 있다.
도 7은 본 개시의 전자 장치가 복수의 디스플레이부(1610-1, 1610-2, 1610-3) 중 사용자에 의해 음성 인식 기능이 활성화된 디스플레이부에 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 7을 참조하면, 전자 장치(1000)는 복수의 디스플레이부(1610-1, 1610-2, 1610-3)를 포함할 수 있다. 복수의 디스플레이들은 차량에 포함된 복수의 탑승석들에 대응하도록 위치될 수 있다.
도 7에 도시된 실시예에서, 제1 디스플레이부(1610-1)는 CID(Center Information Display)이고, 제2 디스플레이부(1610-2)는 운전석의 등받이에 부착된 디스플레이이고, 제3 디스플레이부(1610-3)는 조수석 등받이에 부착된 디스플레이일 수 있다. 제2 디스플레이부(1610-2)는 뒷좌석 탑승자 중 왼쪽 좌석에 탑승한 탑승자가 이용하도록 할당되고, 제3 디스플레이부(1610-3)는 뒷좌석 탑승자 중 오른쪽 좌석에 탑승한 탑승자가 이용하도록 할당될 수 있다.
전자 장치(1000)는 복수의 디스플레이부(1610-1, 1610-2, 1610-3)(대응되지 않는 디스플레이 스크린 상의 UI의 디스플레이는 제외) 중 음성 인식 기능을 활성화하는 사용자 입력이 수신된 디스플레이부에 음성 명령어 가이드 UI를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 운전자, 조수석 탑승자, 또는 뒷좌석 탑승자 중 적어도 하나의 탑승자로부터 음성 인식 기능을 활성화하기 위한 버튼 입력 또는 그래픽 UI를 터치하는 터치 입력을 수신할 수 있다. 전자 장치(1000)는 버튼 입력 또는 터치 입력을 수신함에 따라 음성 인식 기능을 활성화하고, 음성 명령어 가이드 UI를 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니다. 다른 실시예에서, 전자 장치(1000)는 운전자, 조수석 탑승자, 또는 뒷좌석 탑승자 중 적어도 하나의 탑승자로부터 음성 인식 기능을 활성화하기 위한 웨이크 업 음성을 수신하고, 웨이크 업 음성을 수신함에 따라 음성 명령어 가이드 UI를 디스플레이할 수 있다. 웨이크 업 음성은 예를 들어, '하이 빅스비' 또는 '오케이 구글' 등을 포함할 수 있다.
도 7에 도시된 실시예에서, 전자 장치(1000)는 운전자와 2명의 뒷좌석 탑승자 중 왼쪽 뒷좌석 탑승자로부터 음성 인식 기능을 활성화하는 사용자 입력을 수신하고, 제2 디스플레이부(1610-2)에 음성 명령어 가이드 UI(710)를 디스플레이할 수 있다. 음성 명령어 가이드 UI(710)는 제2 디스플레이부(1610-2) 상에 디스플레이되는 애플리케이션의 기능을 나타내는 기능 UI(720)를 실행하기 위한 단축 명령어를 시각적으로 표시한 UI로서, 대응되는 기능 UI(720)의 인접한 위치에 디스플레이될 수 있다.
상기에서, 전자 장치(1000)가 탑승자로부터 음성 인식 기능을 활성화하는 버튼 입력, 터치 입력 또는 웨이크 업 음성 입력을 수신하는 경우에만 디스플레이부 상에 음성 명령어 가이드 UI를 디스플레이하는 실시예를 설명하였지만, 본 개시의 실시예가 전술한 바와 같이 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 운전석, 조수석, 및 뒷좌석 탑승석의 탑승 여부를 인식하고, 복수의 디스플레이부(1610-1, 1610-2, 1610-3) 중 탑승이 인식된 좌석에 할당되는 디스플레이부 상에 음성 명령어 가이드 UI를 디스플레이할 수 있다. 전자 장치(1000)는 차량 센서 모듈(200, 도 3 참조)의 시트 센서(230, 도 3 참조)로부터 획득된 압력 측정값에 기초하여, 운전석, 조수석, 및 뒷좌석 중 적어도 하나의 좌석의 탑승 여부를 인식하고, 탑승이 인식된 좌석에 할당된 디스플레이부 상에 음성 명령어 가이드 UI를 디스플레이할 수 있다. 예를 들어, 운전석, 조수석, 및 뒷좌석 중 시트 센서(230)로부터 획득한 압력 측정값이 기 설정된 임계값을 초과하는 탑승석이 오른쪽 뒷좌석인 경우, 전자 장치(1000)는 복수의 디스플레이부(1610-1, 1610-2, 1610-3) 중 오른쪽 뒷좌석에 할당되는 제3 디스플레이부(1610-3) 상에 음성 명령어 가이드 UI를 디스플레이할 수 있다.
도 8은 본 개시의 전자 장치(1000)가 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 흐름도이다.
도 8을 참조하면, 전자 장치(1000)가 음성 명령어 가이드 UI에 가중치를 부여하고, 가중치에 따라 음성 명령어 가이드 UI의 개수, 위치, 및 크기를 조절하여 디스플레이하는 실시예가 도시된다. 도 8에 도시된 단계들 S820 내지 S840은 도 4에 도시된 단계 S430을 구체화한 단계들이다.
단계 S810에서, 전자 장치(1000)는 차량의 주행 정보에 기초하여 차량 주행을 위한 안전 속도를 결정할 수 있다. 일 실시예에서, 전자 장치(1000)는 차량 센서 모듈(200, 도 3 참조)의 GPS 모듈(210, 도 3 참조) 차량의 현재 위치 및 주행 도로에 관한 차량 주행 정보를 획득할 수 있다. 전자 장치(1000)는 추가로 차량이 현재 주행하고 있는 도로의 특성 정보, 예를 들어, 어린이 보호 구역, 고속 도로, 또는 지방 도로에 관한 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 속도 센서(220, 도 3 참조)로부터 차량의 주행 속도에 관한 정보를 획득할 수 있다.
전자 장치(1000)는 획득된 차량의 현재 위치, 주행 도로 특성, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정할 수 있다. 일 실시예에서, 전자 장치(1000)는 주행 도로 특성에 따른 제한 속도 보다 기 설정된 속도 만큼 느린 속도를 안전 속도로 결정할 수 있다. 예를 들어, 어린이 보호 구역 내의 제한 속도가 30km/h인 경우, 안전 속도는 25km/h이고, 고속 도로의 제한 속도가 110km/h인 경우 안전 속도는 100km/h로 결정될 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 주행 중인 도로의 특성에 따라 기 설정된 제한 속도와 동일한 속도를 안전 속도로 결정할 수도 있다.
단계 S820에서, 전자 장치(1000)는 차량의 주행 정보, 탑승자 정보, 디스플레이 출력 정보, 및 안전 속도 중 적어도 하나에 기초하여, 적어도 하나의 음성 명령어 가이드 UI 각각의 가중치를 결정할 수 있다.
일 실시예에서, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 차량의 주행 속도와 안전 속도를 비교하고, 비교 결과에 따라 적어도 하나의 음성 명령어 가이드 UI의 가중치를 결정할 수 있다. 일 실시예에서, 주행 속도가 안전 속도를 초과하는 경우, 프로세서(1200)는 운전자가 안전을 위하여 운전에 집중해야 하는 상황으로 판단하고, 주행과 관련된 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치를 높게 조절하고, 주행이 아닌 편의 기능, 예를 들어, 음악 재생과 관련된 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치는 낮게 조절할 수 있다. 반대의 실시예에서, 주행 속도가 안전 속도 미만인 경우, 프로세서(1200)는 운전을 위한 충분한 안전 여유(sufficient margin of safety)가 있다고 판단하고, 이에 따라 운전자는 보조 차량 기능(예를 들어, 편의 및 엔터테인먼트 기능들)에 더 주의를 기울일 수 있고, 편의 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치를 더 높게(higher) 조절할 수 있다.
일 실시예에서, 프로세서(1200)는 탑승자의 사용 이력 정보에 기초하여, 자주 사용하는 애플리케이션의 기능과 관련된 음성 명령어 가이드 UI의 가중치를 다른 음성 명령어 가이드 UI 보다 높게 설정할 수 있다.
일 실시예에서, 프로세서(1200)는 디스플레이부(1610) 상에 디스플레이되고 있는 아이콘 또는 위젯을 통해 실행되는 애플리케이션과 관련된 음성 명령어 가이드 UI의 가중치를 디스플레이되지 않은 다른 애플리케이션과 관련된 음성 명령어 가이드 UI 보다 높게 설정할 수 있다.
단계 S830에서, 전자 장치(1000)는 가중치에 기초하여 적어도 하나의 음성 명령어 가이드 UI가 표시되는 개수, 위치, 및 크기 중 적어도 하나를 결정한다. 일 실시예에서, 전자 장치(1000)는 가중치에 따라 적어도 하나의 음성 명령어 가이드 UI의 표시 여부, 표시 위치, 및 표시 크기를 결정할 수 있다. 예를 들어, 전자 장치(1000)는 가중치가 기 설정된 임계치 보다 높은 적어도 하나의 음성 명령어 가이드 UI만을 디스플레이하고, 가중치가 임계치 미만인 적어도 하나의 음성 명령어 가이드 UI는 디스플레이에서 제외하도록 결정할 수 있다. 예를 들어, 전자 장치(1000)는 제1 가중치를 갖는 적어도 하나의 음성 명령어 가이드 UI의 크기를 제1 가중치 보다 적은 제2 가중치를 갖는 적어도 하나의 음성 명령어 가이드 UI의 크기 보다 큰 크기로 결정할 수 있다.
단계 S840에서, 전자 장치(1000)는 전자 장치(1000)는 결정된 개수, 위치, 및 크기에 따라 적어도 하나의 음성 명령어 가이드 UI를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 가중치가 기 설정된 임계치 보다 높은 적어도 하나의 음성 명령어 가이드 UI을 디스플레이할 수 있다. 다른 실시예에서, 전자 장치(1000)는 가중치가 높은 적어도 하나의 음성 명령어 가이드 UI의 크기를 가중치가 상대적으로 낮은 적어도 하나의 음성 명령어 가이드 UI의 크기보다 크게 디스플레이할 수 있다.
도 9a는 본 개시의 전자 장치(1000)가 주행 속도에 따라 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다. 도 9a에 도시된 실시예는 차량의 주행 속도가 안전 속도 이하인 경우 전자 장치(1000)가 디스플레이부(1610) 상에 복수의 음성 명령어 가이드 UI(901 내지 909)를 디스플레이하는 실시예이다.
도 9a를 참조하면, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 차량의 속도 센서(220, 도 3 참조)로부터 차량의 주행 속도에 관한 정보를 획득하고, 주행 속도를 안전 속도와 비교할 수 있다. 차량의 주행 속도가 안전 속도 이하인 것으로 판단된 경우, 프로세서(1200)는 디스플레이부(1610) 상에 출력되고 있는 모든 애플리케이션에 제공되는 기능을 실행하기 위한 복수의 기능 UI 각각에 관한 복수의 음성 명령어 가이드 UI(910 내지 909)를 디스플레이할 수 있다.
차량의 주행 속도가 안전 속도 이하인 것으로 판단되는 경우, 프로세서(1200)는 복수의 음성 명령어 가이드 UI(901 내지 909)에 가중치를 부여하지 않거나, 또는 동일한 가중치를 부여하여 디스플레이할 수 있다 (예를 들어, 안전 속도 또는 그 이하의 동작에서 운전자의 주의가 덜 요구되는 것이 추론되므로). 그러나, 이에 한정되는 것은 아니고, 프로세서(1200)는 복수의 애플리케이션 중 차량의 주행과 관련이 없거나 상대적으로 관련도가 낮은 편의 기능 애플리케이션, 예를 들어 음악 애플리케이션 또는 날씨 애플리케이션의 기능을 실행하기 위한 음성 명령어 가이드 UI의 가중치를 높게 조절할 수 있다. 도 9a에 도시된 실시예에서, 프로세서(1200)는 음악 애플리케이션의 실행과 관련되는 제4 음성 명령어 가이드 UI(904), 음악 애플리케이션에서 이전 곡을 플레이하는 기능의 실행과 관련되는 제5 음성 명령어 가이드 UI(905), 플레이 및 정지(pause) 기능의 실행과 관련되는 제6 음성 명령어 가이드 UI(906), 및 다음 곡을 플레이하는 기능의 실행과 관련되는 제7 음성 명령어 가이드 UI(907)에 부여되는 가중치를 다른 음성 명령어 가이드 UI(901, 902, 903, 908, 909)의 가중치 보다 높은 값으로 조절할 수 있다. 도면에서는 동일한 크기로 도시되었지만, 일 실시에서 프로세서(1200)는 제4 음성 명령어 가이드 UI(904) 내지 제7 음성 명령어 가이드 UI(907)의 크기를 다른 음성 명령어 가이드 UI(901, 902, 903, 908, 909)의 크기 보다 크게 디스플레이할 수 있다.
도 9b는 본 개시의 전자 장치(1000)가 주행 속도에 따라 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다. 도 9b에 도시된 실시예는 차량의 주행 속도가 안전 속도를 초과하는 경우 전자 장치(1000)가 디스플레이부(1610) 상에 복수의 음성 명령어 가이드 UI(901, 902, 903, 908, 909)를 디스플레이하는 실시예이다.
도 9b를 참조하면, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 차량의 주행 속도가 안전 속도를 초과하는 것으로 판단된 경우 디스플레이부(1610) 상에 출력되고 있는 모든 애플리케이션에 제공되는 기능을 실행하기 위한 복수의 기능 UI 중 가중치가 높게 설정된 음성 명령어 가이드 UI(901, 902, 903, 908, 909)을 디스플레이할 수 있다 (예를 들어, 가중치가 부족한 UI의 기능을 제외하여 운전자의 주의가 더 필요하다고 판단되는 시점에 표시를 단순화함). 일 실시예에서, 프로세서(1200)는 주행 속도가 안전 속도를 초과하는 것으로 판단되는 경우 차량의 주행 관련 기능을 실행하기 위한 음성 명령어 가이드 UI에 높은 가중치를 설정할 수 있다. 차량의 주행 관련 기능을 실행하는 애플리케이션은 미리 정해져 있을 수 있다. 차량의 주행과 관련되는 기능을 실행하는 애플리케이션은 예를 들어, 네비게이션 애플리케이션, 및 냉난방을 조절하는 HVAC(heating, ventilation, and air conditioning) 애플리케이션 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 프로세서(1200)는 차량의 주행과 직접적인 관련이 없더라도 운전 중에 사용할 수 있는 애플리케이션, 예를 들어 전화 애플리케이션에도 높은 가중치를 설정할 수 있다. 도 9b에 도시된 실시예에서, 프로세서(1200)는 네비게이션 애플리케이션의 기능을 실행하기 위한 제1 음성 명령어 가이드 UI(901) 내지 제3 음성 명령어 가이드 UI(903) 및 에어컨 애플리케이션의 기능을 실행하기 위한 제8 음성 명령어 가이드 UI(908), 제9 음성 명령어 가이드 UI(909)를 디스플레이할 수 있다. 프로세서(1200)는 가중치가 기 설정된 임계치 보다 낮은 제4 음성 명령어 가이드 UI(904) 내지 제7 음성 명령어 가이드 UI(907)는 디스플레이하지 않을 수 있다.
도 10은 본 개시의 전자 장치(1000)가 차량의 주행 속도 및 안전 속도에 기초하여 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 흐름도이다.
도 10을 참조하면, 전자 장치(1000)가 차량의 주행 속도 및 안전 속도에 기초하여 음성 명령어 가이드 UI에 가중치를 부여하고, 가중치에 따라 음성 명령어 가이드 UI의 개수, 위치, 및 크기를 조절하여 디스플레이하는 실시예가 도시된다. 도 10에 도시된 단계들 S1030 내지 S1080은 도 4에 도시된 단계 S430을 구체화한 단계들이다.
단계 S1010에서, 전자 장치(1000)는 안전 속도를 결정할 수 있다. 일 실시예에서, 전자 장치(1000)는 차량의 현재 위치, 차량이 주행 중인 현재 도로 특성, 및 현재 주행 속도에 관한 정보에 기초하여 안전 속도를 결정할 수 있다. 단계 S1010은 도 8에 도시된 단계 S810과 동일하므로, 중복되는 설명은 생략한다.
단계 S1020에서, 전자 장치(1000)는 차량의 현재 주행 속도와 안전 속도를 비교함으로써, 현재 주행 속도가 안전 속도를 초과하는지 여부를 판단할 수 있다.
차량의 주행 속도가 안전 속도를 초과하는 것으로 판단되는 경우(예를 들어, 운전에 대한 추가적인 주의가 요구됨)(단계 S1030), 전자 장치(1000)는 차량 주행과 관련되는 기능을 실행하기 위한 적어도 하나의 제1 단축 명령어의 가중치를 조절할 수 있다. 적어도 하나의 제1 단축 명령어는 차량의 주행과 관련되는 적어도 하나의 애플리케이션의 기능을 실행하기 위한 명령어이고, 적어도 하나의 애플리케이션은 미리 정해져 있을 수 있다. 차량의 주행과 관련되는 기능을 실행하는 애플리케이션은 예를 들어, 네비게이션 애플리케이션, 및 냉난방을 조절하는 HVAC(heating, ventilation, and air conditioning) 애플리케이션 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 전자 장치(1000)는 네비게이션 애플리케이션 및 HVAC 애플리케이션 각각에 의해 제공되는 기능을 실행하기 위한 적어도 하나의 제1 단축 명령어의 가중치를 높게 조절할 수 있다.
일 실시예에서, 전자 장치(1000)는 차량의 주행과 직접적인 관련이 없더라도 운전 중에 사용할 수 있는 애플리케이션, 예를 들어 전화 애플리케이션의 기능을 실행하기 위한 단축 명령어의 가중치를 높게 조절할 수 있다.
단계 S1040에서, 전자 장치(1000)는 조절된 가중치에 따라 적어도 하나의 제1 단축 명령어에 대응되는 적어도 하나의 제1 음성 명령어 가이드 UI의 개수, 크기, 및 위치를 결정한다. 일 실시예에서, 전자 장치(1000)는 적어도 하나의 제1 단축 명령어를 문자, 숫자, 또는 기호를 이용하여 시각적으로 표시하는 적어도 하나의 제1 음성 명령어 가이드 UI를 디스플레이하거나, 적어도 하나의 제1 음성 명령어 가이드 UI 중에서도 가중치가 임계치를 초과하는 UI만을 디스플레이하도록 개수를 결정할 수 있다. 일 실시예에서, 전자 장치(1000)는 적어도 하나의 제1 음성 명령어 가이드 UI의 크기를 다른 음성 명령어 가이드 UI의 크기 보다 크게 디스플레이하도록 결정할 수 있다.
단계 S1050에서, 전자 장치(1000)는 결정된 개수, 크기, 및 위치에 따라 적어도 하나의 제1 음성 명령어 가이드 UI를 디스플레이한다 (예를 들어, 표시를 단순화하여 차량 운행에 대한 운전자의 주의를 증가시킴).
차량의 주행 속도가 안전 속도 이하인 것으로 판단되는 경우(예를 들어, 운전자의 주의가 2차적, 편의적, 또는 엔터테인먼트 기능에 향하도록 하는 것이 허용될 정도로 안전하다고 추론됨)(단계 S1060), 전자 장치(1000)는 편의 기능을 실행하기 위한 적어도 하나의 제2 단축 명령어의 가중치를 조절할 수 있다. 적어도 하나의 제2 단축 명령어는 차량의 주행과는 관련이 적고, 편의 기능을 실행하기 위한 명령어이다. 편의 기능 관련 애플리케이션은 미리 정해져 있을 수 있다. 차량의 편의 기능을 실행하는 애플리케이션은 예를 들어, 음악 애플리케이션 또는 날씨 애플리케이션일 수 있다. 일 실시예에서, 전자 장치(1000)는 음악 애플리케이션 및 날씨 애플리케이션 각각에 의해 제공되는 기능을 실행하기 위한 적어도 하나의 제2 단축 명령어의 가중치를 높게 조절할 수 있다.
단계 S1070에서, 전자 장치(1000)는 조절된 가중치에 따라 적어도 하나의 제2 단축 명령어에 대응되는 적어도 하나의 제2 음성 명령어 가이드 UI의 개수, 크기, 및 위치를 결정한다. 일 실시예에서, 전자 장치(1000)는 적어도 하나의 제2 단축 명령어를 문자, 숫자, 또는 기호를 이용하여 시각적으로 표시하는 적어도 하나의 제2 음성 명령어 가이드 UI를 디스플레이하거나, 적어도 하나의 제2 음성 명령어 가이드 UI 중에서도 가중치가 임계치를 초과하는 UI을 디스플레이하도록 개수를 결정할 수 있다. 일 실시예에서, 전자 장치(1000)는 적어도 하나의 제2 음성 명령어 가이드 UI의 크기를 다른 음성 명령어 가이드 UI의 크기 보다 크게 디스플레이하도록 결정할 수 있다.
단계 S1080에서, 전자 장치(1000)는 결정된 개수, 크기, 및 위치에 따라 적어도 하나의 제2 음성 명령어 가이드 UI를 디스플레이한다.
도 11은 본 개시의 전자 장치(1000)가 팝 업 메시지(1112)와 관련된 음성 명령어 가이드 UI(1124, 1126)를 디스플레이하는 실시예를 도시한 도면이다.
도 11을 참조하면, 전자 장치(1000)는 디스플레이부(1610) 상에 팝 업 메시지(1112)를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 예를 들어, 실행 중인 애플리케이션에서 오류가 발생되거나, 애플리케이션의 업데이트를 요하는 상황이거나, 또는 인근 도로에서 사고가 발생하는 등의 이벤트 발생을 인식하고, 경고 메시지로서 팝 업 메시지(1112)를 디스플레이할 수 있다. 일 실시예에서, 팝 업 메시지(1112)는 디스플레이부(1610) 상에 출력되고 있는 애플리케이션의 실행 화면 및 UI들을 오버레이하여 디스플레이될 수 있다. 도 11에 도시된 실시예에서, 팝 업 메시지(1112)는 전방 100m 지점의 사고 발생을 알리는 경고 메시지로서, 우회로 검색을 요청하는 제1 UI(1114) 및 팝 업 메시지를 닫기 위한 제2 UI(1116)를 포함할 수 있다.
프로세서(1200)는 팝 업 메시지(1112)를 디스플레이부(1610) 상에서 제거하는 기능과 관련된 기능 UI(1114, 1116)을 실행하기 위한 음성 명령어 가이드 UI(1124, 1126)를 디스플레이할 수 있다. 일 실시예에서, 프로세서(1200)는 팝 업 메시지(1112)를 제거하기 위한 음성 명령어 가이드 UI(1124, 1126)의 가중치를 다른 음성 명령어 가이드 UI에 부여된 가중치 보다 높게 설정할 수 있다. 예를 들어, 프로세서(1200)는 팝 업 메시지(1112)의 제거와 관련된 기능을 실행하기 위한 음성 명령어 가이드 UI(1124, 1126)의 가중치를 최대값으로 설정할 수 있다.
예상하지 못한 상황에서 갑자기 팝 업 메시지(1112)가 디스플레이되는 경우, 네비게이션 화면을 가리기 때문에 네비게이션 경로로부터 운전자의 집중력을 분산시키고, 길을 잘못 갈 수 있는 등의 문제점이 발생된다. 또한, 팝 업 메시지(1112)가 디스플레이부(1610) 상에 디스플레이되는 다른 기능을 사용하기 위한 UI를 가리기 때문에 사용자 편의성이 떨어질 수 있다. 도 11에 도시된 실시예에서, 전자 장치(1000)는 팝 업 메시지(1112)를 디스플레이부(1610) 상에서 제거하기 위하여 디스플레이되는 음성 명령어 가이드 UI(1124, 1126)에 부여되는 가중치를 높게 설정함으로써, 운전자가 쉽게 팝 업 메시지(1112)를 제거할 수 있도록 하는 효과를 제공한다.
도 12는 본 개시의 전자 장치(1000)가 디스플레이부(1610) 상의 일부 영역에 음성 명령어 가이드 UI(121 내지 127)를 디스플레이하는 실시예를 도시한 도면이다.
도 12를 참조하면, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 디스플레이부(1610)를 복수의 영역(1611, 1612, 1613)으로 구분하고, 탑승자의 위치와 디스플레이부(1610)의 복수의 영역(1611, 1612, 1613) 사이의 거리에 기초하여 음성 명령어 가이드 UI(121 내지 127)를 디스플레이할 수 있다.
프로세서(1200)는 디스플레이부(1610)의 복수의 영역(1611, 1612, 1613)과 탑승자의 위치 사이의 거리를 측정할 수 있다. 일 실시예에서, 프로세서(1200)는 차량 센서 모듈(200, 도 3 참조)의 적외선 센서(2240, 도 3 참조)로부터 탑승자의 위치 정보를 획득할 수 있다. 도 12에 도시된 실시예에서, 디스플레이부(1610)의 제1 영역(1611)과 탑승자 사이의 거리는 제1 거리(d1)이고, 제2 영역(1612)과 탑승자 사이의 거리는 제2 거리(d2)이며, 제3 영역(1613)과 탑승자 사이의 거리는 제3 거리(d3)로 측정될 수 있다.
프로세서(1200)는 디스플레이부(1610)의 복수의 영역(1611, 1612, 1613) 중 측정된 탑승자 위치와의 거리가 기 설정된 기준값 이상인 영역에 음성 명령어 가이드 UI(121 내지 127)을 디스플레이할 수 있다. 도 12에 도시된 실시예에서, 제2 거리(d2) 및 제3 거리(d3)는 기준값 이상으로 측정되고, 프로세서(1200)는 제2 영역(1612) 및 제3 영역(1613)에만 음성 명령어 가이드 UI(121 내지 127)을 디스플레이할 수 있다. 이 경우, d1은 기 설정된 기준값 이하이므로(예를 들어, 사용자가 어려움 없이 영역에 터치 입력을 입력할 수 있다고 예상됨), 프로세서(1200)는 디스플레이부(1610)의 제1 영역(1611)에는 음성 명령어 가이드 UI를 디스플레이하지 않을 수 있다.
상기에서, 탑승자의 위치와 디스플레이부(1610)의 각 영역 간의 거리에 기초하여 음성 명령어 가이드 UI(121 내지 127)를 디스플레이하는 실시예를 설명하였는데, 본 개시의 실시예가 전술한 바와 같이 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 차량 내의 공간을 운전석, 조수석, 및 뒷좌석 좌우 공간으로 각각 분할하고, 디스플레이부(1610)를 분할된 공간에 대응되도록 복수의 영역으로 구분할 수 있다. 전자 장치(1000)는 분할된 디스플레이부(1610)의 복수의 영역에 대하여 탑승자의 터치 입력이 닿기 어려운 영역에 음성 명령어 가이드 UI(121 내지 127)를 디스플레이할 수 있다. 예를 들어, 디스플레이부(1610)는 운전석에 할당된 영역과 조수석에 할당된 영역으로 구분되고, 전자 장치(1000)는 복수의 영역 중 운전자가 아이콘 또는 위젯을 터치하기에는 먼 거리인 조수석에 할당된 영역에 음성 명령어 가이드 UI(121 내지 127)를 디스플레이할 수 있다.
최근에는 차량 내부에 배치되는 디스플레이부(1610)가 대화면으로 구성되는 경우가 있기 때문에, 탑승자는 운전 중에 디스플레이부(1610)를 터치하기 위하여 부가 동작(예를 들어, 허리를 숙이는 동작)을 해야 할 수 있고, 운전자는 주의가 분산될 수 있다. 도 12에 도시된 실시예에서, 전자 장치(1000)는 디스플레이부(1610)의 복수의 영역(1611, 1612, 1613) 중 운전자(또는 탑승자)가 터치하기 어려운 먼 거리에 위치하는 영역(도 12의 실시예에서는 제2 영역(1612), 제3 영역(1613))에 음성 명령어 가이드 UI(121 내지 127)을 디스플레이하므로, 운전자(또는 탑승자)는 UI(예를 들어, 아이콘 또는 위젯의 선택)의 터치 입력을 입력할 것을 시도하지 않고 발화에 기초하여 기능을 실행할 수 있고, 운전자는 운전 중 주의력 분산이 적어질 수 있다.
도 13은 본 개시의 전자 장치(1000)가 HUD(130)를 통해 음성 명령어 가이드 UI(134)를 디스플레이하는 실시예를 도시한 도면이다.
도 13을 참조하면, 전자 장치(1000)는 HUD(Head Up Display)(130)를 통해 애플리케이션 UI(132) 및 음성 명령어 가이드 UI(134)를 디스플레이할 수 있다. 전자 장치(1000)는 프로젝터(1700)를 포함할 수 있다. 프로젝터(1700)는 차량의 전면 유리창인 윈드 쉴드(wind shield) 상에 이미지를 투사하도록 구성될 수 있다. 프로젝터(1700)는 이미지의 광을 생성하도록 구성되고, 화상 패널, 조명 광학계, 투사 광학계 등을 포함하는 광학 엔진일 수 있다. 일 실시예에서, 프로젝터(1700)는 프로세서(1200, 도 2 참조)로부터 애플리케이션의 실행 화면에 포함되는 애플리케이션 UI(132)와 음성 명령어 가이드 UI(134)를 구성하는 이미지를 포함하는 데이터를 획득하고, 획득된 이미지 데이터에 기초하여 가상의 이미지를 생성하고, 광원으로부터 출력된 가상 이미지를 구성하는 광을 출사면을 통해 윈드 쉴드 상에 투사할 수 있다. 프로젝터(1700)에 의해 투사된 이미지는 윈드 쉴드 상의 HUD(130)를 통해 디스플레이될 수 있다.
도 13에는 HUD(130)를 통해 애플리케이션 UI(132)와 음성 명령어 가이드 UI(134)가 디스플레이되는 것으로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, HUD(130)에는 음성 명령어 가이드 UI(134)만 디스플레이될 수 있다.
도 13에 도시된 실시예에서, 전자 장치(1000)는 HUD(130)를 통해 음성 명령어 가이드 UI(134)를 디스플레이하는 바, 운전자가 CID 또는 네비게이션 화면을 보려고 머리를 숙이지 않고도 기능 실행을 위한 단축 명령어를 직관적으로 파악할 수 있도록 하여 사용자 편의성을 향상시킴은 물론, 운전자의 집중력 분산을 완화할 수도 있다.
도 14는 본 개시의 전자 장치(1000)가 음성 인식 기능을 수행하는 실시예를 도시한 흐름도이다.
단계 S1410에서, 전자 장치(1000)는 음성 인식 기능을 활성화하는 사용자 입력을 수신할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 음성 인식 기능 입력부(1510, 도 2 참조)를 통해 음성 인식 기능을 활성화하는 사용자 입력을 수신할 수 있다. 음성 인식 기능 입력부(1510)는 하드웨어 버튼으로써, 차량의 스티어링 휠에 배치되거나 또는 대시보드(dashboard) 상에 배치될 수 있다. 그러나, 이에 한정되는 것은 아니고, 음성 인식 기능 입력부(1510)는 디스플레이부(1610) 상에 디스플레이되는 선택 가능한 그래픽 UI 엘리먼트일 수도 있다.
일 실시예에서, 프로세서(1200)는 마이크로폰(1520, 도 2 참조)를 통해 음성 인식 기능을 활성화하기 위한 웨이크 업 음성을 수신할 수 있다. 웨이크 업 음성은 예를 들어, '하이 빅스비' 또는 '오케이 구글' 등을 포함할 수 있다.
단계 S1420에서, 전자 장치(1000)는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이할 수 있다. 전자 장치(1000)는 단계 S1410에서 사용자 입력을 수신함에 따라 음성 인식 기능을 활성화하고, 디스플레이부(1610) 상에 적어도 하나의 음성 명령어 가이드 UI를 디스플레이할 수 있다.
단계 S1430에서, 전자 장치(1000)는 탑승자로부터 음성 입력을 수신할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1200)는 마이크로폰(1520)을 통해 운전석, 조수석, 또는 뒷좌석 중 적어도 하나에 탑승한 탑승자에 의해 발화된 음성 입력을 수신할 수 있다.
단계 S1440에서, 전자 장치(1000)는 수신된 음성 입력과 적어도 하나의 음성 명령어 가이드 UI에 대응되는 적어도 하나의 단축 명령어를 비교한다. 일 실시예에서, 전자 장치(1000)의 프로세서(1200)는 ASR(Automatic Speech Recognition)을 수행하여 수신된 음성 입력을 컴퓨터로 판독 가능한 텍스트로 변환할 수 있다. 프로세서(1200)는 변환된 텍스트를 적어도 하나의 음성 명령어 가이드 UI에 대응되는 적어도 하나의 단축 명령어와 비교할 수 있다.
텍스트와 대응되는 단축 명령어가 식별된 경우(단계 S1450), 전자 장치(1000)는 식별된 단축 명령어에 대응되는 기능을 실행한다. 예를 들어, 탑승자로부터 수신된 음성 입력이 "볼륨 업"인 경우, 전자 장치(1000)는 디스플레이된 적어도 하나의 음성 명령어 가이드 UI에 대응되는 적어도 하나의 단축 명령어 중 '볼륨 업'과 매칭되는 단축 명령어를 식별하고, 식별된 단축 명령어에 대응되는 기능인 미디어 볼륨 올림 기능을 실행할 수 있다.
비교 결과, 텍스트와 대응되는 단축 명령어가 식별되지 않은 경우(단계 S1470), 전자 장치(1000)는 음성 입력 데이터를 서버로 전송한다. 일 실시예에서, 전자 장치(1000)는 데이터 통신 모듈(1120, 도 2 참조)를 이용하여 음성 입력 데이터를 서버로 전송할 수 있다. 전자 장치(1000)는 예를 들어, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), 또는 블루투스를 포함하는 근거리 무선 통신 또는 CDMA, WCDMA, 3G, 4G, 및/또는 5G, 밀리미터파(mmWAVE)와 같은 이동 통신 네트워크를 이용하여 음성 입력 데이터를 서버에 전송할 수 있다. 수 있다.
전자 장치(1000)는 단계 S1430에서 수신된 음성 입력 데이터를 그대로 서버에 전송할 수 있지만, 이에 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 음성 입력을 텍스트로 변환하고, 변환된 텍스트를 서버로 전송할 수도 있다.
단계 S1480에서, 전자 장치(1000)는 서버로부터 음성 입력에 대응되는 기능 정보를 수신한다. 서버는 전자 장치(1000)로부터 음성 입력 데이터를 수신하고, 자연어 이해 모델(Natural Language Understanding)을 이용하여 음성 입력 데이터를 해석함으로써 탑승자의 발화 의도(intent)를 인식할 수 있다. 서버는 인식된 발화 의도에 따른 기능을 식별하고, 식별된 기능에 관한 정보를 전자 장치(1000)에 전송할 수 있다.
단계 S1490에서, 전자 장치(1000)는 서버로부터 수신된 기능 정보를 이용하여 관련 기능을 식별하고, 식별된 기능을 실행한다.
도 14에 도시된 실시예에서, 전자 장치(1000)는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하고, 탑승자로부터 수신된 음성 입력을 서버에 전송하여 해석하기 전에 적어도 하나의 음성 명령어 가이드 UI 각각에 대응되는 적어도 하나의 단축 명령어와 비교함으로써 매칭되는 단축 명령어를 미리 식별할 수 있다. 전자 장치(1000)는 매칭되는 단축 명령어가 식별되는 경우, 식별된 단축 명령어와 관련된 기능을 실행하므로, 서버에 접속할 필요가 없이 온 디바이스(on-device)로 기능을 실행할 수 있다. 따라서, 본 개시의 일 실시예에 따른 전자 장치(1000)는 서버와의 통신에 의해 소모되는 시간 및 통신 비용을 절감할 수 있고, 음성 인식의 정확도를 향상시킬 수 있는 기술적 효과를 제공한다.
도 15는 본 개시의 일 실시예에 따른 전자 장치(1000)가 인공 지능 기술을 이용하여 수행되는 동작을 설명하기 위한 도면이다.
구체적으로, 전자 장치(1000)에 의해 수행되는 i) 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 관한 정보를 획득하는 동작, ii) 획득된 적어도 하나의 정보에 기초하여, 탑승자로부터 수신되는 음성 입력에 의해 상기 차량 또는 상기 전자 장치가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성하는 동작, 및 iii) 생성된 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 동작 중 적어도 하나는, 신경망(neural network)을 통한 연산을 수행하는 인공지능(AI: Artificial Intelligence) 기술을 이용하여 수행될 수 있다.
인공 지능 기술(이하, 'AI 기술')은 신경망(Neural Network)을 통한 연산을 기반으로 입력 데이터를 분석 및/또는 분류 등과 같은 처리를 하여 목적하는 결과를 획득하는 기술이다.
이러한 AI 기술은 알고리즘을 활용하여 구현될 수 있다. 여기서, AI 기술을 구현하기 위한 알고리즘 또는 알고리즘의 집합을 신경망(Neural Network)이라 한다. 여기서, 신경망은 입력 데이터를 입력받고, 전술한 분석 및/또는 분류를 위한 연산을 수행하여, 결과 데이터를 출력할 수 있다. 신경망이 입력 데이터에 대응되는 결과 데이터를 정확하게 출력하기 위해서는, 신경망을 학습(training)시킬 필요가 있다. 여기서, '학습(training)'은 신경망에 대한 입력 데이터들을 분석하는 방법, 입력 데이터들을 분류하는 방법, 및/또는 입력 데이터들에서 결과 데이터 생성에 활용되는 특징을 추출하는 방법 등을 신경망이 스스로 발견 또는 터득할 수 있도록 훈련시키는 것을 의미할 수 있다. 구체적으로, 학습 과정을 통하여, 신경망은 학습 데이터(예를 들어, 서로 다른 복수의 이미지들)를 학습(training)하여 신경망 내부의 가중치(weight) 값들을 최적화할 수 있다. 그리고, 최적화된 가중치 값을 가지는 신경망을 통하여, 입력 데이터를 처리함으로써, 목적하는 결과를 출력한다.
신경망은 연산을 수행하는 내부의 레이어(layer)인 은닉 레이어(hidden layer)의 개수가 복수일 경우, 즉 연산을 수행하는 신경망의 심도(depth)가 증가하는 경우, 심층 신경망으로 분류될 수 있다. 신경망은 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 등을 포함하고, 전술한 예시에 한정되지 않는다. 또한, 신경망은 세분화될 수 있다. 예를 들어, CNN 신경망은 DCNN(Deep Convolution Neural Network) 또는 캡스넷(Capsnet) 신경망(미도시) 등으로 세분화 될 수 있다.
'AI 모델'은 입력 데이터를 수신하고 목적하는 결과를 출력하도록 동작하는 적어도 하나의 레이어를 포함하는 신경망을 의미할 수 있다. 또한, 'AI 모델'은 신경망을 통한 연산을 수행하여 목적하는 결과를 출력하는 알고리즘, 복수의 알고리즘의 집합, 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 프로세서(processor), 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 소프트웨어, 또는 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 하드웨어를 의미할 수 있다.
전술한 i) 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 관한 정보를 획득하는 동작, ii) 획득된 적어도 하나의 정보에 기초하여, 탑승자로부터 수신되는 음성 입력에 의해 상기 차량 또는 상기 전자 장치가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성하는 동작, 및 iii) 생성된 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 동작 중 적어도 하나는 AI 모델 기반으로 수행될 수 있다.
도 15를 참조하면, 신경망(150)은 학습 데이터(training data)를 입력받아 트레이닝(training)될 수 있다. 그리고, 학습된 신경망(150)은 입력단(152)으로 입력 데이터(151)를 입력받고, 입력단(152), 은닉 레이어(hidden layer)(153) 및 출력단(154)은 입력 데이터(151) 및 이전 레이어로부터 전달된 데이터를 분석하여 출력 데이터(155)를 출력하기 위한 연산을 수행할 수 있다. 도 15에서는 은닉 레이어(153)가 1개의 계층인 것으로 도시되어 있으나, 이는 예시일 뿐이고, 은닉 레이어(153)는 복수의 계층으로 이루어질 수도 있다.
개시된 실시예에서 신경망(150)은, 로그인 정보로부터 탑승자의 사용자 식별 정보 및 사용 이력 정보를 획득하고, 사용자 식별 정보 및 사용 이력 정보로부터 탑승자가 자주 사용하는 애플리케이션 정보를 획득하며, 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어를 간소화함으로써 적어도 하나의 단축 명령어를 생성하도록 학습될 수 있다.
개시된 실시예에서 신경망(150)은, 디스플레이부(1610, 도 2 참조) 상에 출력되는 적어도 하나의 그래픽 UI가 나타내는 기능을 인식하고, 인식된 기능을 자연어로 변환함으로써 적어도 하나의 GUI 각각에 대응되는 적어도 하나의 단축 명령어를 생성하도록 학습될 수 있다.
개시된 실시예에서 신경망(150)은, 적어도 하나의 음성 명령어 가이드 UI를 대응되는 기능을 실행하기 위한 적어도 하나의 그래픽 UI의 인접한 위치에 각각 디스플레이하도록 학습될 수 있다.
개시된 실시예에서 신경망(150)은, 차량의 현재 위치, 주행 도로, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정하고, 차량 주행 정보, 탑승자 정보, 디스플레이 출력 정보, 및 결정된 안전 속도 정보 중 적어도 하나에 기초하여 적어도 하나의 음성 명령어 가이드 UI 각각의 가중치를 결정하고, 결정된 가중치에 기초하여 적어도 하나의 음성 명령어 가이드 UI가 표시되는 개수, 위치, 및 크기를 결정하며, 결정된 개수, 위치, 및 크기에 따라 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 학습될 수 있다.
개시된 실시예에서 신경망(150)은, 차량의 주행 정보로부터 차량의 주행 속도가 상기 안전 속도 이상인지 여부를 인식하고, 인식 결과에 기초하여 차량의 주행과 관련되는 기능을 실행하기 위한 적어도 하나의 제1 음성 명령어 가이드 UI의 가중치 및 편의 기능을 실행하기 위한 적어도 하나의 제2 음성 명령어 가이드 UI의 가중치를 변경하도록 학습될 수 있다.
개시된 실시예에서 신경망(150)은, 디스플레이되는 팝 업 메시지를 제거하기 위한 기능을 실행하는 음성 명령어 가이드 UI의 가중치를 조절하도록 학습될 수 있다.
개시된 실시예에서 신경망(150)은, 탑승자의 탑승 위치 정보에 따른 탑승자와 디스플레이부 사이의 거리를 측정하고, 측정된 거리에 기초하여 디스플레이부 상에서 적어도 하나의 음성 명령어 가이드 UI가 디스플레이되는 영역을 결정하며, 결정된 영역에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 학습될 수 있다.
개시된 실시예에서, 전술한 i) 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 관한 정보를 획득하는 동작, ii) 획득된 적어도 하나의 정보에 기초하여, 탑승자로부터 수신되는 음성 입력에 의해 상기 차량 또는 상기 전자 장치가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성하는 동작, 및 iii) 생성된 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 동작 중 적어도 하나를 수행하는 신경망(150)과 관련된 데이터 또는 프로그램 코드는 메모리(1300, 도 2 참조)에 저장되고, 신경망(150)을 이용하는 학습은 프로세서(1200, 도 2 참조)에 의해 수행될 수 있다.
또는, 전술한 i) 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 관한 정보를 획득하는 동작, ii) 획득된 적어도 하나의 정보에 기초하여, 탑승자로부터 수신되는 음성 입력에 의해 상기 차량 또는 상기 전자 장치가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성하는 동작, 및 iii) 생성된 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 동작 중 적어도 하나를 수행하는 신경망(150)은 전자 장치(1000)와 구별된 별도의 디바이스(미도시) 또는 프로세서(미도시) 내에 구현될 수 있다.
전술한 신경망(150)을 통한 연산은 일 실시예에 따른 전자 장치(1000)와 무선 통신 네트워크를 통해 통신할 수 있는 서버(2000, 도 16 및 도 17 참조)에 의해 수행될 수도 있다. 전자 장치(1000)와 서버(2000) 간의 통신은 도 16 및 도 17을 참조하여 설명한다.
도 16은 서버(2000)와 연동하여 동작하는 개시된 실시예에 따른 전자 장치(1000)를 나타내는 도면이다.
서버(2000)는 통신 네트워크(3000)를 통하여 전자 장치(1000)와 데이터를 송수신하며 데이터를 처리할 수 있다.
도 17을 함께 참조하면, 서버(2000)는 전자 장치(1000)와 통신하는 통신부(2100), 적어도 하나의 인스트럭션을 수행하는 프로세서(2200), 및 데이터베이스(2300)를 포함할 수 있다.
서버(2000)는 AI 모델을 훈련시키고, 훈련된 AI 모델을 저장하고 있을 수 있다. 그리고, 서버(2000)는 훈련된 AI 모델을 이용하여 전술한 i) 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 관한 정보를 획득하는 동작, ii) 획득된 적어도 하나의 정보에 기초하여, 탑승자로부터 수신되는 음성 입력에 의해 상기 차량 또는 상기 전자 장치가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성하는 동작, 및 iii) 생성된 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 동작 중 적어도 하나를 수행할 수 있다.
일반적으로, 전자 장치(1000)는 메모리 저장 용량, 연산의 처리 속도, 학습 데이터 셋의 수집 능력 등이 서버(2000)에 비하여 제한적일 수 있다. 따라서, 대용량 데이터의 저장 및 대용량의 연산량이 사용되는 동작은 서버(2000)에서 수행한 후, 통신 네트워크를 통하여 필요한 데이터 및/또는 AI 모델을 전자 장치(1000)에 전송할 수 있다. 그러면, 전자 장치(1000)는 대용량의 메모리 및 빠른 연산 능력을 갖는 프로세서 없이도, 서버(2000)를 통하여 필요한 데이터 및/또는 AI 모델을 수신하여 이용함으로써, 빠르고 용이하게 필요한 동작을 수행할 수 있다.
개시된 실시예에서, 서버(2000)는 도 15에서 설명한 신경망(150)을 포함할 수 있다.
도 17은 도 16을 상세하게 설명하기 위한 도면이다.
도 17을 참조하면, 서버(2000)는 통신부(2100), 프로세서(2200), 및 데이터베이스(2300)를 포함할 수 있다.
통신부(2100)는 무선 통신 네트워크를 통해서 외부 장치와 통신을 수행한다. 여기서, 외부 장치(미도시)는 전자 장치(1000)가 사용하는 연산 중 적어도 하나를 수행하거나, 전자 장치(1000)가 사용하는 데이터 등을 송신할 수 있는 서버를 포함할 수 있다.
통신부(2100)는, 근거리 통신 모듈, 유선 통신 모듈, 이동 통신 모듈, 방송 수신 모듈 등과 같은 적어도 하나의 통신 모듈을 포함한다. 여기서, 적어도 하나의 통신 모듈은 방송 수신을 수행하는 튜너, 블루투스, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), CDMA, WCDMA, 인터넷, 3G, 4G, 5G 및/또는 밀리미터 파(mmwave)를 이용한 통신 방식과 같은 통신 규격을 따르는 네트워크를 통하여 데이터 송수신을 수행할 수 있는 통신 모듈을 의미한다.
예를 들어, 통신부(2100)가 밀리미터 파(mmWAVE)를 이용하여 통신을 수행하면, 대용량의 데이터를 빠르게 송수신할 수 있다. 구체적으로, 차량은 밀리미터파를 이용하여 대용량의 데이터를 빠르게 수신하고, 차량의 안전에 사용되는 데이터(예를 들어, 자율 주행에 필요한 데이터, 네비게이션 서비스를 위해 사용되는 데이터 등), 사용자 이용 컨텐츠(예를 들어, 영화, 음악 등) 등을 빠르게 제공함으로써, 차량의 안전성 및/또는 사용자의 편리성을 증가시킬 수 있다.
통신부(2100)에 포함되는 이동 통신 모듈은 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 원거리에 위치하는 다른 장치(예를 들어, 전자 장치(1000))와 통신을 수행할 수 있다. 여기서, 원거리에 위치하는 다른 장치와 통신을 수행하는 통신 모듈을 '원거리 통신 모듈'이라 칭할 수 있다. 일 실시예에서, 통신부(2100)는 전자 장치(1000)의 데이터 통신 모듈(1120)와 유선 또는 무선으로 데이터를 송수신할 수 있다.
프로세서(2200)는 서버(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2200)는, 서버(2000)의 적어도 하나의 인스트럭션(instructions), 및 프로그램들 중 적어도 하나를 실행함으로써, 동작들을 수행할 수 있다.
데이터베이스(2300)는 메모리(미도시)를 포함할 수 있으며, 메모리(미도시) 내에 서버(2000)가 소정 동작을 수행하기 위해서 사용되는 적어도 하나의 인스트럭션, 프로그램, 데이터 중 적어도 하나를 저장할 수 있다. 또한, 데이터베이스(2300)는 서버(2000)가 신경망에 따른 연산을 수행하기 위해서 사용되는 데이터들을 저장할 수 있다.
개시된 실시예에서, 서버(2000)는 도 15에서 설명한 신경망(150)을 저장하고 있을 수 있다. 신경망(150)은 프로세서(2200) 및 데이터베이스(2300) 중 적어도 하나에 저장될 수 있다. 서버(2000)가 포함하는 신경망(150)은 학습이 완료된 신경망이 될 수 있다.
또한, 서버(2000)는 학습이 완료된 신경망을 통신부(2100)를 통하여 전자 장치(1000)의 데이터 통신 모듈(1120)로 전송할 수 있다. 그러면, 전자 장치(1000)는 학습이 완료된 신경망을 획득 및 저장하고, 신경망을 통하여 목적하는 출력 데이터를 획득할 수 있다.
본 명세서에서 설명된 전자 장치(1000)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 차량 또는 전자 장치(1000)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 전자 장치(1000), 서버(2000, 도 16 및 도 17 참조), 및 타 전자 장치로 구성되는 시스템에서, 서버(2000)의 저장매체 또는 전자 장치의 저장매체를 포함할 수 있다. 또는, 전자 장치(1000)와 통신 연결되는 제3 장치(예를 들어, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 전자 장치(1000)로부터 전자 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 전자 장치로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 전자 장치(1000), 전자 장치, 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 전자 장치(1000), 전자 장치, 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 전자 장치(1000)가 메모리(1300, 도 2 참조)에 저장된 컴퓨터 프로그램 제품을 실행하여, 전자 장치(1000)와 통신 연결된 타 전자 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 전자 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 전자 장치(1000)로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드(pre-load)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (15)

  1. 차량에 탑재되는 전자 장치에 있어서,
    디스플레이부;
    상기 차량 또는 상기 전자 장치의 하나 또는 그 이상의 기능을 실행하기 위한 음성 입력에 의해 실행 가능한(executable) 음성 명령어 및 하나 또는 그 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리; 및
    상기 메모리에 저장된 프로그램의 하나 또는 그 이상의 명령어들을 실행하는 프로세서;
    를 포함하고,
    상기 프로세서는,
    차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나를 획득하고, 획득된 상기 차량의 주행 정보, 상기 탑승자 정보, 및 상기 디스플레이 출력 정보 중 적어도 하나에 기초하여 상기 차량 또는 상기 전자 장치가 제공하는 기능을 실행하기 위한 하나 또는 그 이상의 음성 명령어를 간소화한 적어도 하나의 단축 명령어를 생성하고,
    상기 적어도 하나의 단축 명령어 각각을 표시하는 적어도 하나의 음성 명령어 가이드 UI(User Interface)를 디스플레이하도록 상기 디스플레이부를 제어하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 차량의 탑승자의 사용자 식별 정보(user identification information) 및 사용 이력 정보를 획득하고,
    상기 사용자 식별 정보 및 사용 이력 정보에 기초하여 상기 탑승자에 의해 자주 사용되는 하나 또는 그 이상의 애플리케이션을 검출하고,
    상기 하나 또는 그 이상의 음성 명령어는 상기 검출된 하나 또는 그 이상의 자주 사용된 애플리케이션과의 관련도(association)에 기초하여 상기 적어도 하나의 단축 명령어를 생성하기 위하여 선택되는, 전자 장치.
  3. 제1 항에 있어서,
    상기 디스플레이부는 복수의 디스플레이들을 포함하고, 각각의 디스플레이는 상기 차량에 포함된 탑승석들의 위치에 대응되고,
    상기 프로세서는 상기 하나 또는 그 이상의 명령어들을 실행하여,
    상기 차량에 탑승한 탑승자로부터 음성 인식 기능을 요청하는 사용자 입력을 수신하고,
    상기 사용자 입력에 응답하여 상기 복수의 디스플레이들 중 상기 탑승자가 탑승한 탑승석에 대응하는 디스플레이의 음성 인식 기능을 활성화하고, 상기 디스플레이 상에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 상기 디스플레이부를 제어하는, 전자 장치.
  4. 제1 항에 있어서,
    상기 프로세서는 상기 하나 또는 그 이상의 명령어들을 실행하여,
    상기 차량의 주행 정보 및 상기 탑승자 정보가 획득되면, 상기 차량 주행 정보로부터 추출된 상기 차량의 현재 위치, 주행 도로, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정하고,
    상기 차량 주행 정보, 상기 탑승자 정보, 상기 디스플레이 출력 정보, 및 결정된 상기 안전 속도 중 적어도 하나에 기초하여 상기 음성 명령어 가이드 UI의 가중치를 결정하고,
    상기 결정된 가중치에 기초하여 상기 음성 명령어 가이드 UI의 표시 여부, 표시 위치, 및 표시 크기를 결정하는, 전자 장치.
  5. 제4 항에 있어서,
    상기 프로세서는,
    상기 차량의 주행 정보로부터 차량의 주행 속도가 상기 안전 속도 이상인지 여부를 판단하고,
    상기 차량의 주행 속도가 상기 안전 속도 이상인지 여부에 기초하여, 상기 차량의 주행 관련 기능을 실행하기 위한 적어도 하나의 제1 음성 명령어 가이드 UI의 가중치 및 상기 차량의 주행과 관련되지 않는 편의 관련 기능을 실행하기 위한 적어도 하나의 제2 음성 명령어 가이드 UI의 가중치를 조절하는, 전자 장치.
  6. 제4 항에 있어서,
    상기 프로세서는,
    팝 업 메시지(pop-up message)가 상기 디스플레이부 상에 디스플레이되는 UI를 오버레이하여 디스플레이되는 경우, 상기 팝 업 메시지를 상기 디스플레이부 상에서 제거하기 위한 기능을 실행하는 제1 음성 명령어 가이드 UI의 가중치를 조절하는, 전자 장치.
  7. 제1 항에 있어서,
    상기 프로세서는,
    상기 차량 내의 탑승자의 위치와 상기 디스플레이부 사이의 거리에 기초하여, 상기 디스플레이부 상에서 상기 적어도 하나의 음성 명령어 가이드 UI가 디스플레이되는 디스플레이 영역(display area)을 결정하고,
    상기 결정된 디스플레이 영역에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 상기 디스플레이부를 제어하는, 전자 장치.
  8. 차량에 탑재되는 전자 장치의 동작 방법에 있어서,
    상기 차량 또는 상기 전자 장치의 하나 또는 그 이상의 기능을 실행하기 위한 음성 입력에 의해 실행 가능한(executable) 음성 명령어를 메모리 내에 저장하는 단계;
    차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나를 획득하는 단계;
    상기 차량의 주행 정보, 상기 탑승자 정보, 및 상기 디스플레이 출력 정보 중 적어도 하나에 기초하여, 적어도 하나의 프로세서에 의해 상기 하나 또는 그 이상의 음성 명령어를 간소화함으로써 적어도 하나의 단축 명령어를 생성하는 단계; 및
    생성된 상기 적어도 하나의 단축 명령어 각각을 표시하는 적어도 하나의 음성 명령어 가이드 UI(User Interface)를 디스플레이하는 단계;
    를 포함하는, 방법.
  9. 제8 항에 있어서,
    상기 적어도 하나의 정보를 획득하는 단계는,
    탑승자의 사용자 식별 정보(user identification information) 및 사용 이력 정보를 획득하는 단계; 및
    상기 사용자 식별 정보 및 사용 이력 정보에 기초하여 상기 탑승자가 자주 사용하는 하나 또는 그 이상의 애플리케이션을 검출하는 단계; 를 포함하고,
    상기 하나 또는 그 이상의 음성 명령어는 상기 검출된 하나 또는 그 이상의 자주 사용하는 애플리케이션과의 관련도에 기초하여 상기 적어도 하나의 단축 명령어를 생성하기 위하여 선택되는, 방법.
  10. 제8 항에 있어서,
    디스플레이부는 복수의 디스플레이들을 포함하고, 각각의 디스플레이는 상기 차량에 포함된 탑승석들의 위치에 대응되고,
    상기 방법은,
    상기 차량에 탑승한 탑승자로부터 음성 인식 기능을 활성화하는 사용자 입력을 수신하는 단계;
    상기 사용자 입력에 응답하여, 상기 복수의 디스플레이들 중 상기 탑승자가 탑승한 탑승석에 대응되는 디스플레이의 음성 인식 기능을 활성화하는 단계; 및
    상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 상기 디스플레이부를 제어하는 단계;
    를 더 포함하는, 방법.
  11. 제8 항에 있어서,
    상기 방법은,
    상기 차량의 주행 정보 및 상기 탑승자 정보가 획득되면, 상기 차량 주행 정보로부터 추출된 상기 차량의 현재 위치, 주행 도로, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정하는 단계;
    상기 차량 주행 정보, 상기 탑승자 정보, 상기 디스플레이 출력 정보, 및 결정된 상기 안전 속도 중 적어도 하나에 기초하여 상기 적어도 하나의 음성 명령어 가이드 UI 각각의 가중치를 결정하는 단계;
    상기 결정된 가중치에 기초하여 상기 적어도 하나의 음성 명령어 가이드 UI의 개수(number), 표시 위치, 및 표시 크기를 결정하는 단계; 를 더 포함하는, 방법.
  12. 제11 항에 있어서,
    상기 방법은,
    상기 차량의 주행 정보로부터 차량의 주행 속도가 상기 안전 속도 이상인지 여부를 판단하는 단계; 및
    상기 차량의 주행 속도가 상기 안전 속도 이상인지 여부에 기초하여, 상기 차량의 주행과 관련되는 기능을 실행하기 위한 적어도 하나의 제1 음성 명령어 가이드 UI의 가중치 및 상기 차량의 주행과 관련되지 않는 편의 기능을 실행하기 위한 적어도 하나의 제2 음성 명령어 가이드 UI의 가중치를 조절하는 단계;
    를 더 포함하는, 방법.
  13. 제11 항에 있어서,
    상기 적어도 하나의 음성 명령어 가이드 UI의 가중치를 결정하는 단계는,
    상기 디스플레이부 상에 디스플레이되는 그래픽 UI를 오버레이하는 팝 업 메시지(pop-up message)가 출력되는 경우, 상기 팝 업 메시지를 상기 디스플레이부 상에서 제거하기 위한 기능을 실행하는 음성 명령어 가이드 UI의 가중치를 조절하는, 방법.
  14. 제8 항에 있어서,
    상기 방법은,
    상기 차량 내의 탑승자의 탑승 위치 정보에 따른 상기 탑승자와 상기 디스플레이부 사이의 거리에 기초하여, 상기 디스플레이부 상에서 상기 적어도 하나의 음성 명령어 가이드 UI가 디스플레이되는 디스플레이 영역을 결정하는 단계; 및
    상기 결정된 디스플레이 영역에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계;
    를 더 포함하는, 방법.
  15. 비일시적인(non-transitory) 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)에 있어서,
    상기 저장 매체는,
    상기 차량 또는 상기 전자 장치의 하나 또는 그 이상의 기능을 실행하기 위한 음성 입력에 의해 실행 가능한(executable) 음성 명령어를 메모리 내에 저장하는 동작;
    차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나를 획득하는 동작;
    상기 차량의 주행 정보, 상기 탑승자 정보, 및 상기 디스플레이 출력 정보 중 적어도 하나에 기초하여, 적어도 하나의 프로세서에 의해 상기 하나 또는 그 이상의 음성 명령어를 간소화함으로써 적어도 하나의 단축 명령어를 생성하는 동작; 및
    생성된 상기 적어도 하나의 단축 명령어 각각을 표시하는 적어도 하나의 음성 명령어 가이드 UI(User Interface)를 디스플레이하는 동작;
    을 포함하는, 차량에 탑재된 전자 장치에 의해 실행 가능한 명령어들(instructions executable by an electronic device)을 포함하는 컴퓨터 프로그램 제품.
PCT/KR2022/005406 2021-06-25 2022-04-14 차량에 탑재된 전자 장치 및 그 동작 방법 WO2022270731A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/748,128 US20220415321A1 (en) 2021-06-25 2022-05-19 Electronic device mounted in vehicle, and method of operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0083184 2021-06-25
KR1020210083184A KR20230001056A (ko) 2021-06-25 2021-06-25 차량에 탑재된 전자 장치 및 그 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/748,128 Continuation US20220415321A1 (en) 2021-06-25 2022-05-19 Electronic device mounted in vehicle, and method of operating the same

Publications (1)

Publication Number Publication Date
WO2022270731A1 true WO2022270731A1 (ko) 2022-12-29

Family

ID=84545532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005406 WO2022270731A1 (ko) 2021-06-25 2022-04-14 차량에 탑재된 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20230001056A (ko)
WO (1) WO2022270731A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180025379A (ko) * 2016-08-30 2018-03-09 자동차부품연구원 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 hud 정보 제공 시스템 및 방법
KR101860731B1 (ko) * 2016-02-26 2018-05-24 자동차부품연구원 차량용 제스처 인식 인터페이스 장치
KR20180109631A (ko) * 2017-03-27 2018-10-08 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법
KR20190106943A (ko) * 2019-08-30 2019-09-18 엘지전자 주식회사 차량 내에서 인공 지능 기반의 음성 분리 방법 및 장치
KR20210059860A (ko) * 2019-11-15 2021-05-26 엘지전자 주식회사 차량의 ux 제어 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101860731B1 (ko) * 2016-02-26 2018-05-24 자동차부품연구원 차량용 제스처 인식 인터페이스 장치
KR20180025379A (ko) * 2016-08-30 2018-03-09 자동차부품연구원 음성 인식률을 고려한 운전자 및 주행상황 맞춤형 hud 정보 제공 시스템 및 방법
KR20180109631A (ko) * 2017-03-27 2018-10-08 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법
KR20190106943A (ko) * 2019-08-30 2019-09-18 엘지전자 주식회사 차량 내에서 인공 지능 기반의 음성 분리 방법 및 장치
KR20210059860A (ko) * 2019-11-15 2021-05-26 엘지전자 주식회사 차량의 ux 제어 장치 및 방법

Also Published As

Publication number Publication date
KR20230001056A (ko) 2023-01-04

Similar Documents

Publication Publication Date Title
WO2017034282A1 (en) Driver assistance apparatus and method for controlling the same
WO2017003052A1 (ko) 차량 운전 보조 방법 및 차량
WO2017034287A1 (en) Pedestrial crash prevention system and operation method thereof
WO2014189200A1 (ko) 영상표시장치 및 영상표시장치의 동작방법
WO2018110818A1 (en) Speech recognition method and apparatus
WO2017217578A1 (ko) 차량용 제어장치 및 그것의 제어방법
WO2016104909A1 (en) Controlling a vehicle
WO2014010879A1 (ko) 음성 인식 장치 및 그 방법
WO2012133983A1 (ko) 차량에 장착되는 영상표시기기에서의 이미지 처리
WO2016085198A1 (ko) 전자기기 및 그것의 제어방법
WO2017018583A1 (ko) 이동 단말기 및 그 제어방법
WO2012133982A1 (ko) 영상처리장치 및 영상처리장치의 제어 방법
WO2019124834A1 (ko) 주행 컨텍스트에 기반한 디스플레이 제어 방법 및 장치
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2012036323A1 (ko) 통신 단말기 및 그 제어 방법
WO2016042725A1 (ja) 車両用機器制御装置、制御内容検索方法
WO2019151575A1 (ko) 차량 단말기 및 그것을 포함하는 운송 시스템의 제어방법
WO2022154299A1 (ko) 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템
WO2018124584A1 (ko) 개인 안전 장치 및 그 동작방법
WO2013015463A1 (ko) 이동 단말기 및 그 제어방법
WO2022270731A1 (ko) 차량에 탑재된 전자 장치 및 그 동작 방법
WO2020189807A1 (ko) 차량 제어 장치
CN111731320B (zh) 智能体系统、智能体服务器及其控制方法、存储介质
US11325605B2 (en) Information providing device, information providing method, and storage medium
WO2021091041A1 (ko) 차량용 디스플레이 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22828580

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22828580

Country of ref document: EP

Kind code of ref document: A1