KR20230001056A - The electronic device mounted on vehicle and the method operating the same - Google Patents
The electronic device mounted on vehicle and the method operating the same Download PDFInfo
- Publication number
- KR20230001056A KR20230001056A KR1020210083184A KR20210083184A KR20230001056A KR 20230001056 A KR20230001056 A KR 20230001056A KR 1020210083184 A KR1020210083184 A KR 1020210083184A KR 20210083184 A KR20210083184 A KR 20210083184A KR 20230001056 A KR20230001056 A KR 20230001056A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- voice command
- electronic device
- vehicle
- voice
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000006870 function Effects 0.000 claims abstract description 277
- 230000003213 activating effect Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 58
- 238000013528 artificial neural network Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 27
- 238000004590 computer program Methods 0.000 description 17
- 238000013473 artificial intelligence Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004378 air conditioning Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000010438 heat treatment Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011017 operating method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000009530 blood pressure measurement Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
- B60K35/265—Voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
- G06F16/437—Administration of user profiles, e.g. generation, initialisation, adaptation, distribution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- B60K2370/152—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/089—Driver voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Navigation (AREA)
Abstract
Description
본 개시는 차량에 탑재된 전자 장치 및 그 동작 방법에 관한 것이다. 구체적으로, 본 개시는 음성 명령을 통해 차량 또는 전자 장치의 기능을 실행하기 위한 시각적인 가이드 UI(User Interface)를 제공하는 방법 및 전자 장치를 제공한다. The present disclosure relates to an electronic device mounted in a vehicle and an operating method thereof. Specifically, the present disclosure provides a method and an electronic device for providing a visual guide user interface (UI) for executing functions of a vehicle or electronic device through voice commands.
음성 인식 기술의 발전으로 인하여, 차량 내에서도 운전자의 음성 입력을 통해 기능을 실행할 수 있는 음성 인식 기술이 보급되고 있다. 종래의 차량에서 제공되는 음성 인식 기능은, 운전자로부터 음성 입력을 수신하여 차량 또는 차량 내 전자 장치에 의해 제공되는 기능을 실행하는 일반적인 음성 인식 에이전트(voice agent)와 차량 내 디스플레이 화면 및 상황을 인식하여 음성 인식 기능 리스트를 제공하는 voice access 로 구분될 수 있다.Due to the development of voice recognition technology, voice recognition technology capable of executing functions through a driver's voice input is becoming popular even in a vehicle. The voice recognition function provided in a conventional vehicle is a general voice recognition agent that receives a voice input from a driver and executes a function provided by the vehicle or an electronic device in the vehicle and recognizes the display screen and situation in the vehicle It can be divided into voice access that provides a list of voice recognition functions.
일반적인 음성 인식 에이전트의 경우, 차량 내에서 제공되는 기능에 관한 음성 명령어 리스트에 관한 안내가 존재하지 않으며, 이로 인하여 사용자는 어떠한 음성 명령을 발화해야 어떤 기능이 실행되는지를 정확하게 알 수 없다. 따라서, 사용자가 특정 음성 명령어를 발화하면, 차량에서는 대응되는 기능을 실행하기 위하여 필요한 파라미터(parameter)를 문의하고, 사용자는 문의에 따라 특정 파라미터를 다시 발화하여 차량에 기능에 관한 정보를 제공해야 하는 번거로움이 있다. 예를 들어, 운전자가 음악 애플리케이션을 통해 현재 듣고 있는 곡에서 다음 곡을 플레이하고 싶은 경우, 운전자는 "다음 곡 틀어줘~"라는 음성 명령을 발화할 수 있다. 이 경우, 차량 내 전자 장치는 운전자의 음성 명령과 관련하여, 음악 애플리케이션과 관련된 발화인지, 현재 플레이되고 있는 곡의 다음 곡을 의미하는지, 아니면 곡의 이름이 '다음곡'인지 여부를 정확하게 알 수 없다. 따라서, 차량 내 전자 장치는 "음악 애플리케이션에서 다음 곡을 플레이하라는 말씀이신가요?" 와 같은 운전자의 음성 명령에 관한 파라미터 정보를 획득 또는 확인하기 위한 문의 메시지를 출력할 수 있다. 운전자는 문의 메시지에 관하여 "응. 음악 애플리케이션에서 다음 곡 플레이"와 같은 추가 음성 명령을 발화해야만 한다. 전술한 예시에서, 운전자는 음성 인식 기능을 이용함에 있어서 차량의 전자 장치와의 인터랙션(interaction)이 증가하고, 이로 인하여 운전자의 피로도가 감소되며, 주의력이 분산되어 사고 위험성이 증가되는 문제점이 있다. 또한, 추가적인 파라미터 정보를 입력해야 하는 번거로움 때문에, 운전자가 음성 인식 기능을 활용하는 빈도수가 떨어질 수 있다. In the case of a general voice recognition agent, there is no guidance on a list of voice commands related to functions provided in a vehicle, and thus, the user cannot accurately know which function is executed by uttering a voice command. Therefore, when the user utters a specific voice command, the vehicle inquires about parameters necessary to execute the corresponding function, and the user utters the specific parameter again according to the inquiry to provide information about the function to the vehicle. There is a hassle. For example, if the driver wants to play the next song from the current song he is listening to through a music application, the driver can utter a voice command, "Play the next song". In this case, in relation to the driver's voice command, the in-vehicle electronic device can accurately determine whether the utterance is related to a music application, refers to the next song of the currently playing song, or whether the song is named 'next song'. does not exist. So, the in-vehicle electronics say "You mean play the next song in the music application?" An inquiry message for obtaining or confirming parameter information on a driver's voice command, such as, may be output. The driver has to utter an additional voice command in response to the inquiry message, such as “Okay. Play the next song in the music application.” In the above example, when the driver uses the voice recognition function, the driver's interaction with the vehicle's electronic device increases, and as a result, the driver's fatigue is reduced and the driver's attention is dispersed, thereby increasing the risk of an accident. Also, due to the inconvenience of inputting additional parameter information, the driver's frequency of using the voice recognition function may decrease.
음성 인식을 통해 기능을 수행하기 위한 음성 명령어 리스트를 제공하는 voice access의 경우, 디스플레이 화면에 많은 정보를 표시하여 주행 중 운전자의 주의력 분산을 유발하는 문제점이 있다. 또한, 종래의 voice access는 차량의 주행 환경이나 탑승자 정보와는 관계없이 동일한 음성 명령어 리스트만을 제공하는 바, 사용자에 특화된 음성 인식 서비스를 제공하지 않는다. In the case of voice access that provides a list of voice commands for performing functions through voice recognition, there is a problem in that a lot of information is displayed on a display screen, causing distraction of a driver while driving. In addition, the conventional voice access provides only the same voice command list regardless of the vehicle driving environment or passenger information, and thus does not provide a user-specific voice recognition service.
본 개시는 음성 인식 기능 사용 시 운전자와 차량 내 전자 장치 간의 인터랙션을 감소시키고, 음성 인식의 정확성을 향상시키기 위하여, 차량 또는 전자 장치의 기능을 실행하기 위한 음성 명령어를 시각적으로 표시하는 가이드 UI(User Interface)를 출력하는 전자 장치 및 그 동작 방법을 제공한다. The present disclosure provides a guide UI (User Interface) that visually displays voice commands for executing functions of a vehicle or an electronic device in order to reduce interaction between a driver and an electronic device in a vehicle when a voice recognition function is used and to improve the accuracy of voice recognition. Interface) and an operating method thereof are provided.
상술한 기술적 과제를 해결하기 위하여 본 개시의 일 실시예는 차량에 탑재되는 전자 장치를 제공한다. 본 개시의 전자 장치는 디스플레이부, 하나 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리, 및 상기 메모리에 저장된 프로그램의 하나 이상의 명령어들을 실행하는 프로세서를 포함하고, 상기 프로세서는 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나를 획득하고, 획득된 상기 적어도 하나의 정보에 기초하여 상기 차량 또는 상기 전자 장치가 제공하는 기능을 실행하기 위한 음성 명령어를 간소화한 적어도 하나의 단축 명령어를 생성하고, 상기 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI(User Interface)를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다. In order to solve the above technical problem, an embodiment of the present disclosure provides an electronic device mounted on a vehicle. An electronic device of the present disclosure includes a display unit, a memory that stores a program including one or more instructions, and a processor that executes one or more instructions of the program stored in the memory, wherein the processor includes vehicle driving information. At least one shortened command obtained by simplifying a voice command for acquiring at least one of , occupant information, and display output information and executing a function provided by the vehicle or the electronic device based on the obtained at least one information The display unit may be controlled to generate and display at least one voice command guide user interface (UI) that visually indicates each of the at least one shortcut command.
일 실시 예에서, 상기 프로세서는 탑승자의 사용자 식별 정보(user identification information) 및 사용 이력 정보를 획득하고, 상기 사용자 식별 정보 및 사용 이력 정보로부터 상기 탑승자가 자주 사용하는 애플리케이션 정보를 획득하고, 상기 획득된 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어를 간소화함으로써 상기 적어도 하나의 단축 명령어를 생성할 수 있다. In one embodiment, the processor obtains user identification information and usage history information of the occupant, obtains application information frequently used by the occupant from the user identification information and usage history information, and obtains the obtained user identification information and usage history information. The at least one shortened command may be generated by simplifying a command for executing a function of a frequently used application.
일 실시 예에서, 상기 프로세서는 상기 디스플레이 출력 정보로부터 상기 디스플레이부 상에 출력되는 적어도 하나의 그래픽 UI(GUI)가 나타내는 기능을 인식하고, 상기 인식된 기능을 자연어로 변환함으로써, 상기 적어도 하나의 GUI 각각에 대응되는 상기 적어도 하나의 단축 명령어를 생성할 수 있다. In one embodiment, the processor recognizes a function indicated by at least one graphic UI (GUI) output on the display unit from the display output information, and converts the recognized function into a natural language, so that the at least one GUI The at least one short command corresponding to each may be generated.
일 실시 예에서, 상기 프로세서는 상기 적어도 하나의 음성 명령어 가이드 UI를 상기 적어도 하나의 음성 명령어 가이드 UI 각각에 대응되는 기능을 나타내는 적어도 하나의 그래픽 UI의 인접한 위치에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다. In one embodiment, the processor may control the display unit to display the at least one voice command guide UI at a position adjacent to at least one graphic UI representing a function corresponding to each of the at least one voice command guide UI. .
일 실시 예에서, 상기 디스플레이부는 상기 차량에 포함되는 탑승석들에 대응하는 복수의 디스플레이들을 포함하고, 상기 프로세서는 상기 차량에 탑승한 탑승자로부터 음성 인식 기능을 활성화하는 사용자 입력을 수신하고, 사용자 입력에 응답하여 상기 복수의 디스플레이들 중 상기 탑승자가 탑승한 탑승석에 대응하는 디스플레이의 음성 인식 기능을 활성화하고, 상기 디스플레이 상에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다. In one embodiment, the display unit includes a plurality of displays corresponding to seats included in the vehicle, and the processor receives a user input for activating a voice recognition function from a passenger in the vehicle, and the user input In response to this, the display unit may be controlled to activate a voice recognition function of a display corresponding to a boarding seat in which the passenger boarded among the plurality of displays, and to display the at least one voice command guide UI on the display. .
일 실시 예에서, 상기 프로세서는 상기 차량 주행 정보에 포함되는 상기 차량의 현재 위치, 주행 도로, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정하고, 상기 차량 주행 정보, 상기 탑승자 정보, 상기 디스플레이 출력 정보, 및 결정된 상기 안전 속도 중 적어도 하나에 기초하여 상기 음성 명령어 가이드 UI의 가중치를 결정하고, 상기 결정된 가중치에 기초하여 상기 음성 명령어 가이드 UI의 표시 여부, 표시 위치, 및 표시 크기를 결정할 수 있다. In one embodiment, the processor determines a safe speed based on information about the current location, driving road, and driving speed of the vehicle included in the vehicle driving information, and the vehicle driving information, the occupant information, and the display A weight of the voice command guide UI may be determined based on at least one of output information and the determined safe speed, and whether to display the voice command guide UI, a display location, and a display size may be determined based on the determined weight. .
일 실시 예에서, 상기 프로세서는 상기 차량의 주행 정보로부터 차량의 주행 속도가 상기 안전 속도 이상인지 여부를 인식하고, 상기 차량의 주행 속도의 인식 결과에 기초하여, 상기 차량의 주행과 관련되는 기능을 실행하기 위한 적어도 하나의 제1 음성 명령어 가이드 UI의 가중치 및 상기 차량의 주행과 관련되지 않는 편의 기능을 실행하기 위한 적어도 하나의 제2 음성 명령어 가이드 UI의 가중치를 조절할 수 있다. In one embodiment, the processor recognizes whether the driving speed of the vehicle is equal to or greater than the safe speed from the driving information of the vehicle, and based on the recognition result of the driving speed of the vehicle, performs a function related to driving of the vehicle. Weights of at least one first voice command guide UI to be executed and weights of at least one second voice command guide UI to execute convenience functions not related to driving of the vehicle may be adjusted.
일 실시 예에서, 상기 프로세서는 상기 디스플레이부 상에 디스플레이되는 그래픽 UI를 오버레이하는 팝 업 메시지(pop-up message)가 출력되는 경우, 상기 팝 업 메시지를 상기 디스플레이부 상에서 제거하기 위한 기능을 실행하는 음성 명령어 가이드 UI의 가중치를 조절할 수 있다. In one embodiment, the processor executes a function for removing the pop-up message on the display unit when a pop-up message overlaying a graphic UI displayed on the display unit is output. The weight of the voice command guide UI can be adjusted.
일 실시 예에서, 상기 프로세서는 탑승자의 위치와 상기 디스플레이부 사이의 거리에 기초하여 상기 디스플레이부 상에서 상기 적어도 하나의 음성 명령어 가이드 UI가 디스플레이되는 영역을 결정하고, 상기 결정된 영역에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다. In an embodiment, the processor determines an area where the at least one voice command guide UI is displayed on the display unit based on the distance between the occupant's position and the display unit, and the at least one voice command guide UI is displayed in the determined area. The display unit may be controlled to display a command guide UI.
일 실시 예에서, 상기 전자 장치는 탑승자에 의해 발화된 음성 입력을 수신하는 마이크로폰을 더 포함하고, 상기 프로세서는 상기 마이크로폰을 통해 수신된 음성 입력과 상기 적어도 하나의 음성 명령어 가이드 UI가 나타내는 상기 적어도 하나의 단축 명령어를 비교함으로써, 상기 음성 입력과 대응되는 단축 명령어를 식별하고, 상기 식별된 단축 명령어에 대응되는 기능을 실행할 수 있다. In one embodiment, the electronic device further includes a microphone for receiving a voice input uttered by a passenger, and the processor is configured to transmit the voice input received through the microphone and the at least one voice command guide UI. By comparing the short commands of , a short command corresponding to the voice input may be identified, and a function corresponding to the identified short command may be executed.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 차량에 탑재된 전자 장치의 동작 방법을 제공한다. 상기 방법은, 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나를 획득하는 단계, 상기 획득된 적어도 하나의 정보에 기초하여, 탑승자로부터 수신되는 음성 입력에 의해 상기 차량 또는 상기 전자 장치가 제공하는 기능을 실행하기 위한 음성 명령어를 간소화한 적어도 하나의 단축 명령어를 생성하는 단계, 및 생성된 상기 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI(User Interface)를 디스플레이하는 단계를 포함할 수 있다. In order to solve the above technical problem, an embodiment of the present disclosure provides a method of operating an electronic device mounted in a vehicle. The method may include obtaining at least one of vehicle driving information, occupant information, and display output information, and based on the obtained at least one information, a voice input received from a passenger causes the vehicle or the electronic device to operate. Generating at least one shortened command that is a simplified voice command for executing a provided function, and displaying at least one voice command guide user interface (UI) that visually indicates each of the generated at least one shortened command. steps may be included.
일 실시 예에서, 상기 적어도 하나의 정보를 획득하는 단계는 탑승자의 사용자 식별 정보(user identification information) 및 사용 이력 정보를 획득하는 단계, 및 상기 사용자 식별 정보 및 사용 이력 정보로부터 상기 탑승자가 자주 사용하는 애플리케이션 정보를 획득하는 단계를 포함하고, 상기 적어도 하나의 단축 명령어를 생성하는 단계에서 상기 전자 장치는 상기 획득된 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어를 간소화함으로써 상기 적어도 하나의 단축 명령어를 생성할 수 있다. In one embodiment, the acquiring of the at least one piece of information may include acquiring user identification information and usage history information of the passenger, and a frequently used information of the passenger from the user identification information and usage history information. The method includes obtaining application information, and in the generating of the at least one short command, the electronic device generates the at least one short command by simplifying a command for executing a function of the frequently used application. can do.
일 실시 예에서, 상기 적어도 하나의 정보를 획득하는 단계에서 상기 전자 장치는 디스플레이부 상에 출력되는 적어도 하나의 그래픽 UI(GUI)가 나타내는 기능을 인식하는 단계를 포함하고, 상기 적어도 하나의 단축 명령어를 생성하는 단계는 상기 인식된 기능을 자연어로 변환함으로써, 상기 적어도 하나의 GUI 각각에 대응되는 상기 적어도 하나의 단축 명령어를 생성할 수 있다. In an embodiment, the acquiring of the at least one information includes recognizing, by the electronic device, a function indicated by at least one graphic UI (GUI) output on a display unit, and the at least one short command The generating may include generating the at least one short command corresponding to each of the at least one GUI by converting the recognized function into a natural language.
일 실시 예에서, 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계에서 상기 전자 장치는 상기 적어도 하나의 음성 명령어 가이드 UI를 상기 적어도 하나의 음성 명령어 가이드 UI 각각에 대응되는 기능을 나타내는 적어도 하나의 그래픽 UI의 인접한 위치에 각각 디스플레이할 수 있다. In one embodiment, in the displaying of the at least one voice command guide UI, the electronic device converts the at least one voice command guide UI to at least one graphic representing a function corresponding to each of the at least one voice command guide UI. Each can be displayed at an adjacent location of the UI.
일 실시 예에서, 상기 전자 장치는 상기 차량에 포함되는 운전석, 조수석, 및 뒷좌석 각각에 대응되는 복수의 디스플레이들을 포함하고, 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계는 상기 운전석, 조수석, 및 뒷좌석 중 적어도 하나에 탑승한 탑승자로부터 음성 인식 기능을 활성화하는 사용자 입력을 수신하는 단계, 상기 사용자 입력에 응답하여 상기 복수의 디스플레이들 중 상기 운전석, 조수석, 및 뒷좌석 중 상기 탑승자가 탑승한 탑승석에 대응되는 디스플레이의 음성 인식 기능을 활성화하는 단계, 및 상기 디스플레이 상에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계를 포함할 수 있다. In an embodiment, the electronic device includes a plurality of displays corresponding to each of a driver's seat, a front passenger's seat, and a rear seat included in the vehicle, and the displaying of the at least one voice command guide UI may include displaying the driver's seat, the passenger's seat, and the rear seat. Receiving a user input for activating a voice recognition function from a passenger sitting in at least one of the rear seats; In response to the user input, a driver's seat, a front passenger's seat, and a passenger's seat among the rear seats are selected from among the plurality of displays. The method may include activating a voice recognition function of a corresponding display, and displaying the at least one voice command guide UI on the display.
일 실시 예에서, 상기 방법은 상기 차량 주행 정보에 포함되는 상기 차량의 현재 위치, 주행 도로, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정하는 단계를 더 포함하고, 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계는 상기 차량 주행 정보, 상기 탑승자 정보, 상기 디스플레이 출력 정보, 및 결정된 상기 안전 속도 중 적어도 하나에 기초하여 상기 적어도 하나의 음성 명령어 가이드 UI 각각의 가중치를 결정하는 단계, 상기 결정된 가중치에 기초하여 상기 적어도 하나의 음성 명령어 가이드 UI의 표시 여부, 표시 위치, 및 표시 크기를 결정하는 단계, 및 결정된 개수, 위치, 및 크기에 따라 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계를 포함할 수 있다. In one embodiment, the method further comprises determining a safe speed based on information about a current location, driving road, and driving speed of the vehicle included in the vehicle driving information, wherein the at least one voice command The displaying of the guide UI may include determining a weight of each of the at least one voice command guide UI based on at least one of the vehicle driving information, the occupant information, the display output information, and the determined safe speed; Determining whether to display, display position, and size of the at least one voice command guide UI based on a weight, and displaying the at least one voice command guide UI according to the determined number, position, and size. can include
일 실시 예에서, 상기 적어도 하나의 정보를 획득하는 단계는 상기 차량의 주행 정보로부터 차량의 주행 속도가 상기 안전 속도 이상인지 여부를 인식하는 단계를 포함하고, 상기 적어도 하나의 음성 명령어 가이드 UI의 가중치를 결정하는 단계에서 상기 전자 장치는 상기 차량의 주행 속도의 인식 결과에 기초하여, 상기 차량의 주행과 관련되는 기능을 실행하기 위한 적어도 하나의 제1 음성 명령어 가이드 UI의 가중치 및 상기 차량의 주행과 관련되지 않는 편의 기능을 실행하기 위한 적어도 하나의 제2 음성 명령어 가이드 UI의 가중치를 조절할 수 있다. In one embodiment, the acquiring of the at least one piece of information includes recognizing whether the driving speed of the vehicle is equal to or greater than the safe speed from the driving information of the vehicle, and the weight of the at least one voice command guide UI. In the step of determining, the electronic device determines the weight of at least one first voice command guide UI for executing a function related to driving of the vehicle and driving of the vehicle based on a result of recognizing the traveling speed of the vehicle. A weight of at least one second voice command guide UI for executing an unrelated convenience function may be adjusted.
일 실시 예에서, 상기 적어도 하나의 음성 명령어 가이드 UI의 가중치를 결정하는 단계에서 상기 디스플레이부 상에 디스플레이되는 그래픽 UI를 오버레이하는 팝 업 메시지(pop-up message)가 출력되는 경우, 상기 전자 장치는 상기 팝 업 메시지를 상기 디스플레이부 상에서 제거하기 위한 기능을 실행하는 음성 명령어 가이드 UI의 가중치를 조절할 수 있다. In one embodiment, when a pop-up message overlaying a graphic UI displayed on the display unit is output in the step of determining the weight of the at least one voice command guide UI, the electronic device A weight of a voice command guide UI that executes a function for removing the pop-up message on the display unit may be adjusted.
일 실시 예에서, 상기 적어도 하나의 정보를 획득하는 단계는 탑승자의 탑승 위치에 관한 정보를 획득하는 단계를 포함하고, 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계는 상기 탑승자의 탑승 위치 정보에 따른 상기 탑승자와 상기 디스플레이부 사이의 거리에 기초하여, 상기 디스플레이부 상에서 상기 적어도 하나의 음성 명령어 가이드 UI가 디스플레이되는 영역을 결정하는 단계, 및 상기 결정된 영역에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계를 포함할 수 있다. In one embodiment, the acquiring of the at least one piece of information includes acquiring information about the boarding position of the passenger, and the displaying of the at least one voice command guide UI corresponds to the boarding position information of the passenger. determining an area where the at least one voice command guide UI is displayed on the display unit based on a distance between the occupant and the display unit, and displaying the at least one voice command guide UI in the determined area. steps may be included.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다. In order to solve the above-described technical problem, another embodiment of the present disclosure provides a computer-readable recording medium recording a program for execution on a computer.
도 1은 본 개시의 전자 장치가 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 구성 요소를 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치 및 차량 센서 모듈을 도시한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 5는 본 개시의 전자 장치가 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 6은 본 개시의 전자 장치가 사용자의 식별 정보에 따라 자주 사용하는 애플리케이션의 기능과 관련된 단축 명령어들을 생성하는 실시예를 도시한 도면이다.
도 7은 본 개시의 전자 장치가 복수의 디스플레이부 중 사용자에 의해 음성 인식 기능이 활성화된 디스플레이부에 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 8은 본 개시의 전자 장치가 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 흐름도이다.
도 9a는 본 개시의 전자 장치가 주행 속도에 따라 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 9b는 본 개시의 전자 장치가 주행 속도에 따라 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 10은 본 개시의 전자 장치가 주행 속도 및 안전 속도에 기초하여 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 흐름도이다.
도 11은 본 개시의 전자 장치가 팝 업 메시지와 관련된 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 12는 본 개시의 전자 장치가 디스플레이부 상의 일부 영역에 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 13은 본 개시의 전자 장치가 HUD(Head Up Display)를 통해 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.
도 14는 본 개시의 전자 장치가 음성 인식 기능을 수행하는 실시예를 도시한 흐름도이다.
도 15는 본 개시의 전자 장치가 인공 지능 기술을 이용하여 수행하는 동작을 설명하기 위한 도면이다.
도 16은 본 개시의 전자 장치가 서버와 연동하여 동작하는 개시된 실시예를 도시한 도면이다.
도 17은 도 16을 상세하게 설명하기 위한 도면이다. 1 is a conceptual diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI.
2 is a block diagram illustrating components of an electronic device according to an embodiment of the present disclosure.
3 is a block diagram illustrating an electronic device and a vehicle sensor module according to an embodiment of the present disclosure.
4 is a flowchart illustrating a method of operating an electronic device according to an embodiment of the present disclosure.
5 is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI.
FIG. 6 is a diagram illustrating an embodiment in which the electronic device of the present disclosure generates shortcut commands related to functions of frequently used applications according to user identification information.
7 is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI on a display unit in which a voice recognition function is activated by a user among a plurality of display units.
8 is a flowchart illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI.
9A is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI according to driving speed.
9B is a diagram illustrating an embodiment in which the electronic device of the present disclosure displays a voice command guide UI according to driving speed.
10 is a flowchart illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI based on a driving speed and a safe speed.
11 is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI related to a pop-up message.
12 is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI on a partial area on a display unit.
13 is a diagram illustrating an embodiment in which an electronic device of the present disclosure displays a voice command guide UI through a Head Up Display (HUD).
14 is a flowchart illustrating an embodiment in which an electronic device of the present disclosure performs a voice recognition function.
15 is a diagram for explaining an operation performed by an electronic device of the present disclosure using artificial intelligence technology.
16 is a diagram illustrating a disclosed embodiment in which an electronic device of the present disclosure operates in association with a server.
FIG. 17 is a diagram for explaining FIG. 16 in detail.
본 개시의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the embodiments of the present disclosure have been selected from general terms that are currently widely used as much as possible while considering the functions of the present disclosure, but they may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technologies, and the like. . In addition, in a specific case, there is also a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding embodiment. Therefore, terms used in the present disclosure should be defined based on the meaning of the term and the general content of the present disclosure, not simply the name of the term.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. Singular expressions may include plural expressions unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by one of ordinary skill in the art described in this disclosure.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 개시에 기재된 “...부”, “...모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When it is said that a certain part "includes" a certain component throughout the present disclosure, it means that it may further include other components, not excluding other components unless otherwise stated. In addition, terms such as "...unit" and "...module" described in this disclosure refer to a unit that processes at least one function or operation, which is implemented as hardware or software or a combination of hardware and software. can be implemented
본 개시에서 사용된 표현 “~하도록 구성된(또는 설정된)(configured to)”은 상황에 따라, 예를 들면, “~에 적합한(suitable for)”, “~하는 능력을 가지는(having the capacity to)”, “~하도록 설계된(designed to)”, “~하도록 변경된(adapted to)”, “~하도록 만들어진(made to)”, 또는 “~를 할 수 있는(capable of)”과 바꾸어 사용될 수 있다. 용어 “~하도록 구성된(또는 설정된)”은 하드웨어적으로 “특별히 설계된(specifically designed to)” 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, “~하도록 구성된 시스템”이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 “~할 수 있는” 것을 의미할 수 있다. 예를 들면, 문구 “A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서”는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.The expression “configured to (or configured to)” used in the present disclosure means, depending on the situation, for example, “suitable for”, “having the capacity to” ”, “designed to”, “adapted to”, “made to”, or “capable of”. The term “configured (or set) to” may not necessarily mean only “specifically designed to” hardware. Instead, in some contexts, the expression "a system configured to" may mean that the system "is capable of" in conjunction with other devices or components. For example, the phrase "a processor configured (or configured) to perform A, B, and C" can be used by a dedicated processor (eg, embedded processor) to perform those operations, or by executing one or more software programs stored in memory; It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
본 개시에서 '차량'은 도로 위를 주행하는 모든 종류의 차를 의미하고, 특히 전자 장치가 탑재된 차를 의미한다. In the present disclosure, 'vehicle' refers to all types of vehicles driving on the road, and particularly refers to vehicles equipped with electronic devices.
본 개시에서 '음성 입력'은 차량 내에 탑승한 운전자, 조수석 탑승자, 또는 뒷좌석 탑승자 중 적어도 하나의 탑승자에 의해 발화되고, 전자 장치의 음성 입력부(예를 들어, 마이크로폰)를 통해 수신되는 입력을 의미한다. In the present disclosure, 'voice input' refers to an input uttered by at least one of a driver, a front passenger seat passenger, or a rear seat passenger riding in a vehicle and received through a voice input unit (eg, microphone) of an electronic device. .
본 개시에서 '음성 명령어'는 탑승자에 의해 발화되는 음성 입력으로서, 차량 또는 전자 장치의 기능 및/또는 동작을 실행하기 위한 명령어를 의미한다. 음성 명령어는 예를 들어, "~~(목적지)까지 이동 경로 알려줘" 또는 "다음 노래 틀어줘"일 수 있다. In the present disclosure, a 'voice command' is a voice input uttered by a passenger, and means a command for executing a function and/or operation of a vehicle or electronic device. The voice command may be, for example, “tell me the moving route to ~~ (destination)” or “play the next song”.
본 개시에서 '단축 명령어'는 차량 또는 전자 장치의 기능 및/또는 동작을 실행하기 위한 명령어의 키워드만을 추출함으로써 생성된 단축된 명령어를 의미한다. 예를 들어, 네비게이션 애플리케이션에서 목적지까지 이동 경로를 알고 싶은 경우 단축 명령어는 '목적지'이고, 음악 애플리케이션에서 다음 곡을 듣고 싶은 경우 단축 명령어는 '다음곡'일 수 있다. In the present disclosure, a 'shortened command' refers to a shortened command generated by extracting only keywords of commands for executing functions and/or operations of a vehicle or electronic device. For example, a shortcut command may be 'destination' when a navigation application wants to know a moving route to a destination, and a shortcut command may be 'next song' when listening to the next song in a music application.
본 개시에서 '단축 명령어 리스트'는 적어도 하나의 단축 명령어를 포함하는 리스트이다. In the present disclosure, a 'shortened command list' is a list including at least one short command.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present disclosure will be described in detail so that those skilled in the art can easily carry out the present disclosure. However, the present disclosure may be implemented in many different forms and is not limited to the embodiments described herein.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings.
도 1은 본 개시의 전자 장치(1000)가 음성 명령어 가이드 UI(101, 102, 103, 104)를 디스플레이하는 실시예를 도시한 개념도이다. 1 is a conceptual diagram illustrating an embodiment in which an
도 1을 참조하면, 전자 장치(1000)는 차량 내에 배치되고, 디스플레이부(1610)를 포함할 수 있다. 일 실시예에서, 디스플레이부(1610)는 CID(Center Information Display)일 수 있으나, 이에 한정되는 것은 아니다. 디스플레이부(1610)는 예를 들어, 네비게이션 장치, 계기판 디스플레이, HUD(Head Up Display), 또는 조수석 디스플레이 중 적어도 하나로 구성될 수 있다. Referring to FIG. 1 , an
전자 장치(1000)는 디스플레이부(1610) 상에 애플리케이션의 기능을 실행하기 위한 음성 명령어의 발화를 유도하는 음성 명령어 가이드 UI(101, 102, 103, 104)를 디스플레이할 수 있다. '음성 명령어 가이드 UI(101, 102, 103, 104)'는 애플리케이션을 통해 제공되는 차량 또는 전자 장치(1000)의 기능을 실행하기 위하여 탑승자의 발화를 유도하는 음성 명령어를 문자, 숫자, 또는 기호로 표시하는 UI이다. 일 실시예에서, 음성 명령어 가이드 UI(101, 102, 103, 104)는 그래픽 UI(Graphic User Interface)일 수 있다. 음성 명령어 가이드 UI(101, 102, 103, 104)는 하나 또는 그 이상의 복수 개로 구성될 수 있다. The
전자 장치(1000)는 애플리케이션의 기능을 실행하기 위한 사용자 입력을 수신하는 기능 UI(111, 112, 113, 114)를 디스플레이할 수 있다. 일 실시예에서, 기능 UI(111, 112, 113, 114)는 애플리케이션의 실행 화면을 표시하는 위젯, 애플리케이션의 기능을 나타내는 아이콘, 또는 버튼 UI 중 적어도 하나를 포함할 수 있다. The
음성 명령어 가이드 UI(101, 102, 103, 104)는 대응되는 기능 UI(111, 112, 113, 114)와 인접한 위치에 배치되고, 디스플레이될 수 있다. 도 1에 도시된 실시예에서, 음악 애플리케이션의 실행을 위한 제1 UI(111)와 인접한 위치에는 '음악'이라는 음성 명령어를 수신하기 위한 문자로 구성되는 제1 음성 명령어 가이드 UI(101)가 디스플레이될 수 있다. 또한, 이전 곡을 플레이하기 위한 버튼형 그래픽 UI인 제2 UI(112)와 인접한 위치에는 '이전곡'이라는 문자로 구성되는 제2 음성 명령어 가이드 UI(102)가, 플레이(또는 정지(pause))를 위한 버튼형 그래픽 UI인 제3 UI(113)와 인접한 위치에는 '플레이'라는 문자로 구성되는 제3 음성 명령어 가이드 UI(103)가, 다음 곡을 플레이하기 위한 버튼형 그래픽 UI인 제4 UI(114)와 인접한 위치에는 '다음곡'이라는 문자로 구성되는 제4 음성 명령어 가이드 UI(104)가 각각 디스플레이될 수 있다. 도 1에 도시된 실시예에서, 음성 명령어 가이드 UI(101, 102, 103, 104)는 상술한 '음악', '이전곡', '플레이', '다음곡' 외에 '네비', '줌 인', '줌 아웃', '날씨', '에어컨', '온도 업', 또는 '온도 다운'을 더 포함할 수 있다. The voice
전자 장치(1000)는 운전자로부터 음성 인식 기능을 활성화하는 사용자 입력을 수신하고, 수신된 사용자 입력에 따라 대기 모드에서 음성 명령어를 수신하는 음성 인식 모드로 전환될 수 있다. 전자 장치(1000)는 예를 들어, 음성 인식 기능을 실행하기 위한 버튼 입력 또는 디스플레이부(1610) 상에 디스플레이되는 GUI를 통한 터치 입력을 수신할 수 있다. 전자 장치(1000)는 사용자 입력을 수신함에 따라, 음성 입력을 수신하기 위한 음성 인식 UI(120)를 디스플레이할 수 있다. 전자 장치(1000)는 음성 인식 UI(120)를 통해 운전자에 의해 발화된 음성 입력을 수신할 수 있다. 도 1에 도시된 실시예에서, 전자 장치(1000)는 운전자에 의해 발화된 '다음 곡'이라는 음성 입력을 수신할 수 있다. The
전자 장치(1000)는 수신된 음성 입력을 디스플레이부(1610) 상에 디스플레이된 음성 명령어 가이드 UI(101, 102, 103, 104)와 각각 비교함으로써, 대응되는 음성 명령어 가이드 UI(101, 102, 103, 104)를 식별할 수 있다. 도 1에 도시된 실시예에서, 전자 장치(1000)는 '다음 곡'이라는 음성 입력을 수신하고, 복수의 음성 명령어 가이드 UI(101, 102, 103, 104) 중 수신된 음성 입력과 대응되는 제4 음성 명령어 가이드 UI(104)를 식별할 수 있다. 전자 장치(1000)는 제4 음성 명령어 가이드 UI(104)가 나타내는 기능인 '다음 곡 플레이 기능'을 실행할 수 있다. The
종래 기술에서, 차량의 전자 장치에 의해 제공되는 일반적인 음성 인식 에이전트의 경우, 실행 가능한 기능에 관한 음성 명령어 리스트에 관한 안내가 존재하지 않으며, 이로 인하여 운전자 또는 탑승자는 어떠한 음성 명령을 발화해야 어떤 기능이 실행되는지를 정확하게 알 수 없다. 따라서, 운전자가 특정 음성 명령어를 발화하면, 차량의 전자 장치는 발화에 대응되는 기능을 실행하기 위하여 필요한 파라미터(parameter)를 문의하고, 운전자는 문의에 따라 특정 파라미터를 다시 발화하여 차량에 기능에 관한 정보를 제공해야 하는 번거로움이 있다. 예를 들어, 운전자가 음악 애플리케이션을 통해 현재 듣고 있는 곡에서 다음 곡을 플레이하고 싶은 경우, 운전자는 "다음 곡 틀어줘~"라는 음성 명령을 발화할 수 있다. 이 경우, 차량 내 전자 장치는 운전자의 음성 명령과 관련하여, 음악 애플리케이션과 관련된 발화인지, 현재 플레이되고 있는 곡의 다음 곡을 의미하는지, 아니면 곡의 이름이 '다음곡'인지 여부를 정확하게 알 수 없다. 따라서, 차량 내 전자 장치는 "음악 애플리케이션에서 현재 플레이되고 있는 곡의 다음 곡을 플레이하라는 말씀이신가요?" 와 같은 운전자의 음성 명령에 관한 파라미터 정보를 획득 또는 확인하기 위한 문의 메시지를 출력할 수 있다. 운전자는 문의 메시지에 관하여 "응. 음악 애플리케이션에서 다음 곡 플레이"와 같은 추가 음성 명령을 발화해야만 한다. 전술한 예시에서, 운전자는 음성 인식 기능을 이용함에 있어서 차량의 전자 장치와의 인터랙션(interaction)이 증가하고, 이로 인하여 운전자의 피로도가 감소되며, 주의력이 분산되어 사고 위험성이 증가되는 문제점이 있다. 또한, 추가적인 파라미터 정보를 입력해야 하는 번거로움 때문에, 운전자가 음성 인식 기능을 활용하는 빈도수가 떨어질 수 있다. In the prior art, in the case of a general voice recognition agent provided by an electronic device in a vehicle, there is no guidance on a list of voice commands for executable functions, and therefore, a driver or passenger needs to utter a certain voice command to activate a certain function. I don't know exactly how it works. Therefore, when the driver ignites a specific voice command, the electronic device of the vehicle inquires about parameters necessary to execute the function corresponding to the ignition, and the driver ignites the specific parameter again according to the inquiry to tell the vehicle about the function. There is the hassle of providing information. For example, if the driver wants to play the next song from the current song he is listening to through a music application, the driver can utter a voice command, "Play the next song". In this case, in relation to the driver's voice command, the in-vehicle electronic device can accurately determine whether the utterance is related to a music application, refers to the next song of the currently playing song, or whether the song is named 'next song'. does not exist. So, the in-vehicle electronics say, "Are you saying play the next song after the currently playing song in the music application?" An inquiry message for obtaining or confirming parameter information on a driver's voice command, such as, may be output. The driver has to utter an additional voice command in response to the inquiry message, such as “Okay. Play the next song in the music application.” In the above example, when the driver uses the voice recognition function, the driver's interaction with the vehicle's electronic device increases, and as a result, the driver's fatigue is reduced and the driver's attention is dispersed, thereby increasing the risk of an accident. Also, due to the inconvenience of inputting additional parameter information, the driver's frequency of using the voice recognition function may decrease.
도 1에 도시된 실시예에 따른 전자 장치(1000)는 애플리케이션에 의해 제공되는 기능 각각에 대하여 음성 명령을 발화하도록 유도하는 음성 명령어 가이드 UI(101, 102, 103, 104)를 디스플레이할 수 있다. 이에 따라, 운전자 또는 탑승자가 실행하고자 하는 기능을 직관적으로 이해할 수 있도록 하고, 기능 인식도 및 사용자 편의성을 향상시키는 효과가 있다. 또한, 본 개시의 전자 장치(1000)는 기능을 실행하기 위하여 추가적인 파라미터 정보를 요구하지 않고, 음성 명령어 가이드 UI(101, 102, 103, 104)를 통해 제공되는 음성 명령어에 매칭되는 발화를 수신함에 따라 기능을 실행하므로, 전자 장치(1000)와의 인터랙션을 감소시킬 수 있고, 운전자의 집중력 분산을 최소화할 수 있다. The
또한, 본 개시의 일 실시예에 따른 전자 장치(1000)는, 디스플레이부(1610)가 대화면 디스플레이인 경우, 또는 복수의 디스플레이부를 포함하는 멀티 디스플레이인 경우, 또는, 운전자 또는 탑승자가 직접 기능 UI(111, 112, 113, 114)를 터치하기 어려운 경우, 음성 명령어 가이드 UI(101, 102, 103, 104)에 표시되는 음성 명령어를 발화함으로써 관련 기능을 실행시킬 수 있다. 이에 따라, 보이스 터치(voice touch)와 같은 사용자 경험(User eXperience; UX)을 제공할 수 있다. In addition, in the
도 2는 본 개시의 일 실시예에 따른 전자 장치(1000)의 구성 요소를 도시한 블록도이다.2 is a block diagram illustrating components of an
도 2를 참조하면, 전자 장치(1000)는 통신 인터페이스(1100), 프로세서(1200), 메모리(1300), 단축 명령어 데이터베이스(1400), 입력부(1500), 및 출력부(1600)를 포함할 수 있다. 통신 인터페이스(1100), 프로세서(1200), 메모리(1300), 단축 명령어 데이터베이스(1400), 입력부(1500), 및 출력부(1600)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다. Referring to FIG. 2 , the
도 2에 도시된 구성 요소는 본 개시의 일 실시예에 따른 것일 뿐, 전자 장치(1000)가 포함하고 있는 구성 요소가 도 2에 도시된 것으로 한정되는 것은 아니다. 전자 장치(1000)는 도 2에 도시된 구성 요소 중 일부를 포함하지 않을 수 있고, 도 2에 도시되지 않은 구성 요소를 더 포함할 수도 있다. 예를 들어, 전자 장치(1000)는 차량의 현재 위치에 관한 정보를 획득하기 위한 GPS 센서 또는 탑승자의 위치를 인식하기 위한 적외선 센서를 더 포함할 수 있다. Components shown in FIG. 2 are merely according to an embodiment of the present disclosure, and components included in the
통신 인터페이스(1100)는 차량 센서 모듈(200, 도 3 참조), 서버 또는 외부 디바이스와 데이터 통신을 수행하도록 구성된다. 통신 인터페이스(1100)는 CAN 통신 모듈(1110) 및 데이터 통신 모듈(1120)을 포함할 수 있다.The
CAN(Controller Area Network) 통신 모듈(1110)은 차량에 탑재된 차량 센서 모듈(200)과 CAN 통신을 수행할 수 있다. CAN 통신 모듈(1110)은 CAN 통신을 통해 차량 센서 모듈(200)로부터 차량의 현재 위치, 주행 중인 도로, 또는 주행 속도 중 적어도 하나를 포함하는 주행 관련 정보를 수신할 수 있다. 일 실시예에서, CAN 통신 모듈(1110)은 차량의 시트 센서(230, 도 3 참조)로부터 차량 내 운전석, 조수석, 및 뒷좌석 각각에 탑승한 탑승자 정보를 수신할 수도 있다. 일 실시예에서, CAN 통신 모듈(1110)은 차량의 적외선 센서(240, 도 3 참조)로부터 탑승자의 탑승 위치에 따른 탑승자와 디스플레이부(1610) 사이의 거리에 관한 정보를 수신할 수도 있다. CAN 통신 모듈(1110)은 수신된 주행 정보, 탑승자 정보, 탑승자와 디스플레이부(1610) 간의 거리 정보를 프로세서(1200)에 제공할 수 있다. The CAN (Controller Area Network)
차량 센서 모듈(200)에 관해서는 도 3에서 상세하게 설명하기로 한다. The
데이터 통신 모듈(1120)은 차량 외부의 서버 또는 외부 디바이스와 데이터 통신을 수행하도록 구성된다. 데이터 통신 모듈(1120)은 예를 들어, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), 또는 블루투스와 같은 근거리 무선 데이터 통신 뿐만 아니라, CDMA, WCDMA, 3G, 4G, 및/또는 5G, 밀리미터파(mmWAVE)와 같은 이동 통신 네트워크를 이용하여 데이터 송수신을 수행할 수 있다. 일 실시예에서, 데이터 통신 모듈(1120)은 서버로부터 교통 정보, 도로 정보(예를 들어, 어린이 보호 구역, 고속 도로, 일반 도로, 지방 국도 등), 또는 안전 속도 정보를 수신할 수 있다. 다른 실시예에서, 데이터 통신 모듈(1120)은 서버로부터 애플리케이션의 실행을 위하여 필요한 데이터 또는 애플리케이션을 업데이트하기 위한 데이터 등을 수신할 수도 있다. The
프로세서(1200)는 메모리(1300)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행할 수 있다. 프로세서(1200)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1200)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), 애플리케이션 프로세서(Application Processor), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다. 일 실시예에서, 프로세서(1200)는 인공 지능(Artificial Intelligence; AI) 학습을 수행하는 전용 하드웨어 칩으로 구성될 수도 있다. The
프로세서(1200)는 하나 또는 그 이상의 복수 개의 하드웨어로 구성될 수 있다. The
메모리(1300)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 롬(ROM, Read-Only Memory), 및 EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나를 포함하는 비휘발성 메모리 및 램(RAM, Random Access Memory) 또는 SRAM(Static Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다. The
메모리(1300)에는 프로세서(1200)가 판독할 수 있는 명령어들(instructions), 데이터 구조, 및 프로그램 코드(program code)가 저장될 수 있다. 이하의 실시예에서, 프로세서(1200)는 메모리(1300)에 저장된 프로그램의 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다. Instructions, data structures, and program codes readable by the
프로세서(1200)는 CAN 통신 모듈(1110)을 통해 차량의 주행 정보 및 탑승자 정보 중 적어도 하나를 획득할 수 있다. 일 실시예에서, 프로세서(1200)는 차량의 현재 위치, 주행 중인 도로, 또는 주행 속도 중 적어도 하나를 포함하는 주행 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1200)는 CAN 통신 모듈(1110)로부터 차량 내 운전석, 조수석, 및 뒷좌석 각각에 탑승한 탑승자 정보를 획득할 수 있다. 일 실시예에서, 프로세서(1200)는 탑승자가 전자 장치(1000)에 로그인하는 과정에서 입력한 사용자 식별 정보(user id)에 기초하여 탑승자 정보를 획득할 수도 있다. The
프로세서(1200)는 디스플레이부(1610) 상에 디스플레이되고 있는 기능 UI(111, 112, 113, 114, 도 1 참조)에 관한 정보를 포함하는 디스플레이 출력 정보를 획득할 수 있다. The
프로세서(1200)는 획득된 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 기초하여, 차량 또는 전자 장치(1000)가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성할 수 있다. 여기서, '단축 명령어'는 차량 또는 전자 장치(1000)의 기능 및/또는 동작을 실행하기 위하여 탑승자로부터 수신되는 음성 명령어 중 키워드만을 추출하여 생성되는 간소화된 명령어를 의미한다. 단축 명령어는 차량 또는 전자 장치(1000)의 애플리케이션에 의해 제공되는 하나 또는 그 이상의 기능에 각각 대응되는 하나 또는 그 이상의 복수 개일 수 있다. 일 실시예에서, 프로세서(1200)는 음성 명령어 중 기능을 실행하기 위하여 필수적인 핵심 명령어들만을 포함하도록 간소화함으로써, 단축 명령어를 생성할 수 있다. 예를 들어, 네비게이션 애플리케이션에서 목적지까지 이동 경로를 결정하기 위한 음성 명령어가 "목적지까지 이동 경로 알려줘~" 인 경우, 프로세서(1200)는 음성 명령어 중 기능을 실행하기 위한 핵심 명령어인 '목적지'를 단축 명령어로 생성할 수 있다. 다른 예를 들어, 음악 애플리케이션에서 다음 곡을 플레이하기 위한 음성 명령어가 "다음 곡 틀어줘~"인 경우, 프로세서(1200)는 음성 명령어 중 기능을 실행하기 위한 핵심 명령어인 '다음곡'을 단축 명령어로 생성할 수 있다.The
프로세서(1200)는 디스플레이 출력 정보로부터 기능 UI가 나타내는 기능을 인식하고, 인식된 기능을 자연어로 변환함으로써 기능 UI에 각각 대응되는 적어도 하나의 단축 명령어를 생성할 수 있다. 일 실시예에서, 프로세서(1200)는 디스플레이부(1610) 상에서 디스플레이되고 있는 적어도 하나의 기능과 관련된 그래픽 UI 각각의 기능을 식별할 수 있다. 예를 들어, 프로세서(1200)는 애플리케이션을 구성하는 소프트웨어의 플랫폼 레이어(platform layer)에서 UI Framework의 resource name을 검색함으로써, 그래픽 UI 각각에 관한 기능 정보를 획득하고, 획득된 기능 정보를 자연어로 변환하여 적어도 하나의 단축 명령어를 생성할 수 있다. 다른 예를 들어, 프로세서(1200)는 애플리케이션의 API(Application Programmable Interface)를 분석함으로써, 그래픽 UI 각각에 대응되는 기능에 관한 정보를 획득하고, 기능 정보를 자연어로 변환하여 적어도 하나의 단축 명령어를 생성할 수 있다. 일 실시예에서, 프로세서(1200)는 애플리케이션의 실행 화면에 포함되는 위젯 또는 아이콘을 인식하고, 인식된 위젯 또는 아이콘에 관한 적어도 하나의 단축 명령어를 생성할 수도 있다.The
그러나, 이에 한정되는 것은 아니고, 프로세서(1200)는 이미지 프로세싱(image processing)을 통해, 디스플레이부(1610) 상에 디스플레이되는 아이콘 또는 위젯을 포함하는 그래픽 UI가 나타내는 기능 정보를 식별하고, 식별된 기능 정보를 자연어로 변환하여 적어도 하나의 단축 명령어를 생성할 수도 있다. However, it is not limited thereto, and the
프로세서(1200)는 탑승자가 자주 사용하는 애플리케이션 또는 애플리케이션의 기능을 실행하기 위한 명령어들을 간소화함으로써, 단축 명령어를 생성할 수 있다. 일 실시예에서, 프로세서(1200)는 로그인 과정을 통해 획득한 탑승자의 식별 정보(user id)로부터 탑승자의 사용 이력 정보를 획득하고, 탑승자의 사용자 식별 정보 및 사용 이력 정보에 기초하여 탑승자가 자주 사용하는 애플리케이션 정보를 획득할 수 있다. 프로세서(1200)는 탑승자가 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어들로부터 핵심 키워드들만을 추출하여, 적어도 하나의 단축 명령어를 생성할 수 있다. 프로세서(1200)가 탑승자의 사용 이력 정보에 기초하여 자주 사용하는 애플리케이션과 관련된 적어도 하나의 단축 명령어를 생성하는 실시예에 대해서는 도 6에서 상세하게 설명하기로 한다. The
그러나, 이에 한정되는 것은 아니고, 단축 명령어는 애플리케이션의 기능에 대하여 미리 설정되어 있거나, 또는 사용자로부터 수신된 입력에 의해 결정될 수 있다. However, it is not limited thereto, and the short command may be preset for a function of an application or may be determined by an input received from a user.
적어도 하나의 단축 명령어는 단축 명령어 데이터베이스(1400)에 저장될 수 있다. 일 실시예에서, 프로세서(1200)는 적어도 하나의 단축 명령어를 관련되는 적어도 하나의 기능 또는 적어도 하나의 애플리케이션 정보와 함께 리스트 형태로 단축 명령어 데이터베이스(1400)에 저장할 수 있다. At least one short command may be stored in the
프로세서(1200)는 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이부(1610) 상에 디스플레이할 수 있다. '음성 명령어 가이드 UI'는 차량 또는 전자 장치(1000)의 애플리케이션을 통해 제공되는 기능을 실행하기 위하여 탑승자의 발화를 유도하는 음성 명령어를 문자, 숫자, 또는 기호로 표시하는 UI이다. 일 실시예에서, 음성 명령어 가이드 UI는 그래픽 UI(Graphic User Interface)일 수 있다. 음성 명령어 가이드 UI는 하나 또는 그 이상의 복수로 구성될 수 있다. The
프로세서(1200)는 적어도 하나의 음성 명령어 가이드 UI 각각을 대응되는 적어도 하나의 기능 UI의 위치에 인접한 영역에 디스플레이할 수 있다. 일 실시예에서, 프로세서(1200)는 적어도 하나의 기능 UI가 디스플레이되는 위치로부터 기 설정된 거리만큼 이격된 위치에 관련되는 적어도 하나의 음성 명령어 가이드 UI를 배치하여 디스플레이할 수 있다. 예를 들어, 음악 애플리케이션의 실행을 위한 제1 UI가 디스플레이되는 위치로부터 기 설정된 거리만큼 이격된 위치에 '음악'이라는 문자로 구성되는 제1 음성 명령어 가이드 UI가 디스플레이될 수 있다. 또한, 이전 곡을 플레이하기 위한 버튼형 그래픽 UI인 제2 UI와 기 설정된 거리만큼 이격된 위치에는 '이전곡'이라는 문자로 구성되는 제2 음성 명령어 가이드 UI가 디스플레이될 수 있다. 프로세서(1200)가 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 구체적인 실시예에 대해서는 도 5에서 상세하게 설명하기로 한다. The
프로세서(1200)는 적어도 하나의 음성 명령어 가이드 UI 각각에 가중치를 부여하고, 가중치에 기초하여 디스플레이되는 음성 명령어 가이드 UI의 개수, 위치, 및 크기 중 적어도 하나를 결정할 수 있다. 일 실시예에서, 프로세서(1200)는 차량의 주행 정보, 탑승자 정보, 디스플레이 출력 정보, 및 안전 속도 중 적어도 하나에 기초하여 적어도 하나의 음성 명령어 가이드 UI에 관한 가중치를 결정할 수 있다. The
여기서, '안전 속도'는 차량의 주행 정보에 기초하여 결정될 있다. 일 실시예에서, 프로세서(1200)는 차량의 주행 정보로부터 차량의 현재 위치, 주행 중인 도로 정보, 또는 주행 속도 중 적어도 하나의 정보를 획득하고, 획득된 정보에 기초하여 안전 속도를 결정할 수 있다. 일 실시예에서, 안전 속도는 주행 중인 도로의 특성 정보, 예를 들어 어린이 보호 구역, 고속 도로, 또는 지방 도로에 따라 정해진 제한 속도에 의해 결정될 수 있다. 안전 속도는 제한 속도 보다 기 설정된 값 만큼 느린 속도일 수 있다. 예를 들어, 어린이 보호 구역 내의 제한 속도가 30km/h인 경우, 안전 속도는 25km/h이고, 고속 도로의 제한 속도가 110km/h인 경우 안전 속도는 100km/h로 결정될 수 있다. 그러나, 이에 한정되는 것은 아니고, 안전 속도는 도로에 따라 기 설정된 제한 속도와 동일한 속도일 수 있다.Here, the 'safe speed' may be determined based on driving information of the vehicle. In an embodiment, the
프로세서(1200)는 차량의 주행 속도와 안전 속도를 비교하고, 비교 결과에 따라 적어도 하나의 음성 명령어 가이드 UI의 가중치를 다르게 결정할 수 있다. 일 실시예에서, 주행 속도가 안전 속도를 초과하는 경우, 프로세서(1200)는 운전자가 안전을 위하여 운전에 집중해야 하는 상황으로 판단하고, 주행과 관련된 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치를 높게 조절하고, 주행이 아닌 편의 기능, 예를 들어, 음악 재생과 관련된 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치는 낮게 조절할 수 있다. The
일 실시예에서, 프로세서(1200)는 탑승자의 사용 이력 정보에 기초하여, 자주 사용하는 애플리케이션의 기능과 관련된 음성 명령어 가이드 UI의 가중치를 다른 음성 명령어 가이드 UI 보다 높게 설정할 수 있다. In an embodiment, the
일 실시예에서, 프로세서(1200)는 디스플레이부(1610) 상에 디스플레이되고 있는 아이콘 또는 위젯을 통해 실행되는 애플리케이션과 관련된 음성 명령어 가이드 UI의 가중치를 디스플레이되지 않은 다른 애플리케이션과 관련된 음성 명령어 가이드 UI의 가중치 보다 높게 설정할 수 있다. In one embodiment, the
일 실시예에서, 프로세서(1200)는 가중치가 기 설정된 임계치 보다 높은 적어도 하나의 음성 명령어 가이드 UI만을 디스플레이할 수 있다. 다른 실시예에서, 프로세서(1200)는 가중치가 높은 적어도 하나의 음성 명령어 가이드 UI를 가중치가 상대적으로 낮은 적어도 하나의 음성 명령어 가이드 UI 보다 큰 크기로 디스플레이할 수 있다. 프로세서(1200)가 차량의 주행 속도와 안전 속도를 비교하여 적어도 하나의 음성 명령어 가이드 UI의 가중치를 조절하고, 조절된 가중치에 기초하여 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 구체적인 실시예에 대해서는 도 8 내지 도 10에서 상세하게 설명하기로 한다. In one embodiment, the
프로세서(1200)는 차량이 주행 중에만 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하고, 차량이 정차 또는 주차되어 있는 경우에는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하지 않을 수 있다. 일 실시예에서, 프로세서(1200)는 차량 센서 모듈(200, 도 3 참조)의 속도 센서(220, 도 3 참조)로부터 차량의 속도 정보를 획득하고, 차량의 속도가 0km/h이거나 기 설정된 임계 속도(예를 들어, 5km/h) 미만인 경우 차량이 주정차 중이라고 판단하고, 판단 결과에 따라 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하지 않을 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(1200)는 차량의 속도와 관계없이 적어도 하나의 음성 명령어 가이드 UI를 디스플레이할 수도 있다. The
애플리케이션에서 오류가 발생되거나, 업데이트를 요하는 상황이거나, 또는 인근 도로에서 사고가 발생하는 등의 이벤트 발생 시 디스플레이부(1610) 상에 경고 메시지가 표시될 수 있다. 경고 메시지는 팝 업 메시지(pop-up message) 형태로 기능 UI 또는 적어도 하나의 음성 명령어 가이드 UI를 오버레이하여 디스플레이될 수 있다. 이 경우, 탑승자는 디스플레이부(1610) 상에 표시되는 기능 UI 및 적어도 하나의 음성 명령어 가이드 UI를 볼 수 없게 되는 문제점이 발생된다. 프로세서(1200)는 팝 업 메시지를 디스플레이부(1610) 상에서 보이지 않도록 제거하는 기능과 관련된 음성 명령어 가이드 UI의 가중치를 높일 수 있다. 일 실시예에서, 프로세서(1200)는 팝 업 메시지를 제거하는 기능을 실행하기 위한 음성 명령어 가이드 UI의 가중치를 나머지 적어도 하나의 음성 명령어 가이드 UI의 가중치 보다 높도록 최대값으로 설정할 수 있다. 프로세서(1200)가 팝 업 메시지를 제거하는 음성 명령어 가이드 UI의 가중치를 설정하는 구체적인 실시예는 도 11에서 상세하게 설명하기로 한다. A warning message may be displayed on the
프로세서(1200)는 탑승자의 위치와 디스플레이부(1610) 사이의 거리에 기초하여, 디스플레이부(1610) 상에서 적어도 하나의 음성 명령어 가이드 UI가 디스플레이되는 영역을 결정할 수 있다. 일 실시예에서, 프로세서(1200)는 CAN 통신 모듈(1110)로부터 탑승자의 위치 정보를 획득하거나, 또는 전자 장치(1000)에 포함되는 적외선 센서를 통해 탑승자의 위치 정보를 획득할 수 있다. 프로세서(1200)는 탑승자의 위치 정보를 이용하여, 탑승자와 디스플레이부(1610) 사이의 거리를 측정할 수 있다. 일 실시예에서, 디스플레이부(1610)는 복수의 영역으로 구분되고, 프로세서(1200)는 복수의 영역 중 탑승자와의 거리가 상대적으로 먼 영역에만 적어도 하나의 음성 명령어 가이드 UI를 디스플레이할 수 있다. 프로세서(1200)가 탑승자와 디스플레이부(1610) 사이의 거리에 기초하여 디스플레이부(1610)의 일부 영역에만 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 구체적인 실시예에 대해서는 도 12에서 상세하게 설명하기로 한다. The
프로세서(1200)는 마이크로폰(1520)을 통해 탑승자에 의해 발화된 음성 입력을 수신하고, 수신된 음성 입력을 디스플레이되는 적어도 하나의 음성 명령어 가이드 UI와 비교함으로써, 음성 입력과 매칭되는 음성 명령어 가이드 UI를 식별할 수 있다. 프로세서(1200)는 식별된 음성 명령어 가이드 UI에 대응되는 단축 명령어를 식별하고, 단축 명령어에 해당되는 기능을 실행하도록 관련 장치들을 제어할 수 있다. 일 실시예에서, 프로세서(1200)는 음성 입력과 매칭되는 음성 명령어 가이드 UI를 식별하지 못한 경우, 서버에 음성 입력에 관한 데이터를 전송할 수 있다. 프로세서(1200)가 음성 인식 기능을 수행하는 구체적인 실시예에 대해서는 도 14에서 상세하게 설명하기로 한다.The
단축 명령어 데이터베이스(1400)는 적어도 하나의 단축 명령어들을 저장하는 저장소이다. 단축 명령어 데이터베이스(1400)는 비휘발성 메모리로 구성될 수 있다. 비휘발성 메모리(Non-volatile memory)는 전원이 공급되지 않은 상태에서도 정보를 저장 및 유지하고, 전원이 공급되면 다시 저장된 정보를 사용할 수 있는 기억 매체를 의미한다. 비휘발성 메모리는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), SSD(Solid State Drive), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 자기 메모리, 자기 디스크, 또는 광디스크 중 적어도 하나를 포함할 수 있다.The
도 2에서 단축 명령어 데이터베이스(1400)는 전자 장치(1000) 내에 포함되는 구성 요소로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 단축 명령어 데이터베이스(1400)는 전자 장치(1000)에 포함되지 않은 외장 메모리 형태(예를 들어, SD 또는 XD 메모리 등)로 구현되거나 또는 데이터 통신 모듈(1120)을 통해 유무선 네트워크로 연결되는 웹 기반 저장 매체로 구현될 수도 있다. In FIG. 2 , the
입력부(1500)는 차량 내 탑승자(운전자, 조수석 탑승자, 및 뒷좌석 탑승자 중 적어도 1명의 탑승자)로부터 입력을 수신하도록 구성된다. 입력부(1500)는 음성 인식 기능 입력부(1510) 및 마이크로폰(1520)을 포함할 수 있다.The
음성 인식 기능 입력부(1510)는 음성 인식 기능을 실행하는 사용자 입력을 수신하도록 구성된다. 일 실시예에서, 음성 인식 기능 입력부(1510)는 하드웨어 버튼으로써, 차량의 스티어링 휠에 배치되거나 또는 대시보드(dashboard) 상에 배치될 수 있다. 그러나, 이에 한정되는 것은 아니고, 음성 인식 기능 입력부(1510)는 디스플레이부(1610) 상에 디스플레이되는 그래픽 UI일 수도 있다. The voice recognition
또한, 실시예에 따라, 음성 인식 기능 입력부(1510)는 전자 장치(1000)에 포함되지 않을 수 있다. 이 경우, 마이크로폰(1520)을 통해 수신된 웨이크 업 음성에 기초하여 음성 인식 기능이 실행될 수 있다. 웨이크 업 음성은 전자 장치(1000)가 음성 인식 기능을 수행하도록 웨이크 업하는 음성 명령어로서, 예를 들어, '하이 빅스비' 또는 '오케이 구글' 등을 포함할 수 있다. Also, according to embodiments, the voice recognition
마이크로폰(1520)은 탑승자에 의해 발화된 음성 입력을 수신할 수 있다. 일 실시예에서, 마이크로폰(1520)은 수신된 음성 입력을 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다. 마이크로폰(1520)은 음성 신호를 프로세서(1200)에 제공할 수 있다. The
출력부(1600)는 디스플레이부(1610) 및 스피커(1620)를 포함할 수 있다.The
디스플레이부(1610)는 애플리케이션의 실행 화면, 기능 UI, 및 음성 명령어 가이드 UI를 디스플레이할 수 있다. 디스플레이부(1610)는 CID(Center Information Display)일 수 있으나, 이에 한정되는 것은 아니다. 디스플레이부(1610)는 예를 들어, 네비게이션 장치, 계기판 디스플레이, HUD(Head Up Display), 또는 조수석 디스플레이 중 어느 하나로 구성될 수 있다. The
디스플레이부(1610)는 예를 들어, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode display), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 또는 전기영동 디스플레이(electrophoretic display) 중 적어도 하나로 구성되는 스크린을 포함할 수 있다. The
일 실시예에서, 디스플레이부(1610)는 복수의 디스플레이들을 포함할 수 있다. 이때, 복수의 디스플레이들은 차량에 포함되는 복수의 탑승석들에 대응되도록 위치할 수 있다. 일 실시예에서, 프로세서(1200)는 복수의 디스플레이들 중 탑승자에 의해 음성 인식 기능이 활성화된 디스플레이 상에만 적어도 하나의 음성 명령어 가이드 UI를 디스플레이할 수 있다. 프로세서(1200)가 복수 개의 디스플레이부(1610) 중 특정 디스플레이부에만 음성 명령어 가이드 UI를 디스플레이하는 실시예에 대해서는 도 7에서 상세하게 설명하기로 한다.In one embodiment, the
스피커(1620)는 오디오 신호를 출력할 수 있다. 스피커(1620)는 프로세서(1200)의 제어에 의해 기능의 수행과 관련된 알림 메시지를 출력할 수 있다. 그러나, 이에 한정되는 것은 아니고, 스피커(1620)는 효과음, 벨소리, 멜로디, 음악, 또는 노래 중 적어도 하나를 포함하는 오디오 신호를 출력할 수도 있다. The
도 3은 본 개시의 일 실시예에 따른 전자 장치(1000) 및 차량 센서 모듈(200)을 도시한 블록도이다.3 is a block diagram illustrating an
차량 센서 모듈(200)은 차량에 탑재되고, 차량의 위치, 속도, 및 탑승자를 모니터링하고, 차량의 주행 정보 및 탑승자 정보를 전자 장치(1000)에 제공할 수 있다. 차량 센서 모듈(200)은 차량의 주행 정보 및 탑승자 정보를 CAN 통신 모듈(1110)을 통해 전자 장치(1000)에 전송할 수 있다. 차량 센서 모듈(200)은 전자 장치(1000)와 CAN(Controller Area Network) 통신을 수행할 수 있다. The
도 3을 참조하면, 차량 센서 모듈(200)은 GPS 모듈(210), 속도 센서(220), 시트 센서(230), 및 적외선 센서(240)를 포함할 수 있다. 차량 센서 모듈(200)은 전자 장치(1000)와는 별개의 구성 요소이다. 그러나, 이에 한정되는 것은 아니고, 차량 센서 모듈(200)에 포함되는 적어도 하나의 구성 요소는 전자 장치(1000) 내에 포함될 수 있다. 예를 들어, 차량 센서 모듈(200)에 포함되는 GPS 모듈(210) 또는 적외선 센서(240)는 전자 장치(1000)에 포함될 수도 있다. Referring to FIG. 3 , the
GPS 모듈(210)은 GPS 신호를 수신하고, 획득된 GPS 신호에 기초하여 차량의 현재 위치에 관한 정보를 획득하도록 구성된다. 일 실시예에서, GPS 모듈(210)은 지구 상공에 위치한 적어도 하나의 GPS 위성으로부터 항법 메시지를 수신하여 차량의 위치 정보를 획득할 수 있다. 구체적으로, GPS 모듈(210)은 GPS 위성에서 발사되는 전파의 지연시간을 계측하는 방법으로 차량의 현재 위치 좌표를 획득할 수 있다. 일 실시예에서, GPS 모듈(210)은 차량이 현재 주행 중인 도로 정보를 획득할 수도 있다. The
프로세서(1200)는 CAN 통신 모듈(1110)을 통해 GPS 모듈(210)로부터 차량의 현재 위치 정보를 획득할 수 있다. The
속도 센서(220)는 차량의 주행 속도를 감지하고, 주행 속도 정보를 전자 장치(1000)에 전송할 수 있다. The
시트 센서(230)는 차량의 시트 쿠션 내에 배치되고, 시트 쿠션으로부터 가해지는 압력값을 측정함으로써, 탑승자의 착좌 여부를 인식할 수 있다. 시트 센서(230)는 예를 들어, 압력 센서로 구성될 수 있다. 일 실시예에서, 시트 센서(230)는 시트 쿠션에 가해지는 압력값이 기 설정된 임계 압력을 초과하는 경우, 탑승자가 착좌한 것으로 인식할 수 있다. 또한, 시트 센서(230)는 시트 쿠션에 가해지는 압력값이 기 설정된 임계 압력 이하인 경우, 탑승자가 탑승하지 않은 상태로 인식할 수 있다. 시트 센서(230)는 탑승자의 탑승 여부 인식 결과에 관한 정보를 프로세서(1200)에 제공할 수 있다. 프로세서(1200)는 시트 센서(230)로부터 수신된 탑승자 정보에 기초하여, 운전석, 조수석, 및 뒷좌석 중 어느 하나에 관한 탑승 여부에 관한 정보를 획득할 수 있다. The
적외선 센서(240)는 탑승자로부터 반사되는 적외선을 수신함으로써 탑승자의 위치를 인식할 수 있다. 적외선 센서(240)는 적외선 신호의 강도, 송출 각도, 및 송출 위치에 관한 정보를 프로세서(1200)에 제공할 수 있다. 프로세서(1200)는 적외선 센서(240)로부터 획득한 정보에 기초하여 탑승자의 위치 정보를 획득할 수 있다. The
도 4는 본 개시의 일 실시예에 따른 전자 장치(1000)의 동작 방법을 도시한 흐름도이다.4 is a flowchart illustrating an operating method of the
단계 S410에서, 전자 장치(1000)는 차량 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나를 획득한다. 일 실시예에서, 전자 장치(1000)는 차량 센서 모듈(200, 도 3 참조)로부터 차량의 현재 위치, 주행 중인 도로 정보, 속도 정보, 및 탑승자의 탑승 여부에 관한 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 서버로부터 교통 정보, 도로 정보(예를 들어, 어린이 보호 구역, 고속 도로, 일반 도로, 지방 국도 등), 또는 안전 속도에 관한 정보를 수신할 수 있다. In step S410, the
전자 장치(1000)는 디스플레이부(1610, 도 2 참조) 상에 디스플레이되고 있는 애플리케이션의 실행 화면 및 기능 UI에 관한 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 디스플레이부(1610) 상에서 디스플레이되고 있는 적어도 하나의 기능과 관련된 그래픽 UI 각각의 기능을 식별할 수 있다. 예를 들어, 전자 장치(1000)는 애플리케이션을 구성하는 소프트웨어의 플랫폼 레이어(platform layer)에서 UI Framework의 resource name을 검색함으로써, 그래픽 UI 각각에 관한 기능 정보를 획득할 수 있다. 다른 실시예에서, 전자 장치(1000)는 애플리케이션의 API(Application Programmable Interface)를 분석함으로써, 그래픽 UI 각각에 대응되는 기능에 관한 정보를 획득할 수 있다.The
단계 S420에서, 전자 장치(1000)는 적어도 하나의 정보에 기초하여, 차량 또는 전자 장치가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성한다. 일 실시예에서, 전자 장치(1000)는 음성 명령어 중 기능을 실행하기 위하여 필수적인 핵심 명령어들만을 포함하도록 간소화하여 단축 명령어를 생성할 수 있다. In step S420, the
일 실시예에서, 전자 장치(1000)는 디스플레이 출력 정보로부터 기능 UI가 나타내는 기능을 인식하고, 기능을 자연어로 변환함으로써 기능 UI 각각에 대응되는 적어도 하나의 단축 명령어를 생성할 수 있다. In an embodiment, the
일 실시예에서, 전자 장치(1000)는 탑승자가 자주 사용하는 애플리케이션 또는 애플리케이션의 기능을 실행하기 위한 명령어들을 간소화함으로써, 단축 명령어를 생성할 수 있다. 일 실시예에서, 전자 장치(1000)는 로그인 과정을 통해 획득한 탑승자의 식별 정보(user id)로부터 탑승자의 사용 이력 정보를 획득하고, 탑승자의 사용자 식별 정보 및 사용 이력 정보에 기초하여 탑승자가 자주 사용하는 애플리케이션 정보를 획득할 수 있다. 전자 장치(1000)는 탑승자가 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어들로부터 핵심 키워드들만을 추출하여, 적어도 하나의 단축 명령어를 생성할 수 있다.In an embodiment, the
일 실시예에서, 전자 장치(1000)는 생성된 적어도 하나의 단축 명령어들을 리스트 형태로 단축 명령어 데이터베이스(1400)에 저장할 수 있다. In one embodiment, the
단계 S430에서, 전자 장치(1000)는 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이한다. '음성 명령어 가이드 UI'는 차량 또는 전자 장치(1000)의 애플리케이션을 통해 제공되는 기능을 실행하기 위하여 탑승자의 발화를 유도하는 음성 명령어를 문자, 숫자, 또는 기호로 표시하는 UI이다. 일 실시예에서, 음성 명령어 가이드 UI는 그래픽 UI(Graphic User Interface)일 수 있다.In step S430, the
전자 장치(1000)는 적어도 하나의 음성 명령어 가이드 UI 각각을 대응되는 적어도 하나의 기능 UI의 위치에 인접한 영역에 디스플레이할 수 있다. The
전자 장치(1000)는 적어도 하나의 음성 명령어 가이드 UI 각각에 가중치를 부여하고, 가중치에 기초하여 디스플레이되는 음성 명령어 가이드 UI의 표시 여부, 표시 위치, 및 표시 크기 중 적어도 하나를 결정할 수 있다. 일 실시예에서, 전자 장치(1000)는 차량의 주행 정보, 탑승자 정보, 디스플레이 출력 정보, 및 안전 속도 중 적어도 하나에 기초하여 적어도 하나의 음성 명령어 가이드 UI에 관한 가중치를 결정할 수 있다. The
전자 장치(1000)는 차량의 주행 속도와 안전 속도를 비교하고, 비교 결과에 따라 적어도 하나의 음성 명령어 가이드 UI의 가중치를 다르게 결정할 수 있다. 일 실시예에서, 주행 속도가 안전 속도를 초과하는 경우, 전자 장치(1000)는 운전자가 안전을 위하여 운전에 집중해야 하는 상황으로 판단하고, 주행과 관련된 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치를 높게 조절하고, 주행이 아닌 편의 기능, 예를 들어, 음악 재생과 관련된 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치는 낮게 조절할 수 있다. The
일 실시예에서, 전자 장치(1000)는 가중치가 기 설정된 임계치 보다 높은 적어도 하나의 음성 명령어 가이드 UI만을 디스플레이할 수 있다. 다른 실시예에서, 전자 장치(1000)는 가중치가 높은 적어도 하나의 음성 명령어 가이드 UI의 크기를 가중치가 상대적으로 낮은 적어도 하나의 음성 명령어 가이드 UI 크기 보다 크게 디스플레이할 수 있다. In an embodiment, the
도 5는 본 개시의 전자 장치(1000)가 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.5 is a diagram illustrating an embodiment in which the
도 5를 참조하면, 전자 장치(1000)는 디스플레이부(1610) 상에 애플리케이션의 기능을 실행하기 위한 음성 명령어의 발화를 유도하는 음성 명령어 가이드 UI(501, 502, 503, 504, 505) 및 애플리케이션의 실행 화면과 기능을 나타내는 기능 UI(511, 512, 513, 514, 515)를 디스플레이할 수 있다. 도 5에 도시된 실시예에서, 음성 명령어 가이드 UI(501, 502, 503, 504, 505) 및 기능 UI(511, 512, 513, 514, 515)는 복수로 도시되었으나, 이에 한정되는 것은 아니다. 디스플레이부(1610) 상에 디스플레이되는 음성 명령어 가이드 UI(501, 502, 503, 504, 505) 및 기능 UI(511, 512, 513, 514, 515)는 각각 1개일 수도 있다. Referring to FIG. 5 , the
전자 장치(1000)는 디스플레이부(1610)의 출력 정보에 기초하여 단축 명령어를 생성할 수 있다. 일 실시예에서, 전자 장치(1000)는 디스플레이되는 복수의 기능 UI(511, 512, 513, 514, 515) 각각이 나타내는 기능을 인식하고, 인식된 기능을 자연어로 변환함으로써 복수의 기능 UI(511, 512, 513, 514, 515)에 각각 대응되는 복수의 단축 명령어를 생성할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 애플리케이션을 구성하는 소프트웨어의 플랫폼 레이어(platform layer)에서 UI Framework의 resource name을 검색함으로써, 복수의 기능 UI(511, 512, 513, 514, 515) 각각에 관한 기능 정보를 획득하고, 획득된 기능 정보를 자연어로 변환하여 복수의 단축 명령어를 생성할 수 있다. 다른 실시예에서, 프로세서(1200)는 애플리케이션의 API(Application Programmable Interface)를 분석함으로써, 복수의 기능 UI(511, 512, 513, 514, 515) 각각에 대응되는 기능에 관한 정보를 획득하고, 기능 정보를 자연어로 변환하여 복수의 단축 명령어를 생성할 수 있다. The
그러나, 이에 한정되는 것은 아니고, 프로세서(1200)는 이미지 프로세싱(image processing)을 통해, 디스플레이부(1610) 상에 디스플레이되는 아이콘 또는 위젯을 포함하는 복수의 기능 UI(511, 512, 513, 514, 515)가 나타내는 기능 정보를 식별하고, 식별된 기능 정보를 자연어로 변환하여 복수의 단축 명령어를 생성할 수도 있다. However, it is not limited thereto, and the
도 5에 도시된 실시예에서, 프로세서(1200)는 제1 기능 UI(511)에 관한 기능 정보가 '이전 곡 플레이'임을 인식하고, 기능 정보를 자연어로 변환함으로써 '이전 곡'이라는 단축 명령어를 생성할 수 있다. 다른 예를 들어, 프로세서(1200)는 '+'라는 기호로 표시된 제4 UI(514)에 관한 기능 정보가 '에어컨의 설정 온도 올림'임을 인식하고, 기능 정보를 자연어로 변환하고 기능을 나타내는 핵심 단어만을 추출하여 '온도 업'이라는 단축 명령어를 생성할 수 있다. In the embodiment shown in FIG. 5 , the
그러나, 이에 한정되는 것은 아니고, 단축 명령어는 복수의 기능 UI(511, 512, 513, 514, 515) 각각에 대하여 미리 설정되어 있거나, 또는 사용자로부터 수신된 입력에 의해 결정될 수 있다. However, it is not limited thereto, and the short command may be set in advance for each of the plurality of
전자 장치(1000)는 생성된 복수의 단축 명령어를 문자, 숫자, 또는 기호를 이용하여 시각적으로 표시하는 복수의 음성 명령어 가이드 UI(501, 502, 503, 504, 505)를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 복수의 음성 명령어 가이드 UI(501, 502, 503, 504, 505)를 각각 대응되는 복수의 기능 UI(511, 512, 513, 514, 515)가 디스플레이되는 위치와 인접한 영역에 디스플레이할 수 있다. 예를 들어, 음악 애플리케이션에서 이전 곡 플레이 기능의 실행을 위한 제1 기능 UI(511)가 디스플레이되는 위치와 인접한 위치에는 '이전 곡'이라는 단축 명령어를 나타내는 문자로 구성되는 제1 음성 명령어 가이드 UI(501)가 디스플레이될 수 있다. 마찬가지로, 음악 애플리케이션에서 플레이(또는 pause) 기능을 실행하기 위한 제2 기능 UI(512)가 디스플레이되는 위치와 인접한 위치에는 '플레이'라는 제2 음성 명령어 가이드 UI(502)가, 현재 플레이되는 곡의 다음 곡을 플레이하는 기능을 실행하기 위한 제3 기능 UI(513)가 디스플레이되는 위치와 인접한 위치에는 '다음 곡'이라는 제3 음성 명령어 가이드 UI(503)가 디스플레이될 수 있다. 에어컨 애플리케이션에서도 마찬가지로, 에어컨의 설정 온도를 올리는 기능을 실행하기 위한 제4 기능 UI(514)가 디스플레이되는 위치와 인접한 위치에는 '온도 업'이라는 문자로 구성된 제4 음성 명령어 가이드 UI(504)가, 에어컨의 설정 온도를 낮추는 기능을 실행하기 위한 제5 기능 UI(515)가 디스플레이되는 위치와 인접한 위치에는 '온도 다운'이라는 문자로 구성된 제5 음성 명령어 가이드 UI(505)가 디스플레이될 수 있다. The
도 5에 도시된 실시예에서, 전자 장치(1000)는 애플리케이션을 통해 제공되는 기능을 실행하기 위한 복수의 기능 UI(511, 512, 513, 514, 515)를 디스플레이하고, 복수의 기능 UI(511, 512, 513, 514, 515)가 디스플레이되는 위치와 인접한 위치에 대응되는 복수의 음성 명령어 가이드 UI(501, 502, 503, 504, 505)를 디스플레이함으로써, 탑승자가 실행하고 싶은 기능에 관한 음성 명령어를 직관적으로 알 수 있게 하여 사용자 편의성을 향상시킬 수 있다. 또한, 본 개시의 일 실시예에 따른 전자 장치(1000)는 음성 명령을 통해 기능을 실행하는 경우, 추가적인 파라미터 정보를 필요로 하지 않고, 음성 명령어 가이드 UI(501, 502, 503, 504, 505)에 표시된 문자에 해당되는 발화를 수신하기만 하면 기능을 실행하므로, 음성 인식의 정확도를 향상시키고, 운전자의 집중력 분산을 최소화할 수 있다.In the embodiment shown in FIG. 5 , the
도 6은 본 개시의 전자 장치(1000)가 사용자의 식별 정보에 따라 자주 사용하는 애플리케이션의 기능과 관련된 단축 명령어들을 생성하는 실시예를 도시한 도면이다.6 is a diagram illustrating an embodiment in which the
도 6을 참조하면, 전자 장치(1000)는 로그인 과정을 통해 탑승자의 사용자 식별 정보(600)를 획득할 수 있다. 일 실시예에서, 사용자 식별 정보(600)는 탑승자의 user id 정보를 포함할 수 있다.Referring to FIG. 6 , the
전자 장치(1000)는 사용자 식별 정보(600)로부터 애플리케이션의 사용 이력 정보(610)를 획득할 수 있다. 애플리케이션 사용 이력 정보(610)는 탑승자가 사용자 id로 로그인하여 과거 시점에 사용하였던 애플리케이션의 사용 횟수에 관한 누적 정보일 수 있다. 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 애플리케이션 사용 이력 정보(610)로부터 탑승자가 자주 사용하는 애플리케이션의 정보를 획득할 수 있다. 도 6에 도시된 실시예의 애플리케이션 사용 이력 정보(610)를 참조하면, 'XXX'라는 user id로 로그인한 탑승자는 과거 시점으로부터 현재까지 음악 애플리케이션을 50회 사용하였고, 네비게이션 애플리케이션을 40회 사용하였으며, 날씨 애플리케이션은 10회, 전화 애플리케이션은 2회, 문자 애플리케이션은 1회 사용하였음을 알 수 있다. 도 6에는 도시되지 않았지만, 일 실시예에서 프로세서(1200)는 애플리케이션 사용 이력 정보(610)로부터 복수의 애플리케이션 각각에 의해 제공되는 복수의 기능의 사용 빈도에 관한 정보를 획득할 수도 있다. The
프로세서(1200)는 탑승자가 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어들로부터 핵심 키워드들만을 추출하여, 단축 명령어들(620, 622)을 생성할 수 있다. 일 실시예에서, 프로세서(1200)는 복수의 애플리케이션 중 사용 횟수가 기 설정된 임계 횟수를 초과하는 적어도 하나의 애플리케이션만을 식별할 수 있다. 예를 들어, 기 설정된 임계 횟수가 30회인 경우, 프로세서(1200)는 애플리케이션 사용 이력 정보(610)에 포함되는 복수의 애플리케이션 중 50회 사용된 음악 애플리케이션과 40회 사용된 네비게이션 애플리케이션을 식별할 수 있다. 프로세서(1200)는 식별된 적어도 하나의 애플리케이션에 의해 실행되는 기능에 관한 단축 명령어들(620, 622)를 생성할 수 있다. 도 6에 도시된 실시예에서, 프로세서(1200)는 음악 애플리케이션과 관련된 단축 명령어(620)로서 '이전 곡', '플레이', '다음 곡', '볼륨 업', 및 '볼륨 다운'을 생성하고, 네비게이션 애플리케이션과 관련되 단축 명령어(622)로서 '검색', '목적지', '경유지', '줌 인', 및 '줌 아웃'을 생성할 수 있다. The
프로세서(1200)는 생성된 단축 명령어를 시각적으로 표시할 수 있도록 문자, 숫자, 또는 기호로 구성된 음성 명령어 가이드 UI(630)를 생성할 수 있다. 프로세서(1200)는 음성 명령어 가이드 UI(630)를 디스플레이할 수 있다. The
디스플레이 화면에 현재 실행 가능한 모든 기능과 관련된 음성 명령어 가이드 UI를 디스플레이하는 경우 화면이 복잡해지고, 복수의 음성 명령어 가이드 UI로 인하여 운전자의 집중력이 분산되는 문제점이 발생될 수 있다. 도 6에 도시된 실시예에서, 전자 장치(1000)는 사용 이력 정보에 기초하여 탑승자(또는 운전자)가 자주 사용하는 애플리케이션의 기능들을 실행하기 위한 발화를 수신하는 음성 명령어 가이드 UI(630)를 디스플레이하므로, 탑승자(또는 운전자)에 특화되어 개인화된 UI를 제공하고, 집중력 분산을 최소화할 수 있는 효과가 있다. When a voice command guide UI related to all currently executable functions is displayed on a display screen, the screen becomes complicated, and a driver's concentration may be dispersed due to a plurality of voice command guide UIs. In the embodiment shown in FIG. 6 , the
도 7은 본 개시의 전자 장치가 복수의 디스플레이부(1610-1, 1610-2, 1610-3) 중 사용자에 의해 음성 인식 기능이 활성화된 디스플레이부에 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다.7 illustrates an embodiment in which an electronic device of the present disclosure displays a voice command guide UI on a display unit in which a voice recognition function is activated by a user among a plurality of display units 1610-1, 1610-2, and 1610-3 it is a drawing
도 7을 참조하면, 전자 장치(1000)는 복수의 디스플레이부(1610-1, 1610-2, 1610-3)를 포함할 수 있다. 복수의 디스플레이들은 차량에 포함된 복수의 탑승석들에 대응하도록 위치될 수 있다. Referring to FIG. 7 , the
도 7에 도시된 실시예에서, 제1 디스플레이부(1610-1)는 CID(Center Information Display)이고, 제2 디스플레이부(1610-2)는 운전석의 등받이에 부착된 디스플레이이고, 제3 디스플레이부(1610-3)는 조수석 등받이에 부착된 디스플레이일 수 있다. 제2 디스플레이부(1610-2)는 뒷좌석 탑승자 중 왼쪽 좌석에 탑승한 탑승자가 이용하도록 할당되고, 제3 디스플레이부(1610-3)는 뒷좌석 탑승자 중 오른쪽 좌석에 탑승한 탑승자가 이용하도록 할당될 수 있다.In the embodiment shown in FIG. 7 , the first display unit 1610-1 is a CID (Center Information Display), the second display unit 1610-2 is a display attached to the driver's seat back, and the third display unit (1610-3) may be a display attached to the passenger seat backrest. The second display unit 1610-2 may be allocated to be used by a rear seat occupant who sits in the left seat, and the third display unit 1610-3 may be allocated to be used by a right seat occupant among rear seat occupants. there is.
전자 장치(1000)는 복수의 디스플레이부(1610-1, 1610-2, 1610-3) 중 음성 인식 기능을 활성화하는 사용자 입력이 수신된 디스플레이부에만 음성 명령어 가이드 UI를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 운전자, 조수석 탑승자, 또는 뒷좌석 탑승자 중 적어도 하나의 탑승자로부터 음성 인식 기능을 활성화하기 위한 버튼 입력 또는 그래픽 UI를 터치하는 터치 입력을 수신할 수 있다. 전자 장치(1000)는 버튼 입력 또는 터치 입력을 수신함에 따라 음성 인식 기능을 활성화하고, 음성 명령어 가이드 UI를 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니다. 다른 실시예에서, 전자 장치(1000)는 운전자, 조수석 탑승자, 또는 뒷좌석 탑승자 중 적어도 하나의 탑승자로부터 음성 인식 기능을 활성화하기 위한 웨이크 업 음성을 수신하고, 웨이크 업 음성을 수신함에 따라 음성 명령어 가이드 UI를 디스플레이할 수 있다. 웨이크 업 음성은 예를 들어, '하이 빅스비' 또는 '오케이 구글' 등을 포함할 수 있다. The
도 7에 도시된 실시예에서, 전자 장치(1000)는 운전자와 2명의 뒷좌석 탑승자 중 왼쪽 뒷좌석 탑승자로부터 음성 인식 기능을 활성화하는 사용자 입력을 수신하고, 제2 디스플레이부(1610-2)에 음성 명령어 가이드 UI(710)를 디스플레이할 수 있다. 음성 명령어 가이드 UI(710)는 제2 디스플레이부(1610-2) 상에 디스플레이되는 애플리케이션의 기능을 나타내는 기능 UI(720)를 실행하기 위한 단축 명령어를 시각적으로 표시한 UI로서, 대응되는 기능 UI(720)의 인접한 위치에 디스플레이될 수 있다. In the embodiment shown in FIG. 7 , the
상기에서, 전자 장치(1000)가 탑승자로부터 음성 인식 기능을 활성화하는 버튼 입력, 터치 입력 또는 웨이크 업 음성 입력을 수신하는 경우에만 디스플레이부 상에 음성 명령어 가이드 UI를 디스플레이하는 실시예를 설명하였지만, 본 개시의 실시예가 전술한 바와 같이 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 운전석, 조수석, 및 뒷좌석 탑승석의 탑승 여부를 인식하고, 복수의 디스플레이부(1610-1, 1610-2, 1610-3) 중 탑승이 인식된 좌석에 할당되는 디스플레이부 상에 음성 명령어 가이드 UI를 디스플레이할 수 있다. 전자 장치(1000)는 차량 센서 모듈(200, 도 3 참조)의 시트 센서(230, 도 3 참조)로부터 획득된 압력 측정값에 기초하여, 운전석, 조수석, 및 뒷좌석 중 적어도 하나의 좌석의 탑승 여부를 인식하고, 탑승이 인식된 좌석에 할당된 디스플레이부 상에 음성 명령어 가이드 UI를 디스플레이할 수 있다. 예를 들어, 운전석, 조수석, 및 뒷좌석 중 시트 센서(230)로부터 획득한 압력 측정값이 기 설정된 임계값을 초과하는 탑승석이 오른쪽 뒷좌석인 경우, 전자 장치(1000)는 복수의 디스플레이부(1610-1, 1610-2, 1610-3) 중 오른쪽 뒷좌석에 할당되는 제3 디스플레이부(1610-3) 상에 음성 명령어 가이드 UI를 디스플레이할 수 있다. In the above, an embodiment of displaying a voice command guide UI on the display unit only when the
도 8은 본 개시의 전자 장치(1000)가 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 흐름도이다. 8 is a flowchart illustrating an embodiment in which the
도 8을 참조하면, 전자 장치(1000)가 음성 명령어 가이드 UI에 가중치를 부여하고, 가중치에 따라 음성 명령어 가이드 UI의 개수, 위치, 및 크기를 조절하여 디스플레이하는 실시예가 도시된다. 도 8에 도시된 단계들 S820 내지 S840은 도 4에 도시된 단계 S430을 구체화한 단계들이다.Referring to FIG. 8 , an embodiment in which the
단계 S810에서, 전자 장치(1000)는 차량의 주행 정보에 기초하여 안전 속도를 결정한다. 일 실시예에서, 전자 장치(1000)는 차량 센서 모듈(200, 도 3 참조)의 GPS 모듈(210, 도 3 참조) 차량의 현재 위치 및 주행 도로에 관한 정보를 획득할 수 있다. 전자 장치(1000)는 차량이 현재 주행하고 있는 도로의 특성 정보, 예를 들어, 어린이 보호 구역, 고속 도로, 또는 지방 도로에 관한 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 속도 센서(220, 도 3 참조)로부터 차량의 주행 속도에 관한 정보를 획득할 수 있다.In step S810, the
전자 장치(1000)는 획득된 차량의 현재 위치, 주행 도로 특성, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정할 수 있다. 일 실시예에서, 전자 장치(1000)는 주행 도로 특성에 따른 제한 속도 보다 기 설정된 속도 만큼 느린 속도를 안전 속도로 결정할 수 있다. 예를 들어, 어린이 보호 구역 내의 제한 속도가 30km/h인 경우, 안전 속도는 25km/h이고, 고속 도로의 제한 속도가 110km/h인 경우 안전 속도는 100km/h로 결정될 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 주행 중인 도로의 특성에 따라 기 설정된 제한 속도와 동일한 속도를 안전 속도로 결정할 수도 있다.The
단계 S820에서, 전자 장치(1000)는 차량의 주행 정보, 탑승자 정보, 디스플레이 출력 정보, 및 안전 속도 중 적어도 하나에 기초하여, 적어도 하나의 음성 명령어 가이드 UI 각각의 가중치를 결정한다. In step S820, the
일 실시예에서, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 차량의 주행 속도와 안전 속도를 비교하고, 비교 결과에 따라 적어도 하나의 음성 명령어 가이드 UI의 가중치를 다르게 결정할 수 있다. 일 실시예에서, 주행 속도가 안전 속도를 초과하는 경우, 프로세서(1200)는 운전자가 안전을 위하여 운전에 집중해야 하는 상황으로 판단하고, 주행과 관련된 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치를 높게 조절하고, 주행이 아닌 편의 기능, 예를 들어, 음악 재생과 관련된 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치는 낮게 조절할 수 있다. 반대의 실시예에서, 주행 속도가 안전 속도 미만인 경우, 프로세서(1200)는 상대적으로 운전에 집중을 덜 해도 되는 안전한 상황이라고 판단하고, 편의 기능을 실행하기 위한 적어도 하나의 음성 명령어 가이드 UI의 가중치를 높게 조절할 수 있다. In an embodiment, the processor 1200 (see FIG. 2 ) of the
일 실시예에서, 프로세서(1200)는 탑승자의 사용 이력 정보에 기초하여, 자주 사용하는 애플리케이션의 기능과 관련된 음성 명령어 가이드 UI의 가중치를 다른 음성 명령어 가이드 UI 보다 높게 설정할 수 있다. In an embodiment, the
일 실시예에서, 프로세서(1200)는 디스플레이부(1610) 상에 디스플레이되고 있는 아이콘 또는 위젯을 통해 실행되는 애플리케이션과 관련된 음성 명령어 가이드 UI의 가중치를 디스플레이되지 않은 다른 애플리케이션과 관련된 음성 명령어 가이드 UI 보다 높게 설정할 수 있다. In one embodiment, the
단계 S830에서, 전자 장치(1000)는 가중치에 기초하여 적어도 하나의 음성 명령어 가이드 UI가 표시되는 개수, 위치, 및 크기 중 적어도 하나를 결정한다. 일 실시예에서, 전자 장치(1000)는 가중치에 따라 적어도 하나의 음성 명령어 가이드 UI의 표시 여부, 표시 위치, 및 표시 크기를 결정할 수 있다. 예를 들어, 전자 장치(1000)는 가중치가 기 설정된 임계치 보다 높은 적어도 하나의 음성 명령어 가이드 UI만을 디스플레이하고, 가중치가 임계치 미만인 적어도 하나의 음성 명령어 가이드 UI는 디스플레이하지 않도록 결정할 수 있다. 예를 들어, 전자 장치(1000)는 가중치가 높은 적어도 하나의 음성 명령어 가이드 UI의 크기를 가중치가 상대적으로 낮은 적어도 하나의 음성 명령어 가이드 UI의 크기 보다 큰 크기로 결정할 수 있다. In step S830, the
단계 S840에서, 전자 장치(1000)는 전자 장치(1000)는 결정된 개수, 위치, 및 크기에 따라 적어도 하나의 음성 명령어 가이드 UI를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)는 가중치가 기 설정된 임계치 보다 높은 적어도 하나의 음성 명령어 가이드 UI만을 디스플레이할 수 있다. 다른 실시예에서, 전자 장치(1000)는 가중치가 높은 적어도 하나의 음성 명령어 가이드 UI의 크기를 가중치가 상대적으로 낮은 적어도 하나의 음성 명령어 가이드 UI의 크기보다 크게 디스플레이할 수 있다. In step S840, the
도 9a는 본 개시의 전자 장치(1000)가 주행 속도에 따라 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다. 도 9a에 도시된 실시예는 차량의 주행 속도가 안전 속도 이하인 경우 전자 장치(1000)가 디스플레이부(1610) 상에 복수의 음성 명령어 가이드 UI(901 내지 909)를 디스플레이하는 실시예이다. 9A is a diagram illustrating an embodiment in which the
도 9a를 참조하면, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 차량의 속도 센서(220, 도 3 참조)로부터 차량의 주행 속도에 관한 정보를 획득하고, 주행 속도를 안전 속도와 비교할 수 있다. 차량의 주행 속도가 안전 속도 이하인 것으로 판단된 경우, 프로세서(1200)는 디스플레이부(1610) 상에 출력되고 있는 모든 애플리케이션에 제공되는 기능을 실행하기 위한 복수의 기능 UI 각각에 관한 복수의 음성 명령어 가이드 UI(910 내지 909)를 디스플레이할 수 있다. Referring to FIG. 9A , the processor 1200 (see FIG. 2 ) of the
차량의 주행 속도가 안전 속도 이하인 것으로 판단되는 경우, 프로세서(1200)는 복수의 음성 명령어 가이드 UI(901 내지 909)에 가중치를 부여하지 않거나, 또는 동일한 가중치를 부여하여 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(1200)는 복수의 애플리케이션 중 차량의 주행과 관련이 없거나 상대적으로 관련도가 낮은 편의 기능 애플리케이션, 예를 들어 음악 애플리케이션 또는 날씨 애플리케이션의 기능을 실행하기 위한 음성 명령어 가이드 UI의 가중치를 높게 조절할 수 있다. 도 9a에 도시된 실시예에서, 프로세서(1200)는 음악 애플리케이션의 실행과 관련되는 제4 음성 명령어 가이드 UI(904), 음악 애플리케이션에서 이전 곡을 플레이하는 기능의 실행과 관련되는 제5 음성 명령어 가이드 UI(905), 플레이 및 정지(pause) 기능의 실행과 관련되는 제6 음성 명령어 가이드 UI(906), 및 다음 곡을 플레이하는 기능의 실행과 관련되는 제7 음성 명령어 가이드 UI(907)에 부여되는 가중치를 다른 음성 명령어 가이드 UI(901, 902, 903, 908, 909)의 가중치 보다 높은 값으로 조절할 수 있다. 도면에서는 동일한 크기로 도시되었지만, 일 실시에서 프로세서(1200)는 제4 음성 명령어 가이드 UI(904) 내지 제7 음성 명령어 가이드 UI(907)의 크기를 다른 음성 명령어 가이드 UI(901, 902, 903, 908, 909)의 크기 보다 크게 디스플레이할 수 있다. When it is determined that the driving speed of the vehicle is less than or equal to the safe speed, the
도 9b는 본 개시의 전자 장치(1000)가 주행 속도에 따라 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 도면이다. 도 9b에 도시된 실시예는 차량의 주행 속도가 안전 속도를 초과하는 경우 전자 장치(1000)가 디스플레이부(1610) 상에 복수의 음성 명령어 가이드 UI(901, 902, 903, 908, 909)를 디스플레이하는 실시예이다. 9B is a diagram illustrating an embodiment in which the
도 9b를 참조하면, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 차량의 주행 속도가 안전 속도를 초과하는 것으로 판단된 경우 디스플레이부(1610) 상에 출력되고 있는 모든 애플리케이션에 제공되는 기능을 실행하기 위한 복수의 기능 UI 중 가중치가 높게 설정된 음성 명령어 가이드 UI(901, 902, 903, 908, 909)만을 디스플레이할 수 있다. 일 실시예에서, 프로세서(1200)는 주행 속도가 안전 속도를 초과하는 것으로 판단되는 경우 차량의 주행 관련 기능을 실행하기 위한 음성 명령어 가이드 UI에 높은 가중치를 설정할 수 있다. 차량의 주행 관련 기능을 실행하는 애플리케이션은 미리 정해져 있을 수 있다. 차량의 주행과 관련되는 기능을 실행하는 애플리케이션은 예를 들어, 네비게이션 애플리케이션, 및 냉난방을 조절하는 HVAC(heating, ventilation, and air conditioning) 애플리케이션 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 프로세서(1200)는 차량의 주행과 직접적인 관련이 없더라도 운전 중에 사용할 수 있는 애플리케이션, 예를 들어 전화 애플리케이션에도 높은 가중치를 설정할 수 있다. 도 9b에 도시된 실시예에서, 프로세서(1200)는 네비게이션 애플리케이션의 기능을 실행하기 위한 제1 음성 명령어 가이드 UI(901) 내지 제3 음성 명령어 가이드 UI(903) 및 에어컨 애플리케이션의 기능을 실행하기 위한 제8 음성 명령어 가이드 UI(908), 제9 음성 명령어 가이드 UI(909)를 디스플레이할 수 있다. 프로세서(1200)는 가중치가 기 설정된 임계치 보다 낮은 제4 음성 명령어 가이드 UI(904) 내지 제7 음성 명령어 가이드 UI(907)는 디스플레이하지 않을 수 있다. Referring to FIG. 9B , when the processor 1200 (see FIG. 2 ) of the
도 10은 본 개시의 전자 장치(1000)가 차량의 주행 속도 및 안전 속도에 기초하여 음성 명령어 가이드 UI를 디스플레이하는 실시예를 도시한 흐름도이다.10 is a flowchart illustrating an embodiment in which the
도 10을 참조하면, 전자 장치(1000)가 차량의 주행 속도 및 안전 속도에 기초하여 음성 명령어 가이드 UI에 가중치를 부여하고, 가중치에 따라 음성 명령어 가이드 UI의 개수, 위치, 및 크기를 조절하여 디스플레이하는 실시예가 도시된다. 도 10에 도시된 단계들 S1030 내지 S1080은 도 4에 도시된 단계 S430을 구체화한 단계들이다.Referring to FIG. 10 , the
단계 S1010에서, 전자 장치(1000)는 안전 속도를 결정한다. 일 실시예에서, 전자 장치(1000)는 차량의 현재 위치, 주행 도로 특성, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정할 수 있다. 단계 S1010은 도 8에 도시된 단계 S810과 동일하므로, 중복되는 설명은 생략한다.In step S1010, the
단계 S1020에서, 전자 장치(1000)는 차량의 주행 속도와 안전 속도를 비교함으로써, 주행 속도가 안전 속도를 초과하는지 여부를 판단한다. In step S1020, the
차량의 주행 속도가 안전 속도를 초과하는 것으로 판단되는 경우(단계 S1030), 전자 장치(1000)는 차량 주행과 관련되는 기능을 실행하기 위한 적어도 하나의 제1 단축 명령어의 가중치를 조절한다. 적어도 하나의 제1 단축 명령어는 차량의 주행과 관련되는 적어도 하나의 애플리케이션의 기능을 실행하기 위한 명령어이고, 적어도 하나의 애플리케이션은 미리 정해져 있을 수 있다. 차량의 주행과 관련되는 기능을 실행하는 애플리케이션은 예를 들어, 네비게이션 애플리케이션, 및 냉난방을 조절하는 HVAC(heating, ventilation, and air conditioning) 애플리케이션 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 전자 장치(1000)는 네비게이션 애플리케이션 및 HVAC 애플리케이션 각각에 의해 제공되는 기능을 실행하기 위한 적어도 하나의 제1 단축 명령어의 가중치를 높게 조절할 수 있다. When it is determined that the driving speed of the vehicle exceeds the safe speed (step S1030), the
일 실시예에서, 전자 장치(1000)는 차량의 주행과 직접적인 관련이 없더라도 운전 중에 사용할 수 있는 애플리케이션, 예를 들어 전화 애플리케이션의 기능을 실행하기 위한 단축 명령어의 가중치를 높게 조절할 수 있다. In one embodiment, the
단계 S1040에서, 전자 장치(1000)는 조절된 가중치에 따라 적어도 하나의 제1 단축 명령어에 대응되는 적어도 하나의 제1 음성 명령어 가이드 UI의 개수, 크기, 및 위치를 결정한다. 일 실시예에서, 전자 장치(1000)는 적어도 하나의 제1 단축 명령어를 문자, 숫자, 또는 기호를 이용하여 시각적으로 표시하는 적어도 하나의 제1 음성 명령어 가이드 UI를 디스플레이하거나, 적어도 하나의 제1 음성 명령어 가이드 UI 중에서도 가중치가 임계치를 초과하는 UI만을 디스플레이하도록 개수를 결정할 수 있다. 일 실시예에서, 전자 장치(1000)는 적어도 하나의 제1 음성 명령어 가이드 UI의 크기를 다른 음성 명령어 가이드 UI의 크기 보다 크게 디스플레이하도록 결정할 수 있다. In step S1040, the
단계 S1050에서, 전자 장치(1000)는 결정된 개수, 크기, 및 위치에 따라 적어도 하나의 제1 음성 명령어 가이드 UI를 디스플레이한다. In step S1050, the
차량의 주행 속도가 안전 속도 이하인 것으로 판단되는 경우(단계 S1060), 전자 장치(1000)는 편의 기능을 실행하기 위한 적어도 하나의 제2 단축 명령어의 가중치를 조절한다. 적어도 하나의 제2 단축 명령어는 차량의 주행과는 관련이 적고, 편의 기능을 실행하기 위한 명령어이다. 편의 기능 관련 애플리케이션은 미리 정해져 있을 수 있다. 차량의 편의 기능을 실행하는 애플리케이션은 예를 들어, 음악 애플리케이션 또는 날씨 애플리케이션일 수 있다. 일 실시예에서, 전자 장치(1000)는 음악 애플리케이션 및 날씨 애플리케이션 각각에 의해 제공되는 기능을 실행하기 위한 적어도 하나의 제2 단축 명령어의 가중치를 높게 조절할 수 있다. When it is determined that the driving speed of the vehicle is equal to or less than the safe speed (step S1060), the
단계 S1070에서, 전자 장치(1000)는 조절된 가중치에 따라 적어도 하나의 제2 단축 명령어에 대응되는 적어도 하나의 제2 음성 명령어 가이드 UI의 개수, 크기, 및 위치를 결정한다. 일 실시예에서, 전자 장치(1000)는 적어도 하나의 제2 단축 명령어를 문자, 숫자, 또는 기호를 이용하여 시각적으로 표시하는 적어도 하나의 제2 음성 명령어 가이드 UI를 디스플레이하거나, 적어도 하나의 제2 음성 명령어 가이드 UI 중에서도 가중치가 임계치를 초과하는 UI만을 디스플레이하도록 개수를 결정할 수 있다. 일 실시예에서, 전자 장치(1000)는 적어도 하나의 제2 음성 명령어 가이드 UI의 크기를 다른 음성 명령어 가이드 UI의 크기 보다 크게 디스플레이하도록 결정할 수 있다.In step S1070, the
단계 S1080에서, 전자 장치(1000)는 결정된 개수, 크기, 및 위치에 따라 적어도 하나의 제2 음성 명령어 가이드 UI를 디스플레이한다. In step S1080, the
도 11은 본 개시의 전자 장치(1000)가 팝 업 메시지(1112)와 관련된 음성 명령어 가이드 UI(1124, 1126)를 디스플레이하는 실시예를 도시한 도면이다.11 is a diagram illustrating an embodiment in which the
도 11을 참조하면, 전자 장치(1000)는 디스플레이부(1610) 상에 팝 업 메시지(1112)를 디스플레이할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 실행 중인 애플리케이션에서 오류가 발생되거나, 애플리케이션의 업데이트를 요하는 상황이거나, 또는 인근 도로에서 사고가 발생하는 등의 이벤트 발생을 인식하고, 경고 메시지로서 팝 업 메시지(1112)를 디스플레이할 수 있다. 일 실시예에서, 팝 업 메시지(1112)는 디스플레이부(1610) 상에 출력되고 있는 애플리케이션의 실행 화면 및 UI들을 오버레이하여 디스플레이될 수 있다. 도 11에 도시된 실시예에서, 팝 업 메시지(1112)는 전방 100m 지점의 사고 발생을 알리는 경고 메시지로서, 우회로 검색을 위한 제1 UI(1114) 및 팝 업 메시지를 닫기 위한 제2 UI(1116)를 포함할 수 있다. Referring to FIG. 11 , the
프로세서(1200)는 팝 업 메시지(1112)를 디스플레이부(1610) 상에서 제거하는 기능과 관련된 기능 UI(1114, 1116)을 실행하기 위한 음성 명령어 가이드 UI(1124, 1126)를 디스플레이할 수 있다. 일 실시예에서, 프로세서(1200)는 팝 업 메시지(1112)를 제거하기 위한 음성 명령어 가이드 UI(1124, 1126)의 가중치를 다른 음성 명령어 가이드 UI에 부여된 가중치 보다 높게 설정할 수 있다. 예를 들어, 프로세서(1200)는 팝 업 메시지(1112)의 제거와 관련된 기능을 실행하기 위한 음성 명령어 가이드 UI(1124, 1126)의 가중치를 최대값으로 설정할 수 있다. The
예상하지 못한 상황에서 갑자기 팝 업 메시지(1112)가 디스플레이되는 경우, 네비게이션 화면을 가리기 때문에 운전자의 집중력을 분산시키고, 길을 잘못 갈 수 있는 등의 문제점이 발생된다. 또한, 팝 업 메시지(1112)가 디스플레이부(1610) 상에 디스플레이되는 다른 기능을 사용하기 위한 UI를 가리기 때문에 사용자 편의성이 떨어질 수 있다. 도 11에 도시된 실시예에서, 전자 장치(1000)는 팝 업 메시지(1112)를 디스플레이부(1610) 상에서 제거하기 위한 음성 명령어 가이드 UI(1124, 1126)에 부여되는 가중치를 높게 설정함으로써, 운전자가 쉽게 팝 업 메시지(1112)를 제거할 수 있도록 하는 효과를 제공한다. When the pop-up
도 12는 본 개시의 전자 장치(1000)가 디스플레이부(1610) 상의 일부 영역에 음성 명령어 가이드 UI(121 내지 127)를 디스플레이하는 실시예를 도시한 도면이다.12 is a diagram illustrating an embodiment in which the
도 12를 참조하면, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 디스플레이부(1610)를 복수의 영역(1611, 1612, 1613)으로 구분하고, 탑승자의 위치와 디스플레이부(1610)의 복수의 영역(1611, 1612, 1613) 사이의 거리에 기초하여 음성 명령어 가이드 UI(121 내지 127)를 디스플레이할 수 있다. Referring to FIG. 12 , the processor 1200 (see FIG. 2 ) of the
프로세서(1200)는 디스플레이부(1610)의 복수의 영역(1611, 1612, 1613)과 탑승자의 위치 사이의 거리를 측정할 수 있다. 일 실시예에서, 프로세서(1200)는 차량 센서 모듈(200, 도 3 참조)의 적외선 센서(2240, 도 3 참조)로부터 탑승자의 위치 정보를 획득할 수 있다. 도 12에 도시된 실시예에서, 디스플레이부(1610)의 제1 영역(1611)과 탑승자 사이의 거리는 제1 거리(d1)이고, 제2 영역(1612)과 탑승자 사이의 거리는 제2 거리(d2)이며, 제3 영역(1613)과 탑승자 사이의 거리는 제3 거리(d3)로 측정될 수 있다. The
프로세서(1200)는 디스플레이부(1610)의 복수의 영역(1611, 1612, 1613) 중 측정된 탑승자 위치와의 거리가 기 설정된 기준값 이상인 영역에만 음성 명령어 가이드 UI(121 내지 127)을 디스플레이할 수 있다. 도 12에 도시된 실시예에서, 제2 거리(d2) 및 제3 거리(d3)는 기준값 이상으로 측정되고, 프로세서(1200)는 제2 영역(1612) 및 제3 영역(1613)에만 음성 명령어 가이드 UI(121 내지 127)을 디스플레이할 수 있다. 이 경우, 프로세서(1200)는 디스플레이부(1610)의 제1 영역(1611)에는 음성 명령어 가이드 UI를 디스플레이하지 않을 수 있다.The
상기에서, 탑승자의 위치와 디스플레이부(1610)의 각 영역 간의 거리에 기초하여 음성 명령어 가이드 UI(121 내지 127)를 디스플레이하는 실시예를 설명하였는데, 본 개시의 실시예가 전술한 바와 같이 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 차량 내의 공간을 운전석, 조수석, 및 뒷좌석 좌우 공간으로 각각 분할하고, 디스플레이부(1610)를 분할된 공간에 대응되도록 복수의 영역으로 구분할 수 있다. 전자 장치(1000)는 분할된 디스플레이부(1610)의 복수의 영역에 대하여 탑승자의 터치 입력이 닿기 어려운 영역에만 음성 명령어 가이드 UI(121 내지 127)를 디스플레이할 수 있다. 예를 들어, 디스플레이부(1610)는 운전석에 할당된 영역과 조수석에 할당된 영역으로 구분되고, 전자 장치(1000)는 복수의 영역 중 운전자가 아이콘 또는 위젯을 터치하기에는 먼 거리인 조수석에 할당된 영역에만 음성 명령어 가이드 UI(121 내지 127)를 디스플레이할 수 있다. In the above, the embodiment of displaying the voice
최근에는 차량 내부에 배치되는 디스플레이부(1610)가 대화면으로 구성되어 운전 중에 터치하기에는 허리를 숙여야 되는 등 부가 동작이 필요하여 운전에 방해가 되는 경우가 있다. 도 12에 도시된 실시예에서, 전자 장치(1000)는 디스플레이부(1610)의 복수의 영역(1611, 1612, 1613) 중 운전자(또는 탑승자)가 터치하기 어려운 먼 거리에 위치하는 영역(도 12의 실시예에서는 제2 영역(1612), 제3 영역(1613))에만 음성 명령어 가이드 UI(121 내지 127)을 디스플레이하므로, 운전자(또는 탑승자)가 직접 아이콘 또는 위젯 등 UI를 터치하지 않고 발화를 통해 기능을 수행할 수 있는 보이스 터치(voice touch)와 같은 사용자 경험을 제공할 수 있다. Recently, the
도 13은 본 개시의 전자 장치(1000)가 HUD(130)를 통해 음성 명령어 가이드 UI(134)를 디스플레이하는 실시예를 도시한 도면이다.13 is a diagram illustrating an embodiment in which the
도 13을 참조하면, 전자 장치(1000)는 HUD(Head Up Display)(130)를 통해 애플리케이션 UI(132) 및 음성 명령어 가이드 UI(134)를 디스플레이할 수 있다. 전자 장치(1000)는 프로젝터(1700)를 포함할 수 있다. 프로젝터(1700)는 차량의 전면 유리창인 윈드 쉴드(wind shield) 상에 이미지를 투사하도록 구성되는 광학 엔진이다. 프로젝터(1700)는 이미지의 광을 생성하도록 구성되고, 화상 패널, 조명 광학계, 투사 광학계 등을 포함하는 광학 엔진일 수 있다. 일 실시예에서, 프로젝터(1700)는 프로세서(1200, 도 2 참조)로부터 애플리케이션의 실행 화면에 포함되는 애플리케이션 UI(132)와 음성 명령어 가이드 UI(134)를 구성하는 이미지를 포함하는 데이터를 획득하고, 획득된 이미지 데이터에 기초하여 가상의 이미지를 생성하고, 광원으로부터 출력된 가상 이미지를 구성하는 광을 출사면을 통해 윈드 쉴드 상에 투사할 수 있다. 프로젝터(1700)에 의해 투사된 이미지는 윈드 쉴드 상의 HUD(130)를 통해 디스플레이될 수 있다.Referring to FIG. 13 , the
도 13에는 HUD(130)를 통해 애플리케이션 UI(132)와 음성 명령어 가이드 UI(134)가 디스플레이되는 것으로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, HUD(130)에는 음성 명령어 가이드 UI(134)만 디스플레이될 수 있다. Although the
도 13에 도시된 실시예에서, 전자 장치(1000)는 HUD(130)를 통해 음성 명령어 가이드 UI(134)를 디스플레이하는 바, 운전자가 CID 또는 네비게이션 화면을 보려고 머리를 숙이지 않고도 기능 실행을 위한 단축 명령어를 직관적으로 파악할 수 있도록 하여 사용자 편의성을 향상시킴은 물론, 운전자의 집중력 분산을 완화할 수도 있다. In the embodiment shown in FIG. 13 , the
도 14는 본 개시의 전자 장치(1000)가 음성 인식 기능을 수행하는 실시예를 도시한 흐름도이다.14 is a flowchart illustrating an embodiment in which the
단계 S1410에서, 전자 장치(1000)는 음성 인식 기능을 활성화하는 사용자 입력을 수신한다. 일 실시예에서, 전자 장치(1000)의 프로세서(1200, 도 2 참조)는 음성 인식 기능 입력부(1510, 도 2 참조)를 통해 음성 인식 기능을 활성화하는 사용자 입력을 수신할 수 있다. 음성 인식 기능 입력부(1510)는 하드웨어 버튼으로써, 차량의 스티어링 휠에 배치되거나 또는 대시보드(dashboard) 상에 배치될 수 있다. 그러나, 이에 한정되는 것은 아니고, 음성 인식 기능 입력부(1510)는 디스플레이부(1610) 상에 디스플레이되는 그래픽 UI일 수도 있다. In step S1410, the
일 실시예에서, 프로세서(1200)는 마이크로폰(1520, 도 2 참조)를 통해 음성 인식 기능을 활성화하기 위한 웨이크 업 음성을 수신할 수 있다. 웨이크 업 음성은 예를 들어, '하이 빅스비' 또는 '오케이 구글' 등을 포함할 수 있다. In one embodiment, the
단계 S1420에서, 전자 장치(1000)는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이한다. 전자 장치(1000)는 단계 S1410에서 사용자 입력을 수신함에 따라 음성 인식 기능을 활성화하고, 디스플레이부(1610) 상에 적어도 하나의 음성 명령어 가이드 UI를 디스플레이할 수 있다.In step S1420, the
단계 S1430에서, 전자 장치(1000)는 탑승자로부터 음성 입력을 수신한다. 일 실시예에서, 전자 장치(1000)의 프로세서(1200)는 마이크로폰(1520)을 통해 운전석, 조수석, 또는 뒷좌석 중 적어도 하나에 탑승한 탑승자에 의해 발화된 음성 입력을 수신할 수 있다.In step S1430, the
단계 S1440에서, 전자 장치(1000)는 수신된 음성 입력과 적어도 하나의 음성 명령어 가이드 UI에 대응되는 적어도 하나의 단축 명령어를 비교한다. 일 실시예에서, 전자 장치(1000)의 프로세서(1200)는 ASR(Automatic Speech Recognition)을 수행하여 수신된 음성 입력을 컴퓨터로 판독 가능한 텍스트로 변환할 수 있다. 프로세서(1200)는 변환된 텍스트를 적어도 하나의 음성 명령어 가이드 UI에 대응되는 적어도 하나의 단축 명령어와 비교할 수 있다. In step S1440, the
비교 결과, 텍스트와 대응되는 단축 명령어가 식별된 경우(단계 S1450), 전자 장치(1000)는 식별된 단축 명령어에 대응되는 기능을 실행한다. 예를 들어, 탑승자로부터 수신된 음성 입력이 "볼륨 업"인 경우, 전자 장치(1000)는 디스플레이된 적어도 하나의 음성 명령어 가이드 UI에 대응되는 적어도 하나의 단축 명령어 중 '볼륨 업'과 매칭되는 단축 명령어를 식별하고, 식별된 단축 명령어에 대응되는 기능인 미디어 볼륨 올림 기능을 실행할 수 있다.As a result of the comparison, when a short command corresponding to the text is identified (step S1450), the
비교 결과, 텍스트와 대응되는 단축 명령어가 식별되지 않은 경우(단계 S1470), 전자 장치(1000)는 음성 입력 데이터를 서버로 전송한다. 일 실시예에서, 전자 장치(1000)는 데이터 통신 모듈(1120, 도 2 참조)를 이용하여 음성 입력 데이터를 서버로 전송할 수 있다. 전자 장치(1000)는 예를 들어, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), 또는 블루투스를 포함하는 근거리 무선 통신 또는 CDMA, WCDMA, 3G, 4G, 및/또는 5G, 밀리미터파(mmWAVE)와 같은 이동 통신 네트워크를 이용하여 음성 입력 데이터를 서버에 전송할 수 있다. 수 있다. As a result of the comparison, when a shortened command corresponding to the text is not identified (step S1470), the
전자 장치(1000)는 단계 S1430에서 수신된 음성 입력 데이터를 그대로 서버에 전송할 수 있지만, 이에 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 음성 입력을 텍스트로 변환하고, 변환된 텍스트를 서버로 전송할 수도 있다.The
단계 S1480에서, 전자 장치(1000)는 서버로부터 음성 입력에 대응되는 기능 정보를 수신한다. 서버는 전자 장치(1000)로부터 음성 입력 데이터를 수신하고, 자연어 이해 모델(Natural Language Understanding)을 이용하여 음성 입력 데이터를 해석함으로써 탑승자의 발화 의도(intent)를 인식할 수 있다. 서버는 인식된 발화 의도에 따른 기능을 식별하고, 식별된 기능에 관한 정보를 전자 장치(1000)에 전송할 수 있다.In step S1480, the
단계 S1490에서, 전자 장치(1000)는 수신된 기능 정보를 이용하여 관련 기능을 식별하고, 식별된 기능을 실행한다. In step S1490, the
도 14에 도시된 실시예에서, 전자 장치(1000)는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하고, 탑승자로부터 수신된 음성 입력을 서버에 전송하여 해석하기 전에 적어도 하나의 음성 명령어 가이드 UI 각각에 대응되는 적어도 하나의 단축 명령어와 비교함으로써 매칭되는 단축 명령어를 미리 식별할 수 있다. 전자 장치(1000)는 매칭되는 단축 명령어가 식별되는 경우, 식별된 단축 명령어와 관련된 기능을 실행하므로, 서버에 접속할 필요가 없이 온 디바이스(on-device)로 기능을 실행할 수 있다. 따라서, 본 개시의 일 실시예에 따른 전자 장치(1000)는 서버와의 통신에 의해 소모되는 시간 및 통신 비용을 절감할 수 있고, 음성 인식의 정확도를 향상시킬 수 있는 기술적 효과를 제공한다. In the embodiment shown in FIG. 14 , the
도 15는 본 개시의 일 실시예에 따른 전자 장치(1000)가 인공 지능 기술을 이용하여 수행되는 동작을 설명하기 위한 도면이다.15 is a diagram for explaining an operation performed by the
구체적으로, 전자 장치(1000)에 의해 수행되는 i) 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 관한 정보를 획득하는 동작, ii) 획득된 적어도 하나의 정보에 기초하여, 탑승자로부터 수신되는 음성 입력에 의해 상기 차량 또는 상기 전자 장치가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성하는 동작, 및 iii) 생성된 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 동작 중 적어도 하나는, 신경망(neural network)을 통한 연산을 수행하는 인공지능(AI: Artificial Intelligence) 기술을 이용하여 수행될 수 있다. Specifically, an operation performed by the
인공 지능 기술(이하, 'AI 기술')은 신경망(Neural Network)을 통한 연산을 기반으로 입력 데이터를 분석 및/또는 분류 등과 같은 처리를 하여 목적하는 결과를 획득하는 기술이다. Artificial intelligence technology (hereinafter referred to as 'AI technology') is a technology that obtains a desired result by processing input data such as analysis and/or classification based on an operation through a neural network.
이러한 AI 기술은 알고리즘을 활용하여 구현될 수 있다. 여기서, AI 기술을 구현하기 위한 알고리즘 또는 알고리즘의 집합을 신경망(Neural Network)이라 한다. 여기서, 신경망은 입력 데이터를 입력받고, 전술한 분석 및/또는 분류를 위한 연산을 수행하여, 결과 데이터를 출력할 수 있다. 신경망이 입력 데이터에 대응되는 결과 데이터를 정확하게 출력하기 위해서는, 신경망을 학습(training)시킬 필요가 있다. 여기서, '학습(training)'은 신경망에 대한 입력 데이터들을 분석하는 방법, 입력 데이터들을 분류하는 방법, 및/또는 입력 데이터들에서 결과 데이터 생성에 필요한 특징을 추출하는 방법 등을 신경망이 스스로 발견 또는 터득할 수 있도록 훈련시키는 것을 의미할 수 있다. 구체적으로, 학습 과정을 통하여, 신경망은 학습 데이터(예를 들어, 서로 다른 복수의 이미지들)를 학습(training)하여 신경망 내부의 가중치(weight) 값들을 최적화할 수 있다. 그리고, 최적화된 가중치 값을 가지는 신경망을 통하여, 입력 데이터를 처리함으로써, 목적하는 결과를 출력한다.These AI technologies can be implemented using algorithms. Here, an algorithm or a set of algorithms for implementing AI technology is called a neural network. Here, the neural network may receive input data, perform the above-described calculation for analysis and/or classification, and output result data. In order for the neural network to accurately output result data corresponding to input data, it is necessary to train the neural network. Here, 'training' means that the neural network discovers or discovers a method of analyzing input data for the neural network, a method of classifying the input data, and/or a method of extracting features necessary for generating result data from the input data. It can mean training to learn. Specifically, through a learning process, the neural network may optimize weight values inside the neural network by training on training data (eg, a plurality of different images). Then, by processing input data through a neural network having optimized weight values, a desired result is output.
신경망은 연산을 수행하는 내부의 레이어(layer)인 은닉 레이어(hidden layer)의 개수가 복수일 경우, 즉 연산을 수행하는 신경망의 심도(depth)가 증가하는 경우, 심층 신경망으로 분류될 수 있다. 신경망은 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 등을 포함하고, 전술한 예시에 한정되지 않는다. 또한, 신경망은 세분화될 수 있다. 예를 들어, CNN 신경망은 DCNN(Deep Convolution Neural Network) 또는 캡스넷(Capsnet) 신경망(미도시) 등으로 세분화 될 수 있다. A neural network can be classified as a deep neural network when the number of hidden layers, which are internal layers that perform calculations, is plural, that is, when the depth of the neural network that performs calculations increases. Neural networks include, for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), a Deep Belief Network (DBN), a Bidirectional Recurrent Deep Neural Network (BRDNN), and Deep Q-Networks, etc. are included, but are not limited to the above examples. Also, neural networks can be subdivided. For example, a CNN neural network may be subdivided into a Deep Convolution Neural Network (DCNN) or a Capsnet neural network (not shown).
'AI 모델'은 입력 데이터를 수신하고 목적하는 결과를 출력하도록 동작하는 적어도 하나의 레이어를 포함하는 신경망을 의미할 수 있다. 또한, 'AI 모델'은 신경망을 통한 연산을 수행하여 목적하는 결과를 출력하는 알고리즘, 복수의 알고리즘의 집합, 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 프로세서(processor), 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 소프트웨어, 또는 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 하드웨어를 의미할 수 있다. An 'AI model' may refer to a neural network including at least one layer that operates to receive input data and output desired results. In addition, an 'AI model' is an algorithm that outputs a desired result by performing an operation through a neural network, a set of multiple algorithms, a processor for executing an algorithm (or a set of algorithms), an algorithm (or a set of algorithms) ), or hardware for executing an algorithm (or a set of algorithms).
전술한 i) 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 관한 정보를 획득하는 동작, ii) 획득된 적어도 하나의 정보에 기초하여, 탑승자로부터 수신되는 음성 입력에 의해 상기 차량 또는 상기 전자 장치가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성하는 동작, 및 iii) 생성된 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 동작 중 적어도 하나는 AI 모델 기반으로 수행될 수 있다. The aforementioned i) operation of obtaining information on at least one of vehicle driving information, occupant information, and display output information, ii) based on the obtained at least one information, the vehicle or the vehicle by a voice input received from the occupant An operation of generating at least one shortened command that is a simplified version of voice commands for executing at least one function provided by the electronic device, and iii) at least one voice command guide that visually indicates each of the generated at least one shortened command. At least one of the operations of displaying the UI may be performed based on the AI model.
도 15를 참조하면, 신경망(150)은 학습 데이터(training data)를 입력받아 트레이닝(training)될 수 있다. 그리고, 학습된 신경망(150)은 입력단(152)으로 입력 데이터(151)를 입력받고, 입력단(152), 은닉 레이어(hidden layer)(153) 및 출력단(154)은 입력 데이터(151) 및 이전 레이어로부터 전달된 데이터를 분석하여 출력 데이터(155)를 출력하기 위한 연산을 수행할 수 있다. 도 15에서는 은닉 레이어(153)가 1개의 계층인 것으로 도시되어 있으나, 이는 예시일 뿐이고, 은닉 레이어(153)는 복수의 계층으로 이루어질 수도 있다.Referring to FIG. 15 , the
개시된 실시예에서 신경망(150)은, 로그인 정보로부터 탑승자의 사용자 식별 정보 및 사용 이력 정보를 획득하고, 사용자 식별 정보 및 사용 이력 정보로부터 탑승자가 자주 사용하는 애플리케이션 정보를 획득하며, 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어를 간소화함으로써 적어도 하나의 단축 명령어를 생성하도록 학습될 수 있다. In the disclosed embodiment, the
개시된 실시예에서 신경망(150)은, 디스플레이부(1610, 도 2 참조) 상에 출력되는 적어도 하나의 그래픽 UI가 나타내는 기능을 인식하고, 인식된 기능을 자연어로 변환함으로써 적어도 하나의 GUI 각각에 대응되는 적어도 하나의 단축 명령어를 생성하도록 학습될 수 있다. In the disclosed embodiment, the
개시된 실시예에서 신경망(150)은, 적어도 하나의 음성 명령어 가이드 UI를 대응되는 기능을 실행하기 위한 적어도 하나의 그래픽 UI의 인접한 위치에 각각 디스플레이하도록 학습될 수 있다. In the disclosed embodiment, the
개시된 실시예에서 신경망(150)은, 차량의 현재 위치, 주행 도로, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정하고, 차량 주행 정보, 탑승자 정보, 디스플레이 출력 정보, 및 결정된 안전 속도 정보 중 적어도 하나에 기초하여 적어도 하나의 음성 명령어 가이드 UI 각각의 가중치를 결정하고, 결정된 가중치에 기초하여 적어도 하나의 음성 명령어 가이드 UI가 표시되는 개수, 위치, 및 크기를 결정하며, 결정된 개수, 위치, 및 크기에 따라 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 학습될 수 있다.In the disclosed embodiment, the
개시된 실시예에서 신경망(150)은, 차량의 주행 정보로부터 차량의 주행 속도가 상기 안전 속도 이상인지 여부를 인식하고, 인식 결과에 기초하여 차량의 주행과 관련되는 기능을 실행하기 위한 적어도 하나의 제1 음성 명령어 가이드 UI의 가중치 및 편의 기능을 실행하기 위한 적어도 하나의 제2 음성 명령어 가이드 UI의 가중치를 변경하도록 학습될 수 있다. In the disclosed embodiment, the
개시된 실시예에서 신경망(150)은, 디스플레이되는 팝 업 메시지를 제거하기 위한 기능을 실행하는 음성 명령어 가이드 UI의 가중치를 조절하도록 학습될 수 있다. In the disclosed embodiment, the
개시된 실시예에서 신경망(150)은, 탑승자의 탑승 위치 정보에 따른 탑승자와 디스플레이부 사이의 거리를 측정하고, 측정된 거리에 기초하여 디스플레이부 상에서 적어도 하나의 음성 명령어 가이드 UI가 디스플레이되는 영역을 결정하며, 결정된 영역에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 학습될 수 있다. In the disclosed embodiment, the
개시된 실시예에서, 전술한 i) 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 관한 정보를 획득하는 동작, ii) 획득된 적어도 하나의 정보에 기초하여, 탑승자로부터 수신되는 음성 입력에 의해 상기 차량 또는 상기 전자 장치가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성하는 동작, 및 iii) 생성된 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 동작 중 적어도 하나를 수행하는 신경망(150)과 관련된 데이터 또는 프로그램 코드는 메모리(1300, 도 2 참조)에 저장되고, 신경망(150)을 이용하는 학습은 프로세서(1200, 도 2 참조)에 의해 수행될 수 있다. In the disclosed embodiment, the aforementioned i) operation of obtaining information on at least one of vehicle driving information, occupant information, and display output information, ii) voice input received from a passenger based on the obtained at least one information An operation of generating at least one shortened command that is a simplified version of voice commands for executing at least one function provided by the vehicle or the electronic device, and iii) at least visually representing each of the generated at least one shortened command. Data or program code related to the
또는, 전술한 i) 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 관한 정보를 획득하는 동작, ii) 획득된 적어도 하나의 정보에 기초하여, 탑승자로부터 수신되는 음성 입력에 의해 상기 차량 또는 상기 전자 장치가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성하는 동작, 및 iii) 생성된 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 동작 중 적어도 하나를 수행하는 신경망(150)은 전자 장치(1000)와 구별된 별도의 디바이스(미도시) 또는 프로세서(미도시) 내에 구현될 수 있다. Alternatively, the operation of acquiring information on at least one of the above-described i) vehicle driving information, occupant information, and display output information, ii) based on the obtained at least one information, by a voice input received from the occupant; An operation of generating at least one short command that is a simplified version of voice commands for executing at least one function provided by the vehicle or the electronic device, and iii) at least one voice that visually indicates each of the generated at least one short command. The
전술한 신경망(150)을 통한 연산은 일 실시예에 따른 전자 장치(1000)와 무선 통신 네트워크를 통해 통신할 수 있는 서버(2000, 도 16 및 도 17 참조)에 의해 수행될 수도 있다. 전자 장치(1000)와 서버(2000) 간의 통신은 도 16 및 도 17을 참조하여 설명한다. The above-described calculation through the
도 16은 서버(2000)와 연동하여 동작하는 개시된 실시예에 따른 전자 장치(1000)를 나타내는 도면이다. FIG. 16 is a diagram illustrating an
서버(2000)는 통신 네트워크(3000)를 통하여 전자 장치(1000)와 데이터를 송수신하며 데이터를 처리할 수 있다. The
도 17을 함께 참조하면, 서버(2000)는 전자 장치(1000)와 통신하는 통신부(2100), 적어도 하나의 인스트럭션을 수행하는 프로세서(2200), 및 데이터베이스(2300)를 포함할 수 있다. Referring to FIG. 17 together, the
서버(2000)는 AI 모델을 훈련시키고, 훈련된 AI 모델을 저장하고 있을 수 있다. 그리고, 서버(2000)는 훈련된 AI 모델을 이용하여 전술한 i) 차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나에 관한 정보를 획득하는 동작, ii) 획득된 적어도 하나의 정보에 기초하여, 탑승자로부터 수신되는 음성 입력에 의해 상기 차량 또는 상기 전자 장치가 제공하는 적어도 하나의 기능을 실행하기 위한 음성 명령어들을 간소화한 적어도 하나의 단축 명령어를 생성하는 동작, 및 iii) 생성된 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 동작 중 적어도 하나를 수행할 수 있다.The
일반적으로, 전자 장치(1000)는 메모리 저장 용량, 연산의 처리 속도, 학습 데이터 셋의 수집 능력 등이 서버(2000)에 비하여 제한적일 수 있다. 따라서, 대용량 데이터의 저장 및 대용량의 연산량이 필요한 동작은 서버(2000)에서 수행한 후, 통신 네트워크를 통하여 필요한 데이터 및/또는 AI 모델을 전자 장치(1000)에 전송할 수 있다. 그러면, 전자 장치(1000)는 대용량의 메모리 및 빠른 연산 능력을 갖는 프로세서 없이도, 서버(2000)를 통하여 필요한 데이터 및/또는 AI 모델을 수신하여 이용함으로써, 빠르고 용이하게 필요한 동작을 수행할 수 있다.In general, the
개시된 실시예에서, 서버(2000)는 도 15에서 설명한 신경망(150)을 포함할 수 있다. In the disclosed embodiment, the
도 17은 도 16을 상세하게 설명하기 위한 도면이다.FIG. 17 is a diagram for explaining FIG. 16 in detail.
도 17을 참조하면, 서버(2000)는 통신부(2100), 프로세서(2200), 및 데이터베이스(2300)를 포함할 수 있다. Referring to FIG. 17 , a
통신부(2100)는 무선 통신 네트워크를 통해서 외부 장치와 통신을 수행한다. 여기서, 외부 장치(미도시)는 전자 장치(1000)가 필요로 하는 연산 중 적어도 하나를 수행하거나, 전자 장치(1000)가 필요로 하는 데이터 등을 송신할 수 있는 서버를 포함할 수 있다. The
통신부(2100)는, 근거리 통신 모듈, 유선 통신 모듈, 이동 통신 모듈, 방송 수신 모듈 등과 같은 적어도 하나의 통신 모듈을 포함한다. 여기서, 적어도 하나의 통신 모듈은 방송 수신을 수행하는 튜너, 블루투스, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), CDMA, WCDMA, 인터넷, 3G, 4G, 5G 및/또는 밀리미터 파(mmwave)를 이용한 통신 방식과 같은 통신 규격을 따르는 네트워크를 통하여 데이터 송수신을 수행할 수 있는 통신 모듈을 의미한다.The
예를 들어, 통신부(2100)가 밀리미터 파(mmWAVE)를 이용하여 통신을 수행하면, 대용량의 데이터를 빠르게 송수신할 수 있다. 구체적으로, 차량은 밀리미터파를 이용하여 대용량의 데이터를 빠르게 수신하고, 차량의 안전에 필요한 데이터(예를 들어, 자율 주행에 필요한 데이터, 네비게이션 서비스를 위해 필요한 데이터 등), 사용자 이용 컨텐츠(예를 들어, 영화, 음악 등) 등을 빠르게 제공함으로써, 차량의 안전성 및/또는 사용자의 편리성을 증가시킬 수 있다. For example, when the
통신부(2100)에 포함되는 이동 통신 모듈은 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 원거리에 위치하는 다른 장치(예를 들어, 전자 장치(1000))와 통신을 수행할 수 있다. 여기서, 원거리에 위치하는 다른 장치와 통신을 수행하는 통신 모듈을 '원거리 통신 모듈'이라 칭할 수 있다. 일 실시예에서, 통신부(2100)는 전자 장치(1000)의 데이터 통신 모듈(1120)와 유선 또는 무선으로 데이터를 송수신할 수 있다. The mobile communication module included in the
프로세서(2200)는 서버(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2200)는, 서버(2000)의 적어도 하나의 인스트럭션(instructions), 및 프로그램들 중 적어도 하나를 실행함으로써, 요구되는 동작들을 수행할 수 있다. The
데이터베이스(2300)는 메모리(미도시)를 포함할 수 있으며, 메모리(미도시) 내에 서버(2000)가 소정 동작을 수행하기 위해서 필요한 적어도 하나의 인스트럭션, 프로그램, 데이터 중 적어도 하나를 저장할 수 있다. 또한, 데이터베이스(2300)는 서버(2000)가 신경망에 따른 연산을 수행하기 위해서 필요한 데이터들을 저장할 수 있다. The
개시된 실시예에서, 서버(2000)는 도 15에서 설명한 신경망(150)을 저장하고 있을 수 있다. 신경망(150)은 프로세서(2200) 및 데이터베이스(2300) 중 적어도 하나에 저장될 수 있다. 서버(2000)가 포함하는 신경망(150)은 학습이 완료된 신경망이 될 수 있다. In the disclosed embodiment, the
또한, 서버(2000)는 학습이 완료된 신경망을 통신부(2100)를 통하여 전자 장치(1000)의 데이터 통신 모듈(1120)로 전송할 수 있다. 그러면, 전자 장치(1000)는 학습이 완료된 신경망을 획득 및 저장하고, 신경망을 통하여 목적하는 출력 데이터를 획득할 수 있다. In addition, the
본 명세서에서 설명된 전자 장치(1000)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다. A program executed by the
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다. Software may be implemented as a computer program including instructions stored in computer-readable storage media. Computer-readable recording media include, for example, magnetic storage media (e.g., read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and optical reading media (e.g., CD-ROM) (CD-ROM) and DVD (Digital Versatile Disc). A computer-readable recording medium may be distributed among computer systems connected through a network, and computer-readable codes may be stored and executed in a distributed manner. The medium may be readable by a computer, stored in a memory, and executed by a processor.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다. A computer-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-temporary' only means that the storage medium does not contain a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily in the storage medium. For example, the 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.In addition, the program according to the embodiments disclosed in this specification may be included in a computer program product and provided. Computer program products may be traded between sellers and buyers as commodities.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 차량 또는 전자 장치(1000)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.A computer program product may include a software program and a computer-readable storage medium in which the software program is stored. For example, a computer program product is a product in the form of a software program (eg, a downloadable application) that is distributed electronically through a manufacturer of an electronic device or an electronic market (eg, Google Play Store, App Store). ) may be included. For electronic distribution, at least a portion of the software program may be stored on a storage medium or may be temporarily created. In this case, the storage medium may be a server of a manufacturer of the vehicle or
컴퓨터 프로그램 제품은, 전자 장치(1000), 서버(2000, 도 16 및 도 17 참조), 및 타 전자 장치로 구성되는 시스템에서, 서버(2000)의 저장매체 또는 전자 장치의 저장매체를 포함할 수 있다. 또는, 전자 장치(1000)와 통신 연결되는 제3 장치(예를 들어, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 전자 장치(1000)로부터 전자 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 전자 장치로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.The computer program product may include a storage medium of the
이 경우, 전자 장치(1000), 전자 장치, 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 전자 장치(1000), 전자 장치, 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.In this case, one of the
예를 들면, 전자 장치(1000)가 메모리(1300, 도 2 참조)에 저장된 컴퓨터 프로그램 제품을 실행하여, 전자 장치(1000)와 통신 연결된 타 전자 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다. For example, the
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 전자 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다. As another example, the third device may execute a computer program product to control an electronic device communicatively connected to the third device to perform the method according to the disclosed embodiment.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 전자 장치(1000)로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드(pre-load)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.When the third device executes the computer program product, the third device may download the computer program product from the
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the methods described, and/or components such as the described computer systems or modules may be combined or combined in a manner different from the methods described, or other components or equivalents. Appropriate results can be achieved even if substituted or substituted by
Claims (20)
디스플레이부;
하나 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리; 및
상기 메모리에 저장된 프로그램의 하나 이상의 명령어들을 실행하는 프로세서;
를 포함하고,
상기 프로세서는,
차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나를 획득하고, 획득된 상기 적어도 하나의 정보에 기초하여 상기 차량 또는 상기 전자 장치가 제공하는 기능을 실행하기 위한 음성 명령어를 간소화한 적어도 하나의 단축 명령어를 생성하고,
상기 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI(User Interface)를 디스플레이하도록 상기 디스플레이부를 제어하는, 전자 장치.
In the electronic device mounted on the vehicle,
display unit;
a memory that stores a program including one or more instructions; and
a processor to execute one or more instructions of a program stored in the memory;
including,
the processor,
At least one obtained by obtaining at least one of vehicle driving information, occupant information, and display output information, and simplifying a voice command for executing a function provided by the vehicle or the electronic device based on the acquired at least one information. create a short command of
An electronic device that controls the display unit to display at least one voice command guide user interface (UI) that visually represents each of the at least one shortcut command.
상기 프로세서는,
탑승자의 사용자 식별 정보(user identification information) 및 사용 이력 정보를 획득하고,
상기 사용자 식별 정보 및 사용 이력 정보로부터 상기 탑승자가 자주 사용하는 애플리케이션 정보를 획득하고,
상기 획득된 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어를 간소화함으로써 상기 적어도 하나의 단축 명령어를 생성하는, 전자 장치.
According to claim 1,
the processor,
Obtain user identification information and usage history information of the occupant;
obtaining application information frequently used by the occupant from the user identification information and usage history information;
The electronic device of generating the at least one shortened command by simplifying a command for executing the function of the acquired frequently used application.
상기 프로세서는,
상기 디스플레이 출력 정보로부터 상기 디스플레이부 상에 출력되는 적어도 하나의 그래픽 UI(GUI)가 나타내는 기능을 인식하고,
상기 인식된 기능을 자연어로 변환함으로써, 상기 적어도 하나의 GUI 각각에 대응되는 상기 적어도 하나의 단축 명령어를 생성하는, 전자 장치.
According to claim 1,
the processor,
recognizing a function indicated by at least one graphic UI (GUI) output on the display unit from the display output information;
The electronic device of generating the at least one shortened command corresponding to each of the at least one GUI by converting the recognized function into a natural language.
상기 프로세서는,
상기 적어도 하나의 음성 명령어 가이드 UI를 상기 적어도 하나의 음성 명령어 가이드 UI 각각에 대응되는 기능을 나타내는 적어도 하나의 그래픽 UI의 인접한 위치에 디스플레이하도록 상기 디스플레이부를 제어하는, 전자 장치.
According to claim 1,
the processor,
Controlling the display unit to display the at least one voice command guide UI at a position adjacent to at least one graphic UI representing a function corresponding to each of the at least one voice command guide UI.
상기 디스플레이부는 상기 차량에 포함되는 탑승석들에 대응하는 복수의 디스플레이들을 포함하고,
상기 프로세서는,
상기 차량에 탑승한 탑승자로부터 음성 인식 기능을 활성화하는 사용자 입력을 수신하고,
상기 사용자 입력에 응답하여 상기 복수의 디스플레이들 중 상기 탑승자가 탑승한 탑승석에 대응하는 디스플레이의 음성 인식 기능을 활성화하고, 상기 디스플레이 상에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 상기 디스플레이부를 제어하는, 전자 장치.
According to claim 1,
The display unit includes a plurality of displays corresponding to occupant seats included in the vehicle,
the processor,
Receiving a user input activating a voice recognition function from a passenger in the vehicle;
In response to the user input, the display unit controls the display unit to activate a voice recognition function of a display corresponding to the boarding seat in which the passenger boarded among the plurality of displays, and to display the at least one voice command guide UI on the display. to do, electronic devices.
상기 프로세서는,
상기 차량 주행 정보에 포함되는 상기 차량의 현재 위치, 주행 도로, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정하고,
상기 차량 주행 정보, 상기 탑승자 정보, 상기 디스플레이 출력 정보, 및 결정된 상기 안전 속도 중 적어도 하나에 기초하여 상기 음성 명령어 가이드 UI의 가중치를 결정하고,
상기 결정된 가중치에 기초하여 상기 음성 명령어 가이드 UI의 표시 여부, 표시 위치, 및 표시 크기를 결정하는, 전자 장치.
According to claim 1,
the processor,
Determine a safe speed based on information about the current location, driving road, and driving speed of the vehicle included in the vehicle driving information;
determining a weight of the voice command guide UI based on at least one of the vehicle driving information, the occupant information, the display output information, and the determined safe speed;
The electronic device determining whether to display the voice command guide UI, a display position, and a display size based on the determined weight.
상기 프로세서는,
상기 차량의 주행 정보로부터 차량의 주행 속도가 상기 안전 속도 이상인지 여부를 인식하고,
상기 차량의 주행 속도의 인식 결과에 기초하여, 상기 차량의 주행과 관련되는 기능을 실행하기 위한 적어도 하나의 제1 음성 명령어 가이드 UI의 가중치 및 상기 차량의 주행과 관련되지 않는 편의 기능을 실행하기 위한 적어도 하나의 제2 음성 명령어 가이드 UI의 가중치를 조절하는, 전자 장치.
According to claim 6,
the processor,
Recognizing whether the driving speed of the vehicle is equal to or greater than the safe speed from the driving information of the vehicle;
Based on the recognition result of the driving speed of the vehicle, weights of at least one first voice command guide UI for executing functions related to driving of the vehicle and convenience functions not related to driving of the vehicle. An electronic device that adjusts a weight of at least one second voice command guide UI.
상기 프로세서는,
상기 디스플레이부 상에 디스플레이되는 그래픽 UI를 오버레이하는 팝 업 메시지(pop-up message)가 출력되는 경우, 상기 팝 업 메시지를 상기 디스플레이부 상에서 제거하기 위한 기능을 실행하는 음성 명령어 가이드 UI의 가중치를 조절하는, 전자 장치.
According to claim 6,
the processor,
When a pop-up message overlaying the graphic UI displayed on the display unit is output, the weight of the voice command guide UI that executes a function for removing the pop-up message on the display unit is adjusted. to do, electronic devices.
상기 프로세서는,
탑승자의 위치와 상기 디스플레이부 사이의 거리에 기초하여, 상기 디스플레이부 상에서 상기 적어도 하나의 음성 명령어 가이드 UI가 디스플레이되는 영역을 결정하고,
상기 결정된 영역에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하도록 상기 디스플레이부를 제어하는, 전자 장치.
According to claim 1,
the processor,
determining an area in which the at least one voice command guide UI is displayed on the display unit based on a distance between the occupant's position and the display unit;
Controlling the display unit to display the at least one voice command guide UI in the determined area.
탑승자에 의해 발화된 음성 입력을 수신하는 마이크로폰;
을 더 포함하고,
상기 프로세서는,
상기 마이크로폰을 통해 수신된 음성 입력과 상기 적어도 하나의 음성 명령어 가이드 UI가 나타내는 상기 적어도 하나의 단축 명령어를 비교함으로써, 상기 음성 입력과 대응되는 단축 명령어를 식별하고,
상기 식별된 단축 명령어에 대응되는 기능을 실행하는, 전자 장치.
According to claim 1,
a microphone for receiving a voice input uttered by a passenger;
Including more,
the processor,
Identifying a short command corresponding to the voice input by comparing the voice input received through the microphone with the at least one short command indicated by the at least one voice command guide UI;
An electronic device that executes a function corresponding to the identified short command.
차량의 주행 정보, 탑승자 정보, 및 디스플레이 출력 정보 중 적어도 하나를 획득하는 단계;
상기 획득된 적어도 하나의 정보에 기초하여, 탑승자로부터 수신되는 음성 입력에 의해 상기 차량 또는 상기 전자 장치가 제공하는 기능을 실행하기 위한 음성 명령어를 간소화한 적어도 하나의 단축 명령어를 생성하는 단계; 및
생성된 상기 적어도 하나의 단축 명령어 각각을 시각적으로 나타내는 적어도 하나의 음성 명령어 가이드 UI(User Interface)를 디스플레이하는 단계;
를 포함하는, 방법.
A method of operating an electronic device mounted in a vehicle,
obtaining at least one of vehicle driving information, occupant information, and display output information;
generating at least one shortened command that simplifies a voice command for executing a function provided by the vehicle or the electronic device based on a voice input received from a passenger, based on the at least one piece of information obtained; and
Displaying at least one voice command guide user interface (UI) that visually indicates each of the generated at least one short command;
Including, method.
상기 적어도 하나의 정보를 획득하는 단계는,
탑승자의 사용자 식별 정보(user identification information) 및 사용 이력 정보를 획득하는 단계; 및
상기 사용자 식별 정보 및 사용 이력 정보로부터 상기 탑승자가 자주 사용하는 애플리케이션 정보를 획득하는 단계; 를 포함하고,
상기 적어도 하나의 단축 명령어를 생성하는 단계는,
상기 획득된 자주 사용하는 애플리케이션의 기능을 실행하기 위한 명령어를 간소화함으로써 상기 적어도 하나의 단축 명령어를 생성하는, 방법.
According to claim 11,
Obtaining the at least one piece of information,
acquiring user identification information and usage history information of the occupant; and
obtaining application information frequently used by the occupant from the user identification information and usage history information; including,
Generating the at least one shortened command,
The method of generating the at least one shortened command by simplifying a command for executing a function of the obtained frequently used application.
상기 적어도 하나의 정보를 획득하는 단계는,
디스플레이부 상에 출력되는 적어도 하나의 그래픽 UI(GUI)가 나타내는 기능을 인식하는 단계를 포함하고,
상기 적어도 하나의 단축 명령어를 생성하는 단계는,
상기 인식된 기능을 자연어로 변환함으로써, 상기 적어도 하나의 GUI 각각에 대응되는 상기 적어도 하나의 단축 명령어를 생성하는, 방법.
According to claim 11,
Obtaining the at least one piece of information,
Recognizing a function indicated by at least one graphic UI (GUI) output on a display unit,
Generating the at least one shortened command,
Generating the at least one shortcut command corresponding to each of the at least one GUI by converting the recognized function into a natural language.
상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계는,
상기 적어도 하나의 음성 명령어 가이드 UI를 상기 적어도 하나의 음성 명령어 가이드 UI 각각에 대응되는 기능을 나타내는 적어도 하나의 그래픽 UI의 인접한 위치에 각각 디스플레이하는, 방법.
According to claim 11,
The step of displaying the at least one voice command guide UI,
Displaying the at least one voice command guide UI at a location adjacent to at least one graphic UI representing a function corresponding to each of the at least one voice command guide UI.
상기 전자 장치는 상기 차량에 포함되는 운전석, 조수석, 및 뒷좌석 각각에 대응되는 복수의 디스플레이들을 포함하고,
상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계는,
상기 운전석, 조수석, 및 뒷좌석 중 적어도 하나에 탑승한 탑승자로부터 음성 인식 기능을 활성화하는 사용자 입력을 수신하는 단계;
상기 사용자 입력에 응답하여, 상기 복수의 디스플레이들 중 상기 운전석, 조수석, 및 뒷좌석 중 상기 탑승자가 탑승한 탑승석에 대응되는 디스플레이의 음성 인식 기능을 활성화하는 단계; 및
상기 디스플레이 상에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계;
를 포함하는, 방법.
According to claim 11,
The electronic device includes a plurality of displays corresponding to each of a driver's seat, a front passenger's seat, and a rear seat included in the vehicle;
The step of displaying the at least one voice command guide UI,
receiving a user input activating a voice recognition function from a passenger sitting in at least one of the driver's seat, the front passenger's seat, and the rear seat;
In response to the user input, activating a voice recognition function of a display corresponding to a boarding seat of the driver's seat, a front passenger's seat, and a rear seat among the plurality of displays; and
displaying the at least one voice command guide UI on the display;
Including, method.
상기 차량 주행 정보에 포함되는 상기 차량의 현재 위치, 주행 도로, 및 주행 속도에 관한 정보에 기초하여 안전 속도를 결정하는 단계; 를 더 포함하고,
상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계는,
상기 차량 주행 정보, 상기 탑승자 정보, 상기 디스플레이 출력 정보, 및 결정된 상기 안전 속도 중 적어도 하나에 기초하여 상기 적어도 하나의 음성 명령어 가이드 UI 각각의 가중치를 결정하는 단계;
상기 결정된 가중치에 기초하여 상기 적어도 하나의 음성 명령어 가이드 UI의 표시 여부, 표시 위치, 및 표시 크기를 결정하는 단계; 및
결정된 개수, 위치, 및 크기에 따라 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계; 를 포함하는, 방법.
According to claim 11,
determining a safe speed based on information about a current location, driving road, and driving speed of the vehicle included in the vehicle driving information; Including more,
The step of displaying the at least one voice command guide UI,
determining a weight of each of the at least one voice command guide UI based on at least one of the vehicle driving information, the occupant information, the display output information, and the determined safe speed;
determining whether to display the at least one voice command guide UI, a display position, and a display size based on the determined weight; and
displaying the at least one voice command guide UI according to the determined number, location, and size; Including, method.
상기 적어도 하나의 정보를 획득하는 단계는,
상기 차량의 주행 정보로부터 차량의 주행 속도가 상기 안전 속도 이상인지 여부를 인식하는 단계를 포함하고,
상기 적어도 하나의 음성 명령어 가이드 UI의 가중치를 결정하는 단계는,
상기 차량의 주행 속도의 인식 결과에 기초하여, 상기 차량의 주행과 관련되는 기능을 실행하기 위한 적어도 하나의 제1 음성 명령어 가이드 UI의 가중치 및 상기 차량의 주행과 관련되지 않는 편의 기능을 실행하기 위한 적어도 하나의 제2 음성 명령어 가이드 UI의 가중치를 조절하는, 방법.
According to claim 16,
Obtaining the at least one piece of information,
Recognizing whether the driving speed of the vehicle is equal to or greater than the safe speed from the driving information of the vehicle;
Determining the weight of the at least one voice command guide UI,
Based on the recognition result of the driving speed of the vehicle, weights of at least one first voice command guide UI for executing functions related to driving of the vehicle and convenience functions not related to driving of the vehicle. A method of adjusting a weight of at least one second voice command guide UI.
상기 적어도 하나의 음성 명령어 가이드 UI의 가중치를 결정하는 단계는,
상기 디스플레이부 상에 디스플레이되는 그래픽 UI를 오버레이하는 팝 업 메시지(pop-up message)가 출력되는 경우, 상기 팝 업 메시지를 상기 디스플레이부 상에서 제거하기 위한 기능을 실행하는 음성 명령어 가이드 UI의 가중치를 조절하는, 방법.
According to claim 16,
Determining the weight of the at least one voice command guide UI,
When a pop-up message overlaying the graphic UI displayed on the display unit is output, the weight of the voice command guide UI that executes a function for removing the pop-up message on the display unit is adjusted. How to.
상기 적어도 하나의 정보를 획득하는 단계는,
탑승자의 탑승 위치에 관한 정보를 획득하는 단계를 포함하고,
상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계는,
상기 탑승자의 탑승 위치 정보에 따른 상기 탑승자와 상기 디스플레이부 사이의 거리에 기초하여, 상기 디스플레이부 상에서 상기 적어도 하나의 음성 명령어 가이드 UI가 디스플레이되는 영역을 결정하는 단계; 및
상기 결정된 영역에 상기 적어도 하나의 음성 명령어 가이드 UI를 디스플레이하는 단계;
를 포함하는, 방법.
According to claim 11,
Obtaining the at least one piece of information,
Obtaining information about the boarding position of the passenger,
The step of displaying the at least one voice command guide UI,
determining an area where the at least one voice command guide UI is displayed on the display unit based on a distance between the passenger and the display unit according to information on the boarding position of the passenger; and
displaying the at least one voice command guide UI in the determined area;
Including, method.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210083184A KR20230001056A (en) | 2021-06-25 | 2021-06-25 | The electronic device mounted on vehicle and the method operating the same |
PCT/KR2022/005406 WO2022270731A1 (en) | 2021-06-25 | 2022-04-14 | Electronic device mounted in vehicle and operating method therefor |
US17/748,128 US20220415321A1 (en) | 2021-06-25 | 2022-05-19 | Electronic device mounted in vehicle, and method of operating the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210083184A KR20230001056A (en) | 2021-06-25 | 2021-06-25 | The electronic device mounted on vehicle and the method operating the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230001056A true KR20230001056A (en) | 2023-01-04 |
Family
ID=84545532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210083184A KR20230001056A (en) | 2021-06-25 | 2021-06-25 | The electronic device mounted on vehicle and the method operating the same |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20230001056A (en) |
WO (1) | WO2022270731A1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101860731B1 (en) * | 2016-02-26 | 2018-05-24 | 자동차부품연구원 | Gesture Recognition Interface Device For Vehicle |
KR102036606B1 (en) * | 2016-08-30 | 2019-10-28 | 자동차부품연구원 | System and method for provision of head up display information according to driver's condition and driving condition based on speech recognition |
KR102343084B1 (en) * | 2017-03-27 | 2021-12-27 | 삼성전자주식회사 | Electronic device and method for executing function of electronic device |
KR102305850B1 (en) * | 2019-08-30 | 2021-09-28 | 엘지전자 주식회사 | Method for separating speech based on artificial intelligence in vehicle and device of the same |
KR20210059860A (en) * | 2019-11-15 | 2021-05-26 | 엘지전자 주식회사 | Apparatus and method for controlling the user experience of a vehicle |
-
2021
- 2021-06-25 KR KR1020210083184A patent/KR20230001056A/en unknown
-
2022
- 2022-04-14 WO PCT/KR2022/005406 patent/WO2022270731A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022270731A1 (en) | 2022-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102338990B1 (en) | Dialogue processing apparatus, vehicle having the same and dialogue processing method | |
US10847150B2 (en) | Dialogue system, vehicle having the same and dialogue service processing method | |
US11211033B2 (en) | Agent device, method of controlling agent device, and storage medium for providing service based on vehicle occupant speech | |
US20220415321A1 (en) | Electronic device mounted in vehicle, and method of operating the same | |
US9928833B2 (en) | Voice interface for a vehicle | |
JP2008058409A (en) | Speech recognizing method and speech recognizing device | |
US20150226570A1 (en) | Navigation device | |
US20160216129A1 (en) | Server for navigation, navigation system, and navigation method | |
US20190228767A1 (en) | Speech recognition apparatus and method of controlling the same | |
KR20200042127A (en) | Dialogue processing apparatus, vehicle having the same and dialogue processing method | |
US20200286479A1 (en) | Agent device, method for controlling agent device, and storage medium | |
US20230315997A9 (en) | Dialogue system, a vehicle having the same, and a method of controlling a dialogue system | |
KR102487669B1 (en) | Dialogue processing apparatus, vehicle having the same and dialogue processing method | |
US11325605B2 (en) | Information providing device, information providing method, and storage medium | |
US11966664B2 (en) | Terminal and vehicle | |
JP2018141742A (en) | Navigation device, navigation method, and navigation program | |
Nakrani | Smart car technologies: a comprehensive study of the state of the art with analysis and trends | |
KR20230001056A (en) | The electronic device mounted on vehicle and the method operating the same | |
US20210303263A1 (en) | Dialogue system and vehicle having the same, and method of controlling dialogue system | |
KR102036606B1 (en) | System and method for provision of head up display information according to driver's condition and driving condition based on speech recognition | |
KR20220130952A (en) | Apparatus for generating emojies, vehicle and method for generating emojies | |
KR101741665B1 (en) | User interface apparatus and vehicle comprising the same, control method for the user interface apparatus | |
JP2021089360A (en) | Agent device, agent method and program | |
US20240210197A1 (en) | requesting and receiving reminder instructions in a navigation session | |
US20240240955A1 (en) | Ad-hoc navigation instructions |