WO2023191210A1 - 소리 제어 장치를 구비하는 차량 - Google Patents

소리 제어 장치를 구비하는 차량 Download PDF

Info

Publication number
WO2023191210A1
WO2023191210A1 PCT/KR2022/015411 KR2022015411W WO2023191210A1 WO 2023191210 A1 WO2023191210 A1 WO 2023191210A1 KR 2022015411 W KR2022015411 W KR 2022015411W WO 2023191210 A1 WO2023191210 A1 WO 2023191210A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
vehicle
audio
control device
volume
Prior art date
Application number
PCT/KR2022/015411
Other languages
English (en)
French (fr)
Inventor
김기현
김동환
김중항
최성환
김종건
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2023191210A1 publication Critical patent/WO2023191210A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Definitions

  • the present invention relates to a vehicle equipped with a sound control device.
  • a vehicle is a device that moves the user in the desired direction.
  • a representative example is a car.
  • ADAS Advanced Driver Assistance Systems
  • autonomous vehicles autonomous Vehicles
  • conventional technologies are limited to simply determining a dangerous situation based on sounds generated around the vehicle and outputting an external warning sound accordingly in the direction from which the sounds were generated.
  • the embodiment of the present invention aims to provide a vehicle equipped with a sound control device capable of outputting optimal audio suitable for the situation.
  • the purpose of the present invention is to provide a user interface that allows extracting audio signals for each object and adjusting the audio object according to the situation.
  • the sound control device extracts at least one audio object from an audio signal received from at least one of an outdoor microphone provided outside the vehicle and an indoor microphone provided inside the vehicle. It includes a sound object extraction module and a sound object renderer that renders as an audio function using the audio object signal extracted from the sound object extraction module.
  • the sound object extraction module includes a feature embedding module for extracting a feature vector of an audio object, a feature extraction module for extracting features to be used as input to a deep neural network, and a result value predicted using the features input to the deep neural network. It includes a synthesizer that synthesizes audio signals using .
  • the sound object extraction module further includes a separation model that separates a specific object from the original signal using information extracted from the feature embedding module and input features.
  • the separation model is characterized in that it separates different types of objects according to the type of feature vector input from the feature embedding module.
  • the feature extraction module learns weights of the deep neural network using predefined input data and output data.
  • the feature extraction module extracts features using at least one of a time domain technique and a frequency domain technique.
  • the time domain technique is characterized by extracting features by changing the sampling rate value of the input signal through upsampling or downsampling.
  • the frequency domain technique is characterized by converting a signal in the frequency domain using a short-time Fourier transform (STFT) and extracting features in a frequency band based on human hearing characteristics.
  • STFT short-time Fourier transform
  • the sound object renderer includes a voice normalizer that normalizes the voice to a target size, an auto volume module that normalizes the volume of the original sound signal to the target volume, a voice signal normalized in the voice normalizer, and the auto It is characterized by including a voice mixer that mixes the normalized sound signal in the volume module.
  • the voice normalizer deletes bands unrelated to voice signals, a perceptual weight filter that emphasizes bands containing human voice signals, and extracts data for calculating gain from voice signals for each frequency band.
  • a preprocessing module a power measurement module that measures the average power of the voice over a certain period of time, a gain calculation module that calculates the gain using the measured average power of the voice and the target size of the voice, and a normalized size by multiplying the calculated gain by the voice signal. It is characterized in that it includes a gain application module for acquiring a voice signal.
  • a sound control device includes a sound object extraction module for extracting at least one audio object from an audio signal received from at least one of an outdoor microphone provided outside the vehicle and an indoor microphone provided inside the vehicle;
  • a sound object renderer that renders with an audio function using the audio object signal extracted from the sound object extraction module, a genre recognizer that analyzes the received audio signal to classify the genre and generates a probability value for each genre, and the sound object extraction module It includes a volume measurement unit that measures the size of each extracted audio object and visualizes the size of the measured audio objects, and a volume control unit that applies a different volume to each audio object based on the genre classified by the genre recognizer. do.
  • the volume control unit generates a user interface capable of controlling the volume for each extracted audio object.
  • the audio object includes a voice object, a music object, and a sound effect object.
  • the volume control unit provides a plurality of modes, and in the plurality of modes, the volume of the audio objects is set differently for each mode.
  • the sound object renderer generates sound object context information based on at least one of the direction, properties, and characteristics of the sound for each extracted audio object.
  • the sound volume measurement unit includes a sound object visualization module that generates a graphic object corresponding to the audio object using the sound object context information, and displays the graphic object generated by the sound object visualization module on the vehicle. It is characterized by output to .
  • the volume control unit when the graphic object is selected, the volume control unit generates an audio augmentation scenario for an audio object corresponding to the graphic object.
  • the audio augmentation scenario is formed by setting at least one of an object category, object property, driving function, and type of sound stream to be processed.
  • the volume control unit enhances a sound effect corresponding to the audio enhancement scenario based on the audio enhancement scenario.
  • the volume control unit outputs a visualized graphic object to the display of the vehicle to identify the source of the audio signal when the source of the audio signal is identified in the image received through the camera. do.
  • the volume control unit adjusts the speaker of the vehicle so that the sound is output through a speaker located at a location corresponding to the location of the place of interest when the infotainment included in the vehicle outputs a guide sound or advertisement for a place of interest. It is characterized by control.
  • the volume control unit when the volume control unit detects that the driver of the vehicle is singing to music output from the vehicle, it reduces the vocal sound included in the music, adds a sound effect to the driver's sound, and outputs it through the speaker. It is characterized by:
  • the volume control unit when navigation route guidance is output while music is being played in a vehicle, the volume control unit reduces the vocal sound of the music being played and increases the volume for the navigation route guidance.
  • the volume control unit receives information from the vehicle about whether the vehicle is biased to the left or right in the driving lane, and adjusts the left and right volume of the sound output through the vehicle's speakers based on the direction in which the vehicle is biased. It is characterized by variable balance.
  • the present invention can provide a new sound control device and control method that can recognize, separate, and control sounds inside and outside a vehicle as individual objects.
  • the present invention can provide an intuitive visualized interface that can help users quickly understand the situation and intuitively control it.
  • the present invention can determine sound-related situations inside and outside the vehicle cabin and manage control scenarios by combining various vehicle sensors.
  • the present invention can provide an augmented user experience (UX) different from the existing one through reprocessing and optimization of indoor output sound.
  • the present invention can provide an optimized augmented sound experience by controlling multiple internal and external sounds at the individual object level in a vehicle use environment.
  • FIG. 1 is a diagram showing the exterior of a vehicle according to an embodiment of the present invention.
  • Figure 2 is a diagram of a vehicle according to an embodiment of the present invention viewed from various external angles.
  • 3 and 4 are diagrams showing the interior of a vehicle according to an embodiment of the present invention.
  • Figures 5 and 6 are diagrams referenced for explaining an object according to an embodiment of the present invention.
  • Figure 7 is a block diagram used to describe a vehicle according to an embodiment of the present invention.
  • Figure 8 is a conceptual diagram for explaining the sound control device of the present invention.
  • Figure 9 is a conceptual diagram for explaining the sound object extraction module of the present invention.
  • Figure 10 is a conceptual diagram for explaining the sound object renderer of the present invention.
  • Figure 11 is a conceptual diagram for explaining the voice normalizer of the present invention.
  • 12 and 13 are conceptual diagrams to explain a method for independently controlling separate audio objects according to an embodiment of the present invention.
  • Figure 14 is a conceptual diagram for explaining a sound control device according to another embodiment of the present invention.
  • Figure 15 is a diagram showing an interface for performing control for each audio object of the present invention.
  • Figure 16 is a conceptual diagram illustrating an artificial intelligence-based vehicle augmented sound system according to an embodiment of the present invention.
  • FIG. 17 is a flowchart to explain the data flow of the system seen in FIG. 16.
  • Figures 18, 19, 20, 21, 22, and 23 are conceptual diagrams showing embodiments of the sound control device of the present invention for enhancing sound depending on the situation.
  • the vehicle described in this specification may include a car and a motorcycle. Below, description of vehicles will focus on automobiles.
  • the vehicle described in this specification may be a concept that includes all internal combustion engine vehicles having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side of the vehicle refers to the left side of the vehicle's traveling direction
  • the right side of the vehicle refers to the right side of the vehicle's traveling direction
  • FIG. 1 is a diagram showing the exterior of a vehicle according to an embodiment of the present invention.
  • Figure 2 is a diagram of a vehicle according to an embodiment of the present invention viewed from various external angles.
  • 3 and 4 are diagrams showing the interior of a vehicle according to an embodiment of the present invention.
  • Figure 7 is a block diagram used to describe a vehicle according to an embodiment of the present invention.
  • the vehicle 100 may include wheels rotated by a power source and a steering input device 510 for controlling the moving direction of the vehicle 100.
  • Vehicle 100 may be an autonomous vehicle.
  • the vehicle 100 may be switched to autonomous driving mode or manual mode based on user input.
  • the vehicle 100 may be switched from a manual mode to an autonomous driving mode, or from an autonomous driving mode to a manual mode, based on a user input received through the user interface device 200.
  • the vehicle 100 may be switched to autonomous driving mode or manual mode based on driving situation information.
  • Driving situation information may be generated based on object information provided by the object detection device 300.
  • the vehicle 100 may be switched from manual mode to autonomous driving mode, or from autonomous driving mode to manual mode, based on driving situation information generated by the object detection device 300.
  • the vehicle 100 may be switched from manual mode to autonomous driving mode, or from autonomous driving mode to manual mode, based on driving situation information received through the communication device 400.
  • the vehicle 100 may be switched from manual mode to autonomous driving mode or from autonomous driving mode to manual mode based on information, data, and signals provided from an external device.
  • the autonomous vehicle 100 may be driven based on the driving system 700 .
  • the autonomous vehicle 100 may be driven based on information, data, or signals generated by the driving system 710, the parking system 740, and the parking system 750.
  • the autonomous vehicle 100 may receive user input for driving through the driving control device 500. Based on user input received through the driving control device 500, the vehicle 100 may be driven.
  • the overall length refers to the length from the front to the rear of the vehicle 100
  • the overall width refers to the width of the vehicle 100
  • the overall height refers to the length from the bottom of the wheels to the roof.
  • the overall length direction (L) is the direction that is the standard for measuring the overall length of the vehicle 100
  • the overall width direction (W) is the direction that is the standard for measuring the overall width of the vehicle 100
  • the overall height direction (H) is the direction that is the standard for measuring the overall width of the vehicle 100. It may refer to the direction that serves as the standard for measuring the total height of (100).
  • the vehicle 100 includes a user interface device 200, an object detection device 300, a communication device 400, a driving operation device 500, a vehicle driving device 600, and a navigation system. It may include (700), a navigation system 770, a sensing unit 120, an interface unit 130, a memory 140, a control unit 170, and a power supply unit 190.
  • the vehicle 100 may further include other components in addition to the components described in this specification, or may not include some of the components described.
  • the user interface device 200 is a device for communication between the vehicle 100 and the user.
  • the user interface device 200 may receive user input and provide information generated by the vehicle 100 to the user.
  • the vehicle 100 may implement User Interfaces (UI) or User Experience (UX) through the user interface device 200.
  • UI User Interfaces
  • UX User Experience
  • the user interface device 200 may include an input unit 210, an internal camera 220, a biometric detection unit 230, an output unit 250, and a processor 270.
  • the user interface device 200 may further include other components in addition to the components described, or may not include some of the components described.
  • the input unit 200 is used to receive information from the user, and the data collected by the input unit 120 can be analyzed by the processor 270 and processed as a user's control command.
  • the input unit 200 may be placed inside a vehicle.
  • the input unit 200 is an area of the steering wheel, an area of the instrument panel, an area of the seat, an area of each pillar, and a door.
  • the input unit 200 may include a voice input unit 211, a gesture input unit 212, a touch input unit 213, and a mechanical input unit 214.
  • the voice input unit 211 can convert the user's voice input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the voice input unit 211 may include one or more microphones.
  • the gesture input unit 212 can convert the user's gesture input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the gesture input unit 212 may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input.
  • the gesture input unit 212 may detect a user's 3D gesture input.
  • the gesture input unit 212 may include a light output unit that outputs a plurality of infrared lights or a plurality of image sensors.
  • the gesture input unit 212 may detect the user's 3D gesture input through a time of flight (TOF) method, a structured light method, or a disparity method.
  • TOF time of flight
  • the touch input unit 213 can convert the user's touch input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the control unit 170.
  • the touch input unit 213 may include a touch sensor for detecting a user's touch input.
  • the touch input unit 213 may be formed integrally with the display unit 251 to implement a touch screen.
  • This touch screen can provide both an input interface and an output interface between the vehicle 100 and the user.
  • the mechanical input unit 214 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the electrical signal generated by the mechanical input unit 214 may be provided to the processor 270 or the control unit 170.
  • the mechanical input unit 214 may be placed on a steering wheel, center fascia, center console, cockpit module, door, etc.
  • the internal camera 220 can acquire images inside the vehicle.
  • the processor 270 may detect the user's state based on the image inside the vehicle.
  • the processor 270 may obtain the user's gaze information from the image inside the vehicle.
  • the processor 270 may detect a user's gesture from an image inside the vehicle.
  • the biometric detection unit 230 can acquire the user's biometric information.
  • the biometric detection unit 230 includes a sensor that can acquire the user's biometric information, and can obtain the user's fingerprint information, heart rate information, etc. using the sensor. Biometric information can be used for user authentication.
  • the output unit 250 is for generating output related to vision, hearing, or tactile sensation.
  • the output unit 250 may include at least one of a display unit 251, an audio output unit 252, and a haptic output unit 253.
  • the display unit 251 can display graphic objects corresponding to various information.
  • the display unit 251 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. It may include at least one of a display, a 3D display, and an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display It may include at least one of a display, a 3D display, and an e-ink display.
  • the display unit 251 and the touch input unit 213 may form a layered structure or be formed as one piece, thereby implementing a touch screen.
  • the display unit 251 may be implemented as a Head Up Display (HUD).
  • HUD Head Up Display
  • the display unit 251 is equipped with a projection module and can output information through an image projected on a windshield or window.
  • the display unit 251 may include a transparent display.
  • the transparent display can be attached to a windshield or window.
  • a transparent display can display a certain screen while having a certain transparency.
  • transparent displays include transparent TFEL (Thin Film Elecroluminescent), transparent OLED (Organic Light-Emitting Diode), transparent LCD (Liquid Crystal Display), transparent transparent display, and transparent LED (Light Emitting Diode) display. It may include at least one of: The transparency of a transparent display can be adjusted.
  • the user interface device 200 may include a plurality of display units 251a to 251g.
  • the display unit 251 includes one area of the steering wheel, one area of the instrument panel (521a, 251b, 251e), one area of the seat (251d), one area of each pillar (251f), and one area of the door ( 251g), may be placed in an area of the center console, an area of the headlining, or an area of the sun visor, or may be implemented in an area of the windshield (251c) or an area of the window (251h).
  • the audio output unit 252 converts the electrical signal provided from the processor 270 or the control unit 170 into an audio signal and outputs it. To this end, the sound output unit 252 may include one or more speakers.
  • the haptic output unit 253 generates a tactile output.
  • the haptic output unit 253 may operate to vibrate the steering wheel, seat belt, and seats 110FL, 110FR, 110RL, and 110RR so that the user can perceive the output.
  • the processor 270 may control the overall operation of each unit of the user interface device 200.
  • the user interface device 200 may include a plurality of processors 270 or may not include the processor 270.
  • the user interface device 200 may be operated under the control of the processor 170 or a processor of another device in the vehicle 100.
  • the user interface device 200 may be called a vehicle display device.
  • the user interface device 200 may be operated under the control of the control unit 170.
  • the object detection device 300 is a device for detecting objects located outside the vehicle 100.
  • Objects may be various objects related to the operation of the vehicle 100.
  • the object O is a lane (OB10), another vehicle (OB11), a pedestrian (OB12), a two-wheeled vehicle (OB13), a traffic signal (OB14, OB15), light, a road, a structure, Can include speed bumps, landmarks, animals, etc.
  • Lane OB10 may be a driving lane, a lane next to a driving lane, or a lane in which an oncoming vehicle travels. Lane OB10 may be a concept that includes left and right lines forming a lane.
  • the other vehicle OB11 may be a vehicle running around the vehicle 100 .
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 100.
  • the other vehicle OB11 may be a vehicle that precedes or follows the vehicle 100.
  • the pedestrian OB12 may be a person located around the vehicle 100.
  • the pedestrian OB12 may be a person located within a predetermined distance from the vehicle 100.
  • a pedestrian OB12 may be a person located on a sidewalk or roadway.
  • the two-wheeled vehicle OB12 may refer to a vehicle located around the vehicle 100 and moving using two wheels.
  • the two-wheeled vehicle OB12 may be a vehicle with two wheels located within a predetermined distance from the vehicle 100.
  • the two-wheeled vehicle OB13 may be a motorcycle or bicycle located on a sidewalk or roadway.
  • Traffic signals may include traffic lights (OB15), traffic signs (OB14), and patterns or text drawn on the road surface.
  • the light may be light generated from a lamp provided in another vehicle.
  • the light can be the light generated from street lights.
  • the light may be sunlight.
  • a road may include a road surface, a curve, a slope such as uphill or downhill, etc.
  • the structure may be an object located near the road and fixed to the ground.
  • structures may include streetlights, trees, buildings, electric poles, traffic lights, and bridges.
  • Landforms may include mountains, hills, etc.
  • objects can be classified into moving objects and fixed objects.
  • a moving object may be a concept that includes other vehicles and pedestrians.
  • a fixed object may be a concept including a traffic signal, road, or structure.
  • the object detection device 300 may include a camera 310, radar 320, lidar 330, ultrasonic sensor 340, infrared sensor 350, and processor 370.
  • the object detection apparatus 300 may further include other components in addition to the components described, or may not include some of the components described.
  • the camera 310 may be located at an appropriate location outside the vehicle to obtain images of the exterior of the vehicle.
  • the camera 310 may be a mono camera, a stereo camera 310a, an Around View Monitoring (AVM) camera 310b, or a 360-degree camera.
  • AVM Around View Monitoring
  • camera 310 may be placed close to the front windshield, inside the vehicle, to obtain an image of the front of the vehicle.
  • the camera 310 may be placed around the front bumper or radiator grill.
  • the camera 310 may be placed close to the rear windshield in the interior of the vehicle to obtain an image of the rear of the vehicle.
  • the camera 310 may be placed around the rear bumper, trunk, or tailgate.
  • the camera 310 may be placed close to at least one of the side windows inside the vehicle to obtain an image of the side of the vehicle.
  • the camera 310 may be placed around a side mirror, fender, or door.
  • the camera 310 may provide the acquired image to the processor 370.
  • Radar 320 may include an electromagnetic wave transmitting unit and a receiving unit.
  • the radar 320 may be implemented as a pulse radar or continuous wave radar based on the principle of transmitting radio waves.
  • the radar 320 may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method depending on the signal waveform among the continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar 320 detects an object using electromagnetic waves based on a Time of Flight (TOF) method or a phase-shift method, and determines the location of the detected object, the distance to the detected object, and the relative speed. can be detected.
  • TOF Time of Flight
  • phase-shift method determines the location of the detected object, the distance to the detected object, and the relative speed. can be detected.
  • the radar 320 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • LiDAR 330 may include a laser transmitter and a receiver. LiDAR 330 may be implemented in a time of flight (TOF) method or a phase-shift method.
  • TOF time of flight
  • LiDAR 330 may be implemented as a driven or non-driven type.
  • the LIDAR 330 When implemented in a driven manner, the LIDAR 330 is rotated by a motor and can detect objects around the vehicle 100.
  • the LIDAR 330 can detect objects located within a predetermined range based on the vehicle 100 through optical steering.
  • the vehicle 100 may include a plurality of non-driven LIDARs 330.
  • the LIDAR 330 detects an object via laser light based on a time of flight (TOF) method or a phase-shift method, and determines the location of the detected object, the distance to the detected object, and Relative speed can be detected.
  • TOF time of flight
  • phase-shift method determines the location of the detected object, the distance to the detected object, and Relative speed can be detected.
  • Lidar 330 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the ultrasonic sensor 340 may include an ultrasonic transmitter and a receiver.
  • the ultrasonic sensor 340 can detect an object based on ultrasonic waves and detect the location of the detected object, the distance to the detected object, and the relative speed.
  • the ultrasonic sensor 340 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the infrared sensor 350 may include an infrared transmitter and a receiver.
  • the infrared sensor 340 can detect an object based on infrared light, and detect the location of the detected object, the distance to the detected object, and the relative speed.
  • the infrared sensor 350 may be placed at an appropriate location outside the vehicle to detect objects located in front, behind, or on the sides of the vehicle.
  • the processor 370 may control the overall operation of each unit of the object detection device 300.
  • the processor 370 can detect and track an object based on the acquired image.
  • the processor 370 can perform operations such as calculating a distance to an object and calculating a relative speed to an object through an image processing algorithm.
  • the processor 370 can detect and track an object based on reflected electromagnetic waves that are transmitted when the electromagnetic waves are reflected by the object and returned.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed to an object, based on electromagnetic waves.
  • the processor 370 may detect and track an object based on reflected laser light that is returned after the transmitted laser is reflected by the object.
  • the processor 370 may perform operations such as calculating the distance to the object and calculating the relative speed to the object, based on the laser light.
  • the processor 370 may detect and track an object based on reflected ultrasonic waves in which the transmitted ultrasonic waves are reflected by the object and returned.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed to an object based on ultrasonic waves.
  • the processor 370 may detect and track an object based on the reflected infrared light that is returned after the transmitted infrared light is reflected by the object.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed to an object based on infrared light.
  • the object detection apparatus 300 may include a plurality of processors 370 or may not include the processor 370.
  • the camera 310, radar 320, lidar 330, ultrasonic sensor 340, and infrared sensor 350 may each individually include a processor.
  • the object detection device 300 may be operated under the control of the processor or control unit 170 of the device in the vehicle 100.
  • the object detection device 400 may be operated under the control of the control unit 170.
  • the communication device 400 is a device for communicating with an external device.
  • the external device may be another vehicle, mobile terminal, or server.
  • the communication device 400 may include at least one of a transmitting antenna, a receiving antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF radio frequency
  • the communication device 400 may include a short-range communication unit 410, a location information unit 420, a V2X communication unit 430, an optical communication unit 440, a broadcast transceiver 450, and a processor 470.
  • the communication device 400 may further include other components in addition to the components described, or may not include some of the components described.
  • the short-range communication unit 410 is a unit for short-range communication.
  • the short-range communication unit 410 includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), and Wi-Fi (Wireless).
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee Ultra Wideband
  • NFC Near Field Communication
  • Wi-Fi Wireless
  • -Fidelity Wi-Fi Direct
  • Wireless USB Wireless Universal Serial Bus
  • the short-range communication unit 410 may form a wireless area network and perform short-range communication between the vehicle 100 and at least one external device.
  • the location information unit 420 is a unit for acquiring location information of the vehicle 100.
  • the location information unit 420 may include a Global Positioning System (GPS) module or a Differential Global Positioning System (DGPS) module.
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the V2X communication unit 430 is a unit for performing wireless communication with a server (V2I: Vehicle to Infra), another vehicle (V2V: Vehicle to Vehicle), or a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit 430 may include an RF circuit capable of implementing communication with infrastructure (V2I), communication between vehicles (V2V), and communication with pedestrians (V2P) protocols.
  • the optical communication unit 440 is a unit for communicating with an external device through light.
  • the optical communication unit 440 may include an optical transmitter that converts an electrical signal into an optical signal and transmits it to the outside, and an optical receiver that converts the received optical signal into an electrical signal.
  • the light emitting unit may be formed to be integrated with the lamp included in the vehicle 100.
  • the broadcast transceiver 450 is a unit for receiving a broadcast signal from an external broadcast management server through a broadcast channel or transmitting a broadcast signal to the broadcast management server.
  • Broadcast channels may include satellite channels and terrestrial channels.
  • Broadcast signals may include TV broadcast signals, radio broadcast signals, and data broadcast signals.
  • the processor 470 may control the overall operation of each unit of the communication device 400.
  • the communication device 400 may include a plurality of processors 470 or may not include the processor 470.
  • the communication device 400 may be operated under the control of the processor 170 or a processor of another device in the vehicle 100.
  • the communication device 400 may implement a vehicle display device together with the user interface device 200.
  • the vehicle display device may be called a telematics device or an AVN (Audio Video Navigation) device.
  • the communication device 400 may be operated under the control of the control unit 170.
  • the driving control device 500 is a device that receives user input for driving.
  • the vehicle 100 may be operated based on signals provided by the driving control device 500.
  • the driving control device 500 may include a steering input device 510, an acceleration input device 530, and a brake input device 570.
  • the steering input device 510 may receive an input of the direction of travel of the vehicle 100 from the user.
  • the steering input device 510 is preferably formed in a wheel shape to enable steering input by rotation.
  • the steering input device may be formed in the form of a touch screen, touch pad, or button.
  • the acceleration input device 530 may receive an input for acceleration of the vehicle 100 from the user.
  • the brake input device 570 may receive an input for decelerating the vehicle 100 from the user.
  • the acceleration input device 530 and the brake input device 570 are preferably formed in the form of pedals. Depending on the embodiment, the acceleration input device or the brake input device may be formed in the form of a touch screen, touch pad, or button.
  • the driving control device 500 may be operated under the control of the control unit 170.
  • the vehicle driving device 600 is a device that electrically controls the operation of various devices in the vehicle 100.
  • the vehicle driving device 600 may include a power train driving unit 610, a chassis driving unit 620, a door/window driving unit 630, a safety device driving unit 640, a lamp driving unit 650, and an air conditioning driving unit 660. You can.
  • the vehicle driving device 600 may further include other components in addition to the components described, or may not include some of the components described.
  • the vehicle driving device 600 may include a processor. Each unit of the vehicle driving device 600 may individually include a processor.
  • the power train driver 610 can control the operation of the power train device.
  • the power train driving unit 610 may include a power source driving unit 611 and a transmission driving unit 612.
  • the power source driver 611 may control the power source of the vehicle 100.
  • the power source driver 610 may perform electronic control of the engine. Thereby, the output torque of the engine, etc. can be controlled.
  • the power source driving unit 611 can adjust the engine output torque according to the control of the control unit 170.
  • the power source driver 610 may control the motor.
  • the power source driving unit 610 can adjust the rotational speed and torque of the motor according to the control of the control unit 170.
  • the transmission drive unit 612 can control the transmission.
  • the transmission drive unit 612 can adjust the state of the transmission.
  • the transmission drive unit 612 can adjust the state of the transmission to forward (D), reverse (R), neutral (N), or park (P).
  • the transmission drive unit 612 can adjust the gear engagement state in the forward (D) state.
  • the chassis driver 620 can control the operation of the chassis device.
  • the chassis drive unit 620 may include a steering drive unit 621, a brake drive unit 622, and a suspension drive unit 623.
  • the steering drive unit 621 may perform electronic control of the steering apparatus within the vehicle 100.
  • the steering drive unit 621 can change the moving direction of the vehicle.
  • the brake driver 622 may perform electronic control of the brake apparatus within the vehicle 100. For example, the speed of the vehicle 100 can be reduced by controlling the operation of the brakes disposed on the wheels.
  • the brake driver 622 can individually control each of the plurality of brakes.
  • the brake driver 622 can control braking force applied to a plurality of wheels differently.
  • the suspension drive unit 623 may perform electronic control of the suspension apparatus within the vehicle 100. For example, when the road surface is curved, the suspension drive unit 623 may control the suspension device to reduce vibration of the vehicle 100.
  • the suspension driving unit 623 can individually control each of the plurality of suspensions.
  • the door/window driving unit 630 may perform electronic control of the door apparatus or window apparatus within the vehicle 100.
  • the door/window driving unit 630 may include a door driving unit 631 and a window driving unit 632.
  • the door driver 631 can control the door device.
  • the door driver 631 can control the opening and closing of a plurality of doors included in the vehicle 100.
  • the door driver 631 can control the opening or closing of the trunk or tail gate.
  • the door driver 631 can control the opening or closing of the sunroof.
  • the window driver 632 may perform electronic control of a window apparatus. It is possible to control the opening or closing of a plurality of windows included in the vehicle 100.
  • the safety device driver 640 may perform electronic control of various safety apparatuses in the vehicle 100.
  • the safety device driver 640 may include an airbag driver 641, a seat belt driver 642, and a pedestrian protection device driver 643.
  • the airbag driving unit 641 may perform electronic control of the airbag apparatus within the vehicle 100.
  • the airbag driving unit 641 may control the airbag to be deployed when danger is detected.
  • the seat belt drive unit 642 may perform electronic control of the seat belt appartus in the vehicle 100. For example, when danger is detected, the seat belt drive unit 642 can control the passenger to be fixed to the seat (110FL, 110FR, 110RL, 110RR) using the seat belt.
  • the pedestrian protection device driving unit 643 may perform electronic control of the hood lift and pedestrian airbag. For example, the pedestrian protection device driving unit 643 may control the hood to lift up and the pedestrian airbag to deploy when a collision with a pedestrian is detected.
  • the lamp driver 650 may perform electronic control of various lamp apparatuses in the vehicle 100.
  • the air conditioning driver 660 may perform electronic control of the air conditioning device (air cinditioner) in the vehicle 100. For example, when the temperature inside the vehicle is high, the air conditioning driver 660 can control the air conditioning device to operate so that cold air is supplied into the vehicle interior.
  • the air conditioning driver 660 can control the air conditioning device to operate so that cold air is supplied into the vehicle interior.
  • the vehicle driving device 600 may include a processor. Each unit of the vehicle driving device 600 may individually include a processor.
  • the vehicle driving device 600 may be operated under the control of the control unit 170.
  • the operation system 700 is a system that controls various operations of the vehicle 100.
  • the navigation system 700 may be operated in autonomous driving mode.
  • the driving system 700 may include a driving system 710, a parking system 740, and a parking system 750.
  • the navigation system 700 may further include other components in addition to the components described, or may not include some of the components described.
  • the navigation system 700 may include a processor. Each unit of the navigation system 700 may individually include a processor.
  • the navigation system 700 when the navigation system 700 is implemented in software, it may be a sub-concept of the control unit 170.
  • the navigation system 700 includes at least one of the user interface device 200, the object detection device 300, the communication device 400, the vehicle driving device 600, and the control unit 170. It may be an inclusive concept.
  • the driving system 710 can drive the vehicle 100.
  • the driving system 710 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the driving system 710 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the driving system 710 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100.
  • the parking system 740 can remove the vehicle 100.
  • the parking system 740 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 740 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 740 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving device 600 to remove the vehicle 100.
  • the parking system 750 can park the vehicle 100.
  • the parking system 750 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to park the vehicle 100.
  • the parking system 750 may receive object information from the object detection device 300 and provide a control signal to the vehicle driving device 600 to park the vehicle 100.
  • the parking system 750 may park the vehicle 100 by receiving a signal from an external device through the communication device 400 and providing a control signal to the vehicle driving device 600.
  • the navigation system 770 may provide navigation information.
  • Navigation information may include at least one of map information, set destination information, route information according to the set destination, information on various objects on the route, lane information, and current location information of the vehicle.
  • the navigation system 770 may include memory and a processor.
  • the memory can store navigation information.
  • the processor may control the operation of the navigation system 770.
  • the navigation system 770 may receive information from an external device through the communication device 400 and update pre-stored information.
  • the navigation system 770 may be classified as a sub-component of the user interface device 200.
  • the sensing unit 120 can sense the status of the vehicle.
  • the sensing unit 120 includes a posture sensor (e.g., yaw sensor, roll sensor, pitch sensor), collision sensor, wheel sensor, speed sensor, and inclination sensor.
  • Sensor weight sensor, heading sensor, yaw sensor, gyro sensor, position module, vehicle forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering wheel It may include a rotational steering sensor, vehicle interior temperature sensor, vehicle interior humidity sensor, ultrasonic sensor, illuminance sensor, accelerator pedal position sensor, brake pedal position sensor, etc.
  • the sensing unit 120 includes vehicle posture information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward/backward information, and battery. Obtain sensing signals for information, fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, vehicle exterior illumination, pressure applied to the accelerator pedal, pressure applied to the brake pedal, etc. can do.
  • the sensing unit 120 includes an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake temperature sensor (ATS), a water temperature sensor (WTS), and a throttle position sensor. (TPS), TDC sensor, crank angle sensor (CAS), etc. may be further included.
  • the interface unit 130 may serve as a passageway for various types of external devices connected to the vehicle 100.
  • the interface unit 130 may have a port that can be connected to a mobile terminal, and can be connected to a mobile terminal through the port. In this case, the interface unit 130 can exchange data with the mobile terminal.
  • the interface unit 130 may serve as a path for supplying electrical energy to a connected mobile terminal.
  • the interface unit 130 may provide electrical energy supplied from the power supply unit 190 to the mobile terminal under the control of the control unit 170.
  • the memory 140 is electrically connected to the control unit 170.
  • the memory 140 can store basic data for the unit, control data for controlling the operation of the unit, and input/output data.
  • the memory 140 may be a variety of storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc.
  • the memory 140 may store various data for the overall operation of the vehicle 100, such as programs for processing or controlling the control unit 170.
  • the memory 140 may be formed integrally with the control unit 170 or may be implemented as a sub-component of the control unit 170.
  • the control unit 170 may control the overall operation of each unit within the vehicle 100.
  • the control unit 170 may be named ECU (Electronic Control Unit).
  • the power supply unit 190 may supply power required for the operation of each component under the control of the control unit 170.
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • processors and control units 170 included in the vehicle 100 include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and FPGAs ( It may be implemented using at least one of field programmable gate arrays, processors, controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • the vehicle 100 related to the present invention may include a sound control device 800.
  • the sound control device 800 is capable of controlling at least one of the components described in FIG. 7 . From this perspective, the sound control device 800 may be the control unit 170.
  • the sound control device 800 may be a separate configuration independent of the control unit 170.
  • the sound control device 800 may be provided in a portion of the vehicle 100.
  • the sound control device 800 described in this specification may include all types of devices capable of controlling a vehicle, and may be, for example, a mobile terminal.
  • the sound control device 800 is a mobile terminal
  • the mobile terminal and the vehicle 100 may be connected to communicate through wired/wireless communication.
  • the mobile terminal can control the vehicle 100 in various ways while connected to communication.
  • the processor 870 described in this specification may be a control unit of the mobile terminal.
  • the sound control device 800 will be described as a separate component independent from the control unit 170.
  • the functions (operations) and control methods described in this specification for the sound control device 800 may be performed by the control unit 170 of the vehicle. In other words, all contents described in relation to the sound control device 800 can be applied in the same/similar way to the control unit 170.
  • the sound control device 800 described in this specification may include some of the components described in FIG. 7 and various components included in the vehicle.
  • the components described in FIG. 7 and various components included in the vehicle will be described with separate names and reference numerals.
  • Figure 8 is a conceptual diagram for explaining the sound control device of the present invention.
  • the sound control device 800 of the present invention extracts at least one audio object from an audio signal received from at least one of an outdoor microphone provided outside the vehicle, an indoor microphone provided inside the vehicle, the outdoor microphone, and the indoor microphone. It may include a sound object extraction module 810 and a sound object renderer 820 that renders as an audio function using the audio object signal extracted from the sound object extraction module.
  • the sound control device 800 includes a sound object visualization module 830 for visualizing the extracted audio object, a sound augmentation scenario management module 840 for managing the audio augmentation scenario, and an output sound enhancement module for augmenting the output sound. It may include (850).
  • the sound object visualization module 830 may be included in the volume measurement unit, and the sound enhancement scenario management module 840 and the output sound enhancement module 850 may be included in the volume control unit, which will be described later.
  • Figure 9 is a conceptual diagram for explaining the sound object extraction module of the present invention.
  • the present invention can separate (extract) an object from an audio signal (sound signal) and provide an artificial intelligence (AI) sound function based on the separated object.
  • AI artificial intelligence
  • an object refers to sounds of different properties included in an audio signal, and may include, for example, voice, music, and sound effects.
  • an audio object refers to (including) voice, music (or background sound), and sound effects (or noise, etc.) included in an audio signal.
  • the sound object extraction module 810 extracts (separates) audio objects (voices, music, sound effects, etc.) from sounds received (collected) through an outdoor microphone provided outside the vehicle or an indoor microphone provided inside the vehicle. )can do.
  • This sound object extraction module 810 may be named an AISE (Artificial Intelligence Sound Extraction) module.
  • the sound object extraction module 810 can extract audio objects using a DNN model (Neural Processing Unit, NPU) from the original stereo channel signal (L, R 2ch) received through an outdoor or indoor microphone.
  • DNN model Neurological Processing Unit, NPU
  • the sound object extraction module 810 extracts features to be used as input to a feature embedding module (NPU) that extracts feature vectors of audio objects and a deep neural network (DNN). It may include a feature extraction module (AISound Feature Extraction) and a synthesizer (AISound Synthesizer) that synthesizes an audio signal using results predicted from features input to the deep neural network.
  • NPU feature embedding module
  • DNN deep neural network
  • the sound object extraction module 810 may further include a separation model (NPU (AI Separation Model)) that separates a specific object from the original signal (audio signal) using the information and input features extracted from the feature embedding module. You can.
  • NPU AI Separation Model
  • the sound object extraction module 810 may be responsible for extracting the feature vector of the audio object to be extracted from the original audio signal.
  • the sound object extraction module 810 when trying to separate a specific object (voice, music, sound effect, etc.), extracts the feature vector of the object through a feature embedding module, and extracts the extracted feature vector through a separation module ( AI Separation Model).
  • the AI Separation Model can separate specific objects from the original signal (audio signal).
  • various types of objects can be separated depending on which object's feature vector is input through the feature embedding module.
  • the AI Separation Model of the present invention can separate different types of objects depending on the type of feature vector input from the feature embedding module.
  • the feature extraction module (AISound Feature Extraction) can learn the weight of the deep neural network using predefined input data and output data.
  • the feature extraction module may extract features using at least one of a time domain technique and a frequency domain technique.
  • the time domain technique can extract features by changing the sampling rate value of the input signal through upsampling or downsampling.
  • the frequency domain technique can convert a signal in the frequency domain using a short-time Fourier transform (STFT) and extract features in a frequency band based on human hearing characteristics.
  • STFT short-time Fourier transform
  • the feature extraction module is responsible for extracting features to be used as input to the DNN model.
  • DNN models can learn internal weights through predefined input and output data.
  • the process of creating features of the data by utilizing domain knowledge about the data can be named Feature Extraction.
  • the technique for extracting the features of the data varies depending on what data is learned, and the size of the features also varies.
  • Feature extraction techniques can be broadly classified into time domain-based techniques and frequency domain-based techniques.
  • Time domain-based techniques extract features by changing the sampling rate value of the input signal through upsampling/downsampling.
  • the frequency domain-based technique converts signals in the frequency domain using STFT and extracts features in frequency bands by reflecting human hearing characteristics.
  • the synthesizer (AISound Synthesizer) can synthesize an audio signal using the result predicted from the features input from the DNN model.
  • the feature extraction module extracts the features and inputs them into the DNN model, and the synthesizer uses the predicted features from the DNN model to create audio objects. You can proceed with synthesis.
  • audio signal synthesis techniques like feature extraction techniques, can be classified into time domain-based techniques and frequency domain-based techniques, and the synthesizer can operate in the same domain as the feature extraction module. there is.
  • Figure 10 is a conceptual diagram for explaining the sound object renderer of the present invention.
  • the sound object renderer 820 can take audio objects (Surround, Voice, Music, Effect, etc.) extracted from the sound object extraction module (AISE) and render them with various audio functions.
  • audio objects Purround, Voice, Music, Effect, etc.
  • AISE sound object extraction module
  • the sound object renderer includes a voice normalizer that normalizes the voice to a target size, an Autovolume module that normalizes the size of the original sound signal to the target size, and a voice signal normalized by the voice normalizer, It may include a voice mixer that mixes the normalized sound signal in the auto volume module.
  • the voice normalizer can normalize the voice (voice among audio objects) included in the audio signal to a specific target (target size).
  • the auto volume module can normalize the size of the original signal (audio signal) (or music (background sound)) to the target size (specific Target).
  • the auto volume module and the voice normalizer operate with the same structure, but tuning parameters such as the target size (or target size) of the signal to be normalized may be applied differently.
  • the input of the auto volume module may be an original audio signal, and the input of the voice normalizer may be an extracted voice signal (a signal corresponding to voice among audio objects).
  • the voice mixer can mix signals to which an auto volume module and spatial effects have been applied and signals to which a voice normalizer has been applied to the extracted voice signals.
  • the voice mixer applies different weights to the two signals when mixing, so that when voice is important, the voice can be loudly adjusted, and when background sound is important, the background sound can be loudly adjusted (or mixed).
  • L’[k] and R’[k] shown in FIG. 10 can be defined by the following formula.
  • R'[k] avl_gain_bgm * R[k] + avl_gain_voice * Rv[k]
  • Figure 11 is a conceptual diagram for explaining the voice normalizer of the present invention.
  • the voice normalizer deletes bands unrelated to the voice signal, uses a perceptual weighting filter to emphasize the band containing the human voice signal, and generates gain from the voice signal for each frequency band.
  • a pre-processing module that extracts data for calculation, a power measurement module that measures the average power of the voice over a certain period of time (Power Estimation), and a gain calculation module that uses the measured average power of the voice and the target volume of the voice. It may include a gain calculation module (Gain Calculation) and a gain application module (Apply Gain) that multiplies the calculated gain to the voice signal to obtain a voice signal having a normalized magnitude.
  • Perceptual Weighting Filter can delete bands unrelated to voice signals and emphasize bands containing human voice signals.
  • the pre-processing module can extract data for calculating gain, such as power and max_power, from voice signals for each frequency band.
  • the power measurement module can measure the average power of the voice over a certain period of time.
  • the gain calculation module can calculate agc_gain by comparing the measured average power (avg_power) of the voice and the Target (target_power) size of the voice as follows.
  • agc_gain target_power / avg_power
  • the final gain can be calculated using the formula below by combining agc_gain and the values calculated in the function below.
  • avl_gain agc_gain * popnoise_gain * drc_gain * limiter_gain
  • Pop noise reduction means finding large signals that occur in a short period of time and quickly attenuating them, and refers to the popnoise_gain value.
  • Dynamic Range Control means adjusting the dynamic range of the voice signal, and the Dynamic Range Control game (drc_gain) can be calculated using the following formula.
  • drc_gain drc_target_power / (avg_power * agc_gain * popnoise_gain)
  • the limiter plays the role of making the size larger than the threshold the threshold, and the limiter game (limiter_gain) can be defined by the following formula.
  • limiter_gain limit_target_power / (avg_power * agc_gain * popnoise_gain * drc_gain), 0 ⁇ limiter_gain ⁇ 1
  • 12 and 13 are conceptual diagrams to explain a method for independently controlling separate audio objects according to an embodiment of the present invention.
  • the sound control device of the present invention can reduce voice differences between people by extracting audio objects with small voice volumes and normalizing them to the target volume.
  • the sound control device 800 may generate and output an icon 1200 that can normalize them.
  • the sound control device 800 When the icon 1200 is selected, the sound control device 800 normalizes the sizes of audio objects corresponding to a plurality of people in the audio signal included in the content, thereby normalizing the volume of voices between the plurality of audio objects. can do.
  • the sound control device of the present invention can correct voice balance (or voice volume) without distortion of content background sound.
  • the sound control device of the present invention extracts audio objects and independently corrects them (balancing, volume control, normalization), normalizes the voice separated from the background sound, and corrects the balance of the voice so that the user can perceive it without background sound distortion. can do.
  • the sound control device of the present invention can freely adjust the volume of the sound separated from the background sound.
  • the sound object extraction module extracts audio objects corresponding to background sounds and voices from the input audio signal (audio signal received through the microphone or audio signal of content executed on the vehicle's infotainment/vehicle display). can be extracted. At this time, the sound object extraction module can freely adjust the size of the voice in the content by using the voice separated through the DNN model.
  • the volume control unit of the sound control device may add a voice control volume key 1300a to the volume keys that control the volume of existing entire audio content.
  • the volume control unit of the sound control device expands the volume of the voice object among the audio objects included in the audio signal and maintains the volume of the background sound object to only focus on the volume of the voice. It can be adjusted freely.
  • Figure 14 is a conceptual diagram for explaining a sound control device according to another embodiment of the present invention.
  • a sound control device includes at least one audio object from an audio signal received from at least one of an outdoor microphone provided outside the vehicle, an indoor microphone provided inside the vehicle, the outdoor microphone, and the indoor microphone. It may include a sound object extraction module 810 that extracts and a sound object renderer 820 that renders as an audio function using the audio object signal extracted from the sound object extraction module.
  • the sound control device includes a genre recognizer 1401 that analyzes the received audio signal to classify the genre and generates a probability value for each genre, and each audio object extracted from the sound object extraction module. It includes a volume measurement unit 1402 that measures the size and visualizes the size of the measured audio objects, and a volume control unit 1403 that applies a different volume to each audio object based on the genre classified by the genre recognizer. can do.
  • the sound object module 810 (or 1400) can separate separable audio objects (Voice, Music, Effect) from the input audio signal (or mixture signal).
  • the genre recognizer 1401 can analyze the input mixture signal, classify the genre (Voice, Music, Moive) of the current signal, and deliver probability values (P_voice, P_music, P_effect) for each genre.
  • the volume measurement unit 1402 measures the size of each separated audio object (M_voice, M_music, M_effect) and creates a user interface (UI) for visualization using the size of the measured object. and can be output (or provided).
  • the user interface can be configured to record peak values while visualizing real-time volume levels.
  • the user interface may be configured to control the peak value while looking at the real-time level of the current volume when adjusting the volume for each object.
  • the volume control unit 1403 can create a user interface that allows controlling the volume for each extracted audio object.
  • the audio objects may include voice objects, music objects, and sound effect objects (Voice, Music, Effect).
  • the volume control unit provides a plurality of modes, and the plurality of modes may be configured so that the volume of the audio objects is set differently for each mode.
  • the plurality of modes may include Manual mode, Auto mode, MR mode, Night mode, Voice Normalizer mode, etc.
  • the sound control device of the present invention can provide differentiated operation modes using separated (extracted) objects.
  • Manual mode is a mode that allows the volume to be adjusted according to the user's intention.
  • Auto mode provides a function that does not interfere with music enjoyment by not separately strengthening the voice when playing music with a music player app or listening to music (using genre information or information from a genre classifier). can do.
  • Auto Mode can be configured to extract and strengthen voice in the case of other video apps, radio, and streaming services.
  • Auto mode recognizes information from programs such as streaming, dramas, movies, news, and current affairs played on radio, terrestrial, and video playback platforms, extracts voices, and provides functions to normalize voice volume and improve voice intelligibility. You can.
  • MR mode can provide MR sound source creation and storage functions by controlling the voice volume to be close to 0 within content consisting of voice and music.
  • Night mode refers to a mode that reduces the size of signals other than voice objects, increasing voice transmission and reducing sound effects.
  • Voice normalizer mode may be a mode that corrects differences in voice levels within the same content.
  • the voice normalization mode includes a mode for correcting the level of background sounds and voices within the same content, a mode for correcting the voice level balance of different content within the same service, and a mode for correcting the voice level balance between different contents between different services. It can be included.
  • the volume control unit may apply a different volume to each object based on at least one of the operation mode, the genre recognized by the genre recognizer, and EPG (Electric Program Guide) information.
  • EPG Electronic Program Guide
  • the sound control device 800 of the present invention may further include a downmixer that mixes the audio for each object into a stereo channel after applying each volume.
  • Figure 15 is a diagram showing an interface for performing control for each audio object of the present invention.
  • the user interface provided by the sound control device may be the same as Figure 15.
  • the user interface may be configured to separately output the content volume 1500 and an individually controllable voice volume key 1501 when object-separated content is played.
  • the user interface When the voice normalizer mode is on, the user interface operates the existing volume keys up and down, and when you move the cursor to the right, a voice volume key is created and the volume of the voice is adjusted by adjusting the voice volume to both left and right. It can be formed to be possible.
  • the sound control device of the present invention can provide a location-based sound compensation function.
  • the sound control device separates system sounds (navigation guidance voices, warning sounds, etc.) from the mixture sound source, or separates the system sound and renders the input sound source in the driver's seat of the vehicle to focus driving information on the driver.
  • a sound focusing function can be provided.
  • the sound control device may play the sound by varying the playback position for each of the plurality of objects based on the user's location.
  • the sound control device has a multi-content control mode that separates objects from multi-content and controls playback according to the priority between content and objects of the same attribute, acquires surrounding sounds through a remote control microphone, and adjusts the volume of the voice when the surroundings are noisy.
  • a listening environment adaptive voice volume function that increases the sound level and reduces the background sound when the surroundings are quiet, as well as a voice object-specific feature through speaker separation that separates the voices of multiple people and controls the volume of each person's voice.
  • a volume control function may also be provided.
  • the sound control device of the present invention can provide the user with an optimal audio experience suited to the situation in various vehicle sound environments.
  • the sound control device of the present invention can separate components for each object and analyze individual characteristics of the interior and exterior sounds of the vehicle through AI.
  • the sound control device of the present invention can provide an intuitive visualized interface (Visual I/F) that maps image objects for each sound object.
  • Visual I/F Visual I/F
  • the sound control device of the present invention can provide a system that can dynamically reconfigure the sound output within the vehicle for each scenario depending on the situation and purpose of use.
  • FIG. 16 is a conceptual diagram for explaining an artificial intelligence-based vehicle augmented sound system according to an embodiment of the present invention
  • FIG. 17 is a flowchart for explaining the data flow of the system seen in FIG. 16.
  • the present invention may include a sound object extraction module 810.
  • the sound object extraction module 810 includes an outdoor sound object extraction module 811 that extracts an audio object from an audio signal received through an outdoor microphone 120 provided outside the vehicle, and an indoor microphone 211 provided inside the vehicle. ) and an indoor sound object extraction module 812 that extracts audio objects from audio signals received through ) and audio played from a device capable of providing content (media) in the vehicle (ADAS function, In-Vehicle Infortainment (IVI)) It may include an output sound object extraction module 813 that extracts audio objects from the signal.
  • ADAS function In-Vehicle Infortainment
  • the sound object renderer 820 described above may generate sound object context information based on at least one of the direction, properties, and characteristics of the sound for each extracted audio object.
  • the volume measurement unit 1402 described above may include a sound object visualization module (Sound Object Visualizer) 830 that creates a graphic object corresponding to an audio object using the sound object context information.
  • Sound object visualization module Sound Object Visualizer 830 that creates a graphic object corresponding to an audio object using the sound object context information.
  • the sound volume measurement unit 1402 may output the graphic object generated by the sound object visualization module 830 to the vehicle's display (or IVI).
  • the sound object visualization module reflects information sensed from a sensor provided in the vehicle (e.g., vision information sensed from a camera, ADAS sensor information, vehicle sensor information, V2X information, etc.) and displays it on the audio object.
  • a sensor provided in the vehicle e.g., vision information sensed from a camera, ADAS sensor information, vehicle sensor information, V2X information, etc.
  • a corresponding graphic object can be created.
  • the sound object visualization module reflects information sensed by a sensor provided in the vehicle to generate a graphic object corresponding to the sound source itself that generates an audio signal outside the vehicle, inside the vehicle, or in content (media), and A graphic object corresponding to the sound source can also be output to the vehicle's display (or IVI).
  • the volume control unit 1403 may generate an audio enhancement scenario for an audio object (or an audio enhancement scenario for a sound source) corresponding to the graphic object.
  • audio enhancement scenarios can be managed and stored by the sound enhancement scenario management module 840 described in FIG. 8, and the sound enhancement scenario management module can be included in the volume control unit 1403.
  • a plurality of scenarios may be stored in which the configuration of which audio object is to be augmented is preset according to the scenario corresponding to the genre and graphic object recognized by the genre recognizer.
  • the audio augmentation scenario may be formed by setting at least one of an object category, object property, driving function, and type of sound stream to be processed.
  • the volume control unit may enhance a sound effect corresponding to the audio enhancement scenario, based on the audio enhancement scenario.
  • Augmentation of this sound effect may be performed by the output sound increase module 850, which may be included in the volume control unit 1403 or controlled by the volume control unit 1403. It can be.
  • the sound control device can drive indoor and outdoor microphone input, read PCM data in the sound input buffer (S1701), and extract single or multi-channel audio PCM to the sound object extraction modules 811 and 812. You can enter it.
  • the outdoor sound extraction module 811 may extract a plurality of audio objects (e1, e2, e3), and the indoor sound extraction module 812 may extract a plurality of audio objects (i1, i2) as an example. there is.
  • the output sound object extraction module 813 can read PCM data of the audio buffer of content output from a vehicle infotainment (S1704), and extracts single or multi-channel audio PCM into the sound object extraction module 813. You can enter .
  • the output sound extraction module 813 may extract a plurality of audio objects (o1, o2).
  • the sound control device may generate data pools (e1, e2, e3, i1, i2, o1, o2) for each separated sound object (S1703).
  • the output sound extraction module 813 transmits the sound direction, properties, and characteristics of each object to the sound object renderer (S1706), and the sound object renderer can create a sound object contest.
  • the sound object renderer can extract the type of sound object, whether it is a safe event, and voice/media similarity information, and transmit it to the sound volume measurement unit (specifically, the sound object visualization module) (S1707 ).
  • the sound volume measurement unit receives the received information and information measured by the vehicle's sensors (Vision information, ADAS sensor information, vehicle sensor information, V2X information) (S1708) and uses this to produce sound.
  • Image objects for each object can be created and displayed by mapping them to the display (S1709).
  • the sound volume measurement unit (sound object visualization module) can also create a user interface that can select and control individual objects (S1709).
  • the sound enhancement scenario management module 840 (or volume control unit) may provide enhancement/suppression/change configuration for each sound object and manage the history for each object category (S1710).
  • the output sound enhancement module 850 receives the original audio signal (input/output original sound data) and the separated audio object pool and sound enhancement scenario, and uses this to enhance the sound object through the speaker. You can arrange individual output sounds (S1711) and output sounds for each speaker channel (S1712).
  • the steps of separating a sound object, creating a sound object context, visualizing the sound object, managing a sound enhancement scenario, and augmenting the output sound can be performed.
  • the sound control device separates sounds coming from outside the vehicle, sounds coming from inside the vehicle, and sounds coming from media output into individual object units in order to separate sound objects through a sound object extraction module. can do.
  • the sound control device can create sound object context, such as sound generation direction, location, type, and attribute information, for sounds separated into object units through the sound object renderer.
  • the sound control device recognizes multiple image objects using a camera, etc. through a volume measurement unit (or sound object visualization module), maps sound objects to them, and provides a UI that visually displays and selectively controls them. .
  • a volume measurement unit or sound object visualization module
  • the sound control device can perform sound enhancement scenario selection and configuration according to the situation and user settings, and previous history management/automation through the volume control unit (or sound enhancement scenario management module).
  • the sound control device can apply enhancement/suppression, sound image position (3D) change, and additional effects to each sound object selected according to the scenario configuration through the volume control unit (or output sound enhancement module).
  • Figures 18, 19, 20, 21, 22, and 23 are conceptual diagrams showing embodiments of the sound control device of the present invention for enhancing sound depending on the situation.
  • the sound control device can perform selective control on multiple outdoor sound objects.
  • the sound control device can separate objects (1810, 1820) and extract attribute information for external sounds.
  • the first attribute (e1) may mean ⁇ outdoors, front right 30 degrees ⁇
  • the second attribute (e2) may mean ⁇ outdoors, front right 60 degrees ⁇ .
  • the sound control device can generate sound object context information through a dynamic table after determining the type and category through attribute information and feature data obtained from the object separation module.
  • sound object context information is generated in the form of outdoor construction noise (drill noise, loud level volume, 30 degrees front right) and outdoor street noise (event music/voice, medium level volume, 60 degrees front right). It can be.
  • the sound object visualization module may detect at least one external image (graphic) object based on camera information, map it to the corresponding location information and sound object context information, and provide visualized feedback (1811, 1821) to the user.
  • graphics external image
  • the volume control unit may initiate a scenario in which the internal user sound for the sound object is reduced through a touch to a specific image object (construction site).
  • the sound augmentation scenario management module can create and deliver a configuration that allows augmented sound AI to operate according to the scenario.
  • the contents of the scenario include object category (outdoor near-field periodic noise), object properties (front right 30 degrees, low-band noise), driving function (active noise canceller operation), selection of sound stream to be processed (separated outdoor sound stream e1 (+outdoor) It may include the original sound of a microphone) and the original sound of an indoor reference microphone.
  • the output sound enhancement module can select and input the necessary sound data stream according to the above configuration and drive parameters (AI parameters) appropriate for the function (reconfigure indoor output sound components to reduce drill noise at the front construction site).
  • AI parameters drive parameters
  • the volume control unit may output a visualized graphic object to the vehicle's display to identify the source of the audio signal.
  • the sound control device of the present invention can provide blind area sound event information and enhance the noise effect.
  • a safety warning sound for example, a siren sound
  • a safety warning sound for example, a siren sound
  • the sound control device can generate a dynamic table after determining the type and category through attribute information and feature data obtained from the sound object extraction module to generate sound object context information (outdoor siren noise, loud level volume, front right x degrees)
  • the sound control device can use the sound object context information through the sound object visualization module to provide visualization feedback to the user by mapping it to a virtual graphic object at an appropriate location on the image information or map information received from the camera (the corresponding object Initiating a scenario where a touch on (ambulance) reinforces the internal user sound for that sound object to better know its relative location.
  • the sound control device can manage the history of augmented safety sounds (sirens) and provide convenience by automating the UI in the future.
  • the sound control device through the output sound enhancement module, can reconfigure the indoor output sound component so that the front siren noise location information is clear according to the scenario configuration.
  • the sound control device knows information about blind spot objects through V2X/ADAS, etc., and if external noise is not enough, virtually generates sound object context information, and the IVI system virtually generates the original sound of the object.
  • the volume control unit may output a graphic object 1901 corresponding to information about the object on the vehicle's display.
  • the sound control device can output additional detailed information through V2X, etc. when the corresponding object is selected through the UI in step 3.
  • the volume control unit may control the vehicle's speakers so that when the infotainment included in the vehicle outputs a guide sound or advertisement for a place of interest, the sound is output through a speaker located at a location corresponding to the location of the place of interest.
  • the sound control device can enhance the IVI output sound to provide information.
  • IVI In-Vehicle Information
  • the sound control device can generate sound object context information through a dynamic table after determining the type and category through attribute information and feature data obtained from object separation AI (IVI output, POI guidance voice, mid-level volume IVI output, background music, medium level volume)
  • object separation AI IVI output, POI guidance voice, mid-level volume IVI output, background music, medium level volume
  • the sound control device can provide visualized feedback (2001) to the user by mapping a virtual graphic object to an appropriate location on the camera image or map information using sound object context information and relative position information of vehicles and POIs (the object (By touching the POI virtual banner), a scenario is started to reinforce the POI's voice guidance to better understand the relative position of the own vehicle.)
  • the sound control device can manage scenario priorities, such as temporarily managing the guidance voice delay output time and muting general media sounds during the guidance voice.
  • the sound control device through the output sound enhancement module, depending on the configuration, provides uniform background music (o2) + 3D sound effect enhancement (for o1) so that you can feel as if you are receiving voice guidance directly from the corresponding POI location. It can be granted.
  • the sound control device can utilize the IVI output sound enhancement effect in various situations.
  • a sound control device can automatically start guiding the IVI towards you when you get near the POI you have selected as your destination (making your location intuitively recognizable even if it is obscured by a building).
  • the sound control device can recognize entering the parking lot of the corresponding POI building through ADAS, etc., and output a secondary guidance sound (if there is a POI on the same floor as the parking lot, you can know how close you are getting even without checking the floor. possible).
  • the sound control device can deliver advertisements/information only in a short distance, naturally and without being annoying, when you want to know information about restaurants near the current vehicle or major POIs (museums) while traveling.
  • the sound control device when voice tagged at a specific location along with the AR display function, can have the effect of providing guidance to me at that memo location (the parking attendant can provide special information in advance to vehicles entering the parking lot gate). Same effect as when notifying).
  • the volume control unit detects that the driver of the vehicle is singing to music output from the vehicle, it can reduce the vocal sound included in the music, add a sound effect to the driver's sound, and output it through the speaker. .
  • the sound control device generates sound object context information (IVI output, main vocal voice, medium level volume, IVI output, instrumental music, medium level volume, indoor driver singing voice, loud level volume, high similarity to IVI output main vocal). can do.
  • the sound control device can provide visualized feedback (2100) about the location where the song is being sung by mapping it for each seat on a picture of an indoor vehicle using sound object context information (by touching the corresponding seat, Start of scenario where optimal karaoke effect is applied to voice)
  • object category radio main vocal, music.
  • Select Sound Stream to be processed Separate Sound Stream i1, o1, o2)
  • the sound control device can provide an echo effect enhancement effect to radio music (o2) + reduced vocal sound (o1) + a song sung by me (i1) according to the configuration above.
  • the sound control device can adjust the output or type according to driving regulations or driving safety. In particular, when a safety sound is input, the sound control device can reduce the karaoke effect, strengthen the alarm or sound, and deliver it only to the driver.
  • the volume control unit can reduce the vocal sound of the music being played and increase the volume for the navigation route guidance.
  • this may be the case when route guidance is performed while radio/music is being played in IVI (In-Vehicle Infotainment).
  • the sound control device may generate sound object context information (IVI output, main vocal voice, mid-level volume, IVI output, instrumental music, mid-level volume, IVI output, navigation voice, mid-level volume).
  • IVI output main vocal voice, mid-level volume, IVI output, instrumental music, mid-level volume, IVI output, navigation voice, mid-level volume.
  • the sound control device can augment radio music (o2) + reduced (or removed) vocal sound (o1) + navigation guidance voice (o3) depending on the configuration.
  • a sound control device can remove (or adjust to a very low level) the vocal sound of radio or streaming audio so that the route guidance voice can be clearly heard by the driver.
  • the sound output can be configured to restrict route guidance and reduced vocal sounds to the driver (other users can control the vehicle's speakers to hear the vocal sounds at their original size).
  • the volume control unit receives information from the vehicle about whether the vehicle is biased to the left or right in the lane in which it is driving, and changes the left and right volume balance of the sound output through the vehicle's speakers based on the direction in which the vehicle is tilted. You can.
  • a sound control device can encourage safe driving and alert people using media sound balance.
  • the driver while driving, the driver may have poor visibility due to a rainy night or fog, or may be in a standby state before switching to direct driving in an autonomous driving environment.
  • the sound control device can generate sound object context information using attribute information and feature data (IVI output, main vocal, Center, mid-level volume, IVI output, electric guitar, Left, mid-level volume, IVI output, Electric piano, Right, medium level volume)
  • IVI output main vocal, Center, mid-level volume, IVI output, electric guitar, Left, mid-level volume, IVI output, Electric piano, Right, medium level volume
  • the sound control device displays the relative position information of the vehicle and the lane using sensor information such as ADAS on the cluster driving information screen through the sound object visualization module. At this time, if the vehicle starts to drift to the left without blinking, Lane boundary proximity alarms can be visualized and displayed.
  • the sound control device can improve user experience (UX) by turning off the function because the 3D sound effect is attenuated due to noise when the car door is opened.
  • the sound control device makes the central main vocal (o1) sound more and more to the right based on the degree to which the lane is tilted to the left, the left electric guitar (o2) sounds right near the ear, and the right electric piano sounds very far away. You can distort the balance as if you are separated so that you can feel the gradual change naturally and intuitively.
  • the sound control device If the sound control device is very close to the lane, it can more accurately warn of the position of the vehicle in the lane by generating a continuous noise that can be felt from the left, as if passing in the lane.
  • the sound control device can notify the user if the car is off-center and off to one side by appropriately harmonizing the left/right volume balance and effects of the media sound and the virtual lane warning sound.
  • the sound control device can restore the left/right volume balance of the media sound and extinguish the lane warning sound by maintaining the center of the lane.
  • the present invention can provide a new sound control device and control method that can recognize, separate, and control sounds inside and outside a vehicle as individual objects.
  • the present invention can provide an intuitive visualized interface that can help users quickly understand the situation and intuitively control it.
  • the present invention can determine sound-related situations inside and outside the vehicle cabin and manage control scenarios by combining various vehicle sensors.
  • the present invention can provide an augmented user experience (UX) different from the existing one through reprocessing and optimization of indoor output sound.
  • the present invention can provide an optimized augmented sound experience by controlling multiple internal and external sounds at the individual object level in a vehicle use environment.
  • All components included in the sound control device described above may be independent components implemented in hardware, but are not limited to this and may also be components implemented in software.
  • Computer-readable media includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is. Additionally, the computer may include a processor or control unit. Accordingly, the above detailed description should not be construed as restrictive in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 소리 제어 장치를 포함하는 차량을 제공한다. 본 발명의 일 실시 예에 따른 소리 제어 장치는, 차량 외부에 구비된 실외 마이크 및 차량 내부에 구비된 실내 마이크 중 적어도 하나로부터 수신된 오디오 신호에서 적어도 하나의 오디오 객체를 추출하는 소리 객체 추출 모듈, 상기 소리 객체 추출 모듈에서 추출된 오디오 객체 신호를 이용하여, 오디오 기능으로 렌더링하는 소리 객체 렌더러, 수신된 오디오 신호를 분석하여 장르를 분류하고, 장르별 확률값을 생성하는 장르 인식기, 상기 소리 객체 추출 모듈에서 추출된 오디오 객체들 각각의 크기를 측정하고, 측정된 오디오 객체들의 크기를 시각화하는 음량 측정부 및 상기 장르 인식기에서 분류된 장르에 근거하여, 상기 오디오 객체들별로 다른 볼륨을 적용하는 음량 제어부를 포함한다.

Description

소리 제어 장치를 구비하는 차량
본 발명은 소리 제어 장치를 구비하는 차량에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.
최근에는, 차량에서 소리를 발생시키는 요소들이 많으며, 이들을 효과적으로 차량 내부 또는 외부에 존재하는 사용자에게 제공하여, 차량 주행의 안전성 향상과 최적화된 정보 제공에 도움을 주는 방향으로 소리를 제어하려는 개발이 활발히 이루어지고 있다.
종래에는, 다양한 내/외부 소리가 나는 경우에 대하여 개별 객체별로 발생시키는 소리 성분을 구분해서 제어하거나 이용하지 못하였다.
또한, 종래의 기술들은 단순히 차량 주변에서 발생된 소리에 근거하여 위험상황을 판단하고, 이에 따라 소리가 발생된 방향으로 외부 경고음을 출력하는 수준에 그치는 수준이다.
본 발명의 실시예는 상기한 문제점을 해결하기 위하여, 본 발명은 상황에 맞는 최적의 오디오를 출력하는 것이 가능한 소리 제어 장치를 구비하는 차량을 제공하는 것을 목적으로 한다.
본 발명은 오디오 신호를 객체별로 추출하여 상황에 따라 오디오 객체를 조절하는 것이 가능한 사용자 인터페이스를 제공하는 것을 목적으로 한다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 소리 제어 장치는, 차량 외부에 구비된 실외 마이크 및 차량 내부에 구비된 실내 마이크 중 적어도 하나로부터 수신된 오디오 신호에서 적어도 하나의 오디오 객체를 추출하는 소리 객체 추출 모듈 및 상기 소리 객체 추출 모듈에서 추출된 오디오 객체 신호를 이용하여, 오디오 기능으로 렌더링하는 소리 객체 렌더러를 포함한다.
실시 예에 있어서, 상기 소리 객체 추출 모듈은, 오디오 객체의 특징 벡터를 추출하는 특징 임베딩 모듈, 심층 신경망의 입력으로 사용할 특징들을 추출하는 특징 추출 모듈, 상기 심층 신경망에 입력된 특징으로 예측한 결과값을 이용하여 오디오 신호를 합성하는 신시사이저를 포함한다.
실시 예에 있어서, 상기 소리 객체 추출 모듈은, 상기 특징 임베딩 모듈에서 추출된 정보와 입력 특징을 이용하여, 원본 신호로부터 특정 객체를 분리하는 분리 모델을 더 포함한다.
실시 예에 있어서, 상기 분리 모델은, 상기 특징 임베딩 모듈에서 입력된 특징벡터의 종류에 따라, 서로 다른 종류의 객체를 분리하는 것을 특징으로 한다.
실시 예에 있어서, 상기 특징 추출 모듈은, 미리 정의된 입력 데이터와 출력 데이터를 이용하여 상기 심층 신경망의 웨이트를 학습하는 것을 특징으로 한다.
실시 예에 있어서, 상기 특징 추출 모듈은, 시간 도메인 기법 및 주파수 도메인 기법 중 적어도 하나를 이용하여 특징을 추출하는 것을 특징으로 한다.
실시 예에 있어서, 상기 시간 도메인 기법은, 업샘플링 또는 다운샘플링으로 입력신호의 샘플링 레이트 값을 변경하여 특징을 추출하는 것을 특징으로 한다.
실시 예에 있어서, 상기 주파수 도메인 기법은, 숏타임 퓨리에 트랜스폼(STFT)으로 주파수 도메인의 신호로 변환하고, 사람의 청각 특성에 근거하여 주파수 밴드로 특징을 추출하는 것을 특징으로 한다.
실시 예에 있어서, 상기 소리 객체 렌더러는, 음성을 목표 크기로 정규화하는 음성 노멀라이저, 원본 소리 신호의 크기를 목표 크기로 정규화하는 오토볼륨 모듈 및 상기 음성 노멀라이저에서 정규화된 음성 신호와, 상기 오토볼륨 모듈에서 정규화된 소리 신호를 믹스하는 음성 믹서를 포함하는 것을 특징으로 한다.
실시 예에 있어서, 상기 음성 노멀라이저는, 음성 신호와 무관한 대역을 삭제하고, 사람의 음성신호가 있는 대역을 강조하는 지각 가중치 필터, 주파수 밴드별 음성신호로부터 게인을 계산하기 위한 데이터를 추출하는 전처리 모듈, 일정 시간동안 음성의 평균 파워를 측정하는 파워 측정 모듈, 측정된 음성의 평균 파워와 음성의 목표 크기 이용하여 게인을 산출하는 게인 산출 모듈 및 산출된 게인을 음성 신호에 곱하여 정규화된 크기를 갖는 음성 신호를 획득하는 게인 적용 모듈을 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 소리 제어 장치는, 차량 외부에 구비된 실외 마이크 및 차량 내부에 구비된 실내 마이크 중 적어도 하나로부터 수신된 오디오 신호에서 적어도 하나의 오디오 객체를 추출하는 소리 객체 추출 모듈, 상기 소리 객체 추출 모듈에서 추출된 오디오 객체 신호를 이용하여, 오디오 기능으로 렌더링하는 소리 객체 렌더러, 수신된 오디오 신호를 분석하여 장르를 분류하고, 장르별 확률값을 생성하는 장르 인식기, 상기 소리 객체 추출 모듈에서 추출된 오디오 객체들 각각의 크기를 측정하고, 측정된 오디오 객체들의 크기를 시각화하는 음량 측정부 및 상기 장르 인식기에서 분류된 장르에 근거하여, 상기 오디오 객체들별로 다른 볼륨을 적용하는 음량 제어부를 포함한다.
실시 예에 있어서, 상기 음량 제어부는, 추출된 오디오 객체별로 볼륨을 제어하는 것이 가능한 사용자 인터페이스를 생성하는 것을 특징으로 한다.
실시 예에 있어서, 상기 오디오 객체는, 음성 객체, 음악 객체 및 효과음 객체를 포함하는 것을 특징으로 한다.
실시 예에 있어서, 상기 음량 제어부는, 복수의 모드를 제공하고, 상기 복수의 모드는, 각 모드별로 상기 오디오 객체들의 볼륨이 다르게 설정되어 있는 것을 특징으로 한다.
실시 예에 있어서, 상기 소리 객체 렌더러는, 추출된 오디오 객체별 소리의 방향, 속성 및 특징 중 적어도 하나에 근거하여, 소리 객체 컨텍스트 정보를 생성하는 것을 특징으로 한다.
실시 예에 있어서, 상기 음량 측정부는, 상기 소리 객체 컨텍스트 정보를 이용하여 오디오 객체에 대응하는 그래픽 객체를 생성하는 소리 객체 시각화모듈을 포함하고, 상기 소리 객체 시각화모듈에서 생성된 그래픽 객체를 차량의 디스플레이에 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 음량 제어부는, 상기 그래픽 객체가 선택되면, 상기 그래픽 객체에 대응하는 오디오 객체에 대한 오디오 증강 시나리오를 생성하는 것을 특징으로 한다.
실시 예에 있어서, 상기 오디오 증강 시나리오는, 객체 카테고리, 객체 속성, 구동 기능 및 가공할 소리 스트림의 종류 중 적어도 하나를 설정하여 형성되는 것을 특징으로 한다.
실시 예에 있어서, 상기 음량 제어부는, 상기 오디오 증강 시나리오에 근거하여, 오디오 증강 시나리오에 대응되는 소리 효과를 증강하는 것을 특징으로 한다.
실시 예에 있어서, 상기 음량 제어부는, 상기 오디오 신호의 근원지가 카메라를 통해 수신되는 영상에서 미식별되는 경우, 오디오 신호의 근원지를 확인할 수 있도록 시각화된 그래픽 객체를 차량의 디스플레이에 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 음량 제어부는, 차량에 포함된 인포테인먼트에서 관심장소에 대한 안내음 또는 광고를 출력할 때, 관심장소의 위치에 대응되는 장소에 위치한 스피커를 통해 소리가 출력되도록 차량의 스피커를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 음량 제어부는, 차량의 운전자가 차량에서 출력되는 음악에 맞추어 노래하는 것이 감지되면, 상기 음악에 포함된 보컬 소리를 줄이고, 운전자의 소리에 음향 효과를 부여하여 스피커를 통해 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 음량 제어부는, 차량에서 음악이 재생중인 상태에서, 내비게이션 경로 안내가 출력되는 경우, 재생중인 음악의 보컬 소리를 줄이고, 내비게이션 경로 안내에 대한 볼륨을 높이는 것을 특징으로 한다.
실시 예에 있어서, 상기 음량 제어부는, 차량이 주행중인 차로에서 좌측 혹은 우측에 치우쳐있는지에 대한 정보를 차량으로부터 수신하고, 차량이 치우친 방향에 근거하여, 차량의 스피커를 통해 출력되는 소리의 좌우 볼륨 밸런스를 가변하는 것을 특징으로 한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 본 발명은 차량 내/외 소리에 대해 개별 객체 단위로 인지하고, 분리하여 제어할 수 있는 새로운 소리 제어 장치 및 그 제어방법을 제공할 수 있다.
둘째, 본 발명은 사용자의 빠른 상황 이해와 사용자의 빠른 상황 이해와 직관적인 제어를 도울 수 있는 직관적인 시각화된 인터페이스를 제공할 수 있다.
셋째, 본 발명은 다양한 차량 센서 결합하여 차량 캐빈 내외의 소리 관련 상황을 판단하고 제어 시나리오 관리할 수 있다.
넷째, 본 발명은 실내 출력 소리를 재가공하고 최적화를 통해 기존과 다른 증강형 사용자 경험(UX)를 제공할 수 있다.
다섯째, 본 발명은 차량 이용 환경에서 다수의 내/외부 소리를 개별 객체 수준으로 제어하여 최적화된 증강 소리 경험을 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 8은 본 발명의 소리 제어 장치를 설명하기 위한 개념도이다.
도 9는 본 발명의 소리 객체 추출 모듈을 설명하기 위한 개념도이다.
도 10은 본 발명의 소리 객체 렌더러를 설명하기 위한 개념도이다.
도 11은 본 발명의 음성 노멀라이저를 설명하기 위한 개념도이다.
도 12 및 도 13은 본 발명의 일 실시 예에 따른 분리된 오디오 객체를 독립적으로 제어하기 위한 방법을 설명하기 위한 개념도이다.
도 14는 본 발명의 다른 실시 예에 따른 소리 제어 장치를 설명하기 위한 개념도이다.
도 15는 본 발명의 오디오 객체별 제어를 수행하기 위한 인터페이스를 나타낸 도면이다.
도 16은 본 발명의 일 실시 예에 따른 인공지능 기반 차량용 증강 소리 시스템을 설명하기 위한 개념도이다.
도 17은 도 16에서 살펴본 시스템의 데이터 흐름을 설명하기 위한 흐름도이다.
도 18, 도 19, 도 20, 도 21, 도 22 및 도 23은 본 발명의 소리 제어 장치가 상황별로 소리를 증강시키기 위한 실시 예들을 나타낸 개념도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다.
차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 사용자 인터페이스 장치(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다.
예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다.
예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(200)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(120)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(200)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(200)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(200)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.
실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다.
실시예에 따라, 터치 입력부(213)는 디스플레이부(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다.
출력부(250)는, 디스플레이부(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이부(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이부(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이부(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(251)가 HUD로 구현되는 경우, 디스플레이부(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이부(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이부(251a 내지 251g)를 포함할 수 있다.
디스플레이부(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다.
사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다.
오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다.
도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다.
변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다.
샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750) 을 포함할 수 있다.
실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 본 발명과 관련된 차량(100)은 소리 제어 장치(800)를 포함할 수 있다.
소리 제어 장치(800)는, 도 7에서 설명한 구성요소들 중 적어도 하나를 제어하는 것이 가능하다. 이러한 관점에서 봤을 때, 상기 소리 제어 장치(800)는 제어부(170)일 수 있다.
이에 한정되지 않고, 소리 제어 장치(800)는, 제어부(170)와 독립된 별도의 구성일 수 있다. 소리 제어 장치(800)가 제어부(170)와 독립된 구성요소로 구현되는 경우, 상기 소리 제어 장치(800)는 차량(100)의 일부분에 구비될 수 있다.
한편, 본 명세서에서 설명하는 소리 제어 장치(800)는, 차량을 제어하는 것이 가능한 모든 종류의 기기를 포함할 수 있으며, 일 예로, 이동 단말기일 수 있다. 소리 제어 장치(800)가 이동 단말기인 경우, 이동 단말기와 차량(100)은 유/무선 통신을 통해 통신 가능하도록 연결될 수 있다. 또한, 이동 단말기는 통신 연결된 상태에서 다양한 방식으로 차량(100)을 제어할 수 있다.
소리 제어 장치(800)가 이동 단말기인 경우, 본 명세서에서 설명하는 프로세서(870)는, 이동 단말기의 제어부일 수 있다.
이하에서는, 설명의 편의를 위해 소리 제어 장치(800)를 제어부(170)와 독립된 별도의 구성인 것으로 설명하기로 한다. 본 명세서에서 소리 제어 장치(800)에 대하여 설명하는 기능(동작) 및 제어방법은, 차량의 제어부(170)에 의해 수행될 수 있다. 즉, 소리 제어 장치(800)와 관련하여 설명한 모든 내용은, 제어부(170)에도 동일/유사하게 유추적용될 수 있다.
또한, 본 명세서에서 설명하는 소리 제어 장치(800)는, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들 중 일부분이 포함될 수 있다. 본 명세서에서는, 설명의 편의를 위해, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들을 별도의 명칭과 도면부호를 부여하여 설명하기로 한다.
도 8은 본 발명의 소리 제어 장치를 설명하기 위한 개념도이다.
본 발명의 소리 제어 장치(800)는, 차량 외부에 구비된 실외 마이크, 차량 내부에 구비된 실내 마이크, 상기 실외 마이크 및 상기 실내 마이크 중 적어도 하나로부터 수신된 오디오 신호에서 적어도 하나의 오디오 객체를 추출하는 소리 객체 추출 모듈(810) 및 상기 소리 객체 추출 모듈에서 추출된 오디오 객체 신호를 이용하여, 오디오 기능으로 렌더링하는 소리 객체 렌더러(820)를 포함할 수 있다.
또한, 소리 제어 장치(800)는, 추출된 오디오 객체를 시각화하는 소리 객체 시각화 모듈(830), 오디오 증강 시나리오를 관리하는 소리 증강 시나리오 관리 모듈(840) 및 출력 소리를 증강하기 위한 출력 소리 증강 모듈(850)을 포함할 수 있다.
상기 소리 객체 시각화 모듈(830)는 음량 측정부에 포함될 수 있고, 소리 증강 시나리오 관리 모듈(840) 및 출력 소리 증강 모듈(850)은, 이후에 설명할 음량 제어부에 포함될 수 있다.
도 9는 본 발명의 소리 객체 추출 모듈을 설명하기 위한 개념도이다.
본 발명은, 오디오 신호(Sound Signal)에서 객체를 분리(추출)하고, 분리된 객체에 기반한 인공지능(Artificial Intelligence, AI) 소리(Sound) 기능(AI Sound function)을 제공할 수 있다.
여기서, 객체란, 오디오 신호에 포함된 서로 다른 속성의 소리를 의미하며, 일 예로, 음성(Voice), 음악(Music), 효과음(Effect)를 포함할 수 있다.
즉, 오디오 객체란, 오디오 신호에 포함된 음성(Voice), 음악(Music)(또는 배경음), 효과음(Effect)(또는, 노이즈(Noise) 등)을 의미(포함)한다.
소리 객체 추출 모듈(810)은, 차량 외부에 구비된 실외 마이크 또는 차량 내부에 구비된 실내 마이크를 통해 수신(수집)된 소리(sound)에서 오디오 객체(음성, 음악, 효과음 등)를 추출(분리)할 수 있다.
이러한 소리 객체 추출 모듈(810)은, AISE(Artificial Intelligence Sound Extraction) 모듈로 명명될 수 있다.
소리 객체 추출 모듈(810)은, 실외 또는 실내 마이크를 통해 수신된 원본 스테레오 채널의 신호(L,R 2ch)에서 DNN 모델(Neural Processing Unit, NPU)을 사용하여 오디오 객체들을 추출해낼 수 있다.
소리 객체 추출 모듈(810)은, 오디오 객체의 특징(Feature) 벡터(Vector)를 추출하는 특징 임베딩 모듈(NPU(Feature Embedding)), 심층 신경망(Deep Neural Network, DNN)의 입력으로 사용할 특징들을 추출하는 특징 추출 모듈(AISound Feature Extraction) 및 상기 심층 신경망에 입력된 특징으로 예측한 결과값을 이용하여 오디오 신호를 합성하는 신시사이저(AISound Synthesizer)를 포함할 수 있다.
상기 소리 객체 추출 모듈(810)은, 상기 특징 임베딩 모듈에서 추출된 정보와 입력 특징을 이용하여, 원본 신호(오디오 신호)로부터 특정 객체를 분리하는 분리 모델(NPU(AI Seperation Model)을 더 포함할 수 있다.
상기 소리 객체 추출 모듈(810)은, 원본 오디오 신호로부터 추출하고자 하는 오디오 객체의 특징 벡터를 추출하는 역할을 담당할 수 있다.
상기 소리 객체 추출 모듈(810)은, 특정 객체를 (음성, 음악, 효과음 등등) 분리하고자 하는 경우 객체의 특징벡터가 특징 임베딩 모듈(Feature Embedding)을 통해 추출하고, 추출된 특징 벡터를 분리 모듈(AI Separation Model)로 입력할 수 있다.
특징 임베딩 모듈(Feature Embedding)을 통해 추출된 정보와 입력 특징(또는 특징 벡터)를 이용하여 분리 모델(AI Separation Model)은 원본 신호(오디오 신호)로부터 특정 객체를 분리할 수 있다.
본 발명에서는, 특징 임베딩 모듈(Feature Embedding)을 통해 어떤 객체의 특징벡터를 입력하느냐에 따라서, 다양한 종류의 객체들을 분리해 낼 수 있다.
즉, 본 발명의 분리 모델(AI Separation Model)은, 상기 특징 임베딩 모듈에서 입력된 특징벡터의 종류에 따라, 서로 다른 종류의 객체를 분리할 수 있다.
한편, 상기 특징 추출 모듈(AISound Feature Extraction)은, 미리 정의된 입력 데이터와 출력 데이터를 이용하여 상기 심층 신경망의 웨이트(Weight)를 학습할 수 있다.
상기 특징 추출 모듈은, 시간 도메인 기법 및 주파수 도메인 기법 중 적어도 하나를 이용하여 특징(Feature)을 추출할 수 있다.
상기 시간 도메인 기법은, 업샘플링 또는 다운샘플링으로 입력신호의 샘플링 레이트 값을 변경하여 특징을 추출할 수 있다.
상기 주파수 도메인 기법은, 숏타임 퓨리에 트랜스폼(STFT)으로 주파수 도메인의 신호로 변환하고, 사람의 청각 특성에 근거하여 주파수 밴드로 특징을 추출할 수 있다.
구체적으로, 특징 추출 모듈(Feature Extraction)은 DNN 모델의 입력으로 사용할 특징들(Feature들)을 추출해주는 역할을 담당한다.
DNN 모델은 미리 정의된 입력과 출력 데이터를 통해 내부의 weight를 학습할 수 있다.
이 때, DNN 모델의 학습성능을 높이기 위해서 데이터에 대한 도메인 지식을 활용하여 데이터의 특징(Feature)를 만들어내는 과정을 Feature Extraction으로 명명할 수 있다.
따라서, 본 발명에서는, 어떤 데이터를 학습하느냐에 따라서 데이터의 Feature 를 추출하는 기법은 달라지며 Feature 의 크기 또한 달라지게 된다.
Feature 추출 기법은 크게 타임 도메인(Time Domain) 기반 기법과 주파수 도메인(Frequency Domain) 기반 기법으로 분류 할 수 있습니다.
타임 도메인(Time Domain)기반 기법은, Upsampling/Downsampling으로 입력신호의 sampling rate 값을 변경하여 Feature를 추출한다.
주파수 도메인(Frequency Domain)기반 기법은, STFT 로 주파수 도메인의 신호로 변환하고, 사람의 청각 특성을 반영하여 주파수 밴드로 Feature를 추출한다.
상기 신시사이저(AISound Synthesizer)는, DNN 모델에서 입력된 특징(Feature)으로 예측한 결과값을 이용하여 오디오 신호로 합성할 수 있다.
데이터 흐름을 살펴보면, 오디오 신호(audio signal)가 수신되면, 특징 추출 모듈은 특징(Feature)을 추출하여 DNN 모델로 입력하고, 신시사이저는 DNN 모델에서 예측된 특징(Predicted Feature)을 이용하여 오디오 객체들에 대한 합성을 진행할 수 있다.
이러한 오디오 신호 합성 기법은, Feature 추출 기법과 동일하게, 시간 도메인(Time Domain) 기반 기법과 주파수 도메인(Frequency Domain) 기반 기법으로 분류 할 수 있고, 신시사이저는, 특징 추출 모듈과 같은 도메인으로 동작할 수 있다.
도 10은 본 발명의 소리 객체 렌더러를 설명하기 위한 개념도이다.
소리 객체 렌더러(820)는 소리 객체 추출 모듈(AISE)에서 추출된 오디오 객체(Surround, Voice, Music, Effect 등)를 가지고, 다양한 오디오 기능들로 렌더링할 수 있다.
상기 소리 객체 렌더러는, 음성을 목표 크기로 정규화하는 음성 노멀라이저(Voice Normalizer), 원본 소리 신호의 크기를 목표 크기로 정규화하는 오토볼륨 모듈(Autovolume) 및 상기 음성 노멀라이저에서 정규화된 음성 신호와, 상기 오토볼륨 모듈에서 정규화된 소리 신호를 믹스하는 음성 믹서(Voice Mixer)를 포함할 수 있다.
음성 노멀라이저는, 오디오 신호에 포함된 음성(오디오 객체 중 음성)을 특정 타겟(목표 크기)로 정규화할 수 있다.
오토볼륨 모듈은, 원본의 신호(오디오 신호)(또는, 음악(배경음))의 크기를 목표 크기(특정 Target)로 정규화할 수 있다.
일 예로, 오토볼륨 모듈과 음성 노멀라이저는 동일한 구조로 동작하지만, 정규화 하고자하는 신호의 목표 크기(또는 타겟 크기) 등 튜닝 파라미터(tuning parameter)가 다르게 적용될 수 있다.
오토볼륨 모듈 은 원본 오디오 신호가 입력이고, 음성 노멀라이저는 추출된 음성신호(오디오 객체 중 음성에 해당하는 신호)가 입력일 수 있다.
음성 믹서(Voice Mixer)는, 오토볼륨 모듈과 공간감 효과(Effect)가 적용된 신호와 추출된 음성 신호에 음성 노멀라이저를 적용한 신호를 믹싱(Mixing)할 수 있다.
음성 믹서는, 믹싱 시 두 신호의 가중치를 다르게 적용하여 음성이 중요할때는 음성을 크게 조정하고, 배경음이 중요할때는 배경음을 크게 조정(또는 믹싱)할 수 있다.
도 10에 도시된 L’[k]와 R’[k]는 다음과 같은 수식으로 정의될 수 있다.
L'[k] = avl_gain_bgm * L[k] + avl_gain_voice * Lv[k]
R'[k] = avl_gain_bgm * R[k] + avl_gain_voice * Rv[k]
도 11은 본 발명의 음성 노멀라이저를 설명하기 위한 개념도이다.
음성 노멀라이저는, 도 11에 도시된 바와 같이, 음성 신호와 무관한 대역을 삭제하고, 사람의 음성신호가 있는 대역을 강조하는 지각 가중치 필터(Perceptual Weighting Filter), 주파수 밴드별 음성신호로부터 게인을 계산하기 위한 데이터를 추출하는 전처리 모듈(Pre-processing), 일정 시간동안 음성의 평균 파워를 측정하는 파워 측정 모듈(Power Estimation), 측정된 음성의 평균 파워와 음성의 목표 크기 이용하여 게인을 산출하는 게인 산출 모듈(Gain Calculation) 및 산출된 게인을 음성 신호에 곱하여 정규화된 크기를 갖는 음성 신호를 획득하는 게인 적용 모듈(Apply Gain)을 포함할 수 있다.
지각 가중치 필터(Perceptual Weighting Filter)는, 음성신호와 무관한 대역을 삭제하고, 사람의 음성신호가 있는 대역을 강조할 수 있다.
전처리 모듈(Pre-processing)은, 주파수 밴드별 음성신호로부터 power, max_power 등 Gain 을 계산하기 위한 데이터를 추출할 수 있다.
파워 측정 모듈(Power Estimation)은 일정 시간 동안 음성의 평균 power가 어느 정도 인지를 측정할 수 있다.
게인 산출 모듈(Gain Calculation)은, 측정된 음성의 평균 power (avg_power)와 음성의 Target (target_power) 크기를 비교하여 agc_gain 을 다음과 같이 계산할 수 있다.
agc_gain = target_power / avg_power
최종 gain은 agc_gain과 아래 기능(Function)에서 계산 된 값들을 종합하여 아래의 수식으로 계산될 수 있다.
avl_gain = agc_gain * popnoise_gain * drc_gain * limiter_gain
Pop noise Reduction은 짧은 시간에 발생하는 큰 신호를 찾아서, 빠르게 감쇄하는 것을 의미하며, popnoise_gain값을 말한다.
Dynamic Range Control은 음성 신호의 dynamic range 를 조절하는 것을 의미하며, Dynamic Range Control game(drc_gain)은 다음의 수식과 같이 계산될 수 있다.
drc_gain = drc_target_power / (avg_power * agc_gain * popnoise_gain)
리미터(Limiter)는 임계값(threshold)보다 큰 크기를 threshold로 만들어 주는 역할을 하며, 리미터 게임(limiter_gain)은 다음 수식으로 정의될 수 있다.
limiter_gain = limit_target_power / (avg_power * agc_gain * popnoise_gain * drc_gain), 0 < limiter_gain < 1
도 12 및 도 13은 본 발명의 일 실시 예에 따른 분리된 오디오 객체를 독립적으로 제어하기 위한 방법을 설명하기 위한 개념도이다.
본 발명의 일 실시 예에 따른 소리 제어 장치에 따르면, 도 12에 도시된 바와 같이, 한 컨텐츠 내에서 음성의 레벨 차이를 보정할 수 있다.
예를 들어, 컨텐츠의 제작 환경으로 인해 컨텐츠 내에서도 사람 간의 음성/음량의 편차가 크게 발생하는 경우가 발생될 수 있다.
이 때, 본 발명의 소리 제어 장치는, 음성의 크기가 작은 오디오 객체를 추출하고, 이를 목표 크기만큼 정규화함으로써, 사람 간의 음성 차이를 줄일 수 있다.
일 예로, 소리 제어 장치(800)는, 복수의 사람에 해당하는 오디오 객체가 감지되면, 이들의 정규화를 수행할 수 있는 아이콘(1200)을 생성하여 출력할 수 있으다.
상기 아이콘(1200)이 선택되면, 소리 제어 장치(800)는, 컨텐츠에 포함된 오디오 신호에서, 복수의 사람에 해당하는 오디오 객체들의 크기가 정규화되도록 하여, 복수의 오디오 객체 간 음성의 크기를 정규화할 수 있다.
또한, 본 발명의 소리 제어 장치는, 컨텐츠 배경음의 왜곡없이 음성의 밸런스(또는 음성의 볼륨)을 보정할 수 있다.
예를 들어, 컨텐츠의 배경음과 음성의 음량 편차가 크게 발생하여, 배경음에 볼륨을 맞출 경우 음성이 들리지 않고 음성에 볼륨을 맞출 경우 배경음이 과도하게 크게 들리는 불편이 발생될 수 있다.
본 발명의 소리 제어 장치는, 오디오 객체를 추출하고, 이들을 독립적으로 보정(밸런싱, 볼륨 조절, 정규화)함으로써, 배경음과 분리된 음성을 정규화 해주어서 배경음 왜곡없이 사용자가 인지가능하도록 음성의 밸런스를 보정할 수 있다.
한편, 본 발명의 소리 제어 장치는, 배경음과 분리됨 음성의 크기를 자유롭게 조정할 수 있다.
도 13에 도시된 바와 같이, 소리 객체 추출 모듈은 입력된 오디오 신호(마이크를 통해 수신된 오디오 신호 또는, 차량의 인포테인먼트/차량 디스플레이에서 실행된 컨텐츠의 오디오 신호)에서 배경음과 음성에 해당하는 오디오 객체들을 추출할 수 있다. 이 때, 소리 객체 추출 모듈은, DNN 모델을 통해 분리된 음성을 활용하여 컨텐츠 내의 음성의 크기를 자유롭게 조정할 수 있다.
예를 들어, 소리 제어 장치의 음량 제어부는, 기존 전체 오디오 컨텐츠의 음량을 조절하는 볼륨 키에, 음성 조절 볼륨 키(1300a)를 추가할 수 있다.
여기서, 상기 음성 조절 볼륨 키를 통해 음성 볼륨이 확대되면, 소리 제어 장치의 음량 제어부는, 오디오 신호에 포함된 오디오 객체 중 음성 객체의 볼륨을 확대하고, 배경음 객체의 볼륨은 유지하여 음성의 크기만을 자유롭게 조정할 수 있다.
도 14는 본 발명의 다른 실시 예에 따른 소리 제어 장치를 설명하기 위한 개념도이다.
본 발명의 일 실시 예에 따른 소리 제어 장치는, 차량 외부에 구비된 실외 마이크, 차량 내부에 구비된 실내 마이크, 상기 실외 마이크 및 상기 실내 마이크 중 적어도 하나로부터 수신된 오디오 신호에서 적어도 하나의 오디오 객체를 추출하는 소리 객체 추출 모듈(810) 및 상기 소리 객체 추출 모듈에서 추출된 오디오 객체 신호를 이용하여, 오디오 기능으로 렌더링하는 소리 객체 렌더러(820)를 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따른 소리 제어 장치는, 수신된 오디오 신호를 분석하여 장르를 분류하고, 장르별 확률값을 생성하는 장르 인식기(1401), 상기 소리 객체 추출 모듈에서 추출된 오디오 객체들 각각의 크기를 측정하고, 측정된 오디오 객체들의 크기를 시각화하는 음량 측정부(1402) 및 상기 장르 인식기에서 분류된 장르에 근거하여, 상기 오디오 객체들별로 다른 볼륨을 적용하는 음량 제어부(1403)를 포함할 수 있다.
상기 소리 객체 모듈(810)(또는 1400)은, 입력으로 들어온 오디오 신호(또는, Mixture 신호)에서 분리 가능한 오디오 객체(Voice, Music, Effect) 들을 분리할 수 있다.
장르 인식기(1401)는 입력으로 들어온 Mixture 신호를 분석하여 현재 신호의 장르(Voice, Music, Moive)를 분류하고 장르별 확률값(P_voice, P_music, P_effect)을 전달할 수 있다.
음량 측정부(1402)는, 분리 된 오디오 객체들 각각의 크기를 측정 (M_voice, M_music, M_effect)하고, 측정 된 객체의 크기를 이용하여 시각화(visualization)해주는 사용자 인터페이스(User Interface, UI)를 생성 및 출력(또는 제공)할 수 있다.
상기 사용자 인터페이스는, 음량의 실시간 크기를 visualization 해주면서, peak 치를 기록해 두도록 형성될 수 있다.
또한, 상기 사용자 인터페이스는, 객체별로 음량을 조절 할 때, 현재 음량의 실시간 크기를 보면서 peak치를 제어하도록 형성될 수 있다.
상기 음량 제어부(1403)는, 추출된 오디오 객체별로 볼륨을 제어하는 것이 가능한 사용자 인터페이스를 생성할 수 있다.
상기 오디오 객체는, 음성(Voice) 객체, 음악(Music) 객체 및 효과음(Effect) 객체(Voice, Music, Effect)를 포함할 수 있다.
도 14를 참조하면, 상기 음량 제어부는, 복수의 모드를 제공하고, 상기 복수의 모드는, 각 모드별로 상기 오디오 객체들의 볼륨이 다르게 설정되도록 형성될 수 있다.
상기 복수의 모드는, Manual 모드, Auto 모드, MR 모드, Night 모드, Voice Normalizer 모드 등을 포함할 수 있다.
본 발명의 소리 제어 장치는, 분리(추출)된 객체를 이용하여 차별화된 동작모드(Function mode)를 제공할 수 있다.
매뉴얼 모드(Manual mode)는 사용자의 의도대로 볼륨(volume)을 조절 할 수 있는 모드이다.
오토 모드(Auto mode)는 음악 재생 앱으로 음악을 재생하거나, 음악 감상 (장르 정보 혹은 장르 분류기로부터의 정보를 이용하여)의 경우 음성을 별도로 강화하지 않도록 하여 음악감상에 저해되지 않도록 함는 기능을 제공할 수 있다.
또한, 오토 모드는 그외의 동영상 앱이나 라디오, 스트리밍 서비스의 경우 음성을 추출하고 이를 강화하도록 형성될 수 있다.
오토 모드는, 라디오, 지상파, 동영상 재생 플랫폼에서 재생되는 스트리밍, 드라마,영화, 뉴스, 시사 등과 같은 프로그램의 정보를 인지하고, 음성을 추출하여 및 음성 음량 정규화 및 음성 명료도를 향상시키는 기능을 제공할 수 있다.
MR 모드(MR mode)는 음성(Voice) 및 음악(Music)으로 구성된 컨텐츠 내에서 Voice Volume을 0에 가깝게 되도록 제어하여 MR 음원 생성 및 저장기능 제공할 수 있다.
나이트 모드(Night mode)는 음성 객체(Voice) 이외의 신호의 크기를 줄여서, 음성의 전달력을 높이고 효과음은 줄여줄이는 모드를 말한다.
음성 노멀라이즈 모드(Voice Normalizer mode)는 동일 컨텐츠내 음성레벨 차이를 보정하는 모드일 수 있다.
또한, 음성 노멀라이즈 모드는, 동일 컨텐츠내 배경음과 음성간 레벨 보정하는 모드, 동일 서비스내 서로 다른 컨텐츠가 음성 레벨 밸런스를 보정하는 모드 및 서로 다른 서비스간 서로 다른 컨텐츠간 음성 레벨 밸런스 보정하는 모드를 포함할 수 있다.
또한, 음량 제어부는, 동작 모드, 장르인식기에서 인식된 장르 및 EPG(Electric Program Guide) 정보 중 적어도 하나에 근거하여 객체별로 다른 볼륨을 적용할 수 있다.
본 발명의 소리 제어 장치(800)는, 객체 별 오디오를 각각의 볼륨을 적용한 후 다시 스테레오(stereo) 채널로 믹스(mix)하는 다운믹서(Downmix)를 더 포함할 수 있다.
도 15는 본 발명의 오디오 객체별 제어를 수행하기 위한 인터페이스를 나타낸 도면이다.
도 15를 참조하면, 소리 제어 장치에서 제공하는 사용자 인터페이스는, 도15와 같을 수 있다.
상기 사용자 인터페이스는, 객체분리 컨텐츠 재생시 컨텐츠 볼륨(1500)과 개별적으로 제어 가능한 음성 볼륨 키(1501)를 별도로 출력하도록 형성될 수 있다.
음성 노멀라이저 모드가 온 되어 있는 경우, 상기 사용자 인터페이스는, 기존 볼륨 키를 아래 위로 조작하다가, 우측으로 커서를 옮기면 보이스 볼륨 키가 생성 되고 보이스 볼륨을 좌/우 양쪽으로 조절하여 음성의 크기를 조절 가능하도록 형성될 수 있다.
도시되진 않았지만, 상기 사용자 인터페이스에는, 객체 분리 컨텐츠 재생시 컨텐츠 Volume과 개별제어 가능한 음악 볼륨 키(Music Volume key) 또는 효과 볼륨 키(Effect volume key)가 상기 컨텐츠 볼륨 제어바(1500)와 함께 표시될 수 있다.
한편, 본 발명의 소리 제어 장치는, 위치 기반 음향 보상기능을 제공할 수 있다.
예를 들어, 소리 제어 장치는, 시스템 사운드 (네비게이션 안내 목소리, 경고음 등) 등을 mixture 음원에서 분리, 혹은 별도로 시스템 사운드가 분리되어 입력되는 음원을 차량의 운전석에 렌더링하여 주행 정보를 운전자에게 포커싱하여 제공하는 소리 포커싱(Sound Focucing) 기능을 제공할 수 있다.
또한, 소리 제어 장치는, 사용자 위치에 기반하여 복수의 객체별 재생위치를 가변하여 재생할 수도 있다.
또한, 소리 제어 장치는, 멀티 컨텐츠에서 객체분리 후 동일 속성의 컨텐츠 및 객체간 우선순위에 따라 재생 제어하는 멀티 컨텐츠 제어 모드, 리모컨 마이크를 통해 주변의 소리를 취득하면서, 주변이 시끄러운 경우 음성의 음량을 키워주고, 주변이 조용한 경우 배경음의 소리를 줄여주는 청취 환경 적응형 음성 볼륨 기능 및 여러사람의 목소리를 분리하여, 각 사람 별 목소리의 음량의 크기를 제어할 수 있는 화자분리를 통한 음성 객체별 볼륨 제어 기능을 제공할 수도 있다.
본 발명의 소리 제어 장치는, 다양한 차량 sound 환경에서 사용자에게 상황에 맞는 최적의 오디오 경험을 제공할 수 있다.
이를 위해, 본 발명의 소리 제어 장치는, 차량의 내/외부 소리에 대해 AI를 통해 객체별로 그 성분을 분리, 개별 특성을 분석할 수 있다.
또한, 본 발명의 소리 제어 장치는, 소리 객체별로 영상 객체를 매핑(mapping) 하는 직관적인 시각화된 인터페이스(Visual I/F)를 제공할 수 있다.
또한, 본 발명의 소리 제어 장치는, 상황 및 사용 목적에 따른 시나리오 별로 차량 내 출력 Sound를 동적으로 재구성 할 수 있는 시스템을 제공할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 인공지능 기반 차량용 증강 소리 시스템을 설명하기 위한 개념도이고, 도 17은 도 16에서 살펴본 시스템의 데이터 흐름을 설명하기 위한 흐름도이다.
도 16 및 도 17을 참조하면, 본 발명은 소리 객체 추출 모듈(810)을 포함할 수 있다. 상기 소리 객체 추출 모듈(810)는, 차량 외부에 구비된 실외 마이크(120)를 통해 수신되는 오디오 신호에서 오디오 객체를 추출하는 실외 소리 객체 추출 모듈(811), 차량 내부에 구비된 실내 마이크(211)를 통해 수신되는 오디오 신호에서 오디오 객체를 추출하는 실내 소리 객체 추출 모듈(812) 및 차량에서 컨텐츠(미디어)를 제공할 수 있는 장치(ADAS 기능, IVI(In-Vehicle Infortainment))에서 재생되는 오디오 신호에서 오디오 객체를 추출하는 출력 소리 객체 추출 모듈(813)을 포함할 수 있다.
앞서 설명한 소리 객체 렌더러(820)는, 추출된 오디오 객체별 소리의 방향, 속성 및 특징 중 적어도 하나에 근거하여, 소리 객체 컨텍스트 정보를 생성할 수 있다.
앞서 설명한 음량 측정부(1402)는, 상기 소리 객체 컨텍스트 정보를 이용하여 오디오 객체에 대응하는 그래픽 객체를 생성하는 소리 객체 시각화모듈(Sound 객체 Visualizer)(830)을 포함할 수 있다.
음량 측정부(1402)는, 상기 소리 객체 시각화모듈(830)에서 생성된 그래픽 객체를 차량의 디스플레이(또는 IVI)에 출력할 수 있다.
이 때, 상기 소리 객체 시각화모듈은, 차량에 구비된 센서에서 센싱된 정보(예를 들어, 카메라에서 센싱된 vision 정보, ADAS 센서 정보, 차량 센서 정보, V2X 정보 등)을 반영하여, 오디오 객체에 대응하는 그래픽 객체를 생성할 수 있다.
또한, 상기 소리 객체 시각화모듈은, 차량에 구비된 센서에서 센싱된 정보를 반영하여, 차량 외부, 차량 내부 또는 컨텐츠(미디어)에서 오디오 신호를 발생시키는 음원 자체에 대응되는 그래픽 객체를 생성하고, 상기 음원에 대응되는 그래픽 객체를 차량의 디스플레이(또는 IVI)에 출력할 수도 있다.
음량 제어부(1403)는, 앞서 설명한 그래픽 객체가 선택되면, 상기 그래픽 객체에 대응하는 오디오 객체에 대한 오디오 증강 시나리오(또는 음원에 대한 오디오 증강 시나리오)를 생성할 수 있다.
이러한 오디오 증강 시나리오는, 도 8에서 설명한 소리 증강 시나리오 관리 모듈(840)에 의해 관리 및 저장될 수 있으며, 상기 소리 증강 시나리오 관리 모듈은, 상기 음량 제어부(1403)에 포함될 수 있다.
상기 소리 증강 시나리오 관리 모듈(840)에서는, 장르 인식기에서 인식된 장르 및 그래픽 객체에 대응하는 시나리오에 따라 어느 오디오 객체를 증강시킬지 구성(Configuration)이 미리 설정된 복수의 시나리오가 저장되어 있을 수 있다.
예를 들어, 상기 오디오 증강 시나리오는, 객체 카테고리, 객체 속성, 구동 기능 및 가공할 소리 스트림의 종류 중 적어도 하나를 설정하여 형성될 수 있다.
상기 음량 제어부는, 상기 오디오 증강 시나리오에 근거하여, 오디오 증강 시나리오에 대응되는 소리 효과를 증강시킬 수 있다.
이러한 소리 효과에 대한 증강은, 출력 소리 증가 모듈(850)에 의해 수행될 수 있으며, 상기 출력 소리 증가 모듈(850)은 음량 제어부(1403)에 포함되거나, 음량 제어부(1403)의 제어에 의해 제어될 수 있다.
도 17을 참조하면, 소리 제어 장치는, 실내외 마이크 입력을 구동하고, 소리 입력 버퍼의 PCM 데이터를 읽을 수 있으며(S1701), 싱글 혹은 멀티 채널의 오디오 PCM을 소리 객체 추출 모듈(811, 812)에 입력할 수 있다.
실외 소리 추출 모듈(811)은 일 예로, 복수의 오디오 객체(e1, e2, e3)를 추출하고, 실내 소리 추출 모듈(812)은 일 예로, 복수의 오디오 객체(i1, i2)를 추출할 수 있다.
또한, 출력 소리 객체 추출 모듈(813)은, 일 예로, 차량 인포테인먼트에서 출력되는 컨텐츠의 오디오 버퍼의 PCM 데이터를 읽을 수 있으며(S1704), 싱글 혹은 멀티 채널의 오디오 PCM을 소리 객체 추출 모듈(813)에 입력할 수 있다.
출력 소리 추출 모듈(813)은 일 예로, 복수의 오디오 객체(o1, o2)를 추출할 수 있다.
이후, 소리 제어 장치는, 분리된 소리 객체별 데이터 풀(e1, e2, e3, i1, i2, o1, o2)을 생성할 수 있다(S1703).
출력 소리 추출 모듈(813)은, 객체별 소리 방향, 속성, 특징을 소리 객체 렌더러로 전송하고(S1706), 소리 객체 렌더러는, 소리 객체 컨테스트를 생성할 수 있다.
소리 객체 컨텐츠 정보가 생성되면, 소리 객체 렌더러는, 소리 객체의 종류, 안전한 이벤트인지 여부, 음성/미디어 유사도 정보를 추출하고, 음량 측정부(구체적으로, 소리 객체 시각화모듈)로 전송할 수 있다(S1707).
음량 측정부(소리 객체 시각화 모듈)은, 수신된 정보와, 차량의 센서에 의해 측정된 정보(Vision 정보, ADAS 센서 정보, 차량 센서 정보, V2X 정보)를 수신하고(S1708), 이를 이용하여 소리 객체별 영상 객체를 생성 및 디스플레이에 매핑하여 표시할 수 있다(S1709).
또한, 음량 측정부(소리 객체 시각화 모듈)은, 개별 객체를 선택하고 제어할 수 있는 사용자 인터페이스도 생성할 수 있다(S1709).
이후, 소리 증강 시나리오 관리 모듈(840)(또는, 음량 제어부)는, 소리 객체별 강화/억제/변경 구성(Configuration)을 제공하고, 객체 카테고리별 이력을 관리할 수 있다(S1710).
출력 소리 증강 모듈(850)(또는 음량 제어부)는, 원 오디오 신호(입/출력 원음 Sound 데이터)와 분리된 오디오 객체 풀 및 소리 증강 시나리오를 수신하고, 이를 이용하여 소리 객치의 증강 효과를 위해 스피커별 출력음을 배치하고(S1711), 스피커 채널별로 소리를 출력할 수 있다(S1712).
즉, 본 발명에서는, 소리 객체를 분리하고, 소리 객체 컨텍스트를 생성하며, 소리 객체를 시각화하고, 소리 증강 시나리오를 관리하며, 출력 소리를 증강하는 단계를 수행할 수 있다.
구체적으로, 소리 제어 장치는, 소리 객체 추출 모듈을 통해 소리 객체 분리를 위해, 차량 외부에서 들어오는 소리들, 차량 내부에서 발생하는 소리들, 미디어 출력으로부터 나오는 소리들에 대해 개별 객체 단위로 구성을 분리할 수 있다.
소리 제어 장치는, 소리 객체 렌더러를 통해 객체 단위로 분리된 Sound 들에 대한 소리 발생 방향, 위치, 종류, 속성 정보 등의 소리 객체 컨텍스트를 생성할 수 있다.
소리 제어 장치는, 음량 측정부(또는 소리 객체 시각화모듈)을 통해, 카메라 등을 이용하여 다수의 영상 객체를 인식하고, 그에 대해 소리 객체를 mapping하여 시각적으로 표시, 선별 제어하는 UI 제공할 수 있다.
소리 제어 장치는, 음량 제어부(또는, 소리 증강 시나리오 관리 모듈)을 통해, 상황 및 사용자 설정에 따른 Sound 증강 시나리오 선택 및 Configuration, 이전 History 관리/자동화를 수행할 수 있다.
소리 제어 장치는, 음량 제어부(또는 출력 소리 증강 모듈)을 통해, 시나리오 configuration 에 따라 선택된 sound 객체별 대한 강화/소거, 음상 위치 (3D) 변경및 추가 효과(effect)를 적용할 수 있다.
이하에서는, 본 발명의 소리 증강을 위한 다양한 실시 예에 대하여 첨부된 도면을 참조하여 보다 구체적으로 살펴보기로 한다.
도 18, 도 19, 도 20, 도 21, 도 22 및 도 23은 본 발명의 소리 제어 장치가 상황별로 소리를 증강시키기 위한 실시 예들을 나타낸 개념도이다.
소리 제어 장치는, 실외 다수 소리 객체에 대한 선택적 제어를 수행할 수 있다.
도 18을 참조하면, 차량 외부에서 정차 중에 주변 차량 소리, 공사장소리, 거리 event 소리가 들리는 경우가 있을 수 있다.
이 경우, 소리 제어 장치는, 외부 소리들에 대해 객체 분리(1810, 1820) 및 속성 정보 추출할 수 있다.
예를 들어, 속성 정보는, 제1 속성(e1)은 {실외, 전방 우측 30도}, 제2 속성(e2)은 {실외, 전방 우측 60도}를 의미할 수 있다.
소리 제어 장치는, 객체 분리 모듈로부터 얻은 속성 정보와 특징 데이터를 통해 종류, 카테고리 판단후 다이나믹 테이블을 통해 소리 객체 컨텍스트 정보를 생성할 수 있다.
예를 들어, 소리 객체 컨텍스트 정보는, 실외 공사음(드릴소음, 시끄러운 수준 볼륨, 전방 우측 30도)와 실외 거리소음(이벤트음악/음성, 중간 수준 볼륨, 전방 우측 60도) 등의 형태로 생성될 수 있다.
소리 객체 시각화 모듈은 카메라 정보 기반으로 적어도 하나 이상의 외부 영상(그래픽) 객체를 검출하여 해당 위치 정보와 소리 객체 컨텍스트 정보와 매핑하고, 이를 사용자에게 시각화된 피드백(1811, 1821)을 제공할 수 있다.
예를 들어, 또한, 음량 제어부는, 특정 영상 객체 (공사장)에 대한 touch를 통해 해당 sound 객체에 대한 내부 사용자 소리가 저감되도록 동작하는 시나리오 시작할 수 있다.
구체적으로, 소리 증강 시나리오 관리 모듈은, 사용자 요구를 받아 신규 Sound 증강 시나리오 생성할 수 있으며, 시나리오는, (Scenario A = 외부, 특정 Sound 객체, 소음 저감 요청)과 같은 내용을 포함할 수 있다.
또한, 소리 증강 시나리오 관리 모듈은, 해당 시나리오에 맞게 증강 Sound AI 가 동작할 수 있는 구성(Configuration)을 생성 및 전달할 수 있다.
시나리오의 내용은 객체 카테고리(실외 근거리 주기성 소음), 객체 속성(전방 우측 30도, 저대역 소음), 구동 Fucntion(Active noise canceller 동작), 가공할 Sound Stream 선택(분리된 실외 Sound Stream e1 (+실외 마이크 원음), 실내 reference 마이크 원음)을 포함할 수 있다.
출력 소리 증강 모듈은, 상기 구성(configuration)에 따라 필요한 sound data stream을 선택하여 입력하고 해당 기능에 맞는 파라미터(AI parameter)를 구동할 수 있다(전방 공사장 드릴 소음 저감하도록 실내 출력 Sound 성분 재구성)
한편, 상기 음량 제어부는, 상기 오디오 신호의 근원지가 카메라를 통해 수신되는 영상에서 미식별되는 경우, 오디오 신호의 근원지를 확인할 수 있도록 시각화된 그래픽 객체를 차량의 디스플레이에 출력할 수도 있다.
도 19를 참조하면, 본 발명의 소리 제어 장치는, 사각 영역 소리 이벤트 정보를 제공하고, 소음 효과를 증강시킬 수 있다.
예를 들어, 도 19의 (a)에 도시된 것과 같이, 전방 우측 사각 지대에서 안전 관런 소리(예를 들어, 사이렌 소리)가 출력되는 경우가 있을 수 있다.
이 경우, 소리 제어 장치는, 객체 분리 모듈을 통해 다음과 같이, 외부 sound 들에 대해 객체 분리 및 다양한 속성 정보를 추출할 수 있다(stream data e1, 속성={실외, 전방 우측 x도 방향}, x는 매초 단위 추출)
이후, 소리 제어 장치는, Sound 객체 Context 정보 생성을 위해 소리 객체 추출 모듈로부터 얻은 속성 정보와 특징 데이터를 통해 종류, 카테고리 판단후 Dynamic table을 생성할 수 있다(실외 사이렌 소음, 시끄러운 수준 볼륨, 전방 우측 x도)
소리 제어 장치는, 소리 객체 시각화모듈을 통해, 소리 객체 컨텍스트 정보를 이용하여, 카메라에서 들어온 영상 정보 혹은 지도 정보 위에 적절한 위치에 가상 그래픽 객체로 매핑하여 사용자에게 시각화 피드백을 제공할 수 있다(해당 객체 (구급차)에 대한 touch를 통해 해당 sound 객체에 대한 내부 사용자 Sound를 통해 상대 위치를 더 잘 알 수 있도록 보강하는 시나리오 시작).
소리 제어 장치는, 소리 증강 시나리오 관리 모듈을 통해, 신규 Sound 증강 시나리오 생성할 수 있다(Scenario B = 외부, 특정 Sound 객체, 3D 효과 증강)
또한, 소리 제어 장치는, 소리 증강 시나리오 관리 모듈을 통해 해당 시나리오에 맞게 증강 Sound AI 가 동작할 수 있는 구성을 생성 및 전달할 수 있다(객체 카테고리 = 실외 원거리 지속성 소음, Safety 정보, 객체 속성 = 전방 우측 x도, 저대역 소음, 구동 Fucntion = 3D sound, 가공할 Sound Stream 선택 = 분리된 실외 Sound Stream e1 (+실외 마이크 원음))
또한 소리 제어 장치는, 증강했던 안전 관련 소리(Safety sound (사이렌))에 대해 이력을 관리해서 추후 UI 자동화하여 편의 제공할 수도 있다.
소리 제어 장치는, 출력 소리 증강 모듈을 통해, 상기 시나리오 구성(configuration)에 따라, 전방 사이렌 소음 위치정보 명확해 지도록 실내 출력 Sound 성분 재구성할 수 있다.
한편, 소리 제어 장치는, V2X/ADAS 등을 통해 사각지대 물체에 대한 정보를 알고, 외부 소음이 충분하지 않은 경우, 소리 객체 컨텍스트 정보를 가상으로 생성하고, IVI 시스템이 가상으로 해당 물체 원음을 생성하여, 사각 지대 물체 위치에 대한 정보를 직관적으로 제공할 수 있다. 추가적으로, 음량 제어부는, 상기 물체에 대한 정보에 대응되는 그래픽 객체(1901)를 차량의 디스플레이에 출력할 수도 있다.
또한, 소리 제어 장치는, 외부 소음이 충돌음과 같이 단발성인 경우, 3단계에서 UI로 해당 객체를 선택했을 때 V2X 등으로 추가 상세 정보를 출력할 수 있다.
한편, 음량 제어부는, 차량에 포함된 인포테인먼트에서 관심장소에 대한 안내음 또는 광고를 출력할 때, 관심장소의 위치에 대응되는 장소에 위치한 스피커를 통해 소리가 출력되도록 차량의 스피커를 제어할 수 있다.
예를 들어, 도 20에 도시된 바와 같이, 소리 제어 장치는, 정보 제공을 위한 IVI 출력음을 증강시킬 수 있다.
예를 들어, IVI(In-Vehicle Infortainment)에서 특정 POI(2000)를 위해 등록된 안내음/광고를 출력하는 경우가 있을 수 있다.
소리 제어 장치는, 소리 객체 추출 모듈을 통해 IVI 출력 sound에 대해 음성과 배경 음악으로 객체 분리 및 다양한 속성 정보 추출할 수 있다(stream data o1, 속성={IVI, 음성}, stream data o2, 속성={IVI, 음악})
소리 제어 장치는, 객체 분리 AI로 부터 얻은 속성 정보와 feature data를 통해 종류, 카테고리 판단 후 다이나믹 테이블을 통해 소리 객체 컨텍스트 정보를 생성할 수 있다(IVI 출력, POI 안내 음성, 중간 수준 볼륨 IVI 출력, 배경 음악, 중간 수준 볼륨)
소리 제어 장치는, 소리 객체 컨텍스트 정보, 차량과 POI의 상대 위치 정보를 이용하여 카메라 영상 또는 지도 정보 위에 적절한 위치에 가상 그래픽 객체로 매핑하여 사용자에게 시각화된 피드백(2001)을 줄 수 있다( 해당 객체 (POI 가상배너)에 대한 touch를 통해 POI의 음성안내를 통해 자차에 대한 상대 위치를 더 잘 알 수 있도록 보강하는 시나리오 시작).
소리 제어 장치는, 소리 증강 시나리오 관리 모듈을 통해, 신규 Sound 증강 시나리오 생성할 수 있다(Scenario C = 내부, 특정 IVI 안내음, 3D 효과 증강)
이후, 소리 제어 장치는, 해당 시나리오에 맞게 증강 Sound AI 가 동작할 수 있는 Configuration 전달할 수 있다(객체 카테고리 = IVI POI 안내 음성, 객체 속성 = 전방 좌측 x도, Wide band, 구동 Fucntion = 3D sound,가공할 Sound Stream 선택 = 분리된 Sound Stream o1 + o2)
소리 제어 장치는, 안전 관련 소리(Safety sound)가 나오는 경우, 일시적으로 안내 음성 지연 출력 시간 관리, 안내 음성 중 일반 미디어 사운드 Mute 하는 등 시니리오 우선 순위를 관리할 수 있다.
소리 제어 장치는, 출력 소리 증강 모듈을 통해, configuration에 따라, 균일한 배경음악 (o2) + 해당 POI 위치로부터 직접 음성 안내를 받는 것 같은 느낌을 받을 수 있게 (o1에 대해) 3D sound effect 증강 효과 부여할 수 있다.
소리 제어 장치는, 다양한 상황에서의 IVI 출력음 증강 효과를 이용할 수 있다.
예를 들어, 소리 제어 장치는, 목적지로 선택한 POI 근처에 오면 IVI에서 자동으로 나를 향해 안내 시작할 수 있다(건물에 가려 있더라도 직관적으로 위치를 인지하게 할 수 있음).
또한, 소리 제어 장치는, ADAS 등을 통해 해당 POI 건물 주차장으로 들어가는 것을 인지하여, 2차 안내음 출력할 수 있다(주차장과 동일 층에 POI가 있는 경우 층을 확인하지 않더라도 얼마나 가까워 지고 있는 지 알 수 있음).
또한, 소리 제어 장치는, 여행 중, 현재 차량 근처 식당 정보 혹은 주요 POI (박물관) 정보를 간단하게 알고 싶을 경우, 근거리 상에서만 광고/정보 전달 함으로써 필요한 순간에 성가시지 않게 자연스럽게 전달할 수 있다.
또한, 소리 제어 장치는, AR display 기능과 함께 특정 위치에 voice tagging 된 경우, 마치 그 memo위치에서 나에게 안내를 해 주는 효과를 줄 수 있다(주차장 Gate에서 진입 차량에 주차 안내원이 특이 정보 미리 알려주는 경우와 같은 효과).
한편, 상기 음량 제어부는, 차량의 운전자가 차량에서 출력되는 음악에 맞추어 노래하는 것이 감지되면, 상기 음악에 포함된 보컬 소리를 줄이고, 운전자의 소리에 음향 효과를 부여하여 스피커를 통해 출력할 수 있다.
도 21에 도시된 바와 같이, IVI에서 나오는 음악에 맞추어 사용자가 노래를 따라 부르는 경우(2100)일 수 있다.
이 경우, 소리 제어 장치는, IVI 출력 sound에 대해 음성과 배경 음악으로 객체 추출 및 속성 정보 추출을 수행할 수 있다(stream data o1, 속성={IVI, 라디오, 음성},: stream data o2, 속성={IVI, 라디오, 음악}, 실내 마이크 sound로 부터 음성 객체 분리, stream data i1, 속성={실내, 음성, 운전석 방향})
소리 제어 장치는, 소리 객체 컨텍스트 정보(IVI 출력, 메인 보컬 음성, 중간 수준 볼륨, IVI 출력, 악기음악, 중간 수준 볼륨, 실내 운전자 노래 음성, 큰 수준 볼륨, IVI 출력 메인 보컬과 유사도 높음)를 생성할 수 있다.
소리 제어 장치는, 소리 객체 컨텍스트 정보 들을 이용하여 실내 차량 그림 위에 Seat 별로 mapping 하여 노래를 부르고 있는 위치에 대한 시각화된 피드백(2100)을 제공할 수 있다(해당 seat에 대한 touch를 통해 해당 위치로부터의 음성에 대해 최적의 노래방 effect 적용하는 시나리오 시작)
소리 제어 장치는, 신규 소리증강 시나리오 생성하고(Scenario D = 내부, 라디오 사운드, 실내 노래방 모드), 해당 시나리오에 맞게 증강 Sound AI 가 동작할 수 있는 Configuration 전달할 수 있다(객체 카테고리 = 라디오 메인 보컬, 음악, 승객 음성, 객체 속성 = 운전석 방향, Wide band, 구동 Fucntion = 라디오 메인 보컬 음량 축소, 운전자 방향 음성에 에코 강화, 가공할 Sound Stream 선택 = 분리된 Sound Stream i1, o1, o2)
소리 제어 장치는, 상기 configuration에 따라 라디오 음악 (o2) + 줄어든 Vocal sound (o1) + 내가 부른 노래 (i1) 에코 효과 증강 효과 부여할 수 있다.
소리 제어 장치는 주행 규제나 운전 안전성에 따라 출력 여부나 형태를 조절할 수 있다. 특히, 소리 제어 장치는, 안전 관련 소리(Safety sound)가 입력되면 노래방 effect 줄이고 해당 알람이나 소리를 강화해서 운전자에게만 전달할 수 있다.
한편, 음량 제어부는, 차량에서 음악이 재생중인 상태에서, 내비게이션 경로 안내가 출력되는 경우, 재생중인 음악의 보컬 소리를 줄이고, 내비게이션 경로 안내에 대한 볼륨을 높일 수 있다.
도 22를 참조하면, IVI (In-Vehicle Infotainment)에서 라디오/음악 재생 중, 경로 안내를 수행하는 경우일 수 있다.
이 경우, 소리 제어 장치는, 객체 추출을 수행할 수 있다(: stream data o1, 속성={IVI, 라디오, 음성}, stream data o2, 속성={IVI, 라디오, 음악}, stream data o3, 속성={IVI, 내비게이션 음성})
이후, 소리 제어 장치는, 소리 객체 컨텍스트 정보를 생성할 수 있다(IVI 출력, 메인 보컬 음성, 중간 수준 볼륨, IVI 출력, 악기음악, 중간 수준 볼륨 , IVI 출력, 내비게이션 음성, 중간 수준 볼륨)
소리 제어 장치는, 내비게이션 안내음(2200)이 출력되는 위치에 대한 시각화된 피드백을 제공하고, 소리 증강 시나래오를 생성할 수 있다(Scenario D = 내부, 라디오 사운드, 내비게이션 경로 안내)
소리 제어 장치는, 해당 시나리오에 맞게 증강 Sound AI(음량 제어부)가 동작할 수 있는 구성(Configuration)을 생성 및 전달할 수 있다(객체 카테고리 = 라디오 메인 보컬, 음악, 내비게이션 안내 음성, 객체 속성 = 운전석 방향, Wide band, 구동 Fucntion = 라디오 메인 보컬 음량 축소/제거, 가공할 Sound Stream 선택 = 분리된 Sound Stream o1, o2, o3)
소리 제어 장치는, 구성(Configuration)에 따라 라디오 음악 (o2) + 줄어든(또는 제거된) Vocal sound (o1) + 내비게이션 안내 음성 (o3)을 증강시킬 수 있다.
소리 제어 장치는, 운전자에게 경로 안내 음성이 잘 들릴 수 있도록 라디오나 스트리밍 오디오의 음성 객체(vocal sound)를 제거(또는 아주 작게 조절)할 수 있다.
또한, 경로 안내음과 줄어든 음성 객체(vocal sound)는 운전자에게만 한정되도록 사운드 출력을 구성할 수도 있다(다른 사용자들은 음성 객체가 원래 크기로 들리도록 차량 스피커 제어).
한편, 음량 제어부는, 차량이 주행중인 차로에서 좌측 혹은 우측에 치우쳐있는지에 대한 정보를 차량으로부터 수신하고, 차량이 치우친 방향에 근거하여, 차량의 스피커를 통해 출력되는 소리의 좌우 볼륨 밸런스를 가변할 수 있다.
예를 들어, 소리 제어 장치는, 미디어 사운드 밸런스를 이용한 안전 운전 유도 및 주의를 환기시킬 수 있다.
예를 들어, 도 23을 참조하면, 운전 중 비내리는 밤 혹은 안개 등으로 시야가 어두운 경우이거나, 자율 주행 환경에서 직접 주행으로 전환하기 이전 대기 상태일 수 있다.
소리 제어 장치는, IVI 출력 sound에 대해 음상이 가운데 있는 객체와 좌/우측 에 있는 객체 구분할 수 있다(stream data o1, 속성={IVI, 음성, Central}, stream data o2, 속성={IVI, 악기1, Left}, stream data o3, 속성={IVI, 악기2, Right})
소리 제어 장치는, 속성 정보와 특징 데이터를 이용하여 소리 객체 컨텍스트 정보를 생성할 수 있다(IVI 출력, 메인 vocal, Center, 중간 수준 볼륨, IVI 출력, 전자기타, Left, 중간 수준 볼륨, IVI 출력, 전자피아노, Right, 중간 수준 볼륨)
소리 제어 장치는, 소리 객체 시각화 모듈을 통해, 클러스터(Cluster) 주행 정보 화면 상에 ADAS 등의 sensor 정보를 이용하여 차량과 차선의 상대 위치 정보를 표시, 이때 깜박이 없이 차선 좌측으로 쏠리기 시작하면, 차선 경계 근접 알람을 시각화하여 나타낼 수 있다
예를 들어, 소리 제어 장치는, 사전에 안전을 위한 미디어 사운드 밸런스 기능 On 설정이 돼 있는 상태라면, 사운드 좌측 쏠림 정도 상태 표시하고(2300a, 2300b), 사운드 밸런스 조정 시나리오 시작할 수 있다(Scenario E = 내부, 미디어 밸런스 왜곡, 차선 유지 유도).
소리 제어 장치는, 해당 시나리오에 맞게 증강 Sound AI 가 동작할 수 있는 Configuration 전달할 수 있다(객체 카테고리 = 미디어 메인 보컬, 좌측 악기, 우측 악기, 객체 속성 = Wide band, 구동 Fucntion = 왜곡된 3D sound + 차선 경계음, 가공할 Sound Stream 선택 = 분리된 Sound Stream o1 + o2 + o3)
소리 제어 장치는, 차문을 여는 경우, 소음으로 인해 3D sound 효과 감쇄되므로 기능을 오프(off)하여 사용자 경험(UX)을 개선할 수 있다.
소리 제어 장치는, 상기 configuration에 따라, 좌측으로 차선 쏠린 정도를 기준으로 중앙 메인 보컬(o1)은 점점 오른쪽에서 들리게, 왼쪽 전자기타(o2)는 바로 귀가까운 쪽에 있는 것처럼, 우측 전자 피아노는 아주 멀리 떨어져 있는 것 처럼 Balance 왜곡하여 점진적인 변화를 자연스럽고 직관적으로 느끼도록 할 수 있다.
소리 제어 장치는, 차선에 아주 가까운 경우, 차선을 타고 지나가는 것 같은 연속성 소음을 좌측에서 느낄 수 있도록 발생시켜 차선 내 차량의 위치를 더 정확하게 경고할 수 있다.
소리 제어 장치는, 자동차가 중앙을 벗어나 한 쪽으로 치우쳐져 있으면 미디어 사운드 좌/우 볼륨 밸런스와 효과 및 가상 차선 경계음을 적절히 조화하여 사용자에게 알림릴 수 있다.
소리 제어 장치는, 차선 중앙을 유지하면 미디어 사운드 좌/우 볼륨 밸런스가 맞게 돌아오고, 차선 경계음을 소멸시킬 수 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 본 발명은 차량 내/외 소리에 대해 개별 객체 단위로 인지하고, 분리하여 제어할 수 있는 새로운 소리 제어 장치 및 그 제어방법을 제공할 수 있다.
둘째, 본 발명은 사용자의 빠른 상황 이해와 사용자의 빠른 상황 이해와 직관적인 제어를 도울 수 있는 직관적인 시각화된 인터페이스를 제공할 수 있다.
셋째, 본 발명은 다양한 차량 센서 결합하여 차량 캐빈 내외의 소리 관련 상황을 판단하고 제어 시나리오 관리할 수 있다.
넷째, 본 발명은 실내 출력 소리를 재가공하고 최적화를 통해 기존과 다른 증강형 사용자 경험(UX)를 제공할 수 있다.
다섯째, 본 발명은 차량 이용 환경에서 다수의 내/외부 소리를 개별 객체 수준으로 제어하여 최적화된 증강 소리 경험을 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
앞서 설명한 소리 제어 장치에 포함된 모든 구성들은, 하드웨어적으로 구현되는 독립된 구성일 수 있으며, 이에 한정되지 않고, 소프트웨어적으로 구현된 컴포넌트일 수도 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (14)

  1. 차량 외부에 구비된 실외 마이크 및 차량 내부에 구비된 실내 마이크 중 적어도 하나로부터 수신된 오디오 신호에서 적어도 하나의 오디오 객체를 추출하는 소리 객체 추출 모듈;
    상기 소리 객체 추출 모듈에서 추출된 오디오 객체 신호를 이용하여, 오디오 기능으로 렌더링하는 소리 객체 렌더러;
    수신된 오디오 신호를 분석하여 장르를 분류하고, 장르별 확률값을 생성하는 장르 인식기;
    상기 소리 객체 추출 모듈에서 추출된 오디오 객체들 각각의 크기를 측정하고, 측정된 오디오 객체들의 크기를 시각화하는 음량 측정부; 및
    상기 장르 인식기에서 분류된 장르에 근거하여, 상기 오디오 객체들별로 다른 볼륨을 적용하는 음량 제어부를 포함하는 소리 제어 장치.
  2. 제 1 항에 있어서,
    상기 음량 제어부는,
    추출된 오디오 객체별로 볼륨을 제어하는 것이 가능한 사용자 인터페이스를 생성하는 것을 특징으로 하는 소리 제어 장치.
  3. 제 1 항에 있어서,
    상기 오디오 객체는,
    음성 객체, 음악 객체 및 효과음 객체를 포함하는 것을 특징으로 하는 소리 제어 장치.
  4. 제 1 항에 있어서,
    상기 음량 제어부는, 복수의 모드를 제공하고,
    상기 복수의 모드는,
    각 모드별로 상기 오디오 객체들의 볼륨이 다르게 설정되어 있는 것을 특징으로 하는 소리 제어 장치.
  5. 제 1 항에 있어서,
    상기 소리 객체 렌더러는,
    추출된 오디오 객체별 소리의 방향, 속성 및 특징 중 적어도 하나에 근거하여, 소리 객체 컨텍스트 정보를 생성하는 것을 특징으로 하는 소리 제어 장치.
  6. 제 5 항에 있어서,
    상기 음량 측정부는,
    상기 소리 객체 컨텍스트 정보를 이용하여 오디오 객체에 대응하는 그래픽 객체를 생성하는 소리 객체 시각화모듈을 포함하고,
    상기 소리 객체 시각화모듈에서 생성된 그래픽 객체를 차량의 디스플레이에 출력하는 것을 특징으로 하는 소리 제어 장치.
  7. 제 6 항에 있어서,
    상기 음량 제어부는,
    상기 그래픽 객체가 선택되면, 상기 그래픽 객체에 대응하는 오디오 객체에 대한 오디오 증강 시나리오를 생성하는 것을 특징으로 하는 소리 제어 장치.
  8. 제 7 항에 있어서,
    상기 오디오 증강 시나리오는,
    객체 카테고리, 객체 속성, 구동 기능 및 가공할 소리 스트림의 종류 중 적어도 하나를 설정하여 형성되는 것을 특징으로 하는 소리 제어 장치.
  9. 제 8 항에 있어서,
    상기 음량 제어부는,
    상기 오디오 증강 시나리오에 근거하여, 오디오 증강 시나리오에 대응되는 소리 효과를 증강하는 것을 특징으로 하는 소리 제어 장치.
  10. 제 1 항에 있어서,
    상기 음량 제어부는,
    상기 오디오 신호의 근원지가 카메라를 통해 수신되는 영상에서 미식별되는 경우, 오디오 신호의 근원지를 확인할 수 있도록 시각화된 그래픽 객체를 차량의 디스플레이에 출력하는 것을 특징으로 하는 소리 제어 장치.
  11. 제 1 항에 있어서,
    상기 음량 제어부는,
    차량에 포함된 인포테인먼트에서 관심장소에 대한 안내음 또는 광고를 출력할 때, 관심장소의 위치에 대응되는 장소에 위치한 스피커를 통해 소리가 출력되도록 차량의 스피커를 제어하는 것을 특징으로 하는 소리 제어 장치.
  12. 제 1 항에 있어서,
    상기 음량 제어부는,
    차량의 운전자가 차량에서 출력되는 음악에 맞추어 노래하는 것이 감지되면, 상기 음악에 포함된 보컬 소리를 줄이고, 운전자의 소리에 음향 효과를 부여하여 스피커를 통해 출력하는 것을 특징으로 하는 소리 제어 장치.
  13. 제 1 항에 있어서,
    상기 음량 제어부는,
    차량에서 음악이 재생중인 상태에서, 내비게이션 경로 안내가 출력되는 경우, 재생중인 음악의 보컬 소리를 줄이고, 내비게이션 경로 안내에 대한 볼륨을 높이는 것을 특징으로 하는 소리 제어 장치.
  14. 제 1 항에 있어서,
    상기 음량 제어부는,
    차량이 주행중인 차로에서 좌측 혹은 우측에 치우쳐있는지에 대한 정보를 차량으로부터 수신하고,
    차량이 치우친 방향에 근거하여, 차량의 스피커를 통해 출력되는 소리의 좌우 볼륨 밸런스를 가변하는 것을 특징으로 하는 소리 제어 장치.
PCT/KR2022/015411 2022-03-30 2022-10-12 소리 제어 장치를 구비하는 차량 WO2023191210A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220039899 2022-03-30
KR10-2022-0039899 2022-03-30

Publications (1)

Publication Number Publication Date
WO2023191210A1 true WO2023191210A1 (ko) 2023-10-05

Family

ID=88203003

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/KR2022/015411 WO2023191210A1 (ko) 2022-03-30 2022-10-12 소리 제어 장치를 구비하는 차량
PCT/KR2022/015413 WO2023191211A1 (ko) 2022-03-30 2022-10-12 소리 제어 장치를 구비하는 차량

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/015413 WO2023191211A1 (ko) 2022-03-30 2022-10-12 소리 제어 장치를 구비하는 차량

Country Status (1)

Country Link
WO (2) WO2023191210A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013223031A (ja) * 2012-04-13 2013-10-28 Yazaki Corp 車両用音響出力制御装置
KR101405221B1 (ko) * 2012-12-13 2014-06-13 현대자동차 주식회사 차량 내 인터랙티브 음악 제공 방법
KR101977090B1 (ko) * 2015-07-22 2019-05-10 엘지전자 주식회사 차량 제어 장치 및 이를 구비한 차량의 제어방법
KR20210010404A (ko) * 2019-07-17 2021-01-27 충남대학교산학협력단 음원 출력 제어 장치 및 그 방법
KR20210084086A (ko) * 2019-12-27 2021-07-07 현대모비스 주식회사 차량용 오디오

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101421793B1 (ko) * 2012-06-29 2014-07-24 인텔렉추얼디스커버리 주식회사 하이브리드 음원 서비스 장치 및 방법
EP3121814A1 (en) * 2015-07-24 2017-01-25 Sound object techology S.A. in organization A method and a system for decomposition of acoustic signal into sound objects, a sound object and its use
WO2021050542A1 (en) * 2019-09-11 2021-03-18 Dts, Inc. Context-aware voice intelligibility enhancement
KR20210129583A (ko) * 2020-04-20 2021-10-28 사운드하운드, 인코포레이티드 미디어 재생 디바이스에서의 콘텐츠 필터링

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013223031A (ja) * 2012-04-13 2013-10-28 Yazaki Corp 車両用音響出力制御装置
KR101405221B1 (ko) * 2012-12-13 2014-06-13 현대자동차 주식회사 차량 내 인터랙티브 음악 제공 방법
KR101977090B1 (ko) * 2015-07-22 2019-05-10 엘지전자 주식회사 차량 제어 장치 및 이를 구비한 차량의 제어방법
KR20210010404A (ko) * 2019-07-17 2021-01-27 충남대학교산학협력단 음원 출력 제어 장치 및 그 방법
KR20210084086A (ko) * 2019-12-27 2021-07-07 현대모비스 주식회사 차량용 오디오

Also Published As

Publication number Publication date
WO2023191211A1 (ko) 2023-10-05

Similar Documents

Publication Publication Date Title
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2017155219A1 (en) Vehicle control device mounted in vehicle and control method thereof
WO2019117333A1 (ko) 차량에 구비된 디스플레이 장치 및 디스플레이 장치의 제어방법
WO2018088647A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2019098434A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2018079919A1 (ko) 자율 주행 차량 및 자율 주행 차량의 동작 방법
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2022154299A1 (ko) 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템
WO2018110789A1 (en) Vehicle controlling technology
WO2019132078A1 (ko) 차량에 구비된 디스플레이 장치
WO2018235979A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2019054719A1 (ko) 차량 운전 보조 장치 및 차량
WO2019198998A1 (ko) 차량 제어 장치 및 그것을 포함하는 차량
WO2019013399A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2020017677A1 (ko) 영상 출력 장치
EP3426536A1 (en) Vehicle control device mounted in vehicle and control method thereof
WO2018097424A1 (ko) 차량용 통신 장치 및 차량
WO2018236012A1 (ko) 입출력 장치
WO2020246627A1 (ko) 영상 출력 장치
WO2021125706A1 (ko) 차량 제어 장치 및 그것의 제어 방법
WO2021091039A1 (ko) 차량용 디스플레이 장치 및 그 제어 방법
WO2019088318A1 (ko) 주행 시스템 및 차량
WO2019031828A1 (ko) 차량용 사이드 미러 및 차량
WO2023191210A1 (ko) 소리 제어 장치를 구비하는 차량
WO2018194216A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935884

Country of ref document: EP

Kind code of ref document: A1