WO2024080429A1 - 자동차 반려동물 모드 제공방법 - Google Patents

자동차 반려동물 모드 제공방법 Download PDF

Info

Publication number
WO2024080429A1
WO2024080429A1 PCT/KR2022/016218 KR2022016218W WO2024080429A1 WO 2024080429 A1 WO2024080429 A1 WO 2024080429A1 KR 2022016218 W KR2022016218 W KR 2022016218W WO 2024080429 A1 WO2024080429 A1 WO 2024080429A1
Authority
WO
WIPO (PCT)
Prior art keywords
pet
vehicle
server
sound
voice
Prior art date
Application number
PCT/KR2022/016218
Other languages
English (en)
French (fr)
Inventor
장윤옥
Original Assignee
(주)펫펄스랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)펫펄스랩 filed Critical (주)펫펄스랩
Publication of WO2024080429A1 publication Critical patent/WO2024080429A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Definitions

  • the present invention relates to a method of providing a car pet mode, and more specifically, to a method for determining the emotional state of a pet inside a vehicle through a user terminal connected to the vehicle's infotainment system and performing pet care operations corresponding thereto. It relates to a method and a system for performing it.
  • accessory packages such as car seats and mats specifically for pets have been released, and products equipped with vehicle control software for pets are also being released.
  • companion animals are creatures with a certain level of intelligence, and when they are confined in a small and confined space such as a vehicle, they can feel negative emotions, and these emotions can lead to unusual behavior (urination, defecation, howling and barking, etc.) ) and may cause damage to surrounding areas.
  • the present invention is intended to solve the problems of the prior art described above, and provides a method or system for caring for a companion animal so that it does not cause damage to the surroundings by feeling negative emotions and acting differently than usual when the companion animal is riding in a vehicle.
  • the purpose is to provide.
  • a method of providing a car pet mode performed by a system includes the steps of (a) communicating between a user terminal and the vehicle's infotainment system; ; (b) the companion animal sound collection unit of the user terminal collects sound information generated inside the vehicle when a companion animal is inside the vehicle, and transmitting the collected sound information to the server; (c) classifying the sound information received by the server into a companion animal's voice and other sounds according to a preset algorithm; (d) the server determining the emotional state of the pet by referring to a preset emotional state table of the pet for sounds classified as the pet's voice; (e) The server sends a command signal to the user terminal to control at least one of the sound providing unit, temperature control unit, window, sunroof, and food providing unit of the vehicle according to a preset algorithm for each emotional state of the companion animal. transmitting; and (f) the user terminal transmitting the command signal to the infot
  • the companion animal sound collection unit includes a voice recognition device installed inside the vehicle and connected through wired or wireless communication, a built-in vehicle infotainment system microphone, and a microphone device of the user terminal connected to the vehicle via Bluetooth, and includes noise and sound sources generated from the sound source. It may include a plurality of microphones that receive voices and pet voices and convert them into electrical sound signals.
  • step (c) includes (c-1) filtering the sound information to detect the owner's voice; and (c-2) removing noise caused by the operation of the car by filtering the remaining sound information excluding the owner's voice from the sound information.
  • step (c-1) may involve detecting a voice section from the sound information through VAD (Voice Activity Detection).
  • VAD Voice Activity Detection
  • step (c-2) the filtering is performed using a Karhunen-Loeve Transform (KLT) based filter using the Kuhn-Tuker condition and a Lagrangian multiplier, and a Speech Distortion (SDW-MWF)
  • KLT Karhunen-Loeve Transform
  • SDW-MWF Speech Distortion
  • the owner's voice may be calculated by sequentially applying a Weighted Multi-channel Wiener Filter.
  • step (c) operates when the server determines that only a companion animal exists inside the vehicle, and when the server recognizes that the user's voice is not included from the collected sound signal, the companion animal It may be judged that it only exists.
  • step (c-2) the noise caused by the operation of the car is pre-stored in the server for each driving state and model of the car, and the driving state is P, D, D, and D depending on the transmission gear of the vehicle. It is divided into four states including R and N, and the speed and noise of the vehicle preset for each driving state may be stored.
  • the pet emotional state table is stored in advance in the server, and a plurality of pet animal states are configured according to the pitch of the pet's voice, the number of repetitions per preset time, and the maintenance time for a preset time. It may be a table that matches the status of the companion animal.
  • the plurality of pet states may include hunger, fear, attack posture, defense posture, fun, eagerness, physical satisfaction, emotional satisfaction, help request, boredom, pain, and drowsiness.
  • step (e) the sound providing unit transmits the owner's voice corresponding to each state of the pet pre-stored in the server in accordance with a command signal from the server, and the temperature control unit transmits to the server
  • the temperature of the air conditioner is adjusted according to the air conditioner command signal corresponding to the previously stored state of the companion animal, and when the windows and the sunroof are open at each other, the air conditioner is operated to perform a ventilation operation,
  • the window and sunroof control the opening and closing of the window and sunroof according to command signals from the server, and two windows among a plurality of windows of the vehicle are controlled so that the window and sunroof are not opened more than the size of the pet's head.
  • the feeding unit is configured to control the feeding device and the water supply device according to the feeding device and water supply device command signals corresponding to each state of the companion animal previously stored in the server. It may be controlling the feeding and watering movements.
  • a system for providing a car pet mode includes a user terminal that is connected to a vehicle's infotainment system and transmits a command signal to the infotainment system to allow the infotainment system to control the vehicle;
  • a companion animal sound collection unit collects sound information generated inside the vehicle and transmits the collected sound information to a server; and classifies the received sound information into a pet voice and other sounds according to a preset algorithm, and determines the emotional state of the pet by referring to a preset pet emotional state table for the sound classified as the pet voice.
  • a server that transmits a command signal to the user terminal to control at least one of the sound providing unit, temperature control unit, window, sunroof, and food providing unit of the vehicle according to a preset algorithm for each emotional state of the pet.
  • the command signal may include identification information and operation information regarding the control object in the vehicle.
  • the present invention provides a method and system for providing a car pet mode, allowing the emotional state of the pet to be determined when the pet is riding in a vehicle.
  • the cause of the abnormal behavior can be determined by identifying the above-mentioned emotions, and the pet can be encouraged to not behave abnormally when riding in the vehicle.
  • Figure 1 is a structural diagram of a system for providing a car pet mode according to an embodiment of the present invention.
  • Figure 2 is a block diagram showing the internal configuration of a server according to an embodiment of the present invention.
  • Figure 3 is an example of the configuration of a pet mode providing system according to an embodiment of the present invention.
  • Figure 4 is an example of a companion animal emotional state table according to an embodiment of the present invention.
  • Figure 5 is an example of a service provided by a method for providing a car pet mode according to an embodiment of the present invention.
  • Figure 6 is a flow chart of performing a method for providing a car pet mode according to an embodiment of the present invention.
  • 'part' includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Additionally, one unit may be realized using two or more pieces of hardware, and two or more units may be realized using one piece of hardware.
  • ' ⁇ part' is not limited to software or hardware, and ' ⁇ part' may be configured to reside in an addressable storage medium or may be configured to reproduce one or more processors. Therefore, as an example, ' ⁇ part' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
  • components and 'parts' may be combined into a smaller number of components and 'parts' or may be further separated into additional components and 'parts'. Additionally, components and 'parts' may be implemented to regenerate one or more CPUs within a device or a secure multimedia card.
  • the “terminal” mentioned below may be implemented as a computer or portable terminal that can connect to a server or other terminal through a network.
  • the computer is, for example, a laptop equipped with a web browser, a desktop, a laptop, a VR HMD (e.g., HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR, etc.), etc. may include.
  • VR HMD is for PC (e.g. HTC VIVE, Oculus Rift, FOVE, Deepon, etc.), mobile (e.g. GearVR, DayDream, Storm Magic, Google Cardboard, etc.), and console (PSVR). Includes independently implemented Stand Alone models (e.g. Deepon, PICO, etc.).
  • Portable terminals are, for example, wireless communication devices that ensure portability and mobility, including smart phones, tablet PCs, and wearable devices, as well as Bluetooth (BLE, Bluetooth Low Energy), NFC, RFID, and ultrasonic devices. , may include various devices equipped with communication modules such as infrared, WiFi, and LiFi.
  • network refers to a connection structure that allows information exchange between nodes such as terminals and servers, including a local area network (LAN), a wide area network (WAN), and the Internet. (WWW: World Wide Web), wired and wireless data communication network, telephone network, wired and wireless television communication network, etc.
  • wireless data communication networks examples include 3G, 4G, 5G, 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), WIMAX (World Interoperability for Microwave Access), Wi-Fi, Bluetooth communication, infrared communication, and ultrasound. This includes, but is not limited to, communication, Visible Light Communication (VLC), LiFi, etc.
  • VLC Visible Light Communication
  • LiFi etc.
  • a system for providing a car pet mode may include a server 100, an infotainment system 200 installed or built into a vehicle, and a user terminal 300.
  • the user terminal 300 is connected to the infotainment system 200 through Bluetooth pairing and Internet-based wireless connection, so that it can collect data inside the vehicle together with the infotainment system 200. It can also perform the role of transmitting the collected information to the server 100 through wired or wireless communication.
  • the infotainment system 200 is an integrated multimedia system that combines the concepts of information, which refers to information, and 'entertainment', which refers to entertainment.
  • Traditional functions such as navigation and audio are Of course, it is a device for checking various information provided by the car and operating functions, and includes a server 100-based voice recognition function and OTA (Over-The-Air) technology that wirelessly updates navigation information or software. It may be.
  • OTA Over-The-Air
  • the user terminal 300 is capable of wired and wireless connection and communication with the server 100, such as a smartphone, tablet PC, laptop, and desktop, and the vehicle's infotainment system 200, and is capable of communicating with the vehicle's companion animal according to an embodiment of the present invention.
  • the server 100 such as a smartphone, tablet PC, laptop, and desktop
  • the vehicle's infotainment system 200 is capable of communicating with the vehicle's companion animal according to an embodiment of the present invention.
  • a program or application that performs a mode provision method may be installed.
  • the server 100 may be configured to include a memory storing a program (or application) that performs a method for providing a car pet mode and a processor that executes the program.
  • the processor can perform various functions depending on the execution of the program stored in the memory. The functions performed by the server 100 will be described in detail later.
  • the user terminal 300 and the vehicle's infotainment system 200 are connected to communication.
  • the communication connection includes a wired or wireless connection, and according to a preferred embodiment, it may be connected through Bluetooth pairing.
  • the user terminal 300 performs the role of the companion animal sound collection unit 210 through the connection described above, and the companion animal sound collection unit 210 generates sound inside the vehicle when a companion animal is inside the vehicle. Collects sound information and transmits the collected sound information to the server 100.
  • the companion animal sound collection unit 210 includes a voice recognition device installed inside the vehicle and connected through wired and wireless communication, a built-in vehicle infotainment system 200 microphone, and a user terminal 300 connected to the vehicle via Bluetooth. It includes a microphone device, and may include a plurality of microphones that receive noise generated inside the vehicle, voices generated from a specific sound source, and voices of pets, and convert them into electrical sound signals.
  • the user terminal 300 is a smart phone with a built-in microphone
  • the microphone device of the smart phone is used to detect noise generated inside the vehicle. It receives voice and pet voice generated from a specific sound source, converts it into an electrical sound signal, and provides it to the server 100 through a wireless communication means such as LTE or Wi-Fi of a smart phone.
  • the sound information received by the server 100 through the above-described process is divided into the pet's voice and other sounds according to a preset algorithm.
  • the server 100 filters the sound information according to a preset algorithm to detect the owner's voice, and then filters the remaining sound information excluding the owner's voice from the sound information to remove noise caused by the operation of the car. Perform.
  • the process of detecting the owner's voice by filtering the sound information performed in the server 100 may be detecting a voice section from the sound information through VAD (Voice Activity Detection).
  • VAD Voice Activity Detection
  • VAD is a technology applied to voice processing that detects the presence/absence of a human voice, and since it is a prior art, detailed description will be omitted.
  • KLT KLT
  • SDW-MWF Seech Distortion Weighted Multi-channel Wiener Filter
  • the method of using a KLT (Karhunen-Loeve Transform)-based filter is a method of removing noise using the subspace of the covariance matrix, and the equation used for removal is as follows.
  • Equation 1 x is a speech signal, d is noise, and y is a sound signal input through a microphone.
  • the filter gain H is obtained and multiplied by y to estimate .
  • Equation 2 the actual error can be expressed in the manner shown in Equation 2. Additionally, the goal is to minimize rx and rd because the more the error is minimized, the closer it gets to the actual target value. To this end, if rx is minimized and rd is fixed to a constant value in Equation 2, the optimal H value can be obtained using the Kuhn-Tuker condition and Lagrangian multiplier. And Equation 2 can be transformed into Equation 3 below for simple calculation.
  • Rx is the covariance matrix of the voice signal
  • Rd is the covariance matrix of the noise signal
  • G value is a diagonal matrix and can be expressed as Equation 4 below.
  • Equation 4 K means the frame size of the entire signal, and M means the number of positive eigenvalues of ⁇ . Therefore, the final gain of the KLT-based filter is calculated and the noise is removed.
  • the server 100 additionally filters the filtered sound signal using a Speech Distortion Weighted Multi-channel Wiener Filter (SDW-MWF).
  • SDW-MWF Speech Distortion Weighted Multi-channel Wiener Filter
  • the server 100 can remove noise from a signal from which noise has been removed through a KLT-based filter in a single channel (each microphone) through SDW-MWF using multi-channel characteristics.
  • the main theory of the Wiener filter is to find the filter gain H that satisfies Minimize mean square error (MMSE).
  • Equation 5 The results obtained from the above KLT-based filter can be converted to the frequency domain through STFT and expressed as Equation 5 below.
  • Equation 5 represents the input signal, voice signal, and noise signal in the kth frequency bin of the ith microphone. And, each microphone signal can be combined and expressed as one vector in the same way as Equation 5. And noise can be selectively removed using the equation expressed in this way.
  • the server 100 obtains a filter gain that minimizes MMSE in the same manner as Equation 6.
  • Filter gain H can be obtained by performing partial differentiation on H, and the filter gain is expressed as Equation 7 below.
  • Equation 7 e is a vector that selects the microphone to be filtered, and Ryy and Rdd represent the autocorrelation matrix of the input signal (voice) and noise signal. Equation 7 above represents the final MWF filter gain.
  • noise removal algorithms generally have a trade-off relationship between filtering performance and distortion of the final signal after filtering. A way to directly control this relationship is by solving Equation 7 with SDW-MWF and giving weight to the noise part of the equation. This filter gain can be expressed as Equation 8 below.
  • Equation 8 is a formula for the final filter gain calculated by the server 100.
  • the server 100 can estimate the final voice signal by multiplying Equation 8 by the result of noise removal through the KLT-based filter.
  • the server 100 can distinguish between the pet's voice and other sounds (including human voices and noise) from the sounds collected from the pet voice collection unit.
  • the server 100 is configured to operate when the companion animal's sounds are not collected based on the collected sounds, that is, the collected sounds are collected only as sounds other than the above, or the sounds other than the total collected sounds are greater than a preset value. In this case, it can be determined that the pet is not on board, and conversely, if the pet's voice is greater than a preset value of the total collected sound, it can be determined that the pet is on board.
  • the server 100 determines that only the companion animal currently exists in the vehicle, and uses the above-described acoustic information.
  • a step may be performed to distinguish between pet voices and other sounds (in this case, only noise without human voices) according to a preset algorithm.
  • noise caused by the operation of the car is pre-stored for each model and driving state of the car in the server 100 before implementation of the present invention. This can be considered.
  • the server 100 provides a driving state that is divided into four states, including P (parking), D (driving), R (reverse), and N (neutral), depending on the vehicle's transmission gear for each vehicle type. It may be storing the speed and noise of the vehicle preset for each driving state, and in the filtering operation, the noise pre-stored in the server 100 is changed to a predetermined scaling operation (only the size while maintaining the frequency characteristics) immediately after the sound is collected. After performing a shortening or stretching operation), it can first be removed from the collected sound.
  • P parking
  • D driving
  • R reverse
  • N neutral
  • the server 100 records the noise pattern and noise level in the database of the server 100 when the transmission gear is R (reverse) and the driving speed is 10 km/h to 20 km/h for the 2020 Avante XD vehicle.
  • the transmission gear is R (reverse) and the driving speed is 10 km/h to 20 km/h.
  • the corresponding noise pattern can be scaled according to a preset algorithm and removed from the collected acoustic information, so that noise generated during vehicle operation can be removed with priority.
  • the server 100 determines the emotional state of the pet by referring to a preset emotional state table for the sound classified as the pet's voice.
  • a table in which the states of a plurality of companion animals as shown are matched with the states of the plurality of companion animals according to the pitch of the companion animal's voice, the number of repetitions per preset time, and the holding time for a preset time is stored on the server (100). ) can be stored in advance.
  • the companion animal emotional state table includes the states of a plurality of companion animals, including hunger, fear, attack posture, defensive posture, fun, eagerness, physical satisfaction, emotional satisfaction, help request, boredom, pain, and drowsiness. It may be stored in correspondence with the items containing and the corresponding command signal (Code) for each yield.
  • the command signal includes identification information and operation information regarding the control object in the vehicle
  • the server 100 is used to control the vehicle's sound provision unit 220, temperature control unit 230, windows, sunroof, and food provision unit. It can be used to transmit the command signal to the user terminal 300 in order to control at least one of (240).
  • the pet mode providing system includes, in addition to the companion animal sound collection unit 210 described above, a sound providing unit 220, a temperature control unit 230, and a food providing unit ( 240) may be additionally included.
  • the vehicle may also include an infotainment system 200, and the user terminal 300 transmits a command signal received from the server 100 to the infotainment system 200, and the infotainment system 200 This may be controlling the vehicle.
  • the sound providing unit 220 may transmit the owner's voice corresponding to each state of the pet that is previously stored in the server 100.
  • the server 100 uses the owner's voice responding to the fear (voice including a comforting phrase such as "It's okay") into the vehicle's infotainment system.
  • the voice can be transmitted through the speaker of (200) or the user terminal (300).
  • the voice transmitted for each emotional state is input directly from the user (pet guardian) through the recording function of the user terminal 300 and recorded before implementation of the present invention, and is stored in the server 100. It may be transmitted and stored, and after implementation of the present invention, voice change may also be performed through the user terminal 300.
  • the temperature control unit 230 adjusts the temperature of the air conditioner according to the air conditioner command signal corresponding to each state of the companion animal pre-stored in the server 100, and the window and sunroof are opened to cross each other. In this case, that is, if a means for ventilation is already provided, the ventilation operation can be performed more quickly by additionally operating the air conditioner to accelerate the ventilation operation.
  • the window and sunroof controls the opening and closing of the window and sunroof according to command signals, but prevents the pet from leaving the vehicle during ventilation by ensuring that the window and sunroof are not opened more than the size of the pet's head. .
  • this opening and closing may mean that two of the plurality of windows in the vehicle are opened by crossing each other based on the center of the vehicle, that is, the window on the driver's side and the window on the opposite side of the rear seat (the left side of the front row and the right side of the rear row in Korea) are opened. there is.
  • the food provider 240 may operate to control and operate the feeding device and the water supply device to relieve the companion animal's hunger and thirst.
  • Information on the state of the companion animal identified in the above-described process and the operation of each part controlled in response to the state may be provided to the user terminal 300 by at least one of the server 100 or the infotainment system 200. there is.
  • the user can receive information about not only the emotional state of the pet, but also the type and time of care provided according to the emotional state.
  • the present invention can provide companion mode, shared mode, and separate mode for companion animals through acoustic analysis.
  • the companion mode is provided when it is determined that the pet and the guardian are riding in the vehicle together. If the pet suffers from motion sickness, the companion mode opens the window or provides the guardian with a stable ride or a short rest (walk, etc.) It can be recommended through the user terminal 300 to do so.
  • stable driving may be a request to refrain from sudden stopping and sudden acceleration, and in the case of walking, a message recommending a resting place (rest area, park, etc.) within a preset distance is sent based on the GPS information of the user terminal 300. It may be provided.
  • the separation mode is provided when only the pet is present in the vehicle and the guardian is not present, and can be useful when the pet needs to briefly visit a building or store that is not allowed to enter.
  • the server 100 collects images of the vicinity of the vehicle through the vehicle's black box or camera device through the vehicle's infotainment system 200 and provides them to the user terminal 300 to provide a message notifying that a stranger has approached the vehicle. can do.
  • a message notifying that the pet is lonely or anxious may be provided to the user terminal 300.
  • the common mode is provided in both the companion mode and the separate mode described above, and can be provided when the pet's state is judged to be defecating, hungry, thirsty, hot, happy, or happy.
  • condition of the pet can be relieved by controlling the sound providing unit 220, temperature control unit 230, window, sunroof, and food providing unit 240 described above, and the performed actions and the pet's condition can be resolved.
  • Information about may be provided to the user terminal 300.
  • the user terminal 300 and the vehicle's infotainment system 200 are connected to communication (S101).
  • the companion animal sound collection unit 210 of the user terminal 300 collects sound information generated inside the vehicle and transmits the collected sound information to the server 100 (S102) ).
  • the server 100 divides the received sound information into the companion animal's voice and other sounds according to a preset algorithm (S103).
  • the server 100 determines the emotional state of the pet by referring to the pet emotional state table preset for the sound classified as the pet's voice (S104).
  • the server 100 controls at least one of the vehicle's sound provision unit 220, temperature control unit 230, window, sunroof, and food provision unit 240 according to a preset algorithm for each emotional state of the companion animal.
  • a command signal for is transmitted to the user terminal 300 (S105).
  • the user terminal 300 transmits a command signal to the infotainment system 200, and the infotainment system 200 controls the vehicle (S106).
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include all computer storage media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Telephonic Communication Services (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 시스템에 의해 수행되는, 자동차 반려동물 모드 제공방법에 관한 것으로서, (a) 사용자 단말과 차량의 인포테인먼트 시스템이 통신 연결되는 단계; (b) 상기 사용자 단말의 반려동물 음향수집부가 차량 내부에 반려동물이 있을 때, 상기 차량의 내부에서 발생하는 음향정보를 수집하고, 수집한 음향정보를 서버로 전송하는 단계; (c) 상기 서버가 수신한 음향정보를 기 설정된 알고리즘에 따라 반려동물 음성과 이외의 음향으로 구분하는 단계; (d) 상기 서버가 상기 반려동물 음성으로 구분된 음향에 대하여 기 설정된 반려동물 감정 상태 테이블을 참고하여 상기 반려동물의 감정상태를 결정하는 단계; (e) 상기 서버가 반려동물의 감정상태 별로 기 설정된 알고리즘에 따라 차량의 음향 제공부, 온도 조절부, 창문, 썬루프 및 먹이 제공부 중 적어도 하나 이상을 제어하기 위한 명령신호를 상기 사용자 단말로 전송하는 단계; 및 (f) 상기 사용자 단말이 상기 명령신호를 상기 인포테인먼트 시스템에 전송하고, 상기 인포테인먼트 시스템이 상기 차량을 제어하는 단계;를 포함하고, 상기 명령신호는 상기 차량 내 제어대상에 관한 식별정보 및 동작정보를 포함하는 것인, 자동차 반려동물 모드 제공방법에 관한 것이다.

Description

자동차 반려동물 모드 제공방법
본 발명은 자동차 반려동물 모드 제공방법에 관한 것으로서, 보다 상세하게는, 차량의 인포테인먼트 시스템과 연결된 사용자 단말을 통하여 차량 내부의 반려동물의 감정 상태를 파악하고, 이에 대응하는 반려동물 케어 동작을 수행하는 방법 및 이를 수행하는 시스템에 관한 것이다.
최근 반려동물을 키우는 가구가 늘어나고, 반려동물과 함께 캠핑과 여행을 떠나는 일도 늘어나면서 자동차 펫 옵션도 다양해지고 있다.
대표적으로, 반려동물 전용 카시트와 매트 등 액세서리 패키지 등이 출시되었으며, 나아가 반려동물을 위한 차량 제어 소프트웨어가 탑재된 상품들 또한 출시되고 있는 실정이다.
그러나, 반려동물은 일정 수준의 지성을 가진 생명체로서, 차량과 같이 협소하고 밀폐된 공간에 갇히는 경우, 부정적인 감정을 느낄 수 있으며, 이러한 감정은 평소와는 다른 행동(배뇨, 배변, 하울링 및 짖음 등)의 원인이 되어 주변에 피해를 줄 수 있다.
따라서, 반려동물이 차량에 탑승하였을 때, 반려동물이 부정적인 감정을 느끼지 않도록 케어할 수 있는 방법 또는 시스템이 필요한 실정이다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 반려동물이 차량에 탑승하였을 때, 반려동물이 부정적인 감정을 느껴 평소와 다르게 행동하여 주변에 피해를 끼치지 않도록 케어할 수 있는 방법 또는 시스템을 제공하는 것을 목적으로 한다.
또한, 상술한 방법을 제공하는 과정에서 단순히 반려동물을 억제하거나 통제하는 방식이 아니라 반려동물의 감정을 파악하고 해당 감정에 적합한 대응을 제공함으로써 반려동물이 차량에 탑승하는 것에 대해 부정적인 감정을 가지지 않도록 하는 것을 목적으로 한다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시 예에 따르는, 시스템에 의해 수행되는, 자동차 반려동물 모드 제공방법은, (a) 사용자 단말과 차량의 인포테인먼트 시스템이 통신 연결되는 단계; (b) 상기 사용자 단말의 반려동물 음향수집부가 차량 내부에 반려동물이 있을 때, 상기 차량의 내부에서 발생하는 음향정보를 수집하고, 수집한 음향정보를 서버로 전송하는 단계; (c) 상기 서버가 수신한 음향정보를 기 설정된 알고리즘에 따라 반려동물 음성과 이외의 음향으로 구분하는 단계; (d) 상기 서버가 상기 반려동물 음성으로 구분된 음향에 대하여 기 설정된 반려동물 감정 상태 테이블을 참고하여 상기 반려동물의 감정상태를 결정하는 단계; (e) 상기 서버가 반려동물의 감정상태 별로 기 설정된 알고리즘에 따라 차량의 음향 제공부, 온도 조절부, 창문, 썬루프 및 먹이 제공부 중 적어도 하나 이상을 제어하기 위한 명령신호를 상기 사용자 단말로 전송하는 단계; 및 (f) 상기 사용자 단말이 상기 명령신호를 상기 인포테인먼트 시스템에 전송하고, 상기 인포테인먼트 시스템이 상기 차량을 제어하는 단계;를 포함하며, 상기 명령신호는 상기 차량 내 제어대상에 관한 식별정보 및 동작정보를 포함하는 것일 수 있다.
또한, 상기 반려동물 음향수집부는 차량 내부에 설치 및 유무선 통신을 통하여 연결된 음성인식 장치, 내장형 차량 인포테인먼트 시스템 마이크 및 상기 차량과 블루투스로 연결된 상기 사용자 단말의 마이크 장치를 포함하되, 잡음 및 음원에서 발생된 음성 및 반려동물 음성을 수신하여, 전기적인 소리 신호로 변환하는 복수의 마이크로폰을 포함하는 것일 수 있다.
또한, 상기 (c)단계는, (c-1) 상기 음향정보를 필터링하여 주인의 음성을 검출하는 단계; 및 (c-2) 상기 음향정보에서 상기 주인의 음성을 제외한 나머지 음향정보를 필터링하여 자동차의 동작에 의한 소음을 제거하는 단계;를 포함할 수 있다.
또한, 상기 (c-1)단계는, VAD(Voice Activity Detection)를 통해 상기 음향정보에서 음성 구간을 검출하는 것일 수 있다.
또한, 상기 (c-2)단계는, 상기 필터링은 쿤-터커 조건(Kuhn-Tuker condition)과 라그랑지안 멀티플라이어(Lagrangian multiplier)를 이용한 KLT(karhunen-Loeve Transform) 기반 필터 및 SDW-MWF(Speech Distortion Weighted Multi-channel Wiener Filter)를 순차적으로 적용하여 상기 주인의 음성을 산출하는 것일 수 있다.
또한, 상기 (c)단계는, 상기 서버가 차량 내부에 반려동물만 존재하는 것으로 판단하는 경우, 동작하며, 상기 서버는 수집된 음향신호로부터 사용자의 음성이 미 포함된 것으로 인식하는 경우, 반려동물만 존재하는 것으로 판단하는 것일 수 있다.
또한, 상기 (c-2)단계는, 상기 서버에 상기 자동차의 동작에 의한 소음이 해당 자동차의 주행상태 및 기종 별로 미리 저장된 것이되, 상기 주행상태는 상기 차량의 변속기어에 따라 P,D,R 및N을 포함하는 4가지 상태로 구분되고, 각각의 주행상태 별로 기 설정된 차량의 속도와 소음이 저장된 것일 수 있다.
또한, 상기 (d)단계는, 상기 반려동물 감정 상태 테이블이 상기 서버에 미리 저장되되, 복수의 반려동물 상태가 반려동물 음성의 높낮이, 기 설정된 시간 당 반복 횟수 및 기 설정된 시간 동안 유지시간 별로 복수의 반려동물의 상태와 매칭된 테이블인 것일 수 있다.
또한, 상기 복수의 반려동물 상태는, 배고픔, 두려움, 공격태세, 방어태세, 재미, 간절함, 신체적 만족, 감정적 만족, 도움요청, 지루함, 아픔 및 나른함을 포함하는 것일 수 있다.
또한, 상기 (e)단계는, 상기 음향 제공부는, 상기 서버에 기 저장된 상기 반려동물의 상태 별로 대응하는 주인의 음성을 상기 서버의 명령신호에 따라 송출하는 것이고, 상기 온도 조절부는, 상기 서버에 기 저장된 상기 반려동물의 상태 별로 대응하는 에어컨 명령신호에 따라, 상기 에어컨의 온도를 조절하되, 창문 및 썬루프가 서로 교차하여 개방되어 있는 경우, 상기 에어컨을 가동하여 환기동작을 수행하는 것이고, 상기 창문 및 썬루프는, 상기 서버의 명령신호에 따라 상기 창문 및 썬루프의 개폐를 제어하되, 상기 창문 및 상기 썬루프가 상기 반려동물의 머리 크기 이상 개방되지 않도록 차량의 복수의 창문 중 2개의 창문이 차량 중심을 기준으로 서로 교차하여 개방되는 것이고, 상기 먹이 제공부는, 상기 서버에 기 저장된 상기 반려동물의 상태 별로 대응하는 먹이제공장치 및 급수장치 명령신호에 따라, 상기 먹이제공장치 및 급수장치의 먹이제공동작과 급수동작을 제어하는 것일 수 있다.
또한, (g) 분류된 반려동물 상태 및 상기 서버가 제어한 음향 제공부, 온도 제공부 및 먹이 제공부의 동작에 관한 정보를 상기 사용자 단말로 제공하는 단계;를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르는, 자동차 반려동물 모드 제공 시스템은, 차량의 인포테인먼트 시스템이 통신 연결되고, 명령신호를 상기 인포테인먼트 시스템에 전송하여 상기 인포테인먼트 시스템이 상기 차량을 제어하도록 하는 사용자 단말; 상기 차량 내부에 반려동물이 있을 때, 상기 차량의 내부에서 발생하는 음향정보를 수집하고, 수집한 음향정보를 서버로 전송하는 반려동물 음향수집부; 및 수신한 음향정보를 기 설정된 알고리즘에 따라 반려동물 음성과 이외의 음향으로 구분하고, 상기 반려동물 음성으로 구분된 음향에 대하여 기 설정된 반려동물 감정 상태 테이블을 참고하여 상기 반려동물의 감정상태를 결정하여 반려동물의 감정상태 별로 기 설정된 알고리즘에 따라 차량의 음향 제공부, 온도 조절부, 창문, 썬루프 및 먹이 제공부 중 적어도 하나 이상을 제어하기 위한 명령신호를 상기 사용자 단말로 전송하는 서버;를 포함하고, 상기 명령신호는 상기 차량 내 제어대상에 관한 식별정보 및 동작정보를 포함하는 것일 수 있다.
본 발명은 자동차 반려동물 모드 제공방법 및 시스템을 통하여, 반려동물이 차량에 탑승하였을 때, 반려동물의 감정상태를 파악할 수 있다.
또한, 파악한 감정상태를 기반으로 반려동물이 부정적 감정을 느끼지 않도록 마련된 대응방안을 제공함으로써, 반려동물이 차량에 탑승하는 것을 두려워하거나 꺼리게 되는 현상을 방지할 수 있다.
또한, 반려동물이 평소와는 다른 이상행동을 하는 경우에는 상술한 감정의 파악을 통해 이상행동의 원인을 파악할 수 있으며, 반려동물이 차량에 탑승할 때 이상행동을 하지 않도록 유도할 수 있다.
도1은 본 발명의 일 실시 예에 따르는 자동차 반려동물 모드 제공 시스템에 대한 구조도 이다.
도2는 본 발명의 일 실시 예에 따르는 서버의 내부구성을 나타내는 블록도 이다.
도3은 본 발명의 일 실시 예에 따르는 반려동물 모드 제공 시스템의 구성에 대한 예시도 이다.
도4는 본 발명의 일 실시 예에 따르는 반려동물 감정 상태 테이블의 예시도 이다.
도5는 본 발명의 일 실시 예에 따르는 자동차 반려동물 모드 제공 방법의 제공 서비스에 대한 예시도 이다.
도6은 본 발명의 일 실시 예에 따르는 자동차 반려동물 모드 제공 방법의 수행에 관한 순서도 이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 언급되는 "단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), VR HMD(예를 들어, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR 등)등을 포함할 수 있다. 여기서, VR HMD 는 PC용 (예를 들어, HTC VIVE, Oculus Rift, FOVE, Deepon 등)과 모바일용(예를 들어, GearVR, DayDream, 폭풍마경, 구글 카드보드 등) 그리고 콘솔용(PSVR)과 독립적으로 구현되는 Stand Alone 모델(예를 들어, Deepon, PICO 등) 등을 모두 포함한다. 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 또한, "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
이하에서, 먼저 도1을 참조하여, 본 발명의 일 실시예에 따르는 자동차 반려동물 모드 제공 시스템에 대하여 설명하도록 한다.
본 발명의 일 실시예에 따르는 자동차 반려동물 모드 제공 시스템은 서버(100), 차량에 설치 또는 내장된 인포테인먼트 시스템(200) 및 사용자 단말(300)을 포함할 수 있다.
본 발명은 사용자 단말(300)이 인포테인먼트 시스템(200)과 블루투스 페어링 및 인터넷 기반의 무선연결을 통하여 연결됨으로써, 인포테인먼트 시스템(200)과 함께 차량 내부의 데이터를 수집하는 역할을 함께 수행할 수 있으며, 수집한 정보를 유무선 통신을 통해 서버(100)로 전송하는 역할 또한 수행할 수 있다.
본 발명의 일 실시 예에 따르는 인포테인먼트 시스템(200)은 정보를 의미하는 인포메이션(information)과 오락거리를 일컫는 ‘엔터테인먼트(entertainment)’의 개념을 결합한 통합 멀티미디어 시스템으로, 내비게이션이나 오디오와 같은 전통적인 기능은 물론, 자동차가 제공하는 각종 정보를 확인하고 기능을 조작하기 위한 장치이며, 서버(100) 기반의 음성인식 기능과 내비게이션 정보나 소프트웨어를 무선으로 업데이트하는 OTA(Over-The-Air) 기술 등을 포함하는 것일 수 있다.
사용자 단말(300)은 스마트폰, 태블릿 PC, 랩탑 및 데스크탑 등 서버(100) 및 차량의 인포테인먼트 시스템(200)과 유무선으로 연결되어 통신할 수 있는 것으로서, 본 발명의 일 실시 예에 따르는 자동차 반려동물 모드 제공방법을 수행하는 프로그램 또는 애플리케이션이 설치된 것일 수 있다.
도2를 참조하면, 본 발명의 일 실시 예에 따르는 서버(100)는, 자동차 반려동물 모드 제공방법을 수행하는 프로그램(또는 애플리케이션)이 저장된 메모리와 위 프로그램을 실행하는 프로세서를 포함하여 구성될 수 있다. 여기서 프로세서는 메모리에 저장된 프로그램의 실행에 따라 다양한 기능을 수행할 수 있다. 서버(100)가 수행하는 기능에 관하여는 추후 자세히 설명하도록 한다.
이하에서, 상기 시스템에 의해 수행되는 자동차 반려동물 모드 제공방법의 일 실시 예에 대하여 설명하도록 한다.
먼저, 사용자 단말(300)과 차량의 인포테인먼트 시스템(200)이 통신 연결된다. 이때, 통신 연결은 유무선 연결을 포함하며, 바람직한 실시예에 따르면 블루투스 페어링을 통하여 연결되는 것일 수 있다.
사용자 단말(300)은 상술한 바와 같은 연결을 통해 반려동물 음향수집부(210)의 역할을 수행하며, 반려동물 음향수집부(210)는 차량 내부에 반려동물이 있을 때, 차량의 내부에서 발생하는 음향정보를 수집하고, 수집한 음향정보를 서버(100)로 전송한다.
본 발명의 일 실시 예에 따르는 반려동물 음향수집부(210)는 차량 내부에 설치 및 유무선 통신을 통하여 연결된 음성인식 장치, 내장형 차량 인포테인먼트 시스템(200) 마이크 및 차량과 블루투스로 연결된 사용자 단말(300)의 마이크 장치를 포함하는 것으로서, 차량 내부에서 발생하는 잡음과 특정 음원에서 발생된 음성 및 반려동물 음성을 수신하여, 전기적인 소리 신호로 변환하는 복수의 마이크로폰을 포함하는 것일 수 있다.
예를 들어, 사용자 단말(300)이 마이크 장치가 내장된 스마트 폰이라고 가정할 시, 차량의 인포테인먼트 시스템(200)과 스마트 폰이 블루투스 페어링 된 이후, 스마트 폰의 마이크 장치가 차량 내부에서 발생하는 잡음과 특정 음원에서 발생된 음성 및 반려동물 음성을 수신하여, 전기적인 소리 신호로 변환하고, 이를 스마트 폰의 LTE 또는 Wi-Fi와 같은 무선 통신 수단을 통해 서버(100)로 제공한다.
상술한 과정을 통해 서버(100)로 수신된 음향정보는 기 설정된 알고리즘에 따라 반려동물 음성과 이외의 음향으로 구분된다.
이때, 서버(100)는 기 설정된 알고리즘에 따라, 음향정보를 필터링하여 주인의 음성을 검출한 이후, 음향정보에서 주인의 음성을 제외한 나머지 음향정보를 필터링하여 자동차의 동작에 의한 소음을 제거하는 동작을 수행한다.
서버(100)에서 수행되는 음향정보를 필터링하여 주인의 음성을 검출하는 과정은, VAD(Voice Activity Detection)를 통해 상기 음향정보에서 음성 구간을 검출하는 것일 수 있다.
VAD는 사람의 음성이 유/무를 검출하는 음성 처리에 적용되는 기술로서, 종래기술에 해당하므로, 자세한 설명은 생략하도록 한다.
다음으로, 음향정보에서 주인의 음성을 제외한 나머지 음향정보를 필터링하여 자동차의 동작에 의한 소음을 제거하는 동작은 쿤-터커 조건(Kuhn-Tuker condition)과 라그랑지안 멀티플라이어(Lagrangian multiplier)를 이용한 KLT(karhunen-Loeve Transform) 기반 필터 및 SDW-MWF(Speech Distortion Weighted Multi-channel Wiener Filter)를 순차적으로 적용하여 상기 주인의 음성을 산출하는 것일 수 있다.
KLT(karhunen-Loeve Transform) 기반 필터를 이용하는 방법은 공분산 행렬(covariance matrix)의 부분공간(subspace)을 이용하여 잡음을 제거하는 방법으로, 제거에 활용되는 수학식은 다음과 같다.
[수학식 1]
y = x + d
상기 수학식1에서 x는 음성(speech signal)이고, d는 잡음을 의미하고, y는 마이크로폰을 통하여 입력받은 소리 신호이다. 이 알고리즘을 통하여 H라는 필터 게인을 구하여 y에 곱해줌으로써 를 추정한다.
Figure PCTKR2022016218-appb-img-000001
다음으로, 수학식 2에 나타난 방식으로 실제 오차를 표현할 수 있다. 또한 상기 오차를 최소화할수록 실제 목적한 값에 가까워지기 때문에 rx와 rd를 최소화하는 것이 목적이다. 이를 위하여, 수학식 2에서 rx를 최소화하고 rd를 일정한 값으로 고정하게 된다면, 쿤-터커 조건(Kuhn-Tuker condition)과 라그랑지안 멀티플라이어(Lagrangian multiplier)를 이용하여 최적의 H값을 구할 수 있다. 그리고 수학식2를 간단한 계산을 위하여 아래의 수학식 3과 같이 변형할 수 있다.
Figure PCTKR2022016218-appb-img-000002
위의 식에서 Rx는 음성 신호의 공분산 행렬이고, Rd는 잡음 신호의 공분산 행렬이다. 그리고 V는 ∑=Rd-1Rx의 고유벡터(eigenvector) 값이다. 그리고 G값은 대각행렬로서, 아래 수학식4와 같이 표현할 수 있다.
Figure PCTKR2022016218-appb-img-000003
수학식 4에서, K는 전체 신호의 프레임 크기(frame size)를 의미하고, M은 ∑의 양의 고유값(positive eigenvalue)의 개수를 의미한다. 따라서 최종적으로 KLT 기반 필터의 게인이 산출되며, 잡음을 제거하게 된다.
상술한 과정 이후, 서버(100)는 SDW-MWF(Speech Distortion Weighted Multi-channel Wiener Filter)를 이용하여, 필터링된 음향 신호를 추가적으로 필터링한다.
즉, 서버(100)는 단일채널(각각의 마이크)에서 KLT 기반 필터를 통하여 잡음이 제거된 신호를 멀티 채널(Multi-channel) 특성을 이용한 SDW-MWF를 통하여 잡음을 제거할 수 있다.
이때, Wiener filter의 주 이론은 Minimize mean square error (MMSE)를 만족하는 필터 게인H 를 구하는 것이다.
위의 KLT 기반 필터에서 얻은 결과를 STFT를 통하여 주파수도메인으로 변환하여 아래 수학식 5와 같이 표현할 수 있다.
Figure PCTKR2022016218-appb-img-000004
수학식 5는 i번째 마이크의 k번째 주파수 빈(frequency bin)에서의 입력신호, 음성 신호, 잡음 신호를 의미한다. 그리고 수학식 5와 같은 방식의 각각의 마이크 신호들을 모두 묶어서 하나의 벡터로 표현할 수 있다. 그리고 이렇게 표현된 식을 이용하여 선택적으로 잡음을 제거할 수 있다.
Figure PCTKR2022016218-appb-img-000005
서버(100)는 수학식 6과 같은 방식으로 MMSE를 최소화시키는 필터 게인을 구한다. 필터 게인H는 H에 대하여 편미분을 수행함으로써 구할 수 있으며, 필터 게인은 아래 수학식7과 같이 표현된다.
Figure PCTKR2022016218-appb-img-000006
수학식7에서 e는 필터링 할 마이크를 고르는 벡터이고, Ryy, Rdd는 입력신호(음성)와 잡음신호의 자기상관 행렬(autocorrelation matrix)을 의미한다. 위 수학식7은 최종적인 MWF의 필터 게인을 의미한다. 그러나 일반적으로 잡음제거 알고리즘은 필터링 후에 필터링의 성능과 최종 신호의 왜곡 사이에 트레이드 오프 관계를 갖는다. 이러한 관계를 직접 조절할 수 있게 하는 방식이 SDW-MWF로 수학식 7을 풀어서 수식의 잡음 부분에 가중치를 주는 방식으로 조절이 가능하다. 이러한 필터 게인은 아래 수학식8과 같이 표현될 수 있다.
Figure PCTKR2022016218-appb-img-000007
수학식8이 서버(100)에 의해 산출된 최종적인 필터 게인에 대한 수식이다. 수학식 8을 KLT 기반 필터를 통하여 잡음이 제거된 결과에 곱함으로써 서버(100)는 최종적인 음성 신호를 추정할 수 있다.
상술한 과정을 통해, 서버(100)는 반려동물 음성수집부로부터 수집한 음향에서 반려동물의 음성과 이외의 음향(사람의 음성 및 잡음을 포함)을 구분할 수 있다.
따라서, 서버(100)는 수집된 음향을 기반으로 반려동물의 소리가 수집되지 않은 경우, 즉 수집한 음향이 상기 이외의 음향으로만 수집되었거나, 이외의 음향이 총 수집된 음향의 기 설정된 수치 이상인 경우에는 반려동물이 탑승하지 않은 것으로 판단할 수 있으며, 반대로 반려동물 음성이 총 수집된 음향의 기 설정된 수치 이상인 경우에는 반려동물이 탑승한 것으로 판단할 수 있다.
본 발명의 추가 실시 예에 따르면, 서버(100)는 수집된 음향신호로부터 사용자의 음성이 미 포함되고 반려동물 음성만 인식하는 경우, 현재 차량 내에 반려동물만 존재하는 것으로 판단하여, 상술한 음향정보를 기 설정된 알고리즘에 따라 반려동물 음성과 이외의 음향(이 경우, 사람 음성 없이 잡음만 포함)으로 구분하는 단계를 수행할 수도 있다.
또한, 본 발명의 또 다른 실시 예에 따르면, 상술한 필터 게인 취득을 통한 잡음 제거 동작에서, 본 발명의 실시 이전에 서버(100)에 자동차의 주행상태 및 기종 별로 미리 저장된 자동차의 동작에 의한 소음이 고려될 수 있다.
이 경우, 서버(100)는 자동차의 차종 별로 차량의 변속기어에 따라 P(주차), D(주행), R(후진) 및N(중립)을 포함하는 4가지 상태로 구분되는 주행상태와 각각의 주행상태 별로 기 설정된 차량의 속도와 소음을 저장하고 있는 것일 수 있으며, 필터링 동작에서 서버(100)에 기 저장된 상기 소음이 음향이 수집된 직후 소정의 스케일링 동작(주파수 특성은 유지한 채로 크기만 줄이거나 늘이는 동작)을 수행한 이후, 수집된 음향에서 먼저 제거될 수 있다.
예를 들어, 서버(100)는 서버(100)의 DB에 2020년식 아반떼 XD 차량에 대하여 변속기어가 R(후진)이고 주행 속도가 10km/h 내지 20km/h의 경우, 소음패턴과 소음의 크기를 저장하고 있으며, 실제로 차량의 인포테인먼트 시스템(200)이 사용자 단말(300)과 연결됨에 따라 수집된 차량의 현재 주행이 상술한 바와 같이 변속기어가 R(후진)이고 주행 속도가 10km/h 내지 20km/h의 경우, 해당 소음 패턴을 기 설정된 알고리즘에 따라 스케일링하여 수집한 음향정보에서 제거함으로써, 차량의 운행에서 발생하는 잡음이 최우선적으로 제거될 수 있도록 할 수 있다.
이와 같은 과정을 통해, 반려동물 음성으로 구분된 음향에 대하여 서버(100)는 기 설정된 반려동물 감정 상태 테이블을 참고하여 상기 반려동물의 감정상태를 결정한다.
도4를 참조하면, 도시된 바와 같은 복수의 반려동물 상태가 반려동물 음성의 높낮이, 기 설정된 시간 당 반복 횟수 및 기 설정된 시간 동안 유지시간 별로 복수의 반려동물의 상태와 매칭된 테이블이 서버(100)에 미리 저장될 수 있다.
본 발명의 일 실시 예에 따르는 반려동물 감정 상태 테이블은, 복수의 반려동물 상태를, 배고픔, 두려움, 공격태세, 방어태세, 재미, 간절함, 신체적 만족, 감정적 만족, 도움요청, 지루함, 아픔 및 나른함을 포함하는 항목과 각 항복 별로 대응하는 명령신호(Code)에 대응시켜 저장한 것일 수 있다.
이때, 명령신호는 차량 내 제어대상에 관한 식별정보 및 동작정보를 포함하는 것으로서, 서버(100)가 차량의 음향 제공부(220), 온도 조절부(230), 창문, 썬루프 및 먹이 제공부(240) 중 적어도 하나 이상을 제어하기 위하여 상기 명령신호를 사용자 단말(300)로 전송하는데 활용될 수 있다.
도3을 참조하면, 본 발명의 일 실시 예에 따르는 반려동물 모드 제공 시스템은 앞서 설명한 반려동물 음향수집부(210) 외에도, 음향 제공부(220), 온도 조절부(230) 및 먹이 제공부(240)를 추가로 포함할 수 있다.
상기 반려동물 모드 제공 시스템은 차량은 인포테인먼트 시스템(200) 또한 포함할 수 있으며, 사용자 단말(300)이 서버(100)로부터 수신한 명령신호를 인포테인먼트 시스템(200)에 전송하고, 인포테인먼트 시스템(200)이 상기 차량을 제어하는 것일 수 있다.
여기서, 제어되는 각 부 중, 음향 제공부(220)는, 상기 서버(100)에 기 저장된 상기 반려동물의 상태 별로 대응하는 주인의 음성을 송출하는 것일 수 있다.
예를 들어, 서버(100)가 판단한 반려동물의 감정 상태가 두려움인 경우, 서버(100)는 두려움에 대응하는 주인의 음성으로("괜찮아" 등 다독이는 문구를 포함한 음성) 차량의 인포테인먼트 시스템(200) 또는 사용자 단말(300)의 스피커를 통해 해당 음성을 송출할 수 있다.
본 발명의 추가 실시 예에 따르면 각각의 감정 상태 별로 송출되는 음성은 본 발명의 실시 이전에 사용자 단말(300)의 녹음 기능을 통하여 사용자(반려동물의 보호자)로부터 직접 입력받아 녹음되고 서버(100)로 전송되어 저장되는 것일 수 있으며, 본 발명의 실시 이후, 음성의 변경 또한 사용자 단말(300)을 통해 수행될 수도 있다.
다음으로, 온도 조절부(230)는, 서버(100)에 기 저장된 상기 반려동물의 상태 별로 대응하는 에어컨 명령신호에 따라, 상기 에어컨의 온도를 조절하되, 창문 및 썬루프가 서로 교차하여 개방되어 있는 경우, 즉, 이미 환기를 위한 수단이 제공되고 있는 경우, 추가로 에어컨을 가동하여 환기동작을 가속함으로써, 더욱 빠르게 환기 동작을 수행할 수 있다.
창문 및 썬루프는, 명령신호에 따라 창문 및 썬루프의 개폐를 제어하되, 창문 및 상기 썬루프가 상기 반려동물의 머리 크기 이상 개방되지 않도록 하여 환기 도중 반려동물이 차량 밖으로 나가는 것을 방지할 수 있다.
또한, 이러한 개폐는 차량의 복수의 창문 중 2개의 창문이 차량 중심을 기준으로 서로 교차하여 개방, 즉, 운전석측 창문과 뒷좌석의 반대편 창문(대한 민국 기준 전열 좌측과 후열 우측)이 개방되는 것일 수 있다.
이는, 자동차의 앞 좌석 창문 윗부분은 기압이 낮고, 뒷 좌석 창문은 상대적으로 기압이 높아, 환기를 할 때는 운전석 창문과 조수석 뒷자리 창문을 열어주는 것이 가장 효과적 이기 때문이다.
다음으로, 먹이 제공부(240)는, 반려동물의 상태가 배고픔 또는 목마름인 경우, 먹이제공장치 및 급수장치을 제어하여 동작 시킴으로서 반려 동물이 배고픔과 목마름을 해소하도록 동작하는 것일 수 있다.
상술한 과정에서 파악된 반려동물 상태와 해당 상태에 대응하여 제어된 각부의 동작에 관한 정보는, 서버(100) 또는 인포테인먼트 시스템(200) 중 적어도 하나 이상에 의해 사용자 단말(300)로 제공될 수 있다.
다시 말해, 사용자는 사용자 단말(300)을 통해 반려동물의 감정상태 뿐만 아니라 감성상태에 따라 제공된 케어의 종류와 일시에 대한 정보 또한 제공받을 수 있다.
본 발명의 또 다른 실시 예에 따르면, 본 발명은 음향 분석을 통해 반려동물 모드를 동반 모드, 공용모드 및 분리모드로 제공할 수 있다.
도5를 참조하면, 동반 모드는 반려동물과 보호자가 함께 차량에 탑승한 것으로 판단되었을 경우 제공되는 것으로서, 반려동물이 멀미를 겪는 경우 창문을 열어주거나 보호자에게 안정감 있는 주행 또는 잠시 휴식(산책 등)을 하도록 사용자 단말(300)을 통해 추천할 수 있다.
이때, 안정감 있는 주행은 급정거 및 급발진을 자제하는 요청일 수 있으며 산책의 경우 사용자 단말(300)의 GPS 정보를 기반으로 기 설정된 거리 이내에 존재하는 휴식 가능한 장소(휴게소 및 공원 등)을 추천하는 메시지를 제공하는 것일 수 있다.
반면, 분리모드는, 차량 내에 반려동물만 존재하고 보호자는 존재하지 않는 경우에 제공되는 것으로서, 반려동물이 출입 불가능한 건물이나 매장에 잠시 방문해야 할 일이 있을 때 유용하게 사용될 수 있다.
반려동물을 장시간 차량에 홀로 남겨두는 행동은 지양해야 하는 행동이나 앞서 설명한 바와 같이 부득이한 경우, 반려동물이 느끼는 경계, 외로움 및 불안 등의 불안정한 감정상태가 인식되면, 반려동물의 상태가 경계일 때, 서버(100)는 차량의 인포테인먼트 시스템(200)을 통해 차량의 블랙박스 또는 카메라 장치를 통해 차량 인근의 이미지를 수집하고 사용자 단말(300)로 제공하여 차량 인근에 낯선 사람이 다가왔음을 알리는 메시지를 제공할 수 있다.
또한, 외로움 또는 불안 상태의 경우, 반려동물이 외로워하거나 불안한 상태임을 알리는 메시지를 사용자 단말(300)로 제공할 수 있다.
공용모드는 앞서 설명한 동반 모드와 분리 모드 상태 모두에서 제공되는 것으로서, 반려동물의 상태가 대소변, 배고픔, 목마름, 더움, 즐거움 또는 행복함으로 판단되었을 때 제공될 수 있다.
이 경우, 앞서 설명한 음향 제공부(220), 온도 조절부(230), 창문, 썬루프 및 먹이 제공부(240)를 제어하여 반려동물의 상태를 해소할 수 있으며, 수행된 동작과 반려동물 상태에 대한 정보가 사용자 단말(300)로 제공될 수 있다.
이하에서 도6을 참조하여, 본 발명의 일 실시 예에 따르는 자동차 반려동물 모드 제공방법의 수행순서에 대하여 다시 한번 설명하도록 한다.
먼저, 사용자 단말(300)과 차량의 인포테인먼트 시스템(200)이 통신 연결된다(S101).
사용자 단말(300)의 반려동물 음향수집부(210)가 차량 내부에 반려동물이 있을 때, 차량의 내부에서 발생하는 음향정보를 수집하고, 수집한 음향정보를 서버(100)로 전송한다(S102).
서버(100)는 수신한 음향정보를 기 설정된 알고리즘에 따라 반려동물 음성과 이외의 음향으로 구분한다(S103).
이후, 서버(100)가 반려동물 음성으로 구분된 음향에 대하여 기 설정된 반려동물 감정 상태 테이블을 참고하여 반려동물의 감정상태를 결정한다(S104).
서버(100)는 반려동물의 감정상태 별로 기 설정된 알고리즘에 따라 차량의 음향 제공부(220), 온도 조절부(230), 창문, 썬루프 및 먹이 제공부(240) 중 적어도 하나 이상을 제어하기 위한 명령신호를 사용자 단말(300)로 전송한다(S105).
다음으로, 사용자 단말(300)이 명령신호를 인포테인먼트 시스템(200)에 전송하고, 인포테인먼트 시스템(200)이 차량을 제어한다(S106).
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 시스템에 의해 수행되는, 자동차 반려동물 모드 제공방법에 있어서,
    (a) 사용자 단말과 차량의 인포테인먼트 시스템이 통신 연결되는 단계;
    (b) 상기 사용자 단말의 반려동물 음향수집부가 차량 내부에 반려동물이 있을 때, 상기 차량의 내부에서 발생하는 음향정보를 수집하고, 수집한 음향정보를 서버로 전송하는 단계;
    (c) 상기 서버가 수신한 음향정보를 기 설정된 알고리즘에 따라 반려동물 음성과 이외의 음향으로 구분하는 단계;
    (d) 상기 서버가 상기 반려동물 음성으로 구분된 음향에 대하여 기 설정된 반려동물 감정 상태 테이블을 참고하여 상기 반려동물의 감정상태를 결정하는 단계;
    (e) 상기 서버가 반려동물의 감정상태 별로 기 설정된 알고리즘에 따라 차량의 음향 제공부, 온도 조절부, 창문, 썬루프 및 먹이 제공부 중 적어도 하나 이상을 제어하기 위한 명령신호를 상기 사용자 단말로 전송하는 단계; 및
    (f) 상기 사용자 단말이 상기 명령신호를 상기 인포테인먼트 시스템에 전송하고, 상기 인포테인먼트 시스템이 상기 차량을 제어하는 단계;를 포함하며,
    상기 명령신호는 상기 차량 내 제어대상에 관한 식별정보 및 동작정보를 포함하는 것인, 자동차 반려동물 모드 제공방법.
  2. 제1항에 있어서,
    상기 반려동물 음향수집부는 차량 내부에 설치 및 유무선 통신을 통하여 연결된 음성인식 장치, 내장형 차량 인포테인먼트 시스템 마이크 및 상기 차량과 블루투스로 연결된 상기 사용자 단말의 마이크 장치를 포함하되, 잡음 및 음원에서 발생된 음성 및 반려동물 음성을 수신하여, 전기적인 소리 신호로 변환하는 복수의 마이크로폰을 포함하는 것인, 자동차 반려동물 모드 제공방법.
  3. 제1항에 있어서,
    상기 (c)단계는,
    (c-1) 상기 음향정보를 필터링하여 주인의 음성을 검출하는 단계; 및
    (c-2) 상기 음향정보에서 상기 주인의 음성을 제외한 나머지 음향정보를 필터링하여 자동차의 동작에 의한 소음을 제거하는 단계;를 포함하는, 자동차 반려동물 모드 제공방법.
  4. 제3항에 있어서,
    상기 (c)단계는,
    상기 서버가 차량 내부에 반려동물만 존재하는 것으로 판단하는 경우, 동작하며, 상기 서버는 수집된 음향신호로부터 사용자의 음성이 미 포함된 것으로 인식하는 경우, 반려동물만 존재하는 것으로 판단하는 것인, 자동차 반려동물 모드 제공방법.
  5. 제3항에 있어서,
    상기 (c-2)단계는,
    상기 서버에 상기 자동차의 동작에 의한 소음이 해당 자동차의 주행상태 및 기종 별로 미리 저장된 것이되, 상기 주행상태는 상기 차량의 변속기어에 따라 P,D,R 및N을 포함하는 4가지 상태로 구분되고, 각각의 주행상태 별로 기 설정된 차량의 속도와 소음이 저장된 것인, 자동차 반려동물 모드 제공방법.
  6. 제1항에 있어서,
    상기 (d)단계는,
    상기 반려동물 감정 상태 테이블이 상기 서버에 미리 저장되되, 복수의 반려동물 상태가 반려동물 음성의 높낮이, 기 설정된 시간 당 반복 횟수 및 기 설정된 시간 동안 유지시간 별로 복수의 반려동물의 상태와 매칭된 테이블인 것인, 자동차 반려동물 모드 제공방법.
  7. 제6항에 있어서,
    상기 복수의 반려동물 상태는,
    배고픔, 두려움, 공격태세, 방어태세, 재미, 간절함, 신체적 만족, 감정적 만족, 도움요청, 지루함, 아픔 및 나른함을 포함하는 것인, 자동차 반려동물 모드 제공방법.
  8. 제1항에 있어서,
    상기 (e)단계는,
    상기 음향 제공부는, 상기 서버에 기 저장된 상기 반려동물의 상태 별로 대응하는 주인의 음성을 상기 서버의 명령신호에 따라 송출하는 것이고,
    상기 온도 조절부는, 상기 서버에 기 저장된 상기 반려동물의 상태 별로 대응하는 에어컨 명령신호에 따라, 상기 에어컨의 온도를 조절하되, 창문 및 썬루프가 서로 교차하여 개방되어 있는 경우, 상기 에어컨을 가동하여 환기동작을 수행하는 것이고,
    상기 창문 및 썬루프는, 상기 서버의 명령신호에 따라 상기 창문 및 썬루프의 개폐를 제어하되, 상기 창문 및 상기 썬루프가 상기 반려동물의 머리 크기 이상 개방되지 않도록 차량의 복수의 창문 중 2개의 창문이 차량 중심을 기준으로 서로 교차하여 개방되는 것이고,
    상기 먹이 제공부는, 상기 서버에 기 저장된 상기 반려동물의 상태 별로 대응하는 먹이제공장치 및 급수장치 명령신호에 따라, 상기 먹이제공장치 및 급수장치의 먹이제공동작과 급수동작을 제어하는 것인, 자동차 반려동물 모드 제공방법.
  9. 제1항에 있어서,
    (g) 분류된 반려동물 상태 및 상기 서버가 제어한 음향 제공부, 온도 제공부 및 먹이 제공부의 동작에 관한 정보를 상기 사용자 단말로 제공하는 단계;를 더 포함하는, 자동차 반려동물 모드 제공방법.
  10. 자동차 반려동물 모드 제공 시스템에 있어서,
    상기 시스템은,
    차량의 인포테인먼트 시스템이 통신 연결되고, 명령신호를 상기 인포테인먼트 시스템에 전송하여 상기 인포테인먼트 시스템이 상기 차량을 제어하도록 하는 사용자 단말;
    상기 차량 내부에 반려동물이 있을 때, 상기 차량의 내부에서 발생하는 음향정보를 수집하고, 수집한 음향정보를 서버로 전송하는 반려동물 음향수집부; 및
    수신한 음향정보를 기 설정된 알고리즘에 따라 반려동물 음성과 이외의 음향으로 구분하고, 상기 반려동물 음성으로 구분된 음향에 대하여 기 설정된 반려동물 감정 상태 테이블을 참고하여 상기 반려동물의 감정상태를 결정하여 반려동물의 감정상태 별로 기 설정된 알고리즘에 따라 차량의 음향 제공부, 온도 조절부, 창문, 썬루프 및 먹이 제공부 중 적어도 하나 이상을 제어하기 위한 명령신호를 상기 사용자 단말로 전송하는 서버;를 포함하고,
    상기 명령신호는 상기 차량 내 제어대상에 관한 식별정보 및 동작정보를 포함하는 것인, 자동차 반려동물 모드 제공 시스템.
PCT/KR2022/016218 2022-10-14 2022-10-24 자동차 반려동물 모드 제공방법 WO2024080429A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0132152 2022-10-14
KR1020220132152A KR20240052298A (ko) 2022-10-14 2022-10-14 자동차 반려동물 모드 제공방법

Publications (1)

Publication Number Publication Date
WO2024080429A1 true WO2024080429A1 (ko) 2024-04-18

Family

ID=90669722

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/016218 WO2024080429A1 (ko) 2022-10-14 2022-10-24 자동차 반려동물 모드 제공방법

Country Status (2)

Country Link
KR (1) KR20240052298A (ko)
WO (1) WO2024080429A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180096369A (ko) * 2017-02-21 2018-08-29 주식회사 오비고 차량 제어를 위한 음성 인식 지원 시스템 및 그 방법
KR20190125668A (ko) * 2018-04-30 2019-11-07 서현민 반려동물의 감정상태 분석장치 및 방법
WO2020045789A1 (ko) * 2018-08-30 2020-03-05 (주) 너울정보 반려동물의 감정 상태 감지 시스템 및 방법
KR20220070153A (ko) * 2020-11-20 2022-05-30 경기과학기술대학교 산학협력단 반려동물을 위한 밸런싱 로봇
KR20220135571A (ko) * 2021-03-30 2022-10-07 주식회사대성엘텍 차량 인포테인먼트 시스템 및 이의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180096369A (ko) * 2017-02-21 2018-08-29 주식회사 오비고 차량 제어를 위한 음성 인식 지원 시스템 및 그 방법
KR20190125668A (ko) * 2018-04-30 2019-11-07 서현민 반려동물의 감정상태 분석장치 및 방법
WO2020045789A1 (ko) * 2018-08-30 2020-03-05 (주) 너울정보 반려동물의 감정 상태 감지 시스템 및 방법
KR20220070153A (ko) * 2020-11-20 2022-05-30 경기과학기술대학교 산학협력단 반려동물을 위한 밸런싱 로봇
KR20220135571A (ko) * 2021-03-30 2022-10-07 주식회사대성엘텍 차량 인포테인먼트 시스템 및 이의 동작 방법

Also Published As

Publication number Publication date
KR20240052298A (ko) 2024-04-23

Similar Documents

Publication Publication Date Title
US20220032482A1 (en) Information processing device and storage medium
JP6862629B2 (ja) 見守り送迎システムにおける車両管理サーバ、車載端末、見守り方法、及びプログラム
US10235128B2 (en) Contextual sound filter
US20050215171A1 (en) Child-care robot and a method of controlling the robot
CN110383235A (zh) 多用户智能辅助
EP3566572A1 (en) Apparatuses and methods for smart pet alert, and storage medium thereof
CN105856257A (zh) 适用于前台接待的智能机器人
CN107038844A (zh) 一种看护机器人
EP3516636B1 (de) Audioüberwachungssystem
JP7160454B2 (ja) 情報を出力するための方法、装置及びシステム、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
KR20130118510A (ko) 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법
CN110481480A (zh) 车辆及其基于生命特征信息的车辆自动控制方法
WO2022045543A1 (ko) 반려동물용 원격 통제장치
JP2020046727A (ja) 車両用装置及び運転支援プログラム
WO2024080429A1 (ko) 자동차 반려동물 모드 제공방법
WO2001052480A1 (de) Kommunikationssystem und dafür geeignete steuereinheit
CN111653067A (zh) 智能家居设备及基于音频的报警方法
CN105652683B (zh) 基于人体红外特征识别人体的能源控制方法及其系统
CN206331450U (zh) 一种机器人人脸识别系统
WO2019216585A1 (ko) 음성인식 기반 인공지능형 안심 서비스 제공 방법
WO2022211140A1 (ko) 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템
DE102020100081A1 (de) Verbindung einer intelligenten heim-zuhörvorrichtung mit einem transportfahrzeug
US20240046719A1 (en) Solar Powered Multilingual Emergency Response Robot And Interactive Artificial Intelligence System For Detecting Hazardous Conditions Within a Motor Vehicle For Prevention of Vehicle Related Deaths.
WO2020004727A1 (ko) 실시간 소리 분석 방법 및 장치
WO2021256889A1 (ko) 오디오 인식을 활용한 라이프로그 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22962179

Country of ref document: EP

Kind code of ref document: A1