WO2022186555A1 - 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법 - Google Patents

차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법 Download PDF

Info

Publication number
WO2022186555A1
WO2022186555A1 PCT/KR2022/002796 KR2022002796W WO2022186555A1 WO 2022186555 A1 WO2022186555 A1 WO 2022186555A1 KR 2022002796 W KR2022002796 W KR 2022002796W WO 2022186555 A1 WO2022186555 A1 WO 2022186555A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
vehicle
electronic device
server
target size
Prior art date
Application number
PCT/KR2022/002796
Other languages
English (en)
French (fr)
Inventor
이재웅
김형곤
이웅
이유선
장창원
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP22763538.0A priority Critical patent/EP4265499A1/en
Priority to CN202280018605.6A priority patent/CN116963952A/zh
Priority to US17/684,738 priority patent/US20220281465A1/en
Publication of WO2022186555A1 publication Critical patent/WO2022186555A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Definitions

  • the present disclosure relates to an electronic device of a vehicle, and more particularly, to controlling vehicle functions for autonomous driving by the electronic device and a server.
  • autonomous vehicles such as self-driving cars
  • autonomous driving can navigate the road using sensor inputs, electronic control of vehicle functions, and sophisticated processing systems. Therefore, autonomous driving typically utilizes significant amounts of data processing. Accordingly, autonomous driving may include processing of computer devices installed in vehicles and/or external servers.
  • the server may not be able to properly receive and process the data. Also, there may be delays in delivering important instructions to the vehicle.
  • the present disclosure may increase safety and security for vehicle control for an autonomous driving system including a communication connection between the vehicle and an external server.
  • the present disclosure can improve a vehicle's ability to quickly and automatically respond to changing circumstances and environmental conditions even when a communication connection with a server is disrupted or lost.
  • the present disclosure improves stable autonomous driving according to a communication state between a vehicle and a server, so that a driver can adapt to changes and unexpected situations that may occur during autonomous driving of a vehicle.
  • an electronic device is disclosed.
  • the electronic device is installed in the vehicle for controlling the functions of the vehicle.
  • the electronic device may include a memory for storing at least one instruction; a communication circuit having a communication connection with an external server; and a processor connected to the memory and operating, wherein the electronic device checks the state of the communication connection with the external server by the at least one instruction executable by the processor, and the confirmed state based on the determination of a target size for data to be transmitted to the external server, and controlling at least one sensor of the vehicle so that data whose total size is equal to or less than the determined target size is collected, and collected by the at least one sensor It transmits data to the external server, receives a control command from the external server based on the transmitted data, and controls a function of the vehicle according to the received control command.
  • a method is disclosed.
  • the method is for an electronic device installed in a vehicle, comprising: checking a state of a communication connection with an external server; determining a target size for data to be transmitted to the external server according to the checked state; controlling at least one sensor of the vehicle so that data having an overall size equal to or less than the determined target size is collected; transmitting the data collected by the at least one sensor to the external server; and receiving a control command from the external server based on the transmitted data, and controlling a function of the vehicle according to the received control command.
  • an electronic device includes: a memory for storing at least one instruction; and a processor connected to the memory to operate, wherein the electronic device checks a state of a communication connection with an external server by the at least one instruction executable by the processor, and based on the confirmed state to determine a target size for data to be transmitted to the external server, select some data whose total size is less than or equal to the determined target size among previously acquired data in order to transmit to the external server, and store the selected partial data in the It transmits to an external server, receives a control command from the external server based on the transmitted data, and controls a function of the vehicle according to the received control command.
  • an autonomous driving system capable of safely controlling a vehicle in a situation in which a vehicle and an external server are communicatively connected is disclosed.
  • the autonomous vehicle can quickly react to an unexpectedly changing external factor even when communication with the server is interrupted or interrupted.
  • autonomous driving may be more stably implemented according to a communication state between the vehicle and the server, and the driver's ability to adapt to situations that may occur during autonomous driving may be improved.
  • FIG. 1 is a diagram illustrating an electronic device and a server mounted on a vehicle according to an exemplary embodiment.
  • FIG. 2 is a functional block diagram of a vehicle equipped with an electronic device according to an exemplary embodiment.
  • FIG. 3 is a flowchart of a method for controlling a vehicle function according to an exemplary embodiment.
  • FIG. 4 is a diagram according to an embodiment for explaining a method of determining a target size of environment data to be transmitted to a server.
  • FIG. 5 is a diagram according to an embodiment for explaining a method of selecting a threshold time used to determine a target size.
  • FIG. 6 is a diagram illustrating stability of autonomous driving corresponding to a target size and a threshold time, according to an exemplary embodiment.
  • FIG. 7 is a diagram according to an embodiment for explaining that the stability of autonomous driving can be predicted for each section in a path between a departure point and a destination.
  • FIG. 8 is a diagram according to an embodiment for explaining a method of selecting a recommended route according to predicted stability of autonomous driving among various routes between a departure point and a destination location.
  • FIG. 9 is a diagram illustrating a method of determining a target size according to a communication method between a vehicle and a server according to an exemplary embodiment.
  • FIG. 10 is a view for explaining a method of selecting a sensor to turn off an operation from among sensors mounted on a vehicle in consideration of a moving direction of the vehicle;
  • 11 is a view for explaining a method of selecting a sensor to turn off an operation from among sensors mounted on a vehicle in consideration of a moving direction of the vehicle;
  • FIG. 12 is a flowchart of a method for controlling a vehicle function according to another exemplary embodiment.
  • FIG. 13 is a view for explaining a method of selecting environmental data to be transmitted to a server from among environmental data collected by sensors in consideration of a moving direction of a vehicle;
  • FIG. 14 is a view for explaining a method of selecting environmental data to be transmitted to a server from among environmental data collected by sensors in consideration of a moving direction of a vehicle;
  • 15 is a diagram for explaining an operation performed using an artificial intelligence technology according to an embodiment.
  • 16 is a diagram illustrating a server and an electronic device operating in conjunction with the server.
  • 17 is a block diagram of a processor included in an electronic device according to an exemplary embodiment.
  • FIG. 18 is a block diagram of a data learning unit according to an exemplary embodiment.
  • 19 is a block diagram of a data recognition unit according to an exemplary embodiment.
  • 20 is a diagram illustrating an example of learning and recognizing data by interworking with an electronic device and a server according to an embodiment.
  • an electronic device may be installed in a vehicle to control functions of the vehicle.
  • the electronic device includes: a memory for storing at least one instruction; and a processor executing the at least one instruction, wherein the processor checks a communication state with a server according to the at least one instruction, and corresponds to data to be transmitted to the server based on the confirmed communication state determining a target size, controlling the at least one sensor so that the at least one sensor mounted on the vehicle collects data whose total size is equal to or less than the determined target size, and sending the data collected by the at least one sensor to the server and control the function of the vehicle according to a control command received from the server in response to the transmission of the data.
  • the processor may turn off the operation of some of the at least one sensor so that data having an overall size equal to or less than the determined target size is collected.
  • the processor may select a sensor to turn off the operation of the at least one sensor based on at least one of a moving direction of the vehicle and a location of the vehicle.
  • the processor may reduce the sensing capability of the at least one sensor so that data having an overall size equal to or less than the determined target size is collected.
  • the processor may determine the target size so that an expected time from the start of collecting the data to the execution of the control command is equal to or less than a threshold time.
  • the processor may determine an analysis accuracy such that the expected time is equal to or less than the threshold time, and transmit the determined analysis accuracy to the server, and the control command may be generated by analyzing the data with the determined analysis accuracy. have.
  • the processor may select the threshold time from among a plurality of candidate threshold times according to at least one of a speed of the vehicle and a position of the vehicle.
  • the processor may output a level of stability of autonomous driving corresponding to the determined target size and the threshold time through the in-vehicle output device.
  • the processor may output the predicted stability of autonomous driving in sections within the route between the departure location and the arrival location of the vehicle through an output device.
  • the processor may select a recommended route among the routes in consideration of an average of predicted stability of routes between a departure location and an arrival location of the vehicle.
  • the processor may determine a target size corresponding to the data to be transmitted to the server according to the stability of the autonomous driving corresponding to the communication method with the server.
  • the processor may select a portion of data such that the total size is equal to or less than the determined target size, and transmit the selected portion of data to the server.
  • a method by an electronic device mounted on a vehicle, the method comprising: checking a communication state with a server; determining a target size corresponding to data to be transmitted to the server according to the confirmed communication state; controlling the at least one sensor mounted on the vehicle to collect data whose total size is equal to or less than the determined target size; transmitting the data collected by the at least one sensor to the server; and controlling a function of the vehicle according to a control command received from the server in response to the transmission of the data.
  • the method may further include turning off operation of some of the at least one sensor so that data having an overall size equal to or less than the determined target size is collected.
  • the method may further include reducing a sensing capability of the at least one sensor such that data having an overall size equal to or less than the determined target size is collected.
  • the determining of the target size may include determining the target size such that an expected time from the start of data collection to the execution of the control command is equal to or less than a threshold time.
  • the determining of the target size may include selecting the threshold time from among a plurality of candidate threshold times according to at least one of a speed of the vehicle and a position of the vehicle.
  • the method may further include outputting a level of stability of autonomous driving corresponding to the determined target size and the threshold time through the in-vehicle output device.
  • the determining of the target size may include determining the target size corresponding to data to be transmitted to the server based on the stability of autonomous driving corresponding to the communication method with the server.
  • an electronic device mounted on a vehicle to control a function of the vehicle includes: a memory for storing at least one instruction; and a processor operating according to the at least one instruction, wherein the processor checks a communication state with a server, and determines a target size corresponding to data to be transmitted to the server based on the checked communication state, Selects some data so that the total size of the data obtained from at least one sensor mounted on the vehicle is equal to or less than the determined target size, transmits the selected partial data to the server, and responds to the transmission of the partial data
  • the processor checks a communication state with a server, and determines a target size corresponding to data to be transmitted to the server based on the checked communication state, Selects some data so that the total size of the data obtained from at least one sensor mounted on the vehicle is equal to or less than the determined target size, transmits the selected partial data to the server, and responds to the transmission of the partial data
  • the expression “at least one of a, b or c” means “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, both b and c”, or variations thereof.
  • a component when referred to as "connected” or “connected” to another component in the present specification, the component may be directly connected to or directly connected to the other component, but in particular the opposite is true. Unless there is a description to be used, it will be understood that it may be connected or connected through another element in the middle.
  • components expressed as ' ⁇ part (unit)', 'module', etc. are two or more components combined into one component, or two or more components for each more subdivided function. may be differentiated into.
  • each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions they are responsible for, and some of the main functions of each component may be different It goes without saying that it may be performed exclusively by the component.
  • the structure of the automobile is expected to have an integrated structure for each function in the current distributed structure, and then evolve to a structure in which the connected domains are controlled by a central controller. .
  • a central controller it is predicted that data will be processed centrally as technology advances, and cloud connection will be possible in the future.
  • a system may be considered in which the vehicle collects environmental data around the vehicle and transmits the data to the server, and the server analyzes the environmental data and transmits a control command to the vehicle.
  • an artificial intelligence (AI) system is a computer system, and unlike the existing rule-based system, it is a system in which a machine learns and judges by itself and becomes smarter. The more the AI system is used, the higher the recognition rate and the more accurate understanding of user preferences. Existing rule-based systems are gradually being replaced by deep learning-based AI systems.
  • Machine learning Deep learning
  • elemental technologies using machine learning.
  • Machine learning is an algorithm technology that classifies/learns characteristics of input data by itself
  • element technology is a technology that uses machine learning algorithms such as deep learning, such as language understanding, visual understanding, reasoning/prediction, knowledge expression, and motion control It consists of technical fields of
  • Linguistic understanding is a technology for recognizing and applying/processing human language/text, and includes natural language processing, machine translation, dialogue system, question and answer, and speech recognition/synthesis.
  • Visual understanding is a technology for recognizing and processing objects like human vision, and includes object recognition, object tracking, image search, human recognition, scene understanding, spatial understanding, image improvement, and the like.
  • Inferential prediction is a technology for logically reasoning and predicting by judging information, and includes knowledge/probability-based reasoning, optimization prediction, preference-based planning, and recommendation.
  • Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge generation (data generation and classification), knowledge management (data utilization), and the like.
  • Motion control is a technology for controlling autonomous driving of a vehicle and movement of a robot, and includes motion control (navigation, collision, driving), manipulation control (action control), and the like.
  • the disclosed embodiment relates to a method for safely controlling a vehicle in an autonomous driving system in which a vehicle and a server are linked, and an apparatus for performing the same, which will be described in detail below with reference to the accompanying drawings.
  • FIG. 1 is a diagram according to an embodiment illustrating an electronic device 100 and a server 200 mounted on a vehicle 10 .
  • the vehicle 10 may autonomously drive through connection with the server 200 .
  • the vehicle 10 transmits data collected by sensors mounted on the vehicle 10 to the server 200, and the server 200 analyzes the data to generate a control command for autonomous driving. can do.
  • the server 200 may transmit a control command to the vehicle 10 , and the vehicle 10 may operate according to the control command.
  • the data collected by the sensors mounted on the vehicle 10 may be data about the surrounding environment of the vehicle.
  • the data may include whether there is an object with a risk of collision around the vehicle, considerations when driving or moving the vehicle (eg, whether there is a shaded area, whether an accident has occurred nearby, etc.), the driving of the vehicle It can be data indicating matters affecting the
  • 'data' is data on the surrounding environment of the vehicle will be referred to as 'environment data' or 'sensing data'.
  • the electronic device 100 is mounted on the vehicle 10 to support autonomous driving of the vehicle 10 .
  • FIG. 1 illustrates that the electronic device 100 is mounted on the roof of the vehicle 10 , which is only an example, and the electronic device 100 is located in various locations (eg, , engine room, chassis, dashboard, etc.).
  • the electronic device 100 may be mounted on the vehicle 10 during the manufacturing process of the vehicle 10 , or may be mounted on the vehicle 10 after the vehicle 10 is manufactured.
  • the electronic device 100 guarantees the safe autonomous driving of the vehicle 10 even in a situation in which communication between the vehicle 10 and the server 200 is disturbed.
  • the electronic device 100 maintains a specified time variable for executing the control command received from the server 200 , thereby reducing the effect of the communication disconnection state on the safety of autonomous driving of the vehicle 10 . can be minimized
  • FIG. 2 is a functional block diagram of a vehicle 10 in which the electronic device 100 is mounted according to an exemplary embodiment.
  • an electronic device 100 a communication module 300 , and a sensor 400 are mounted on a vehicle 10 .
  • the sensors 400 collect environmental data by sensing inputs generated from the external environment of the vehicle 10 .
  • the environmental data collected by the sensors 400 is transmitted to the electronic device 100 .
  • the sensors 400 include a sensor that detects an object proximate to the vehicle 10 , a sensor that detects the current location/place of the vehicle 10 , a sensor that acquires images of the surrounding environment of the vehicle 10 , and/or a sensor for detecting the posture of the vehicle 10 .
  • the sensors 400 may be installed in the vehicle 10 , and the sensors 400 include a camera, a light detection and ranging sensor (LIDAR), a radio detection and ranging sensor (RARAR), and a global positioning system (GPS). , an acceleration sensor, and a gyro sensor.
  • LIDAR light detection and ranging sensor
  • RARAR radio detection and ranging sensor
  • GPS global positioning system
  • the sensors 400 mounted on the vehicle 10 are not limited to the illustrated ones, and various types of sensors not illustrated may be mounted on the vehicle 10 .
  • the number of sensors 400 mounted on the vehicle 10 may be one or more.
  • the communication module 300 may include a communication circuit capable of transmitting and receiving data between the electronic device 100 and the server 200 while communicating with the server 200 through the communication network 30 . That is, the communication module 300 transmits the environmental data provided from the electronic device 100 to the server 200 through the communication network 30 , and electronically transmits a control command received from the server 200 through the communication network 30 . to the device 100 .
  • the communication module 300 may include a network interface card (NIC).
  • the communication module 300 may communicate with the server 200 using any one of several supported communication methods.
  • Various communication methods that can be supported may include, but are not limited to, a 5g mmWave communication method, a 5g SUB6 communication method, and a Long-Term Evolution (LTE) communication method. Both the 5g mmWave communication method and the 5g SUB6 communication method correspond to the 5G communication method, but there is a difference in that the available frequency bands are different.
  • the communication module 300 may communicate with the server 200 using any one communication method, and may communicate with the server 200 by replacing it with another communication method.
  • the communication module 300 communicates with the server 200 using the 5g mmWave communication method, and when it is difficult to use the 5g mmWave communication method in a specific area, it can communicate with the server 200 by switching to the LTE communication method. have.
  • the communication module 300 may communicate with the server 200 using a communication method having a higher priority. For example, if communication with the server 200 is possible using the 5g mmWave communication method and the 5g SUB6 communication method, and the priority of the 5g mmWave communication method is higher than the 5g SUB6 communication method, the communication module 300 communicates with the server 200 5g mmWave communication method can be used for communication.
  • the communication module 300 provides information on a communication state with the server 200 to the electronic device 100 .
  • the information on the communication state may include information indicating the communication speed with the server 200 .
  • the communication speed can be checked, and thus the information on the communication state may include information indicating the communication method.
  • the electronic device 100 includes a memory 110 and a processor 130 .
  • the memory 110 stores at least one instruction, and the processor 130 performs an operation for controlling functions of the vehicle 10 through execution of the at least one instruction.
  • the above-described communication module 300 may be included in the electronic device 100 .
  • the electronic device 100 adaptively determines the target size of the environment data to be transmitted to the server 200 in consideration of the communication state between the communication module 300 and the server 200 .
  • the size of the environment data to be transmitted to the server 200 increases, the time used to transmit the environment data from the communication module 300 to the server 200 increases, and as a result, the external environment of the vehicle 10 changes A quick response may not be possible. Therefore, when the communication state between the communication module 300 and the server 200 is stable and the bandwidth is sufficient, the large bandwidth and stability do not prevent a quick response, so that the electronic device 100 may increase the target size of the environmental data. and the increased data size may help to generate a more accurate response to factors external to the vehicle 10 .
  • the electronic device 100 may reduce the target size of the environment data in order to maintain the transmission time, and thus, the outside of the vehicle 10 .
  • a certain degree of promptness can be maintained in the automatic response to changes in the situation.
  • the server 200 analyzes the environmental data received from the electronic device 100 through the communication module 300 to generate a control command indicating how to control the function of the vehicle 10 . For example, if the server 200 determines that the right turn of the vehicle 10 is imminent based on the analysis of the environmental data, the server 200 may generate a control command indicating the right turn.
  • the control command is provided from the server 200 to the electronic device 100 through the communication module 300 .
  • the electronic device 100 controls a function of the vehicle 10 according to a control command.
  • the electronic device 100 controls at least one of the engine 11 , the power train 12 , the brake 13 , the steering 14 , and the suspension 15 of the vehicle 10 to control the vehicle 10 . Allows you to perform this specific function (eg, turn right, etc.).
  • FIG. 2 shows the engine 11 , the powertrain 12 , the brake 13 , the steering 14 , and the suspension 15 as objects controlled by the electronic device 100 , but this is only an example.
  • the electronic device 100 may control various devices installed in the vehicle 10 , such as an air conditioner and lighting, to perform a specific function.
  • FIG. 3 is a flowchart of a method for controlling a function of the vehicle 10 according to an exemplary embodiment.
  • step S310 the electronic device 100 checks a communication state between the communication module 300 and the server 200 .
  • the electronic device 100 receives information related to a communication state from the communication module 300 and a communication state (eg, quality, stability, bandwidth) between the communication module 300 and the server 200 according to the received information. etc.) can be checked.
  • a communication state eg, quality, stability, bandwidth
  • step S320 the electronic device 100 determines the target size of the environment data to be transmitted to the server 200 according to the checked communication state. For example, when the communication state indicates a quality higher than a specific threshold quality (eg, signal strength, bandwidth, etc.), the target size of the environment data to be transmitted to the server 200 may be increased. When the communication state indicates a quality lower than a specific threshold quality, the target size of the environment data to be transmitted to the server 200 may be reduced in order to ensure the maintenance of a stable data transmission time.
  • a specific threshold quality eg, signal strength, bandwidth, etc.
  • the electronic device 100 may control and/or set the sensors 400 to detect environmental data.
  • the size of the data collected by the sensors 400 is the target size determined in step S320 .
  • the sensors 400 may be controlled and/or set as follows. That is, the electronic device 100 may control the operation of the sensors 400 so that the total size of the environmental data sensed and collected by the sensors 400 is less than or equal to the target size.
  • the electronic device 100 may control the sensors 400 such that the total size of the environmental data collected by the sensors 400 is equal to or smaller than the target size and close to the target size.
  • the electronic device 100 may control the sensors 400 such that the total size of the environmental data collected by the sensors 400 is equal to or less than the target size and the difference from the target size is equal to or less than a threshold value.
  • the target size is 100Mb and the threshold value is 10Mb
  • the total size of the environment data may have 90Mb to 1000Mb.
  • the sensing operation of some of the sensors 400 mounted on the vehicle 10 is turned off or the sensing capability of the sensors 400 mounted on the vehicle 10 is reduced. can This will be described later with reference to FIGS. 10 and 11 .
  • step S340 the electronic device 100 transmits the environmental data obtained from the sensors 400 to the server 200 .
  • the electronic device 100 may convert (eg, compress) environmental data to be suitable for a communication method used between the communication module 300 and the server 200 .
  • the server 200 may analyze the environment data received from the electronic device 100 to generate a control command for the vehicle. For example, the server 200 may acquire a control command instructing execution of a function of the vehicle 10 in autonomous driving. In embodiments, appropriate control commands may be selected or generated by inputting environmental data into a neural network trained for machine learning.
  • step S350 the electronic device 100 controls the function of the vehicle 10 according to a control command received from the server 200 . Accordingly, the vehicle 10 performs an autonomous response to an event occurring in the external environment, which is detected by the sensors and transmitted to the external server within a required time.
  • the electronic device 100 maintains the stability and accuracy of autonomous driving by adaptively determining the target size of environmental data according to the communication state between the communication module 300 and the server 200 .
  • the target size of the environmental data is reduced to less than a certain threshold size, a quick response to the external factor can be maintained.
  • the accuracy of the autonomous driving response may be reduced due to the reduced detail of the sensor data. Therefore, in autonomous driving of the vehicle 10 , it is important to set a target size of environmental data that enables a quick and accurate response.
  • the electronic device 100 when the electronic device 100 decides to collect environmental data of a specific size, the expected time from the start of the collection of the environmental data by the sensors 400 to the execution of the control command is less than or equal to the threshold time If so, the specific size may be determined as a target size of the environment data.
  • the threshold time may be predetermined as to ensure a quick response of the vehicle 10 .
  • Estimated time can be divided into detailed times as follows.
  • the detailed times listed above may vary depending on the size of the environment data to be transmitted to the server 200 . For example, as the size of the environmental data increases, the detailed time 1, the detailed time 2, the detailed time 3, the detailed time 4, and the detailed time 5 are likely to increase.
  • the electronic device 100 since detailed times 4 and 6 depend on the communication state between the communication module 300 and the server 200 , specifically, the communication speed, the electronic device 100 considers the communication state and transmits environmental data to the server 200 . to determine the target size of
  • the electronic device 100 may know in advance how much time it will take to collect environmental data of a certain size in a specific communication state. For example, when the electronic device 100 collects 100Mb of environmental data in the 5g mmWave communication method, it takes 1 second from the start of collecting the environmental data to the execution of the control command, and 100Mb in the LTE communication method. When the environmental data is collected, it may be known in advance that it takes 2 seconds from the start of the collection of the environmental data to the execution of the control command.
  • the electronic device 100 may calculate a target size of the environment data to be transmitted to the server 200 by inputting information on a communication state and a threshold time into a pre-stored algorithm.
  • the electronic device 100 may further determine the analysis accuracy by the server 200 .
  • the analysis accuracy of the server 200 is related to the detailed time 5. Since the detailed time 5 increases as the analysis accuracy increases, the electronic device 100 may determine the target size and the analysis accuracy so that the expected time is equal to or less than the threshold time.
  • the electronic device 100 may transmit the analysis accuracy to the server 200 , and the server 200 may analyze the environment data according to the received analysis accuracy. For example, if the analysis accuracy is 3, the server 200 analyzes the environmental data with a first predetermined algorithm, and if the analysis accuracy is 2, the server 200 analyzes the environmental data with a second algorithm having less complexity than the first algorithm, and analyzes If the accuracy is 1, the environment data may be analyzed using the third algorithm having less complexity than the second algorithm.
  • the first algorithm may include a first neural network
  • the second algorithm may include a second neural network having a smaller number of layers than the first neural network
  • the third algorithm may include a third neural network having fewer layers than the second neural network. It may include a neural network.
  • FIG. 4 is a diagram according to an embodiment for explaining a method of determining a target size of environment data to be transmitted to the server 200 .
  • step S410 the electronic device 100 determines whether a predicted time for transmitting environment data having a candidate size to an external server is less than a threshold time.
  • step S420 if the expected time is less than the threshold time, it may be determined that the candidate size is appropriate. Accordingly, the candidate size may be set as the target size for the environment data. Even if the predetermined size is increased, if the expected time is less than the threshold time, the target size may be determined to be larger than the predetermined size. That is, the electronic device 100 may determine the largest size among various sizes that cause an expected time smaller than the threshold time as the target size.
  • the critical time is to ensure a quick response of the vehicle 10 , but safety cannot be guaranteed by only a quick response, so it is intended to collect environmental data of the maximum size within a range in which a quick response is possible.
  • step S430 if the expected time is equal to or greater than the threshold time, it may be determined that the candidate size is too large to transmit data within the threshold time. Accordingly, the electronic device 100 reduces the candidate size and re-evaluates the reduced candidate size by performing step S410 again.
  • the threshold time may vary according to the current situation of the vehicle 10 . For example, if the vehicle 10 is traveling at a high speed (eg, above a certain threshold speed) then the threshold time must be short and the vehicle 10 is traveling at a low speed (eg, below a certain threshold speed). ), there is a high probability that a problem will not occur even if the critical time is long.
  • FIG. 5 is a diagram according to an embodiment for explaining a method of determining a threshold time used to determine a target size.
  • a plurality of candidate threshold times may be generated by the electronic device 100, and the electronic device 100 may select a specific threshold time from among various candidate threshold times. have. This selection may be performed in consideration of the speed of the vehicle 10 and the current location of the vehicle 10 . For example, the current location of the vehicle 10 may indicate whether the vehicle 10 is in a section designated as dangerous in advance. can guarantee
  • 1 second may be selected as the critical time.
  • the critical time becomes shorter as the speed of the vehicle 10 increases. As illustrated, if the speed of the vehicle 10 is 30 km/h or less, and the vehicle 10 is located in the section of risk 1, the threshold time is 1 second, and the speed of the vehicle 10 is 31 km/h or more and 60 km /h or less, and if the vehicle 10 is located in the section of risk 1, the threshold time is 0.8 seconds.
  • the threshold time may be shortened. As illustrated, if the speed of the vehicle 10 is 30 km/h or less, and the vehicle 10 is located in the section of risk 1, the threshold time is 1 second, the speed of the vehicle 10 is 30 km/h or less, and , if the vehicle 10 is located in the section of risk 2, the critical time is 0.8 seconds.
  • the electronic device 100 selects the threshold time in consideration of both the speed of the vehicle 10 and the position of the vehicle 10 , but this is only an example.
  • the electronic device 100 may select the threshold time in consideration of the speed of the vehicle 10 , or may select the threshold time in consideration of the location of the vehicle 10 .
  • the electronic device 100 increases or decreases the preset threshold time according to at least one of the speed of the vehicle 10 or the risk of the area in which the vehicle 10 is located to determine the target size. can be confirmed. For example, when the preset threshold time corresponds to a time when the speed of the vehicle 10 is 31 to 60 km/h and the risk is 2, the speed of the vehicle 10 is greater than the speed belonging to 31 to 60 km/h, or , if the risk is greater than 2, the preset threshold time may be reduced.
  • a stability level may be calculated to represent the stability of autonomous driving, wherein the stability may be based on a threshold time and a target size.
  • a faster autonomous response of the vehicle 10 is facilitated by shorter threshold time values.
  • the greater the target size of the environmental data eg, due to the richer and more detailed data, the greater the accuracy of the autonomous driving response. Accordingly, the stability of the autonomous driving of the vehicle 10 may be determined in consideration of both the threshold time and the target size of the environmental data.
  • FIG. 6 is a diagram illustrating the stability of autonomous driving corresponding to a target size and a threshold time of environment data to be transmitted to the server 200 according to an exemplary embodiment.
  • the predicted stability of autonomous driving may increase as the target size of the environmental data to be transmitted to the server 200 increases, and the stability of autonomous driving increases as the threshold time decreases.
  • the stability is 2 if the target size of the environment data is 10 Mb or less, and the stability is 3 if the target size of the environment data is 51 Mb to 100 Mb.
  • the stability is 2 if the critical time is 0.1s to 0.4s, and 1 if the critical time is 1s.
  • the electronic device 100 may output the stability of autonomous driving through an output device of the vehicle 10 , for example, a speaker or a display.
  • the stability of autonomous driving may mean an autonomous driving mode.
  • the degree of driver intervention may vary depending on the autonomous driving mode. For example, in the autonomous driving mode where the stability of autonomous driving is 3, no driver intervention is required, and in the autonomous driving mode where the stability of autonomous driving is 2, there is little driver intervention (for example, holding the steering wheel and looking ahead) intervention) may be desirable. In the autonomous driving mode where the stability of autonomous driving is 1, a lot of intervention by the driver (eg, enough intervention to apply the brake at any time by holding the steering wheel and looking ahead) may be essential.
  • the driver may require more or less human intervention to respond to events occurring in the external environment during autonomous driving of the vehicle. know about the period.
  • the electronic device 100 may consider the stability of autonomous driving in consideration of the target size, or may consider the stability of autonomous driving in consideration of a critical time.
  • FIG. 7 is a diagram according to an embodiment for explaining that the stability of autonomous driving can be predicted for each section in a path between a departure point and a destination.
  • the electronic device 100 sets each section within the entire route 720 between the departure point 710 and the destination location 730 . It is possible to predict the stability of autonomous driving at 722 , 724 , and 726 , and output the predicted stability for each section.
  • the electronic device 100 acquires in advance information on a communication state in which communication is performed with the server 200 in each section 722 , 724 , and 726 in the path, and each It is possible to predict the stability of autonomous driving by section.
  • the electronic device 100 may calculate the stability of autonomous driving for each section according to the above-described embodiment.
  • the electronic device 100 may display the route 720 between the source 710 and the destination 730 differently for each section according to prediction stability.
  • the section 722 of stability 3 may be represented by a green line
  • the section 724 of stability 2 may be represented by an orange line
  • the section 726 of stability 1 may be represented by a red line.
  • the electronic device 100 may display the predicted stability of sections of the route in text.
  • the driver When the driver is driving along the route 720 between the origin 710 and the destination 730, the driver may need some human intervention to react to events occurring in the external environment during autonomous driving of the vehicle. You can find out about the sections of the road.
  • FIG. 8 is a diagram illustrating a method of selecting a recommended route based on predicted stability of autonomous driving among various routes between a departure point and a destination location;
  • the electronic device 100 calculates the stability of sections of each route, calculates an average of predicted stability of each route, and recommends according to the calculated average You can also choose a path.
  • the electronic device 100 calculates the predicted stability of each of sections a-1, a-2, and a-3 of the A route;
  • the prediction stability of each of the b-1 section, b-2 section, and b-3 section of the B path may be determined.
  • the electronic device 100 may calculate an average of the predicted stability of the entire A path and the B path. For this calculation, for example, the running time of each section may be considered. For example, the electronic device 100 may calculate the average predicted stability by averaging the predicted stability for each section of each route according to the driving time. Specifically, the electronic device 100 calculates the average predicted stability of the A path as (3*0.4)+(1*0.3)+(2*0.3), and the average predicted stability of the B path is (2*0.5)+ It can be calculated as (3*0.3)+(2*0.2).
  • the weight multiplied by the predicted stability of each section of the route may be calculated by normalizing the sum of travel times to 1. That is, since the total running time of route A is 100 minutes, the weight multiplied by the predicted stability 3 of section a-1 may be determined to be 40/100.
  • the electronic device 100 may automatically select the B path having a higher average predicted stability as the recommended path.
  • the above method of selecting the recommended route is only an example, and the electronic device 100 may select the recommended route by further considering the total travel time and tolls when driving along each route.
  • FIG. 9 is an exemplary embodiment for explaining a method of determining a target size of environmental data to be transmitted to the server 200 according to a communication method (eg, communication type) between the vehicle 10 and the server 200 . It is a drawing.
  • a communication method eg, communication type
  • the electronic device 100 selects an autonomous driving stability (ie, an autonomous driving mode) corresponding to the communication method between the vehicle 10 and the server 200 , and a target size of environmental data corresponding to the selected autonomous driving stability. may decide an autonomous driving stability (ie, an autonomous driving mode) corresponding to the communication method between the vehicle 10 and the server 200 , and a target size of environmental data corresponding to the selected autonomous driving stability. may decide an autonomous driving stability (ie, an autonomous driving mode) corresponding to the communication method between the vehicle 10 and the server 200 , and a target size of environmental data corresponding to the selected autonomous driving stability. may decide
  • the target size was determined in consideration of the communication state between the vehicle 10 and the server 200, the expected time, and the critical time, and the stability of autonomous driving was determined, depending on the implementation, the vehicle 10 and the server ( 200), the stability of autonomous driving may be determined, and the target size may be determined according to the communication method.
  • various communication methods that can be used between the communication module 300 and the server 200, various stability levels of autonomous driving, and various target sizes of environmental data may be mapped to each other.
  • the stability of autonomous driving may be determined to be 3
  • the target size may be determined to be 100Mb.
  • the stability of autonomous driving may be determined to be 2
  • the target size may be determined to be 50 Mb.
  • the communication method/type may be considered in order to prevent an increase in the time used for calculating the target size of the environment data.
  • FIGS. 10 and 11 show an embodiment for explaining a method of selecting a sensor 400 to turn off an operation from among the sensors 400 mounted on the vehicle 10 in consideration of the moving direction of the vehicle 10 It is a drawing that follows.
  • the electronic device 100 may control the functions of the sensors 400 so that the sensors 400 collect environmental data having a size within the target size.
  • the electronic device 100 determines the total size of the environmental data collected by the sensors 400 by, for example, deactivating operations of some of the sensors 400 . can be reduced This may be useful when the total size of the environmental data collected in a state in which all of the sensors 400 are turned on is greater than the target size of the environmental data to be transmitted to the server 200 .
  • the electronic device 100 may select the sensor 400 to be deactivated from among the sensors 400 in consideration of at least one of the moving direction of the vehicle 10 and the location of the vehicle 10 .
  • the location of the vehicle 10 makes it possible to take into account risks in terms of sub-regions of the vehicle 10 , the directionality of the vehicle 10 , and the like.
  • the electronic device 100 deactivates the rear camera, the rear LIDAR sensor, the side LIDAR sensor, and the gyro sensor to select the deactivated sensors 400 . It can stop the collection of environmental data from
  • the electronic device 100 deactivates the rear camera and rear LIDAR so that environmental data is no longer collected by the deactivated sensors 400 .
  • the electronic device 100 determines in advance the sensors 400 to be sequentially deactivated according to at least one of the moving direction of the vehicle 10 or the position of the vehicle 10 , and The sensors 400 may be sequentially deactivated according to the priority so that the total size is equal to or less than the target size of the environment data to be transmitted to the server 200 .
  • the electronic device 100 reduces the sensing capability of the sensors 400 so that the size of the environmental data collected by the sensors 400 is less than or equal to the target size of the environmental data to be transmitted to the server 200 .
  • the electronic device 100 reduces the resolution of an image captured by a camera or reduces the range (distance or area) detected by LIDAR or radar, thereby reducing the environmental data collected by the sensors 400 .
  • the overall size can be reduced.
  • the electronic device 100 may adaptively determine the reduction degree of the sensing capability according to the target size of the environment data to be transmitted to the server 200 . For example, if the target size of the environment data to be transmitted to the server 200 is the first size, the resolution of the image captured by the camera is determined to be UHD (3840*2160), and the target size of the environment data to be transmitted to the server 200 is determined. If is a second size smaller than the first size, the resolution of the image photographed by the camera is determined to be FHD (1920*1080), and the target size of the environment data to be transmitted to the server 200 is a third size smaller than the second size. If so, the resolution of the image captured by the camera may be determined to be HD (1280*720).
  • FIG. 12 is a flowchart of a method for controlling a function of the vehicle 10 according to another exemplary embodiment.
  • step S1210 the electronic device 100 checks a communication state between the communication module 300 and the server 200 .
  • the electronic device 100 may receive information on the communication state from the communication module 300 and check the communication state between the communication module 300 and the server 200 according to the received information.
  • step S1220 the electronic device 100 determines the target size of the environment data to be transmitted to the server 200 according to the checked communication state. Since the method of determining the target size of the environment data to be transmitted to the server 200 has been described above, a detailed description thereof will be omitted.
  • the electronic device 100 may select some of the environment data previously obtained from the sensors 400 .
  • the electronic device 100 selects some of the environmental data obtained from the sensors 400 whose total size is equal to or less than the target size. can Accordingly, the electronic device 100 may select some environmental data whose total size is equal to or less than the target size.
  • the electronic device 100 may select the environment data of a specific configuration having a size closest to a target size for transmission to an external server.
  • the embodiment shown in FIG. 3 relates to a case in which the target size of the environmental data to be transmitted to the server 200 is determined before receiving the environmental data from the sensors 400 , but the embodiment shown in FIG. 12 is an electronic device It may be useful when 100 cannot control the functions of the sensors 400 or has already received environmental data from the sensors 400 .
  • the electronic device 100 may consider the priority of the environment data, which will be described later with reference to FIGS. 13 and 14 .
  • step S1240 the electronic device 100 transmits a part of the environmental data obtained from the sensors 400 to the server 200 .
  • the electronic device 100 may convert (eg, compress) environmental data to suit a communication method between the communication module 300 and the server 200 .
  • the server 200 generates a control command by analyzing the environment data received from the electronic device 100 .
  • the server 200 may obtain a control command indicating how the vehicle 10 should function by inputting environmental data into a trained neural network.
  • step S1250 the electronic device 100 controls the function of the vehicle 10 according to a control command received from the server 200 as a response to the environment data.
  • 13 and 14 illustrate a method of selecting environmental data to be transmitted to the server 200 from among environmental data collected by the sensors 400 in consideration of the moving direction of the vehicle 10 according to an exemplary embodiment; It is a drawing.
  • the electronic device 100 may select some of the environmental data obtained from the sensors 400 according to at least one of the moving direction of the vehicle 10 or the location of the vehicle 10 .
  • the location of the vehicle 10 may mean a degree of risk of an area in which the vehicle 10 is located.
  • the electronic device 100 transmits the environmental data collected by the front camera, the front LIDAR, the GPS, and the acceleration sensor to the server 200 as environmental data. You can choose.
  • the electronic device 100 transmits the environmental data collected by the front camera, front LIDAR, side LIDAR, GPS, acceleration sensor and gyro sensor to the server ( 200) can be selected as the environment data passed to it.
  • the electronic device 100 may preset priorities among different sets of environmental data collected by other sensors in consideration of at least one of the moving direction of the vehicle 10 or the location of the vehicle 10 .
  • the electronic device 100 may sequentially select the environment data to be transmitted to the server 200 according to a preset priority so that the total size of the selected environment data is equal to or less than the target size and closest to the target size.
  • the server 200 transmits the size of the environment data to the electronic device 100 according to an embodiment. You may also request a reduction.
  • the server 200 may transmit target size information of the environment data that it wants to receive to the electronic device 100 .
  • the server 200 may make a request for size reduction of the environment data to the electronic device 100 , and the electronic device 100 may determine a target size according to the reduction request.
  • the server 200 makes a request to reduce the size of the environment data, it may be useful when a load applied to the server 200 is large. For example, when the number of autonomous driving vehicles 10 in connection with the server 200 is large, the load applied to the server 200 increases, so that the server 200 transmits a request to reduce the size of the environmental data to the vehicle. It is possible to reduce the load to be processed by sending it to (10).
  • At least one of the operations performed by the electronic device 100 may be performed using artificial intelligence (AI) technology.
  • AI artificial intelligence
  • At least one operation performed using artificial intelligence (AI) technology will be described in detail below with reference to FIG. 15 .
  • 15 is a diagram for explaining an operation performed using artificial intelligence technology.
  • at least one of the operation of selecting some environmental data to be transmitted to the server 200 from among the environmental data is to be performed using an artificial intelligence (AI) technology that performs an operation through a neural network.
  • AI artificial intelligence
  • Artificial intelligence technology (hereinafter, 'AI technology') is a technology for obtaining a desired result by processing input data such as analysis and/or classification based on calculation through a neural network.
  • Such AI technology can be implemented using algorithms.
  • an algorithm or a set of algorithms for implementing AI technology is called a neural network.
  • the neural network may receive input data, perform the above-described operation for analysis and/or classification, and output result data.
  • 'training' refers to a method of analyzing input data to a neural network, a method of classifying input data, and/or a method of extracting a feature for generating result data from input data. Or it could mean training to learn.
  • the neural network may optimize the weight values inside the neural network based on the learning data. Then, by processing input data through a neural network having optimized weight values, a desired result is output.
  • the neural network may be classified as a deep neural network when the number of hidden layers that are internal layers for performing an operation is plural, that is, when the depth of the neural network for performing an operation increases.
  • Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN) and deep Q-networks (Deep Q-Networks), and the like, are not limited to the above-described example.
  • the neural network can be subdivided.
  • the CNN neural network may be subdivided into a Deep Convolution Neural Network (DCNN) or a Capsnet neural network (not shown).
  • the 'AI model' may refer to a neural network including at least one layer that receives input data and operates to output a desired result.
  • an 'AI model' is an algorithm that outputs a desired result by performing an operation through a neural network, a set of a plurality of algorithms, a processor for executing an algorithm (or a set of algorithms), an algorithm (or a set of algorithms) ) may mean software for executing an algorithm or hardware for executing an algorithm (or a set of algorithms).
  • the neural network 1510 may be trained by receiving training data. Then, the learned neural network 1510 receives input data 1511 (eg, target size information of communication state information or environment data) as an input terminal 1520 , and an input terminal 1520 , a hidden layer. 1530 and the output terminal 1540 may perform an operation to output the output data 1515 by analyzing the input data 1511 and data transmitted from the previous layer. Although it is illustrated in FIG. 15 that there is one hidden layer 1530 , this is only an example, and the hidden layer 1530 may include a plurality of layers.
  • input data 1511 eg, target size information of communication state information or environment data
  • the hidden layer 1530 may include a plurality of layers.
  • the neural network 1510 may learn a method of determining a target size of environment data to be transmitted to the server 200 based on communication state information.
  • the learned neural network 1510 may receive communication state information and determine a target size of environment data.
  • the neural network 1510 learns a method of selecting a sensor 400 to be turned off among the sensors 400 and/or a method of selecting a part of the environment data based on target size information of the environment data. can do.
  • the learned neural network 1510 may receive target size information of environmental data, and may select a sensor 400 to be turned off from among the sensors 400 and/or some of the environmental data.
  • determining a target size of the environmental data i) determining a target size of the environmental data, ii) selecting a threshold time, iii) selecting a sensor 400 to be turned off among the sensors 400, and iv)
  • a neural network that performs at least one of an operation of selecting some of the environmental data may be implemented in a processor (eg, 130 of FIG. 2 ).
  • determining the target size of the environment data ii) selecting a threshold time, iii) selecting the sensor 400 to be turned off among the sensors 400, and iv) the environment
  • a neural network that performs at least one of an operation of selecting a portion of data may be implemented in a separate electronic device (not shown) or a processor (not shown) that is distinct from the electronic device 100 .
  • the above-described operation through the neural network may be performed by a server (not shown) capable of communicating with the electronic device 100 through a wireless communication network according to an embodiment. Communication between the electronic device 100 and a server (not shown) will be described with reference to FIG. 16 .
  • the server 1600 includes a communication module 1610 that communicates with the electronic device 100 and a processor 1630 that performs at least one instruction.
  • the server 1600 may be the server 200 shown in FIGS. 1 and 2 .
  • the processor 1630 of the server 1600 may obtain information on the communication state and determine the target size of the environment data to be transmitted to the server 200 or 1600 according to the communication state information.
  • the communication module 1610 may transmit target size information of the environment data to the electronic device 100 .
  • the server 1600 may determine the target size of the environment data by performing an operation through the neural network 1510 described with reference to FIG. 15 . Specifically, the server 1600 may train an AI model and store the trained AI model. And, the server 1600 may determine the target size of the above-described environment data using the trained AI model.
  • the electronic device 100 may have more limited memory storage capacity, processing speed of calculations, collection capability of learning data sets, and the like, compared to the server 1600 . Accordingly, the server 1600 may perform an operation requiring storage of large data and a large amount of computation, and then transmit the data and/or AI model to the electronic device 100 through a communication network. Then, the electronic device 100 may receive and use the data and/or AI model through the server 1600 without a processor having a large amount of memory and fast computing power, thereby quickly and easily performing an operation.
  • the server 1600 may include the neural network 1510 described with reference to FIG. 15 .
  • the neural network 1510 included in the server 1600 includes i) an operation of determining the target size of the environment data, ii) an operation of selecting a threshold time, iii) an off among the sensors 400 .
  • An operation for at least one of an operation of selecting the sensor 400 to be performed and an operation of selecting a part of environmental data may be performed.
  • the communication module 300 communicates with an external device (eg, the server 200 or 1600 ) through the wireless communication network 1615 .
  • the external device (not shown) performs at least one of operations executed by the electronic device 100 or a server (eg, 200 ) capable of transmitting data used by the electronic device 100 . , 1600) may be included.
  • the communication module 300 includes at least one communication module such as a short-range communication module, a wired communication module, a mobile communication module, and a broadcast reception module.
  • the communication module 300 is a tuner that performs broadcast reception, Bluetooth, WLAN (Wireless LAN) (Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), CDMA, WCDMA, Internet, 3G , 4G, 5G, and/or a communication module capable of performing data transmission/reception through a network conforming to a communication standard such as a communication method using a millimeter wave (mmwave).
  • a communication standard such as a communication method using a millimeter wave (mmwave).
  • mmWAVE millimeter wave
  • the vehicle 10 quickly receives a large amount of data using a millimeter wave, and data beneficial to the safety of the vehicle 10 (eg, data for autonomous driving and/or data for a navigation service, etc.) , user-use content (eg, movie, music, etc.) can be quickly provided, thereby increasing the safety of the vehicle 10 and/or user convenience.
  • data beneficial to the safety of the vehicle 10 eg, data for autonomous driving and/or data for a navigation service, etc.
  • user-use content eg, movie, music, etc.
  • the communication module 300 may communicate with other devices (eg, the servers 200 and 1600 ) located at a distance through a communication network conforming to a communication standard such as 3G, 4G, and/or 5G.
  • the communication module 300 that performs communication with another device located at a remote location may be referred to as a 'distance communication module'.
  • the server 1600 may include a communication module 1610 and a processor 1630 . Also, the server 1600 may further include a DB 1650 .
  • the communication module 1610 may include one or more components that allow communication with the electronic device 100 . Since the specific configuration of the communication module 1610 corresponds to the configuration of the aforementioned communication module 300 , a detailed description thereof will be omitted.
  • the communication module 1610 communicates with another device (eg, the electronic device 100) located at a remote location through a communication network conforming to a communication standard such as the Internet, 3G, 4G, and/or 5G. can be done
  • the processor 1630 controls the overall operation of the server 1600 .
  • the processor 1630 may perform at least one instruction of the server 1600 and at least one of programs to perform required operations.
  • the DB 1650 may include a memory (not shown), and may store at least one of at least one instruction, a program, and data for the server 1600 to perform a predetermined operation in the memory (not shown). Also, the DB 1650 may store data for the server 1600 to perform an operation according to the neural network.
  • the server 1600 may store the neural network 1510 described with reference to FIG. 15 .
  • the neural network 1510 may be stored in at least one of the processor 1630 and the DB 1650 .
  • the neural network 1510 included in the server 1600 may be a neural network that has been trained.
  • the server 1600 determines the target size of the above-described environment data using a neural network included internally, and transmits the determined target size information to the communication module ( 300) can be transmitted.
  • the server 1600 may transmit the learned neural network to the communication module 300 of the electronic device 100 through the communication module 1610 . Then, the electronic device 100 may acquire and store the neural network on which learning has been completed, and may acquire target output data through the neural network.
  • 17 is a block diagram of a processor 130 included in the electronic device 100 according to some embodiments.
  • the processor 130 may include a data learning unit 1710 and a data recognition unit 1720 .
  • the data learning unit 1710 performs i) an operation of determining a target size of the environment data, ii) an operation of selecting a threshold time, iii) an operation of selecting a sensor 400 to be turned off among the sensors 400, and iv) a criterion for at least one of an operation of selecting a part of the environmental data may be learned.
  • the data learning unit 1710 may learn a criterion regarding which data to use to determine the target size of the environment data and how to select the target size of the environment data using the data.
  • the data learning unit 1710 acquires data to be used for learning and applies the acquired data to a data recognition model to be described later, i) determining the target size of the environment data, ii) selecting a threshold time, A criterion for at least one of iii) selecting a sensor 400 to be turned off from among the sensors 400 and iv) selecting some of environmental data may be learned.
  • the data recognition unit 1720 may determine the target size of the environment data to be transmitted to the servers 200 and 1600 based on the data (eg, communication state information).
  • the data recognition unit 1720 may determine a target size of the environment data from predetermined data by using the learned data recognition model.
  • the data recognition unit 1720 determines the target size of the environment data based on the predetermined data by acquiring predetermined data according to a preset criterion by learning, and using the data recognition model using the acquired data as an input value. can In addition, a result value output by the data recognition model using the obtained data as an input value may be used to update the data recognition model.
  • At least one of the data learning unit 1710 and the data recognition unit 1720 may be manufactured in the form of at least one hardware chip and mounted on the electronic device 100 .
  • at least one of the data learning unit 1710 and the data recognition unit 1720 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or a conventional general-purpose processor (eg, CPU).
  • AI artificial intelligence
  • CPU general-purpose processor
  • it may be manufactured as a part of an application processor) or a graphics-only processor (eg, GPU) and mounted on the aforementioned electronic device 100 .
  • the data learning unit 1710 and the data recognition unit 1720 may be mounted on one electronic device 100 or may be mounted on separate devices, respectively.
  • one of the data learning unit 1710 and the data recognition unit 1720 may be included in the electronic device 100 , and the other may be included in the server 1600 .
  • the data learning unit 1710 and the data recognition unit 1720 may provide the model data constructed by the data learning unit 1710 to the data recognition unit 1720 through a wired or wireless connection, and the data recognition unit ( Data input to 1720 may be provided to the data learning unit 1710 as additional learning data.
  • At least one of the data learning unit 1710 and the data recognition unit 1720 may be implemented as a software module.
  • the software module is a computer-readable non-transitory It may be stored in a readable recording medium (non-transitory computer readable media).
  • the at least one software module may be provided by an operating system (OS) or may be provided by a predetermined application.
  • OS operating system
  • a part of the at least one software module may be provided by an operating system (OS), and the other part may be provided by a predetermined application.
  • FIG. 18 is a block diagram of a data learning unit 1710 according to some exemplary embodiments.
  • the data learning unit 1710 includes a data acquiring unit 1710-1, a preprocessing unit 1710-2, a training data selection unit 1710-3, and a model learning unit 1710. -4) and a model evaluation unit 1710-5.
  • the data acquisition unit 1710-1 obtains data for at least one operation of determining the target size of the environmental data, selecting the sensor 400 to be turned off, selecting the environmental data to be transmitted to the server 200, and determining the critical time. can be obtained
  • the data acquisition unit 1710-1 is configured to learn at least one of an operation of determining a target size of environmental data, selecting a sensor 400 to be turned off, selecting environmental data to be transmitted to the server 200, and determining a threshold time. data can be obtained.
  • the preprocessor 1710 - 2 may preprocess data obtained for learning.
  • the pre-processing unit 1710-2 determines the target size of the environmental data, the selection of the sensor 400 to be turned off, the selection of the environmental data to be transmitted to the server 200, and the threshold time of the model learning unit 1710-4 to be described later.
  • the data may be processed into a preset format so that the data can be used for learning for at least one operation of the decision.
  • the learning data selection unit 1710 - 3 may select data for learning from among the preprocessed data.
  • the selected data may be provided to the model learning unit 1710 - 4 .
  • the learning data selection unit 1710-3 is configured to perform at least one operation of determining a target size of environmental data, selecting a sensor 400 to be turned off, selecting environment data to be transmitted to the server 200, and determining a threshold time. According to the set criteria, data for learning may be selected from the pre-processed data. Also, the training data selection unit 1710 - 3 may select data according to a preset criterion by learning by the model learning unit 1710 - 4 to be described later.
  • the model learning unit 1710-4 is configured to perform at least one of determining a target size of environmental data, selecting a sensor 400 to be turned off, selecting environmental data to be transmitted to the server 200, and determining a threshold time based on the learning data. You can learn the criteria for how to perform an action. In addition, the model learning unit 1710-4 is configured to perform at least one of determining a target size of environmental data, selecting a sensor 400 to be turned off, selecting environment data to be transmitted to the server 200, and determining a threshold time. It is also possible to learn the criteria for which training data to use.
  • the model learning unit 1710 - 4 is used for at least one of determining the target size of the environmental data, selecting the sensor 400 to be turned off, selecting the environmental data to be transmitted to the server 200 , and determining the critical time.
  • a data recognition model to be used can be trained using training data.
  • the data recognition model may be a pre-built model.
  • the data recognition model may be a model built in advance by receiving basic training data (eg, sample data, etc.).
  • the data recognition model may be constructed in consideration of the field of application of the recognition model, the purpose of learning, or the computer performance of the device.
  • the data recognition model may be, for example, a model based on a neural network.
  • a model such as a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), or a Bidirectional Recurrent Deep Neural Network (BRDNN) may be used as the data recognition model, but is not limited thereto.
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • BBDNN Bidirectional Recurrent Deep Neural Network
  • the model learning unit 1710 - 4 uses a data recognition model with a high correlation between the input training data and the basic learning data as a data recognition model to be trained.
  • the basic learning data may be pre-classified for each type of data, and the data recognition model may be previously built for each type of data.
  • the basic training data is pre-classified by various criteria such as the region where the training data is generated, the time when the training data is generated, the size of the training data, the genre of the training data, the creator of the training data, the type of object in the training data, etc. may have been
  • model learning unit 1710 - 4 may train the data recognition model using, for example, a learning algorithm including error back-propagation or gradient descent. .
  • the model learning unit 1710 - 4 may train the data recognition model through supervised learning using, for example, learning data as an input value.
  • the model learning unit 1710-4 determines the target size of the environmental data without any guidance, the selection of the sensor 400 to be turned off, the selection of the environmental data to be transmitted to the server 200, and the threshold time
  • a data recognition model may be trained through unsupervised learning for discovering a criterion for performing one operation.
  • the model learning unit 1710-4 may train the data recognition model through, for example, reinforcement learning using feedback on whether the result of determining the target size of the environmental data according to the learning is correct. have.
  • the model learning unit 1710 - 4 may store the learned data recognition model.
  • the model learning unit 1710 - 4 may store the learned data recognition model in the memory 110 of the electronic device 100 including the data recognition unit 1720 .
  • the model learning unit 1710 - 4 may store the learned data recognition model in the memory of the server 1600 connected to the electronic device 100 through a wired or wireless network.
  • the memory in which the learned data recognition model is stored may also store, for example, commands or data related to at least one other component of the electronic device 100 .
  • the memory may also store software and/or programs.
  • a program may include, for example, a kernel, middleware, an application programming interface (API) and/or an application program (or "application”), and the like.
  • the model evaluation unit 1710-5 inputs evaluation data to the data recognition model, and when the recognition result output from the evaluation data does not satisfy a predetermined criterion, the model learning unit 1710-4 can be trained again.
  • the evaluation data may be preset data for evaluating the data recognition model.
  • the model evaluation unit 1710-5 may not satisfy a predetermined criterion when the number or ratio of evaluation data for which the recognition result is not accurate among the recognition results of the data recognition model for the evaluation data exceeds a preset threshold. can be evaluated as not.
  • a predetermined criterion is defined as a ratio of 2%
  • the model evaluation unit 1710-5 It can be evaluated that the recognition model is not suitable.
  • the model evaluation unit 1710 - 5 evaluates whether each learned data recognition model satisfies a predetermined criterion, and recognizes a model that satisfies the predetermined criterion as final data can be determined as a model. In this case, when there are a plurality of models satisfying the predetermined criteria, the model evaluation unit 1710 - 5 may determine one or a predetermined number of models preset in the order of the highest evaluation score as the final data recognition model.
  • the data acquisition unit 1710-1, the preprocessor 1710-2, the training data selection unit 1710-3, the model learning unit 1710-4, and the model evaluation unit 1710 At least one of -5) may be manufactured in the form of at least one hardware chip and mounted on the electronic device 100 .
  • at least one of the data acquisition unit 1710-1, the preprocessor 1710-2, the training data selection unit 1710-3, the model learning unit 1710-4, and the model evaluation unit 1710-5 One may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or it may be manufactured as part of an existing general-purpose processor (eg, CPU or application processor) or graphics-only processor (eg, GPU) as described above. It may be mounted on the electronic device 100 .
  • AI artificial intelligence
  • the data acquisition unit 1710-1, the preprocessor 1710-2, the training data selection unit 1710-3, the model learning unit 1710-4, and the model evaluation unit 1710-5 are one electronic unit. It may be mounted on the device 100 , or may be respectively mounted on separate devices. For example, some of the data acquisition unit 1710-1, the preprocessor 1710-2, the training data selection unit 1710-3, the model learning unit 1710-4, and the model evaluation unit 1710-5 may be included in the electronic device 100 , and the remaining part may be included in the server 1600 .
  • At least one of the data acquisition unit 1710-1, the preprocessor 1710-2, the training data selection unit 1710-3, the model learning unit 1710-4, and the model evaluation unit 1710-5 is It may be implemented as a software module.
  • At least one of the data acquisition unit 1710-1, the preprocessor 1710-2, the training data selection unit 1710-3, the model learning unit 1710-4, and the model evaluation unit 1710-5 is a software module
  • the software module may be stored in a computer-readable non-transitory computer readable medium.
  • the at least one software module may be provided by an operating system (OS) or may be provided by a predetermined application.
  • OS operating system
  • a predetermined application Alternatively, a part of the at least one software module may be provided by an operating system (OS), and the other part may be provided by a predetermined application.
  • 19 is a block diagram of a data recognition unit 1720 according to some exemplary embodiments.
  • the data recognition unit 1720 includes a data acquisition unit 1720-1, a preprocessor 1720-2, a recognition data selection unit 1720-3, and a recognition result providing unit ( 1720-4) and a model update unit 1720-5.
  • the data acquisition unit 1720-1 obtains data for at least one operation of determining the target size of the environmental data, selecting the sensor 400 to be turned off, selecting the environmental data to be transmitted to the server 200, and determining the critical time. may be obtained, and the preprocessor 1720 - 2 performs at least one of determining the target size of the environmental data, selecting the sensor 400 to be turned off, selecting the environmental data to be transmitted to the server 200, and determining the threshold time.
  • the acquired data may be pre-processed so that the acquired data can be used for .
  • the preprocessor 1720 - 2 determines the target size of the environment data by the recognition result providing unit 1720 - 4 to be described later, selects the sensor 400 to be turned off, selects the environment data to be transmitted to the server 200 , and a threshold time
  • the acquired data may be processed into a preset format so that the acquired data can be used for at least one operation among the determination of .
  • the recognition data selection unit 1720-3 is configured to select at least one of a target size of environmental data among preprocessed data, selection of a sensor 400 to be turned off, selection of environmental data to be transmitted to the server 200, and determination of a threshold time. You can select data for action.
  • the selected data may be provided to the recognition result providing unit 1720 - 4 .
  • the recognition data selection unit 1720-3 is configured to perform at least one operation of determining a target size of environmental data, selecting a sensor 400 to be turned off, selecting environment data to be transmitted to the server 200, and determining a critical time. According to the set criteria, some or all of the preprocessed data can be selected. Also, the recognition data selection unit 1720 - 3 may select data according to a preset criterion by learning by the model learning unit 1710 - 4 .
  • the recognition result providing unit 1720-4 applies the selected data to the data recognition model to determine the target size of the environmental data, select the sensor 400 to be turned off, select the environmental data to be transmitted to the server 200, and At least one of the determination may be performed.
  • the recognition result providing unit 1720 - 4 may provide a recognition result according to the purpose of data recognition.
  • the recognition result providing unit 1720 - 4 may apply the selected data to the data recognition model by using the data selected by the recognition data selecting unit 1720 - 3 as an input value. Also, the recognition result may be determined by a data recognition model.
  • the model updating unit 1720 - 5 may update the data recognition model based on the evaluation of the recognition result provided by the recognition result providing unit 1720 - 4 .
  • the model updating unit 1720-5 provides the recognition result provided by the recognition result providing unit 1720-4 to the model learning unit 1710-4, so that the model learning unit 1710-4 is You can update the data recognition model.
  • the data recognition unit 1720 the data acquisition unit 1720-1, the preprocessor 1720-2, the recognition data selection unit 1720-3, the recognition result providing unit 1720-4, and the model update unit ( 1720 - 5) may be manufactured in the form of at least one hardware chip and mounted on the electronic device 100 .
  • the preprocessor 1720-2, the recognition data selection unit 1720-3, the recognition result providing unit 1720-4, and the model update unit 1720-5 At least one may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or may be manufactured as part of an existing general-purpose processor (eg, CPU or application processor) or graphics-only processor (eg, GPU). It may be mounted on the device 100 .
  • AI artificial intelligence
  • the data acquisition unit 1720-1, the preprocessor 1720-2, the recognition data selection unit 1720-3, the recognition result providing unit 1720-4, and the model update unit 1720-5 are one unit. It may be mounted on the electronic device 100 or may be respectively mounted on separate devices. For example, among the data acquisition unit 1720-1, the preprocessor 1720-2, the recognition data selection unit 1720-3, the recognition result providing unit 1720-4, and the model update unit 1720-5 Some may be included in the electronic device 100 , and some may be included in the server 1600 .
  • At least one of the data acquisition unit 1720-1, the preprocessor 1720-2, the recognition data selection unit 1720-3, the recognition result providing unit 1720-4, and the model update unit 1720-5 may be implemented as a software module.
  • At least one of the data acquisition unit 1720-1, the preprocessor 1720-2, the recognition data selection unit 1720-3, the recognition result providing unit 1720-4, and the model update unit 1720-5 is software.
  • the software module When implemented as a module (or a program module including instructions), the software module may be stored in a computer-readable non-transitory computer readable medium.
  • the at least one software module may be provided by an operating system (OS) or may be provided by a predetermined application.
  • a part of the at least one software module may be provided by an operating system (OS), and the other part may be provided by a predetermined application.
  • 20 is a diagram illustrating an example in which the electronic device 100 and the server 1600 learn and recognize data by interworking with each other, according to some embodiments.
  • the server 1600 performs at least one of determining a target size of environmental data, selecting a sensor 400 to be turned off, selecting environmental data to be transmitted to the server 200, and determining a threshold time.
  • the reference may be learned, and the electronic device 100 determines the target size of the environmental data based on the learning result by the server 1600 , selects the sensor 400 to be turned off, and selects the environmental data to be transmitted to the server 200 .
  • At least one of selecting and determining a threshold time may be performed.
  • the model learning unit 2710 of the server 1600 may perform the function of the data learning unit 1710 illustrated in FIG. 18 .
  • the model learning unit 2710 of the server 1600 determines which data to use to determine a predetermined situation, determines the target size of the environmental data using the data, selects the sensor 400 to be turned off, and sends it to the server 200 .
  • a criterion regarding how to perform at least one of selection of environment data to be transmitted and determination of a threshold time may be learned.
  • the model learning unit 2710 acquires data to be used for learning, and applies the acquired data to a data recognition model to determine a target size of environmental data, to select a sensor 400 to be turned off, and to be transmitted to the server 200 .
  • a criterion for an operation of at least one of selection of environmental data and determination of a threshold time may be learned.
  • the recognition result providing unit 1720 - 4 of the electronic device 100 applies the data selected by the recognition data selection unit 1720 - 3 to the data recognition model generated by the server 1600 to target the environment data. At least one of size determination, selection of the sensor 400 to be turned off, selection of environmental data to be transmitted to the server 200, and determination of a threshold time may be performed.
  • the recognition result providing unit 1720-4 transmits the data selected by the recognition data selection unit 1720-3 to the server 1600, and the server 1600 uses the recognition data selection unit 1720-3 By applying the selected data to the recognition model, at least one of determining the target size of environmental data, selecting the sensor 400 to be turned off, selecting the environmental data to be transmitted to the server 200, and determining the critical time is performed.
  • the recognition result providing unit 1720 - 4 determines the target size of the environmental data performed by the server 1600 , the selection of the sensor 400 to be turned off, the selection of the environmental data to be transmitted to the server 200 , and a threshold time Result information of at least one operation among the determinations may be received from the server 1600 .
  • the recognition result providing unit 1720 - 4 of the electronic device 100 receives the recognition model generated by the server 1600 from the server 1600 and determines the target size of the environment data by using the received recognition model. , selection of the sensor 400 to be turned off, selection of environmental data to be transmitted to the server 200, and determination of a threshold time may be performed. In this case, the recognition result providing unit 1720 - 4 of the electronic device 100 applies the data selected by the recognition data selection unit 1720 - 3 to the data recognition model received from the server 1600 to obtain a target of environmental data. At least one of size determination, selection of the sensor 400 to be turned off, selection of environmental data to be transmitted to the server 200, and determination of a threshold time may be performed.
  • the above-described embodiments of the present disclosure can be written as a program that can be executed on a computer, and the written program can be stored in a medium.
  • the medium may continuously store a computer executable program, or may be a temporary storage for execution or download.
  • the medium may be various recording means or storage means in the form of a single or several hardware combined, it is not limited to a medium directly connected to any computer system, and may exist distributed on a network. Examples of the medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and those configured to store program instructions, including ROM, RAM, flash memory, and the like.
  • examples of other media may include recording media or storage media managed by an app store that distributes applications, sites that supply or distribute various other software, or servers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Automatic Cycles, And Cycles In General (AREA)

Abstract

메모리, 통신 회로 및 프로세서를 포함하는 전자 장치가 개시된다. 프로세서는, 외부 서버와의 통신 커넥션의 상태를 확인하는 단계, 확인된 상태에 근거하여, 외부 서버로 전송할 데이터에 대한 타겟 크기를 결정하는 단계, 전체 크기가 타겟 크기 이하인 데이터가 수집되도록 차량의 적어도 하나의 센서를 제어하는 단계, 적어도 하나의 센서에 의해 수집된 데이터를 외부 서버로 전송하는 단계, 및 전송된 데이터에 기초하여 외부 서버로부터 제어 명령을 수신하고, 수신된 제어 명령에 따라 차량의 기능을 제어하는 단계를 포함하는 방법을 구현한다.

Description

차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법
본 개시는 차량의 전자 장치에 관한 것으로서, 보다 구체적으로, 전자 장치 및 서버에 의한 자율 주행을 위해 차량 기능들을 제어하는 것에 관한 것이다.
최근, 자율 차량과 그 운용에 많은 관심이 집중되고 있다. 스스로 주행하는 자동차와 같은 자율 차량은 센서 입력, 차량 기능의 전자적 제어 및 정교한 처리 시스템을 사용하여 도로를 탐색할 수 있다. 따라서 자율 주행은 일반적으로 상당한 양의 데이터 처리를 활용한다. 따라서, 자율 주행은 차량 및/또는 외부 서버에 설치된 컴퓨터 장치의 처리를 포함할 수 있다.
서버가 자율 데이터의 처리를 위해 이용되고 있고, 차량과 서버 사이의 통신 링크가 불안정하다면, 서버는 데이터를 제대로 수신 및 처리하지 못할 수 있다. 또한, 중요한 지시를 차량으로 전달하는 데 지연이 있을 수 있다.
따라서, 차량 제어, 통신, 데이터 송수신 및/또는 데이터 처리를 위해 차량과 서버 간의 안정적이고 강력한 통신 연결을 보장할 필요가 있다.
본 개시는 차량과 외부 서버 간의 통신 연결을 포함하는 자율 주행 시스템을 위한 차량 제어에 대해 안전성 및 보안성을 증가시킬 수 있다.
또한, 본 개시는 서버와의 통신 연결이 방해되거나 두절된 경우에도 변화하는 상황 및 환경 조건에 자동으로 신속하게 대응하는 차량의 능력을 향상시킬 수 있다.
본 개시는 차량과 서버 간의 통신 상태에 따라 안정적인 자율주행을 개선하여, 차량의 자율주행 중 발생할 수 있는 변화 및 예상치 못한 상황에 운전자가 적응할 수 있도록 한다.
일 실시예에 따르면, 전자 장치가 개시된다. 전자 장치는 차량의 기능의 제어를 위해 차량에 설치된다. 전자 장치는 적어도 하나의 인스트럭션을 저장하는 메모리; 외부 서버와의 통신 커넥션을 갖는 통신 회로; 및 상기 메모리에 연결되어 동작하는 프로세서를 포함하고, 상기 프로세서에 의해 실행될 수 있는 상기 적어도 하나의 인스트럭션에 의해 상기 전자 장치는, 상기 외부 서버와의 상기 통신 커넥션의 상태를 확인하고, 상기 확인된 상태에 근거하여, 상기 외부 서버로 전송할 데이터에 대한 타겟 크기를 결정하고, 전체 크기가 상기 결정된 타겟 크기 이하인 데이터가 수집되도록 상기 차량의 적어도 하나의 센서를 제어하고, 상기 적어도 하나의 센서에 의해 수집된 데이터를 상기 외부 서버로 전송하고, 상기 전송된 데이터에 기초하여 상기 외부 서버로부터 제어 명령을 수신하고, 상기 수신된 제어 명령에 따라 상기 차량의 기능을 제어한다.
일 실시예에 따르면 방법이 개시된다. 방법은 차량에 설치되는 전자 장치를 위한 것으로서, 외부 서버와의 통신 커넥션의 상태를 확인하는 단계; 상기 확인된 상태에 따라 상기 외부 서버로 전송할 데이터에 대한 타겟 크기를 결정하는 단계; 전체 크기가 상기 결정된 타겟 크기 이하인 데이터가 수집되도록 상기 차량의 적어도 하나의 센서를 제어하는 단계; 상기 적어도 하나의 센서에 의해 수집된 데이터를 상기 외부 서버로 전송하는 단계; 및 상기 전송된 데이터에 기초하여 상기 외부 서버로부터 제어 명령을 수신하고, 상기 수신된 제어 명령에 따라 상기 차량의 기능을 제어하는 단계를 포함한다.
일 실시예에 따르면, 전자 장치가 개시된다. 전자 장치는, 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 연결되어 동작하는 프로세서를 포함하고, 상기 프로세서에 의해 실행될 수 있는 상기 적어도 하나의 인스트럭션에 의해 상기 전자 장치는, 외부 서버와의 통신 커넥션의 상태를 확인하고, 상기 확인된 상태에 근거하여 상기 외부 서버로 전송할 데이터에 대한 타겟 크기를 결정하고, 상기 외부 서버로 전송하기 위하여, 미리 획득된 데이터 중 전체 크기가 상기 결정된 타겟 크기 이하인 일부의 데이터를 선택하고, 상기 선택된 일부의 데이터를 상기 외부 서버로 전송하고, 상기 전송된 데이터에 기초하여 상기 외부 서버로부터 제어 명령을 수신하고, 상기 수신된 제어 명령에 따라 상기 차량의 기능을 제어한다.
본 개시의 일 실시예에서, 차량과 외부 서버가 통신 가능하게 연결된 상황에서 차량을 안전하게 제어할 수 있는 자율 주행 시스템이 개시된다.
또한, 본 개시의 일 실시예에서, 자율 차량은 서버와의 통신이 방해되거나 중단된 경우에도 예상치 못하게 변화하는 외부 요인에 대해 신속하게 반응할 수 있다.
또한, 본 개시의 일 실시예에서, 차량과 서버 간의 통신 상태에 따라 보다 안정적으로 자율 주행이 구현될 수 있고, 자율 주행 중 발생할 수 있는 상황에 대한 운전자의 적응 능력이 향상될 수 있다.
다만, 일 실시예에 따른 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 차량에 장착된 전자 장치와 서버를 도시하는 일 실시예에 따른 도면이다.
도 2는 일 실시예에 따른 전자 장치가 장착된 차량의 기능 블록도이다.
도 3은 일 실시예에 따른 차량 기능의 제어 방법의 순서도이다.
도 4는 서버로 전송할 환경 데이터의 타겟 크기를 결정하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
도 5는 타겟 크기를 결정하는데 이용되는 임계 시간을 선택하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
도 6은 타겟 크기 및 임계 시간에 대응하는 자율 주행의 안정도를 나타내는 일 실시예에 따른 도면이다.
도 7은 출발지와 도착지 사이의 경로에서 구간 별로 자율 주행의 안정도가 예측될 수 있음을 설명하기 위한 일 실시예에 따른 도면이다.
도 8은 출발지와 도착지 사이의 여러 경로들 중 자율 주행의 예측 안정도에 따라 추천 경로를 선택하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
도 9는 차량과 서버 사이의 통신 방법에 따라 타겟 크기를 결정하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
도 10은 차량의 이동 방향을 고려하여, 차량에 장착된 센서들 중 동작을 오프시킬 센서를 선택하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
도 11은 차량의 이동 방향을 고려하여, 차량에 장착된 센서들 중 동작을 오프시킬 센서를 선택하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
도 12는 다른 실시예에 따른 차량 기능의 제어 방법의 순서도이다.
도 13은 차량의 이동 방향을 고려하여, 센서들에 의해 수집된 환경 데이터 중 서버로 전송할 환경 데이터를 선택하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
도 14는 차량의 이동 방향을 고려하여, 센서들에 의해 수집된 환경 데이터 중 서버로 전송할 환경 데이터를 선택하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
도 15는 일 실시예에서 인공 지능 기술을 이용하여 수행되는 동작을 설명하기 위한 도면이다.
도 16은 서버, 및 서버와 연동하여 동작하는 전자 장치를 나타내는 도면이다.
도 17은 일 실시예에 따른 전자 장치에 포함된 프로세서의 블록도이다.
도 18은 일 실시예에 따른 데이터 학습부의 블록도이다.
도 19는 일 실시예에 따른 데이터 인식부의 블록도이다.
도 20은 일 실시예에 따른 전자 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
일 실시예에 따르면 전자 장치가 개시된다. 전자 장치는 차량의 기능을 제어하기 위해 차량에 설치될 수 있다. 전자 장치는, 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 적어도 하나의 인스트럭션에 따라 상기 프로세서는, 서버와의 통신 상태를 확인하고, 상기 확인된 통신 상태에 근거하여 상기 서버로 전송할 데이터에 대응되는 타겟 크기를 결정하고, 차량에 장착된 적어도 하나의 센서가 전체 크기가 상기 결정된 타겟 크기 이하인 데이터를 수집하도록 상기 적어도 하나의 센서를 제어하고, 상기 적어도 하나의 센서에 의해 수집된 데이터를 상기 서버로 전송하고, 상기 데이터의 전송에 응답하여 상기 서버에서 수신되는 제어 명령에 따라 상기 차량의 기능을 제어할 수 있다.
상기 프로세서는, 전체 크기가 상기 결정된 타겟 크기 이하인 데이터가 수집되도록 상기 적어도 하나의 센서 중 일부의 동작을 오프시킬 수 있다.
상기 프로세서는, 상기 차량의 이동 방향 및 상기 차량의 위치 중 적어도 하나에 근거하여 상기 적어도 하나의 센서 중 동작을 오프시킬 센서를 선택할 수 있다.
상기 프로세서는, 전체 크기가 상기 결정된 타겟 크기 이하인 데이터가 수집되도록 상기 적어도 하나의 센서의 센싱 능력을 감소시킬 수 있다.
상기 프로세서는, 상기 데이터의 수집 개시 시점부터 상기 제어 명령의 이행 시점까지의 예상 시간이 임계 시간 이하가 되도록, 상기 타겟 크기를 결정할 수 있다.
상기 프로세서는, 상기 예상 시간이 상기 임계 시간 이하가 되도록 하는 분석 정확도를 결정하고, 상기 결정된 분석 정확도를 상기 서버로 전송하며, 상기 제어 명령은, 상기 결정된 분석 정확도로 상기 데이터가 분석됨으로써 생성될 수 있다.
상기 프로세서는, 상기 차량의 속도 및 상기 차량의 위치 중 적어도 하나에 따라 복수의 후보 임계 시간 중 상기 임계 시간을 선택할 수 있다.
상기 프로세서는, 상기 결정된 타겟 크기 및 상기 임계 시간에 대응하는 자율주행의 안정도(level of stability)를 상기 차량 내 출력 장치를 통해 출력할 수 있다.
상기 프로세서는, 상기 차량의 출발 위치와 도착 위치 사이의 경로 내 구간들에서의 자율 주행의 예측 안정도를 출력 장치를 통해 출력할 수 있다.
상기 프로세서는, 상기 차량의 출발 위치와 도착 위치 사이의 경로들의 예측 안정도의 평균을 고려하여 상기 경로들 중 추천 경로를 선택할 수 있다.
상기 프로세서는, 상기 서버와의 통신 방법에 대응하는 자율주행의 안정도에 따라 상기 서버로 전송할 데이터에 대응되는 타겟 크기를 결정할 수 있다.
상기 프로세서는, 상기 적어도 하나의 센서로부터 미리 획득된 데이터가 존재하는 경우, 전체 크기가 상기 결정된 타겟 크기 이하가 되도록 일부의 데이터를 선택하고, 상기 선택한 일부의 데이터를 상기 서버로 전송할 수 있다.
차량에 장착되는 일 실시예에 따른 전자 장치에 의한 방법에 있어서, 서버와의 통신 상태를 확인하는 단계; 상기 확인된 통신 상태에 따라 상기 서버로 전송할 데이터에 대응되는 타겟 크기를 결정하는 단계; 차량에 장착된 적어도 하나의 센서가 전체 크기가 상기 결정된 타겟 크기 이하인 데이터를 수집하도록 상기 적어도 하나의 센서를 제어하는 단계; 상기 적어도 하나의 센서에 의해 수집된 데이터를 상기 서버로 전송하는 단계; 및 상기 데이터의 전송에 응답하여 상기 서버에서 수신되는 제어 명령에 따라 상기 차량의 기능을 제어하는 단계를 포함할 수 있다.
상기 방법은, 전체 크기가 상기 결정된 타겟 크기 이하인 데이터가 수집되도록 상기 적어도 하나의 센서 중 일부의 동작을 오프시키는 단계를 더 포함할 수 있다.
상기 방법은, 전체 크기가 상기 결정된 타겟 크기 이하인 데이터가 수집되도록 상기 적어도 하나의 센서의 센싱 능력을 감소시키는 단계를 더 포함할 수 있다.
상기 타겟 크기를 결정하는 단계는, 상기 데이터의 수집 개시 시점부터 상기 제어 명령의 이행 시점까지의 예상 시간이 임계 시간 이하가 되도록, 상기 타겟 크기를 결정하는 단계를 포함할 수 있다.
상기 타겟 크기를 결정하는 단계는, 상기 차량의 속도 및 상기 차량의 위치 중 적어도 하나에 따라 복수의 후보 임계 시간 중 상기 임계 시간을 선택하는 단계를 포함할 수 있다.
상기 방법은, 상기 결정된 타겟 크기 및 상기 임계 시간에 대응하는 자율주행의 안정도(level of stability)를 상기 차량 내 출력 장치를 통해 출력하는 단계를 더 포함할 수 있다.
상기 타겟 크기를 결정하는 단계는, 상기 서버와의 통신 방법에 대응하는 자율주행의 안정도에 근거하여 상기 서버로 전송할 데이터에 대응되는 타겟 크기를 결정하는 단계를 포함할 수 있다.
차량에 장착되어 차량의 기능을 제어하는 일 실시예에 따른 전자 장치는, 적어도 하나의 인스트럭션을 저장하는 메모리; 및 상기 적어도 하나의 인스트럭션에 따라 동작하는 프로세서를 포함하고, 상기 프로세서는, 서버와의 통신 상태를 확인하고, 상기 확인된 통신 상태에 근거하여 상기 서버로 전송할 데이터에 대응되는 타겟 크기를 결정하고, 차량에 장착된 적어도 하나의 센서로부터 획득한 데이터 중 전체 크기가 상기 결정된 타겟 크기 이하가 되도록 일부의 데이터를 선택하고, 상기 선택한 일부의 데이터를 상기 서버로 전송하고, 상기 일부의 데이터의 전송에 응답하여 상기 서버에서 수신되는 제어 명령에 따라 상기 차량의 기능을 제어할 수 있다.
본 개시에서, "a, b 또는 c 중 적어도 하나"라는 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 실시예의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.
이하, 본 개시의 실시예들을 차례로 상세히 설명한다.
자동차 기술의 발전을 설명하는 아키텍처 플로우에 따르면, 자동차의 구조는 현재의 분산 구조에서 기능별로 통합된 구조를 가지게 되고, 그 후에는 서로 결합된 도메인들을 중앙 컨트롤러가 제어하는 구조로 진화할 것으로 예상된다. 즉, 기술발전에 따라 데이터들이 중앙에서 처리되고, 향후에는 클라우드 연결도 가능할 것으로 예측되고 있다.
현재 관심이 집중되고 있는 자율 주행의 달성을 위해서는 많은 데이터들을 처리하여야 하므로, 대량의 데이터들을 처리하기 위한 고성능의 처리 장치가 이용된다. 이러한 처리 장치는 차량에 장착이 가능하나, 자율 주행 시스템이 정교해질수록 차량의 제작을 복잡하게 하고, 제작 단가를 상승시키는 요인이 된다.
이러한 문제점을 극복하기 위해, 차량은 차량 주변의 환경 데이터를 수집하여 서버로 전달하고, 서버가 환경 데이터를 분석하여 제어 명령을 차량으로 전송하는 시스템을 고려할 수 있다.
차량과 서버가 연계된 자율 주행 시스템에서 가장 중요한 고려 사항은 외부 요인에 대해 얼마나 빠르게 응답할 수 있는 지이다. 외부 요인에 대한 신속한 응답은 차량과 서버 사이의 통신 상태에 많은 영향을 받는다. 따라서, 차량과 서버 사이의 통신 상태가 변동되는 상황에서도 안정적으로 차량을 자율 주행시키는 방안이 요구된다.
한편, 인공지능(Artificial Intelligence, AI) 시스템은 컴퓨터 시스템이며, 기존 룰(Rule) 기반 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고, 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계 학습을 활용한 요소 기술들로 구성된다.
기계 학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소 기술은 딥러닝 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화 시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험 정보를 지식데이터로 자동화 처리하는 기술로서, 지식 생성(데이터 생성 및 분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
개시된 실시예는, 차량과 서버가 연계된 자율주행 시스템에서 차량을 안전하게 제어할 수 있도록 하는 방법 및 그를 수행하는 장치에 대한 것으로, 이하에서 첨부된 도면들을 참조하여 상세히 설명한다.
도 1은 차량(10)에 장착된 전자 장치(100)와 서버(200)를 도시하는 일 실시예에 따른 도면이다.
차량(10)은 서버(200)와의 연계를 통해 자율 주행을 할 수 있다. 전술한 바와 같이, 차량(10)은 차량(10)에 장착된 센서들에 의해 수집된 데이터를 서버(200)로 전송하고, 서버(200)는 데이터를 분석하여 자율 주행을 위한 제어 명령을 생성할 수 있다. 서버(200)는 제어 명령을 차량(10)으로 전송하고, 차량(10)은 제어 명령에 따라 동작할 수 있다.
여기서, 차량(10)에 장착된 센서들에 의해 수집된 데이터는 차량의 주변 환경들에 대한 데이터가 될 수 있다. 예를 들어, 데이터는, 차량 주변에 충돌 위험이 있는 객체가 존재하는지, 차량의 운행 또는 이동 시 고려할 사항(예를 들어, 음영 지역이 존재하는지, 인근에 사고가 발생하였는지 등), 차량의 주행에 영향을 미치는 사항 등을 가리키는 데이터가 될 수 있다. 이하에서는 설명의 편의 상, '데이터'가 차량의 주변 환경에 대한 데이터인 경우를 예로 들어서, '환경 데이터' 또는 '센싱 데이터'로 칭하도록 한다.
전자 장치(100)는 차량(10)의 자율 주행을 지원하기 위해 차량(10)에 장착된다. 도 1은 전자 장치(100)가 차량(10)의 루프(roof)에 장착된 것으로 도시하고 있는데, 이는 하나의 예시일 뿐이며, 전자 장치(100)는 차량(10)의 다양한 위치(예를 들어, 엔진룸, 섀시, 대시보드 등)에 장착될 수 있다.
전자 장치(100)는 차량(10)의 제조 과정 중에 차량(10)에 장착될 수 있고, 또는, 차량(10)의 제조가 완료된 후 차량(10)에 장착될 수도 있다.
차량(10)과 서버(200)가 연계된 자율 주행 시스템에서, 전자 장치(100)는 차량(10)과 서버(200) 간의 통신이 방해되는 상황에서도 차량(10)의 안전한 자율 주행을 보장할 수 있다. 특히, 전자 장치(100)는 서버(200)로부터 수신된 제어 명령을 실행하기 위한 지정된 시간 변수(specified time variable)를 유지함으로써, 통신 단절 상태가 차량(10)의 자율 주행의 안전성에 미치는 영향을 최소화할 수 있다.
이하에서는, 도 2를 참조하여 전자 장치(100)가 장착된 차량(10)에 대해 보다 상세하게 설명한다.
도 2는 일 실시예에 따른 전자 장치(100)가 장착된 차량(10)의 기능 블록도이다.
도 2를 참조하면, 차량(10)에는 전자 장치(100), 통신 모듈(300) 및 센서(400)들이 장착된다.
먼저, 센서(400)들은 차량(10)의 외부 환경으로부터 생성된 입력들을 센싱하여 환경 데이터를 수집한다. 센서(400)들에 의해 수집된 환경 데이터는 전자 장치(100)로 전달된다.
일 실시예에서, 센서(400)들은 차량(10)에 근접한 오브젝트를 감지하는 센서, 차량(10)의 현재 위치/장소를 감지하는 센서, 차량(10)의 주변 환경의 이미지들을 획득하는 센서, 및/또는 차량(10)의 자세를 감지하는 센서 등을 포함할 수 있다. 예를 들어, 센서(400)들은 차량(10)에 설치될 수 있고, 센서(400)들은 카메라, LIDAR(light detection and ranging sensor), RARAR(radio detection and ranging sensor), GPS(Global Positioning System), 가속도 센서, 및 자이로 센서 등을 포함할 수 있다. 차량(10)에 장착되는 센서(400)들은 예시된 것들에 한정되는 것은 아니며, 예시되지 않은 다양한 종류의 센서들이 차량(10)에 장착될 수 있다. 차량(10)에 장착되는 센서(400)의 개수는 하나 이상일 수 있다.
통신 모듈(300)은 통신망(30)을 통해 서버(200)와 통신하면서 전자 장치(100)와 서버(200) 사이에서 데이터를 송수신할 수 있는 통신 회로를 포함할 수 있다. 즉, 통신 모듈(300)은 전자 장치(100)로부터 제공되는 환경 데이터를 통신망(30)을 통해 서버(200)로 전송하고, 서버(200)로부터 통신망(30)을 통해 수신되는 제어 명령을 전자 장치(100)로 전달한다. 통신 모듈(300)은 NIC(network interface card)를 포함할 수 있다.
일 실시예에서, 통신 모듈(300)은 지원 가능한 여러 통신 방법들 중 어느 하나의 통신 방법으로 서버(200)와 통신할 수 있다. 지원 가능한 여러 통신 방법들은 5g mmWave 통신 방법, 5g SUB6 통신 방법, LTE(Long-Term Evolution) 통신 방법 등을 포함할 수 있으나 이에 한정되는 것은 아니다. 5g mmWave 통신 방법과 5g SUB6 통신 방법은 모두 5세대 통신 방법에 해당하나, 이용 가능 주파수 대역이 다르다는 점에서 차이가 있다.
통신 모듈(300)은 어느 하나의 통신 방법을 이용하여 서버(200)와 통신하다가 다른 통신 방법으로 교체하여 서버(200)와 통신할 수도 있다. 예를 들어, 통신 모듈(300)은 5g mmWave 통신 방법으로 서버(200)와 통신하다가, 특정의 구역에서 5g mmWave 통신 방법의 이용이 어려울 때에는 LTE 통신 방법으로 전환하여 서버(200)와 통신할 수 있다.
통신 모듈(300)은 서버(200)와의 통신에 이용 가능한 통신 방법이 여러 개인 경우, 우선 순위가 높은 통신 방법으로 서버(200)와 통신할 수 있다. 예를 들어, 5g mmWave 통신 방법, 5g SUB6 통신 방법으로 서버(200)와 통신이 가능하고, 5g mmWave 통신 방법의 우선 순위가 5g SUB6 통신 방법보다 높으면, 통신 모듈(300)은 서버(200)와의 통신에 5g mmWave 통신 방법을 이용할 수 있다.
통신 모듈(300)은 서버(200)와의 통신 상태에 대한 정보를 전자 장치(100)로 제공한다. 통신 상태에 대한 정보는 서버(200)와의 통신 속도를 나타내는 정보를 포함할 수 있다. 통신 모듈(300)과 서버(200)의 통신 방법이 확인되면, 통신 속도가 확인될 수 있으므로, 통신 상태에 대한 정보는 통신 방법을 나타내는 정보를 포함할 수도 있다.
전자 장치(100)는 메모리(110) 및 프로세서(130)를 포함한다.
메모리(110)는 적어도 하나의 인스트럭션을 저장하고, 프로세서(130)는 적어도 하나의 인스트럭션의 실행을 통해 차량(10)의 기능들을 제어하기 위한 동작을 수행한다. 구현예에 따라 전술한 통신 모듈(300)이 전자 장치(100)에 포함될 수도 있다.
전자 장치(100)는 통신 모듈(300)과 서버(200) 사이의 통신 상태를 고려하여 서버(200)로 전송할 환경 데이터의 타겟 크기를 적응적으로 결정한다. 서버(200)로 전송될 환경 데이터의 크기가 커지면, 통신 모듈(300)로부터 서버(200)로 환경 데이터를 전송하는데 이용되는 시간이 증가하게 되고, 결과적으로, 변화하는 차량(10)의 외부 환경에 대해 신속한 응답이 불가능해질 수 있다. 따라서, 통신 모듈(300)과 서버(200) 사이의 통신 상태가 안정적이고, 대역폭이 충분한 경우, 큰 대역폭과 안정성이 신속한 응답을 방해하지 않으므로 전자 장치(100)는 환경 데이터의 타겟 크기를 증가시킬 수 있고, 증가된 데이터 크기는 차량(10)의 외부 요인에 대해 더 정확한 응답을 생성하는데 도움을 줄 수 있다. 통신 모듈(300)과 서버(200) 사이의 통신 상태가 방해되는 경우, 전자 장치(100)는 전송 시간의 유지를 위해 환경 데이터의 타겟 크기를 감소시킬 수 있고, 따라서, 차량(10)의 외부 상황의 변화에 대한 자동 응답에서 어느 정도의 신속성을 유지할 수 있다.
서버(200)는 통신 모듈(300)을 통해 전자 장치(100)로부터 수신된 환경 데이터를 분석하여 차량(10)의 기능을 어떻게 제어해야 할지를 나타내는 제어 명령을 생성한다. 예를 들어, 서버(200)는 환경 데이터의 분석에 기초하여 차량(10)의 우회전이 임박하였다고 판단하면, 우회전을 나타내는 제어 명령을 생성할 수 있다.
제어 명령은 서버(200)로부터 통신 모듈(300)을 통해 전자 장치(100)로 제공된다. 전자 장치(100)는 제어 명령에 따라 차량(10)의 기능을 제어한다. 예를 들어, 전자 장치(100)는 차량(10)의 엔진(11), 파워트레인(12), 브레이크(13), 스티어링(14) 또는 서스펜션(15) 중 적어도 하나를 제어하여 차량(10)이 특정 기능(예를 들어, 우회전 등)을 수행할 수 있게 한다.
도 2는 전자 장치(100)에 의해 제어되는 대상으로, 엔진(11), 파워트레인(12), 브레이크(13), 스티어링(14) 및 서스펜션(15)을 도시하고 있으나, 이는 예시일 뿐이다. 전자 장치(100)는 공조기(air conditioner), 조명 등 차량(10)에 설치되어 특정의 기능을 수행하는 다양한 장치들을 제어할 수 있다.
도 3을 참조하여 전자 장치(100)의 동작에 대해 좀더 상세히 살펴본다.
도 3은 일 실시예에 따른 차량(10) 기능의 제어 방법의 순서도이다.
S310 단계에서, 전자 장치(100)는 통신 모듈(300)과 서버(200) 사이의 통신 상태를 확인한다. 전자 장치(100)는 통신 모듈(300)로부터 통신 상태와 관련된 정보를 수신하고, 수신된 정보에 따라 통신 모듈(300)과 서버(200) 사이의 통신 상태(예를 들어, 퀄리티, 안정성, 대역폭 등)를 확인할 수 있다.
S320 단계에서, 전자 장치(100)는 확인된 통신 상태에 따라 서버(200)로 전송할 환경 데이터의 타겟 크기를 결정한다. 예를 들어, 통신 상태가 특정의 임계 퀄리티(예를 들어, 신호 강도, 대역폭 등)보다 높은 퀄리티를 나타내는 경우, 서버(200)로 전송할 환경 데이터의 타겟 크기가 증가될 수 있다. 통신 상태가 특정의 임계 퀄리티보다 낮은 퀄리티를 나타내는 경우, 안정적인 데이터 전송 시간의 유지를 보장하기 위해, 서버(200)로 전송할 환경 데이터의 타겟 크기가 감소될 수 있다. 전자 장치(100)가 환경 데이터의 타겟 크기를 결정하는 방법은 도 4 이하를 참조하여 후술한다.
S330 단계에서, 전자 장치(100)는 환경 데이터를 감지하기 위해 센서(400)들을 제어 및/또는 설정할 수 있는데, 이 경우 센서(400)들에 의해 수집된 데이터의 크기가 S320 단계에서 결정된 타겟 크기 이하가 되도록 센서(400)들을 제어 및/또는 설정할 수 있다. 즉, 전자 장치(100)는 센서(400)들에 의해 감지 및 수집된 환경 데이터의 총 크기가 타겟 크기 이하가 되도록 센서(400)들의 동작을 제어할 수 있다.
일 예로, 전자 장치(100)는 센서(400)들이 수집하는 환경 데이터의 총 크기가 타겟 크기 이하이면서 타겟 크기에 가까워지도록 센서(400)들을 제어할 수 있다.
다른 예로, 전자 장치(100)는 센서(400)들이 수집하는 환경 데이터의 총 크기가 타겟 크기 이하이면서, 타겟 크기와의 차이가 임계 값 이하가 되도록 센서(400)들을 제어할 수 있다. 예를 들어, 타겟 크기가 100Mb이고 임계 값이 10Mb일 때, 환경 데이터의 총 크기는 90Mb 내지 1000Mb를 가질 수 있다.
센서(400)들의 제어 방법으로서, 차량(10)에 장착된 센서(400)들 중 일부의 센싱 동작을 오프시키거나, 차량(10)의 장착된 센서(400)들의 센싱 능력을 감소시키는 것을 고려할 수 있다. 이에 대해서는 도 10 및 도 11을 참조하여 후술한다.
S340 단계에서, 전자 장치(100)는 센서(400)들로부터 획득한 환경 데이터를 서버(200)로 전송한다. 전자 장치(100)는 통신 모듈(300)과 서버(200) 사이에서 이용되는 통신 방법에 적합하도록 환경 데이터를 변환(예를 들어, 압축)할 수도 있다.
서버(200)는 전자 장치(100)로부터 수신된 환경 데이터를 분석하여 차량을 위한 제어 명령을 생성할 수 있다. 예를 들어, 서버(200)는 자율 주행에서 차량(10) 기능의 실행을 지시하는 제어 명령을 획득할 수 있다. 실시예들에서, 적절한 제어 명령은 환경 데이터를 머신 러닝을 위해 훈련된 신경망(neural network)에 입력함으로써 선택 또는 생성될 수 있다.
S350 단계에서, 전자 장치(100)는 서버(200)로부터 수신되는 제어 명령에 따라 차량(10)의 기능을 제어한다. 따라서, 차량(10)은, 센서들에 의해 감지되어 외부 서버로 필요한 시간 내에 전송된, 외부 환경에서 발생한 이벤트에 대해 자율적인 대응을 수행한다.
도 3과 관련하여 설명한 것과 같이, 전자 장치(100)는 통신 모듈(300)과 서버(200) 사이의 통신 상태에 따라 적응적으로 환경 데이터의 타겟 크기를 결정함으로써 자율 주행의 안정성과 정확성을 유지할 수 있다.
환경 데이터의 타겟 크기가 특정의 임계 크기보다 작게 감소되면, 외부 요인에 대한 신속한 응답이 유지될 수 있다. 그러나, 센서 데이터의 디테일 감소로 인해 자율 주행 응답의 정확성이 감소될 수 있다. 따라서, 차량(10)의 자율 주행에서, 신속하고 정확한 응답을 가능케하는 환경 데이터의 타겟 크기를 설정하는 것이 중요하다.
일 실시예에서, 전자 장치(100)는 특정 크기의 환경 데이터를 수집하기로 하였을 때, 센서(400)들에 의한 환경 데이터의 수집 개시 시점부터 제어 명령의 이행 시점까지의 예상 시간이 임계 시간 이하라면 상기 특정 크기를 환경 데이터의 타겟 크기로 결정할 수 있다. 임계 시간은 차량(10)의 신속한 응답을 보장하기 위한 것으로서 미리 결정되어 있을 수 있다.
예상 시간은 다음과 같이 세부 시간들로 구분할 수 있다.
① 센서(400)들이 환경 데이터를 수집하기 위한 시간; ② 센서(400)들로부터 전자 장치(100)로 환경 데이터가 전달되기 위한 시간; ③ 전자 장치(100)가 환경 데이터를 변환하여 통신 모듈(300)로 전달하기 위한 시간; ④ 통신 모듈(300)이 환경 데이터를 통신망(30)을 통해 서버(200)로 전송하기 위한 시간; ⑤ 서버(200)가 환경 데이터를 분석하여 제어 명령을 생성하기 위한 시간; ⑥ 서버(200)가 제어 명령을 통신망(30)을 통해 통신 모듈(300)로 전송하기 위한 시간; ⑦ 제어 명령이 통신 모듈(300)로부터 전자 장치(100)로 전달되기 위한 시간; 및 ⑧ 전자 장치(100)가 제어 명령에 따라 차량(10)의 기능을 제어하기 위한 시간.
상기 나열된 세부 시간들은 어느 정도 크기의 환경 데이터를 서버(200)로 전송할 것인지에 따라 달라질 수 있다. 예를 들어, 환경 데이터의 크기가 클수록 세부 시간 ①, 세부 시간 ②, 세부 시간 ③, 세부 시간 ④, 및 세부 시간 ⑤는 증가할 가능성이 크다.
특히, 세부 시간 ④와 ⑥은 통신 모듈(300)과 서버(200) 사이의 통신 상태, 구체적으로 통신 속도에 의존하므로, 전자 장치(100)는 통신 상태를 고려하여 서버(200)로 전송할 환경 데이터의 타겟 크기를 결정하여야 한다.
전자 장치(100)는 특정의 통신 상태에서 어느 정도 크기의 환경 데이터를 수집할 때, 얼마나 많은 시간이 소요될지를 미리 알고 있을 수 있다. 예를 들어, 전자 장치(100)는 5g mmWave 통신 방법에서 100Mb의 환경 데이터를 수집할 때, 환경 데이터의 수집 개시 시점부터 제어 명령의 이행 시점까지 1초의 시간이 소요되고, LTE 통신 방법에서 100Mb의 환경 데이터를 수집할 때에는, 환경 데이터의 수집 개시 시점부터 제어 명령의 이행 시점까지 2초의 시간이 소요된다는 것을 미리 알고 있을 수 있다.
구현예에 따라, 전자 장치(100)는 미리 저장된 알고리즘에 통신 상태에 대한 정보와 임계 시간을 입력하여 서버(200)로 전송할 환경 데이터의 타겟 크기를 산출할 수도 있다.
구현예에 따라, 전자 장치(100)는 예상 시간과 임계 시간을 고려하여 타겟 크기를 결정할 때, 서버(200)에 의한 분석 정확도를 더 결정할 수 있다. 서버(200)의 분석 정확도는 세부 시간 ⑤와 관련된다. 분석 정확도가 올라갈수록 세부 시간 ⑤가 증가하게 되므로, 전자 장치(100)는 예상 시간이 임계 시간 이하가 되도록 타겟 크기와 분석 정확도를 결정할 수 있다.
전자 장치(100)는 분석 정확도를 서버(200)로 전송하고, 서버(200)는 수신된 분석 정확도에 따라 환경 데이터를 분석할 수 있다. 일 예로, 서버(200)는 분석 정확도가 3이면, 미리 결정된 제 1 알고리즘으로 환경 데이터를 분석하고, 분석 정확도가 2이면, 제 1 알고리즘보다 복잡도가 적은 제 2 알고리즘으로 환경 데이터를 분석하고, 분석 정확도가 1이면, 제 2 알고리즘보다 복잡도가 적은 제 3 알고리즘으로 환경 데이터를 분석할 수 있다. 제 1 알고리즘은 제 1 신경망을 포함할 수 있고, 제 2 알고리즘은 제 1 신경망보다 레이어의 개수가 적은 제 2 신경망을 포함할 수 있고, 제 3 알고리즘은 제 2 신경망보다 레이어의 개수가 적은 제 3 신경망을 포함할 수 있다.
도 4는 서버(200)로 전송할 환경 데이터의 타겟 크기를 결정하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
도 4를 참조하면, S410 단계에서, 전자 장치(100)는 후보 크기를 갖는 환경 데이터를 외부 서버로 전송하기 위한 예측된 예상 시간이 임계 시간보다 작은 지를 판단한다.
S420 단계에서, 예상 시간이 임계 시간보다 작다면, 후보 크기가 적절한 것으로 판단될 수 있다. 따라서, 후보 크기가 환경 데이터에 대한 타겟 크기로 설정될 수 있다. 만약, 소정 크기를 증가시키더라도 예상 시간이 임계 시간보다 작다면, 타겟 크기를 소정 크기보다 큰 크기로 결정할 수도 있다. 즉, 전자 장치(100)는 임계 시간보다 작은 예상 시간을 야기하는 여러 크기들 중 가장 큰 크기를 타겟 크기로 결정할 수 있다. 전술한 바와 같이, 임계 시간은 차량(10)의 신속한 응답을 보장하기 위한 것이지만, 신속한 응답만으로는 안전성을 보장할 수 없으므로, 신속한 응답이 가능한 범위 내에서 최대 크기의 환경 데이터를 수집하고자 하는 것이다.
S430 단계에서, 예상 시간이 임계 시간 이상이라면, , 후보 크기는 임계 시간 내에 데이터를 전송하기에는 매우 큰 것으로 결정될 수 있다. 따라서, 전자 장치(100)는 후보 크기를 감소시키고, S410 단계를 다시 수행하여 감소된 후보 크기를 재평가한다.
한편, 임계 시간은 차량(10)의 현재 상황에 따라 달라질 수 있다. 예를 들어, 차량(10)이 빠른 속도(예를 들어, 특정의 임계 속도 초과)로 주행 중이라면 임계 시간은 짧아야만 하고, 차량(10)이 느린 속도(예를 들어, 특정의 임계 속도 미만)로 주행 중이라면 임계 시간이 길더라도 문제가 발생하지 않을 가능성이 높다.
도 5는 타겟 크기를 결정하는데 이용되는 임계 시간을 결정하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
도 5에 도시된 것과 같이, 일부 실시예에서, 복수의 후보 임계 시간들이 전자 장치(100)에 의해 생성될 수 있고, 전자 장치(100)는 다양한 후보 임계 시간들 중 특정의 임계 시간을 선택할 수 있다. 이러한 선택은 차량(10)의 속도와 차량(10)의 현재 위치를 고려하여 수행될 수 있다. 예를 들어, 차량(10)의 현재 위치는 차량(10)이 미리 위험한 것으로 지정된 구간에 있는지 여부를 나타낼 수 있으며, 이 경우, 후보 임계 시간이 단축됨으로써 차량(10)의 자율 주행에 의한 빠른 응답을 보장할 수 있다.
도 5에 도시된 바와 같이, 차량(10)의 속도가 30km/h 이하이고, 차량(10)이 위험도 1의 구간에 위치한다면, 1초가 임계 시간으로 선택될 수 있다.
도 5를 참조하면, 차량(10)의 속도가 높아질수록 임계 시간은 짧아지는 것을 알 수 있다. 예시된 것과 같이, 차량(10)의 속도가 30km/h 이하이고, 차량(10)이 위험도 1의 구간에 위치한다면, 임계 시간은 1초이고, 차량(10)의 속도가 31km/h 이상 60km/h 이하이고, 차량(10)이 위험도 1의 구간에 위치한다면, 임계 시간은 0.8초이다.
마찬가지로, 차량(10)의 위험도가 높아질수록 임계 시간은 짧아질 수 있다. 예시된 것과 같이, 차량(10)의 속도가 30km/h 이하이고, 차량(10)이 위험도 1의 구간에 위치한다면, 임계 시간은 1초이고, 차량(10)의 속도가 30km/h 이하이고, 차량(10)이 위험도 2의 구간에 위치한다면, 임계 시간은 0.8초이다.
도 5는 전자 장치(100)가 차량(10)의 속도와 차량(10)의 위치를 모두 고려하여 임계 시간을 선택하는 것으로 도시하고 있으나, 이는 예시일뿐이다. 전자 장치(100)는 차량(10)의 속도를 고려하여 임계 시간을 선택할 수도 있고, 차량(10)의 위치를 고려하여 임계 시간을 선택할 수도 있다.
구현예에 따라, 전자 장치(100)는 기 설정된 임계 시간을 차량(10)의 속도 또는 차량(10)이 위치하는 구역의 위험도 중 적어도 하나에 따라 증가 또는 감소시켜 타겟 크기를 결정하기 위한 임계 시간을 확정할 수 있다. 예를 들어, 기 설정된 임계 시간이 차량(10)의 속도가 31 ~ 60km/h이고, 위험도가 2일 때에 대응하는 경우, 차량(10)의 속도가 31 ~ 60km/h에 속하는 속도보다 크거나, 위험도가 2보다 크다면 기 설정된 임계 시간을 감소시킬 수 있다.
또한, 안정도(stability level)는 자율 주행 운행의 안정성을 나타내기 위해 계산될 수 있는데, 안정도는 임계 시간 및 타겟 크기에 기초할 수 있다. 차량(10)의 더 빠른 자율 응답은 더 짧은 임계 시간 값들에 의해 촉진된다. 또한, 환경 데이터의 타겟 크기가 커질수록(예를 들어, 더 풍부하고 세밀한 데이터로 인해) 자율주행 응답의 정확도가 증가한다. 따라서, 임계 시간과 환경 데이터의 타겟 크기를 모두 고려하여 차량(10)의 자율 주행의 안정성이 파악될 수 있다.
도 6은 서버(200)로 전송할 환경 데이터의 타겟 크기 및 임계 시간에 대응하는 자율 주행의 안정도를 나타내는 일 실시예에 따른 도면이다.
도 6을 참조하면, 서버(200)로 전송할 환경 데이터의 타겟 크기가 커짐에 따라 자율 주행의 예측된 안정도가 커질 수 있고, 임계 시간이 짧아짐에 따라 자율 주행의 안정도가 커지는 것을 알 수 있다. 예를 들어, 임계 시간이 0.1s 내지 0.4s일 때, 환경 데이터의 타겟 크기가 10Mb 이하라면 안정도는 2이고, 환경 데이터의 타겟 크기가 51Mb 내지 100Mb라면 안정도는 3이다. 또한, 환경 데이터의 타겟 크기가 10Mb 이하일 때, 임계 시간이 0.1s 내지 0.4s라면 안정도는 2이고, 임계 시간이 1s라면 안정도는 1이다.
자율 주행의 안정도가 확인되면, 전자 장치(100)는 차량(10)의 출력 장치, 예를 들어, 스피커 또는 디스플레이를 통해 자율 주행의 안정도를 출력할 수 있다. 자율주행의 안정도는 자율주행 모드를 의미할 수 있다. 자율주행 모드에 따라 운전자의 개입 정도가 달라질 수 있다. 예를 들어, 자율주행의 안정도가 3인 자율주행 모드에서는 운전자의 개입이 필요 없고, 자율주행의 안정도가 2인 자율주행 모드에서는 운전자의 적은 개입(예를 들어, 스티어링 휠을 잡고 전방을 주시하는 정도의 개입)이 바람직할 수 있다. 자율주행의 안정도가 1인 자율주행 모드에서는 운전자의 많은 개입(예를 들어, 스티어링 휠을 잡고, 전방을 주시하여 언제라도 브레이크를 동작시킬 수 있을 정도의 개입)이 필수적일 수 있다.
현재의 자율 주행 동작들(예를 들어, 자율 주행 모드)의 예측된 안정도를 운전자에게 통지함으로써, 운전자는 차량의 자율 주행 동안 외부 환경에서 발생하는 이벤트에 대응하기 위해 다소 인간의 개입이 필요할 수 있는 기간에 대해 알 수 있다.
도 6은 타겟 크기와 임계 시간을 모두 고려하여 자율 주행의 안정도를 결정하는 것으로 도시하고 있으나, 이는 예시일 뿐이다. 전자 장치(100)는 타겟 크기를 고려하여 자율 주행의 안정도를 고려할 수도 있고, 임계 시간을 고려하여 자율 주행의 안정도를 고려할 수도 있다.
도 7은 출발지와 도착지 사이의 경로에서 구간 별로 자율 주행의 안정도가 예측될 수 있음을 설명하기 위한 일 실시예에 따른 도면이다.
차량(10)의 내비게이션(700)을 통해 출발지(710)와 도착지(730)가 설정된 경우, 전자 장치(100)는 출발지(710)로부터 도착지(730) 사이의 전체 경로(720) 내 각 구간들(722, 724, 726)에서의 자율 주행의 안정도들을 예측하고, 각 구간에 대한 예측 안정도를 출력할 수 있다.
전자 장치(100)는 경로 내 각 구간들(722, 724, 726)에서 서버(200)와 어떤 통신 상태로 통신이 이루어지는지에 대한 정보를 미리 획득하고, 서버(200)와의 통신 상태를 근거로 각 구간별 자율 주행의 안정도를 예측할 수 있다. 통신 상태가 확인되면, 전자 장치(100)는 전술한 실시예에 따라 자율 주행의 안정도를 각 구간에 대해 산출할 수 있다.
도 7에 도시된 바와 같이, 전자 장치(100)는 출발지(710)와 도착지(730) 사이의 경로(720)를 예측 안정도에 따라 구간별로 다르게 표시할 수 있다. 예를 들어, 안정도 3의 구간(722)은 초록색의 라인, 안정도 2의 구간(724)은 주황색의 라인, 안정도 1의 구간(726)은 빨간색의 라인으로 표시될 수 있다. 다른 예로, 전자 장치(100)는 경로의 구간들의 예측 안정도를 텍스트로 표시할 수도 있다.
운전자가 출발지(710)와 도착지(730) 사이의 경로(720)를 따라 운행할 때, 운전자는 차량의 자율 주행 동안 외부 환경에서 발생하는 이벤트들에 대해 대응하기 위해 다소의 인간의 개입이 필요할 수 있는 도로 구간들에 대해 알 수 있다.
도 8은 출발지와 도착지 사이의 여러 경로들 중 자율 주행의 예측 안정도에 기초하여 추천 경로를 선택하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
일 실시예에서, 출발지와 도착지를 연결하는 여러 경로가 존재할 때, 전자 장치(100)는 각 경로의 구간들의 안정도를 산출하고, 각 경로의 예측 안정도의 평균을 산출하고, 산출된 평균에 따라 추천 경로를 선택할 수도 있다.
도 8을 참조하면, 출발지와 도착지를 연결하는 A 경로와 B 경로가 존재할 때, 전자 장치(100)는 A 경로의 a-1 구간, a-2 구간 및 a-3 구간 각각의 예측 안정도와, B 경로의 b-1 구간, b-2 구간 및 b-3 구간 각각의 예측 안정도를 결정할 수 있다.
전자 장치(100)는 A 경로 전체와 B 경로 전체의 예측 안정도의 평균을 산출할 수 있다. 이러한 산출을 위해, 예를 들어, 각 구간의 운행 시간이 고려될 수 있다. 예를 들어, 전자 장치(100)는 각 경로의 구간 별 예측 안정도를 운행 시간에 따라 가중 평균하여 평균 예측 안정도를 산출할 수 있다. 구체적으로, 전자 장치(100)는 A 경로의 평균 예측 안정도를 (3*0.4)+(1*0.3)+(2*0.3)으로 산출하고, B 경로의 평균 예측 안정도를 (2*0.5)+(3*0.3)+(2*0.2)로 산출할 수 있다. 경로의 각 구간의 예측 안정도에 곱해지는 가중치는 운행 시간의 총합을 1로 정규화함으로써 산출될 수 있다. 즉, A 경로의 총 운행 시간이 100분이므로, a-1 구간의 예측 안정도 3에 곱해지는 가중치는 40/100으로 결정될 수 있다.
A 경로의 평균 예측 안정도가 2.1이고, B 경로의 평균 예측 안정도가 2.3일 때, 전자 장치(100)는 평균 예측 안정도가 더 높은 B 경로를 추천 경로로서 자동적으로 선택할 수 있다.
추천 경로를 선택하는 위 방법은 하나의 예시일 뿐이며, 전자 장치(100)는 각 경로로 주행하였을 때의 총 운행 시간, 통행료 등을 더 고려하여 추천 경로를 선택할 수 있다.
도 9는 차량(10)과 서버(200) 사이의 통신 방법(예를 들어, 통신 타입)에 따라 서버(200)로 전송할 환경 데이터의 타겟 크기를 결정하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
전자 장치(100)는 차량(10)과 서버(200) 사이의 통신 방법에 대응하는 자율 주행의 안정도(즉, 자율주행 모드)를 선택하고, 선택된 자율 주행의 안정도에 대응하는 환경 데이터의 타겟 크기를 결정할 수도 있다.
위에서는 차량(10)과 서버(200) 사이의 통신 상태, 예상 시간 및 임계 시간을 고려하여 타겟 크기가 결정되고, 자율 주행의 안정도가 결정되었는데, 구현예에 따라서는 차량(10)과 서버(200) 사이의 통신 방법에 따라 자율 주행의 안정도가 결정되고, 타겟 크기가 결정될 수도 있다.
도 9에 도시된 것과 같이, 통신 모듈(300)과 서버(200) 사이에서 이용될 수 있는 여러 통신 방법들, 자율 주행의 여러 안정도들 및 환경 데이터의 여러 타겟 크기들이 서로 매핑되어 있을 수 있다. 예를 들어, 통신 모듈(300)과 서버(200)가 5g mmWAVE 통신 방법으로 통신하는 경우, 자율 주행의 안정도는 3으로 결정되고, 타겟 크기는 100Mb로 결정될 수 있다. 또한, 통신 모듈(300)과 서버(200)가 5g SUB6 통신 방법으로 통신하는 경우, 자율 주행의 안정도는 2로 결정되고, 타겟 크기는 50Mb로 결정될 수 있다.
도 9에 도시된 실시예에서는, 환경 데이터의 타겟 크기를 산출하는데 사용되는 시간의 증가를 방지하기 위해 통신 방법/타입이 고려될 수 있다.
이하에서는, 타겟 크기가 결정된 이후, 전자 장치(100)가 센서(400)들로부터 환경 데이터를 획득하는 방법에 대해 설명한다.
도 10 및 도 11은 차량(10)의 이동 방향을 고려하여, 차량(10)에 장착된 센서(400)들 중 동작을 오프시킬 센서(400)를 선택하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
서버(200)로 전송할 환경 데이터의 타겟 크기가 결정되었으면, 전자 장치(100)는 센서(400)들이 타겟 크기 이내의 크기를 갖는 환경 데이터를 수집하도록 센서(400)들의 기능을 제어할 수 있다.
일 실시예에서, 전자 장치(100)는 센서(400)들 중 일부 센서(400)의 동작을, 예를 들어, 비활성화(deactivating)시켜 센서(400)들에 의해 수집되는 환경 데이터의 총 크기를 감소시킬 수 있다. 이는 센서(400)들 모두의 동작이 온(On)되어 있는 상태에서 수집되는 환경 데이터의 총 크기가, 서버(200)로 전송할 환경 데이터의 타겟 크기보다 클 때 유용할 수 있다.
전자 장치(100)는 차량(10)의 이동 방향 또는 차량(10)의 위치 중 적어도 하나를 고려하여 센서(400)들 중 비활성화시킬 센서(400)를 선택할 수 있다. 예를 들어, 차량(10)의 위치는, 차량(10)의 서브 영역들, 차량(10)의 방향성 등의 관점에서의 위험성을 고려할 수 있게 한다.
예를 들어, 도 10에 도시된 것과 같이, 차량(10)이 전진 중인 경우, 전자 장치(100)는 후방 카메라, 후방 LIDAR 센서, 측면 LIDAR 센서 및 자이로 센서를 비활성화시켜 비활성화된 센서(400)들로부터 환경 데이터가 수집되는 것을 중단시킬 수 있다.
또한, 도 11에 도시된 것과 같이, 차량(10)이 우회전 중인 경우, 전자 장치(100)는 후방 카메라 및 후방 LIDAR를 비활성화시켜 비활성화된 센서(400)들에 의해 더이상 환경 데이터가 수집되지 않게 할 수 있다.
전자 장치(100)는 차량(10)의 이동 방향 또는 차량(10)의 위치 중 적어도 하나에 따라 순차적으로 비활성화되어야 할 센서(400)를 미리 결정하고, 센서(400)에 의해 수집되는 환경 데이터의 총 크기가 서버(200)로 전송할 환경 데이터의 타겟 크기 이하가 되도록 우선 순위에 따라 센서(400)들을 순차적으로 비활성화시킬 수 있다.
다른 실시예에서, 전자 장치(100)는 센서(400)들의 센싱 능력을 감소시킴으로써 센서(400)들에 의해 수집되는 환경 데이터의 크기가 서버(200)로 전송할 환경 데이터의 타겟 크기 이하가 되도록 할 수도 있다. 일 예로, 전자 장치(100)는 카메라에 의해 촬영되는 이미지의 해상도를 감소시키거나, LIDAR, radar에 의해 감지되는 범위(거리 또는 면적)를 축소시킴으로써 센서(400)들에 의해 수집되는 환경 데이터의 전체 크기를 감소시킬 수 있다.
전자 장치(100)는 서버(200)로 전송할 환경 데이터의 타겟 크기에 따라 센싱 능력의 감소 정도를 적응적으로 결정할 수 있다. 일 예로, 서버(200)로 전송할 환경 데이터의 타겟 크기가 제 1 크기라면, 카메라에 의해 촬영되는 이미지의 해상도를 UHD(3840*2160)로 결정하고, 서버(200)로 전송할 환경 데이터의 타겟 크기가 제 1 크기보다 작은 제 2 크기라면, 카메라에 의해 촬영되는 이미지의 해상도를 FHD(1920*1080)로 결정하고, 서버(200)로 전송할 환경 데이터의 타겟 크기가 제 2 크기보다 작은 제 3 크기라면, 카메라에 의해 촬영되는 이미지의 해상도를 HD(1280*720)로 결정할 수 있다.
도 12는 다른 실시예에 따른 차량(10) 기능의 제어 방법의 순서도이다.
S1210 단계에서, 전자 장치(100)는 통신 모듈(300)과 서버(200) 사이의 통신 상태를 확인한다. 전자 장치(100)는 통신 모듈(300)로부터 통신 상태에 대한 정보를 수신하고, 수신된 정보에 따라 통신 모듈(300)과 서버(200) 사이의 통신 상태를 확인할 수 있다.
S1220 단계에서, 전자 장치(100)는 확인된 통신 상태에 따라 서버(200)로 전송할 환경 데이터의 타겟 크기를 결정한다. 서버(200)로 전송할 환경 데이터의 타겟 크기를 결정하는 방법에 대해서는 전술하였으므로 상세한 설명을 생략한다.
S1230 단계에서, 전자 장치(100)는 센서(400)들로부터 이전에 획득한 환경 데이터 중 일부를 선택할 수 있다. 센서(400)들로부터 획득한 환경 데이터의 총 크기가 S1220 단계에서 결정된 타겟 크기보다 큰 경우, 전자 장치(100)는 센서(400)들로부터 획득한 환경 데이터 중 전체 크기가 타겟 크기 이하인 일부를 선택할 수 있다. 따라서 전자 장치(100)는 전체 크기가 타겟 크기 이하인 일부의 환경 데이터를 선택할 수 있다. 일부의 환경 데이터를 서로 다른 구성(configuration)으로 선택할 수 있는 경우, 전자 장치(100)는 외부 서버로의 전송을 위한 타겟 사이즈에 가장 가까운 크기를 갖는 특정 구성의 환경 데이터를 선택할 수 있다.
도 3에 도시된 실시예는, 센서(400)들로부터 환경 데이터를 전달받기 전에 서버(200)로 전송할 환경 데이터의 타겟 크기가 결정된 경우에 대한 것이나, 도 12에 도시된 실시예는, 전자 장치(100)가 센서(400)들의 기능을 제어할 수 없거나, 센서(400)들로부터 이미 환경 데이터를 전달받은 경우에 유용할 수 있다.
전자 장치(100)는 환경 데이터 중 일부를 선택할 때, 환경 데이터의 우선 순위를 고려할 수 있는데, 이에 대해서는 도 13 및 도 14를 참조하여 후술한다.
S1240 단계에서, 전자 장치(100)는 센서(400)들로부터 획득한 환경 데이터의 일부를 서버(200)로 전송한다. 전자 장치(100)는 통신 모듈(300)과 서버(200) 사이의 통신 방법에 적합하게 환경 데이터를 변환(예를 들어, 압축)할 수도 있다.
서버(200)는 전자 장치(100)로부터 수신된 환경 데이터를 분석하여 제어 명령을 생성한다. 일 예로, 서버(200)는 훈련된 신경망(neural network)에 환경 데이터를 입력하여 차량(10)이 어떻게 기능하여야 하는지를 나타내는 제어 명령을 획득할 수 있다.
S1250 단계에서, 전자 장치(100)는 환경 데이터에 대한 응답으로서 서버(200)로부터 수신되는 제어 명령에 따라 차량(10)의 기능을 제어한다.
도 13 및 도 14는 차량(10)의 이동 방향을 고려하여, 센서(400)들에 의해 수집된 환경 데이터 중 서버(200)로 전송할 환경 데이터를 선택하는 방법을 설명하기 위한 일 실시예에 따른 도면이다.
전자 장치(100)는 차량(10)의 이동 방향 또는 차량(10)의 위치 중 적어도 하나에 따라 센서(400)들로부터 획득한 환경 데이터 중 일부를 선택할 수 있다. 차량(10)의 위치는 차량(10)이 위치하는 영역의 위험도를 의미할 수 있다.
도 13에 도시된 것과 같이, 차량(10)이 전진 중인 경우, 전자 장치(100)는 전방 카메라, 전방 LIDAR, GPS, 및 가속도 센서에 의해 수집된 환경 데이터를 서버(200)로 전달한 환경 데이터로 선택할 수 있다.
또한, 도 14에 도시된 것과 같이, 차량(10)이 우회전 중인 경우, 전자 장치(100)는 전방 카메라, 전방 LIDAR, 측면 LIDAR, GPS, 가속도 센서 및 자이로 센서에 의해 수집된 환경 데이터를 서버(200)로 전달한 환경 데이터로 선택할 수 있다.
전자 장치(100)는 차량(10)의 이동 방향 또는 차량(10)의 위치 중 적어도 하나를 고려하여 다른 센서들에 의해 수집된 환경 데이터의 다른 세트들 사이의 우선 순위를 미리 설정할 수 있다. 그리고, 전자 장치(100)는 선택되는 환경 데이터의 총 크기가 타겟 크기 이하이면서, 타겟 크기에 가장 가까워지도록, 미리 설정된 우선 순위에 따라 서버(200)로 전송할 환경 데이터를 순차적으로 선택할 수 있다.
한편, 앞서서는 전자 장치(100)가 서버(200)로 전송될 환경 데이터의 타겟 크기를 능동적으로 결정하는 것으로 설명하였지만, 구현예에 따라 서버(200)가 전자 장치(100)로 환경 데이터의 크기 감축 요청을 할 수도 있다. 서버(200)는 자신이 수신하고자 하는 환경 데이터의 타겟 크기 정보를 전자 장치(100)로 전송할 수 있다. 또는 서버(200)는 환경 데이터의 크기 감축 요청을 전자 장치(100)로 하고, 전자 장치(100)가 감축 요청에 따라 타겟 크기를 결정할 수 있다.
서버(200)가 환경 데이터의 크기 감축 요청을 하는 경우는, 서버(200)에 가해지는 부하가 큰 경우에 유용할 수 있다. 예를 들어, 서버(200)와 연계되어 자율 주행을 하는 차량(10)의 개수가 많은 경우, 서버(200)에 가해지는 부하가 커지므로, 서버(200)는 환경 데이터의 크기 감축 요청을 차량(10)으로 전송하여 처리하여야 할 부하를 감소시킬 수 있다.
개시된 실시예에 있어서, 전자 장치(100), 구체적으로 전자 장치(100)의 프로세서(130)에서 수행되는 동작들 중 적어도 하나는 인공지능(AI: Artificial Intelligence) 기술을 이용하여 수행될 수 있다. 인공 지능(AI) 기술을 이용하여 수행되는 적어도 하나의 동작은 이하에서 도 15를 참조하여 상세히 설명한다.
도 15는 인공 지능 기술을 이용하여 수행되는 동작을 설명하기 위한 도면이다.
구체적으로, 전자 장치(100)에서 수행되는 i) 타겟 크기를 결정하는 동작, ii) 임계 시간을 선택하는 동작, iii) 센서(400)들 중 오프(off)시킬 센서(400)를 선택하는 동작 및 iv) 환경 데이터 중 서버(200)로 전송할 일부의 환경 데이터를 선택하는 동작 중 적어도 하나는, 신경망(neural network)을 통한 연산을 수행하는 인공지능(AI: Artificial Intelligence) 기술을 이용하여 수행될 수 있다. 예를 들어, 전술한 서버(200)와 차량(10) 사이의 통신 상태에 근거하여 인공지능 기반으로 수행될 수 있다.
인공 지능 기술(이하, 'AI 기술')은 신경망(Neural Network)을 통한 연산을 기반으로 입력 데이터를 분석 및/또는 분류 등과 같은 처리를 하여 목적하는 결과를 획득하는 기술이다.
이러한 AI 기술은 알고리즘을 활용하여 구현될 수 있다. 여기서, AI 기술을 구현하기 위한 알고리즘 또는 알고리즘의 집합을 신경망(Neural Network)이라 한다. 신경망은 입력 데이터를 입력받고, 전술한 분석 및/또는 분류를 위한 연산을 수행하여, 결과 데이터를 출력할 수 있다. 신경망이 입력 데이터에 대응되는 결과 데이터를 정확하게 출력하기 위해서는, 신경망을 학습(training)시키는 것이 바람직하다. 여기서, '학습(training)'은 신경망에 대한 입력 데이터들을 분석하는 방법, 입력 데이터들을 분류하는 방법, 및/또는 입력 데이터들로부터 결과 데이터를 생성하기 위한 특징을 추출하는 방법 등을 신경망이 스스로 발견 또는 터득할 수 있도록 훈련시키는 것을 의미할 수 있다. 구체적으로, 학습 과정을 통해, 신경망은 학습 데이터에 기반하여 신경망 내부의 가중치 값들을 최적화할 수 있다. 그리고, 최적화된 가중치 값들을 가지는 신경망을 통하여, 입력 데이터를 처리함으로써, 목적하는 결과를 출력한다.
신경망은 연산을 수행하는 내부의 레이어(layer)인 은닉 레이어(hidden layer)의 개수가 복수일 경우, 즉 연산을 수행하는 신경망의 심도(depth)가 증가하는 경우, 심층 신경망으로 분류될 수 있다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 등이 있으며, 전술한 예에 한정되지 않는다. 또한, 신경망은 세분화될 수 있다. 예를 들어, CNN 신경망은 DCNN(Deep Convolution Neural Network) 또는 캡스넷(Capsnet) 신경망(미도시) 등으로 세분화 될 수 있다.
'AI 모델'은 입력 데이터를 수신하고 목적하는 결과를 출력하도록 동작하는 적어도 하나의 레이어를 포함하는 신경망을 의미할 수 있다. 또한, 'AI 모델'은 신경망을 통한 연산을 수행하여 목적하는 결과를 출력하는 알고리즘, 복수의 알고리즘의 집합, 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 프로세서(processor), 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 소프트웨어, 또는 알고리즘(또는 알고리즘의 집합)을 실행하기 위한 하드웨어를 의미할 수 있다.
전술한 i) 타겟 크기를 결정하는 동작, ii) 임계 시간을 선택하는 동작, iii) 센서(400)들 중 오프(off)시킬 센서(400)를 선택하는 동작 및 iv) 환경 데이터 중 일부를 선택하는 동작 중 적어도 하나는 AI 모델 기반으로 수행될 수 있다.
도 15를 참조하면, 신경망(1510)은 학습 데이터(training data)를 입력받아 트레이닝(training)될 수 있다. 그리고, 학습된 신경망(1510)은 입력단(1520)으로 입력 데이터(1511)(예를 들어, 통신 상태 정보 또는 환경 데이터의 타겟 크기 정보)를 입력받고, 입력단(1520), 은닉 레이어(hidden layer)(1530) 및 출력단(1540)은 입력 데이터(1511) 및 이전 레이어로부터 전달된 데이터를 분석하여 출력 데이터(1515)를 출력하기 위한 연산을 수행할 수 있다. 도 15에서는 은닉 레이어(1530)가 1개인 것으로 도시되어 있으나, 이는 예시일 뿐이고, 은닉 레이어(1530)는 복수의 계층으로 이루어질 수도 있다.
일 예로, 신경망(1510)은 통신 상태 정보에 근거하여, 서버(200)로 전송할 환경 데이터의 타겟 크기를 결정하는 방법을 학습할 수 있다. 학습이 완료된 신경망(1510)은, 통신 상태 정보를 입력받고, 환경 데이터의 타겟 크기를 결정할 수 있다.
다른 예로, 신경망(1510)은 환경 데이터의 타겟 크기 정보에 근거하여, 센서(400)들 중 오프(off)시킬 센서(400)를 선택하는 방법 및/또는 환경 데이터 중 일부를 선택하는 방법을 학습할 수 있다. 학습이 완료된 신경망(1510)은, 환경 데이터의 타겟 크기 정보를 입력받고, 센서(400)들 중 오프시킬 센서(400) 및/또는 환경 데이터 중 일부를 선택할 수 있다.
개시된 실시예에서, i) 환경 데이터의 타겟 크기를 결정하는 동작, ii) 임계 시간을 선택하는 동작, iii) 센서(400)들 중 오프(off)시킬 센서(400)를 선택하는 동작 및 iv) 환경 데이터 중 일부를 선택하는 동작 중 적어도 하나를 수행하는 신경망은 프로세서(예를 들어, 도 2의 130) 내에 구현될 수 있다.
또는, 전술한 i) 환경 데이터의 타겟 크기를 결정하는 동작, ii) 임계 시간을 선택하는 동작, iii) 센서(400)들 중 오프(off)시킬 센서(400)를 선택하는 동작 및 iv) 환경 데이터 중 일부를 선택하는 동작 중 적어도 하나를 수행하는 신경망은 전자 장치(100)와 구별된 별도의 전자 장치(미도시) 또는 프로세서(미도시) 내에 구현될 수 있다.
전술한 신경망을 통한 연산은 일 실시예에 따른 전자 장치(100)와 무선 통신 네트워크를 통하여 통신할 수 있는 서버(미도시)에서 수행될 수도 있다. 전자 장치(100)와 서버(미도시) 간의 통신은 도 16을 참조하여 설명한다.
도 16을 참조하면, 서버(1600)는 전자 장치(100)와 통신하는 통신 모듈(1610), 및 적어도 하나의 인스트럭션을 수행하는 프로세서(1630)를 포함한다. 서버(1600)는 도 1 및 도 2에 도시된 서버(200)일 수 있다.
일 예로, 서버(1600)의 프로세서(1630)는 통신 상태에 대한 정보를 획득하고, 통신 상태 정보에 따라 서버(200 또는 1600)로 전송될 환경 데이터의 타겟 크기를 결정할 수 있다. 통신 모듈(1610)은 환경 데이터의 타겟 크기 정보를 전자 장치(100)로 전송할 수 있다.
개시된 실시예에서, 서버(1600)는 도 15를 참조하여 설명한 신경망(1510)을 통한 연산을 수행하여 환경 데이터의 타겟 크기를 결정할 수 있다. 구체적으로, 서버(1600)는 AI 모델을 훈련시키고, 훈련된 AI 모델을 저장하고 있을 수 있다. 그리고, 서버(1600)는 훈련된 AI 모델을 이용하여 전술한 환경 데이터의 타겟 크기를 결정할 수 있다.
일반적으로, 전자 장치(100)는 메모리 저장 용량, 연산의 처리 속도, 학습 데이터 셋의 수집 능력 등이 서버(1600)에 비하여 제한적일 수 있다. 따라서, 대용량 데이터의 저장 및 대용량의 연산량이 필요한 동작은 서버(1600)에서 수행한 후, 통신 네트워크를 통하여 데이터 및/또는 AI 모델을 전자 장치(100)에 전송할 수 있다. 그러면, 전자 장치(100)는 대용량의 메모리 및 빠른 연산 능력을 갖는 프로세서 없이도, 서버(1600)를 통하여 데이터 및/또는 AI 모델을 수신하여 이용함으로써, 빠르고 용이하게 동작을 수행할 수 있다.
개시된 실시예에서, 서버(1600)는 도 15에서 설명한 신경망(1510)을 포함할 수 있다. 구체적으로, 서버(1600)에 포함되는 신경망(1510)은 전술한 i) 환경 데이터의 타겟 크기를 결정하는 동작, ii) 임계 시간을 선택하는 동작, iii) 센서(400)들 중 오프(off)시킬 센서(400)를 선택하는 동작 및 iv) 환경 데이터 중 일부를 선택하는 동작 중 적어도 하나를 위한 연산을 수행할 수 있다.
통신 모듈(300)은 무선 통신 네트워크(1615)를 통해서 외부 장치(예를 들어, 서버(200 또는 1600))와 통신을 수행한다. 여기서, 외부 장치(미도시)는 전자 장치(100)에 의해 실행되는 연산들 중 적어도 하나를 수행하거나, 전자 장치(100)에 의해 이용되는 데이터 등을 송신할 수 있는 서버(예를 들어, 200, 1600)를 포함할 수 있다.
통신 모듈(300)은, 근거리 통신 모듈, 유선 통신 모듈, 이동 통신 모듈, 방송 수신 모듈 등과 같은 적어도 하나의 통신 모듈을 포함한다. 여기서, 통신 모듈(300)은 방송 수신을 수행하는 튜너, 블루투스, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), CDMA, WCDMA, 인터넷, 3G, 4G, 5G 및/또는 밀리미터파(mmwave)를 이용한 통신 방식과 같은 통신 규격을 따르는 네트워크를 통하여 데이터 송수신을 수행할 수 있는 통신 모듈을 포함한다.
예를 들어, 통신 모듈(300)이 밀리미터파(mmWAVE)를 이용하여 통신을 수행하면, 대용량의 데이터를 빠르게 송수신할 수 있다. 구체적으로, 차량(10)은 밀리미터파를 이용하여 대용량의 데이터를 빠르게 수신하고, 차량(10)의 안전에 유익한 데이터(예를 들어, 자율 주행을 위한 데이터 및/또는 네비게이션 서비스를 위한 데이터 등), 사용자 이용 컨텐츠(예를 들어, 영화, 음악 등) 등을 빠르게 제공함으로써, 차량(10)의 안전성 및/또는 사용자의 편리성을 증가시킬 수 있다.
통신 모듈(300)은 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 원거리에 위치하는 다른 장치(예를 들어, 서버(200, 1600))와 통신을 수행할 수 있다. 여기서, 원거리에 위치하는 다른 장치와 통신을 수행하는 통신 모듈(300)을 '원거리 통신 모듈'이라 칭할 수 있다.
도 16을 참조하면, 서버(1600)는, 통신 모듈(1610), 및 프로세서(1630)를 포함할 수 있다. 또한, 서버(1600)는 DB(1650)를 더 포함할 수 있다.
통신 모듈(1610)은 전자 장치(100)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 통신 모듈(1610)의 구체적인 구성은, 전술한 통신 모듈(300)의 구성과 동일하게 대응되므로, 상세한 설명은 생략한다.
예를 들어, 통신 모듈(1610)은 인터넷, 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 원거리에 위치하는 다른 장치(예를 들어, 전자 장치(100))와 통신을 수행할 수 있다.
프로세서(1630)는 서버(1600)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1630)는, 서버(1600)의 적어도 하나의 인스트럭션, 및 프로그램들 중 적어도 하나를 실행함으로써, 요구되는 동작들을 수행할 수 있다.
DB(1650)는 메모리(미도시)를 포함할 수 있으며, 메모리(미도시) 내에 서버(1600)가 소정 동작을 수행하기 위한 적어도 하나의 인스트럭션, 프로그램, 데이터 중 적어도 하나를 저장할 수 있다. 또한, DB(1650)는 서버(1600)가 신경망에 따른 연산을 수행하기 위한 데이터들을 저장할 수 있다.
개시된 실시예에서, 서버(1600)는 도 15에서 설명한 신경망(1510)을 저장하고 있을 수 있다. 신경망(1510)은 프로세서(1630) 및 DB(1650) 중 적어도 하나에 저장될 수 있다. 서버(1600)가 포함하는 신경망(1510)은 학습이 완료된 신경망일 수 있다.
개시된 실시예에서, 서버(1600)는 내부적으로 포함하는 신경망을 이용하여 전술한 환경 데이터의 타겟 크기를 결정하고, 결정된 타겟 크기 정보를 통신 모듈(1610)를 통하여 전자 장치(100)의 통신 모듈(300)로 전송할 수 있다.
또한, 서버(1600)는 학습이 완료된 신경망을 통신 모듈(1610)을 통하여 전자 장치(100)의 통신 모듈(300)로 전송할 수 있다. 그러면, 전자 장치(100)는 학습이 완료된 신경망을 획득 및 저장하고, 신경망을 통하여 목적하는 출력 데이터를 획득할 수 있다.
도 17은 일부 실시예에 따른 전자 장치(100)에 포함된 프로세서(130)의 블록도이다.
도 17을 참조하면, 일부 실시예에 따른 프로세서(130)는 데이터 학습부(1710) 및 데이터 인식부(1720)를 포함할 수 있다.
데이터 학습부(1710)는 i) 환경 데이터의 타겟 크기를 결정하는 동작, ii) 임계 시간을 선택하는 동작, iii) 센서(400)들 중 오프(off)시킬 센서(400)를 선택하는 동작 및 iv) 환경 데이터 중 일부를 선택하는 동작 중 적어도 하나를 위한 기준을 학습할 수 있다.
예를 들어, 데이터 학습부(1710)는 환경 데이터의 타겟 크기를 결정하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 환경 데이터의 타겟 크기를 어떻게 선택할 지에 관한 기준을 학습할 수 있다.
데이터 학습부(1710)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, i) 환경 데이터의 타겟 크기를 결정하는 동작, ii) 임계 시간을 선택하는 동작, iii) 센서(400)들 중 오프(off)시킬 센서(400)를 선택하는 동작 및 iv) 환경 데이터 중 일부를 선택하는 동작 중 적어도 하나를 위한 기준을 학습할 수 있다.
데이터 인식부(1720)는 데이터(예를 들어, 통신 상태 정보)에 기초하여 서버(200, 1600)로 전송할 환경 데이터의 타겟 크기를 결정할 수 있다. 데이터 인식부(1720)는 학습된 데이터 인식 모델을 이용하여, 소정의 데이터로부터 환경 데이터의 타겟 크기를 결정할 수 있다. 데이터 인식부(1720)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용함으로써, 소정의 데이터에 기초하여 환경 데이터의 타겟 크기를 결정할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.
데이터 학습부(1710) 및 데이터 인식부(1720) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치(100)에 탑재될 수 있다. 예를 들어, 데이터 학습부(1710) 및 데이터 인식부(1720) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 전자 장치(100)에 탑재될 수도 있다.
데이터 학습부(1710) 및 데이터 인식부(1720)는 하나의 전자 장치(100)에 탑재될 수도 있으며, 또는 별개의 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1710) 및 데이터 인식부(1720) 중 하나는 전자 장치(100)에 포함되고, 나머지 하나는 서버(1600)에 포함될 수 있다. 또한, 데이터 학습부(1710) 및 데이터 인식부(1720)는 유선 또는 무선으로 통하여, 데이터 학습부(1710)가 구축한 모델 데이터를 데이터 인식부(1720)로 제공할 수도 있고, 데이터 인식부(1720)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1710)로 제공될 수도 있다.
한편, 데이터 학습부(1710) 및 데이터 인식부(1720) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1710) 및 데이터 인식부(1720) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 18은 일부 실시예에 따른 데이터 학습부(1710)의 블록도이다.
도 18을 참조하면, 일부 실시예에 따른 데이터 학습부(1710)는 데이터 획득부(1710-1), 전처리부(1710-2), 학습 데이터 선택부(1710-3), 모델 학습부(1710-4) 및 모델 평가부(1710-5)를 포함할 수 있다.
데이터 획득부(1710-1)는 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 위한 데이터를 획득할 수 있다. 데이터 획득부(1710-1)는 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작의 학습을 위한 데이터를 획득할 수 있다.
전처리부(1710-2)는 학습을 위해 획득된 데이터를 전처리할 수 있다. 전처리부(1710-2)는 후술할 모델 학습부(1710-4)가 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 위한 학습을 위하여 데이터를 이용할 수 있도록, 데이터를 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(1710-3)는 전처리된 데이터 중에서 학습을 위한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1710-4)에 제공될 수 있다. 학습 데이터 선택부(1710-3)는 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습을 위한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1710-3)는 후술할 모델 학습부(1710-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(1710-4)는 학습 데이터에 기초하여 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 어떻게 수행할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1710-4)는 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다.
또한, 모델 학습부(1710-4)는 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작에 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. 예를 들어, 데이터 인식 모델은 기본 학습 데이터(예를 들어, 샘플 데이터 등)를 입력 받아 미리 구축된 모델일 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, CNN(Convolutional Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
실시예들에 따르면, 모델 학습부(1710-4)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1710-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(1710-4)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1710-4)는, 예를 들어, 별다른 지도없이 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 위한 데이터의 종류를 스스로 학습함으로써, 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 수행하기 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1710-4)는, 예를 들어, 학습에 따른 환경 데이터의 타겟 크기 결정의 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1710-4)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1710-4)는 학습된 데이터 인식 모델을 데이터 인식부(1720)를 포함하는 전자 장치(100)의 메모리(110)에 저장할 수 있다. 또는, 모델 학습부(1710-4)는 학습된 데이터 인식 모델을 전자 장치(100)와 유선 또는 무선 네트워크로 연결되는 서버(1600)의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 전자 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
모델 평가부(1710-5)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1710-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다.
예를 들어, 모델 평가부(1710-5)는 평가 데이터에 대한 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1710-5)는 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1710-5)는 각각의 학습된 데이터 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1710-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.
한편, 데이터 학습부(1710) 내의 데이터 획득부(1710-1), 전처리부(1710-2), 학습 데이터 선택부(1710-3), 모델 학습부(1710-4) 및 모델 평가부(1710-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치(100)에 탑재될 수 있다. 예를 들어, 데이터 획득부(1710-1), 전처리부(1710-2), 학습 데이터 선택부(1710-3), 모델 학습부(1710-4) 및 모델 평가부(1710-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 전자 장치(100)에 탑재될 수도 있다.
또한, 데이터 획득부(1710-1), 전처리부(1710-2), 학습 데이터 선택부(1710-3), 모델 학습부(1710-4) 및 모델 평가부(1710-5)는 하나의 전자 장치(100)에 탑재될 수도 있으며, 또는 별개의 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1710-1), 전처리부(1710-2), 학습 데이터 선택부(1710-3), 모델 학습부(1710-4) 및 모델 평가부(1710-5) 중 일부는 전자 장치(100)에 포함되고, 나머지 일부는 서버(1600)에 포함될 수 있다.
또한, 데이터 획득부(1710-1), 전처리부(1710-2), 학습 데이터 선택부(1710-3), 모델 학습부(1710-4) 및 모델 평가부(1710-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1710-1), 전처리부(1710-2), 학습 데이터 선택부(1710-3), 모델 학습부(1710-4) 및 모델 평가부(1710-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 19는 일부 실시예에 따른 데이터 인식부(1720)의 블록도이다.
도 19를 참조하면, 일부 실시예에 따른 데이터 인식부(1720)는 데이터 획득부(1720-1), 전처리부(1720-2), 인식 데이터 선택부(1720-3), 인식 결과 제공부(1720-4) 및 모델 갱신부(1720-5)를 포함할 수 있다.
데이터 획득부(1720-1)는 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 위한 데이터를 획득할 수 있으며, 전처리부(1720-2)는 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1720-2)는 후술할 인식 결과 제공부(1720-4)가 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 위해 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
인식 데이터 선택부(1720-3)는 전처리된 데이터 중에서 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 위한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1720-4)에게 제공될 수 있다. 인식 데이터 선택부(1720-3)는 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1720-3)는 모델 학습부(1710-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(1720-4)는 선택된 데이터를 데이터 인식 모델에 적용하여 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 수행할 수 있다. 인식 결과 제공부(1720-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(1720-4)는 인식 데이터 선택부(1720-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 데이터 인식 모델에 적용할 수 있다. 또한, 인식 결과는 데이터 인식 모델에 의해 결정될 수 있다.
모델 갱신부(1720-5)는 인식 결과 제공부(1720-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1720-5)는 인식 결과 제공부(1720-4)에 의해 제공되는 인식 결과를 모델 학습부(1710-4)에게 제공함으로써, 모델 학습부(1710-4)가 데이터 인식 모델을 갱신하도록 할 수 있다.
한편, 데이터 인식부(1720) 내의 데이터 획득부(1720-1), 전처리부(1720-2), 인식 데이터 선택부(1720-3), 인식 결과 제공부(1720-4) 및 모델 갱신부(1720-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치(100)에 탑재될 수 있다. 예를 들어, 데이터 획득부(1720-1), 전처리부(1720-2), 인식 데이터 선택부(1720-3), 인식 결과 제공부(1720-4) 및 모델 갱신부(1720-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전자 장치(100)에 탑재될 수도 있다.
또한, 데이터 획득부(1720-1), 전처리부(1720-2), 인식 데이터 선택부(1720-3), 인식 결과 제공부(1720-4) 및 모델 갱신부(1720-5)는 하나의 전자 장치(100)에 탑재될 수도 있으며, 또는 별개의 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1720-1), 전처리부(1720-2), 인식 데이터 선택부(1720-3), 인식 결과 제공부(1720-4) 및 모델 갱신부(1720-5) 중 일부는 전자 장치(100)에 포함되고, 나머지 일부는 서버(1600)에 포함될 수 있다.
또한, 데이터 획득부(1720-1), 전처리부(1720-2), 인식 데이터 선택부(1720-3), 인식 결과 제공부(1720-4) 및 모델 갱신부(1720-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1720-1), 전처리부(1720-2), 인식 데이터 선택부(1720-3), 인식 결과 제공부(1720-4) 및 모델 갱신부(1720-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 20은 일부 실시예에 따른 전자 장치(100) 및 서버(1600)가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
도 20을 참조하면, 서버(1600)는 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 위한 기준을 학습할 수 있으며, 전자 장치(100)는 서버(1600)에 의한 학습 결과에 기초하여 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 수행할 수 있다.
이 경우, 서버(1600)의 모델 학습부(2710)는 도 18에 도시된 데이터 학습부(1710)의 기능을 수행할 수 있다. 서버(1600)의 모델 학습부(2710)는 소정의 상황을 판단하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 어떻게 수행할 지에 관한 기준을 학습할 수 있다. 모델 학습부(2710)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 데이터 인식 모델에 적용함으로써, 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 위한 기준을 학습할 수 있다.
또한, 전자 장치(100)의 인식 결과 제공부(1720-4)는 인식 데이터 선택부(1720-3)에 의해 선택된 데이터를 서버(1600)에 의해 생성된 데이터 인식 모델에 적용하여 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 수행할 수 있다. 예를 들어, 인식 결과 제공부(1720-4)는 인식 데이터 선택부(1720-3)에 의해 선택된 데이터를 서버(1600)로 전송하고, 서버(1600)가 인식 데이터 선택부(1720-3)에 의해 선택된 데이터를 인식 모델에 적용하여 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 수행할 것을 요청할 수 있다. 또한, 인식 결과 제공부(1720-4)는 서버(1600)에 의해 수행된 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작의 결과 정보를 서버(1600)로부터 수신할 수 있다.
또는, 전자 장치(100)의 인식 결과 제공부(1720-4)는 서버(1600)에 의해 생성된 인식 모델을 서버(1600)로부터 수신하고, 수신된 인식 모델을 이용하여 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 수행할 수 있다. 이 경우, 전자 장치(100)의 인식 결과 제공부(1720-4)는 인식 데이터 선택부(1720-3)에 의해 선택된 데이터를 서버(1600)로부터 수신된 데이터 인식 모델에 적용하여 환경 데이터의 타겟 크기 결정, 오프될 센서(400)의 선택, 서버(200)로 전송될 환경 데이터의 선택 및 임계 시간의 결정 중 적어도 하나의 동작을 수행할 수 있다.
한편, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 작성된 프로그램은 매체에 저장될 수 있다.
매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상, 본 개시에 대해 바람직한 실시예를 들어 상세하게 설명되었으나, 본 개시는 상기 실시예들에 한정되지 않고, 본 개시의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경이 가능하다.

Claims (15)

  1. 차량의 기능을 제어하기 위한 전자 장치에 있어서,
    적어도 하나의 인스트럭션을 저장하는 메모리;
    외부 서버와의 통신 커넥션을 갖는 통신 회로; 및
    상기 메모리에 연결되어 동작하는 프로세서를 포함하고,
    상기 프로세서에 의해 실행될 수 있는 상기 적어도 하나의 인스트럭션에 의해 상기 전자 장치는,
    상기 외부 서버와의 상기 통신 커넥션의 상태를 확인하고,
    상기 확인된 상태에 근거하여, 상기 외부 서버로 전송할 데이터에 대한 타겟 크기를 결정하고,
    전체 크기가 상기 결정된 타겟 크기 이하인 데이터가 수집되도록 상기 차량의 적어도 하나의 센서를 제어하고,
    상기 적어도 하나의 센서에 의해 수집된 데이터를 상기 외부 서버로 전송하고,
    상기 전송된 데이터에 기초하여 상기 외부 서버로부터 제어 명령을 수신하고, 상기 수신된 제어 명령에 따라 상기 차량의 기능을 제어하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    전체 크기가 상기 결정된 타겟 크기 이하인 데이터가 수집되도록 상기 적어도 하나의 센서 중 일부를 비활성화(deactivate)시키는, 전자 장치.
  3. 제2항에 있어서,
    상기 차량은 복수의 센서들을 포함하고,
    상기 프로세서는,
    상기 차량의 이동 방향 또는 상기 차량의 위치 중 적어도 하나에 근거하여, 상기 복수의 센서들 중 비활성화될 특정의 센서를 선택하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    전체 크기가 상기 결정된 타겟 크기 이하인 데이터가 수집되도록 상기 적어도 하나의 센서의 감도(sensitivity)를 감소시키는, 전자 장치.
  5. 제1항에 있어서,
    상기 타겟 크기는, 상기 데이터의 수집 개시부터 상기 기능의 제어까지의 전체 시간이 미리 결정된 임계 시간 이하가 되도록 결정되는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 전체 시간이 상기 미리 결정된 임계 시간 이하가 되도록 하는 분석 정확도를 결정하고,
    상기 수집된 데이터에 추가하여 상기 외부 서버로 상기 결정된 분석 정확도를 전송하며,
    상기 제어 명령은, 상기 결정된 분석 정확도로 상기 수집된 데이터가 분석됨에 따라 상기 외부 서버에 의해 생성되는, 전자 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 차량의 속도 또는 상기 차량의 위치 중 적어도 하나에 기초하여 복수의 후보 임계 시간 중 상기 미리 결정된 임계 시간을 선택하는, 전자 장치.
  8. 제5항에 있어서,
    상기 외부 서버로부터 수신되는 상기 제어 명령은 상기 차량의 자율 주행을 위한 인스트럭션들을 포함하고,
    상기 프로세서는,
    상기 타겟 크기, 및 상기 미리 결정된 임계 시간 중 적어도 하나에 기초하여 상기 차량의 자율 주행의 안정도(stability level)를 산출하고, 상기 산출된 안정도를 상기 차량의 출력 기기를 통해 출력하는, 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    출발 위치부터 도착 위치까지의 상기 차량에 대한 내비게이션 경로를 획득하고,
    상기 내비게이션 경로를 구간들로 구분하고,
    상기 구간별로 상기 차량의 자율 주행에 대한 예측 안정도를 산출하는, 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    출발 위치로부터 도착 위치까지에 대한 복수의 잠재적인 내비게이션 경로들을 획득하고,
    상기 복수의 잠재적인 내비게이션 경로들 각각의 구간들에 대해 복수의 예측 안정도들을 산출하고,
    상기 복수의 잠재적인 내비게이션 경로들 각각의 구간들의 복수의 예측 안정도들을 평균하여, 상기 복수의 잠재적인 내비게이션 경로들 각각에 대한 평균 예측 안정도들을 산출하고,
    상기 산출된 평균 예측 안정도들 중 가장 큰 평균 예측 안정도를 갖는 특정의 내비게이션 경로에 근거하여, 상기 복수의 잠재적인 내비게이션 경로들 중 상기 특정의 내비게이션 경로를 선택하는, 전자 장치.
  11. 제8항에 있어서,
    상기 타겟 크기는, 상기 차량의 자율 주행에 대해 상기 산출된 안정도, 및 상기 외부 서버와의 통신 타입 중 적어도 일부에 기초하여 결정되는, 전자 장치.
  12. 제1항에 있어서,
    상기 프로세서는,
    상기 외부 서버로 전송하기 위하여, 미리 획득된 데이터 중 전체 크기가 상기 결정된 타겟 크기 이하인 일부의 데이터를 선택하는, 전자 장치.
  13. 차량의 기능을 제어하기 위한 전자 장치에 대한 방법에 있어서,
    외부 서버와의 통신 커넥션의 상태를 확인하는 단계;
    상기 확인된 상태에 따라 상기 외부 서버로 전송할 데이터에 대한 타겟 크기를 결정하는 단계;
    전체 크기가 상기 결정된 타겟 크기 이하인 데이터가 수집되도록 상기 차량의 적어도 하나의 센서를 제어하는 단계;
    상기 적어도 하나의 센서에 의해 수집된 데이터를 상기 외부 서버로 전송하는 단계; 및
    상기 전송된 데이터에 기초하여 상기 외부 서버로부터 제어 명령을 수신하고, 상기 수신된 제어 명령에 따라 상기 차량의 기능을 제어하는 단계를 포함하는, 방법.
  14. 제13항에 있어서,
    상기 방법은,
    전체 크기가 상기 결정된 타겟 크기 이하인 데이터가 수집되도록 상기 적어도 하나의 센서 중 일부를 비활성화시키는 단계를 더 포함하는, 방법.
  15. 차량의 기능을 제어하기 위한 전자 장치에 있어서,
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 연결되어 동작하는 프로세서를 포함하고,
    상기 프로세서에 의해 실행될 수 있는 상기 적어도 하나의 인스트럭션에 의해 상기 전자 장치는, 외부 서버와의 통신 커넥션의 상태를 확인하고,
    상기 확인된 상태에 근거하여 상기 외부 서버로 전송할 데이터에 대한 타겟 크기를 결정하고,
    상기 외부 서버로 전송하기 위하여, 미리 획득된 데이터 중 전체 크기가 상기 결정된 타겟 크기 이하인 일부의 데이터를 선택하고,
    상기 선택된 일부의 데이터를 상기 외부 서버로 전송하고,
    상기 전송된 데이터에 기초하여 상기 외부 서버로부터 제어 명령을 수신하고, 상기 수신된 제어 명령에 따라 상기 차량의 기능을 제어하는 전자 장치.
PCT/KR2022/002796 2021-03-02 2022-02-25 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법 WO2022186555A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22763538.0A EP4265499A1 (en) 2021-03-02 2022-02-25 Electronic device for controlling functions of vehicle, and method thereby
CN202280018605.6A CN116963952A (zh) 2021-03-02 2022-02-25 用于控制车辆的功能的电子设备及其方法
US17/684,738 US20220281465A1 (en) 2021-03-02 2022-03-02 Electronic apparatus for controlling function of vehicle, and method thereby

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0027429 2021-03-02
KR1020210027429A KR20220124313A (ko) 2021-03-02 2021-03-02 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/684,738 Continuation US20220281465A1 (en) 2021-03-02 2022-03-02 Electronic apparatus for controlling function of vehicle, and method thereby

Publications (1)

Publication Number Publication Date
WO2022186555A1 true WO2022186555A1 (ko) 2022-09-09

Family

ID=83155460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/002796 WO2022186555A1 (ko) 2021-03-02 2022-02-25 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법

Country Status (2)

Country Link
KR (1) KR20220124313A (ko)
WO (1) WO2022186555A1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009212937A (ja) * 2008-03-05 2009-09-17 Nec Corp 無人移動体のデータ伝送装置および方法
KR20160013713A (ko) * 2014-07-28 2016-02-05 현대자동차주식회사 자율주행차량의 전역경로 생성장치 및 방법
KR20190134862A (ko) * 2018-04-27 2019-12-05 삼성전자주식회사 전자 장치 및 그 동작 방법
KR20190140496A (ko) * 2018-05-23 2019-12-20 현대자동차주식회사 자율 주행 상태 알림 장치, 그를 포함한 시스템 및 그 방법
US20200309533A1 (en) * 2019-03-28 2020-10-01 Here Global B.V. Driving condition specific sensor quality index
KR20200132952A (ko) * 2018-03-18 2020-11-25 드라이브유 테크 엘티디. 자율 주행 및 원격 작동 차량의 장치, 시스템 및 방법
JP2021028789A (ja) * 2019-08-09 2021-02-25 トヨタ自動車株式会社 車両用操作システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009212937A (ja) * 2008-03-05 2009-09-17 Nec Corp 無人移動体のデータ伝送装置および方法
KR20160013713A (ko) * 2014-07-28 2016-02-05 현대자동차주식회사 자율주행차량의 전역경로 생성장치 및 방법
KR20200132952A (ko) * 2018-03-18 2020-11-25 드라이브유 테크 엘티디. 자율 주행 및 원격 작동 차량의 장치, 시스템 및 방법
KR20190134862A (ko) * 2018-04-27 2019-12-05 삼성전자주식회사 전자 장치 및 그 동작 방법
KR20190140496A (ko) * 2018-05-23 2019-12-20 현대자동차주식회사 자율 주행 상태 알림 장치, 그를 포함한 시스템 및 그 방법
US20200309533A1 (en) * 2019-03-28 2020-10-01 Here Global B.V. Driving condition specific sensor quality index
JP2021028789A (ja) * 2019-08-09 2021-02-25 トヨタ自動車株式会社 車両用操作システム

Also Published As

Publication number Publication date
KR20220124313A (ko) 2022-09-14

Similar Documents

Publication Publication Date Title
WO2020071683A1 (ko) 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
WO2018212538A1 (en) Electronic device and method of detecting driving event of vehicle
WO2020231153A1 (en) Electronic device and method for assisting with driving of vehicle
EP3602497A1 (en) Electronic device and method of detecting driving event of vehicle
WO2020138908A1 (ko) 전자 장치 및 그 제어 방법
WO2019208965A1 (ko) 전자 장치 및 그 동작 방법
WO2019172645A1 (ko) 차량의 주행을 보조하는 전자 장치 및 방법
WO2020226258A1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
WO2019216578A1 (en) Method and apparatus for executing cleaning operation
EP3634812A1 (en) Electronic device and method of controlling operation of vehicle
WO2021006368A1 (ko) 인공지능 기반의 에너지 사용량 예측 장치 및 예측 방법
WO2020139063A1 (ko) 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2021006404A1 (ko) 인공지능 서버
WO2019031825A1 (ko) 전자 장치 및 그 동작 방법
WO2021045523A1 (en) Electronic device for supporting wireless mobile communication for vehicle and operation method of the same
WO2019208950A1 (ko) 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
EP3773111A1 (en) Method and apparatus for executing cleaning operation
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2021261960A1 (ko) 차량에 탑재된 밀리미터 파 통신 디바이스 및 밀리미터 파 통신 디바이스의 스위칭 방법
WO2020251074A1 (ko) 음성 인식 기능을 제공하는 인공 지능 로봇 및 그의 동작 방법
WO2020171605A1 (ko) 주행 정보 제공 방법, 차량맵 제공 서버 및 방법
WO2021002493A1 (ko) 지능형 게이트웨이 장치 및 그를 포함하는 제어 시스템
WO2020256175A1 (ko) 음성인식 로봇에 사용되는 사운드 처리방법
WO2020241923A1 (ko) 사용자 환경에서의 음성 인식 모델의 성능을 예측하는 인공 지능 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22763538

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022763538

Country of ref document: EP

Effective date: 20230719

WWE Wipo information: entry into national phase

Ref document number: 202280018605.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE