KR20210128563A - Method and apparatus for providing driving information by using object recognition of cloud - Google Patents

Method and apparatus for providing driving information by using object recognition of cloud Download PDF

Info

Publication number
KR20210128563A
KR20210128563A KR1020200046283A KR20200046283A KR20210128563A KR 20210128563 A KR20210128563 A KR 20210128563A KR 1020200046283 A KR1020200046283 A KR 1020200046283A KR 20200046283 A KR20200046283 A KR 20200046283A KR 20210128563 A KR20210128563 A KR 20210128563A
Authority
KR
South Korea
Prior art keywords
information
driving
vehicle
recognized
server
Prior art date
Application number
KR1020200046283A
Other languages
Korean (ko)
Other versions
KR102370876B1 (en
Inventor
권정호
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020200046283A priority Critical patent/KR102370876B1/en
Publication of KR20210128563A publication Critical patent/KR20210128563A/en
Application granted granted Critical
Publication of KR102370876B1 publication Critical patent/KR102370876B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G06K9/00791
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092Image resolution transcoding, e.g. by using client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/42
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/40High definition maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a method and an apparatus for providing driving information. The method for providing driving information according to one embodiment comprises the following steps: collecting first information on the driving environment of a vehicle using at least one sensor installed in the vehicle; converting at least a part of the first information using a conversion method for reducing size of the first information; generating second information on an object recognized in the driving environment based on the converted first information; at a first time point, providing first driving information to a driver based on the second information; transmitting the first information and the second information; receiving third information on the object recognized in the driving environment based on the first information and the second information; and at a second time point after the first time point, providing the second information to the driver based on the third information. The present invention process the information individually at a vehicle terminal and a cloud server to provide different driving information at different time points.

Description

클라우드의 도로 객체 인식을 이용하여 주행 정보를 제공하는 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING DRIVING INFORMATION BY USING OBJECT RECOGNITION OF CLOUD}Method and apparatus for providing driving information using road object recognition in the cloud

클라우드 서버의 도로 객체 인식을 이용하여 주행 정보를 제공하는 방법 및 장치에 관한 것이다.The present invention relates to a method and an apparatus for providing driving information using road object recognition of a cloud server.

지능형 운전자 보조 시스템(Advanced Driver Assistance Systems; ADAS)은 차량 단말에서 감지 센서, GPS, 통신, 촬영 장치 등을 이용하여 주행 환경을 인지하고, 주행 중 일부 상황에 대한 판단에 기반하여, 자동차를 제어하거나 운전자에게 소리, 불빛, 진동 등으로 상황에 대한 정보를 제공하는 운전자 보조 시스템이다.Advanced Driver Assistance Systems (ADAS) recognizes the driving environment using detection sensors, GPS, communication, and imaging devices in the vehicle terminal, and controls the vehicle or It is a driver assistance system that provides information about the situation to the driver through sounds, lights, and vibrations.

대표적인 ADAS 시스템으로는 차량의 전후방에 설치된 카메라 등 센서를 이용하여 물체를 감지하고, 이를 운전자에게 경고음으로 알려주어 주차를 쉽게 할 수 있도록 하는 주차보조 시스템이 있다. 이 밖에도 운전자가 설정한 속도 및 차간 거리에 기초하여 자동차 주행을 제어하는 자동 순향 제어 시스템, 추돌사고 발생 위험을 감지하여 브레이크를 제어하는 추돌 방지 시스템, 차량의 운행 방향 및 차선을 감지하여 차선 이탈 정보를 제공하는 차선 이탈 경고 시스템 등이 있다.A typical ADAS system is a parking assistance system that detects an object using sensors such as cameras installed on the front and rear of the vehicle, and informs the driver with a warning sound to make parking easier. In addition, an automatic steering control system that controls vehicle driving based on the speed and inter-vehicle distance set by the driver, a collision avoidance system that controls the brake by detecting the risk of a collision accident, and lane departure information by detecting the driving direction and lane of the vehicle Lane departure warning system that provides

최근 운전자를 완전히 대체할 수 있는 자동차 자율 주행 기술 개발이 업계에서 핵심 기술로 떠오르고 있어, 자율 주행 자동차의 기반이 되는 ADAS 시스템 개발에 대한 수요가 급증하고 있다.Recently, the development of autonomous driving technology for automobiles that can completely replace drivers is emerging as a key technology in the industry, and the demand for the development of ADAS systems, which is the basis of autonomous vehicles, is rapidly increasing.

실시예는 차량에 설치된 센서를 통해 수집된 정보를 차량 단말 및 클라우드 서버 각각에서 처리함으로써 생성된 서로 다른 주행 정보를 서로 다른 시점에 운전자에게 제공하는 기술에 관한 것이다.The embodiment relates to a technology for providing different driving information generated by processing information collected through a sensor installed in a vehicle in a vehicle terminal and a cloud server, respectively, to a driver at different times.

일실시예에 따를 때, 신속하게 제공될 필요가 있는 주행 정보는 수집된 정보의 크기를 줄이는 변환 기법을 이용하여 변환한 후 차량 단말에서 처리함으로써, 긴급성과 관련된 특성에 따라 효율적으로 주행 정보를 제공할 수 있다.According to an embodiment, driving information that needs to be provided quickly is converted using a conversion technique that reduces the size of the collected information and then processed in the vehicle terminal, thereby efficiently providing driving information according to characteristics related to urgency can do.

일 측에 따른 주행 정보 제공 방법은 차량에 설치된 적어도 하나의 센서를 통해 상기 차량의 주행 환경에 관한 제1 정보를 수집하는 단계; 상기 제1 정보의 크기를 줄이는 변환 기법을 이용하여, 상기 제1 정보 중 적어도 일부를 변환하는 단계; 상기 변환된 제1 정보에 기초하여, 상기 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성하는 단계; 제1 시점에, 상기 제2 정보에 기초하여 운전자에게 제1 주행 정보를 제공하는 단계; 상기 제1 정보 및 상기 제2 정보를 서버로 전송하는 단계; 상기 제1 정보 및 상기 제2 정보에 기초하여 상기 주행 환경에서 인식되는 객체에 관한 제3 정보를 수신하는 단계; 및 상기 제1 시점 이후의 제2 시점에, 상기 제3 정보에 기초하여 상기 운전자에게 제2 주행 정보를 제공하는 단계를 포함한다.According to one aspect, a method for providing driving information includes collecting first information about a driving environment of the vehicle through at least one sensor installed in the vehicle; transforming at least a portion of the first information by using a transformation technique for reducing the size of the first information; generating second information about an object recognized in the driving environment based on the converted first information; at a first time point, providing first driving information to a driver based on the second information; transmitting the first information and the second information to a server; receiving third information about an object recognized in the driving environment based on the first information and the second information; and providing second driving information to the driver based on the third information at a second time point after the first time point.

상기 제1 정보 중 적어도 일부를 변환하는 단계는 상기 제1 정보에 포함된 고해상도의 영상을 저해상도의 영상으로 변환하는 단계를 포함할 수 있다.The converting of at least a portion of the first information may include converting a high-resolution image included in the first information into a low-resolution image.

상기 제2 정보를 생성하는 단계는 상기 변환된 제1 정보를 ADAS(Advanced Driver Assistance Systems)에 기초하여 분석함으로써, 상기 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성하는 단계를 포함할 수 있다.The generating of the second information may include generating second information about an object recognized in the driving environment by analyzing the converted first information based on Advanced Driver Assistance Systems (ADAS). .

상기 제2 정보를 생성하는 단계는 상기 제1 정보에 포함된 상기 차량에 설치된 카메라를 통해 수집된 영상이 저해상도로 변환된 영상을 분석하여, 상기 영상에 포함된 객체를 인식하는 단계; 및 상기 인식된 객체에 기초하여, 미리 정해진 기준에 따라 상기 객체에 관한 제2 정보를 추출하는 단계를 포함할 수 있다.The generating of the second information may include: analyzing an image obtained by converting an image collected through a camera installed in the vehicle included in the first information to a low resolution, and recognizing an object included in the image; and extracting second information about the object according to a predetermined criterion based on the recognized object.

상기 미리 정해진 기준은 상기 인식된 객체의 종류, 상기 인식된 객체의 위치, 상기 인식된 객체의 속도 및 상기 인식된 객체와 상기 차량의 거리 중 적어도 하나에 기초하여 결정될 수 있다.The predetermined criterion may be determined based on at least one of a type of the recognized object, a location of the recognized object, a speed of the recognized object, and a distance between the recognized object and the vehicle.

상기 제1 정보 및 상기 제2 정보를 서버로 전송하는 단계는 상기 제1 정보를 가공하는 단계를 더 포함할 수 있다.Transmitting the first information and the second information to the server may further include processing the first information.

상기 제1 정보는 차량에 설치된 카메라를 통해 수집된 객체를 포함하는 영상; 및 차량에 설치된 GPS 센서를 통해 수집된 객체에 관한 정보 중 적어도 하나를 포함할 수 있다.The first information may include an image including an object collected through a camera installed in a vehicle; and information about an object collected through a GPS sensor installed in the vehicle.

상기 제2 정보는 상기 주행 환경에서 인식되는 차량, 보행자 및 차선 중 적어도 하나에 관한 정보를 포함할 수 있다.The second information may include information about at least one of a vehicle, a pedestrian, and a lane recognized in the driving environment.

상기 제1 주행 정보는 전방 차량에 관한 정보, 보행자에 관한 정보 및 차선에 관한 정보에 기초한 안전 운행에 관한 정보를 포함할 수 있다.The first driving information may include information on safe driving based on information on a vehicle ahead, information on pedestrians, and information on lanes.

상기 제3 정보는 상기 제1 정보 및 상기 제2 정보에 기초하여 업데이트된 지도에 관한 정보를 포함할 수 있고, 상기 지도에 관한 정보는 LDM(local dynamic map) 정보를 포함할 수 있다.The third information may include information on a map updated based on the first information and the second information, and the information on the map may include local dynamic map (LDM) information.

제2 주행 정보는 상기 제3 정보에 기초하여, 사용자에게 표시되는 지도 정보를 포함할 수 있다.The second driving information may include map information displayed to the user based on the third information.

상기 서버는 클라우드 서버를 포함할 수 있다.The server may include a cloud server.

일 측에 따른 주행 정보 제공 장치는 차량에 설치된 적어도 하나의 센서를 통해 상기 차량의 주행 환경에 관한 제1 정보를 수집하고, 상기 제1 정보의 크기를 줄이는 변환 기법을 이용하여, 상기 제1 정보 중 적어도 일부를 변환하고, 상기 변환된 제1 정보에 기초하여, 상기 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성하고, 제1 시점에, 상기 제2 정보에 기초하여 운전자에게 제1 주행 정보를 제공하고, 상기 제1 정보 및 상기 제2 정보를 서버로 전송하고, 상기 제1 정보 및 상기 제2 정보에 기초하여 상기 주행 환경에서 인식되는 객체에 관한 제3 정보를 수신하며, 상기 제1 시점 이후의 제2 시점에, 상기 제3 정보에 기초하여 상기 운전자에게 제2 주행 정보를 제공하는 적어도 하나의 프로세서를 포함한다.An apparatus for providing driving information according to one side collects first information about a driving environment of the vehicle through at least one sensor installed in the vehicle, and uses a conversion technique for reducing the size of the first information, the first information convert at least a part of the information, generate second information about an object recognized in the driving environment based on the converted first information, and, at a first time point, give the driver a first driving based on the second information providing information, transmitting the first information and the second information to a server, receiving third information about an object recognized in the driving environment based on the first information and the second information, and at least one processor configured to provide second driving information to the driver based on the third information at a second time point after the first time point.

상기 프로세서는 상기 제1 정보 중 적어도 일부를 변환함에 있어서, 상기 제1 정보에 포함된 고해상도의 영상을 저해상도의 영상으로 변환할 수 있다.When converting at least a portion of the first information, the processor may convert a high-resolution image included in the first information into a low-resolution image.

상기 프로세서는 상기 제2 정보를 생성함에 있어서, 상기 변환된 제1 정보를 ADAS(Advanced Driver Assistance Systems)에 기초하여 분석함으로써, 상기 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성할 수 있다.When generating the second information, the processor may generate second information about an object recognized in the driving environment by analyzing the converted first information based on Advanced Driver Assistance Systems (ADAS).

상기 프로세서는 상기 제2 정보를 생성함에 있어서, 상기 제1 정보에 포함된 상기 차량에 설치된 카메라를 통해 수집된 영상이 저해상도로 변환된 영상을 분석하여, 상기 영상에 포함된 객체를 인식하고, 상기 인식된 객체에 기초하여, 미리 정해진 기준에 따라 상기 객체에 관한 제2 정보를 추출할 수 있다.In generating the second information, the processor analyzes an image obtained by converting an image collected through a camera installed in the vehicle included in the first information to a low resolution to recognize an object included in the image, and Based on the recognized object, second information about the object may be extracted according to a predetermined criterion.

상기 프로세서는 상기 제1 정보 및 상기 제2 정보를 서버로 전송함에 있어서, 상기 제1 정보를 가공할 수 있다.The processor may process the first information when transmitting the first information and the second information to the server.

도 1은 일실시예에 따른 차량 단말의 주행 정보 제공 방법을 설명하기 위한 도면.
도 2는 영상 정보를 예로 들어 서버와 차량 단말에서 수행되는 정보 처리 연산을 설명하기 위한 도면.
도 3은 일실시예에 따른 차량 단말 및 서버에서 수행되는 구체적인 동작들을 설명하기 위한 도면.
1 is a view for explaining a method of providing driving information of a vehicle terminal according to an embodiment;
2 is a diagram for explaining information processing operations performed in a server and a vehicle terminal using image information as an example;
3 is a view for explaining specific operations performed in a vehicle terminal and a server according to an embodiment;

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all modifications, equivalents and substitutes for the embodiments are included in the scope of the rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for description purposes only, and should not be construed as limiting. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are given the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In the description of the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description thereof will be omitted.

또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. In addition, in describing the components of the embodiment, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the component from other components, and the essence, order, or order of the component is not limited by the term. When it is described that a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but another component is between each component. It will be understood that may also be "connected", "coupled" or "connected".

어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.Components included in one embodiment and components having a common function will be described using the same names in other embodiments. Unless otherwise stated, a description described in one embodiment may be applied to another embodiment, and a detailed description in the overlapping range will be omitted.

도 1은 일실시예에 따른 차량 단말의 주행 정보 제공 방법을 설명하기 위한 도면이다. 여기서, 차량 단말은 일실시예에 따른 주행 정보 제공 방법이 구현된 장치를 의미한다.1 is a diagram for explaining a method of providing driving information to a vehicle terminal according to an exemplary embodiment. Here, the vehicle terminal refers to a device in which the method of providing driving information according to an embodiment is implemented.

도 1을 참조하면, 일실시예에 따른 주행 정보 제공 방법은 차량의 주행 환경에 관한 제1 정보를 수집하는 단계(110), 제1 정보 중 적어도 일부를 변환하는 단계(120), 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성하는 단계(130), 제2 정보에 기초하여 운전자에게 제1 주행 정보를 제공하는 단계(140), 제1 정보 및 제2 정보를 서버로 전송하는 단계, 제1 정보 및 제2 정보에 기초하여 주행 환경에서 인식되는 객체에 관한 제3 정보를 수신하는 단계(160) 및 제3 정보에 기초하여 운전자에게 제2 주행 정보를 제공하는 단계(170)를 포함한다.Referring to FIG. 1 , in a method of providing driving information according to an embodiment, collecting first information about a driving environment of a vehicle 110 , converting at least a portion of the first information 120 , and in the driving environment Generating second information about the recognized object (130), providing first driving information to the driver based on the second information (140), transmitting the first information and the second information to a server; Receiving third information about an object recognized in the driving environment based on the first information and the second information ( 160 ) and providing second driving information to the driver based on the third information ( 170 ) do.

일실시예에 따른 제1 정보를 수집하는 단계(110)는 차량에 설치된 적어도 하나의 센서를 통해 차량의 주행 환경에 관한 제1 정보를 수집하는 단계(110)로, 제1 정보는 차량에 설치된 카메라를 통해 수집된 객체를 포함하는 영상, 차량에 설치된 GPS 센서를 통해 수집된 객체에 관한 정보를 포함할 수 있다. 다시 말해, 일실시예에 따른 단계(110)는 카메라, GPS, 레이더(RADAR), 라이더(LIDAR) 등 차량에 설치된 센서를 통해 차량의 주행 환경에 관한 정보를 수집하는 단계에 해당할 수 있다. 예를 들어, GPS, 관성 센서를 통해 차량의 위치 정보, 카메라(예를 들어, 단일 카메라, 입체 카메라, 전방위 카메라, 단안 카메라 등) 등 영상 센서를 통해 주행 환경을 촬영한 영상 정보, 거리 센서를 통해 주행 환경 내의 객체 간 거리 정보를 수집할 수 있다. 이 외에도 레이더(Radio Detection And Ranging; RADAR), 라이다(Light Detection and Ranging; LIDAR), 초음파 센서, 적외선 센서 등 다양한 센서를 통해 차량의 주행 환경에 관한 다양한 정보를 수집할 수 있다. The step of collecting the first information 110 according to an embodiment is a step of collecting 110 first information about the driving environment of the vehicle through at least one sensor installed in the vehicle, and the first information is installed in the vehicle. An image including an object collected through a camera and information about an object collected through a GPS sensor installed in a vehicle may be included. In other words, step 110 according to an embodiment may correspond to a step of collecting information about the driving environment of the vehicle through sensors installed in the vehicle, such as a camera, GPS, radar, and lidar. For example, the location information of the vehicle through GPS and inertial sensors, image information of the driving environment through an image sensor such as a camera (eg, single camera, stereoscopic camera, omnidirectional camera, monocular camera, etc.), and distance sensor Through this, distance information between objects in the driving environment can be collected. In addition, various information about the vehicle's driving environment can be collected through various sensors such as radar (Radio Detection And Ranging; RADAR), Light Detection and Ranging (LIDAR), ultrasonic sensors, and infrared sensors.

일실시예에 따른 제1 정보 중 적어도 일부를 변환하는 단계(120)는 제1 정보의 크기를 줄이는 변환 기법을 이용하여, 제1 정보 중 적어도 일부를 변환하는 단계에 해당할 수 있다. 제1 정보의 크기를 줄이는 변환 기법은 정보의 용량을 줄이기 위하여 정보를 압축하는 기법, 영상의 해상도를 낮추는 디코딩 기법, 수집된 정보에서 일부 정보를 추출하는 기법 등 다양한 기법을 포함할 수 있다. 예를 들어, 제1 정보에 포함된 고해상도의 영상을 저해상도의 영상으로 변환하는 단계를 포함할 수 있다. 여기서, 고해상도 및 저해상도는 해상도의 상대적인 개념으로, 절대적인 기준이 정해져 있는 것은 아니다. 즉, 제1 정보에 포함된 고해상도의 영상을 저해상도의 영상으로 변환한다는 것은 카메라를 통해 수집한 영상의 해상도를 낮춘다는 것을 의미할 수 있다. The step of transforming at least a portion of the first information 120 according to an embodiment may correspond to a step of transforming at least a portion of the first information by using a conversion technique for reducing the size of the first information. The conversion technique for reducing the size of the first information may include various techniques such as a technique of compressing information to reduce the information capacity, a decoding technique of lowering the resolution of an image, and a technique of extracting some information from the collected information. For example, the method may include converting a high-resolution image included in the first information into a low-resolution image. Here, the high resolution and the low resolution are relative concepts of resolution, and an absolute standard is not set. That is, converting the high-resolution image included in the first information into the low-resolution image may mean lowering the resolution of the image collected through the camera.

제1 정보의 크기를 줄이는 변환 기법을 이용하여, 제1 정보 중 적어도 일부를 변환함으로써, 차량 단말은 일부 정보에 대한 정보 처리 연산을 신속하게 수행할 수 있다. 예를 들어, 영상 객체 인식 기술을 통해 영상 정보를 분석하는 경우, 수집된 영상 정보를 저해상도의 영상으로 변환함으로써, 차량 단말에서의 영상 분석 처리의 부하를 줄이면서 근거리 환경의 객체 검출을 정확하고 신속하게 수행할 수 있다. 원거리 환경에서 소형 객체를 인식하기 위한 정보 처리 연산의 경우, 고해상도의 영상을 필요로 할 수도 있으나, 통상적인 근거리 환경에서는 고해상도 영상을 저해상도로 변환하여 객체 인식의 연산을 수행함으로써, 객체 인식의 정확도는 크게 달라지지 않으면서, 객체 인식의 처리 부하를 줄일 수 있다.By converting at least a portion of the first information using a conversion technique for reducing the size of the first information, the vehicle terminal may quickly perform an information processing operation on the partial information. For example, when image information is analyzed through image object recognition technology, the collected image information is converted into a low-resolution image, thereby reducing the load on image analysis processing in the vehicle terminal and accurately and quickly detecting objects in a short-range environment. can be performed In the case of an information processing operation for recognizing a small object in a remote environment, a high-resolution image may be required. It is possible to reduce the processing load of object recognition without significantly changing.

일실시예에 따르면, 차량 단말은 주행 환경에 포함된 보행자, 차량, 차선 등의 객체 인식을 위하여, 수집된 영상을 저해상도의 영상으로 변환하여 객체 인식에 이용할 수 있다. 반면, 주행 환경 내 표지판 글자, 포트홀 등의 경우, 객체 인식을 위해 고해상도 영상을 필요로 하므로, 일실시예에 따를 때, 수집된 고해상도 영상을 서버로 전송하여, 서버에서 객체 인식을 위한 정보 처리 연산이 수행되도록 함으로써, 영상을 처리할 수 있다.According to an embodiment, the vehicle terminal may convert a collected image into a low-resolution image and use it for object recognition in order to recognize objects such as pedestrians, vehicles, and lanes included in the driving environment. On the other hand, in the case of sign letters and portholes in the driving environment, high-resolution images are required for object recognition, so according to an embodiment, the collected high-resolution images are transmitted to the server, and information processing operation for object recognition in the server By allowing this to be performed, the image can be processed.

일실시예에 따른 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성하는 단계(130)는 변환된 제1 정보에 기초하여, 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성하는 단계에 해당할 수 있다. 일실시예에 따른 단계(130)는 변환된 제1 정보를 ADAS(Advanced Driver Assistance Systems)에 기초하여 분석함으로써, 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성하는 단계를 포함할 수 있다. 즉, 제2 정보는 제1 정보를 다양한 ADAS 기술에 따라 분석한 정보를 포함할 수 있다.The generating 130 of the second information on the object recognized in the driving environment according to an embodiment corresponds to the step of generating second information about the object recognized in the driving environment based on the converted first information. can do. Step 130 according to an exemplary embodiment may include generating second information about an object recognized in a driving environment by analyzing the converted first information based on Advanced Driver Assistance Systems (ADAS). That is, the second information may include information obtained by analyzing the first information according to various ADAS technologies.

주행 환경에서 인식되는 객체는 차량, 보행자, 차선 등을 포함할 수 있다. 즉, 일실시예에 따른 제2 정보는 주행 환경에서 인식되는 차량, 보행자 및 차선 중 적어도 하나에 관한 정보를 포함할 수 있다. 예를 들어, 제2 정보는 주행 환경에서 인식되는 다른 차량(들)의 위치 및/또는 속도, 보행자의 위치 및/또는 속도, 차선의 위치를 포함할 수 있다.The object recognized in the driving environment may include a vehicle, a pedestrian, a lane, and the like. That is, the second information according to an embodiment may include information about at least one of a vehicle, a pedestrian, and a lane recognized in a driving environment. For example, the second information may include a location and/or speed of other vehicle(s) recognized in the driving environment, a location and/or speed of a pedestrian, and a location of a lane.

일실시예에 따른 단계(130)는 제1 정보에 포함된 차량에 설치된 카메라를 통해 수집된 영상이 저해상도로 변환된 영상을 분석하여, 영상에 포함된 객체를 인식하는 단계 및 인식된 객체에 기초하여, 미리 정해진 기준에 따라 객체에 관한 제2 정보를 추출하는 단계를 포함할 수 있다. 여기서, 미리 정해진 기준은 인식된 객체의 종류, 인식된 객체의 위치, 인식된 객체의 속도 및 인식된 객체와의 거리 중 적어도 하나에 기초하여 결정될 수 있다. 예를 들어, 인식된 보행자, 다른 차량 등 다른 객체와 차량의 위치가 임계치보다 가까워, 차량의 운행을 제어할 필요가 있는 긴급한 상황으로 분류되는 경우, 해당 객체의 위치에 관한 정보 또는 차량의 속도를 제어할 필요가 있음을 지시하는 정보 등이 제2 정보로써 추출될 수 있다.Step 130 according to an embodiment is a step of recognizing an object included in the image by analyzing an image obtained by converting an image collected through a camera installed in a vehicle included in the first information to a low resolution, and based on the recognized object Thus, the method may include extracting second information about the object according to a predetermined criterion. Here, the predetermined criterion may be determined based on at least one of the type of the recognized object, the position of the recognized object, the speed of the recognized object, and the distance to the recognized object. For example, if the location of a vehicle and another object such as a recognized pedestrian or another vehicle is closer than a threshold, and it is classified as an urgent situation that needs to control the operation of the vehicle, information about the location of the object or the speed of the vehicle Information indicating the need to control may be extracted as the second information.

일실시예에 따른 단계(130) 생성된 제2 정보 중 적어도 일부는 서버에 전송될 수 있다. 일실시예에 따를 때, 제2 정보는 미리 정해진 기준에 따라 일부를 추출하는 등의 가공 단계를 거쳐 서버로 전송될 수 있다. 제2 정보는 서버에서 제1 정보와 함께 ADAS 등 정보 처리 시스템에 기초하여 처리됨으로써, 운전자에게 주행 정보로 제공될 수 있다.At least some of the second information generated in step 130 according to an embodiment may be transmitted to the server. According to an embodiment, the second information may be transmitted to the server through a processing step such as extracting a part according to a predetermined criterion. The second information may be provided to the driver as driving information by being processed based on an information processing system such as ADAS together with the first information in the server.

일실시예에 따른 운전자에게 제1 주행 정보를 제공하는 단계(140)는 제1 시점에, 제2 정보에 기초하여 운전자에게 제1 주행 정보를 제공하는 단계에 해당할 수 있다. 일실시예에 따른 단계(140)에서, 제1 주행 정보는 주행 환경에서 인식되는 객체에 관한 제2 정보에 기초한 주행에 관련된 정보로, 예를 들어, 차량과 가까이에 위치한 보행자가 있다는 정보, 전방 차량과의 거리에 대한 정보 등 주행 환경에서 인식된 객체에 대한 위치, 속도 등에 관한 정보를 포함할 수도 있고, 주행 환경에서 인식된 객체와의 관계를 고려하여, 차량의 속도나 방향 등 주행을 제어할 필요가 있음을 지시하는 정보를 포함할 수도 있다. 일실시예에 따른 제1 주행 정보는 시각적 표시, 청각적 신호 등 다양한 방법을 통해 운전자에게 제공될 수 있다. 보다 구체적으로, 차량에 설치된 디스플레이를 통해 인식된 객체에 관한 정보가 표시될 수 있고, 차량에 설치된 스피커를 통해 인식된 객체에 관한 정보를 음성 신호, 경고음 등으로 알릴 수 있다.The step of providing the first driving information to the driver 140 according to an embodiment may correspond to a step of providing the first driving information to the driver based on the second information at a first time point. In step 140 according to an embodiment, the first driving information is driving-related information based on the second information about an object recognized in the driving environment, for example, information that there is a pedestrian located close to the vehicle, the front Information on the position and speed of an object recognized in the driving environment, such as information on the distance to the vehicle, may be included, and driving such as the speed or direction of the vehicle is controlled in consideration of the relationship with the object recognized in the driving environment. It may contain information indicating the need to do so. The first driving information according to an exemplary embodiment may be provided to the driver through various methods such as a visual display and an audible signal. More specifically, information about the recognized object may be displayed through a display installed in the vehicle, and information about the recognized object may be notified through a speaker installed in the vehicle through a voice signal, a warning sound, and the like.

일실시예에 따를 때, 제2 정보에 기초하여, 차량의 속도나 방향 등 주행을 신속하게 제어할 필요가 있는 긴급한 상황으로 인식되는 경우, 인식된 상황에 대응하는 제1 주행 정보가 운전자에게 제공될 수 있다. 예를 들어, 주변 차량/보행자/차선 경계와의 거리가 특정한 임계치 이하이거나, 주행 속도가 특정 임계치 이상인 경우 긴급한 상황으로 인식되어, 주행 속력 또는 주행 방향을 제어할 필요가 있음을 지시하는 제1 주행 정보가 운전자에게 제공될 수 있다. 주행 속력 또는 주행 방향을 제어할 필요가 있음을 지시하는 제1 주행 정보를 운전자에게 제공하는 것은 차량의 속력 및 주행 방향을 제어하는 것을 포함할 수 있다. 즉, 운전자에게 제1 주행 정보를 제공하는 단계(140)는 운전자에게 긴급한 상황에 대한 경고를 하는 단계 및 차량의 주행을 제어하는 단계를 포함할 수 있다.According to an exemplary embodiment, when it is recognized as an urgent situation in which it is necessary to quickly control driving, such as the speed or direction of the vehicle, based on the second information, first driving information corresponding to the recognized situation is provided to the driver can be For example, if the distance to the surrounding vehicle/pedestrian/lane boundary is less than or equal to a specific threshold or when the driving speed is greater than or equal to a specific threshold, it is recognized as an emergency situation, and the first driving indicating the need to control the driving speed or driving direction Information may be provided to the driver. Providing the driver with the first driving information indicating that the driving speed or the driving direction needs to be controlled may include controlling the speed and the driving direction of the vehicle. That is, the step of providing the first driving information to the driver 140 may include warning the driver of an emergency situation and controlling the driving of the vehicle.

일실시예에 따른 제1 정보 및 제2 정보를 서버로 전송하는 단계는 제1 정보를 가공하는 단계(150)를 포함할 수 있다. 즉, 서버로 전송되는 제1 정보는 센서로부터 수집된 제1 정보 전체에 해당할 수도 있으나, 제1 정보가 가공된 정보에 해당할 수도 있다. 일실시예에 따른 제1 정보를 가공하는 단계(150)는 수집된 제1 정보에서 미리 정해진 기준에 따라 일부를 추출하는 단계를 포함할 수 있다. 예를 들어, 제1 정보 중 영상 정보에 해당하는 정보를 추출하여 서버에 전송할 수 있다. 또한, 일실시예에 따른 제1 정보를 가공하는 단계(150)는 제1 정보를 변환하는 단계를 포함할 수 있으며, 제1 정보를 변환한다는 것은 제1 정보의 형태를 변환하거나 압축하는 등 제1 정보를 서버로 전송하기 위하여 필요한 다양한 가공을 하는 것을 의미할 수 있다. 도면에 도시되진 않았으나, 일실시예에 따르면, 제2 정보 역시 일부가 추출되거나 변환되는 등 가공 단계를 거쳐 서버로 전송될 수 있다.Transmitting the first information and the second information to the server according to an embodiment may include processing 150 of the first information. That is, the first information transmitted to the server may correspond to the entire first information collected from the sensor, or may correspond to the processed information of the first information. Processing 150 of the first information according to an embodiment may include extracting a part from the collected first information according to a predetermined criterion. For example, information corresponding to image information may be extracted from the first information and transmitted to the server. In addition, the step 150 of processing the first information according to an embodiment may include a step of converting the first information, and converting the first information includes converting the form of the first information or compressing the first information. 1 It may mean performing various processing necessary to transmit information to the server. Although not shown in the drawings, according to an embodiment, the second information may also be transmitted to the server through a processing step such as a part of it being extracted or converted.

일실시예에 따른 제1 정보 및 제2 정보에 기초하여 주행 환경에서 인식되는 객체에 관한 제3 정보를 수신하는 단계(160)는 서버에서 제1 정보 및 제2 정보에 기초하여 생성된 제3 정보를 수신하는 단계에 해당할 수 있다. 일실시예에 따른 서버는 클라우드 서버를 포함할 수 있다.According to an embodiment, the step of receiving the third information on the object recognized in the driving environment based on the first information and the second information 160 may include the third information generated based on the first information and the second information in the server. It may correspond to a step of receiving information. The server according to an embodiment may include a cloud server.

일시시예에 따를 때, 서버에서 복잡도가 큰 연산을 요구하는 정보 처리가 수행될 수 있다. 예를 들어, 서버는 고해상도의 영상을 분석하여 영상에 포함된 표지판의 글자를 인식하고, 객체 인식 정보 및 주행 환경에 관한 대용량의 정보를 저장하고 관리하는 등의 정보 처리 작업을 수행할 수 있다. 또한, 주행 환경에 관한 대용량의 정보를 이용하여 지도를 업데이트할 수 있다. 여기서, 지도는 LDM(local dynamic map) 등의 정밀 지도를 포함할 수 있다. 정밀 지도는 실제 주행 환경과 유사한 상세도 수준으로 운전자에게 제공되는 지도로, 정밀 지도에 관한 정보는 시간 변화의 민감도에 따라 복수의 레이어들로 구분되어 저장 및 관리된다. 예를 들어, 도로의 지리적 정보(예를 들어, 위치, 경사도, 굴곡 등)는 시간 변화에 민감하지 않은 정보이고, 도로를 통과하는 차량 대수는 시간 변화에 민감한 정보이므로 각각 다른 레이어로 구분되어 저장 및 관리되며, 시간 변화에 민감한 정보들은 새로 수신한 정보에 기초하여, 일정한 주기로 업데이트 될 수 있다.According to a temporary embodiment, information processing that requires a high-complexity operation may be performed in the server. For example, the server may analyze a high-resolution image to recognize the letters of a sign included in the image, and perform information processing tasks such as storing and managing object recognition information and a large amount of information about the driving environment. In addition, the map can be updated using a large amount of information about the driving environment. Here, the map may include a precise map such as a local dynamic map (LDM). The precision map is a map provided to the driver at a level of detail similar to the actual driving environment, and information on the precision map is stored and managed by dividing it into a plurality of layers according to the sensitivity to time change. For example, geographical information of a road (eg, location, slope, curvature, etc.) is information that is not sensitive to time change, and the number of vehicles passing through a road is sensitive information to time change, so it is stored separately in different layers. and managed, time-sensitive information may be updated at regular intervals based on newly received information.

보다 구체적으로, 서버는 다수의 차량 단말에서 카메라를 통해 수집된 영상들 및 주행 위치 정보들을 수신할 수 있다. 또한, 서버는 미리 학습된 데이터를 통해 딥러닝 인공지능으로 영상으로부터 객체 정보(예를 들어, 표지판, 신호등 등)를 인식할 수 있다. 그리고 차량 단말들로부터 수신된 주행 위치 정보를 통해 차량의 위치, 차량과 객체 간의 거리를 계산하여 인식된 객체의 위치를 획득하고, 이를 정밀 지도에 반영하여 정밀 지도를 업데이트할 수 있다. 또한 차량 단말로부터 수집된 정보 또는 차량 단말로부터 수집된 정보를 통해 생성된 정보를 같은 도로 또는 같은 차선에서 같은 방향으로 주행 중인 후방 차량들에게 전달할 수 있다. 예를 들어, 서버는 특정 차량 단말로부터 급정거한 정보를 수신하여, 이를 특정 차량의 뒤에 있는 다른 차량 단말로 전달할 수 있다.More specifically, the server may receive images and driving location information collected from a plurality of vehicle terminals through a camera. In addition, the server may recognize object information (eg, signs, traffic lights, etc.) from the image with deep learning artificial intelligence through pre-learned data. In addition, the location of the vehicle and the distance between the vehicle and the object are calculated through the driving location information received from the vehicle terminals to obtain the recognized location of the object, and the precise map may be updated by reflecting this on the precise map. In addition, information collected from the vehicle terminal or information generated through the information collected from the vehicle terminal may be transmitted to rear vehicles traveling on the same road or in the same lane in the same direction. For example, the server may receive sudden stop information from a specific vehicle terminal and transmit it to another vehicle terminal behind the specific vehicle.

즉, 일실시예에 따르면, 차량 단말에서는 연산의 복잡도가 상대적으로 낮은 정보 처리를 수행함으로써, 신속한 주행 정보를 생성하고, 서버에서는 대용량의 정보에 기초하여 연산의 복잡도가 상대적으로 큰 정보 처리를 수행함으로써, 상세한 주행 정보를 생성할 수 있다. 다시 말해, 차량 단말과 서버에서 주행 정보 생성을 위한 정보 처리 연산을 분담하여 수집된 정보를 처리함으로써, 서로 다른 특성의 주행 정보를 효율적으로 생성할 수 있다. That is, according to an embodiment, the vehicle terminal performs information processing with relatively low computational complexity to generate rapid driving information, and the server performs information processing with relatively high computational complexity based on a large amount of information. By doing so, detailed driving information can be generated. In other words, by processing the collected information by dividing the information processing operation for generating the driving information between the vehicle terminal and the server, driving information having different characteristics can be efficiently generated.

일실시예에 따른 운전자에게 제2 주행 정보를 제공하는 단계(170)는 제1 시점 이후의 제2 시점에, 제3 정보에 기초하여 운전자에게 제2 주행 정보를 제공하는 단계에 해당할 수 있다. 일실시예에 따른 제1 주행 정보가 제공되는 제1 시점과 제2 주행 정보가 제공되는 제2 시점은 구분되는 것으로, 제1 시점이 제2 시점보다 앞선 시점에 해당한다. 다시 말해, 차량 단말에서 생성된 제1 주행 정보는 서버에서 생성된 제2 주행 정보보다 신속하게 운전자에게 제공될 수 있다. 일실시예에 따르면, 운전자에게 빠르게 제공될 필요가 있는 주행 정보는 차량 단말에서 생성되고, 그 외의 주행 정보는 서버에서 생성되도록 서버에서 수행되는 정보 처리 연산과 차량 단말에서 수행되는 정보 처리 연산이 구분될 수 있다. 즉, 일실시예에 따르면, 차량 단말과 서버에서 주행 정보 생성을 위한 정보 처리 연산을 분담하여 수집된 정보를 처리함으로써, 서로 다른 시점에 서로 다른 주행 정보가 운전자에게 제공될 수 있다.The step 170 of providing the second driving information to the driver according to an embodiment may correspond to a step of providing the second driving information to the driver based on the third information at a second time point after the first time point. . According to an exemplary embodiment, a first time point at which the first driving information is provided and a second time point at which the second driving information is provided are distinguished, and the first time point corresponds to a time point preceding the second time point. In other words, the first driving information generated by the vehicle terminal may be provided to the driver more quickly than the second driving information generated by the server. According to an embodiment, the information processing operation performed in the server and the information processing operation performed in the vehicle terminal are divided so that the driving information that needs to be quickly provided to the driver is generated in the vehicle terminal, and other driving information is generated in the server. can be That is, according to an embodiment, different driving information may be provided to the driver at different time points by processing the collected information by dividing the information processing operation for generating driving information between the vehicle terminal and the server.

도 2는 영상 정보를 예로 들어 서버와 차량 단말에서 수행되는 정보 처리 연산을 설명하기 위한 도면이다.2 is a diagram for explaining information processing operations performed by a server and a vehicle terminal using image information as an example.

도 2에 도시된 영상 정보(200)는 차량에 설치된 센서를 통해 수집된 주행 환경에 관한 제1 정보에 해당할 수 있다. 도 2를 참조하면, 영상 정보는 보행자(201), 차량들(211, 212, 213), 및 표지판(221)에 관한 정보를 포함한다. 수집된 영상 정보는 일실시예에 따른 단계(120)에 따라 저해상도로 변환되어, 차량 단말에서 처리될 수 있다. 차량 단말은 저해상도로 변환된 영상에 대하여, 정보 처리 연산을 수행함으로써, 영상 정보(200)에서 보행자(201) 및 차량들(211, 212, 213)을 인식하고, 인식된 객체들에 관한 제2 정보를 생성할 수 있다. 일실시예에 따를 때, 저해상도로 변환된 영상을 처리하는 차량 단말에서는, 표지판(221)에 관한 정보는 생성되지 않을 수 있다. 또한, 저해상도로 변환된 영상을 처리하는 차량 단말에서는 원거리에 위치한 객체(예를 들어, 212의 차량 및 213의 차량)은 인식되지 않을 수 있다.The image information 200 shown in FIG. 2 may correspond to first information about the driving environment collected through a sensor installed in the vehicle. Referring to FIG. 2 , image information includes information about a pedestrian 201 , vehicles 211 , 212 , 213 , and a sign 221 . The collected image information may be converted to a low resolution according to step 120 according to an exemplary embodiment, and may be processed in the vehicle terminal. The vehicle terminal recognizes the pedestrian 201 and the vehicles 211 , 212 , and 213 from the image information 200 by performing an information processing operation on the image converted to a low resolution, and a second information regarding the recognized objects information can be generated. According to an exemplary embodiment, information about the sign 221 may not be generated in the vehicle terminal that processes the low-resolution image. In addition, in the vehicle terminal that processes the image converted to the low resolution, distant objects (eg, vehicle 212 and vehicle 213) may not be recognized.

일실시예에 따를 때, 차량 단말의 정보 처리 연산에 따라 인식된 차량(211) 및 보행자(201)의 위치에 관한 제2 정보에 기초하여, 제1 주행 정보가 운전자에게 제공될 수 있다. 예를 들어, 제1 주행 정보에는 차량(211)과의 거리가 가까워 주행 속도를 감소할 필요가 있음을 지시하는 정보 또는 보행자(201)와의 거리가 가까워 주행 속도를 감소할 필요가 있음을 지시하는 정보가 포함될 수 있다.According to an embodiment, the first driving information may be provided to the driver based on the second information regarding the positions of the vehicle 211 and the pedestrian 201 recognized according to the information processing operation of the vehicle terminal. For example, the first driving information includes information indicating that it is necessary to reduce the driving speed because the distance to the vehicle 211 is close or indicating that the driving speed needs to be decreased because the distance to the pedestrian 201 is close. information may be included.

일실시예에 따를 때, 차량 단말에서 생성된 제2 정보 및 제1 정보는 서버로 전송되어, 서버에서의 정보 처리 연산을 통해 제3 정보가 생성될 수 있다. 도 2를 참조하면, 서버는 제1 정보에 해당하는 영상 정보(200) 및 차량에서 생성된 차량들(211, 212, 213) 및 보행자(201)에 관한 제2 정보를 수신할 수 있다. 일실시예에 따를 때, 서버는 제1 정보 및 제2 정보에 기초하여, 주행 환경에서 인식되는 객체에 관한 제3 정보를 생성할 수 있다. 예를 들어, 서버에서 생성된 제3 정보는 영상 정보(200)에서 표지판(221)에 포함된 글자 등의 정보를 인식하여 생성된 표지판에 관한 정보, 영상 정보 및 제2 정보에 기초하여 업데이트 된 주행 환경의 지도 정보 등을 포함할 수 있다. 서버에서 생성된 제3 정보는 차량 단말로 전송되어, 제2 주행 정보로 운전자에게 제공될 수 있다. 예를 들어, 제3 정보에 포함된 지도에 관한 정보가 디스플레이를 통해 운전자에게 제공될 수 있다.According to an embodiment, the second information and the first information generated in the vehicle terminal may be transmitted to the server, and the third information may be generated through an information processing operation in the server. Referring to FIG. 2 , the server may receive image information 200 corresponding to first information and second information about vehicles 211 , 212 , 213 and pedestrians 201 generated in the vehicle. According to an embodiment, the server may generate third information about an object recognized in the driving environment based on the first information and the second information. For example, the third information generated by the server is updated based on the information about the sign, the image information, and the second information generated by recognizing information such as characters included in the sign 221 in the image information 200 . Map information of the driving environment may be included. The third information generated by the server may be transmitted to the vehicle terminal and provided to the driver as the second driving information. For example, information on a map included in the third information may be provided to the driver through the display.

도 3은 일실시예에 따른 차량 단말 및 서버에서 수행되는 구체적인 동작들을 설명하기 위한 도면이다.3 is a diagram for explaining specific operations performed in a vehicle terminal and a server according to an embodiment.

보다 구체적으로, 일실시예에 따른 단계(120)에서 변환되는 제1 정보는 영상 정보이고, 단계(130)에서 인식되는 객체는 긴급 객체인 것을 예로 들어, 차량 단말 및 서버에서 수행되는 동작을 설명한다. More specifically, the first information converted in step 120 according to an embodiment is image information, and the object recognized in step 130 is an emergency object, for example, an operation performed in a vehicle terminal and a server is described. do.

도 3을 참조하면, 차량 단말에서 수집된 영상 정보는 저해상도의 영상으로 변환되어 차량 단말에서 처리될 수 있다. 차량 단말은 정보 처리 연산을 수행하여, 저해상도의 영상 정보로부터 긴급 객체를 인식하고, 긴급 객체에 관한 제2 정보를 생성할 수 있다. 차량 단말에서 생성되는 제2 정보는 제1 정보를 차선 이탈 경고(lane departure warning; LDW), 차선 이탈 복귀(lane keeping system; LKS), 차선 유지 보조(lane keeping assistance system; LKAS) 등 ADAS에 기초하여 분석함으로써, 생성될 수 있다.Referring to FIG. 3 , image information collected in the vehicle terminal may be converted into a low-resolution image and processed in the vehicle terminal. The vehicle terminal may perform an information processing operation to recognize an emergency object from low-resolution image information, and may generate second information about the emergency object. The second information generated by the vehicle terminal is based on ADAS such as a lane departure warning (LDW), a lane keeping system (LKS), and a lane keeping assistance system (LKAS) based on the first information By analyzing it, it can be generated.

일실시예에 따른 제2 정보는 ADAS에 기초하여 분석된 주행 환경에서 인식되는 차량, 보행자 및 차선 중 적어도 하나에 관한 정보를 포함할 수 있다. 예를 들어, 근접한 전방 차량이 급정차를 하거나, 주행 중 보행자가 갑자기 앞에 나타나는 경우 등과 같이, 긴급 상황 발생 시 매우 빠른 긴급 객체 인식이 필요하다.The second information according to an embodiment may include information about at least one of a vehicle, a pedestrian, and a lane recognized in the driving environment analyzed based on the ADAS. For example, very fast emergency object recognition is required when an emergency situation occurs, such as when a nearby vehicle in front makes a sudden stop or when a pedestrian suddenly appears in front while driving.

일실시예에 따를 때, 차량 단말은 미리 정해진 기준에 따라 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성하거나, 생성된 제2 정보 중 일부를 미리 정해진 기준에 따라 추출함으로써, 제1 주행 정보를 제공할 수 있다. 미리 정해진 기준은 예를 들어, 주행을 신속하게 제어할 필요가 있는 긴급한 상황에 따른 기준을 포함할 수 있다. 보다 구체적으로, 차량과 차선과의 거리 및/또는 차량과 다른 차량과의 거리가 특정 임계치 이하인 경우 등을 긴급한 상황으로 판단할 수 있으며, 긴급 객체는 차량과의 거리가 특정 임계치 이하인 객체에 해당할 수 있다. 차량 단말은 긴급 객체에 관한 제2 정보를 생성하고, 제2 정보에 기초하여, 차량의 속력을 줄일 것을 알리는 신호를 제1 주행 정보로써 운전자에게 제공할 수 있다. 일실시예에 따른 차량 단말은 운전자에게 제1 주행 정보를 제공함으로써, 운전을 보조할 수 있다. 예를 들어, 차량 단말은 운전자에게 차량과 거리가 가까운 객체가 존재함을 경고로 알릴 수 있고, 차량과 객체와의 거리가 특정 임계치 이상으로 벌어지도록 차량 주행을 제어할 수 있다.According to an embodiment, the vehicle terminal generates second information about an object recognized in a driving environment according to a predetermined criterion or extracts a part of the generated second information according to a predetermined criterion, thereby providing the first driving information can provide The predetermined criterion may include, for example, a criterion according to an urgent situation in which it is necessary to quickly control the driving. More specifically, a case where the distance between the vehicle and the lane and/or the distance between the vehicle and another vehicle is less than or equal to a specific threshold may be determined as an emergency situation, and the emergency object may correspond to an object whose distance from the vehicle is less than or equal to a specific threshold. can The vehicle terminal may generate second information about the emergency object, and provide a signal for informing the driver to reduce the speed of the vehicle as the first driving information based on the second information. The vehicle terminal according to an embodiment may assist driving by providing the first driving information to the driver. For example, the vehicle terminal may notify the driver that an object having a close distance to the vehicle exists as a warning, and may control vehicle driving so that the distance between the vehicle and the object increases by more than a specific threshold.

즉, 제1 주행 정보는 전방 차량에 관한 정보, 보행자에 관한 정보 및 차선에 관한 정보에 기초한 안전 운행에 관한 정보를 포함할 수 있다. 예를 들어, 차량이 직진 상황에서 차선을 이탈하는 경우 차선 이탈에 관한 정보, 횡단보도에서 보행자가 무단 횡단을 하는 경우 보행자 인식에 관한 정보 등이 있다.That is, the first driving information may include information on safe driving based on information on the vehicle ahead, information on pedestrians, and information on lanes. For example, there is information on lane departure when a vehicle leaves a lane in a straight-line situation, information on pedestrian recognition when a pedestrian crosses without permission in a crosswalk, and the like.

일실시예에 따를 때, 서버는 차량 단말과 통신하여 제1 정보 및 제2 정보를 수신할 수 있다. 서버는 수신된 정보들을 가공하여 정보 처리 연산을 수행할 수 있다. 예를 들어, 제1 정보에 포함된 고화질 영상과 제2 정보에 포함된 위치/방향 등의 주행 정보를 가공하여, 고화질 영상에서 객체를 인식하여 객체에 관한 정보를 생성하고, 객체에 관한 정보를 관리하는 등의 정보 처리 연산을 수행할 수 있다. 보다 구체적으로, 클라우드 서버에서 고화질 영상을 분석하여 표지판 안에 있는 글자(예를 들어, 제한 속도에 관한 숫자, 진입금지 글자 등)를 인식할 수 있고, 멀리 있는 객체를 저화질 영상보다 더 빠르게 인식할 수 있다. 또한, 클라우드 서버에서는 전방 특정 차량의 ADAS 단말이 인식한 긴급 정보(예를 들어, 무단으로 횡단하는 보행자에 관한 정보)를 뒤에 있는 차량에게 미리 전달할 수 있다.According to an embodiment, the server may communicate with the vehicle terminal to receive the first information and the second information. The server may process the received information to perform an information processing operation. For example, by processing driving information such as a high-definition image included in the first information and location/direction included in the second information, recognition of an object in the high-definition image to generate information about the object, and information about the object It is possible to perform information processing operations such as management. More specifically, by analyzing the high-definition image in the cloud server, it is possible to recognize the letters in the sign (for example, numbers about the speed limit, the letters prohibiting entry, etc.), and to recognize distant objects faster than low-quality images. have. In addition, the cloud server may transmit emergency information (eg, information about pedestrians crossing without permission) recognized by the ADAS terminal of a specific vehicle in front to the vehicle behind.

일실시예에 따른 서버는 수신된 정보 및/또는 수신된 정보를 처리하여 생성된 새로운 정보에 기초하여, 정밀 지도를 업데이트하거나, 주행 상황을 미리 정해진 기준에 따라 판단함으로써, 주행 환경 내 객체에 관한 제3 정보를 생성할 수 있다. 예를 들어, 클라우드 서버에서는 전방에 있는 특정 차량의 ADAS 단말이 인식한 긴급 정보(예를 들어, 무단으로 횡단하는 보행자에 관한 정보)를 후방에 있는 차량에게 미리 전달할 수 있다.The server according to an embodiment may update a precision map based on the received information and/or new information generated by processing the received information, or determine a driving situation according to a predetermined criterion, thereby relating to an object in the driving environment. Third information may be generated. For example, the cloud server may transmit emergency information (eg, information about pedestrians crossing without permission) recognized by the ADAS terminal of a specific vehicle in front to the vehicle in the rear.

일실시예에 따른 차량 단말은 서버로부터 제3 정보를 수신하여, 제3 정보에 기초한 제2 주행 정보를 운전자에게 제공할 수 있다. 제2 주행 정보는 업데이트된 지도에 관한 정보 등을 포함할 수 있다.The vehicle terminal according to an embodiment may receive the third information from the server and provide the driver with the second driving information based on the third information. The second driving information may include information on an updated map, and the like.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (20)

차량에 설치된 적어도 하나의 센서를 통해 상기 차량의 주행 환경에 관한 제1 정보를 수집하는 단계;
상기 제1 정보의 크기를 줄이는 변환 기법을 이용하여, 상기 제1 정보 중 적어도 일부를 변환하는 단계;
상기 변환된 제1 정보에 기초하여, 상기 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성하는 단계;
제1 시점에, 상기 제2 정보에 기초하여 운전자에게 제1 주행 정보를 제공하는 단계;
상기 제1 정보 및 상기 제2 정보를 서버로 전송하는 단계;
상기 제1 정보 및 상기 제2 정보에 기초하여 상기 주행 환경에서 인식되는 객체에 관한 제3 정보를 수신하는 단계; 및
상기 제1 시점 이후의 제2 시점에, 상기 제3 정보에 기초하여 상기 운전자에게 제2 주행 정보를 제공하는 단계
를 포함하는 주행 정보 제공 방법.
collecting first information about a driving environment of the vehicle through at least one sensor installed in the vehicle;
transforming at least a portion of the first information by using a transformation technique for reducing the size of the first information;
generating second information on an object recognized in the driving environment based on the converted first information;
at a first time point, providing first driving information to a driver based on the second information;
transmitting the first information and the second information to a server;
receiving third information about an object recognized in the driving environment based on the first information and the second information; and
providing second driving information to the driver based on the third information at a second time point after the first time point;
A method of providing driving information comprising a.
제1항에 있어서,
상기 제1 정보 중 적어도 일부를 변환하는 단계는
상기 제1 정보에 포함된 고해상도의 영상을 저해상도의 영상으로 변환하는 단계
를 포함하는
주행 정보 제공 방법.
According to claim 1,
The step of transforming at least a part of the first information
converting a high-resolution image included in the first information into a low-resolution image
containing
How to provide driving information.
제1항에 있어서,
상기 제2 정보를 생성하는 단계는
상기 변환된 제1 정보를 ADAS(Advanced Driver Assistance Systems)에 기초하여 분석함으로써, 상기 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성하는 단계
를 포함하는
주행 정보 제공 방법.
According to claim 1,
The step of generating the second information
generating second information about an object recognized in the driving environment by analyzing the converted first information based on ADAS (Advanced Driver Assistance Systems);
containing
How to provide driving information.
제1항에 있어서,
상기 제2 정보를 생성하는 단계는
상기 제1 정보에 포함된 상기 차량에 설치된 카메라를 통해 수집된 영상이 저해상도로 변환된 영상을 분석하여, 상기 영상에 포함된 객체를 인식하는 단계; 및
상기 인식된 객체에 기초하여, 미리 정해진 기준에 따라 상기 객체에 관한 제2 정보를 추출하는 단계
를 포함하는
주행 정보 제공 방법.
According to claim 1,
The step of generating the second information
recognizing an object included in the image by analyzing an image obtained by converting an image collected through a camera installed in the vehicle included in the first information to a low resolution; and
extracting second information about the object according to a predetermined criterion based on the recognized object
containing
How to provide driving information.
제4항에 있어서,
상기 미리 정해진 기준은
상기 인식된 객체의 종류, 상기 인식된 객체의 위치, 상기 인식된 객체의 속도 및 상기 인식된 객체와 상기 차량의 거리 중 적어도 하나에 기초하여 결정되는
주행 정보 제공 방법.
5. The method of claim 4,
The predetermined criterion is
determined based on at least one of a type of the recognized object, a location of the recognized object, a speed of the recognized object, and a distance between the recognized object and the vehicle
How to provide driving information.
제1항에 있어서,
상기 제1 정보 및 상기 제2 정보를 서버로 전송하는 단계는
상기 제1 정보를 가공하는 단계
를 더 포함하는
주행 정보 제공 방법.
According to claim 1,
The step of transmitting the first information and the second information to the server
processing the first information
further comprising
How to provide driving information.
제1항에 있어서,
상기 제1 정보는
차량에 설치된 카메라를 통해 수집된 객체를 포함하는 영상; 및
차량에 설치된 GPS 센서를 통해 수집된 객체에 관한 정보
중 적어도 하나를 포함하는
주행 정보 제공 방법.
According to claim 1,
The first information is
an image including an object collected through a camera installed in a vehicle; and
Information about objects collected through GPS sensors installed in the vehicle
comprising at least one of
How to provide driving information.
제1항에 있어서,
상기 제2 정보는
상기 주행 환경에서 인식되는 차량, 보행자 및 차선 중 적어도 하나에 관한 정보를 포함하는
주행 정보 제공 방법.
According to claim 1,
The second information is
Including information about at least one of a vehicle, a pedestrian, and a lane recognized in the driving environment
How to provide driving information.
제1항에 있어서,
상기 제1 주행 정보는
전방 차량에 관한 정보, 보행자에 관한 정보 및 차선에 관한 정보에 기초한 안전 운행에 관한 정보를 포함하는
주행 정보 제공 방법.
According to claim 1,
The first driving information is
Information on safe driving based on information on vehicles in front, information on pedestrians, and information on lanes.
How to provide driving information.
제1항에 있어서,
상기 제3 정보는
상기 주행 환경 내 다른 차량 단말에서 상기 서버로 전송된 정보; 및
상기 제1 정보 및 상기 제2 정보에 기초하여 업데이트된 지도에 관한 정보
중 적어도 하나를 포함하고,
상기 지도에 관한 정보는 LDM(local dynamic map) 정보를 포함하는
주행 정보 제공 방법.
According to claim 1,
The third information is
information transmitted from another vehicle terminal in the driving environment to the server; and
Information on a map updated based on the first information and the second information
comprising at least one of
The information about the map includes LDM (local dynamic map) information
How to provide driving information.
제1항에 있어서,
제2 주행 정보는
상기 제3 정보에 기초하여, 사용자에게 표시되는 지도 정보
를 포함하는
주행 정보 제공 방법.
According to claim 1,
The second driving information is
Map information displayed to the user based on the third information
containing
How to provide driving information.
제1항에 있어서,
상기 서버는 클라우드 서버를 포함하는
주행 정보 제공 방법.
According to claim 1,
The server includes a cloud server
How to provide driving information.
하드웨어와 결합되어 제1항 내지 제12항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
A computer program stored on a medium in combination with hardware to execute the method of any one of claims 1 to 12.
차량에 설치된 적어도 하나의 센서를 통해 상기 차량의 주행 환경에 관한 제1 정보를 수집하고, 상기 제1 정보의 크기를 줄이는 변환 기법을 이용하여, 상기 제1 정보 중 적어도 일부를 변환하고, 상기 변환된 제1 정보에 기초하여, 상기 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성하고, 제1 시점에, 상기 제2 정보에 기초하여 운전자에게 제1 주행 정보를 제공하고, 상기 제1 정보 및 상기 제2 정보를 서버로 전송하고, 상기 제1 정보 및 상기 제2 정보에 기초하여 상기 주행 환경에서 인식되는 객체에 관한 제3 정보를 수신하며, 상기 제1 시점 이후의 제2 시점에, 상기 제3 정보에 기초하여 상기 운전자에게 제2 주행 정보를 제공하는 적어도 하나의 프로세서
를 포함하는 주행 정보 제공 장치.
Collecting first information about the driving environment of the vehicle through at least one sensor installed in the vehicle, converting at least a portion of the first information using a conversion technique that reduces the size of the first information, and converting the first information generating second information about an object recognized in the driving environment based on the obtained first information, and providing first driving information to a driver based on the second information at a first time point, and the first information and transmitting the second information to the server, receiving third information about an object recognized in the driving environment based on the first information and the second information, and at a second time point after the first time point, at least one processor to provide second driving information to the driver based on the third information
Driving information providing device comprising a.
제14항에 있어서,
상기 프로세서는
상기 제1 정보 중 적어도 일부를 변환함에 있어서,
상기 제1 정보에 포함된 고해상도의 영상을 저해상도의 영상으로 변환하는
주행 정보 제공 장치.
15. The method of claim 14,
the processor
In converting at least some of the first information,
converting a high-resolution image included in the first information into a low-resolution image
Driving information providing device.
제14항에 있어서,
상기 프로세서는
상기 제2 정보를 생성함에 있어서,
상기 변환된 제1 정보를 ADAS(Advanced Driver Assistance Systems)에 기초하여 분석함으로써, 상기 주행 환경에서 인식되는 객체에 관한 제2 정보를 생성하는
주행 정보 제공 장치.
15. The method of claim 14,
the processor
In generating the second information,
By analyzing the converted first information based on ADAS (Advanced Driver Assistance Systems) to generate second information about an object recognized in the driving environment
Driving information providing device.
제14항에 있어서,
상기 프로세서는
상기 제2 정보를 생성함에 있어서,
상기 제1 정보에 포함된 상기 차량에 설치된 카메라를 통해 수집된 영상이 저해상도로 변환된 영상을 분석하여, 상기 영상에 포함된 객체를 인식하고, 상기 인식된 객체에 기초하여, 미리 정해진 기준에 따라 상기 객체에 관한 제2 정보를 추출하는
주행 정보 제공 장치.
15. The method of claim 14,
the processor
In generating the second information,
The image collected through the camera installed in the vehicle included in the first information is analyzed to a low-resolution image, the object included in the image is recognized, and based on the recognized object, according to a predetermined standard extracting second information about the object
Driving information providing device.
제17항에 있어서,
상기 미리 정해진 기준은
상기 인식된 객체의 종류, 상기 인식된 객체의 위치, 상기 인식된 객체의 속도 및 상기 인식된 객체와 상기 차량의 거리 중 적어도 하나에 기초하여 결정되는
주행 정보 제공 장치.
18. The method of claim 17,
The predetermined criterion is
determined based on at least one of a type of the recognized object, a location of the recognized object, a speed of the recognized object, and a distance between the recognized object and the vehicle
Driving information providing device.
제14항에 있어서,
상기 프로세서는
상기 제1 정보 및 상기 제2 정보를 서버로 전송함에 있어서,
상기 제1 정보를 가공하는
주행 정보 제공 장치.
15. The method of claim 14,
the processor
In transmitting the first information and the second information to the server,
processing the first information
Driving information providing device.
제14항에 있어서,
상기 서버는 클라우드 서버를 포함하는
주행 정보 제공 장치.
15. The method of claim 14,
The server includes a cloud server
Driving information providing device.
KR1020200046283A 2020-04-16 2020-04-16 Method and apparatus for providing driving information by using object recognition of cloud KR102370876B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200046283A KR102370876B1 (en) 2020-04-16 2020-04-16 Method and apparatus for providing driving information by using object recognition of cloud

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200046283A KR102370876B1 (en) 2020-04-16 2020-04-16 Method and apparatus for providing driving information by using object recognition of cloud

Publications (2)

Publication Number Publication Date
KR20210128563A true KR20210128563A (en) 2021-10-27
KR102370876B1 KR102370876B1 (en) 2022-03-07

Family

ID=78287146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200046283A KR102370876B1 (en) 2020-04-16 2020-04-16 Method and apparatus for providing driving information by using object recognition of cloud

Country Status (1)

Country Link
KR (1) KR102370876B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102617063B1 (en) * 2023-09-26 2023-12-27 주식회사 윈스퍼트 Artificial intelligence-based worker safety management system for workers at environmental basic facilities

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101634242B1 (en) * 2014-02-05 2016-06-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 Black box for car using the idle time of the black box and its control method
KR101661163B1 (en) * 2015-05-27 2016-09-29 일마일 주식회사 Safety Driving System for processing Driver's Safety Driving Assistance and Real-time Updating Map DB through Image Analysis
KR20180000672A (en) * 2016-06-23 2018-01-03 엘지전자 주식회사 Vehicle control device mounted on vehicle and method for controlling the vehicle
KR20190071220A (en) * 2017-12-14 2019-06-24 삼성전자주식회사 Autonomous driving vehicle providing driving information and method thereof
KR20190109663A (en) * 2018-03-08 2019-09-26 삼성전자주식회사 Electronic apparatus and method for assisting driving of a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101634242B1 (en) * 2014-02-05 2016-06-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 Black box for car using the idle time of the black box and its control method
KR101661163B1 (en) * 2015-05-27 2016-09-29 일마일 주식회사 Safety Driving System for processing Driver's Safety Driving Assistance and Real-time Updating Map DB through Image Analysis
KR20180000672A (en) * 2016-06-23 2018-01-03 엘지전자 주식회사 Vehicle control device mounted on vehicle and method for controlling the vehicle
KR20190071220A (en) * 2017-12-14 2019-06-24 삼성전자주식회사 Autonomous driving vehicle providing driving information and method thereof
KR20190109663A (en) * 2018-03-08 2019-09-26 삼성전자주식회사 Electronic apparatus and method for assisting driving of a vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102617063B1 (en) * 2023-09-26 2023-12-27 주식회사 윈스퍼트 Artificial intelligence-based worker safety management system for workers at environmental basic facilities

Also Published As

Publication number Publication date
KR102370876B1 (en) 2022-03-07

Similar Documents

Publication Publication Date Title
US10636295B1 (en) Method and device for creating traffic scenario with domain adaptation on virtual driving environment for testing, validating, and training autonomous vehicle
US20200302196A1 (en) Traffic Signal Analysis System
US20200361489A1 (en) Method and apparatus for controlling a vehicle's driving operation using advance information
JP7467485B2 (en) Generating ground truth for machine learning from time series elements
EP3299921B1 (en) Location specific assistance for an autonomous vehicle control system
JP2022520968A (en) Estimating object attributes using visual image data
CN113646772A (en) Predicting three-dimensional features for autonomous driving
CN110347145A (en) Perception for automatic driving vehicle assists
CN109426256A (en) The lane auxiliary system based on driver intention of automatic driving vehicle
US9592828B2 (en) Long term driving danger prediction system
US20150153184A1 (en) System and method for dynamically focusing vehicle sensors
KR102339776B1 (en) Method and apparatus for controlling driving vehicle
WO2020062032A1 (en) A pedestrian probability prediction system for autonomous vehicles
US10620634B2 (en) Vehicle interface for autonomous vehicle
KR102541560B1 (en) Method and apparatus for recognizing object
US12005928B2 (en) Dangerous road user detection and response
KR102635265B1 (en) Apparatus and method for around view monitoring using lidar
US20240054793A1 (en) Information processing device, information processing method, and program
KR102370876B1 (en) Method and apparatus for providing driving information by using object recognition of cloud
CN114333339A (en) Method for removing repetition of deep neural network functional module
WO2020129810A1 (en) Information processing apparatus, information processing method, and program
WO2019127076A1 (en) Automated driving vehicle control by collision risk map
KR102185743B1 (en) Method and apparatus for determining the existence of object located in front of a vehicle
US20230211808A1 (en) Radar-based data filtering for visual and lidar odometry
US20220260386A1 (en) Vehicle control device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant