KR102346849B1 - Electronic device for combining image data and sensing data, and data combining method of the electronic device - Google Patents

Electronic device for combining image data and sensing data, and data combining method of the electronic device Download PDF

Info

Publication number
KR102346849B1
KR102346849B1 KR1020190155988A KR20190155988A KR102346849B1 KR 102346849 B1 KR102346849 B1 KR 102346849B1 KR 1020190155988 A KR1020190155988 A KR 1020190155988A KR 20190155988 A KR20190155988 A KR 20190155988A KR 102346849 B1 KR102346849 B1 KR 102346849B1
Authority
KR
South Korea
Prior art keywords
data
region
interest
lidar
sensing data
Prior art date
Application number
KR1020190155988A
Other languages
Korean (ko)
Other versions
KR20210066572A (en
Inventor
배현섭
오승욱
조민성
조민근
Original Assignee
슈어소프트테크주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 슈어소프트테크주식회사 filed Critical 슈어소프트테크주식회사
Priority to KR1020190155988A priority Critical patent/KR102346849B1/en
Publication of KR20210066572A publication Critical patent/KR20210066572A/en
Application granted granted Critical
Publication of KR102346849B1 publication Critical patent/KR102346849B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Abstract

실시예에 따른 전자장치는, 차량의 카메라가 상기 차량의 주변에 대한 전방위를 촬영하여 획득된 전방위 영상 데이터와 상기 전방위 영상 데이터에 대응하여 상기 차량의 센서로부터 생성된 전체 센싱 데이터를 상기 차량으로부터 수신하기 위한 인터페이스부 및 상기 전방위 영상 데이터로부터 관심 영역을 추출하고, 상기 관심 영역과 상기 전체 센싱 데이터를 융합하여 상기 관심 영역에 대응하는 부분 센싱 데이터를 추출하는 제어부를 포함할 수 있다.The electronic device according to an embodiment receives, from the vehicle, omnidirectional image data obtained by a camera of the vehicle photographing omnidirectional images of the vehicle's surroundings and all sensing data generated from a sensor of the vehicle in response to the omnidirectional image data. and a controller configured to extract a region of interest from the omnidirectional image data and fuse the region of interest with the entire sensing data to extract partial sensing data corresponding to the region of interest.

Figure R1020190155988
Figure R1020190155988

Description

영상 데이터 및 센싱 데이터 융합을 위한 전자 장치 및 전자 장치의 데이터 융합 방법.{ELECTRONIC DEVICE FOR COMBINING IMAGE DATA AND SENSING DATA, AND DATA COMBINING METHOD OF THE ELECTRONIC DEVICE}{ELECTRONIC DEVICE FOR COMBINING IMAGE DATA AND SENSING DATA, AND DATA COMBINING METHOD OF THE ELECTRONIC DEVICE}

본 발명은 영상 데이터 및 센싱 데이터의 융합을 위한 전자 장치 및 전자 장치의 데이터 융합 방법에 관한 것으로, 보다 구체적으로 차량 주변의 전방위 영상 데이터와 이에 대응하는 센싱 데이터를 융합함으로서 정확하고 효율적인 객체 탐지를 수행하기 위한, 영상 데이터 및 센싱 데이터 융합을 위한 전자 장치 및 전자 장치의 데이터 융합 방법에 관한 것이다.The present invention relates to an electronic device and a data fusion method of an electronic device for fusion of image data and sensing data, and more particularly, accurate and efficient object detection is performed by fusing omnidirectional image data around a vehicle and sensing data corresponding thereto. The present invention relates to an electronic device for fusion of image data and sensing data, and a data fusion method of the electronic device.

차량 주행 시, 차량 주변 상황을 정확하게 인지하고 차량과 부딪히지 않도록 정지를 하는 등 차량을 정확하게 제어하는 것이 필요하고, 이를 위해서는 주변에 위치한 오브젝트 위치 판단 등을 정확하게 하는 것이 중요하다. When driving a vehicle, it is necessary to accurately recognize the surrounding conditions of the vehicle and to accurately control the vehicle, such as stopping so as not to collide with the vehicle.

이 때, 차량의 센서로부터 수집한 데이터를 의미 있게 활용하는 것이 중요한데, 수집된 데이터를 일일이 사용자가 눈으로 확인하는 것은 매우 번거롭고 노동집약적이다. At this time, it is important to meaningfully utilize the data collected from the vehicle's sensors, and it is very cumbersome and labor intensive for the user to visually check the collected data one by one.

따라서, 수집된 데이터를 자동으로 해석 및 분석하는 것이 중요한데, 일반 카메라를 이용하는 경우, 특정 한 방향의 영상 데이터만을 확보하기만 한다는 한계가 있다. 또한, 영상 데이터를 확보할 뿐, 영상 데이터의 거리 데이터까지 확보할 수 없다는 한계가 있다. Therefore, it is important to automatically interpret and analyze the collected data, but when using a general camera, there is a limitation in that only image data in a specific direction is secured. In addition, there is a limitation in that only image data is secured, and distance data of the image data cannot be secured.

또한, 라이다 센서 같은 거리 측정 센서를 통해서는 오브젝트들의 거리 정보를 획득할 수 있으나, 어떠한 오브젝트에 대한 거리 정보인지 명확하게 식별할 수 없다는 한계가 있다. 즉, 거리 정보가 찾고자 하는 오브젝트에 대한 거리 정보인지, 배경이 아닌 정확한 오브젝트에 대한 거리 정보인지 등을 명확하게 식별할 수 없는 것이다. In addition, although distance information of objects can be obtained through a distance measuring sensor such as a lidar sensor, there is a limitation in that it is not possible to clearly identify the distance information for an object. That is, it is impossible to clearly identify whether the distance information is distance information about an object to be found or distance information about an accurate object other than the background.

본 발명은 전술한 문제점을 해결하기 위한 것으로, 일반 카메라와 라이다 센서가 지닌 단점은 서로 보완하고 장점은 극대화하기 위해, 영상 데이터와 센싱 데이터를 융합하는 것을 목적으로 한다.The present invention is to solve the above problems, and aims to fuse image data and sensing data in order to complement each other and maximize the advantages of a general camera and a lidar sensor.

구체적으로, 일반 카메라와 라이다 센서의 제한점을 서로 보완하여 전방위 영상 촬영 카메라로부터 획득된 전방위 영상을 활용하여 모든 방향에 대한 정확한 상황을 파악할 수 있도록 함과 동시에, 라이다 센서의 거리 데이터를 융합하여 전방위 영상에 포함되는 특정 객체의 거리 데이터를 정확하게 결정할 수 있도록 하는 데에 그 목적이 있다.Specifically, by complementing the limitations of general cameras and lidar sensors, the omnidirectional image obtained from the omnidirectional imaging camera is used to determine the exact situation in all directions, and at the same time, the distance data of the lidar sensor is fused. The purpose is to accurately determine distance data of a specific object included in an omnidirectional image.

또한, 전방위 영상으로부터 기계 학습을 통한 딥 러닝을 수행하여 오브젝트를 추출하도록 함으로서 보다 정확하고 빠른 오브젝트 추출 및 탐지가 가능해지도록 하는 데에 그 목적이 있다.In addition, by performing deep learning through machine learning from an omnidirectional image to extract an object, the purpose is to enable more accurate and faster object extraction and detection.

그리고, 불필요한 비관심 영역에 대한 거리 데이터는 활용하지 않고, 사용자가 찾고자 하는 객체가 포함된 관심 영역에 대해서만 거리 데이터를 선별하여 추출할 수 있도록 함으로서, 모든 영역에 대한 거리 데이터를 추출하는 것보다 시간을 절약되고 효율적으로 작업할 수 있도록 하는 데에 그 목적이 있다.In addition, it takes less time than extracting distance data for all regions by allowing the user to select and extract distance data only for the region of interest including the object the user wants to find without using distance data for unnecessary non-interested regions. The purpose is to save money and work efficiently.

특히, 관심 영역 중에서도 특정 객체에 대해서만 거리 데이터를 또 선별하여 추출할 수 있도록 함으로서 관심 영역 상의 배경 정보 등 불필요한 정보들까지 모두 검색할 필요가 없어 역시 시간과 자원이 절약될 수 있도록 하는 데에 그 목적이 있다.In particular, the purpose is to save time and resources by eliminating the need to search for all unnecessary information such as background information on the ROI by selecting and extracting distance data only for a specific object in the ROI. There is this.

그리고, 복수의 객체 이미지와 각각에 대응하는 거리 데이터를 서로 매핑하여 저장해놓은 후에 사용자가 찾기 원하는 특정 객체와 이에 대한 거리 데이터를 선별하여 용이하게 검색할 수 있도록 하는 데에 그 목적이 있다.In addition, after mapping and storing a plurality of object images and distance data corresponding to each other, the purpose of the present invention is to enable a user to easily search by selecting a specific object and distance data for the desired object to be found.

실시예에 따른 전자 장치는, 차량의 카메라가 상기 차량의 주변에 대한 전방위를 촬영하여 획득된 전방위 영상 데이터와 상기 전방위 영상 데이터에 대응하여 상기 차량의 센서로부터 생성된 전체 센싱 데이터를 상기 차량으로부터 수신하기 위한 인터페이스부 및 상기 전방위 영상 데이터로부터 관심 영역을 추출하고, 상기 관심 영역과 상기 전체 센싱 데이터를 융합하여 상기 관심 영역에 대응하는 부분 센싱 데이터를 추출하는 제어부를 포함할 수 있다.The electronic device according to an embodiment receives, from the vehicle, omnidirectional image data obtained by a camera of the vehicle photographing an omnidirectional image of the vehicle's surroundings, and all sensing data generated from a sensor of the vehicle in response to the omnidirectional image data. and a controller configured to extract a region of interest from the omnidirectional image data and fuse the region of interest with the entire sensing data to extract partial sensing data corresponding to the region of interest.

상기 전체 센싱 데이터는 상기 차량의 라이다 센서가 센싱하여 생성된 데이터일 수 있다.The entire sensed data may be data generated by sensing by a lidar sensor of the vehicle.

상기 관심 영역은 이미지에서 검출된 객체의 영역으로 구성될 수 있다.The region of interest may be configured as a region of an object detected in the image.

상기 제어부는, 상기 전체 센싱 데이터에 대응하는 전체 라이다 데이터의 3D 모델링 화면 상의 좌표값과 상기 관심 영역의 상기 전방위 영상 데이터 상의 좌표값을 비교하여 상기 융합을 수행하고, 상기 전체 라이다 데이터는 상기 전방위를 스캐닝하여 생성된 상기 3D모델링 화면을 구성하는 포인트일 수 있다.The control unit performs the fusion by comparing the coordinate values on the 3D modeling screen of the entire lidar data corresponding to the entire sensing data with the coordinate values on the omnidirectional image data of the region of interest, and the entire lidar data is the It may be a point constituting the 3D modeling screen generated by scanning all directions.

상기 전체 라이다 데이터 중 어느 하나의 라이다 데이터는 제1 각도값과 제2 각도값을 가지고, 상기 제어부는, 상기 어느 하나의 라이다 데이터의 상기 제1 각도값과 상기 관심 영역의 상기 전방위 영상 데이터 상의 제1축 좌표값들이 각도 단위로 변경된 변환 각도값들을 비교하고, 상기 어느 하나의 라이다 데이터의 상기 제2 각도값에 대응하는 상기 3D 모델링 화면상의 좌표값과 상기 관심 영역의 상기 전방위 영상 데이터 상의 제2축 좌표값들을 비교하여 상기 융합을 수행할 수 있다.Any one of the lidar data of the entire lidar data has a first angle value and a second angle value, the control unit, the first angle value of the any one of the lidar data and the omnidirectional image of the region of interest The first axis coordinate values on the data compare the converted angle values in angular units, and the coordinate value on the 3D modeling screen corresponding to the second angle value of the one LiDAR data and the omnidirectional image of the region of interest The fusion may be performed by comparing the coordinate values of the second axis on the data.

상기 제어부는, 상기 어느 하나의 라이다 데이터의 상기 제1 각도값이 상기 관심 영역의 상기 변환 각도값들 범위안에 매핑되며, 상기 어느 하나의 라이다 데이터의 상기 좌표값이 상기 관심 영역의 상기 제2축 좌표값들 범위안에 매핑되는 소정의 조건을 만족하는 경우, 상기 어느 하나의 라이다 데이터가 상기 관심 영역에 매핑되는 것으로 결정하고, 상기 소정의 조건을 만족하는 라이다 데이터들에 대응하는 센싱 데이터를 상기 부분 센싱 데이터로 결정할 수 있다.The control unit is configured to map the first angle value of the any one LiDAR data within the range of the transformation angle values of the region of interest, and the coordinate value of the one LiDAR data is the first angle value of the region of interest. When a predetermined condition for mapping within a range of two-axis coordinate values is satisfied, it is determined that any one of the lidar data is mapped to the region of interest, and sensing corresponding to the lidar data satisfying the predetermined condition Data may be determined as the partial sensing data.

상기 제어부는, 상기 부분 센싱 데이터 중 소정의 확률값 이상 반복되어 추출되는 센싱 데이터를 상기 관심 영역의 대표 센싱 데이터로 결정할 수 있다.The controller may determine, as the representative sensing data of the region of interest, sensing data extracted repeatedly over a predetermined probability value among the partial sensing data.

상기 제어부는 신경망을 통한 딥 러닝을 수행하여 상기 전방위 영상 데이터로부터 상기 관심 영역을 추출할 수 있다.The controller may perform deep learning through a neural network to extract the region of interest from the omnidirectional image data.

실시예에 따른 전자 장치의 데이터 융합 방법은, 차량의 카메라가 상기 차량의 주변에 대한 전방위를 촬영하여 획득된 전방위 영상 데이터와 상기 전방위 영상 데이터에 대응하여 상기 차량의 센서로부터 생성된 전체 센싱 데이터를 상기 차량으로부터 수신하는 데이터 수신 단계, 상기 전방위 영상 데이터로부터 관심 영역을 추출하는 관심 영역 추출 단계, 상기 관심 영역과 상기 전체 센싱 데이터를 융합하는 데이터 융합 단계 및 상기 관심 영역에 대응하는 부분 센싱 데이터를 추출하는 부분 센싱 데이터 추출 단계를 포함할 수 있다.In the data fusion method of the electronic device according to the embodiment, the omnidirectional image data obtained by photographing the omnidirectional image of the vehicle's surroundings by a vehicle camera and the entire sensing data generated from the sensor of the vehicle in response to the omnidirectional image data The data receiving step of receiving from the vehicle, the ROI extraction step of extracting the ROI from the omnidirectional image data, the data fusion step of fusing the ROI and the entire sensing data, and extracting partial sensing data corresponding to the ROI It may include a partial sensing data extraction step.

상기 데이터 융합 단계는, 상기 전체 센싱 데이터에 대응하는 전체 라이다 데이터의 3D 모델링 화면 상의 좌표값과 상기 관심 영역의 상기 전방위 영상 데이터 상의 좌표값을 비교함으로서 수행되고, 상기 전체 라이다 데이터는 상기 전방위를 스캐닝하여 생성된 상기 3D모델링 화면을 구성하는 포인트일 수 있다.The data fusion step is performed by comparing the coordinate values on the 3D modeling screen of the entire lidar data corresponding to the entire sensing data with the coordinate values on the omnidirectional image data of the region of interest, and the entire lidar data is the omnidirectional It may be a point constituting the 3D modeling screen generated by scanning .

상기 전체 라이다 데이터 중 어느 하나의 라이다 데이터는 제1 각도값과 제2 각도값을 가지고, 상기 데이터 융합 단계는, 상기 어느 하나의 라이다 데이터의 상기 제2 각도값에 대응하는 상기 3D 모델링 화면상의 좌표값과 상기 관심 영역의 상기 전방위 영상 데이터 상의 제2축 좌표값들을 비교하는 단계, 상기 관심 영역의 상기 전방위 영상 데이터 상의 제1축 좌표값들을 각도 단위로 변경한 변환 각도값들을 생성하는 단계, 상기 어느 하나의 라이다 데이터의 상기 제1 각도값과 상기 변환 각도값들을 비교하는 단계를 포함할 수 있다.Any one of the lidar data of the entire lidar data has a first angle value and a second angle value, the data fusion step, the 3D modeling corresponding to the second angle value of any one of the lidar data Comparing the coordinate values on the screen and the second axis coordinate values on the omniazimuth image data of the region of interest, generating transformation angle values obtained by changing the first axis coordinate values on the omniazimuth image data of the region of interest in units of angles Step, it may include comparing the first angle value of the one of the lidar data and the converted angle values.

상기 부분 센싱 데이터 추출 단계는, 상기 어느 하나의 라이다 데이터의 상기 좌표값이 상기 관심 영역의 상기 제2축 좌표값들 범위안에 매핑되며, 상기 어느 하나의 라이다 데이터의 상기 제1 각도값이 상기 관심 영역의 상기 변환 각도값들 범위안에 매핑되는 소정의 조건을 만족하는 지 여부를 판별하는 단계 및 상기 소정의 조건을 만족하는 라이다 데이터들에 대응하는 센싱 데이터를 상기 부분 센싱 데이터로 결정하는 단계를 포함할 수 있다.In the partial sensing data extraction step, the coordinate value of the one lidar data is mapped within the range of the second axis coordinate values of the region of interest, and the first angle value of the one lidar data is determining whether a predetermined condition mapped within the range of the transformation angle values of the region of interest is satisfied, and determining sensing data corresponding to lidar data satisfying the predetermined condition as the partial sensing data may include steps.

상기 부분 센싱 데이터 중 소정의 확률값 이상 반복되어 추출되는 센싱 데이터를 상기 관심 영역의 대표 센싱 데이터로 결정하는 단계를 더 포함할 수 있다.The method may further include determining, as the representative sensing data of the region of interest, sensing data repeatedly extracted over a predetermined probability value among the partial sensing data.

상기 관심 영역 추출 단계는, 신경망을 통한 딥 러닝을 수행하여 상기 전방위 영상 데이터로부터 상기 관심 영역을 추출할 수 있다.The extracting of the region of interest may include extracting the region of interest from the omnidirectional image data by performing deep learning through a neural network.

본 발명에 따르면, 일반 카메라와 라이다 센서가 지닌 단점은 서로 보완하고 장점은 극대화할 수 있게 된다.According to the present invention, it is possible to compensate for the disadvantages of the general camera and the lidar sensor and maximize the advantages.

구체적으로, 일반 카메라와 라이다 센서의 제한점을 서로 보완하여 전방위 영상 촬영 카메라로부터 획득된 전방위 영상을 활용하여 모든 방향에 대한 정확한 상황을 파악할 수 있도록 함과 동시에, 라이다 센서의 거리 데이터를 융합하여 전방위 영상에 포함되는 특정 객체의 거리 데이터를 정확하게 결정할 수 있게 된다.Specifically, by complementing the limitations of general cameras and lidar sensors, the omnidirectional image obtained from the omnidirectional imaging camera is used to determine the exact situation in all directions, and at the same time, the distance data of the lidar sensor is fused. It is possible to accurately determine distance data of a specific object included in the omnidirectional image.

또한, 전방위 영상으로부터 기계 학습을 통한 딥 러닝을 수행하여 오브젝트를 추출하도록 함으로서 보다 정확하고 빠른 오브젝트 추출 및 탐지가 가능해진다.In addition, by performing deep learning through machine learning from the omnidirectional image to extract the object, more accurate and faster object extraction and detection becomes possible.

그리고, 불필요한 비관심 영역에 대한 거리 데이터는 활용하지 않고, 사용자가 찾고자 하는 객체가 포함된 관심 영역에 대해서만 거리 데이터를 선별하여 추출할 수 있도록 함으로서, 모든 영역에 대한 거리 데이터를 추출하는 것보다 시간을 절약되고 효율적으로 작업할 수 있게 된다.In addition, it takes less time than extracting distance data for all regions by allowing the user to select and extract distance data only for the region of interest including the object the user wants to find without using distance data for unnecessary non-interested regions. to save money and work efficiently.

특히, 관심 영역 중에서도 특정 객체에 대해서만 거리 데이터를 또 선별하여 추출할 수 있도록 함으로서 관심 영역 상의 배경 정보 등 불필요한 정보들까지 모두 검색할 필요가 없어 역시 시간과 자원이 절약될 수 있게 된다.In particular, since distance data can be selected and extracted only for a specific object in the region of interest, there is no need to search all unnecessary information such as background information on the region of interest, thereby saving time and resources.

그리고, 복수의 객체 이미지와 각각에 대응하는 거리 데이터를 서로 매핑하여 저장해놓은 후에 사용자가 찾기 원하는 특정 객체와 이에 대한 거리 데이터를 선별하여 용이하게 검색할 수 있게 된다.In addition, after mapping and storing a plurality of object images and distance data corresponding to each other, the user can easily search by selecting a specific object and distance data that the user wants to find.

도 1은 실시예에 따른 전자 장치(100) 및 차량(200)을 포함하는 전체 시스템도이다.
도 2는 실시예에 따른 데이터 융합의 개념을 설명하기 위해 참조되는 도면이다.
도 3은 실시예에 다른 전자 장치(100)의 데이터 융합 방법을 설명하는 순서도이다.
도 4는 전방위 영상 데이터로부터 관심 영역을 추출하는 과정을 설명하기 위해 참조되는 도면이다.
도 5 내지 도 8은 실시예에 따른 데이터 융합과 추출의 구체적인 방법을 소개하기 위해 참고되는 도면이다.1 is an overall system diagram including an electronic device 100 and a vehicle 200 according to an embodiment.
2 is a diagram referenced to explain the concept of data fusion according to an embodiment.
3 is a flowchart illustrating a data fusion method of the electronic device 100 according to an embodiment.
4 is a diagram referenced to explain a process of extracting a region of interest from omnidirectional image data.
5 to 8 are diagrams referenced to introduce a specific method of data fusion and extraction according to an embodiment.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0012] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein with respect to one embodiment may be implemented in other embodiments without departing from the spirit and scope of the invention. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all scope equivalents as those claimed. Like reference numerals in the drawings refer to the same or similar functions throughout the various aspects.

도 1은 실시예에 따른 전자 장치(100) 및 차량(200)을 포함하는 전체 시스템도이다. 1 is an overall system diagram including an electronic device 100 and a vehicle 200 according to an embodiment.

도 1에 도시한 바와 같이, 전술한 목적을 달성하기 위해 1차적으로 차량(200)은 카메라(231) 및 라이다 센서(232)를 이용하여 영상 데이터와 센싱 데이터를 수집하고, 수집된 각 데이터들은 2차적으로 전자 장치(100)로 전송되어 별도로 가공됨으로서, 객체를 보다 정확하게 탐지할 수 있게 된다. As shown in FIG. 1 , in order to achieve the above object, the vehicle 200 primarily collects image data and sensing data using a camera 231 and a lidar sensor 232 , and each collected data These are secondarily transmitted to the electronic device 100 and processed separately, so that an object can be detected more accurately.

차량(200)은 통신부(210), 컨트롤러(220), 센서(230), 센싱부(240), 및 메모리(250)를 포함할 수 있다. The vehicle 200 may include a communication unit 210 , a controller 220 , a sensor 230 , a sensing unit 240 , and a memory 250 .

통신부(210)는 전자 장치(100)와 유/무선 통신을 수행할 수 있다. 실시예에 따라, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.The communication unit 210 may perform wired/wireless communication with the electronic device 100 . According to an embodiment, in order to perform communication, at least one of a transmit antenna, a receive antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element may be included.

실시예에 따르면, 차량(200)에서 수집된 영상 데이터와 센싱 데이터는 통신부(210)를 통해 전자 장치(100)로 전송될 수 있다.According to an embodiment, the image data and the sensing data collected by the vehicle 200 may be transmitted to the electronic device 100 through the communication unit 210 .

컨트롤러(220)는 차량(200)을 구성하는 각 부품을 전반적으로 제어하는 ECU(Electronic Control Unit)일 수 있다. The controller 220 may be an Electronic Control Unit (ECU) that generally controls each component constituting the vehicle 200 .

센서(230)는 차량(200) 외부에 위치하는 오브젝트를 검출하기 위한 것으로, 센싱 데이터에 기초하여 오브젝트 정보를 생성하고, 생성된 오브젝트 정보를 컨트롤러(220)로 전달할 수 있다. 오브젝트는 예를 들어, 차량(200)의 운행과 관련된 다양한 물체, 예를 들면, 차선, 타 차량, 보행자, 교통 신호, 및, 도로, 구조물, 과속 방지턱, 동물, 지형물 등을 포함할 수 있다.The sensor 230 is for detecting an object located outside the vehicle 200 , and may generate object information based on sensing data and transmit the generated object information to the controller 220 . The object may include, for example, various objects related to the operation of the vehicle 200, for example, lanes, other vehicles, pedestrians, traffic signals, and roads, structures, speed bumps, animals, terrain, and the like. .

센서(230)는 복수의 센서 모듈을 통하여 차량(200) 주변의 환경 정보를 센싱할 수 있다. The sensor 230 may sense environmental information around the vehicle 200 through a plurality of sensor modules.

실시예에 따른 센서(230)는 카메라(231), 라이다 센서(232), 그밖에 레이더 센서(미도시), 적외선 센서(미도시), 초음파 센서(미도시) 등을 포함할 수 있다.The sensor 230 according to the embodiment may include a camera 231 , a lidar sensor 232 , other radar sensors (not shown), an infrared sensor (not shown), and an ultrasonic sensor (not shown).

카메라(231)는 차량(200)의 주변 환경을 촬영하는 것으로, 실시예에 따르면, 360도 카메라 같이 차량의 주변 환경을 전방위로 촬영하는 전방위 영상 카메라를 포함할 수 있다. The camera 231 is to photograph the surrounding environment of the vehicle 200 , and according to an embodiment, may include an omnidirectional image camera for photographing the surrounding environment of the vehicle in all directions, such as a 360-degree camera.

특히, 실시예에 따르면, 차량의 자율주행(ADAS)이 제대로 동작하는지 정확하게 판별하려면 한 방향이 아닌 모든 전 방향의 영상이 찍혀야 하므로, 차량의 주변 환경이나 상황정보를 각각 따로 촬영하여 붙이는 것이 아닌 전방위 영상 카메라를 통해 한번에 촬영하여 수집하도록 함으로서 번거로움을 줄일 수 있게 된다.In particular, according to the embodiment, in order to accurately determine whether the autonomous driving (ADAS) of the vehicle is operating properly, images in all directions, not just one direction, must be taken. It is possible to reduce the hassle by capturing and collecting the images at once through the omnidirectional video camera.

전방위 영상 카메라는 360도 시야각을 가지는 영상을 촬영하도록 형성된 것이며, 수평면 상의 중심축을 기준으로 방사형으로 복수의 카메라가 배치된 형태일 수 있다. 여기서 복수의 카메라는 어안 렌즈를 포함할 수 있다.The omnidirectional video camera is formed to take an image having a 360-degree viewing angle, and may have a form in which a plurality of cameras are arranged radially with respect to a central axis on a horizontal plane. Here, the plurality of cameras may include a fisheye lens.

전방위 영상 카메라는 회전체 반사경과 집광 렌즈 및 촬상 소자를 이용하여 전방위를 한 번에 촬영하는 것으로, 회전체 반사경의 형상으로는 쌍곡면이나 구면,The omnidirectional video camera uses a rotating reflector, a condensing lens, and an imaging device to photograph all directions at once.

원추, 복합형 등 다양하며, 촬상 소자로는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)가 사용된다. 이 촬상 소자의 촬상면에 투영되는 화상(즉 전방위 영상)은 회전체 반사경에 반사된 것이어서 인간이 그대로 관찰하기에는 적합하지 않은 일그러진 화상이다. 따라서 화상의 정확한 관찰을 위해 촬상 소자의 출력을 외부의 마이크로세서 등을 통해 그 좌표를 변환하여 새로운 파노라마 영상을 만들어낸다.There are various types such as a cone, a complex type, and the like, and a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) is used as the imaging device. The image projected on the imaging plane of this imaging device (that is, an omnidirectional image) is a distorted image that is not suitable for human observation as it is reflected by a rotating reflector. Therefore, for accurate observation of an image, a new panoramic image is created by converting the coordinates of the output of the imaging device through an external microprocessor or the like.

이 전방위 영상 카메라를 통해 얻은 전방위 영상은 전방위 카메라 주변에 대한 2차원적인 정보를 제공할 수 있다. 만약 복수의 전방위 카메라를 통해 서로 다른 방향에서 촬영한 복수의 전방위 영상을 이용하면 전방위 카메라 주변에The omnidirectional image obtained through this omnidirectional imaging camera can provide two-dimensional information about the omnidirectional camera surroundings. If you use a plurality of omnidirectional images taken from different directions through a plurality of omnidirectional cameras,

대한 3차원적인 정보를 얻을 수 있다. 복수의 전방위 카메라로 구성되는 영상 장치를 스테레오 전방위 카메라라고 한다.3D information can be obtained. An imaging device composed of a plurality of omnidirectional cameras is called a stereo omnidirectional camera.

실시예에 따르면, 전방위 영상 카메라를 이용함으로서, 차량의 주변 환경이나 상황정보를 각각 따로 촬영하여 붙이는 것이 아닌 한번에 모든 방향을 촬영하여 수집할 수 있어 번거로움이 덜어질 수 있는 이점이 있다. According to the embodiment, by using an omnidirectional video camera, there is an advantage in that it is possible to capture and collect all directions at once rather than separately photographing and pasting the surrounding environment or situation information of the vehicle, thereby reducing the hassle.

라이다 센서(Light Imaging Detection and Ranging, LIDAR, 232)는 레이저 광 펄스를 물체(오브젝트)에 조사하고 그 물체로부터 반사된 빛을 분석하여 물체의 크기와 배치를 감지하고 물체와의 거리를 맵핑할 수 있다. The LIDAR sensor (Light Imaging Detection and Ranging, LIDAR, 232) irradiates a laser light pulse to an object (object) and analyzes the reflected light from the object to detect the size and arrangement of the object and map the distance to the object. can

라이다 센서(232)는 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 형상, 위치, 반사율, 오브젝트와의 거리, 및 상대 속도 중 적어도 하나에 관련된 센싱 데이터를 생성할 수 있다.The lidar sensor 232 detects an object based on a time-of-flight (TOF) method or a phase-shift method as a laser light medium, and the shape, position, reflectance, and relationship of the detected object with the object Sensing data related to at least one of a distance and a relative speed may be generated.

라이다 센서(232)는 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 하나 또는 복수개로 배치될 수 있다.One or a plurality of lidar sensors 232 may be disposed at an appropriate location outside the vehicle to detect an object located in the front, rear, or side of the vehicle.

라이다 센서(232)는, 광 송신부, 광 수신부 및 광 송신부 및 광 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리된 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다. The lidar sensor 232 includes at least one processor that is electrically connected to the light transmitter, the light receiver, and the light transmitter and the light receiver, processes the received signal, and generates data about the object based on the processed signal. may include

라이다 센서(232)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.The lidar sensor 232 may be implemented in a time of flight (TOF) method or a phase-shift method.

라이다 센서(232)는 N채널의 레이어를 가질 수 있다.The lidar sensor 232 may have an N-channel layer.

센싱부(240)는 차량(200)에 상태에 관한 신호를 감지할 수 있다.The sensing unit 240 may detect a signal related to a state of the vehicle 200 .

센싱부(240)는 충돌 센서, 휠 센서, 속도 센서, 자이로 센서, 스티어링 휠 센서, 온도 센서, 브레이크 페달 포지션 센서 등으로부터 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보, 차량 가속도 정보, 기울기 정보, 스티어링 휠 회전 각도, 온도 정보, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다. 다만, 본 발명의 권리범위가 이에 제한되지 않고 차량(200)의 상태에 관한 신호를 감지할 수 있는 모든 종류의 센서를 포함할 수 있다. The sensing unit 240 includes vehicle collision information, vehicle direction information, vehicle location information, vehicle acceleration information, inclination information, and the like from a collision sensor, a wheel sensor, a speed sensor, a gyro sensor, a steering wheel sensor, a temperature sensor, and a brake pedal position sensor. A sensing signal for a steering wheel rotation angle, temperature information, and pressure applied to a brake pedal may be acquired. However, the scope of the present invention is not limited thereto and may include all types of sensors capable of detecting a signal related to the state of the vehicle 200 .

센서(230) 및/또는 센싱부(240)의 센싱 정보들은 CAN, LIN, 이더넷 등의 차량 내 통신을 통해 컨트롤러(220)로 전송될 수 있다.The sensing information of the sensor 230 and/or the sensing unit 240 may be transmitted to the controller 220 through in-vehicle communication such as CAN, LIN, or Ethernet.

메모리(250)는 전자 장치(100)의 제어 및 구동에 필요한 모든 종류의 데이터를 저장한다.The memory 250 stores all kinds of data necessary for controlling and driving the electronic device 100 .

메모리(250)는 카메라(231)의 영상 데이터와 라이다 센서(232)의 센싱 데이터를 수집할 수 있다. The memory 250 may collect image data of the camera 231 and sensing data of the lidar sensor 232 .

메모리(250)에 저장된 영상 데이터와 센싱 데이터는 컨트롤러(220)에 의해 독출되어 통신부(210)를 통해 전자 장치(100)로 전송될 수 있다.Image data and sensing data stored in the memory 250 may be read by the controller 220 and transmitted to the electronic device 100 through the communication unit 210 .

전자 장치(100)는 차량(200)과의 통신을 통해 차량(200)으로부터 수집된 영상 데이터와 센싱 데이터를 융합 및/또는 가공할 수 있는 모든 종류의 전자 기기(예를 들어, 컴퓨터, 노트북, 스마트폰 등)를 포함한다. The electronic device 100 includes all kinds of electronic devices (eg, a computer, a notebook computer, smartphone, etc.).

전자 장치(100)는 인터페이스부(110), 제어부(120), 저장부(130), 사용자 인터페이스부(140), 및 출력부(150)를 포함할 수 있다. The electronic device 100 may include an interface unit 110 , a control unit 120 , a storage unit 130 , a user interface unit 140 , and an output unit 150 .

인터페이스부(110)는 차량(200)과 유/무선 통신을 수행할 수 있다.The interface unit 110 may perform wired/wireless communication with the vehicle 200 .

인터페이스부(110)는 차량(200)의 주변에 대한 전방위를 촬영하여 획득된 전방위 영상 데이터와 전방위 영상 데이터에 대응하여 차량(200)의 센서로부터 생성된 전체 센싱 데이터를 차량(200)으로부터 수신하여 제어부(120)로 전송할 수 있다. The interface unit 110 receives from the vehicle 200 the entire sensing data generated from the sensor of the vehicle 200 in response to the omnidirectional image data and the omnidirectional image data obtained by photographing the omnidirectional area around the vehicle 200 . may be transmitted to the controller 120 .

저장부(130)는 전자 장치(100)를 제어하는 모든 종류의 데이터를 저장한다. The storage unit 130 stores all types of data for controlling the electronic device 100 .

저장부(130)는 제어부(120)로부터 전방위 영상 데이터와 전체 센싱 데이터를 수신하여 저장한다.The storage unit 130 receives and stores the omnidirectional image data and the entire sensing data from the control unit 120 .

제어부(120)는 전자 장치(100)를 구성하는 각 구성요소의 전반적인 제어를 담당한다.The controller 120 is in charge of overall control of each component constituting the electronic device 100 .

제어부(120)는 저장부(130)에 저장된 전방위 영상 데이터와 전체 센싱 데이터를 독출하여 융합할 수 있다. 제어부(120)의 상세한 융합 프로세스에 대해서는 도 5 내지 도 8을 참조하여 후술한다.The controller 120 may read and fuse the omnidirectional image data stored in the storage unit 130 and the entire sensing data. A detailed fusion process of the controller 120 will be described later with reference to FIGS. 5 to 8 .

저장부(130)는 차량(200)으로부터 수신된 전방위 영상 데이터와 전체 센싱 데이터를 저장할 뿐 아니라, 제어부(120)의 융합 과정을 통해 생성된 관심 영역 및 관심 영역에 대응하는 부분 센싱 데이터의 매핑 정보를 저장할 수 있다.The storage unit 130 not only stores the omnidirectional image data and the entire sensing data received from the vehicle 200 , but also mapping information of the region of interest generated through the fusion process of the controller 120 and the partial sensing data corresponding to the region of interest. can be saved.

사용자 인터페이스부(140)는 사용자로부터 입력받은 명령어를 제어부(120)로 전송하고, 제어부(120)에서 해당 명령어에 대한 동작을 수행한 결과를 사용자 인터페이스부(140)를 통해 사용자에게 출력할 수 있다.The user interface unit 140 may transmit a command input from the user to the control unit 120 , and output a result of the control unit 120 performing an operation on the command to the user through the user interface unit 140 . .

사용자 인터페이스부(140)는 전방위 영상 데이터와 전체 센싱 데이터, 그리고 특정 매핑 정보를 영상 재생 플레이어를 통해 사용자에게 제공할 수 있다.The user interface unit 140 may provide the omnidirectional image data, the entire sensing data, and specific mapping information to the user through the image playback player.

사용자가 저장부(130)에 저장된 특정 객체와 특정 객체에 대한 부분 센싱 데이터 정보를 포함하는 특정 매핑 정보를 찾고자 할 경우, 특정 매핑 정보는 인덱싱되어 있으므로, 제어부(120)는 사용자로부터 사용자 인터페이스부(140)를 통해 인덱싱 키 값을 입력받아 저장부(130)에서 인덱싱 키값에 해당하는 특정 매핑 정보를 선별하여 용이하게 검색하여 사용자에게 제공할 수 있다.When a user wants to find a specific object stored in the storage unit 130 and specific mapping information including partial sensing data information for the specific object, the specific mapping information is indexed, so the controller 120 receives the user interface unit ( 140) can receive the indexing key value, select specific mapping information corresponding to the indexing key value in the storage unit 130, and easily search for it and provide it to the user.

도 2는 실시예에 따른 데이터 융합의 개념을 설명하기 위해 참조되는 도면이다.2 is a diagram referenced to explain the concept of data fusion according to an embodiment.

도 2에 도시한 바와 같이, 전자 장치(100)는 전방위 영상 데이터(a)로부터 관심 영역((c)의 (가), (나), (다))을 추출하고, 관심 영역과 전체 센싱 데이터 (b)를 융합할 수 있다.As shown in FIG. 2 , the electronic device 100 extracts a region of interest ((a), (b), and (c) of (c)) from the omnidirectional image data (a), and the region of interest and the entire sensing data (b) can be fused.

본 발명에서 관심 영역은 객체 이미지를 포함하는 영역으로 정의한다. 그리고, 전체 센싱 데이터는 전방위 영상 데이터에 대응하여 차량(200)의 센서로부터 생성된 데이터로, 부분 센싱 데이터는 전체 센싱 데이터의 일부분으로 관심 영역에 대응하는 데이터로 정의한다. In the present invention, a region of interest is defined as a region including an object image. In addition, the entire sensed data is data generated by the sensor of the vehicle 200 in response to the omnidirectional image data, and the partial sensed data is defined as data corresponding to a region of interest as a part of the entire sensed data.

본 발명에서는 거리 측정 센서 중 라이다 센서(232)를 대표로 예시하나, 본 발명의 권리범위는 레이더 센서 등 다른 종류의 거리 측정 센서에도 적용될 수 있다. In the present invention, the lidar sensor 232 among distance measuring sensors is exemplified as a representative, but the scope of the present invention may be applied to other types of distance measuring sensors such as a radar sensor.

다만, 특히 라이다 센서(232)를 이용할 경우, 레이더 센서를 이용하는 것에 비해 저렴한 비용으로 이용할 수 있고, 형태 인식의 정밀도가 보다 향상된다는 장점이 있다.However, in particular, when the lidar sensor 232 is used, it can be used at a lower cost compared to using a radar sensor, and the accuracy of shape recognition is further improved.

본 발명에서는 라이다 센서(232)의 거리 측정 값을 융합되는 대표 측정 데이터로 예시하나, 반사율 정보를 융합하여 객체 검출에 활용할 수도 있다.In the present invention, the distance measurement value of the lidar sensor 232 is exemplified as fused representative measurement data, but reflectance information may be fused and used for object detection.

본 발명에서는 라이다 센서(232)를 대표로 예시하나, 본 발명의 권리범위는 객체를 검출할 수 있는 센서(230)에 포함되는 레이더 센서로부터 측정 데이터, 초음파 센서로부터 측정된 데이터, 적외선 센서로부터 측정된 데이터 등을 융합하여 객체 검출에 활용할 수도 있다.In the present invention, the lidar sensor 232 is exemplified as a representative, but the scope of the present invention includes data measured from a radar sensor included in the sensor 230 capable of detecting an object, data measured from an ultrasonic sensor, and an infrared sensor. Measured data, etc. can be fused and used for object detection.

또한, 그밖에도 기타 센싱부(240)인 충돌 센서, 휠 센서, 속도 센서, 자이로 센서, 핸들 회전에 이한 스티어링 센서 등으로부터 출력된 데이터를 융합하여 객체 검출 뿐 아니라 해당 객체의 상태 정보를 동시에 획득할 수도 있게 된다. In addition, by fusing data output from other sensing units 240 , such as a collision sensor, a wheel sensor, a speed sensor, a gyro sensor, and a steering sensor based on steering wheel rotation, not only object detection but also state information of the object can be acquired simultaneously. can also be

제어부(120)는 관심 영역과 이에 해당되는 부분 센싱 데이터를 매핑하여 인덱싱한 융합 정보를 저장부(130)에 저장할 수 있다. The controller 120 may store the fusion information indexed by mapping the region of interest and the corresponding partial sensing data in the storage unit 130 .

이로서 사용자는 전자 장치(100)의 저장부(130)에 저장된 융합 정보만을 별도로 선별하여 용이하게 검색 및/또는 추출할 수 있게 됨으로서, 시간과 자원이 절약될 수 있게 된다. As a result, the user can easily search and/or extract only the fusion information stored in the storage unit 130 of the electronic device 100 separately, thereby saving time and resources.

도 2에서는 전체 센싱 데이터와 관심 영역의 융합 개념을 설명하였으며, 이하 도 4를 참조하여 전방위 영상 데이터로부터 관심 영역을 추출하는 과정을 설명하고, 도 3 및 도 5 내지 도 7을 참조하여 전체 센싱 데이터와 관심 영역을 융합하는 구체적인 알고리즘에 대해 소개한다. The fusion concept of the entire sensing data and the region of interest has been described in FIG. 2 , and the process of extracting the region of interest from the omnidirectional image data will be described with reference to FIG. 4 , and the entire sensing data with reference to FIGS. 3 and 5 to 7 . We introduce a specific algorithm that converges with the region of interest.

도 4는 전방위 영상 데이터로부터 관심 영역을 추출하는 과정을 설명하기 위해 참조되는 도면이다. 4 is a diagram referenced to explain a process of extracting a region of interest from omnidirectional image data.

도 4에 도시한 바와 같이, 제어부(120)는 신경망을 통한 딥 러닝을 수행하여 전방위 영상 데이터로부터 관심 영역((가)(나)(다))을 추출하는 과정을 수행할 수 있고, 추출된 관심 영역 및 관심 영역에 대한 정보는 저장부(130)에 저장할 수 있다. As shown in FIG. 4 , the controller 120 may perform a process of extracting a region of interest ((A)(B)(C)) from omnidirectional image data by performing deep learning through a neural network, and the extracted The region of interest and information on the region of interest may be stored in the storage unit 130 .

구체적으로, 제어부(120)는 신경망의 입력 노드에 전방위 영상 데이터를 입력하고, 출력 노드로부터 관심 영역 및 관심 영역에 대한 정보를 출력하는 기계 학습을 반복적으로 수행하여 획득된 학습 모델을 포함할 수 있다.Specifically, the controller 120 may include a learning model obtained by repeatedly performing machine learning to input omnidirectional image data to the input node of the neural network and output information about the region of interest and the region of interest from the output node. .

해당 학습 모델은 YOLO(You Only Look Once), R-CNN(Convolution Neural Network) 등을 예시할 수 있으나, 본 발명의 권리범위가 이에 제한되지 않는다. The corresponding learning model may exemplify You Only Look Once (YOLO), Convolution Neural Network (R-CNN), and the like, but the scope of the present invention is not limited thereto.

제어부(120)가 출력하는 관심 영역에 대한 정보는 관심 영역에 포함된 객체의 종류(예를 들면, 사람 또는 자동차), 객체의 개수, 객체의 크기와 같은 데이터 등을 포함할 수 있다. 그밖에, 영상 프레임 정보, 객체 이름, 시간 등과 같은 데이터를 포함할 수도 있다. 이러한 관심 영역에 대한 정보는 저장부(130)에 기 저장된 데이터와 비교되어 객체 검출에 이용될 수 있다. The information on the region of interest output by the controller 120 may include data such as the type of object (eg, a person or a vehicle) included in the region of interest, the number of objects, and the size of the object. In addition, data such as image frame information, object name, and time may be included. The information on the region of interest may be compared with data pre-stored in the storage unit 130 and used for object detection.

도 3a 및 도 3b는 실시예에 따른 전자 장치(100)의 데이터 융합 방법을 설명하는 순서도이다.3A and 3B are flowcharts illustrating a data fusion method of the electronic device 100 according to an embodiment.

도 3a에 도시한 바와 같이, 제어부(120)는 인터페이스부(110)를 통해 차량(200)의 카메라(231)가 상기 차량(200)의 주변에 대한 전방위를 촬영하여 획득된 전방위 영상 데이터와 상기 전방위 영상 데이터에 대응하여 상기 차량(200)의 라이다 센서(232)로부터 생성된 전체 센싱 데이터를 상기 차량(200)으로부터 수신할 수 있다(s310). 라이다 센서(232)는 차량(200)의 전방위를 스캔하여 전체 센싱 데이터를 생성할 수 있다.As shown in FIG. 3A , the control unit 120 includes the omnidirectional image data obtained by the camera 231 of the vehicle 200 photographing the omnidirectional area around the vehicle 200 through the interface unit 110 and the The entire sensing data generated by the lidar sensor 232 of the vehicle 200 in response to the omnidirectional image data may be received from the vehicle 200 (s310). The lidar sensor 232 may scan all directions of the vehicle 200 to generate overall sensing data.

전방위 영상 데이터와 전체 센싱 데이터는 저장부(130)에 저장될 수 있으며,The omnidirectional image data and the entire sensing data may be stored in the storage unit 130,

제어부(120)는 전방위 영상 데이터와 전체 센싱 데이터를 독출하여 데이터 융합을 수행할 수 있다.The controller 120 may perform data fusion by reading the omnidirectional image data and the entire sensing data.

구체적으로, 제어부(120)는 전방위 영상 데이터로부터 관심 영역을 추출할 수 있다(s320). 관심 영역의 추출에 대해서는 도 4에서 전술한 바와 같다.Specifically, the controller 120 may extract a region of interest from the omnidirectional image data (s320). The extraction of the ROI is as described above with reference to FIG. 4 .

제어부(120)는 관심 영역과 전체 센싱 데이터를 융합할 수 있다.(s330)The controller 120 may fuse the region of interest and the entire sensing data (s330).

도 5에 도시한 바와 같이, (a)에서는 객체 이미지를 포함하는 관심 영역(“I”)를 나타내며, (b)에서는 전체 라이다 센싱 데이터 중에서 관심 영역(“I”)의 위치에 대응하는 부분 라이다 센싱 데이터(“S”)를 나타낸다.As shown in FIG. 5 , in (a), a region of interest (“I”) including an object image is indicated, and in (b), a portion corresponding to the position of the region of interest (“I”) among the entire lidar sensing data. Indicates lidar sensing data (“S”).

본 발명에서 전체 센싱 데이터와 관심 영역의 융합은, 전체 센싱 데이터에 대응하는 전체 라이다 데이터의 3D 모델링 화면 상의 좌표값과 관심 영역의 상기 전방위 영상 데이터 상의 좌표값을 비교함으로서 수행될 수 있다. In the present invention, the fusion of the entire sensing data and the region of interest may be performed by comparing the coordinate values on the 3D modeling screen of the entire lidar data corresponding to the entire sensing data with the coordinate values on the omnidirectional image data of the region of interest.

본 발명에서 전체 라이다 데이터는 차량이 전방위를 스캐닝하여 생성된 3D모델링 화면을 구성하는 복수의 포인트를 의미한다. In the present invention, the entire lidar data refers to a plurality of points constituting a 3D modeling screen generated by scanning the vehicle in all directions.

복수의 포인트의 좌표 정보는 3D 모델링 화면상에서 각각 제1축 좌표(예,X축 좌표), 제2축 좌표(예,Y축 좌표), 및 제3축 좌표(예,Z축 좌표) 정보를 포함할 수 있다. 그리고, 복수의 포인트 각각은 발사각(V), 방위각(A), 거리 데이터(D), 측정강도(I) 중 적어도 하나의 정보를 포함할 수 있다.Coordinate information of a plurality of points includes first-axis coordinates (eg, X-axis coordinates), second-axis coordinates (eg, Y-axis coordinates), and third-axis coordinates (eg, Z-axis coordinates) information on the 3D modeling screen. may include In addition, each of the plurality of points may include at least one information of a launch angle (V), an azimuth angle (A), distance data (D), and a measurement intensity (I).

방위각(A)은 라이다 센서(232)의 수평 방향의 스캔 각도로, 발사각(V)은 수직 방향의 스캔 각도로 정의할 수 있다. 해당 라이다 데이터가 관심 영역에 매핑되는 경우, 제어부(120)는 라이다 데이터의 거리 데이터(D) 등을 부분 센싱 데이터로 추출할 수 있다.The azimuth A may be defined as a horizontal scan angle of the lidar sensor 232 , and the launch angle V may be defined as a vertical scan angle of the lidar sensor 232 . When the corresponding lidar data is mapped to the region of interest, the controller 120 may extract distance data D of the lidar data as partial sensing data.

제어부(120)는 라이다 데이터의 제2 각도값(예, 발사각)에 대응하는 3D 모델링 화면상의 좌표값과 관심 영역의 전방위 영상 데이터 상의 제2축 좌표값들을 비교할 수 있다(s331).The controller 120 may compare the coordinate values on the 3D modeling screen corresponding to the second angle value (eg, the launch angle) of the lidar data with the second axis coordinate values on the omnidirectional image data of the region of interest (s331).

도 6의 (b)에 도시한 바와 같이, 3D 모델링 화면상에서 전체 라이다 데이터는 포인트들로 표현되고, 포인트들은 채널을 구성한다. As shown in (b) of FIG. 6, the entire lidar data on the 3D modeling screen is expressed as points, and the points constitute a channel.

예를 들어, 도 6의 (b)는 16 채널을 구성하며, 각 채널별 Y축 픽셀값(Yp)은 다음 수식을 통해 도 6의 (b)와 같이 표현된다. For example, in (b) of FIG. 6 , 16 channels are formed, and the Y-axis pixel value Yp for each channel is expressed as in (b) of FIG. 6 through the following equation.

N채널의 Y축 픽셀(Yp) : (N-1)*Dp + FpY-axis pixel of N channel (Yp) : (N-1)*Dp + Fp

Fp는 첫번째 채널에 해당하는 Y축 픽셀을 의미하고, Dp는 채널 사이의 거리 차이 해당하는 픽셀 데이터를 의미한다.Fp denotes a Y-axis pixel corresponding to the first channel, and Dp denotes pixel data corresponding to a distance difference between channels.

제어부(120)는 이러한 Fp와 Dp를 이용하여 도 6의 (b)와 같이 전체 라이다 데이터의 채널 별 Y축 픽셀값(Yp)을 구할 수 있다. 이 때, 도 6의 (a)와 같이 캘리브레이션 판을 놓고 전방위 영상 데이터(도 5의 (a))와 라이다 센싱 데이터(도 5의 (b))를 동시에 캡쳐하여 전방위 영상 데이터 중 관심 영역의 Fp, Dp를 이용한 y축 픽셀값(y)과 라이다 센싱 데이터의 Fp, Dp를 이용한 채널 별 Y축 픽셀값(Yp)을 계산할 수 있다.The controller 120 may obtain the Y-axis pixel value Yp for each channel of the entire LiDAR data as shown in FIG. 6B by using these Fp and Dp. At this time, as shown in FIG. 6 (a), the calibration plate is placed and the omnidirectional image data (FIG. 5 (a)) and LiDAR sensing data (FIG. 5 (b)) are simultaneously captured to determine the region of interest among the omnidirectional image data. It is possible to calculate the y-axis pixel value (y) using Fp and Dp and the Y-axis pixel value (Yp) for each channel using Fp and Dp of the lidar sensing data.

제어부(120)는 관심 영역의 y축 픽셀값(y)과 라이다 센싱 데이터의 채널 별 Y축 픽셀값(Yp)을 매핑할 수 있다. 즉, 임의의 한 라이다 데이터의 발사각에 대응하는 3D 모델링 화면상의 Y축 픽셀값(Yp)과 관심 영역의 전방위 영상 데이터 상의 y축 픽셀값(y)들을 비교할 수 있다.The controller 120 may map the y-axis pixel value (y) of the region of interest and the Y-axis pixel value (Yp) for each channel of the lidar sensing data. That is, the Y-axis pixel value (Yp) on the 3D modeling screen corresponding to the launch angle of any one LiDAR data may be compared with the Y-axis pixel value (y) on the omnidirectional image data of the region of interest.

예를 들어, 도 5의 (a)의 관심 영역(“I”, 사각박스)의 전방위 영상 데이터 상의 y축 픽셀값(y)이 y1=120, y2=848(사각박스의 y축 꼭지점 좌표) 이고, x축 픽셀값(x)이 x1=50, x2 = 784(사각박스의 x축 꼭지점 좌표)인 경우, 제어부(120)는 소정 발사각(V)을 가지는 어떤 임의의 한 라이다 데이터의 Y축 픽셀값(Yp)이 y1=120, y2=848 의 범위내에 들어오는 지 여부를 판단할 수 있다.For example, the y-axis pixel value (y) on the omnidirectional image data of the region of interest (“I”, square box) of FIG. , and when the x-axis pixel value (x) is x1 = 50, x2 = 784 (x-axis vertex coordinates of the square box), the control unit 120 controls the Y of any one lidar data having a predetermined launch angle (V). It may be determined whether the axis pixel value Yp falls within the range of y1=120 and y2=848.

실시예에 따라서는 도 7과 같이 라이다 데이터를 구면 형상으로 변환하여 라이다 데이터에 대응하는 이미지 픽셀을 찾을 수도 있다. 이는, 전방위 영상 데이터가 구 형상이므로, 두 영상의 형상을 유사하게 맞추어 비교하기 쉽게 하기 위한 것이다. 따라서, 포인트 클라우드 형태의 3D 좌표를 구형의 영역으로 변환하기 위해 라이다 데이터의 X축 좌표값, Y축 좌표값, Z축 좌표값을 모두 구 형상 이미지의 소정의 반지름 위치로 이동시킬 수 있다. 참고로, X축 좌표값: D*Cos(V)*Sin(A), Y축 좌표값: D*Cos(V)*Cos(A), Z축 좌표값: D*Sin(V)과 같이 산출할 수 있고, X축 좌표값, Y축 좌표값, Z축 좌표값의 위치만 변경될 뿐, 라이다 데이터의 거리 데이터(D)는 그대로 유지된다.In some embodiments, image pixels corresponding to the lidar data may be found by converting the lidar data into a spherical shape as shown in FIG. 7 . This is to facilitate comparison by matching the shapes of the two images similarly, since the omnidirectional image data has a spherical shape. Therefore, in order to convert the 3D coordinates of the point cloud form into a spherical area, the X-axis coordinate values, Y-axis coordinate values, and Z-axis coordinate values of the lidar data can all be moved to a predetermined radial position of the spherical image. For reference, X-axis coordinate value: D*Cos(V)*Sin(A), Y-axis coordinate value: D*Cos(V)*Cos(A), Z-axis coordinate value: D*Sin(V) It can be calculated, only the positions of the X-axis coordinate value, Y-axis coordinate value, and Z-axis coordinate value are changed, and the distance data (D) of the lidar data is maintained as it is.

제어부(120)는 관심 영역의 전방위 영상 데이터 상의 제1축 좌표값들을 각도 단위로 변경한 변환 각도값들을 생성할 수 있다(s332).The controller 120 may generate transformation angle values obtained by changing the first axis coordinate values on the omnidirectional image data of the region of interest in angular units ( S332 ).

예를 들어, 도 8의 관심 영역((b))의 전방위 영상 데이터((a)) 상의 y축 픽셀값(y)이 y1=120, y2=848(사각박스의 y축 꼭지점 좌표) 이고, x축 픽셀값(x)이 x1=50, x2 = 784(사각박스의 x축 꼭지점 좌표)인 경우, x축 픽셀값(x)들을 각도 단위로 변경한 변환 각도값들(xd1=1.39, xd2=21.7)을 아래 수식을 이용하여 생성할 수 있다.For example, the y-axis pixel value (y) on the omnidirectional image data (a) of the region of interest (b) of FIG. 8 is y1 = 120, y2 = 848 (the y-axis vertex coordinates of the square box), When the x-axis pixel value (x) is x1 = 50, x2 = 784 (x-axis vertex coordinates of the square box), the transformation angle values (xd1 = 1.39, xd2) by changing the x-axis pixel values (x) in angle units =21.7) can be generated using the formula below.

xd=x*360/W(이미지 가로길이)xd=x*360/W (image width)

즉, 전방위 영상 데이터는 360도 카메라로부터 획득된 구 형상이므로, 전방위 영상 데이터의 프레임 픽셀을 0도에서 360도 범위의 각도로 환산하여, 이에 포함된 관심 영역의 x축 픽셀값(x)들을 각도값으로 표현할 수 있다. That is, since the omnidirectional image data has a spherical shape obtained from a 360-degree camera, the frame pixels of the omnidirectional image data are converted to angles ranging from 0 degrees to 360 degrees, and the x-axis pixel values (x) of the region of interest included therein It can be expressed as a value.

그리고, 제어부(120)는 x축 각도값(xd)와 라이다 데이터의 제1 각도값(예>방위각(A))을 비교할 수 있다(s333). 구체적으로, 라이다 데이터의 제1 각도값이 xd1=1.39, xd2=21.7의 범위내에 들어오는 지 여부를 판단할 수 있다.Then, the control unit 120 may compare the x-axis angle value (xd) and the first angle value (eg, azimuth (A)) of the lidar data (s333). Specifically, it may be determined whether the first angle value of the lidar data falls within the range of xd1 = 1.39 and xd2 = 21.7.

제어부(120)는 라이다 데이터의 좌표값이 관심 영역의 제2축 좌표값들 범위안에 매핑되며, 라이다 데이터의 제1 각도값이 관심 영역의 상기 변환 각도값들 범위안에 매핑되는 소정의 조건을 만족하는 지 여부를 판별할 수 있다. (s334) 그리고, 소정의 조건을 만족하는 경우 제어부(120)는 소정의 조건을 만족하는 라이다 데이터들에 대응하는 센싱 데이터를 부분 센싱 데이터로 결정할 수 있다.(s335)The control unit 120 is a predetermined condition in which the coordinate values of the lidar data are mapped within the range of the second axis coordinate values of the region of interest, and the first angle value of the lidar data is mapped within the range of the transformation angle values of the region of interest. It can be determined whether or not (S334) And, when a predetermined condition is satisfied, the controller 120 may determine the sensing data corresponding to the lidar data satisfying the predetermined condition as the partial sensing data (s335).

예를 들어, 도 5의 (a)의 관심 영역(“I”, 사각박스)의 전방위 영상 데이터 상의 y축 픽셀값(y)이 y1=120, y2=848 이고, x축 픽셀값(x)이 x1=50, x2 = 784인 경우, 제어부(120)는 어떤 임의의 한 라이다 데이터의 Y축 픽셀값(Yp)이 y1=120, y2=848의 범위내에 들어오는 것으로 판단하고(즉, 120 이상 848 이하), 상기 라이다 데이터의 제1 각도값이 xd1=1.39, xd2=21.7의 범위내에 들어오는 것으로 판단하는 경우(즉, 1.39 이상 21.7 이하), 해당 라이다 데이터에 대응하는 센싱 데이터가 관심 영역에 대응하는 부분 센싱 데이터에 포함되는 것으로 결정할 수 있다. 그리고 이러한 조건을 만족하는 복수의 라이다 데이터들에 대응하는 센싱 데이터들을 부분 센싱 데이터로 결정할 수 있다.For example, the y-axis pixel value (y) on the omnidirectional image data of the region of interest (“I”, square box) of FIG. 5A is y1=120, y2=848, and the x-axis pixel value (x) If x1 = 50, x2 = 784, the control unit 120 determines that the Y-axis pixel value (Yp) of any one LiDAR data falls within the range of y1 = 120 and y2 = 848 (that is, 120 848 or less), when it is determined that the first angle value of the lidar data falls within the range of xd1 = 1.39 and xd2 = 21.7 (ie, 1.39 or more and 21.7 or less), the sensing data corresponding to the lidar data is of interest It may be determined to be included in the partial sensing data corresponding to the region. In addition, sensing data corresponding to a plurality of lidar data satisfying these conditions may be determined as partial sensing data.

전술한 데이터 융합 과정은 전방위 영상 데이터에 포함된 복수의 관심 영역 모두에 대해 반복적으로 수행될 수 있다.The above-described data fusion process may be repeatedly performed on all of the plurality of ROIs included in the omnidirectional image data.

제어부(120)는 관심 영역에 대응하는 부분 센싱 데이터를 추출할 수 있다(s340). 추출된 부분 센싱 데이터 정보는 저장부(130)에 저장할 수 있다.The controller 120 may extract partial sensing data corresponding to the ROI (S340). The extracted partial sensing data information may be stored in the storage unit 130 .

그리고, 제어부(120)는 부분 센싱 데이터 중 소정의 확률값 이상 반복되어 추출되는 센싱 데이터를 관심 영역의 대표 센싱 데이터로 결정할 수 있다(s350)In addition, the controller 120 may determine, as the representative sensing data of the ROI, sensing data repeatedly extracted over a predetermined probability value among the partial sensing data (s350).

예를 들어, 도 5의 (a)를 보면, 관심 영역 중 객체인 버스 이외에도 나머지 잔여 이미지 부분이 포함되어 있다(바닥, 배경 등). 관심 영역에 대응하는 부분 센싱 데이터는 바닥에 대한 부분 센싱 데이터까지 모두 포함되어 있으므로, 바닥이 아닌 객체(사물)에 대한 정확한 부분 센싱 데이터를 얻고자 하는 경우, 부분 센싱 데이터 중 대표 데이터를 결정할 수 있어야 한다. 본 발명에서는, 이를 위하여, 객체를 제외한 나머지 잔여 이미지를 노이즈로 처리하고, 최빈값으로 산출되는 부분 센싱 데이터를 관심 영역의 대표 센싱 데이터로 결정할 수 있다. 즉, 대표 센싱 데이터가 객체의 거리 데이터가 되는 것이다.For example, referring to (a) of FIG. 5 , in the region of interest, in addition to the bus, which is an object, the remaining image parts are included (floor, background, etc.). Since the partial sensing data corresponding to the region of interest includes all the partial sensing data for the floor, if you want to obtain accurate partial sensing data for an object (thing) other than the floor, you must be able to determine representative data among the partial sensing data. do. In the present invention, for this, the remaining images except for the object may be processed as noise, and partial sensing data calculated as the mode may be determined as representative sensing data of the ROI. That is, the representative sensing data becomes the distance data of the object.

특히, 관심 영역의 중간 부분에서 최빈값을 산출할 수 있다. 일반적으로 객체는 중간 부분에 배치되고, 잔여 이미지는 관심 영역의 외곽부(상부, 하부, 좌측, 우측 등)에 배치되는 경우가 많으므로 이를 고려하여 중간 부분에서 최빈값을 산출할 수 있다. In particular, the mode may be calculated in the middle part of the ROI. In general, the object is disposed in the middle part, and the residual image is often disposed in the outer part (top, bottom, left, right, etc.) of the ROI. Considering this, the mode may be calculated from the middle part.

이렇게 관심 영역과 전체 센싱 데이터의 융합 정보, 부분 센싱 데이터 추출 정보 및 객체와 대표 센싱 데이터의 대응을 나타내는 매핑 정보 중 적어도 하나가 저장부(130)에 저장된 후, 사용자 인터페이스부(140)를 통해 추후 사용자에게 제공될 수 있다.After at least one of the fusion information of the region of interest and the entire sensing data, the partial sensing data extraction information, and the mapping information indicating the correspondence between the object and the representative sensing data is stored in the storage unit 130, later through the user interface unit 140 may be provided to the user.

이상 설명된 실시 형태는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터로 판독가능한 기록매체에 기록될 수 있다. 상기 컴퓨터로 판독가능한 기록매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. The embodiments described above may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.

상기 컴퓨터로 판독가능한 기록매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field.

컴퓨터로 판독가능한 기록매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 실행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of the computer-readable recording medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM and DVD, and a magneto-optical medium such as a floppy disk. optical media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to act as one or more software modules for carrying out the processing according to the present invention, and vice versa.

본 명세서의 양상들은 전체적으로 하드웨어, 전체적으로 소프트웨어 (펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함 함) 또는 컴퓨터 판독 가능 프로그램 코드가 구현 된 하나 이상의 컴퓨터 판독 가능 매체에 구현 된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.Aspects of this specification may take the form of a computer program product embodied on one or more computer readable media embodied in hardware entirely, software entirely (including firmware, resident software, microcode, etc.) or computer readable program code. .

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Features, structures, effects, etc. described in the above embodiments are included in one embodiment of the present invention, and are not necessarily limited to one embodiment. Furthermore, features, structures, effects, etc. illustrated in each embodiment can be combined or modified for other embodiments by those of ordinary skill in the art to which the embodiments belong. Accordingly, the contents related to such combinations and modifications should be interpreted as being included in the scope of the present invention.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the embodiment has been described above, it is only an example and does not limit the present invention, and those of ordinary skill in the art to which the present invention pertains are exemplified above in a range that does not depart from the essential characteristics of the present embodiment. It can be seen that various modifications and applications that have not been made are possible. For example, each component specifically shown in the embodiment can be implemented by modification. And differences related to such modifications and applications should be construed as being included in the scope of the present invention defined in the appended claims.

Claims (14)

차량의 카메라가 상기 차량의 주변에 대한 전방위를 촬영하여 획득된 전방위 영상 데이터와 상기 전방위 영상 데이터에 대응하여 상기 차량의 라이다 센서로부터 생성된 전체 센싱 데이터를 상기 차량으로부터 수신하기 위한 인터페이스부; 및
상기 전방위 영상 데이터로부터 관심 영역을 추출하고, 상기 관심 영역과 상기 전체 센싱 데이터를 융합하여 상기 관심 영역에 대응하는 부분 센싱 데이터를 추출하는 제어부;를 포함하고,
상기 제어부는,
상기 전체 센싱 데이터에 대응하는 전체 라이다 데이터의 3D 모델링 화면 상의 좌표값과 상기 관심 영역의 상기 전방위 영상 데이터 상의 좌표값을 비교하여 상기 융합을 수행하고,
상기 전체 라이다 데이터 중 어느 하나의 라이다 데이터의 좌표값이 소정의 조건을 만족하면, 상기 어느 하나의 라이다 데이터가 상기 관심 영역에 매핑되는 것으로 결정하고,
상기 소정의 조건을 만족하는 라이다 데이터들에 대응하는 센싱 데이터를 상기 부분 센싱 데이터로 결정하며,
상기 관심 영역 내의 소정 영역에서 상기 부분 센싱 데이터의 최빈값을 산출하고, 상기 최빈값을 갖는 센싱 데이터를 상기 관심 영역의 대표 센싱 데이터로 결정하는,
전자 장치.an interface unit for receiving, from the vehicle, omnidirectional image data obtained by the camera of the vehicle photographing omnidirectional images of the vehicle's surroundings and the entire sensing data generated from the lidar sensor of the vehicle in response to the omnidirectional image data; and
a control unit extracting a region of interest from the omnidirectional image data, fusing the region of interest and the entire sensing data to extract partial sensing data corresponding to the region of interest; and
The control unit is
The fusion is performed by comparing the coordinate values on the 3D modeling screen of the entire LiDAR data corresponding to the entire sensing data with the coordinate values on the omnidirectional image data of the region of interest,
If the coordinate value of any one of the lidar data of the entire lidar data satisfies a predetermined condition, it is determined that the one of the lidar data is mapped to the region of interest;
determining sensing data corresponding to lidar data satisfying the predetermined condition as the partial sensing data;
calculating a mode of the partial sensing data in a predetermined region within the region of interest, and determining sensing data having the mode as representative sensing data of the region of interest;
electronic device. 삭제delete 제 1항에 있어서,
상기 관심 영역은 객체 이미지로 구성되는,
전자 장치.The method of claim 1,
wherein the region of interest consists of an object image,
electronic device. 제 1항에 있어서,
상기 전체 라이다 데이터는 상기 전방위를 스캐닝하여 생성된 상기 3D모델링 화면을 구성하는 포인트인,
전자 장치.The method of claim 1,
The entire lidar data is a point constituting the 3D modeling screen generated by scanning the omnidirectional,
electronic device. 제 4항에 있어서,
상기 전체 라이다 데이터 중 어느 하나의 라이다 데이터는 제1 각도값과 제2 각도값을 가지고,
상기 제어부는,
상기 어느 하나의 라이다 데이터의 상기 제1 각도값과 상기 관심 영역의 상기 전방위 영상 데이터 상의 제1축 좌표값들이 각도 단위로 변경된 변환 각도값들을 비교하고, 상기 어느 하나의 라이다 데이터의 상기 제2 각도값에 대응하는 상기 3D 모델링 화면상의 좌표값과 상기 관심 영역의 상기 전방위 영상 데이터 상의 제2축 좌표값들을 비교하여 상기 융합을 수행하는,
전자 장치.5. The method of claim 4,
Any one of the lidar data of the entire lidar data has a first angle value and a second angle value,
The control unit is
The first angle value of the one LiDAR data and the first axis coordinate values on the omnidirectional image data of the region of interest are compared with the converted angle values changed in angular units, and the first angle value of the one LiDAR data is compared. performing the fusion by comparing the coordinate values on the 3D modeling screen corresponding to 2 angle values and the coordinate values on the second axis on the omnidirectional image data of the region of interest,
electronic device. 제 5항에 있어서,
상기 제어부는,
상기 어느 하나의 라이다 데이터의 상기 제1 각도값이 상기 관심 영역의 상기 변환 각도값들 범위안에 매핑되며, 상기 어느 하나의 라이다 데이터의 상기 좌표값이 상기 관심 영역의 상기 제2축 좌표값들 범위안에 매핑되는 상기 소정의 조건을 만족하는 경우, 상기 어느 하나의 라이다 데이터가 상기 관심 영역에 매핑되는 것으로 결정하는,
전자 장치.6. The method of claim 5,
The control unit is
The first angle value of the any one of the lidar data is mapped within the range of the transformation angle values of the region of interest, and the coordinate value of the one of the lidar data is the second axis coordinate value of the region of interest. When the predetermined condition for mapping within the range is satisfied, it is determined that any one of the lidar data is mapped to the ROI,
electronic device. 제 1항에 있어서,
상기 관심 영역은 중간 영역과 외곽 영역으로 구성된 사각 박스로 표현되고, 상기 소정 영역은 상기 중간 영역인,
전자 장치.The method of claim 1,
The region of interest is represented by a rectangular box composed of an intermediate region and an outer region, and the predetermined region is the intermediate region.
electronic device. 제 1항에 있어서,
상기 제어부는 신경망을 통한 딥 러닝을 수행하여 상기 전방위 영상 데이터로부터 상기 관심 영역을 추출하는,
전자 장치.The method of claim 1,
The control unit performs deep learning through a neural network to extract the region of interest from the omnidirectional image data,
electronic device. 차량의 카메라가 상기 차량의 주변에 대한 전방위를 촬영하여 획득된 전방위 영상 데이터와 상기 전방위 영상 데이터에 대응하여 상기 차량의 라이다 센서로부터 생성된 전체 센싱 데이터를 상기 차량으로부터 수신하는 데이터 수신 단계;
상기 전방위 영상 데이터로부터 관심 영역을 추출하는 관심 영역 추출 단계;
상기 관심 영역과 상기 전체 센싱 데이터를 융합하는 데이터 융합 단계; 및
상기 관심 영역에 대응하는 부분 센싱 데이터를 추출하는 부분 센싱 데이터 추출 단계;를 포함하고,
상기 데이터 융합 단계는,
상기 전체 센싱 데이터에 대응하는 전체 라이다 데이터의 3D 모델링 화면 상의 좌표값과 상기 관심 영역의 상기 전방위 영상 데이터 상의 좌표값을 비교함으로써 수행되고, 상기 전체 라이다 데이터 중 어느 하나의 라이다 데이터의 좌표값이 소정의 조건을 만족하면, 상기 어느 하나의 라이다 데이터가 상기 관심 영역에 매핑되는 것으로 결정하며,
상기 부분 센싱 데이터 추출 단계는,
상기 소정의 조건을 만족하는 라이다 데이터들에 대응하는 센싱 데이터를 상기 부분 센싱 데이터로 결정하고, 상기 관심 영역 내의 소정 영역에서 상기 부분 센싱 데이터의 최빈값을 산출하고, 상기 최빈값을 갖는 센싱 데이터를 상기 관심 영역의 대표 센싱 데이터로 결정하는,
전자 장치의 데이터 융합 방법.A data receiving step of receiving, by the vehicle's camera, all sensing data generated from the lidar sensor of the vehicle in response to the omnidirectional image data and the omnidirectional image data obtained by photographing omnidirectional images of the vehicle, from the vehicle;
a region of interest extraction step of extracting a region of interest from the omnidirectional image data;
a data fusion step of fusing the region of interest and the entire sensing data; and
Including; a partial sensing data extraction step of extracting partial sensing data corresponding to the region of interest;
The data fusion step is
This is performed by comparing the coordinate values on the 3D modeling screen of the entire lidar data corresponding to the entire sensing data with the coordinate values on the omnidirectional image data of the region of interest, and the coordinates of any one lidar data of the entire lidar data If the value satisfies a predetermined condition, it is determined that any one of the lidar data is mapped to the region of interest,
The partial sensing data extraction step,
Sensing data corresponding to lidar data satisfying the predetermined condition is determined as the partial sensing data, a mode value of the partial sensing data is calculated in a predetermined region within the region of interest, and the sensing data having the mode is determined as the partial sensing data. Determined by the representative sensing data of the region of interest,
Data fusion methods in electronic devices. 제 9항에 있어서,
상기 전체 라이다 데이터는 상기 전방위를 스캐닝하여 생성된 상기 3D모델링 화면을 구성하는 포인트인,
전자 장치의 데이터 융합 방법.10. The method of claim 9,
The entire lidar data is a point constituting the 3D modeling screen generated by scanning the omnidirectional,
Data fusion methods in electronic devices. 제 10항에 있어서,
상기 전체 라이다 데이터 중 어느 하나의 라이다 데이터는 제1 각도값과 제2 각도값을 가지고,
상기 데이터 융합 단계는,
상기 어느 하나의 라이다 데이터의 상기 제2 각도값에 대응하는 상기 3D 모델링 화면상의 좌표값과 상기 관심 영역의 상기 전방위 영상 데이터 상의 제2축 좌표값들을 비교하는 단계;
상기 관심 영역의 상기 전방위 영상 데이터 상의 제1축 좌표값들을 각도 단위로 변경한 변환 각도값들을 생성하는 단계;
상기 어느 하나의 라이다 데이터의 상기 제1 각도값과 상기 변환 각도값들을 비교하는 단계; 를 포함하는,
전자 장치의 데이터 융합 방법.11. The method of claim 10,
Any one of the lidar data of the entire lidar data has a first angle value and a second angle value,
The data fusion step is
comparing the coordinate values on the 3D modeling screen corresponding to the second angle value of the one LiDAR data with second axis coordinate values on the omnidirectional image data of the region of interest;
generating transformation angle values obtained by changing first axis coordinate values on the omnidirectional image data of the region of interest in angular units;
comparing the first angle value and the converted angle value of the one lidar data; containing,
Data fusion methods in electronic devices. 제 11항에 있어서,
상기 부분 센싱 데이터 추출 단계는,
상기 어느 하나의 라이다 데이터의 상기 좌표값이 상기 관심 영역의 상기 제2축 좌표값들 범위안에 매핑되며, 상기 어느 하나의 라이다 데이터의 상기 제1 각도값이 상기 관심 영역의 상기 변환 각도값들 범위안에 매핑되는 상기 소정의 조건을 만족하는 지 여부를 판별하는 단계;를 포함하는,
전자 장치의 데이터 융합 방법.12. The method of claim 11,
The partial sensing data extraction step,
The coordinate value of the one LiDAR data is mapped within the range of the second axis coordinate values of the region of interest, and the first angle value of the one LiDAR data is the transformation angle value of the region of interest. Determining whether the predetermined condition mapped within the range of
Data fusion methods in electronic devices. 제 9항에 있어서,
상기 관심 영역은 중간 영역과 외곽 영역으로 구성된 사각 박스로 표현되고, 상기 소정 영역은 상기 중간 영역인,
전자 장치의 데이터 융합 방법.10. The method of claim 9,
The region of interest is represented by a rectangular box composed of an intermediate region and an outer region, and the predetermined region is the intermediate region.
Data fusion methods in electronic devices. 제 9항에 있어서,
상기 관심 영역 추출 단계는,
신경망을 통한 딥 러닝을 수행하여 상기 전방위 영상 데이터로부터 상기 관심 영역을 추출하는,
전자 장치의 데이터 융합 방법.10. The method of claim 9,
The step of extracting the region of interest is
performing deep learning through a neural network to extract the region of interest from the omnidirectional image data,
Data fusion methods in electronic devices.
KR1020190155988A 2019-11-28 2019-11-28 Electronic device for combining image data and sensing data, and data combining method of the electronic device KR102346849B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190155988A KR102346849B1 (en) 2019-11-28 2019-11-28 Electronic device for combining image data and sensing data, and data combining method of the electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190155988A KR102346849B1 (en) 2019-11-28 2019-11-28 Electronic device for combining image data and sensing data, and data combining method of the electronic device

Publications (2)

Publication Number Publication Date
KR20210066572A KR20210066572A (en) 2021-06-07
KR102346849B1 true KR102346849B1 (en) 2022-01-06

Family

ID=76374368

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190155988A KR102346849B1 (en) 2019-11-28 2019-11-28 Electronic device for combining image data and sensing data, and data combining method of the electronic device

Country Status (1)

Country Link
KR (1) KR102346849B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102012179B1 (en) * 2018-04-30 2019-08-20 충북대학교 산학협력단 APPARATUS AND METHOD FOR CALIBRATING LiDAR-CAMERA BASED ON 3D PLANE EXTRATION

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102192256B1 (en) * 2014-07-28 2020-12-17 현대모비스 주식회사 Intergrated sensor system of the vehicles
KR102109941B1 (en) * 2018-01-23 2020-05-12 충북대학교 산학협력단 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102012179B1 (en) * 2018-04-30 2019-08-20 충북대학교 산학협력단 APPARATUS AND METHOD FOR CALIBRATING LiDAR-CAMERA BASED ON 3D PLANE EXTRATION

Also Published As

Publication number Publication date
KR20210066572A (en) 2021-06-07

Similar Documents

Publication Publication Date Title
CN113554698B (en) Vehicle pose information generation method and device, electronic equipment and storage medium
US11113959B2 (en) Crowdsourced detection, identification and sharing of hazardous road objects in HD maps
US20200249359A1 (en) Determining Yaw Error from Map Data, Lasers, and Cameras
EP3627446B1 (en) System, method and medium for generating a geometric model
JP6589926B2 (en) Object detection device
JP7072641B2 (en) Road surface detection device, image display device using road surface detection device, obstacle detection device using road surface detection device, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method
KR102151815B1 (en) Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence
JP2014240753A (en) Distance measuring apparatus, distance measuring method, and program
US11443151B2 (en) Driving assistant system, electronic device, and operation method thereof
CN107122770A (en) Many mesh camera systems, intelligent driving system, automobile, method and storage medium
WO2017042224A1 (en) Method for generating an environmental map of an environment of a motor vehicle based on an image of a camera, driver assistance system as well as motor vehicle
KR102167835B1 (en) Apparatus and method of processing image
Bai et al. Stereovision based obstacle detection approach for mobile robot navigation
CN114746894A (en) Image processing apparatus, image processing method, and image processing program
JP2016085602A (en) Sensor information integrating method, and apparatus for implementing the same
JP6701057B2 (en) Recognizer, program
JP2015194373A (en) Vehicle location detection device, vehicle location detection method, vehicle location detection computer program and vehicle location detection system
JP6410231B2 (en) Alignment apparatus, alignment method, and computer program for alignment
JP2006318062A (en) Image processor, image processing method and image processing program
KR20210112672A (en) Processor for detecting objects, and objects detecting method
JP2007011994A (en) Road recognition device
US9595110B2 (en) Disparity deriving apparatus, movable apparatus, robot, method of deriving disparity, method of producing disparity, program, and storage medium
KR20170106823A (en) Image processing device identifying object of interest based on partial depth map
JP2018073275A (en) Image recognition device
KR20160125803A (en) Apparatus for defining an area in interest, apparatus for detecting object in an area in interest and method for defining an area in interest

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right