KR20230077934A - Infra Sensor Establishing Method - Google Patents

Infra Sensor Establishing Method Download PDF

Info

Publication number
KR20230077934A
KR20230077934A KR1020210165180A KR20210165180A KR20230077934A KR 20230077934 A KR20230077934 A KR 20230077934A KR 1020210165180 A KR1020210165180 A KR 1020210165180A KR 20210165180 A KR20210165180 A KR 20210165180A KR 20230077934 A KR20230077934 A KR 20230077934A
Authority
KR
South Korea
Prior art keywords
sensor
infrastructure
matching
image
matching degree
Prior art date
Application number
KR1020210165180A
Other languages
Korean (ko)
Inventor
오광만
추연호
Original Assignee
(주)테슬라시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)테슬라시스템 filed Critical (주)테슬라시스템
Priority to KR1020210165180A priority Critical patent/KR20230077934A/en
Publication of KR20230077934A publication Critical patent/KR20230077934A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01F—ADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
    • E01F11/00—Road engineering aspects of Embedding pads or other sensitive devices in paving or other road surfaces, e.g. traffic detectors, vehicle-operated pressure-sensitive actuators, devices for monitoring atmospheric or road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to an infrastructure sensor installing method through a sensor simulation. The infrastructure sensor installing method comprises the steps of: reconfiguring real roads and infrastructure environments where an infrastructure sensor is to be installed as a 3D virtual environment; arranging a virtual sensor according to a prior design in the reconfigured 3D virtual environment and setting a sensor parameter to simulate a sensor; obtaining a sensor simulation visualization image from the simulated sensor; adjusting a location and a direction of the infrastructure sensor on site to obtain a sensor detection image; matching the obtained sensor simulation visualization image and the sensor detection image to calculate a matching degree; and comparing the calculated matching degree with a minimum critical value and when the matching degree is the minimum critical value or more, terminating a sensor installation task, and when the matching degree is less than the minimum critical value, providing a worker with a task guideline to adjust a location and a direction of the sensor. Accordingly, the present invention uses matching information of the sensor simulation visualization image and the sensor detection image to easily verify how much the infrastructure sensor is coincided with the prior design when the infrastructure is installed, such that the infrastructure sensor can be installed more precisely.

Description

인프라 센서 설치 방법{Infra Sensor Establishing Method}Infra Sensor Establishing Method}

본 발명은 센서 모사를 통한 인프라 센서 설치 방법에 관한 것으로, 보다 구체적으로는 도로 인프라에 센서를 설치할 경우에 센서 모사 가시화 영상에 기반한 정합도 정보를 적업자에게 제공하여 작업자가 간편하고 정확하게 센서를 설치하게 하는 방법에 관한 것이다. The present invention relates to a method for installing infrastructure sensors through sensor simulation, and more specifically, when installing a sensor in a road infrastructure, by providing matching degree information based on a visualization image of sensor simulation to a contractor so that the operator can easily and accurately install the sensor. It's about how to do it.

일반적으로 자율 주행 차량(자율차로도 약칭함)에는 전체 방위(360도)영역을 탐지할 수 있는 차량 센서를 탑재하지만, 도1에 나타난 바와 같이 교차로 또는 주변 차량, 건물 등에 의해 차량 센서가 탐지 가능한 영역(자율차 센서 탐지 영역)과 자율차 센서가 탐지 불가능한 음영지역이 발생하기 때문에, 도로 인프라에 카메라, 라이다, 레이더와 같은 인프라 센서를 설치하여 인프라 센서에서의 탐지 결과(차량, 보행자 등의 위치 정보 등)가 자율차에 전송되어 자율차가 인프라 센서로부터의 음영지역에서의 정보를 통해 돌발 상황 등에 대처하여 안전하게 주행할 수 있게 되는 자율협력 주행을 하게 된다. Generally, an autonomous vehicle (abbreviated as an autonomous vehicle) is equipped with a vehicle sensor capable of detecting the entire azimuth (360 degree) area, but as shown in FIG. Since areas (autonomous vehicle sensor detection areas) and shaded areas where autonomous vehicle sensors cannot detect occur, infrastructure sensors such as cameras, LIDAR, and radar are installed in the road infrastructure to detect detection results from infrastructure sensors (vehicles, pedestrians, etc.) Location information, etc.) is transmitted to the autonomous vehicle, and autonomous cooperative driving is performed in which the autonomous vehicle can safely drive in response to unexpected situations through information from the shaded area from the infrastructure sensor.

그런데, 도2에 나타난 바와 같이 인프라 센서들 간의 중첩 탐지영역이 발생할 수 있기 때문에, 인프라 센서를 구축할 때에는 인프라에 설치되는 인프라 센서의 수를 줄여서 경제성을 향상시킬 뿐만 아니라, 특히 인프라와 차량이 동시에 센싱되는 중첩 탐지영역이 증가할수록 탐지의 불필요한 중복( Redundancy)이 발생하고 객체 인지를 위한 처리 시간도 증가하는 문제점을 감안하여, 인프라 센서를 설치할 때는 최소의 센서수를 이용하여 최대의 영역을 탐지하고 인프라들 사이의 중첩 영역 및 인프라와 자율차 사이의 중첩영역이 최소화되도록 사전 설계하고 이러한 사전 설계에 따라 현장에 인프라 센서가 설치되는 것이 바람직하다. However, as shown in FIG. 2, since overlapping detection areas between infrastructure sensors may occur, when building infrastructure sensors, not only does it improve economic feasibility by reducing the number of infrastructure sensors installed in the infrastructure, but in particular, infrastructure and vehicles are simultaneously Considering the problem that redundancy of detection occurs and processing time for object recognition increases as the overlapping detection area to be sensed increases, when installing infrastructure sensors, use the minimum number of sensors to detect the maximum area and It is preferable to pre-design such that overlapping areas between infrastructures and overlapping areas between infrastructure and autonomous vehicles are minimized, and infrastructure sensors are installed in the field according to such pre-designing.

또한, 도3과 같이 현장에서 인프라 센서 설치시 고소작업차량을 이용하여 작업자 1명은 고소작업차량에서 인프라 센서 위치 및 방향을 조정하고, 지상의 다른 작업자 1명이 센서와 연결된 노트북 등의 화면에서 센서 탐지 영상을 눈으로 확인하여, 지상 작업자와 고소차량 작업자 간에 서로 소통을 하면서 사전 설계에 대응하도록 인프라 센서 위치 및 방향을 조정하게 된다. In addition, as shown in FIG. 3, when the infrastructure sensor is installed in the field, one worker adjusts the location and direction of the infrastructure sensor in the aerial work vehicle using the aerial work vehicle, and another worker on the ground detects the sensor on the screen of a laptop or the like connected to the sensor. By visually checking the image, the position and direction of the infrastructure sensor are adjusted to respond to the preliminary design while communicating with each other between the ground worker and the operator of the aerial vehicle.

그런데, 이러한 종래기술의 방법은 실제 인프라 센서의 탐지 영역을 촬영한 영상이 어떻게 표출되어야 하는지에 대한 사전 정보(사전 설계에 따라 인프라 센서가 탐지한 영상 정보)가 없이 작업자 간의 대화에 의해 임의로 센서 위치 및 방향을 조정하게 되므로 인프라 센서의 설치가 부정확하여, 사전 설계와 맞지 않게 센서가 설치되는 상황이 자주 발생하고, 이렇게 센서가 부정확하게 구축될 경우에는 도로 위 차량 및 보행자 등의 검출 및 추적에 오류가 발생할 수 있으며, 최종적으로 인프라에서 자율차로 전송되는 정보가 부정확하고 불완전하게 되어 자율주행 차량의 안전운행을 저하시키는 문제점이 발생한다. However, in this prior art method, without prior information (image information detected by the infrastructure sensor according to a prior design) on how the image captured of the detection area of the actual infrastructure sensor should be displayed, the sensor position is arbitrarily determined by the conversation between workers. Since the installation of infrastructure sensors is inaccurate because the installation of infrastructure sensors is inaccurate, a situation in which sensors are installed that does not match the prior design often occurs. may occur, and information transmitted from the infrastructure to the autonomous vehicle is inaccurate and incomplete, resulting in a problem that deteriorates the safe operation of the autonomous vehicle.

대한민국 특허공개번호 10-2013-131008호(2013.12.3일 공개)Korean Patent Publication No. 10-2013-131008 (published on December 3, 2013)

이상과 같은 종래기술의 문제점을 감안하여, 본 발명은 사전에 시뮬레이션에 의해서 센서 모사에 기반한 센서 모사 가시화 영상을 제공하고, 또한 센서 모사 가시화 영상과 실제 현장 설치 작업시 촬영된 센서 탐지 영상과의 정합도 정보를 제공하여, 작업자가 사전 설계대로 인프라 센서가 설치되고 있는지를 용이하게 판단할 수 있게 하는 인프라 센서 설치 방법을 제공한다. In view of the problems of the prior art as described above, the present invention provides a sensor simulation visualization image based on sensor simulation by simulation in advance, and also matches the sensor simulation visualization image with the sensor detection image taken during actual field installation work. Provided is an infrastructure sensor installation method that allows a worker to easily determine whether an infrastructure sensor is being installed as previously designed by providing information on infrastructure.

상술한 과제를 해결하기 위한 본 발명은, 인프라 센서 설치 방법에 있어서, The present invention for solving the above problems, in the infrastructure sensor installation method,

인프라 센서가 설치될 실제 도로 및 인프라 환경을 3차원 가상환경으로 재구성하는 단계;Reconstructing the actual road and infrastructure environment where the infrastructure sensor is to be installed into a 3D virtual environment;

상기 재구성된 3차원 가상환경에 사전 설계에 따른 가상의 센서를 배치하고 센서 파라미터를 설정하여 센서를 모사하는 단계; emulating a sensor by arranging a virtual sensor according to a preliminary design in the reconstructed 3D virtual environment and setting sensor parameters;

모사된 센서로부터 센서 모사 가시화 영상을 획득하는 단계; Obtaining a sensor simulated visualization image from the simulated sensor;

현장에서 인프라 센서의 위치 및 방향을 조정하여 센서 탐지 영상을 획득하는 단계; Acquiring a sensor detection image by adjusting the location and direction of an infrastructure sensor in the field;

상기 획득된 센서 모사 가시화 영상과 센서 탐지 영상을 정합하여 정합도를 계산하는 단계; calculating a matching degree by matching the acquired sensor-simulated visualization image with the sensor-detected image;

계산된 정합도와 최소 임계값을 비교하여 정합도가 최소 임계값 이상이면 센서 설치작업을 종료하고, 정합도가 최소 임계값 미만이면 센서 위치 및 방향을 조정하도록 작업자에게 작업 가이드라인을 주는 단계를 포함하는 것을 특징으로 한다. Comparing the calculated matching degree with the minimum threshold value, terminating the sensor installation work if the matching degree is higher than the minimum threshold value, and giving work guidelines to the operator to adjust the sensor location and orientation if the matching degree is less than the minimum threshold value. It is characterized by doing.

이상과 같은 본 발명을 이용하면, 본 발명은 인프라 센서 설치시에 센서 모사 가시화 영상과 센서 탐지 영상의 정합도 정보를 이용하여 사전 설계에 얼마나 부합되는지를 용이하게 검증 가능하게 되어 보다 정확하게 인프라 센서를 설치할 수 있게 된다. Using the present invention as described above, the present invention can easily verify how well it matches the preliminary design by using the information on the degree of matching between the sensor simulation visualization image and the sensor detection image when installing the infrastructure sensor, so that the infrastructure sensor can be installed more accurately. be able to install

도1은 자율차의 센서탐지영역과 음영지역을 나타내는 도면
도2는 자율차의 인프라 센서에서 탐지영역과 중첩 탐지 영역을 나타내는 도면.
도3은 인프라 센서 설치 장면을 나타나는 도면.
도4는 본 발명에 따른 센서 모사를 이용한 인프라 센서의 설치 방법을 설명하는 순서도.
도5는 본 발명에서 실제 도로 및 인프라 환경에 대한 3차원 가상 환경 재구성을 나타내는 도면.
도6은 본 발명에서 센서 모사를 통한 센서 모사 가시화 영상을 나타내는 도면.
도7은 본 발명에서 정합도 계산 방법을 설명하는 흐름도.
도8은 본 발명에 따른 인프라 구축 소프트웨어에서의 사용자 인터페이스 화면을 나타내는 도면.1 is a diagram showing a sensor detection area and a shadow area of an autonomous vehicle
2 is a diagram showing a detection area and an overlapping detection area in an infrastructure sensor of an autonomous vehicle.
Figure 3 is a view showing an infrastructure sensor installation scene.
Figure 4 is a flow chart explaining the installation method of the infrastructure sensor using the sensor simulation according to the present invention.
Figure 5 is a diagram showing a three-dimensional virtual environment reconstruction of the actual road and infrastructure environment in the present invention.
6 is a view showing a sensor simulation visualization image through sensor simulation in the present invention.
7 is a flowchart illustrating a method for calculating a degree of matching in the present invention;
8 is a diagram showing a user interface screen in the infrastructure construction software according to the present invention.

이제 도4를 참고로 하여 본 발명에 따른 센서 모사를 이용한 인프라 센서의 설치 방법을 자세히 설명하기로 한다. Now, with reference to Figure 4 will be described in detail the installation method of the infrastructure sensor using the sensor simulation according to the present invention.

먼저, 인프라 센서가 설치될 실제 도로 및 인프라 환경을 3차원 가상환경으로 재구성한다 (S301). 이러한 실제 도로 및 인프라 환경 재구성을 위해서는 도5와 같이 실제 환경을 촬영하여(도5A) 이러한 실제 도로 및 인프라 환경을 3차원 가상 환경으로 재구성하게 된다(도5B). First, the actual road and infrastructure environment where the infrastructure sensor will be installed is reconstructed into a 3D virtual environment (S301). In order to reconstruct such a real road and infrastructure environment, the real environment is photographed as shown in FIG. 5 (FIG. 5A) and the real road and infrastructure environment is reconstructed into a 3D virtual environment (FIG. 5B).

다음으로, 재구성된 3차원 가상환경에 가상의 센서(사전 설계에 따른 모사된 센서)를 배치하고 센서 파라미터를 설정한 후 센서 탐지 영상을 모사하게 된다(S302). Next, a virtual sensor (a simulated sensor according to a preliminary design) is placed in the reconstructed 3D virtual environment, sensor parameters are set, and the sensor detection image is copied (S302).

여기서 센서 모사는 센서 모사 소프트웨어를 실행시켜서 달성되게 되는데, 센서 모사 소프트웨어는 3차원 가상환경 상에서 가상의 센서가 탐지할 영역을 촬영하도록 배치(위치, 높이, 각도 조정)하고, Ray Casting과 같은 기존의 방법을 이용하여 센서가 탐지하는 영역에 대한 시뮬레이션을 통해서 센서 모사 가시화 영상의 획득이 가능하다. Here, sensor simulation is achieved by executing sensor simulation software. The sensor simulation software arranges (position, height, angle adjustment) to photograph the area to be detected by a virtual sensor in a 3D virtual environment, Using the method, it is possible to obtain a sensor-simulated visualization image through simulation of the region detected by the sensor.

그래서, 도6에 나타난 바와 같이, 상기와 같이 재구성된 3차원 가상 환경에 사전 설계에 따른 가상의 모사 센서를 배치하고(도6A), 센서의 파라미터(FOV, Resolution 등)을 설정하면(도6B), 도5C와 같이 모사된 센서로부터의 센서 모사 가시화 영상을 획득하게 된다(S303). So, as shown in FIG. 6, if a virtual simulated sensor according to the preliminary design is placed in the 3D virtual environment reconstructed as described above (FIG. 6A) and parameters (FOV, resolution, etc.) of the sensor are set (FIG. 6B) ), a sensor simulated visualization image from the simulated sensor is acquired as shown in FIG. 5C (S303).

즉, 센서 모사 소프트웨어에서 사전 설계에 따른 각 센서의 배치 및 파라미터를 입력하면, 가상환경에서의 각 센서에 대한 센서 모사 가시화 영상이 출력되게 된다. That is, if the arrangement and parameters of each sensor according to the preliminary design are input in the sensor simulation software, a sensor simulation visualization image for each sensor in the virtual environment is output.

이제, 작업자는 현장에서 인프라 센서를 설치하기 시작하여 사전 설계에 따른 특정 센서를 해당 위치에 설치하고(S311), 특정 센서의 위치 및 각도를 조정한다(S312). Now, the operator starts installing infrastructure sensors in the field, installs a specific sensor according to a preliminary design at the corresponding location (S311), and adjusts the location and angle of the specific sensor (S312).

작업자는 이렇게 조정된 센서 위치 및 방향에서 특정 센서의 센서 탐지 영상을 매 조정시마다 획득하게 된다(S313). 여기서, 이러한 센서 탐지 영상은 일반적으로 센서 제조사에서 제공하는 소프트웨어를 이용하게 된다. The operator acquires a sensor detection image of a specific sensor at every adjustment in the adjusted sensor position and direction (S313). Here, such a sensor detection image generally uses software provided by a sensor manufacturer.

그리고 나서, 사전 설계시의 특정 센서 배치에 따른 센서 모사 가시화 영상과 센서 탐지 영상을 정합하는 과정을 수행한다(S314). Then, a process of matching the sensor simulation visualization image and the sensor detection image according to the specific sensor arrangement at the time of pre-design is performed (S314).

이제, 정합이 완료되면, 정합도를 계산하고 설정된 최소 임계값(Threshold)과 비교하여(S315), 계산된 정합도가 임계값 이상이면 특정 센서의 설치 작업을 종료하고, 임계값 미만이면 특정 센서의 위치 및 방향을 다시 조정하여 상기의 센서 탐지 영상 획득 단계(S313) 내지 비교 단계(S315)를 반복하게 된다. Now, when the matching is completed, the matching degree is calculated and compared with the set minimum threshold (S315). By re-adjusting the position and direction of , the sensor detection image acquisition step (S313) to the comparison step (S315) are repeated.

여기서 정합도는 도7과 같이 센서 모사 가시화 영상과 센서 탐지 영상에서 매칭 포인트를 설정하고 영상정합을 하여 중첩 영역의 비율(IOU : intersection of Union)을 통해 계산하게 되는데, 매칭 포인트는 영상 간에 동일하게 식별 가능한 지점으로서 일반적으로 코너(corner), 도로 마커 등에 지정하고 매칭 포인트는 통상적인 특징 매칭(feature matching) 알고리즘을 사용하여 특징점 추출과 영상 간 매칭 작업을 자동화할 수 있으며, 작업자가 직접 눈으로 확인하여 설정할 수 있도록 인터페이스를 제공할 수도 있다. Here, the matching degree is calculated through the ratio of overlapping areas (IOU: intersection of union) by setting matching points in the sensor simulated visualization image and the sensor detection image and performing image matching, as shown in FIG. As an identifiable point, it is generally designated as a corner or road marker, and the matching point can be automated with feature point extraction and matching between images using a conventional feature matching algorithm, which can be visually confirmed by the operator. You can also provide an interface so that you can configure it.

또한, 예를 들면 두 영상에서 4개의 매칭 포인트가 설정되면, 이미지 와핑(warping)을 통해 영상 정합이 가능한데, 와핑은 기하학적 변형의 한 종류로써, 한 이미지상의 (x, y) 위치에 있는 픽셀을 다른 이미지상의 (x’y’위치로 대응시키는 것을 의미한다. 이러한 와핑을 통해 두 영상의 중첩(intersection) 영역을 구할 수 있다. In addition, for example, if four matching points are set in two images, image matching is possible through image warping. Warping is a type of geometric transformation, in which a pixel at (x, y) position on one image is It means matching with (x'y' position) on another image. Through this warping, the intersection area of the two images can be obtained.

이렇게 이미지 와핑을 통해 두 영상 간 중첩영역이 구해지면, IoU(Intersection of Union)를 이용해 정합도를 계산할 수 있는데, IoU는 두 영역의 중첩 영역의 넓이를 합영역의 값으로 나눈 값으로서, 중첩 영역이 클수록 IoU의 값이 커지고 두 영상 간 정합도가 커진다. If the overlapping area between the two images is obtained through image warping in this way, the degree of matching can be calculated using Intersection of Union (IoU). The greater the value of IoU, the greater the degree of matching between the two images.

이때, 인프라 센서 설치 소프트웨어를 구동시의 화면에서, 예를 들면 도8과 같이 센서 모사 가시화 영상과 센서 탐지 영상이 좌우로 상부에 표시되고, 정합도값(70%) 및 최소 임계값(90%)가 중앙부에 표시되며, 하단에는 작업 가이드라인(Pan -10도/Tilt+10도 이동 요망)이 표시되게 한다면, 작업자가 센서 모사 가시화 영상과 센서 탐지 영상을 비교하여 차이점을 용이하게 인식하게 되고, 정합도값과 최소 임계값을 보면서 정합도가 얼마나 최소 임계값과 차이가 나는지를 인식하면서 가이드 라인에 따른 작업을 수행하는 과정을 반복하여 최종적으로 정합도가 최소 임계값 이상이 되면 센서 설치 작업을 종료하게 된다. At this time, on the screen when the infrastructure sensor installation software is running, for example, as shown in FIG. 8, sensor simulation visualization images and sensor detection images are displayed at the top left and right, and the matching value (70%) and minimum threshold (90%) ) is displayed in the center, and if the work guideline (Pan -10 degree / Tilt +10 degree movement is required) is displayed at the bottom, the operator can easily recognize the difference by comparing the sensor simulated visualization image and the sensor detection image, , By looking at the matching value and the minimum threshold value and recognizing how much the matching degree differs from the minimum threshold value, the process of performing the work according to the guideline is repeated, and finally, when the matching degree exceeds the minimum threshold value, the sensor installation work will end

결국, 인프라 센서 설치시에 이상과 같은 과정을 각각의 센서에 대해 수행하게 되면, 각 센서의 위치 및 방향이 사전 설계와 일치하는 정도인 정합도 정보를 제공받게 되어, 이 정합도 정보에 따라 각 센서의 위치 방향을 용이하게 조정할 수 있게 되어 보다 정확한 인프라 센서의 설치가 가능하게 된다. As a result, when the above process is performed for each sensor when installing infrastructure sensors, matching information, which is the extent to which the position and direction of each sensor matches the preliminary design, is provided. It is possible to easily adjust the location and direction of the sensor, enabling more accurate installation of infrastructure sensors.

한편, 이상에서는 본 발명의 바람직한 실시예를 설명하였지만, 본 발명은 이러한 실시예에 한정되는 것이 아니라 본 발명의 정신을 벗어나지 않는 범위 내에서 다양한 변형과 변경이 가능하다는 점에 유의해야 한다. On the other hand, although preferred embodiments of the present invention have been described above, it should be noted that the present invention is not limited to these embodiments, and various modifications and changes are possible within the scope without departing from the spirit of the present invention.

Claims (3)

인프라 센서 설치 방법에 있어서,
인프라 센서가 설치될 실제 도로 및 인프라 환경을 3차원 가상환경으로 재구성하는 단계;
상기 재구성된 3차원 가상환경에 사전 설계에 따른 가상의 센서를 배치하고 센서 파라미터를 설정하여 센서를 모사하는 단계;
모사된 센서로부터 센서 모사 가시화 영상을 획득하는 단계;
현장에서 인프라 센서의 위치 및 방향을 조정하여 센서 탐지 영상을 획득하는 단계;
상기 획득된 센서 모사 가시화 영상과 센서 탐지 영상을 정합하여 정합도를 계산하는 단계;
계산된 정합도와 최소 임계값을 비교하여 정합도가 최소 임계값 이상이면 센서 설치작업을 종료하고, 정합도가 최소 임계값 미만이면 센서 위치 및 방향을 조정하도록 작업자에게 작업 가이드라인을 주는 단계를 포함하는 것을 특징으로 하는 인프라 센서 설치 방법.In the infrastructure sensor installation method,
Reconstructing the actual road and infrastructure environment where the infrastructure sensor is to be installed into a 3D virtual environment;
emulating a sensor by arranging a virtual sensor according to a preliminary design in the reconstructed 3D virtual environment and setting sensor parameters;
Obtaining a sensor simulated visualization image from the simulated sensor;
Acquiring a sensor detection image by adjusting the location and direction of an infrastructure sensor in the field;
calculating a matching degree by matching the acquired sensor-simulated visualization image with the sensor-detected image;
Comparing the calculated matching degree with the minimum threshold value, terminating the sensor installation work if the matching degree is greater than the minimum threshold value, and giving work guidelines to the operator to adjust the sensor location and orientation if the matching degree is less than the minimum threshold value. Infra sensor installation method, characterized in that for. 제1항에 있어서,
상기 정합도 계산은, 상기 센서 모사 가시화 영상과 센서 탐지 영상에 매칭 포인트를 설정하고 설정된 매칭 포인트를 기반으로 영상을 정합한 후에, 정합된 영상의 중첩 영역의 비율을 통해 계산되는 것을 특징으로 하는 인프라 센서 설치 방법.According to claim 1,
The matching degree calculation is calculated through a ratio of an overlapping area of the matched image after setting a matching point on the sensor simulated visualization image and the sensor detection image and matching the images based on the set matching point How to install the sensor. 제1항에 있어서,
상기 센서 모사 가시화 영상 표출 화면, 센서 탐지 영상 표출 화면, 정합도, 최소 임계값, 작업 가이드라인 정보가 작업자에게 제공되어 인프라 센서 설치 작업이 수행되는 것을 특징으로 하는 인프라 센서 설치 방법.
According to claim 1,
The infrastructure sensor installation method, characterized in that the infrastructure sensor installation work is performed by providing the sensor simulation visualization image display screen, sensor detection image display screen, matching degree, minimum threshold, and work guideline information to the operator.
KR1020210165180A 2021-11-26 2021-11-26 Infra Sensor Establishing Method KR20230077934A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210165180A KR20230077934A (en) 2021-11-26 2021-11-26 Infra Sensor Establishing Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210165180A KR20230077934A (en) 2021-11-26 2021-11-26 Infra Sensor Establishing Method

Publications (1)

Publication Number Publication Date
KR20230077934A true KR20230077934A (en) 2023-06-02

Family

ID=86756025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210165180A KR20230077934A (en) 2021-11-26 2021-11-26 Infra Sensor Establishing Method

Country Status (1)

Country Link
KR (1) KR20230077934A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130131008A (en) 2012-05-23 2013-12-03 고려대학교 산학협력단 Integrated infrastructure system using sensor network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130131008A (en) 2012-05-23 2013-12-03 고려대학교 산학협력단 Integrated infrastructure system using sensor network

Similar Documents

Publication Publication Date Title
Kim et al. SLAM-driven robotic mapping and registration of 3D point clouds
CN112793564B (en) Autonomous parking auxiliary system based on panoramic aerial view and deep learning
US20170359573A1 (en) Method and apparatus for camera calibration using light source
EP2187166B1 (en) Industrial Machine
JP5588812B2 (en) Image processing apparatus and imaging apparatus using the same
JP5655134B2 (en) Method and apparatus for generating texture in 3D scene
JP7299642B2 (en) System and method for automatic sensor alignment and configuration
US10310619B2 (en) User gesture recognition
JP2004334819A (en) Stereo calibration device and stereo image monitoring device using same
JP6836561B2 (en) Image processing device and image processing method
US8831335B2 (en) Stereo matching processing apparatus, stereo matching processing method and computer-readable recording medium
JP6671852B2 (en) Information setting system and simulation system
KR101275823B1 (en) Device for detecting 3d object using plural camera and method therefor
WO2020102803A1 (en) Systems and methods for generating augmented reality environments from two-dimensional drawings
US10884546B2 (en) Projection alignment
KR20140114594A (en) Auto-Camera Calibration Method Based on Human Object Tracking
JP7074546B2 (en) Image processing equipment and methods
US20210160437A1 (en) Image processing apparatus and image transformation method
KR20200068045A (en) Around view monitoring system and method for detecting parking line with deep learning
EP4257924A1 (en) Laser scanner for verifying positioning of components of assemblies
KR20230077934A (en) Infra Sensor Establishing Method
JPWO2020153264A1 (en) Calibration method and calibration equipment
WO2022239355A1 (en) Position measurement system
KR20200042782A (en) 3d model producing apparatus and method for displaying image thereof
KR102044639B1 (en) Method and apparatus for aligning stereo cameras