KR20180097004A - Method of position calculation between radar target lists and vision image ROI - Google Patents
Method of position calculation between radar target lists and vision image ROI Download PDFInfo
- Publication number
- KR20180097004A KR20180097004A KR1020170023531A KR20170023531A KR20180097004A KR 20180097004 A KR20180097004 A KR 20180097004A KR 1020170023531 A KR1020170023531 A KR 1020170023531A KR 20170023531 A KR20170023531 A KR 20170023531A KR 20180097004 A KR20180097004 A KR 20180097004A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- target
- radar
- vision
- vision image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000004364 calculation method Methods 0.000 title description 5
- 239000011159 matrix material Substances 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 차량용 레이다 목표 리스트와 비전 영상의 목표물 좌표 관심영역 정합 방법에 관한 것이다.
The present invention relates to a vehicle radar target list and a method of matching a target coordinate interest region of a vision image.
현재 3차원 목표물을 가져오는 레이다의 경우(r, θ)의 형태로 물체의 위치를 인식하게 된다. 인식된 물체들은 목표물 리스트(Target List) 형태로 돌려주게 되며, 목표물 리스트들 가운데 우선순위에 따라 응용 시스템에서 처리하게 된다.The position of the object is recognized in the form of (r, θ) in case of the radar that fetches the current 3D target. Recognized objects are returned in the form of a target list, which is processed by the application system according to the priority among the target lists.
스마트카 안전 서비스 개발을 하거나 자율 주행 차량을 개발할 때 레이다 단독 목표 검출 리스트를 사용하지 않고 카메라 영상과 융합하여 카메라 영상의 관심영역(ROI, Region Of Interest)를 만들고, 이 관심영역 내부에 차량과 사람 혹은 표지판 등을 구분해내고 목표물이 무엇인지 찾아내어 응용 서비스 시스템에서 활용한다.When developing a smart car safety service or developing an autonomous driving vehicle, a ROI (Region Of Interest) of a camera image is created by merging with a camera image without using a radar single target detection list, Or signs, and find out what the target is and use it in the application service system.
이와 관련하여, 한국공개특허공보 제2015-0020839 호(발명의 명칭: 전방 영상 분석을 통한 하이빔 제어 장치 및 방법)는, 차량의 전방을 카메라를 통해 촬영하기 위한 전방 촬영부, 차량의 전방을 레이다를 통해 촬영하기 위한 레이다 센서부, 상기 전방 촬영부를 통해 획득된 전방 영상과, 상기 레이다 센서부를 통해 획득된 레이다 영상을 분석하는 영상 분석부, 차량의 전방에 하이 빔 또는 로우 빔을 출력하는 헤드 램프부, 소정의 제어 신호에 따라 상기 헤드 램프부에서 하이 빔 또는 로우 빔이 출력되도록 구동하는 램프 구동부, 상기 전방 영상과 상기 레이다 영상을 분석한 결과, 전방 영상과 레이다 영상 모두 선행 차량이 있는 경우에만 로우 빔이 출력되도록 하고, 전방 영상과 레이다 영상 중 하나라도 선행 차량이 없는 경우에 하이 빔이 출력되도록 하는 제어 신호를 상기 램프 구동부에 전달하는 제어부를 포함하는 전방 영상 분석을 통한 하이빔 제어 장치를 개시하고 있다.In this regard, Korean Patent Laid-Open Publication No. 2015-0020839 entitled " High beam control apparatus and method through front image analysis ") includes a front photographing section for photographing the front of the vehicle through a camera, An image analyzing unit for analyzing a radar image obtained through the radar sensor unit, a head lamp for outputting a high beam or a low beam in front of the vehicle, A lamp driving unit for driving the head lamp unit to output a high beam or a low beam in accordance with a predetermined control signal; and a lamp driving unit for driving only the front image and the radar image, So that a high beam is output when either the front image or the radar image does not have a preceding vehicle And a control unit for transmitting a control signal to the lamp driving unit.
하지만, 이러한 비전 시스템은 2차원으로 촬영된 결과 화면이라서 관심영역을 정확하게 찾기 어려운 문제점이 있다.
However, such a vision system has a problem that it is difficult to precisely locate the region of interest because it is a result screen shot in two dimensions.
따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은, 3차원 레이다의 목표 검출 리스트의 좌표(r, θ, h)를 이용해서 비전의 관심영역 중심점 주변을 찾을 수 있는 차량용 레이다 목표 리스트와 비전 영상의 목표물 좌표 관심영역 정합 방법을 제공함에 있다. SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems of the related art, and it is an object of the present invention to provide a three-dimensional radar, The present invention provides a radar target list for a vehicle and a method for matching a target coordinate target region of a vision image.
다만, 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
It should be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 차량용 레이다 목표 리스트와 비전 영상의 목표물 좌표 관심영역 정합 방법은, 2D 비전 영상을 Top View 영상으로 생성하는 단계, 비전 영상의 상기 Top View 영상에 레이다 영상을 매핑하는 단계, 기 설정된 변환 테이블 매트릭스를 이용하여 비전 영상에 표시된 상기 레이다 영상의 목표물(Target)을 비전 영상의 목표물(Vtarget)로 계산하는 단계, 역매트릭스를 통해 상기 비전 영상의 목표물의 좌표를 구하는 단계를 포함한다.
According to an aspect of the present invention, there is provided a method of matching a target coordinate target region of a vision target and a radar target list for a vehicle, the method comprising: generating a 2D vision image as a Top View image; Mapping a radar image to the top view image, calculating a target of the radar image displayed on the vision image using a predetermined conversion table matrix as a target Vtarget of the vision image, And obtaining the coordinates of the target of the vision image.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명에서는 비전 영상과 레이다 영상을 매핑하여 비전 영상에서 목표물의 위치를 구함으로써, 목표물이 위치한 관심 영역을 정확하게 찾을 수 있다.According to one of the above-mentioned objects of the present invention, in the present invention, by locating a target in a vision image by mapping a vision image and a radar image, it is possible to accurately locate a region of interest in which a target is located.
본 발명에서는 레이다 영상의 목표 검출 리스트의 좌표(r, θ, h)를 기초로 해서 매트릭스 변환과 계산을 통해 비전 영상의 관심영역을 쉽게 구할 수 있다.
In the present invention, the region of interest of the vision image can be easily obtained through matrix transformation and calculation based on the coordinates (r,?, H) of the target detection list of the radar image.
도 1은 본 발명의 실시 예에 따른 2D 비전 영상을 Top View 영상으로 이미지 처리하는 과정을 나타내는 도면이다.
도 2는 Top View 영상과 레이다 영상간의 특징을 비교한 도면이다.
도 3은 Top View 영상과 레이다 영상을 매핑한 도면이다.
도 4는 레이다 영상과 비전 영상의 Top View 영상과의 차이를 나타내는 도면이다.
도 5는 비전 영상의 Tor View 영상에서 레이다 목표물(Target)을 재매핑한 결과도이다.
도 6은 본 발명의 차량용 레이다 목표 리스트와 비전 영상의 목표물 좌표 관심영역 정합 방법을 나타내는 설명도이다.1 is a diagram illustrating a process of image-processing a 2D vision image according to an embodiment of the present invention into a top view image.
FIG. 2 is a diagram comparing features between a top view image and a radar image.
FIG. 3 is a map of a top view image and a radar image.
4 is a diagram showing a difference between a radar image and a vision image of a vision image.
FIG. 5 is a diagram of a remapped target of a radar target in a Tor View image of a vision image.
6 is an explanatory view showing a method for matching a target coordinate target region of a vision target image with a radar target list for a vehicle according to the present invention.
본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.For specific embodiments of the invention disclosed herein, specific structural and functional descriptions are set forth for the purpose of describing an embodiment of the invention only, and it is to be understood that the embodiments of the invention may be embodied in various forms, And should not be construed as limited to the embodiments described.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It should be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “바로 ~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms " comprising ", or " having ", and the like, are intended to specify the presence of stated features, integers, But do not preclude the presence or addition of steps, operations, elements, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
On the other hand, if an embodiment is otherwise feasible, the functions or operations specified in a particular block may occur differently from the order specified in the flowchart. For example, two consecutive blocks may actually be performed at substantially the same time, and depending on the associated function or operation, the blocks may be performed backwards.
이하에서는, 도면을 참조하여 본 발명의 일 실시예에 따른 차량용 레이다 목표 검출 리스트와 비전 영상의 목표물 좌표 관심영역 정합 방법에 대하여 상세히 설명하도록 한다.
Hereinafter, a vehicle radar target detection list and a method of matching a target coordinate target region of a vision image according to an embodiment of the present invention will be described in detail with reference to the drawings.
이하, 도 1 내지 6을 참조하여 차량용 레이다 목표 검출 리스트와 비전 영상의 목표물 좌표 관심영역 정합 방법에 대해서 설명하도록 한다.
Hereinafter, a vehicle radar target detection list and a method of matching a target coordinate interest region of a vision image will be described with reference to Figs. 1 to 6. Fig.
도 1은 본 발명의 실시 예에 따른 2D 비전 영상을 Top View 영상으로 이미지 처리하는 과정을 나타내는 도면이다.1 is a diagram illustrating a process of image-processing a 2D vision image according to an embodiment of the present invention into a top view image.
도 1에 도시된 바와 같이, 본 발명은 2D 카메라에서 입력되는 영상에서 특징점을 추출하고, Top 에서 보는 영상인 Top View 영상을 생성한다.As shown in FIG. 1, the present invention extracts feature points from an image input from a 2D camera, and generates a top view image, which is an image viewed from a top.
본 발명에서는 Top View 영상을 생성할 때, 레이다가 3차원 좌표를 만들어 오는 것을 h=0으로 매핑할 경우 동일한 Top View 영상을 형성할 수 있기 때문에 위치의 매핑을 간단하게 처리할 수 있다.
In the present invention, when the top view image is generated, if the radar creates the three-dimensional coordinate by h = 0, the same top view image can be formed, so that the mapping of the position can be easily performed.
도 2는 Top View 영상과 레이다 영상간의 특징을 비교한 도면이다.FIG. 2 is a diagram comparing features between a top view image and a radar image.
도 2에 도시된 바와 같이, 본 발명에서는 비전 영상의 Top View 영상을 레이다 목표물 리스트의 좌표와 매핑할 수 있는 형태로 이미지 처리할 수 있다.As shown in FIG. 2, in the present invention, the Top View image of the vision image can be image-processed in a form that can be mapped to the coordinates of the radar target list.
레이다 영상에서 Target1과 Target2는 목표물 리스트로서, 본 발명에서는 Target1을 레이다 목표물1이라 하고, Target2를 레이다 목표물2라고 한다.
In the radar image, Target1 and Target2 are target lists. In the present invention, Target1 is referred to as a
도 3은 Top View 영상과 레이다 영상을 매핑한 도면이다.FIG. 3 is a map of a top view image and a radar image.
도 3에 도시된 바와 같이, 본 발명은 비전 영상의 Top View 영상과 레이다 영상을 매핑할 수 있다. 이때, 레이다에서 바라보는 중심점과 비전 영상에서 바라보는 중심점이 다를 수 있으며, 비전 영상에서 전방으로 보는 꼭지점과 레이다가 바라보는 꼭지점은 초기 캘리브레이션에서 일치시켜 두고, 장착 위치에 따라 비전 영상과 레이다 영상 사이의 꼭지점 거리(Distance D)를 구할 수 있다.
As shown in FIG. 3, the present invention can map a top view image and a radar image of a vision image. At this time, the center point viewed from the radar may be different from the center point viewed from the vision image. The vertex viewed from the vision image and the vertex viewed by the radar are matched in the initial calibration, and the vision image and the radar image (Distance D) of the center of gravity of the graphene.
도 4는 레이다 영상과 비전 영상의 Top View 영상과의 차이를 나타내는 도면이다.4 is a diagram showing a difference between a radar image and a vision image of a vision image.
도 4에 도시된 바와 같이, 레이다 영상과 전 영상의 FOV(Field Of View) 값에 따라 레이다에서 형성된 레이다 목표물1(Target1)과 레이다 목표물2(Target2)를 비전 영역에 매핑할 수 있다.As shown in FIG. 4, the radar target 1 (Target1) and the radar target 2 (Target2) formed in the radar according to the FOV (Field Of View) values of the radar image and the entire image can be mapped to the vision region.
θ1은 레이다의 FOV에 의해 형성된 각도이고, θ2는 비전 영상의 FOV에 의해 형성된 각도이다. θ1과 θ2사이의 변환 테이블은 캘리브레이션을 통해 이미 설정된 값으로 계산된다.
? 1 is the angle formed by the FOV of the radar, and? 2 is the angle formed by the FOV of the vision image. The conversion table between &thetas; 1 and &thetas; 2 is calculated to a value that has already been set through calibration.
도 5는 비전 영상의 Tor View 영상에서 레이다 목표물(Target)을 재매핑한 결과도이다.FIG. 5 is a diagram of a remapped target of a radar target in a Tor View image of a vision image.
본 발명은 비전 영상의 Top View 영상에 매핑된 레이다 목표물1(Target1)과 레이다 목표물2(Target2)의 좌표를 θ1과 θ2사이의 변환 테이블 매트릭스를 이용하여 Vtartget1과 Vtarget2를 계산한다. The present invention calculates Vtartget1 and Vtarget2 using a conversion table matrix between the coordinates θ1 and θ2 of the radar target 1 (Target1) and the radar target 2 (Target2) mapped to the top view image of the vision image.
본 발명에서는 Vtratget1을 비전 영상 목표물1이라 하고, Vtarget2를 비전 영상 목표물2라고 한다.In the present invention, Vtratget1 is referred to as a
그리고, 역매트릭스 통해 비전 영상 목표물(Vtarget1, Vtarget2)의 x,y 좌표를 구할 수 있다.
Then, the x and y coordinates of the vision image targets (Vtarget1, Vtarget2) can be obtained through the inverse matrix.
도 6은 본 발명의 차량용 레이다 목표 리스트와 비전 영상의 목표물 좌표 관심영역 정합 방법을 나타내는 설명도이다.6 is an explanatory view showing a method for matching a target coordinate target region of a vision target image with a radar target list for a vehicle according to the present invention.
도 6에 도시된 바와 같이, 본 발명은 2D카메라로 촬영된 2D 비전 영상을 Top View 영상으로 생성한다(S610).As shown in FIG. 6, the present invention generates a 2D Vision image photographed by a 2D camera as a Top View image (S610).
비전 영상의 Top View 영상에 레이다 영상을 매핑한다(S620).The radar image is mapped to the top view image of the vision image (S620).
이때, 레이다 영상의 목표물 리스트(Target1, Target2)는 비전 영상에 매핑될 수 있으며, 레이다 영상과 비전 영상의 FOV 값에 차이가 있다.At this time, the target list (Target1, Target2) of the radar image can be mapped to the vision image, and the FOV values of the radar image and the vision image are different.
본 발명에서는 레이다의 FOV에 의해 형성되는 각도(θ1) 과 비전 영상의 FOV에 의해 형성되는 각도(θ2)를 고려하여, 비전 영상 레이다 영상 사이의 변환 테이블은 캘리브레이션을 통해 기 설정된 값으로 계산될 수 있다.In the present invention, in consideration of the angle [theta] l formed by the FOV of the radar and the angle [theta] 2 formed by the FOV of the vision image, the conversion table between the vision image radar images can be calculated to a predetermined value through calibration have.
본 발명에서는 기 설정된 변환 테이블 매트릭스를 이용하여 비전 영상에 표시된 레이다 영상의 목표물(Target1, Target2)을 비전 영상의 목표물(Vtarget1, Vtarget2)로 계산한다(S630).In the present invention, the targets (Target1, Target2) of the radar image displayed in the vision image are calculated by using the target images (Vtarget1, Vtarget2) of the vision images using a predetermined conversion table matrix (S630).
마지막으로, 본 발명은 역매트릭스를 통해 비전 영상의 목표물의 좌표(x,y)를 산출할 수 있다(S640). 이때, 비전 영상의 목표물은 비전 영상의 관심 영역 중심점 주변일 수도 있다.
Finally, the present invention can calculate the coordinates (x, y) of the target of the vision image through the inverse matrix (S640). At this time, the target of the vision image may be around the center of the region of interest of the vision image.
본 발명에서는 비전 영상과 레이다 영상을 매핑하여 비전 영상에서 목표물의 위치를 구함으로써, 목표물이 위치한 관심 영역을 보다 정확하게 찾을 수 있다.According to the present invention, by locating the target in the vision image by mapping the vision image and the radar image, it is possible to more accurately find the region of interest in which the target is located.
본 발명에서는 레이다 영상의 목표 검출 리스트의 좌표(r, θ, h)를 기초로 해서 매트릭스 변환과 계산을 통해 비전 영상의 관심영역을 보다 쉽게 구할 수 있다.
In the present invention, the region of interest of the vision image can be obtained more easily through matrix transformation and calculation based on the coordinates (r,?, H) of the target detection list of the radar image.
본 발명의 일 실시예에 따른 차량용 레이다 목표 리스트와 비전 영상의 목표물 좌표 관심영역 정합 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
The method for matching the target coordinate target area of a radar target list and a vision image according to an embodiment of the present invention may also be implemented in the form of a recording medium including a computer program stored on a medium executed by the computer or instructions executable by the computer . Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.
본 발명의 방법은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.While the method of the present invention has been described with reference to particular embodiments, some or all of those elements or operations may be implemented using a computer system having a general purpose hardware architecture.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
S610 : Top View 영상 생성단계
S620 : 영상 매핑단계
S630 : 목표물 계산단계
S640 : 목표물 좌표 산출단계S610: Top view image creation step
S620: Image mapping step
S630: Target calculation step
S640: Target coordinate calculation step
Claims (1)
2D 비전 영상을 Top View 영상으로 생성하는 단계;
비전 영상의 상기 Top View 영상에 레이다 영상을 매핑하는 단계;
기 설정된 변환 테이블 매트릭스를 이용하여 비전 영상에 표시된 상기 레이다 영상의 목표물(Target)을 비전 영상의 목표물(Vtarget)로 계산하는 단계; 및
역매트릭스를 통해 상기 비전 영상의 목표물의 좌표를 구하는 단계를 포함하는 차량용 레이다 목표 리스트와 비전 영상의 목표물 좌표 관심영역 정합 방법.
A method of matching a target coordinate target region of a radar target list and a vision image for a vehicle,
Generating a 2D vision image as a Top View image;
Mapping a radar image to the Top View image of the vision image;
Calculating a target of the radar image displayed on the vision image using a predetermined conversion table matrix as a target Vtarget of the vision image; And
And obtaining the coordinates of the target of the vision image through the inverse matrix.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170023531A KR102071720B1 (en) | 2017-02-22 | 2017-02-22 | Method for matching radar target list and target of vision image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170023531A KR102071720B1 (en) | 2017-02-22 | 2017-02-22 | Method for matching radar target list and target of vision image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180097004A true KR20180097004A (en) | 2018-08-30 |
| KR102071720B1 KR102071720B1 (en) | 2020-01-30 |
Family
ID=63453373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170023531A KR102071720B1 (en) | 2017-02-22 | 2017-02-22 | Method for matching radar target list and target of vision image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102071720B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020108647A1 (en) * | 2018-11-30 | 2020-06-04 | 杭州海康威视数字技术股份有限公司 | Target detection method, apparatus and system based on linkage between vehicle-mounted camera and vehicle-mounted radar |
| CN113030944A (en) * | 2021-04-16 | 2021-06-25 | 深圳市众云信息科技有限公司 | Radar target tracking method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010117211A (en) * | 2008-11-12 | 2010-05-27 | East Japan Railway Co | Laser radar installation position verification apparatus, laser radar installation position verification method, and program for laser radar installation position verification apparatus |
| US20150086078A1 (en) * | 2013-09-20 | 2015-03-26 | Application Solutions (Electronics and Vision) Ltd. | Method for estimating ego motion of an object |
| KR20160062880A (en) * | 2014-11-26 | 2016-06-03 | 휴앤에스(주) | road traffic information management system for g using camera and radar |
-
2017
- 2017-02-22 KR KR1020170023531A patent/KR102071720B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010117211A (en) * | 2008-11-12 | 2010-05-27 | East Japan Railway Co | Laser radar installation position verification apparatus, laser radar installation position verification method, and program for laser radar installation position verification apparatus |
| US20150086078A1 (en) * | 2013-09-20 | 2015-03-26 | Application Solutions (Electronics and Vision) Ltd. | Method for estimating ego motion of an object |
| KR20160062880A (en) * | 2014-11-26 | 2016-06-03 | 휴앤에스(주) | road traffic information management system for g using camera and radar |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020108647A1 (en) * | 2018-11-30 | 2020-06-04 | 杭州海康威视数字技术股份有限公司 | Target detection method, apparatus and system based on linkage between vehicle-mounted camera and vehicle-mounted radar |
| CN113030944A (en) * | 2021-04-16 | 2021-06-25 | 深圳市众云信息科技有限公司 | Radar target tracking method |
| CN113030944B (en) * | 2021-04-16 | 2024-02-02 | 深圳市众云信息科技有限公司 | Radar target tracking method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102071720B1 (en) | 2020-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210058608A1 (en) | Method and apparatus for generating three-dimensional (3d) road model | |
| Zaarane et al. | Distance measurement system for autonomous vehicles using stereo camera | |
| CN108352056B (en) | System and method for correcting erroneous depth information | |
| JP6881307B2 (en) | Information processing equipment, information processing methods, and programs | |
| US11227395B2 (en) | Method and apparatus for determining motion vector field, device, storage medium and vehicle | |
| US9501839B1 (en) | Methods and systems for detecting moving objects in a sequence of image frames produced by sensors with inconsistent gain, offset, and dead pixels | |
| CN109118532B (en) | Visual field depth estimation method, device, equipment and storage medium | |
| US11204610B2 (en) | Information processing apparatus, vehicle, and information processing method using correlation between attributes | |
| CN110231832B (en) | Obstacle avoidance method and obstacle avoidance device for unmanned aerial vehicle | |
| WO2022135594A1 (en) | Method and apparatus for detecting target object, fusion processing unit, and medium | |
| EP4213128A1 (en) | Obstacle detection device, obstacle detection system, and obstacle detection method | |
| CN114782911B (en) | Image processing method, device, equipment, medium, chip and vehicle | |
| US11314975B2 (en) | Object identification in data relating to signals that are not human perceptible | |
| CN109034214B (en) | Method and apparatus for generating a mark | |
| KR20180097004A (en) | Method of position calculation between radar target lists and vision image ROI | |
| CN112630798B (en) | Method and apparatus for estimating ground | |
| CN109618085B (en) | Electronic equipment and mobile platform | |
| CN109587304B (en) | Electronic equipment and mobile platform | |
| Ponto et al. | Opportunities for utilizing consumer grade 3D capture tools for insurance documentation | |
| Rameau et al. | A real-time vehicular vision system to seamlessly see-through cars | |
| CN113393508B (en) | Laser ranging imaging method, device, electronic equipment and storage medium | |
| CN113112551B (en) | Camera parameter determining method and device, road side equipment and cloud control platform | |
| Neves et al. | A calibration algorithm for multi-camera visual surveillance systems based on single-view metrology | |
| JPWO2018056129A1 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND STORAGE MEDIUM | |
| KR102177268B1 (en) | Road Object Map Generation Method using Road Radar Information Generated by V2X Base Station |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |