KR101890612B1 - Method and apparatus for detecting object using adaptive roi and classifier - Google Patents
Method and apparatus for detecting object using adaptive roi and classifier Download PDFInfo
- Publication number
- KR101890612B1 KR101890612B1 KR1020160180586A KR20160180586A KR101890612B1 KR 101890612 B1 KR101890612 B1 KR 101890612B1 KR 1020160180586 A KR1020160180586 A KR 1020160180586A KR 20160180586 A KR20160180586 A KR 20160180586A KR 101890612 B1 KR101890612 B1 KR 101890612B1
- Authority
- KR
- South Korea
- Prior art keywords
- coordinate system
- camera
- image
- adaptive
- vehicle
- Prior art date
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000005259 measurement Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M1/00—Testing static or dynamic balance of machines or structures
- G01M1/10—Determining the moment of inertia
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/14—Determining absolute distances from a plurality of spaced points of known location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치에 관한 것으로서, 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치는, 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득부; 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정부; 상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성부; 상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성부; 및 각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출부;를 포함한다.The present invention relates to a method and an apparatus for detecting an object using an adaptive ROI and a search window, and an object detecting apparatus using an adaptive ROI and a search window according to an embodiment of the present invention, An image obtaining unit; An interest region setting unit for setting an adaptive ROI according to distance in the obtained image; An image pyramid generation unit for generating an image pyramid including a plurality of resize images by gradually changing an image size of the set adaptive ROI; A search window generating unit for generating a search window for each distance in each of the resize images of the generated image pyramid; And an object detector for detecting the object by moving the generated adaptive search window in each resize image.
Description
본 발명은 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치에 관한 것으로서, 더욱 상세하게는 각 피라미드 이미지에서 거리에 따른 적응적 관심영역 및 거리별 탐색창을 적용하여 객체를 검출함으로써, 동일한 라시이즈 이미지의 동일한 작업량으로 인해 병렬 처리를 효율적으로 수행할 수 있고, 피라미드 이미지 생성시 이미지 알고리즘 제거로 인한 속도를 개선할 수 있는, 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for detecting an object using an adaptive ROI and a search window, and more particularly, to a method and apparatus for detecting an object by applying an adaptive ROI and a search window for each distance according to distance in each pyramid image, A method and an apparatus for detecting an object using an adaptive ROI and a search window, which can efficiently perform parallel processing due to the same amount of work in the RAISE image and improve the speed due to removal of the image algorithm in generating the pyramid image will be.
도 1은 이미지 피라미드와 객체 탐색창을 나타낸 도면이다.1 is a view showing an image pyramid and an object search window.
도 1에 도시된 바와 같이, 이미지를 여러 스케일에 걸쳐서 분석하는 일반적인 방법은 입력 이미지의 크기를 단계적으로 변화(예컨대, 축소, 증가 등)시켜 가면서 필요한 분석 작업을 하는 것이다. 이때, 생성된 피라미드 이미지(111)가 포함된 일련의 이미지 집합을 이미지 피라미드(110)라 부른다.As shown in FIG. 1, a general method for analyzing an image over various scales is to perform necessary analysis while changing the size of the input image stepwise (for example, reducing, increasing, etc.). At this time, a set of images including the generated
종래 객체 검출(Object Detector) 기술 역시 일반적인 방법으로 이미지 피라미드(110)를 사용했다.Conventional object detection techniques also use the
종래 객체 검출 알고리즘은 이미지 피라미드(110)에 대해서 고정된 크기의 탐색창(120)을 이동시켜 객체를 판별한다.The conventional object detection algorithm identifies an object by moving a
도 2는 이미지 피라미드에서 전역적으로 탐색하는 탐색창을 나타낸 도면이다.FIG. 2 is a diagram illustrating a search window for searching globally in an image pyramid.
도 2에 도시된 바와 같이, 종래 객체 검출 기술은 이미지 피라미드(110)에서 전역적으로 탐색하는 탐색창(120)을 이용하여 객체를 검출하게 된다.As shown in FIG. 2, the conventional object detection technology detects an object using a
종래 객체 검출 기술은 각 피라미드 이미지(111)에 대해 전역적으로 불필요한 영역을 탐색하면서 객체(Object)를 찾는다. 이러한 객체 검출 기술은 불필요한 영역까지 탐색하게 되면서 비효율적인 부분이 발생한다.Conventionally, an object detection technique searches an object for each
피라미드 이미지의 사이즈가 달라 계산량이 모두 다르다. 따라서 종래 객체 검출 기술은 병렬 처리에 부적합하다.The size of the pyramid image is different. Conventional object detection techniques are therefore unsuitable for parallel processing.
종래 객체 검출 기술에서는 피라미드 이미지(111)를 만드는 횟수가 스케일에 따라 매우 많이 발생하게 된다.In the conventional object detection technology, the number of times the
본 발명의 실시 예들은 각 피라미드 이미지에서 거리에 따른 적응적 관심영역 및 거리별 탐색창을 적용하여 객체를 검출함으로써, 동일한 라시이즈 이미지의 동일한 작업량으로 인해 병렬 처리를 효율적으로 수행할 수 있고, 피라미드 이미지 생성시 이미지 알고리즘 제거로 인한 속도를 개선할 수 있는, 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치를 제공하고자 한다.Embodiments of the present invention can efficiently perform parallel processing due to the same amount of work of the same size image by detecting an object by applying a search window for adaptive ROI and distance according to distance in each pyramid image, And a method and apparatus for detecting an object using an adaptive ROI and a search window, which can improve the speed due to removal of an image algorithm when an image is generated.
또한, 본 발명의 실시 예들은 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환함으로써, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 동시에 도출할 수 있는, 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치를 제공하고자 한다.In addition, embodiments of the present invention may also be applied to adaptive attention, which can simultaneously extract an area of an object detected in an adaptive ROI transformed into a real world coordinate system and an actual distance, by converting an adaptive ROI into a real world coordinate system And an object detecting apparatus using the area and the search window.
본 발명의 제1 측면에 따르면, 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득 단계; 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정 단계; 상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 피라미드 이미지를 생성하는 피라미드 이미지 생성 단계; 상기 생성된 피라미드 이미지의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성 단계; 및 각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출 단계;를 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법이 제공될 수 있다.According to a first aspect of the present invention, there is provided an image obtaining method comprising: an image obtaining step of obtaining an image from a camera in a vehicle; An interest region setting step of setting an adaptive ROI according to the distance in the obtained image; A pyramid image generation step of generating a pyramid image including a plurality of resized images by gradually changing an image size of the set adaptive ROI; A search window generating step of generating a search window for each distance in each resize image of the generated pyramid image; And an object detecting step of moving the generated adaptive search window in each resize image to detect an object. The method of detecting an object using an adaptive ROI and a search window may be provided.
상기 관심영역 설정 단계는, 현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시킬 수 있다.The interest region setting step may reduce the error using the candidate ROI information for the previous time accumulated for the current ROI candidate region.
상기 방법은, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환 단계;를 더 포함할 수 있다.The method may further include a coordinate system transforming step of transforming the adaptive ROI according to the set distance into a real world coordinate system.
상기 좌표계 변환 단계는, 상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환할 수 있다.The coordinate system conversion step may convert the adaptive ROI into the real world coordinate system using the camera calibration information, the camera position information, the vehicle state information, and the inertia measurement information.
상기 좌표계 변환 단계는, 상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다.In the coordinate system conversion step, at least one internal parameter among the focal length, principal point, asymmetry coefficient, and distortion parameter may be calculated through calibration of the camera to remove image distortion.
상기 좌표계 변환 단계는, 상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다.The coordinate system conversion step may convert a specific point in the acquired image to a point on a straight line in the actual space based on the camera coordinates using the calibration information of the camera and the inertia measurement information of the vehicle.
상기 좌표계 변환 단계는, 상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용할 수 있다.The coordinate system conversion step may use the satellite navigation information and the inertia measurement information of the vehicle to convert the coordinate system into an attitude matrix having a rotation matrix and a parallel movement value for each time based on a starting point.
상기 좌표계 변환 단계는, 현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(Random sample consensus, RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정할 수 있다.The coordinate system conversion step may include estimating a three-dimensional position based on the same feature point from the current and previous images, changing the feature point to a vehicle coordinate system using the camera rotation relationship in the vehicle, , We can estimate the camera height in the vehicle by estimating the plane equations through the Random Sample Consensus (RANSAC) relation and calculating the distance between the estimated plane and the camera.
상기 좌표계 변환 단계는, 상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정할 수 있다.The coordinate system conversion step may be such that when the vehicle is in contact with the ground and the ground and the vehicle are horizontal and the camera orientation change amount and the camera rotation relationship in the vehicle are used, It can be estimated as height.
상기 좌표계 변환 단계는, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출할 수 있다.The coordinate system conversion step may convert the adaptive ROI according to distance in the obtained image into a real world coordinate system and derive an actual range and an area of the object detected in the adaptive ROI converted to the real world coordinate system.
한편, 본 발명의 제2 측면에 따르면, 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득부; 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정부; 상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 피라미드 이미지를 생성하는 피라미드 이미지 생성부; 상기 생성된 피라미드 이미지의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성부; 및 각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출부;를 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치가 제공될 수 있다.According to a second aspect of the present invention, there is provided an image processing apparatus comprising: an image obtaining unit obtaining an image from a camera in a vehicle; An interest region setting unit for setting an adaptive ROI according to distance in the obtained image; A pyramid image generation unit for generating a pyramid image including a plurality of resized images by gradually changing an image size of the set adaptive ROI; A search window generating unit for generating a search window for each distance in each resize image of the generated pyramid image; And an object detection unit for detecting the object by moving the generated adaptive search window in each resize image. The apparatus for detecting an object using an adaptive ROI and a search window may be provided.
상기 관심영역 설정부는, 현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시킬 수 있다.The ROI setting unit may reduce the error using the candidate ROI information for the previous time accumulated for the current ROI candidate area.
상기 장치는, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환부;를 더 포함할 수 있다.The apparatus may further include a coordinate system conversion unit for converting the adaptive ROI according to the set distance into a real world coordinate system.
상기 좌표계 변환부는, 상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환할 수 있다.The coordinate system conversion unit may convert the adaptive ROI according to the distance into the real world coordinate system using the calibration information of the camera, the position information of the camera, the state information of the vehicle, and the inertia measurement information.
상기 좌표계 변환부는, 상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다.The coordinate system conversion unit may remove at least one internal parameter among the focal length, principal point, asymmetry coefficient, and distortion parameters through calibration of the camera to remove image distortion.
상기 좌표계 변환부는, 상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다.The coordinate system conversion unit may convert a specific point in the acquired image into a point on a straight line in the actual space based on camera coordinates using the calibration information of the camera and the inertia measurement information of the vehicle.
상기 좌표계 변환부는, 상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용할 수 있다.The coordinate system conversion unit may use the satellite navigation information and the inertia measurement information of the vehicle to convert it into an attitude matrix having a rotation matrix and a parallel movement value for each time based on a starting point.
상기 좌표계 변환부는, 현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정할 수 있다.The coordinate system conversion unit estimates a three-dimensional position based on the same feature point from the current and previous images, changes the feature point into a vehicle coordinate system using the camera rotation relationship in the vehicle, , We can estimate the camera height in the vehicle by estimating the plane equations through the RANSAC relationship and calculating the distance between the estimated plane and the camera.
상기 좌표계 변환부는, 상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정할 수 있다.Wherein the coordinate system conversion unit converts the distance between the camera and the ground to the height of the camera in the vehicle when the vehicle is in contact with the ground and the ground and the vehicle are horizontal and the amount of change in attitude of the camera and the camera rotation relationship in the vehicle are utilized, .
상기 좌표계 변환부는, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출할 수 있다.The coordinate system conversion unit may convert the adaptive ROI according to distance in the obtained image into a real world coordinate system and derive an actual distance and an area of the object detected in the adaptive ROI converted into the real world coordinate system.
본 발명의 실시 예들은 각 피라미드 이미지에서 거리에 따른 적응적 관심영역 및 거리별 탐색창을 적용하여 객체를 검출함으로써, 동일한 라시이즈 이미지의 동일한 작업량으로 인해 병렬 처리를 효율적으로 수행할 수 있고, 피라미드 이미지 생성시 이미지 알고리즘 제거로 인한 속도를 개선할 수 있다.Embodiments of the present invention can efficiently perform parallel processing due to the same amount of work of the same size image by detecting an object by applying a search window for adaptive ROI and distance according to distance in each pyramid image, It is possible to improve the speed due to removal of image algorithms in image generation.
또한, 본 발명의 실시 예들은 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환함으로써, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 동시에 도출할 수 있다.In addition, embodiments of the present invention can simultaneously extract an area and an actual distance of an object detected in the adaptive ROI transformed into a real world coordinate system by converting an adaptive ROI into a real world coordinate system.
도 1은 이미지 피라미드와 객체 탐색창을 나타낸 도면이다.
도 2는 이미지 피라미드에서 전역적으로 탐색하는 탐색창을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치의 구성도이다.
도 4는 본 발명의 실시 예에 따른 적응적 관심영역을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 적응적 탐색창을 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 획득 가능한 차량의 상태 정보 및 관성 측정 정보를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 회전 행렬을 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법에 대한 흐름도이다.1 is a view showing an image pyramid and an object search window.
FIG. 2 is a diagram illustrating a search window for searching globally in an image pyramid.
3 is a block diagram of an object detecting apparatus using an adaptive ROI and a search window according to an embodiment of the present invention.
4 is a diagram illustrating an adaptive region of interest according to an embodiment of the present invention.
5 is a diagram illustrating an adaptive search window according to an embodiment of the present invention.
6 is a view showing state information and inertia measurement information of an obtainable vehicle according to an embodiment of the present invention.
7 is a diagram illustrating a rotation matrix according to an embodiment of the present invention.
8 is a flowchart illustrating an object detection method using an adaptive ROI and a search window according to an embodiment of the present invention.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 발명의 실시 예를 설명하면서, 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The present invention will be described in detail with reference to the portions necessary for understanding the operation and operation according to the present invention. In describing the embodiments of the present invention, description of technical contents which are well known in the art to which the present invention belongs and which are not directly related to the present invention will be omitted. This is for the sake of clarity of the present invention without omitting the unnecessary explanation.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.In describing the constituent elements of the present invention, the same reference numerals may be given to constituent elements having the same name, and the same reference numerals may be given to different drawings. However, even in such a case, it does not mean that the corresponding component has different functions according to the embodiment, or does not mean that it has the same function in different embodiments, and the function of each component is different from that of the corresponding embodiment Based on the description of each component in FIG.
도 3은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치의 구성도이다.3 is a block diagram of an object detecting apparatus using an adaptive ROI and a search window according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치(200)는 이미지 획득부(210), 관심영역 설정부(220), 이미지 피라미드 생성부(230), 탐색창 생성부(240) 및 객체 검출부(250)를 포함한다. 여기서, 객체 검출 장치(200)는 좌표계 변환부(260)를 더 포함할 수 있다.3, an
이하, 도 3의 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치(200)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.Hereinafter, the specific configuration and operation of each component of the
이미지 획득부(210)는 차량 내의 설치된 카메라로부터 이미지를 획득한다. The
관심영역 설정부(220)는 이미지 획득부(210)에서 획득된 이미지에서 거리에 따른 적응적 관심영역(Adaptive ROI)을 설정한다. 여기서, 관심영역은 ROI(Region of Interest)로 지칭된다.The
여기서, 관심영역 설정부(220)는, 현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시킬 수 있다. 관심영역 설정부(220)는 후보 관심영역(Candidate ROI)에 대해서 과거 시간 즉, 이전 시간에 대한 후보 관심영역에 대한 정보를 저장하고 있다. 그래서 관심영역 설정부(220)는 현재 후보 관심영역에 대해서 이전 시간에 대한 후보 관심영역 정보를 누적시켜 오류를 줄일 수 있다.Here, the region-of-
이미지 생성부는 관심영역 설정부(220)에서 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드 생성부(230)를 생성한다.The
탐색창 생성부(240)는 이미지 생성부에서 생성된 이미지 피라미드 생성부(230)의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성한다.The search
객체 검출부(250)는 각 리사이즈 이미지에서 탐색창 생성부(240)에서 생성된 적응적 탐색창(Adaptive Classifier)을 이동시켜 객체를 검출한다.The
도 4는 본 발명의 실시 예에 따른 적응적 관심영역을 나타낸 도면이다.4 is a diagram illustrating an adaptive region of interest according to an embodiment of the present invention.
도 4에 도시된 바와 같이, 관심영역 설정부(220)는 이미지 획득부(210)에서 획득된 이미지에서 거리에 따른 적응적 관심영역(221)을 설정한다. 적응적 관심영역(221)은 거리에 따라 다르게 설정될 수 있다. 일례로, 적응적 관심영역(221)은 기설정된 거리 비율에 따라 설정된 영역만큼 설정될 수 있다. 적응적 관심영역(221)은 원거리일수록 작게 설정되고, 근거리일수록 크게 설정된다.As shown in FIG. 4, the
관심영역 설정부(220)에서 설정된 거리에 따른 적응적 관심영역(221)은 동일한 리사이즈 이미지로 동일한 작업량을 가능하게 한다. 이로 인해, 객체 검출 장치(200)는 병렬 처리(Load Balancing)를 효율적으로 수행할 수 있다.The
도 5는 본 발명의 실시 예에 따른 적응적 탐색창을 나타낸 도면이다.5 is a diagram illustrating an adaptive search window according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 탐색창 생성부(240)는 이미지 피라미드 생성부(230)에서 생성된 이미지(231)의 각 리사이즈 이미지(232)에서 적응적 탐색창(233)을 각각 생성한다. 여기서, 적응적 탐색창(233)은 거리별로 다르게 생성된다. 여기서, 리사이즈 이미지(232)는 이미지 피라미드 생성부(230) 이미지로 지칭될 수 있다.5, the search
객체 검출 장치(200)는 다양한 크기로 학습을 진행함으로써, 탐색창 생성부(240)에서 생성된 거리별 탐색창(233)을 각각 적용할 수 있다. 객체 검출 장치(200)는 이러한 거리별 탐색창(233)을 이용하여 객체가 존재하는 영역(234)을 검출할 수 있다.The
이미지 피라미드 생성부(230) 이미지 생성시 리사이즈 이미지 알고리즘 제거로 인해 속도 개선이 이루어질 수 있다.The
한편, 좌표계 변환부(260)는 이미지상에서 관심영역 설정부(220)에서 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환한다.On the other hand, the coordinate
카메라의 캘리브레이션 정보에 대해서 살펴보기로 한다.The calibration information of the camera will be described below.
좌표계 변환부(260)는, 카메라의 캘리브레이션을 통해 초점 거리(Focal Length), 주점(Principle Point), 비대칭 계수(skew coefficient) 및 왜곡 파라미터(Distortion parameter) 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다. 캘리브레이션을 통해 얻을 수 있는 정보는 초점 거리(Focal Length), 주점(Principle Point), 비대칭 계수(skew coefficient) 및 왜곡 파라미터(Distortion parameter) 등이 있다.The coordinate
실세계 좌표계에서 관심영역을 구하기 위해서 카메라의 내부 파라미터의 영향이 제거된 정규 이미지 평면(Normalized Image Plane)에서 정의된다. 그러므로 좌표계 변환부(260)는 캘리브레이션을 통해 내부 파라미터를 구해서 영상의 왜곡을 제거한다.In order to obtain the region of interest in the real world coordinate system, the influence of the internal parameters of the camera is defined in the normalized image plane. Therefore, the coordinate
사용자 단말(예컨대, 핸드폰)에서는 정해진 규격의 캘리브레이션 차트를 이용하여 카메라 내부 파라미터를 구할 수 있다.In a user terminal (for example, a cellular phone), a camera internal parameter can be obtained using a calibration chart of a predetermined standard.
도 6은 본 발명의 실시 예에 따른 획득 가능한 차량의 상태 정보 및 관성 측정 정보를 나타낸 도면이다.6 is a view showing state information and inertia measurement information of an obtainable vehicle according to an embodiment of the present invention.
도 6에 도시된 바와 같이, 획득 가능한 차량의 상태 정보 및 관성 측정 정보에는 위도(latitude), 경도(longitude), 고도(altitude), 롤 각도(roll angle), 피치 각도(pitch angle), 요 각도(yaw angle), 북쪽의 속도(velocity towards north), 동쪽의 속도(velocity towards east), 지표면에 평행한 전방 속도(forward velocity), 지표면에 평행한 좌측 속도(leftward velocity), 지표면에 수직인 상향 속도(upward velocity), 차량 정면 방향의 가속도(acceleration in x, i.e. in direction of vehicle front), 차량 좌측의 가속도(acceleration in y, i.e. in direction of vehicle left), 차량 상향 가속도(acceleration in z, i.e. in direction of vehicle top), 정방향 가속도(forward acceleration), 좌측 가속도(leftward acceleration), 상향 가속도(upward acceleration), x 주위의 각속도(angular rate around x), y 주위의 각속도(angular rate around y), z 주위의 각속도(angular rate around z), 정방향 축 주위의 각속도(angular rate around forward axis), 좌측 축 주위의 각속도(angular rate around leftward axis), 상향 축 주위의 각속도(angular rate around upward axis), 위치 정확도(position accuracy), 속도 정확도(velocity accuracy), 내비게이션 상태(navigation status), 기본 GPS 수신기가 추적하는 위성 수(number of satellites tracked by primary GPS receiver), 기본 GPS 수신기의 위치 모드(position mode of primary GPS receiver), 기본 GPS 수신기의 속도 모드(velocity mode of primary GPS receiver), 기본 GPS 수신기의 방향 모드(orientation mode of primary GPS receiver) 등이 포함될 수 있다.As shown in FIG. 6, the obtainable vehicle state information and inertia measurement information include latitude, longitude, altitude, roll angle, pitch angle, yaw angle, velocity towards north, velocity towards east, forward velocity parallel to the surface, leftward velocity parallel to the surface, In other words, the acceleration of the vehicle, ie, the upward velocity, the acceleration in the direction of the vehicle (ie, the direction of the vehicle front), the acceleration of the vehicle (ie, the direction of the vehicle left) in direction of vehicle top, forward acceleration, leftward acceleration, upward acceleration, angular rate around x, angular rate around y, angular rate around z, The angular rate around the left axis, the angular rate around the right axis, the angular rate around the right axis, the angular rate around the right axis, the angular rate around the right axis, (GPS) receiver, a position mode of a primary GPS receiver, a speed mode of a basic GPS receiver, a navigation mode of the basic GPS receiver, a velocity mode of a primary GPS receiver, an orientation mode of a primary GPS receiver, and the like.
좌표계 변환부(260)는 차량 자체의 상태 정보와 카메라의 위치 정보를 기계적인 센서를 통해 획득하고 그 획득된 정보들을 이용할 수 있다. 좌표계 변환부(260)는 차량의 온-보드 진단기(On-Board Diagnostics, OBD)를 통해서 정보들을 획득할 수 있다. 온-보드 진단기(OBD)는 차량의 전기 또는 전자적인 작동 상태를 확인하고 제어하기 위한 진단 장치를 나타낸다. 온-보드 진단기(OBD)로부터 획득 가능한 차량의 상태 정보들에는 속도, 엔진 회전수, 수온 및 유온, 전압, 흡기량 및 연료 분출량, 액셀러레이터 개방 정도, 공연비 등이 포함될 수 있다. 또한, 이러한 차량의 상태 정보들에는 산소센서의 정보, 배기온 등 엔진과 관련한 여러 정보가 포함될 수 있다. 차량에 따라서는 트랜스미션의 단수 등 엔진 계통 이외의 정보도 상태 정보로 출력될 수 있다.The coordinate
좌표계 변환부(260)는 관성 측정 장치(Inertial Measurement Unit, IMU)로부터 관성 측정 정보를 획득한다. 관성 측정 장치(IMU)는 요(Yaw), 피치(Pitch), 롤(Roll) 방향의 가속도나 각속도를 구하기 위한 센서를 나타낸다. 관성 측정 장치는 축당 가속도계나 각속도계가 있어 물리량을 측정할 수 있다.The coordinate
도 7은 본 발명의 실시 예에 따른 회전 행렬을 나타낸 도면이다.7 is a diagram illustrating a rotation matrix according to an embodiment of the present invention.
도 7을 참고하여, 카메라의 회전 및 이동 행렬(Rotation & Translation Matrix)에 대해서 살펴보기로 한다.Referring to FIG. 7, a rotation and translation matrix of the camera will be described.
좌표계 변환부(260)는 카메라의 캘리브레이션 정보 및 차량의 관성 측정 정보를 이용하여 이미지 획득부(210)에서 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다. 이와 같이, 카메라의 캘리브레이션 정보와 차량의 관성 측정 정보가 존재한다면, 이미지상에서의 특정 지점(u, v)은 실제 공간 상(World, Camera 좌표 기준)의 직선상의 지점으로 변환될 수 있다.The coordinate
좌표계 변환부(260)는, 카메라의 캘리브레이션(Calibration) 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 이미지상에서 관심영역 설정부(220)에서 설정된 거리에 따른 적응적 관심영역을 실세계(Real World) 좌표계로 변환한다.The coordinate
좌표계 변환부(260)는, 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용할 수 있다. 예컨대, 좌표계 변환부(260)는, 위성 항법 정보(GPS), 관성 측정 정보(IMU)를 읽어서 시작점을 기준으로 시간마다 회전 행렬(R) 값 및 이동 행렬(T) 값을 가지는 자세 행렬(예컨대, 4×4 행렬)로 변환하여 이용할 수 있다. 이러한 회전 행렬은 하기의 [수학식 1]과 같이 나타낼 수 있다.The coordinate
여기서, R은 회전 행렬, ux, uy, vx, vy는 x축 및 y축에서의 특징 지점, θ는 회전 각도를 나타낸다.Where R is the rotation matrix, u x , u y , v x , and v y are feature points in the x and y axes, and θ is the rotation angle.
회전 행렬(R) 값 및 이동 행렬(T) 값을 이용한 3차원 변환을 위한 자세 행렬은 하기의 [수학식 2]와 같이 나타낼 수 있다.The posture matrix for the three-dimensional transformation using the rotation matrix (R) value and the movement matrix (T) value can be expressed as Equation (2) below.
여기서, R은 회전 행렬, 은 이동 행렬, 은 자세 행렬을 나타낸다.Where R is the rotation matrix, A moving matrix, Represents an attitude matrix.
한편, 카메라의 위치 정보(높이) 추정 과정에 대해서 살펴보기로 한다.Meanwhile, a process of estimating the position information (height) of the camera will be described.
우선, 카메라의 높이를 추정하기 위한 조건으로 차량과 지면은 맞닿아 있고, 지면과 차량은 수평이라고 가정하기로 한다. 따라서 카메라와 지면과의 거리가 차량 내에서의 카메라 높이로 추정될 수 있다. First, it is assumed that the vehicle and the ground are in contact with each other and the ground and the vehicle are in a horizontal plane as conditions for estimating the height of the camera. Therefore, the distance between the camera and the ground can be estimated as the height of the camera in the vehicle.
또한, 카메라의 자세 변화량과 차량 내에서의 카메라 회전(Rotation) 관계는 알고 있다고 가정하기로 한다.It is also assumed that the amount of change in the attitude of the camera and the rotation of the camera in the vehicle are known.
이러한 가정에 따라, 좌표계 변환부(260)는 현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경한다.According to this assumption, the coordinate
그리고 좌표계 변환부(260)는 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(Random sample consensus, RANSAC) 관계를 통한 평면 방정식을 추정한다.Then, the coordinate
이어서, 좌표계 변환부(260)는 그 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정할 수 있다.Then, the coordinate
한편, 실세계 좌표계에서의 관심영역(Real World ROI)에 대해서 살펴보기로 한다.Let's look at real world ROI in the real world coordinate system.
실세계 좌표계로 변환하는 과정을 구체적으로 살펴보면, 2차원에서 3차원으로의 좌표계 맵핑은 안되므로 Z=1로 가정한다. 여기서, 정규 이미지 평면 (Normalized Image Plane)으로 투영된다.To concretely look into the process of transforming into the real world coordinate system, it is assumed that Z = 1 since the coordinate system mapping from 2D to 3D is not possible. Here, a normalized image plane is projected.
좌표계 변환부(260)는 카메라의 높이, 카메라 행렬(Camera Matrix)과 자세 행렬(Pose Matrix)이 적용된 하기의 [수학식 3]을 이용한다.The coordinate
여기서, X, Y, Z는 실세계 좌표계상의 3차원 지점의 좌표, 는 카메라 행렬, 은 자세 행렬을 나타낸다.Here, X, Y, and Z are coordinates of a three-dimensional point on the real world coordinate system, A camera matrix, Represents an attitude matrix.
좌표계 변환부(260)는 이미지 획득부(210)에서 획득된 이미지상에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환한다.The coordinate
그리고 좌표계 변환부(260)는 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 동시에 도출할 수 있다.The coordinate
참고로, 본 발명의 실시예에 따른 도 3에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.3 may be implemented in hardware such as software or an FPGA (Field Programmable Gate Array) or ASIC (Application Specific Integrated Circuit), and may perform predetermined roles can do.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.However, 'components' are not meant to be limited to software or hardware, and each component may be configured to reside on an addressable storage medium and configured to play one or more processors.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 메모리, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.Thus, by way of example, an element may comprise components such as software components, object-oriented software components, class components and task components, processes, functions, attributes, procedures, Routines, segments of program code, drivers, firmware, microcode, circuitry, data, memory, data structures, tables, arrays, and variables.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.The components and functions provided within those components may be combined into a smaller number of components or further separated into additional components.
도 8은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법에 대한 흐름도이다.8 is a flowchart illustrating an object detection method using an adaptive ROI and a search window according to an embodiment of the present invention.
객체 검출 장치(200)는 차량 내의 설치된 카메라로부터 이미지를 획득한다(S101). The
객체 검출 장치(200)는 이미지 획득부(210)에서 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정한다(S102).The
객체 검출 장치(200)는 관심영역 설정부(220)에서 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드 생성부(230)를 생성한다(S103). The
객체 검출 장치(200)는 이미지 생성부에서 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성한다(S104). The
객체 검출 장치(200)는 각 리사이즈 이미지에서 탐색창 생성부(240)에서 생성된 적응적 탐색창을 이동시켜 객체를 검출한다(S105). The
객체 검출 장치(200)는 이미지 획득부(210)에서 획득된 이미지상에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환한다(S106). 여기서, 객체 검출 장치(200)는 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환할 수 있다.The
이때, 객체 검출 장치(200)는 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다.At this time, the
그리고 객체 검출 장치(200)는 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여, 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다. 또한, 객체 검출 장치(200)는 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환할 수 있다.Then, the
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. One embodiment of the present invention may also be embodied in the form of a computer program stored on a medium executed by a computer or a recording medium including instructions executable by the computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.While the methods and systems of the present invention have been described in connection with specific embodiments, some or all of those elements or operations may be implemented using a computer system having a general purpose hardware architecture.
이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or essential characteristics thereof. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
200: 객체 검출 장치
210: 이미지 획득부
220: 관심영역 설정부
230: 이미지 피라미드 생성부
240: 탐색창 생성부
250: 객체 검출부
260: 좌표계 변환부200: Object detection device
210: Image acquisition unit
220: region of interest setting section
230: image pyramid generating unit
240: Navigation window creation unit
250:
260: coordinate system conversion unit
Claims (20)
상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정 단계;
상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성 단계;
상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성 단계; 및
각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출 단계를 포함하되,
상기 관심영역 설정 단계는,
현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시키는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.An image acquiring step of acquiring an image from a camera in a vehicle;
An interest region setting step of setting an adaptive ROI according to the distance in the obtained image;
An image pyramid generation step of generating an image pyramid including a plurality of resize images by gradually changing an image size of the set adaptive ROI;
A search window generating step of generating a search window for each distance in each of the resize images of the generated image pyramid; And
And an object detection step of detecting an object by moving the generated adaptive search window in each resize image,
The method of claim 1,
A method for detecting an object using an adaptive region of interest and a search window that reduces errors using candidate region of interest information for the accumulated previous time for the current candidate region of interest.
상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환 단계;
를 더 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method according to claim 1,
A coordinate system transforming step of transforming the adaptive ROI according to the set distance into a real world coordinate system;
And a method for detecting an object using an adaptive region of interest and a search window.
상기 좌표계 변환 단계는,
상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method of claim 3,
Wherein, in the coordinate system conversion step,
An adaptive ROI that converts the adaptive ROI according to the set distance into a real world coordinate system using the camera calibration information, camera position information, vehicle state information, and inertia measurement information, and an object detection method using a search window .
상기 좌표계 변환 단계는,
상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method of claim 3,
Wherein, in the coordinate system conversion step,
And calculating an internal parameter of at least one of a focal length, a principal point, an asymmetric coefficient, and a distortion parameter through calibration of the camera, thereby eliminating distortion of the image.
상기 좌표계 변환 단계는,
상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method of claim 3,
Wherein, in the coordinate system conversion step,
An adaptive ROI that converts a specific point in the acquired image to a point on a straight line in the real space based on camera coordinates using calibration information of the camera and inertial measurement information of the vehicle, Detection method.
상기 좌표계 변환 단계는,
상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method of claim 3,
Wherein, in the coordinate system conversion step,
And an adaptive region of interest and a search window using the satellite navigation information and the inertial measurement information of the vehicle, and converting the position matrix into an attitude matrix having a rotation matrix and a parallel movement value based on a starting point as a reference.
상기 좌표계 변환 단계는,
현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(Random sample consensus, RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method of claim 3,
Wherein, in the coordinate system conversion step,
Estimating a three-dimensional position from the current and previous images based on the same feature point, changing the feature point to a vehicle coordinate system using the camera rotation relationship in the vehicle, and generating a random sample consensus Random sample consensus, RANSAC), and estimating the height of the camera in the vehicle by calculating the distance between the estimated plane and the camera.
상기 좌표계 변환 단계는,
상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.9. The method of claim 8,
Wherein, in the coordinate system conversion step,
The distance between the camera and the ground is estimated as the height of the camera in the vehicle when the vehicle is in contact with the ground, the ground and the vehicle are horizontal, and the amount of change in attitude of the camera and the camera rotation relationship in the vehicle are utilized. An object detection method using a region of interest and a search window.
상기 좌표계 변환 단계는,
상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.The method of claim 3,
Wherein, in the coordinate system conversion step,
An adaptive ROI which transforms the adaptive ROI according to distance in the obtained image into a real world coordinate system and derives the real distance from the detected object region in the adaptive ROI converted to the real world coordinate system, Detection method.
상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정부;
상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성부;
상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성부; 및
각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출부를 포함하되,
상기 관심영역 설정부는,
현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시키는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.An image obtaining unit obtaining an image from a camera in the vehicle;
An interest region setting unit for setting an adaptive ROI according to distance in the obtained image;
An image pyramid generation unit for generating an image pyramid including a plurality of resize images by gradually changing an image size of the set adaptive ROI;
A search window generating unit for generating a search window for each distance in each of the resize images of the generated image pyramid; And
And an object detection unit for detecting the object by moving the generated adaptive search window in each resize image,
Wherein the ROI setting unit comprises:
An object detection apparatus using an adaptive ROI and a search window to reduce an error using candidate ROI information for a previous time accumulated for a current candidate ROI.
상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환부;
를 더 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.12. The method of claim 11,
A coordinate system conversion unit for converting the adaptive ROI according to the set distance into a real world coordinate system;
And an adaptive region of interest and a search window.
상기 좌표계 변환부는,
상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.14. The method of claim 13,
Wherein the coordinate system conversion unit comprises:
An adaptive ROI that transforms the adaptive ROI according to the distance into a real world coordinate system using the calibration information of the camera, the camera position information, the vehicle status information, and the inertia measurement information, Object detection device.
상기 좌표계 변환부는,
상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.14. The method of claim 13,
Wherein the coordinate system conversion unit comprises:
And an adaptive region of interest and a search window for eliminating image distortion by calculating at least one internal parameter among a focal length, a principal point, an asymmetric coefficient, and a distortion parameter through the calibration of the camera.
상기 좌표계 변환부는,
상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.14. The method of claim 13,
Wherein the coordinate system conversion unit comprises:
An adaptive ROI that converts a specific point in the acquired image to a point on a straight line in the real space based on camera coordinates using calibration information of the camera and inertial measurement information of the vehicle, Detection device.
상기 좌표계 변환부는,
상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.14. The method of claim 13,
Wherein the coordinate system conversion unit comprises:
And an adaptive region of interest and a search window, which are converted into an attitude matrix having a rotation matrix and a parallel motion value for each time point based on a starting point using satellite navigation information and inertial measurement information of the vehicle.
상기 좌표계 변환부는,
현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.14. The method of claim 13,
Wherein the coordinate system conversion unit comprises:
Estimating a three-dimensional position from the current and previous images based on the same feature point, changing the feature point to a vehicle coordinate system using the camera rotation relationship in the vehicle, and generating a random sample consensus RANSAC), and estimating the height of the camera in the vehicle by calculating the distance between the estimated plane and the camera, and an object detecting apparatus using the search window.
상기 좌표계 변환부는,
상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.19. The method of claim 18,
Wherein the coordinate system conversion unit comprises:
The distance between the camera and the ground is estimated as the height of the camera in the vehicle when the vehicle is in contact with the ground, the ground and the vehicle are horizontal, and the amount of change in attitude of the camera and the camera rotation relationship in the vehicle are utilized. An object detection apparatus using a region of interest and a search window.
상기 좌표계 변환부는,
상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.14. The method of claim 13,
Wherein the coordinate system conversion unit comprises:
An adaptive ROI which transforms the adaptive ROI according to distance in the obtained image into a real world coordinate system and derives the real distance from the detected object region in the adaptive ROI converted to the real world coordinate system, Detection device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160180586A KR101890612B1 (en) | 2016-12-28 | 2016-12-28 | Method and apparatus for detecting object using adaptive roi and classifier |
PCT/KR2016/015459 WO2018124337A1 (en) | 2016-12-28 | 2016-12-29 | Object detection method and apparatus utilizing adaptive area of interest and discovery window |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160180586A KR101890612B1 (en) | 2016-12-28 | 2016-12-28 | Method and apparatus for detecting object using adaptive roi and classifier |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180076441A KR20180076441A (en) | 2018-07-06 |
KR101890612B1 true KR101890612B1 (en) | 2018-08-23 |
Family
ID=62709828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160180586A KR101890612B1 (en) | 2016-12-28 | 2016-12-28 | Method and apparatus for detecting object using adaptive roi and classifier |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101890612B1 (en) |
WO (1) | WO2018124337A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11308324B2 (en) | 2019-08-26 | 2022-04-19 | Samsung Electronics Co., Ltd. | Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof |
KR20230076048A (en) | 2021-11-23 | 2023-05-31 | 주식회사 버넥트 | Method and system for motion estimation of real-time image target between successive frames |
US11670092B2 (en) | 2020-04-21 | 2023-06-06 | Samsung Electronics Co., Ltd. | Electronic device for controlling driving vehicle and operation method of the electronic device |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110728715B (en) * | 2019-09-06 | 2023-04-25 | 南京工程学院 | Intelligent inspection robot camera angle self-adaptive adjustment method |
CN111553342B (en) * | 2020-04-01 | 2023-08-08 | 深圳一清创新科技有限公司 | Visual positioning method, visual positioning device, computer equipment and storage medium |
KR102551647B1 (en) * | 2020-11-25 | 2023-07-05 | 주식회사 싸인텔레콤 | Multithreaded-based imaging analysis system that improves real-time performance by separating the general situation event monitoring module from the specific situation event processing module |
CN115257739A (en) * | 2022-09-30 | 2022-11-01 | 南通艾美瑞智能制造有限公司 | Front vehicle following method capable of self-adaptively adjusting speed |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101302944B1 (en) * | 2009-11-04 | 2013-09-06 | 주식회사 만도 | Method and Apparatus for Recognizing Vehicle |
KR101264282B1 (en) * | 2010-12-13 | 2013-05-22 | 재단법인대구경북과학기술원 | detection method vehicle in road using Region of Interest |
KR20150002038A (en) * | 2013-06-28 | 2015-01-07 | (주) 세인 | Method of Real-Time Vehicle Recognition and Tracking Using Kalman Filter and Clustering Algorithm Based on Haar-like Feature and Adaboost |
KR101609303B1 (en) * | 2014-03-28 | 2016-04-20 | 주식회사 하나비전테크 | Method to calibrate camera and apparatus therefor |
KR102199094B1 (en) * | 2014-05-26 | 2021-01-07 | 에스케이텔레콤 주식회사 | Method and Apparatus for Learning Region of Interest for Detecting Object of Interest |
KR101665207B1 (en) * | 2014-12-31 | 2016-10-14 | (주)베라시스 | Vehicle Detection Method in ROI through Plural Detection Windows |
-
2016
- 2016-12-28 KR KR1020160180586A patent/KR101890612B1/en active IP Right Grant
- 2016-12-29 WO PCT/KR2016/015459 patent/WO2018124337A1/en active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11308324B2 (en) | 2019-08-26 | 2022-04-19 | Samsung Electronics Co., Ltd. | Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof |
US11670092B2 (en) | 2020-04-21 | 2023-06-06 | Samsung Electronics Co., Ltd. | Electronic device for controlling driving vehicle and operation method of the electronic device |
KR20230076048A (en) | 2021-11-23 | 2023-05-31 | 주식회사 버넥트 | Method and system for motion estimation of real-time image target between successive frames |
Also Published As
Publication number | Publication date |
---|---|
WO2018124337A1 (en) | 2018-07-05 |
KR20180076441A (en) | 2018-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101890612B1 (en) | Method and apparatus for detecting object using adaptive roi and classifier | |
US10970873B2 (en) | Method and device to determine the camera position and angle | |
CN110927708B (en) | Calibration method, device and equipment of intelligent road side unit | |
CN111436216B (en) | Method and system for color point cloud generation | |
JP6760114B2 (en) | Information processing equipment, data management equipment, data management systems, methods, and programs | |
JP6830140B2 (en) | Motion vector field determination method, motion vector field determination device, equipment, computer readable storage medium and vehicle | |
CN110570449B (en) | Positioning and mapping method based on millimeter wave radar and visual SLAM | |
US20180075614A1 (en) | Method of Depth Estimation Using a Camera and Inertial Sensor | |
CN110889808A (en) | Positioning method, device, equipment and storage medium | |
CN109596121B (en) | Automatic target detection and space positioning method for mobile station | |
KR101909953B1 (en) | Method for vehicle pose estimation using LiDAR | |
JP6877293B2 (en) | Location information recording method and equipment | |
CN112050806B (en) | Positioning method and device for moving vehicle | |
KR101715780B1 (en) | Voxel Map generator And Method Thereof | |
EP2175237A1 (en) | System and methods for image-based navigation using line features matching | |
JP7173471B2 (en) | 3D position estimation device and program | |
US20140286537A1 (en) | Measurement device, measurement method, and computer program product | |
CN108613675B (en) | Low-cost unmanned aerial vehicle movement measurement method and system | |
WO2024093635A1 (en) | Camera pose estimation method and apparatus, and computer-readable storage medium | |
CN114442133A (en) | Unmanned aerial vehicle positioning method, device, equipment and storage medium | |
CN113091756A (en) | Position estimation device and position estimation method | |
US11481920B2 (en) | Information processing apparatus, server, movable object device, and information processing method | |
CN115560744A (en) | Robot, multi-sensor-based three-dimensional mapping method and storage medium | |
JP5230354B2 (en) | POSITIONING DEVICE AND CHANGED BUILDING DETECTION DEVICE | |
CN114429515A (en) | Point cloud map construction method, device and equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
N231 | Notification of change of applicant | ||
E701 | Decision to grant or registration of patent right |