WO2018124337A1 - 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치 - Google Patents

적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치 Download PDF

Info

Publication number
WO2018124337A1
WO2018124337A1 PCT/KR2016/015459 KR2016015459W WO2018124337A1 WO 2018124337 A1 WO2018124337 A1 WO 2018124337A1 KR 2016015459 W KR2016015459 W KR 2016015459W WO 2018124337 A1 WO2018124337 A1 WO 2018124337A1
Authority
WO
WIPO (PCT)
Prior art keywords
interest
image
coordinate system
camera
vehicle
Prior art date
Application number
PCT/KR2016/015459
Other languages
English (en)
French (fr)
Inventor
강경수
김웅명
김태근
강근호
Original Assignee
주식회사 에이다스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이다스원 filed Critical 주식회사 에이다스원
Publication of WO2018124337A1 publication Critical patent/WO2018124337A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M1/00—Testing static or dynamic balance of machines or structures
    • G01M1/10—Determining the moment of inertia
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/14—Determining absolute distances from a plurality of spaced points of known location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • the present invention relates to a method and apparatus for detecting an object using an adaptive region of interest and a search window, and more particularly, to detect an object by applying an adaptive region of interest and a search window for each distance in each pyramid image.
  • the present invention relates to a method and apparatus for detecting an object using an adaptive region of interest and a search window, which can efficiently perform parallel processing due to the same amount of work of a resized image, and can improve the speed due to the removal of an image algorithm when generating a pyramid image. .
  • FIG 1 illustrates an image pyramid and an object search window.
  • a general method of analyzing an image over multiple scales is to perform necessary analysis while gradually changing (eg, reducing or increasing) the size of an input image.
  • a series of image sets including the generated pyramid image 111 is called an image pyramid 110.
  • the conventional object detection algorithm determines an object by moving the search window 120 having a fixed size with respect to the image pyramid 110.
  • FIG. 2 is a diagram illustrating a search window that searches globally in an image pyramid.
  • the conventional object detection technique detects an object using a search window 120 that searches globally in the image pyramid 110.
  • the pyramid images are of different sizes, so the calculations are different. Thus, conventional object detection techniques are not suitable for parallel processing.
  • the number of times to make the pyramid image 111 occurs very much according to the scale.
  • embodiments of the present invention by converting the adaptive region of interest according to the distance to the real world coordinate system, it is possible to derive the area and the actual distance of the object detected in the adaptive region of interest transformed to the real world coordinate system, the adaptive interest An object detection apparatus using an area and a search window is provided.
  • an image acquisition step of acquiring an image from a camera in a vehicle A region of interest setting step of setting an adaptive region of interest according to a distance in the acquired image;
  • the object detecting method using the adaptive region of interest and the search window may be provided.
  • the setting of the ROI may reduce an error by using candidate ROI information for a previous time accumulated for the current candidate ROI.
  • the method may further include a coordinate system transformation step of converting an adaptive region of interest according to the set distance into a real world coordinate system.
  • the converting of the coordinate system may convert an adaptive region of interest according to the set distance into a real world coordinate system using calibration information of the camera, position information of the camera, state information of the vehicle, and inertial measurement information.
  • the transforming of the coordinate system may remove distortion of an image by calculating at least one internal parameter among a focal length, a principal point, an asymmetry coefficient, and a distortion parameter through calibration of the camera.
  • a specific point in the obtained image may be converted into a linear point in real space based on camera coordinates by using the calibration information of the camera and the inertial measurement information of the vehicle.
  • the transforming of the coordinate system may be performed by converting an attitude matrix having a rotation matrix and a parallel movement value for each time based on a starting point using the satellite navigation information and the inertial measurement information of the vehicle.
  • the transforming of the coordinate system may include estimating a three-dimensional position based on the same feature point from current and previous images, changing the feature point into a vehicle coordinate system using a camera rotation relationship in the vehicle, and estimating the three-dimensional position.
  • a plane equation may be estimated through a random sample consensus (RANSAC) relationship, and the camera height in the vehicle may be estimated by calculating the distance between the estimated plane and the camera.
  • RANSAC random sample consensus
  • the distance between the camera and the ground is measured by the camera in the vehicle. It can be estimated by height.
  • the adaptive region of interest according to the distance in the acquired image may be converted into a real world coordinate system, and the area and the actual distance of the object detected in the adaptive region of interest converted into the real world coordinate system may be derived.
  • the image acquisition unit for obtaining an image from the camera in the vehicle;
  • a region of interest setting unit for setting an adaptive region of interest according to a distance in the obtained image;
  • An image pyramid generator for generating an image pyramid including a plurality of resized images by changing the image size of the set adaptive region of interest step by step;
  • a search window generator for generating a search window for each distance from each resize image of the generated image pyramid;
  • an object detection unit for detecting an object by moving the generated adaptive search window in each resize image.
  • the object detecting apparatus using the adaptive region of interest and the search window may be provided.
  • the ROI setting unit may reduce an error by using candidate ROI information for a previous time accumulated with respect to the current candidate ROI.
  • the apparatus may further include a coordinate system converter configured to convert an adaptive region of interest according to the set distance into a real world coordinate system.
  • the coordinate system converter may convert an adaptive region of interest according to a distance from the acquired image into a real world coordinate system using the calibration information of the camera, the position information of the camera, the state information of the vehicle, and the inertial measurement information.
  • the coordinate system converter may remove distortion of an image by calculating at least one internal parameter among a focal length, a principal point, an asymmetry coefficient, and a distortion parameter through calibration of the camera.
  • the coordinate system converting unit may convert a specific point in the obtained image into a linear point in real space based on camera coordinates by using the calibration information of the camera and the inertial measurement information of the vehicle.
  • the coordinate system converting unit may convert the coordinate system to an attitude matrix having a rotation matrix and a parallel movement value for each time based on a starting point using the satellite navigation information and the inertial measurement information of the vehicle.
  • the coordinate system converting unit estimates a three-dimensional position based on the same feature point from the current and previous images, changes the feature point into a vehicle coordinate system using a camera rotation relationship in the vehicle, and estimates the three-dimensional position to the three-dimensional feature points.
  • a plane equation may be estimated through a random sample consensus (RANSAC) relationship, and the camera height in the vehicle may be estimated by calculating the distance between the estimated plane and the camera.
  • RANSAC random sample consensus
  • the coordinate system converting unit when the vehicle is in contact with the ground, the ground and the vehicle is horizontal, and using the camera's posture change amount and the camera rotation relationship in the vehicle, the distance between the camera and the ground is the height of the camera in the vehicle. It can be estimated as
  • the coordinate system converter may convert an adaptive ROI according to a distance from the acquired image into a real world coordinate system, and derive an area and an actual distance of an object detected in the adaptive ROI converted into a real world coordinate system.
  • parallel processing may be efficiently performed due to the same workload of the same resize image, and a pyramid image It can improve the speed due to the elimination of the image algorithm at the time of creation.
  • embodiments of the present invention can derive the real distance and the area of the object detected in the adaptive region of interest converted to the real world coordinate system by converting the adaptive region of interest according to the distance to the real world coordinate system.
  • FIG 1 illustrates an image pyramid and an object search window.
  • FIG. 2 is a diagram illustrating a search window that searches globally in an image pyramid.
  • FIG. 3 is a block diagram of an apparatus for detecting an object using an adaptive region of interest and a search window according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an adaptive region of interest according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an adaptive search window according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating state information and inertia measurement information of an obtainable vehicle according to an exemplary embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a rotation matrix according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an object detection method using an adaptive region of interest and a search window according to an exemplary embodiment of the present invention.
  • FIG. 3 is a block diagram of an apparatus for detecting an object using an adaptive region of interest and a search window according to an exemplary embodiment of the present invention.
  • the object detecting apparatus 200 using the adaptive region of interest and the search window may include an image acquirer 210, an ROI setting unit 220, and an image pyramid generator.
  • the generation unit 230 includes a generation unit 230, a search window generation unit 240, and an object detection unit 250.
  • the object detecting apparatus 200 may further include a coordinate system converter 260.
  • the image acquisition unit 210 acquires an image from a camera installed in the vehicle.
  • the ROI setting unit 220 sets an adaptive ROI according to the distance from the image acquired by the image acquisition unit 210.
  • the region of interest is referred to as a region of interest (ROI).
  • the ROI setting unit 220 may reduce an error by using candidate ROI information about a previous time accumulated for the current candidate ROI.
  • the ROI setting unit 220 stores information on the candidate ROI of the past time, that is, the previous time, with respect to the candidate ROI.
  • the ROI setting unit 220 may reduce the error by accumulating candidate ROI information for a previous time with respect to the current candidate ROI.
  • the image pyramid generating unit 230 generates an image pyramid including a plurality of resized images by gradually changing the image size of the adaptive region of interest set by the region of interest setting unit 220.
  • the search window generator 240 generates a search window for each distance from each resized image of the image pyramid generated by the image pyramid generator 230.
  • the object detector 250 detects an object by moving an adaptive search window generated by the search window generator 240 in each resize image.
  • FIG. 4 is a diagram illustrating an adaptive region of interest according to an embodiment of the present invention.
  • the ROI setting unit 220 sets an adaptive ROI 221 according to a distance from an image acquired by the image acquisition unit 210.
  • the adaptive region of interest 221 may be set differently according to the distance.
  • the adaptive ROI 221 may be set as much as the set area according to a preset distance ratio.
  • the adaptive region of interest 221 is set smaller as it is far and larger as it is near.
  • the adaptive region of interest 221 according to the distance set by the region of interest setting unit 220 enables the same amount of work with the same resize image.
  • the object detecting apparatus 200 may efficiently perform parallel processing (Load Balancing).
  • FIG. 5 is a diagram illustrating an adaptive search window according to an embodiment of the present invention.
  • the search window generator 240 generates an adaptive search window 233 from each resized image 232 of the image pyramid 231 generated by the image pyramid generator 230.
  • the adaptive search window 233 is generated differently for each distance.
  • the resize image 232 may be referred to as a pyramid image.
  • the object detecting apparatus 200 may apply the distance-specific search window 233 generated by the search window generator 240 by learning in various sizes.
  • the object detecting apparatus 200 may detect a region 234 in which an object exists using the search window 233 for each distance.
  • the image pyramid generator 230 may improve the speed due to the removal of the resize image algorithm when generating the pyramid image.
  • the coordinate system converting unit 260 converts the adaptive region of interest according to the distance set by the region of interest setting unit 220 into the real world coordinate system on the image.
  • the calibration information of the camera will be described.
  • the coordinate system converter 260 calculates at least one internal parameter among a focal length, a principal point, a skew coefficient, and a distortion parameter through calibration of the camera to calculate an image. Distortion can be removed. Information obtained through calibration includes a focal length, a principal point, a skew coefficient, and a distortion parameter.
  • the coordinate system conversion unit 260 obtains internal parameters through calibration and removes distortion of the image.
  • camera internal parameters may be obtained using a calibration chart of a predetermined standard.
  • FIG. 6 is a diagram illustrating state information and inertia measurement information of an obtainable vehicle according to an exemplary embodiment of the present invention.
  • the state information and the inertia measurement information of the vehicle include latitude, longitude, altitude, roll angle, pitch angle, and yaw angle. (yaw angle), velocity towards north, velocity towards east, forward velocity parallel to earth surface, leftward velocity parallel to earth surface, upward perpendicular to earth surface Upward velocity, acceleration in x, ie in direction of vehicle front, acceleration in y, ie in direction of vehicle left, acceleration in z, ie in direction of vehicle top, forward acceleration, leftward acceleration, upward acceleration, angular rate around x, angular rate around y, angular rate around z, Angular rate around forward axis, angular rate around leftward axis, angular rate around upward axis, position accuracy, velocity accuracy accuracy, navigation status, number of satellites tracked by primary GPS receiver, position mode of primary GPS receiver, speed mode of primary GPS receiver (velocity mode of primary GPS receiver), an orientation mode of primary GPS receiver, and the like.
  • the coordinate system converter 260 may acquire the state information of the vehicle itself and the position information of the camera through a mechanical sensor and use the obtained information.
  • the coordinate system converter 260 may obtain information through on-board diagnostics (OBD) of the vehicle.
  • On-board diagnostics (OBDs) represent diagnostic devices for checking and controlling the electrical or electronic operating state of a vehicle.
  • the state information of the vehicle obtainable from the on-board diagnostic apparatus (OBD) may include speed, engine speed, water temperature and oil temperature, voltage, intake amount and fuel ejection amount, accelerator opening degree, air-fuel ratio, and the like.
  • the state information of the vehicle may include various information related to the engine, such as information of the oxygen sensor, exhaust temperature.
  • information other than the engine system such as the number of transmissions may also be output as status information.
  • the coordinate system converter 260 obtains inertia measurement information from an inertial measurement unit (IMU).
  • IMU represents a sensor for obtaining acceleration and angular velocity in the yaw, pitch, and roll directions.
  • the inertial measurement device has an accelerometer or an angometer per axis to measure physical quantities.
  • FIG. 7 is a diagram illustrating a rotation matrix according to an embodiment of the present invention.
  • the coordinate system converting unit 260 converts a specific point in the image acquired by the image obtaining unit 210 into a straight point in real space based on the camera coordinates using the calibration information of the camera and the inertial measurement information of the vehicle. can do. As such, if the calibration information of the camera and the inertial measurement information of the vehicle exist, the specific points u and v on the image may be converted into points on a straight line in the actual space (based on World, Camera coordinates).
  • the coordinate system conversion unit 260 uses the camera's calibration information, the camera's location information, the vehicle's state information, and the inertial measurement information to adaptively adjust the interest according to the distance set by the ROI setting unit 220 on the image. Convert the area to the Real World coordinate system.
  • the coordinate system converter 260 may convert the coordinate system 260 into an attitude matrix having a rotation matrix and a parallel movement value for each time based on the starting point using the satellite navigation information and the inertial measurement information of the vehicle.
  • the coordinate system conversion unit 260 reads the satellite navigation information (GPS) and the inertial measurement information (IMU), and has an attitude matrix (eg, a rotation matrix (R) value and a movement matrix (T) value for each time based on the starting point). , 4x4 matrix).
  • a rotation matrix can be expressed as in the following [Formula 1].
  • R is a rotation matrix
  • u x , u y , v x , and v y are feature points on the x and y axes
  • ⁇ represents the rotation angle
  • Equation 2 An attitude matrix for three-dimensional transformation using a rotation matrix R value and a movement matrix T value may be expressed as shown in Equation 2 below.
  • R is the rotation matrix
  • I is a moving matrix
  • the vehicle and the ground are in contact with each other and the ground and the vehicle are horizontal as a condition for estimating the height of the camera. Therefore, the distance between the camera and the ground can be estimated as the camera height in the vehicle.
  • the coordinate system converting unit 260 estimates the three-dimensional position based on the same feature point from the current and previous images, and changes the feature point into the vehicle coordinate system using the camera rotation relationship in the vehicle.
  • the coordinate system converter 260 estimates a plane equation through a random sample consensus (RANSAC) relationship with respect to three-dimensional feature points for which the three-dimensional position is estimated.
  • RANSAC random sample consensus
  • the coordinate system converter 260 may estimate the camera height in the vehicle by calculating the distance between the estimated plane and the camera.
  • the coordinate system converting unit 260 uses the following Equation 3 to which the height of the camera, a camera matrix, and a pose matrix are applied.
  • the camera matrix Represents an attitude matrix
  • the coordinate system converter 260 converts the adaptive ROI according to the distance on the image acquired by the image acquirer 210 into a real world coordinate system.
  • the coordinate system converter 260 may simultaneously derive the area and the actual distance of the detected object in the adaptive ROI converted into the real world coordinate system.
  • FIG. 8 is a flowchart illustrating an object detection method using an adaptive region of interest and a search window according to an exemplary embodiment of the present invention.
  • the object detecting apparatus 200 obtains an image from a camera installed in a vehicle (S101).
  • the object detecting apparatus 200 sets an adaptive region of interest according to a distance in the image acquired by the image obtaining unit 210 (S102).
  • the object detecting apparatus 200 generates an image pyramid including a plurality of resized images by gradually changing the image size of the adaptive region of interest set by the region of interest setting unit 220 (S103).
  • the object detecting apparatus 200 generates a search window for each distance from each resized image of the image pyramid generated by the image pyramid generator 230 (S104).
  • the object detecting apparatus 200 detects an object by moving the adaptive search window generated by the search window generator 240 in each resize image (S105).
  • the object detecting apparatus 200 converts the adaptive ROI according to the distance on the image acquired by the image obtaining unit 210 into a real world coordinate system (S106).
  • the object detecting apparatus 200 may convert the adaptive region of interest according to the set distance into a real world coordinate system by using the calibration information of the camera, the position information of the camera, the state information of the vehicle, and the inertial measurement information.
  • the object detecting apparatus 200 may remove distortion of an image by calculating at least one internal parameter among a focal length, a dominant point, an asymmetry coefficient, and a distortion parameter through calibration of the camera.
  • the object detecting apparatus 200 may convert a specific point in the image into a linear point in real space based on the camera coordinates by using the calibration information of the camera and the inertial measurement information of the vehicle.
  • the object detecting apparatus 200 may convert the vehicle to the attitude matrix having the rotation matrix and the parallel movement value for each time based on the starting point using the satellite navigation information and the inertial measurement information of the vehicle.

Abstract

본 발명은 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치에 관한 것으로서, 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치는, 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득부; 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정부; 상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성부; 상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성부; 및 각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출부;를 포함한다.

Description

적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
본 발명은 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치에 관한 것으로서, 더욱 상세하게는 각 피라미드 이미지에서 거리에 따른 적응적 관심영역 및 거리별 탐색창을 적용하여 객체를 검출함으로써, 동일한 리사이즈 이미지의 동일한 작업량으로 인해 병렬 처리를 효율적으로 수행할 수 있고, 피라미드 이미지 생성시 이미지 알고리즘 제거로 인한 속도를 개선할 수 있는, 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치에 관한 것이다.
도 1은 이미지 피라미드와 객체 탐색창을 나타낸 도면이다.
도 1에 도시된 바와 같이, 이미지를 여러 스케일에 걸쳐서 분석하는 일반적인 방법은 입력 이미지의 크기를 단계적으로 변화(예컨대, 축소, 증가 등)시켜 가면서 필요한 분석 작업을 하는 것이다. 이때, 생성된 피라미드 이미지(111)가 포함된 일련의 이미지 집합을 이미지 피라미드(110)라 부른다.
종래 객체 검출(Object Detector) 기술 역시 일반적인 방법으로 이미지 피라미드(110)를 사용했다.
종래 객체 검출 알고리즘은 이미지 피라미드(110)에 대해서 고정된 크기의 탐색창(120)을 이동시켜 객체를 판별한다.
도 2는 이미지 피라미드에서 전역적으로 탐색하는 탐색창을 나타낸 도면이다.
도 2에 도시된 바와 같이, 종래 객체 검출 기술은 이미지 피라미드(110)에서 전역적으로 탐색하는 탐색창(120)을 이용하여 객체를 검출하게 된다.
종래 객체 검출 기술은 각 피라미드 이미지(111)에 대해 전역적으로 불필요한 영역을 탐색하면서 객체(Object)를 찾는다. 이러한 객체 검출 기술은 불필요한 영역까지 탐색하게 되면서 비효율적인 부분이 발생한다.
피라미드 이미지의 사이즈가 달라 계산량이 모두 다르다. 따라서 종래 객체 검출 기술은 병렬 처리에 부적합하다.
종래 객체 검출 기술에서는 피라미드 이미지(111)를 만드는 횟수가 스케일에 따라 매우 많이 발생하게 된다.
본 발명의 실시 예들은 각 피라미드 이미지에서 거리에 따른 적응적 관심영역 및 거리별 탐색창을 적용하여 객체를 검출함으로써, 동일한 리사이즈 이미지의 동일한 작업량으로 인해 병렬 처리를 효율적으로 수행할 수 있고, 피라미드 이미지 생성시 이미지 알고리즘 제거로 인한 속도를 개선할 수 있는, 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치를 제공하고자 한다.
또한, 본 발명의 실시 예들은 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환함으로써, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 동시에 도출할 수 있는, 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치를 제공하고자 한다.
본 발명의 제1 측면에 따르면, 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득 단계; 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정 단계; 상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성 단계; 상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성 단계; 및 각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출 단계;를 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법이 제공될 수 있다.
상기 관심영역 설정 단계는, 현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시킬 수 있다.
상기 방법은, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환 단계;를 더 포함할 수 있다.
상기 좌표계 변환 단계는, 상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환할 수 있다.
상기 좌표계 변환 단계는, 상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다.
상기 좌표계 변환 단계는, 상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다.
상기 좌표계 변환 단계는, 상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용할 수 있다.
상기 좌표계 변환 단계는, 현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(Random sample consensus, RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정할 수 있다.
상기 좌표계 변환 단계는, 상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정할 수 있다.
상기 좌표계 변환 단계는, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출할 수 있다.
한편, 본 발명의 제2 측면에 따르면, 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득부; 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정부; 상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성부; 상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성부; 및 각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출부;를 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치가 제공될 수 있다.
상기 관심영역 설정부는, 현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시킬 수 있다.
상기 장치는, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환부;를 더 포함할 수 있다.
상기 좌표계 변환부는, 상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환할 수 있다.
상기 좌표계 변환부는, 상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다.
상기 좌표계 변환부는, 상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다.
상기 좌표계 변환부는, 상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용할 수 있다.
상기 좌표계 변환부는, 현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정할 수 있다.
상기 좌표계 변환부는, 상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정할 수 있다.
상기 좌표계 변환부는, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출할 수 있다.
본 발명의 실시 예들은 각 피라미드 이미지에서 거리에 따른 적응적 관심영역 및 거리별 탐색창을 적용하여 객체를 검출함으로써, 동일한 리사이즈 이미지의 동일한 작업량으로 인해 병렬 처리를 효율적으로 수행할 수 있고, 피라미드 이미지 생성시 이미지 알고리즘 제거로 인한 속도를 개선할 수 있다.
또한, 본 발명의 실시 예들은 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환함으로써, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 동시에 도출할 수 있다.
도 1은 이미지 피라미드와 객체 탐색창을 나타낸 도면이다.
도 2는 이미지 피라미드에서 전역적으로 탐색하는 탐색창을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치의 구성도이다.
도 4는 본 발명의 실시 예에 따른 적응적 관심영역을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 적응적 탐색창을 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 획득 가능한 차량의 상태 정보 및 관성 측정 정보를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 회전 행렬을 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법에 대한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 발명의 실시 예를 설명하면서, 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
도 3은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치의 구성도이다.
도 3에 도시된 바와 같이, 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치(200)는 이미지 획득부(210), 관심영역 설정부(220), 이미지 피라미드 생성부(230) 생성부(230), 탐색창 생성부(240) 및 객체 검출부(250)를 포함한다. 여기서, 객체 검출 장치(200)는 좌표계 변환부(260)를 더 포함할 수 있다.
이하, 도 3의 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치(200)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
이미지 획득부(210)는 차량 내의 설치된 카메라로부터 이미지를 획득한다.
관심영역 설정부(220)는 이미지 획득부(210)에서 획득된 이미지에서 거리에 따른 적응적 관심영역(Adaptive ROI)을 설정한다. 여기서, 관심영역은 ROI(Region of Interest)로 지칭된다.
여기서, 관심영역 설정부(220)는, 현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시킬 수 있다. 관심영역 설정부(220)는 후보 관심영역(Candidate ROI)에 대해서 과거 시간 즉, 이전 시간에 대한 후보 관심영역에 대한 정보를 저장하고 있다. 그래서 관심영역 설정부(220)는 현재 후보 관심영역에 대해서 이전 시간에 대한 후보 관심영역 정보를 누적시켜 오류를 줄일 수 있다.
이미지 피라미드 생성부(230)는 관심영역 설정부(220)에서 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성한다.
탐색창 생성부(240)는 이미지 피라미드 생성부(230)에서 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성한다.
객체 검출부(250)는 각 리사이즈 이미지에서 탐색창 생성부(240)에서 생성된 적응적 탐색창(Adaptive Classifier)을 이동시켜 객체를 검출한다.
도 4는 본 발명의 실시 예에 따른 적응적 관심영역을 나타낸 도면이다.
도 4에 도시된 바와 같이, 관심영역 설정부(220)는 이미지 획득부(210)에서 획득된 이미지에서 거리에 따른 적응적 관심영역(221)을 설정한다. 적응적 관심영역(221)은 거리에 따라 다르게 설정될 수 있다. 일례로, 적응적 관심영역(221)은 기설정된 거리 비율에 따라 설정된 영역만큼 설정될 수 있다. 적응적 관심영역(221)은 원거리일수록 작게 설정되고, 근거리일수록 크게 설정된다.
관심영역 설정부(220)에서 설정된 거리에 따른 적응적 관심영역(221)은 동일한 리사이즈 이미지로 동일한 작업량을 가능하게 한다. 이로 인해, 객체 검출 장치(200)는 병렬 처리(Load Balancing)를 효율적으로 수행할 수 있다.
도 5는 본 발명의 실시 예에 따른 적응적 탐색창을 나타낸 도면이다.
도 5에 도시된 바와 같이, 탐색창 생성부(240)는 이미지 피라미드 생성부(230)에서 생성된 이미지 피라미드(231)의 각 리사이즈 이미지(232)에서 적응적 탐색창(233)을 각각 생성한다. 여기서, 적응적 탐색창(233)은 거리별로 다르게 생성된다. 여기서, 리사이즈 이미지(232)는 피라미드 이미지로 지칭될 수 있다.
객체 검출 장치(200)는 다양한 크기로 학습을 진행함으로써, 탐색창 생성부(240)에서 생성된 거리별 탐색창(233)을 각각 적용할 수 있다. 객체 검출 장치(200)는 이러한 거리별 탐색창(233)을 이용하여 객체가 존재하는 영역(234)을 검출할 수 있다.
이미지 피라미드 생성부(230)는 피라미드 이미지 생성시 리사이즈 이미지 알고리즘 제거로 인해 속도 개선이 이루어질 수 있다.
한편, 좌표계 변환부(260)는 이미지상에서 관심영역 설정부(220)에서 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환한다.
카메라의 캘리브레이션 정보에 대해서 살펴보기로 한다.
좌표계 변환부(260)는, 카메라의 캘리브레이션을 통해 초점 거리(Focal Length), 주점(Principle Point), 비대칭 계수(skew coefficient) 및 왜곡 파라미터(Distortion parameter) 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다. 캘리브레이션을 통해 얻을 수 있는 정보는 초점 거리(Focal Length), 주점(Principle Point), 비대칭 계수(skew coefficient) 및 왜곡 파라미터(Distortion parameter) 등이 있다.
실세계 좌표계에서 관심영역을 구하기 위해서 카메라의 내부 파라미터의 영향이 제거된 정규 이미지 평면(Normalized Image Plane)에서 정의된다. 그러므로 좌표계 변환부(260)는 캘리브레이션을 통해 내부 파라미터를 구해서 영상의 왜곡을 제거한다.
사용자 단말(예컨대, 핸드폰)에서는 정해진 규격의 캘리브레이션 차트를 이용하여 카메라 내부 파라미터를 구할 수 있다.
도 6은 본 발명의 실시 예에 따른 획득 가능한 차량의 상태 정보 및 관성 측정 정보를 나타낸 도면이다.
도 6에 도시된 바와 같이, 획득 가능한 차량의 상태 정보 및 관성 측정 정보에는 위도(latitude), 경도(longitude), 고도(altitude), 롤 각도(roll angle), 피치 각도(pitch angle), 요 각도(yaw angle), 북쪽의 속도(velocity towards north), 동쪽의 속도(velocity towards east), 지표면에 평행한 전방 속도(forward velocity), 지표면에 평행한 좌측 속도(leftward velocity), 지표면에 수직인 상향 속도(upward velocity), 차량 정면 방향의 가속도(acceleration in x, i.e. in direction of vehicle front), 차량 좌측의 가속도(acceleration in y, i.e. in direction of vehicle left), 차량 상향 가속도(acceleration in z, i.e. in direction of vehicle top), 정방향 가속도(forward acceleration), 좌측 가속도(leftward acceleration), 상향 가속도(upward acceleration), x 주위의 각속도(angular rate around x), y 주위의 각속도(angular rate around y), z 주위의 각속도(angular rate around z), 정방향 축 주위의 각속도(angular rate around forward axis), 좌측 축 주위의 각속도(angular rate around leftward axis), 상향 축 주위의 각속도(angular rate around upward axis), 위치 정확도(position accuracy), 속도 정확도(velocity accuracy), 내비게이션 상태(navigation status), 기본 GPS 수신기가 추적하는 위성 수(number of satellites tracked by primary GPS receiver), 기본 GPS 수신기의 위치 모드(position mode of primary GPS receiver), 기본 GPS 수신기의 속도 모드(velocity mode of primary GPS receiver), 기본 GPS 수신기의 방향 모드(orientation mode of primary GPS receiver) 등이 포함될 수 있다.
좌표계 변환부(260)는 차량 자체의 상태 정보와 카메라의 위치 정보를 기계적인 센서를 통해 획득하고 그 획득된 정보들을 이용할 수 있다. 좌표계 변환부(260)는 차량의 온-보드 진단기(On-Board Diagnostics, OBD)를 통해서 정보들을 획득할 수 있다. 온-보드 진단기(OBD)는 차량의 전기 또는 전자적인 작동 상태를 확인하고 제어하기 위한 진단 장치를 나타낸다. 온-보드 진단기(OBD)로부터 획득 가능한 차량의 상태 정보들에는 속도, 엔진 회전수, 수온 및 유온, 전압, 흡기량 및 연료 분출량, 액셀러레이터 개방 정도, 공연비 등이 포함될 수 있다. 또한, 이러한 차량의 상태 정보들에는 산소센서의 정보, 배기온 등 엔진과 관련한 여러 정보가 포함될 수 있다. 차량에 따라서는 트랜스미션의 단수 등 엔진 계통 이외의 정보도 상태 정보로 출력될 수 있다.
좌표계 변환부(260)는 관성 측정 장치(Inertial Measurement Unit, IMU)로부터 관성 측정 정보를 획득한다. 관성 측정 장치(IMU)는 요(Yaw), 피치(Pitch), 롤(Roll) 방향의 가속도나 각속도를 구하기 위한 센서를 나타낸다. 관성 측정 장치는 축당 가속도계나 각속도계가 있어 물리량을 측정할 수 있다.
도 7은 본 발명의 실시 예에 따른 회전 행렬을 나타낸 도면이다.
도 7을 참고하여, 카메라의 회전 및 이동 행렬(Rotation & Translation Matrix)에 대해서 살펴보기로 한다.
좌표계 변환부(260)는 카메라의 캘리브레이션 정보 및 차량의 관성 측정 정보를 이용하여 이미지 획득부(210)에서 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다. 이와 같이, 카메라의 캘리브레이션 정보와 차량의 관성 측정 정보가 존재한다면, 이미지상에서의 특정 지점(u, v)은 실제 공간 상(World, Camera 좌표 기준)의 직선상의 지점으로 변환될 수 있다.
좌표계 변환부(260)는, 카메라의 캘리브레이션(Calibration) 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 이미지상에서 관심영역 설정부(220)에서 설정된 거리에 따른 적응적 관심영역을 실세계(Real World) 좌표계로 변환한다.
좌표계 변환부(260)는, 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용할 수 있다. 예컨대, 좌표계 변환부(260)는, 위성 항법 정보(GPS), 관성 측정 정보(IMU)를 읽어서 시작점을 기준으로 시간마다 회전 행렬(R) 값 및 이동 행렬(T) 값을 가지는 자세 행렬(예컨대, 4×4 행렬)로 변환하여 이용할 수 있다. 이러한 회전 행렬은 하기의 [식 1]과 같이 나타낼 수 있다.
[식 1]
Figure PCTKR2016015459-appb-I000001
여기서, R은 회전 행렬, ux, uy, vx, vy는 x축 및 y축에서의 특징 지점, θ는 회전 각도를 나타낸다.
회전 행렬(R) 값 및 이동 행렬(T) 값을 이용한 3차원 변환을 위한 자세 행렬은 하기의 [식 2]와 같이 나타낼 수 있다.
[식 2]
Figure PCTKR2016015459-appb-I000002
여기서, R은 회전 행렬,
Figure PCTKR2016015459-appb-I000003
은 이동 행렬,
Figure PCTKR2016015459-appb-I000004
은 자세 행렬을 나타낸다.
한편, 카메라의 위치 정보(높이) 추정 과정에 대해서 살펴보기로 한다.
우선, 카메라의 높이를 추정하기 위한 조건으로 차량과 지면은 맞닿아 있고, 지면과 차량은 수평이라고 가정하기로 한다. 따라서 카메라와 지면과의 거리가 차량 내에서의 카메라 높이로 추정될 수 있다.
또한, 카메라의 자세 변화량과 차량 내에서의 카메라 회전(Rotation) 관계는 알고 있다고 가정하기로 한다.
이러한 가정에 따라, 좌표계 변환부(260)는 현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경한다.
그리고 좌표계 변환부(260)는 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(Random sample consensus, RANSAC) 관계를 통한 평면 방정식을 추정한다.
이어서, 좌표계 변환부(260)는 그 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정할 수 있다.
한편, 실세계 좌표계에서의 관심영역(Real World ROI)에 대해서 살펴보기로 한다.
실세계 좌표계로 변환하는 과정을 구체적으로 살펴보면, 2차원에서 3차원으로의 좌표계 맵핑은 안되므로 Z=1로 가정한다. 여기서, 정규 이미지 평면 (Normalized Image Plane)으로 투영된다.
좌표계 변환부(260)는 카메라의 높이, 카메라 행렬(Camera Matrix)과 자세 행렬(Pose Matirx)이 적용된 하기의 [식 3]을 이용한다.
[식 3]
Figure PCTKR2016015459-appb-I000005
여기서, X, Y, Z는 실세계 좌표계상의 3차원 지점의 좌표,
Figure PCTKR2016015459-appb-I000006
는 카메라 행렬,
Figure PCTKR2016015459-appb-I000007
은 자세 행렬을 나타낸다.
좌표계 변환부(260)는 이미지 획득부(210)에서 획득된 이미지상에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환한다.
그리고 좌표계 변환부(260)는 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 동시에 도출할 수 있다.
도 8은 본 발명의 실시 예에 따른 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법에 대한 흐름도이다.
객체 검출 장치(200)는 차량 내의 설치된 카메라로부터 이미지를 획득한다(S101).
객체 검출 장치(200)는 이미지 획득부(210)에서 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정한다(S102).
객체 검출 장치(200)는 관심영역 설정부(220)에서 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성한다(S103).
객체 검출 장치(200)는 이미지 피라미드 생성부(230)에서 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성한다(S104).
객체 검출 장치(200)는 각 리사이즈 이미지에서 탐색창 생성부(240)에서 생성된 적응적 탐색창을 이동시켜 객체를 검출한다(S105).
객체 검출 장치(200)는 이미지 획득부(210)에서 획득된 이미지상에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환한다(S106). 여기서, 객체 검출 장치(200)는 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환할 수 있다.
이때, 객체 검출 장치(200)는 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거할 수 있다.
그리고 객체 검출 장치(200)는 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여, 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환할 수 있다. 또한, 객체 검출 장치(200)는 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환할 수 있다.
이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득 단계;
    상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정 단계;
    상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성 단계;
    상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성 단계; 및
    각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출 단계;
    를 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  2. 제1항에 있어서,
    상기 관심영역 설정 단계는,
    현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시키는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  3. 제1항에 있어서,
    상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환 단계;
    를 더 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  4. 제3항에 있어서,
    상기 좌표계 변환 단계는,
    상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  5. 제3항에 있어서,
    상기 좌표계 변환 단계는,
    상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  6. 제3항에 있어서,
    상기 좌표계 변환 단계는,
    상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  7. 제3항에 있어서,
    상기 좌표계 변환 단계는,
    상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  8. 제3항에 있어서,
    상기 좌표계 변환 단계는,
    현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(Random sample consensus, RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  9. 제8항에 있어서,
    상기 좌표계 변환 단계는,
    상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  10. 제3항에 있어서,
    상기 좌표계 변환 단계는,
    상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법.
  11. 차량 내의 카메라로부터 이미지를 획득하는 이미지 획득부;
    상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 설정하는 관심영역 설정부;
    상기 설정된 적응적 관심영역의 이미지 크기를 단계적으로 변화시켜 복수의 리사이즈 이미지가 포함된 이미지 피라미드를 생성하는 이미지 피라미드 생성부;
    상기 생성된 이미지 피라미드의 각 리사이즈 이미지에서 거리별 탐색창을 각각 생성하는 탐색창 생성부; 및
    각 리사이즈 이미지에서 상기 생성된 적응적 탐색창을 이동시켜 객체를 검출하는 객체 검출부;
    를 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  12. 제11항에 있어서,
    상기 관심영역 설정부는,
    현재 후보 관심영역에 대해 누적된 이전 시간에 대한 후보 관심영역 정보를 이용하여 오류를 감소시키는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  13. 제11항에 있어서,
    상기 설정된 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 좌표계 변환부;
    를 더 포함하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  14. 제13항에 있어서,
    상기 좌표계 변환부는,
    상기 카메라의 캘리브레이션 정보, 카메라의 위치정보, 차량의 상태 정보 및 관성 측정 정보를 이용하여, 상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  15. 제13항에 있어서,
    상기 좌표계 변환부는,
    상기 카메라의 캘리브레이션을 통해 초점 거리, 주점, 비대칭 계수 및 왜곡 파라미터 중에서 적어도 하나 이상의 내부 파라미터를 산출하여 이미지의 왜곡을 제거하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  16. 제13항에 있어서,
    상기 좌표계 변환부는,
    상기 카메라의 캘리브레이션 정보 및 상기 차량의 관성 측정 정보를 이용하여 상기 획득된 이미지에서의 특정 지점을 카메라 좌표를 기준으로 하는 실제 공간상에서의 직선상의 지점으로 변환하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  17. 제13항에 있어서,
    상기 좌표계 변환부는,
    상기 차량의 위성 항법 정보 및 관성 측정 정보를 이용하여 시작점을 기준으로 시간마다 회전 행렬 및 평행 이동 값을 가지는 자세 행렬로 변환하여 이용하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  18. 제13항에 있어서,
    상기 좌표계 변환부는,
    현재 및 이전 이미지로부터 동일한 특징점을 기초로 3차원 위치를 추정하고, 상기 차량 내의 카메라 회전 관계를 이용하여 특징점을 차량 좌표계로 변경하고, 3차원 위치를 추정한 3차원 특징점들에 대해서 랜덤 샘플 컨센서스(RANSAC) 관계를 통한 평면 방정식을 추정하고, 추정한 평면과 카메라의 거리를 계산하여 차량 내에서의 카메라 높이를 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  19. 제18항에 있어서,
    상기 좌표계 변환부는,
    상기 차량과 지면은 맞닿아 있고 지면과 차량은 수평이고 상기 카메라의 자세 변화량과 상기 차량 내에서의 카메라 회전 관계를 이용하는 경우, 카메라와 지면과의 거리를 차량 내에서의 카메라 높이로 추정하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
  20. 제13항에 있어서,
    상기 좌표계 변환부는,
    상기 획득된 이미지에서 거리에 따른 적응적 관심영역을 실세계 좌표계로 변환하고, 실세계 좌표계로 변환된 적응적 관심영역에서 검출된 객체의 영역과 실제 거리를 도출하는 적응적 관심영역 및 탐색창을 이용한 객체 검출 장치.
PCT/KR2016/015459 2016-12-28 2016-12-29 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치 WO2018124337A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0180586 2016-12-28
KR1020160180586A KR101890612B1 (ko) 2016-12-28 2016-12-28 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2018124337A1 true WO2018124337A1 (ko) 2018-07-05

Family

ID=62709828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/015459 WO2018124337A1 (ko) 2016-12-28 2016-12-29 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101890612B1 (ko)
WO (1) WO2018124337A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728715A (zh) * 2019-09-06 2020-01-24 南京工程学院 一种智能巡检机器人像机角度自适应调整方法
CN111553342A (zh) * 2020-04-01 2020-08-18 深圳一清创新科技有限公司 一种视觉定位方法、装置、计算机设备和存储介质
CN115257739A (zh) * 2022-09-30 2022-11-01 南通艾美瑞智能制造有限公司 一种自适应速度调节的前车跟随方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210024862A (ko) 2019-08-26 2021-03-08 삼성전자주식회사 계층적인 피라미드를 이용하여 객체를 검출하는 객체 검출 시스템 및 이의 객체 검출 방법
KR20210130330A (ko) 2020-04-21 2021-11-01 삼성전자주식회사 호스트 차량을 제어하는 전자 장치 및 이의 동작 방법
KR102551647B1 (ko) * 2020-11-25 2023-07-05 주식회사 싸인텔레콤 일반상황 이벤트 감시모듈과 특정상황 이벤트 처리모듈을 분리하여 실시간성을 향상시킨 멀티쓰레드 기반의 영상분석시스템
KR20230076048A (ko) 2021-11-23 2023-05-31 주식회사 버넥트 연속 프레임 간의 실시간 이미지 타겟의 모션 추정 방법 및 그 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110048962A (ko) * 2009-11-04 2011-05-12 주식회사 만도 차량 인식 방법 및 장치
KR101264282B1 (ko) * 2010-12-13 2013-05-22 재단법인대구경북과학기술원 관심영역 설정을 이용한 도로상 차량의 검출방법
KR20150002038A (ko) * 2013-06-28 2015-01-07 (주) 세인 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법
KR20150112656A (ko) * 2014-03-28 2015-10-07 주식회사 하나비전테크 카메라 캘리브레이션 방법 및 그 장치
KR20160083619A (ko) * 2014-12-31 2016-07-12 (주)베라시스 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102199094B1 (ko) * 2014-05-26 2021-01-07 에스케이텔레콤 주식회사 관심객체 검출을 위한 관심영역 학습장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110048962A (ko) * 2009-11-04 2011-05-12 주식회사 만도 차량 인식 방법 및 장치
KR101264282B1 (ko) * 2010-12-13 2013-05-22 재단법인대구경북과학기술원 관심영역 설정을 이용한 도로상 차량의 검출방법
KR20150002038A (ko) * 2013-06-28 2015-01-07 (주) 세인 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법
KR20150112656A (ko) * 2014-03-28 2015-10-07 주식회사 하나비전테크 카메라 캘리브레이션 방법 및 그 장치
KR20160083619A (ko) * 2014-12-31 2016-07-12 (주)베라시스 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728715A (zh) * 2019-09-06 2020-01-24 南京工程学院 一种智能巡检机器人像机角度自适应调整方法
CN111553342A (zh) * 2020-04-01 2020-08-18 深圳一清创新科技有限公司 一种视觉定位方法、装置、计算机设备和存储介质
CN111553342B (zh) * 2020-04-01 2023-08-08 深圳一清创新科技有限公司 一种视觉定位方法、装置、计算机设备和存储介质
CN115257739A (zh) * 2022-09-30 2022-11-01 南通艾美瑞智能制造有限公司 一种自适应速度调节的前车跟随方法

Also Published As

Publication number Publication date
KR20180076441A (ko) 2018-07-06
KR101890612B1 (ko) 2018-08-23

Similar Documents

Publication Publication Date Title
WO2018124337A1 (ko) 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
WO2018066754A1 (ko) 라이다 센서를 이용한 차량의 자세 추정 방법
WO2019225817A1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2014185710A1 (ko) Tiled display에서 3d 영상을 보정하는 방법 및 장치
WO2011074759A1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
WO2017131334A1 (ko) 이동 로봇의 위치 인식 및 지도 작성 시스템 및 방법
WO2014073841A1 (ko) 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
CN107449444A (zh) 一种多星图姿态关联的星敏感器内参数标定方法及其装置
EP4155873A1 (en) Multi-sensor handle controller hybrid tracking method and device
WO2016206108A1 (en) System and method for measuring a displacement of a mobile platform
WO2021107650A1 (en) Jointly learning visual motion and confidence from local patches in event cameras
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
CN109300143A (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
CN112050806B (zh) 一种移动车辆的定位方法及装置
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN111504323A (zh) 基于异源图像匹配与惯性导航融合的无人机自主定位方法
WO2021025364A1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
CN108444468B (zh) 一种融合下视视觉与惯导信息的定向罗盘
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
CN113701750A (zh) 一种井下多传感器的融合定位系统
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16925719

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16925719

Country of ref document: EP

Kind code of ref document: A1