KR102013781B1 - 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치 - Google Patents

다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치 Download PDF

Info

Publication number
KR102013781B1
KR102013781B1 KR1020180008476A KR20180008476A KR102013781B1 KR 102013781 B1 KR102013781 B1 KR 102013781B1 KR 1020180008476 A KR1020180008476 A KR 1020180008476A KR 20180008476 A KR20180008476 A KR 20180008476A KR 102013781 B1 KR102013781 B1 KR 102013781B1
Authority
KR
South Korea
Prior art keywords
image
camera
object detection
focal length
detecting
Prior art date
Application number
KR1020180008476A
Other languages
English (en)
Other versions
KR20190095597A (ko
Inventor
꾸앙 빈 딘
전문구
윤재웅
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020180008476A priority Critical patent/KR102013781B1/ko
Priority to PCT/KR2019/000987 priority patent/WO2019147024A1/ko
Publication of KR20190095597A publication Critical patent/KR20190095597A/ko
Application granted granted Critical
Publication of KR102013781B1 publication Critical patent/KR102013781B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • H04N5/225

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

자율 주행 차량의 전방 객체 검출 방법에 제시된다. 본 발명의 일 실시 예에 따른 객체 검출 방법은, 제1 초점 거리를 갖는 카메라로부터 획득한 제1 이미지를 획득하는 단계, 상기 제1 초점 거리보다 상대적으로 긴 제2 초점 거리를 갖는 카메라로부터 획득한 제2 이미지를 획득하는 단계, 상기 제1 이미지 및 상기 제2 이미지로부터 객체를 검출하는 단계, 상기 제1 이미지와 상기 제2 이미지간 대응 영역을 판단하는 단계, 상기 제1 이미지의 대응 영역에서 이미지 특징을 제거하는 단계 및 상기 제2 이미지에서의 객체 검출 결과와 이미지 특징이 제거된 제1 이미지에서의 객체 검출 결과에 기초하여 전방의 객체를 검출하는 단계를 포함한다.

Description

다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치{a Method for object detection using two cameras with different focal lengths and apparatus thereof}
본 발명은 객체 검출 방법 및 장치에 관한 발명이다. 구체적으로 서로 다른 초점 거리를 갖는 두 개의 카메라를 이용하여 검출하기 어려운 소형 객체를 검출하는 객체 검출 방법 및 장치에 관한 발명이다.
컴퓨터 비전 및 기계 학습 분야에서 객체 검출은 의학에서 로봇 공학에 이르기까지 다양한 분야에서 많은 중요성을 가지고 있다. 인간의 시력은 현재의 시나리오에서 객체를 지역화하고 식별하는데 매우 견고하지만 컴퓨터에서는 다루기가 매우 어렵다. 객체 검출의 궁극적인 목표는 이미지에 있는 동일한 객체 또는 다른 객체의 인스턴스를 지역화하고 식별하는 것이다.
일반적인 객체 검출 방법은 컬러 및 질감 정보, 형상 신호, 및 국고 특징을 사용한다. 딥 신경 네트워크(deep neural network)의 도래는 객체 검출 기술을 혁신적으로 변화시켰다. 객체 검출을 위해 여러 개의 하위 레벨 기능을 결합한 복잡한 앙상블 메소드가 제거되엇다. 이러한 방법의 정확도는 딥 네트워크보다 훨씬 낮다.
객체 검출을 위한 기존에 제안된 딥 컨볼루션 신경 네트워크(convolution neural network, CNN)가 있으며, 이는 선택적인 검색을 사용하여 지역을 제안한 다음, CNN을 사용하여 계층적 방식으로 특징 표현을 만든다. 최종 레이어는 support-vector networks(SVM)를 사용하여 객체인지 아닌지를 분류하고, 객체에 경계 상자를 맞춘다. 그러나, 경계 상자를 맞추는 것은 회귀 문제로 고려된다.
기존에 알려진 R-CNN의 개선된 버전이 Fast-RCNN으로 개발되었다. Fast-RCNN 물체 검출의 시간 효율성과 정확도를 향상시키는데, 구체적으로 각 지역 제안서에 대해 훈련된 중복 CNN을 제거하고 단일 이미지에 대해 단일 CNN만을 훈련한다. 지역 제안에서는 훈련된 CNN 기능을 사용하여 지역을 제안한다.
최근, 차량에는 종종 전면 및 후면보기 용 카메라가 장착되어 잇다. 차량 및 보행자 검출, 차선 및 교통 표지 검출과 같은 차량 관련 애플리케이션에 사용할 수 있는 카메라를 재사용할 수 있다면 매우 경제적이다. 원거리 객체를 검출하고 인식하는 것은 현재 까다로운 문제이며 고속으로 주행하는 차량의 요구사항이다.
초점 거리가 더 긴 카메라는 더 먼 장면을 캡처할 수 있다. 반면 초점 길이가 짧은 카메라는 더 넓은 시야를 가지며 더 큰 정보를 캡처할 수 있다. 따라서 두 대의 카메라를 사용하면 멀리 있는 물체뿐만 아니라 넓은 지역에 있는 물체를 검출하는데 도움이 된다.
Ryoji Tanabe and Alex Fukunaga, "Improving the Search Performance of SHADE Using Linear Population Size Reduction", Proc. IEEE Congress on Evolutionary Computation, 2014. D. G. Lowe: 'Distinctive image features from scale-invariant keypoints', International Journal of Computer Vision, 2004. W. Liu et al., "SSD: Single Shot MultiBox Detector," ArXiv151202325 Cs, vol. 9905, pp. 21-37, 2016. Ren, Jimmy and Chen, Xiaohao and Liu, Jianbo and Sun, Wenxiu and Pang, Jiahao and Yan, Qiong and Tai, Yu-Wing and Xu, Li: 'Accurate Single Stage Detector Using Recurrent Rolling Convolution', CVPR, 2017. Ren, Shaoqing and He, Kaiming and Girshick, Ross and Sun, Jian: 'Faster R-CNN: Towards Real-time Object Detection with Region Pro posal Networks' Proceedings of the 28th International Conference on Neural Information Processing Systems.
본 발명은 고 비용의 고화질 카메라를 사용하지 않고도 검출이 어려운 작은 물체까지 검출할 수 있는 객체 검출 장치 및 방법을 제안 한다.
본 발명의 일 실시 예에 따른 객체 검출 방법은, 제1 초점 거리를 갖는 카메라로부터 획득한 제1 이미지를 획득하는 단계, 상기 제1 초점 거리보다 상대적으로 긴 제2 초점 거리를 갖는 카메라로부터 획득한 제2 이미지를 획득하는 단계, 상기 제1 이미지 및 상기 제2 이미지로부터 객체를 검출하는 단계, 상기 제1 이미지와 상기 제2 이미지간 대응 영역을 판단하는 단계, 상기 제1 이미지의 대응 영역에서 이미지 특징을 제거하는 단계 및 상기 제2 이미지에서의 객체 검출 결과와 이미지 특징이 제거된 제1 이미지에서의 객체 검출 결과에 기초하여 전방의 객체를 검출하는 단계를 포함한다.
본 발명은 서로 다른 두 개의 초점 거리를 갖는 카메라를 이용하여, 고비용의 카메라 및 고성능의 프로세서를 이용하지 않고도 검출이 어려운 작은 물체까지 검출이 가능하다.
도 1은 본 발명의 일 실시 예에 따른 객체 인식 장치의 개념도이다.
도 2는 두개의 입력 이미지를 사용하는 경우 일반적으로 발생할 수 있는 중복 검출의 문제를 나타낸다.
도 3은 두 입력 영상의 관계를 계산하는 흐름을 나타낸다.
도 4는 다른 초점거리를 갖는 두 개의 카메라를 사용하여 객체 검출을 하는 프로세스를 나타낸다.
도 5는 본 발명과 기존의 방법간의 정확도 비교를 나타낸다.
도 6은 본 발명의 일 실시 예에 따른 객체 검출 방법을 나타내는 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나 본 발명의 사상은 이하의 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.
첨부 도면은 발명의 사상을 이해하기 쉽게 표현하기 위하여 전체적인 구조를 설명함에 있어서는 미소한 부분은 구체적으로 표현하지 않을 수도 있고, 미소한 부분을 설명함에 있어서는 전체적인 구조는 구체적으로 반영되지 않을 수도 있다. 또한, 설치 위치 등 구체적인 부분이 다르더라도 그 작용이 동일한 경우에는 동일한 명칭을 부여함으로써, 이해의 편의를 높일 수 있도록 한다. 또한, 동일한 구성이 복수 개가 있을 때에는 어느 하나의 구성에 대해서만 설명하고 다른 구성에 대해서는 동일한 설명이 적용되는 것으로 하고 그 설명을 생략한다.
기존의 객체 검출 방법은 하나의 카메라를 사용하며, 여기에서 발생하는 문제는 다른 크기, 특히 작은 크기의 객체를 검출하는 것이다. 최근에 소개된 객체 검출 방법은 컨볼루션 네트워크의 모든 계산된 특징 맵을 사용하여 작은 크기의 객체를 탐지하고자 한다. 그러나, 그 성능은 제한되어 있으며 멀리있는 물체를 검출할 수 없는 문제가 있다.
도 1은 본 발명의 일 실시 예에 따른 객체 인식 장치의 개념도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 객체 인식 장치는 짧은 초점 길이를 가지면서 넓은 시야를 갖는 메인 카메라(1)가 개시되어 있으며, 이와 반대로, 긴 초점 길이를 가지면서 좁은 시야를 갖는 서포트 카메라(2)가 개시되어 있다. 그리고, 메인 카메라(1)로부터 획득한 이미지와 서포트 카메라(2)로부터 획득한 이미지를 처리하여 객체 검출을 수행하는 제어부(미도가)가 객체 인식 장치에 더 포함될 수 있다. 이하에서는 메인 카메라(1)와 서포트 카메라(2)로부터 획득한 이미지를 처리하는 제어부 또는 제어부를 포함하는 시스템의 동작을 설명한다. 여기에서 제어부는 프로세서일 수 있으며, 아래 설명한 알고리즘에 따라 구성된 프로그램이 실행되는 프로세서 일 수 있다.
본 발명에서는 도 1에 도시된 바와 같이, 초점 거리가 다른 두 대의 카메라를 사용하여 객체를 검출한다. 초점 거리가 짧은 카메라를 메인 카메라(1, Cm), 초점거리가 긴 카메라를 서포트 카메라(2, Cs)라고 지칭한다. 메인 카메라(1)는 넓은 시야각을 가지며 넓은 장면을 촬영할 수 있다. 대조적으로 서포트 카메라(2)는 작은 시야를 가지고 멀리있는 장면을 포착할 수 있다. 두 카메라의 초점 길이는 임의적이다. 따라서 충분히 긴 초점 거리를 사용하면 아주 멀리있는 물체를 검출할 수 있다. 이 기능은 가능한 한 빨리 교통신호나 장애물을 운전자에게 알려주어야 하는 고속 주행 차량에 특히 유용하다.
그러나, 초점 거리가 다른 두 대의 카메라를 사용하는 경우 몇가지 문제가 발생할 수 있다. 두 카메라 사이의 관계를 그들 사이의 대응하는 영역이 각각 계산될 수 있도록 하는 것이 요구된다.
또한, 동일한 객체가 메인 카메라가 캡쳐한 이미지(이하 '메인 이미지'), 및 서포트 카메라가 캡쳐한 이미지(이하 '서포트 이미지') 모두에 나타날 수 있다. 결과적으로 중복 검색이 문제될 수 있다.
도 2는 두개의 입력 이미지를 사용하는 경우 일반적으로 발생할 수 있는 중복 검출의 문제를 나타낸다.
(a)는 35mm 초점 거리 카메라가 캡쳐한 이미지를 나타낸다. (b)는 12mm 초점 거리 카메라가 캡쳐한 이미지를 나타낸다. (c)는 (a)를 사용한 객체 검출 결과를 나타낸다. (d)는 (b)를 사용한 객체 검출 결과를 나타낸다.
도 2를 예로 들어 설명하면, 서포트 이미지가 35mm 초점 거리의 카메라로 캡처되고, 메인 이미지가 12mm 초점 거리의 카메라로 캡처된다. 기존에 알려진 알고리즘인 Faster-RCNN은 두 이미지의 객체를 독립적으로 검색하는데 사용된다. 결과적으로 동일한 차량이 두 번 검출되며, 따라서 두 이미지를 직접 입력으로 사용할 수 없다. 따라서 이러한 문제를 해결하기 위해서는 중복 객체 검출을 피할 수 있도록 두 개의 이미지를 활용하는 또 다른 솔루션이 필요하다.
본 발명의 일 실시 예에 따른 객체 검출 방법은 구성된 에너지 함수를 최적화하기 위해 L-SHADE 알고리즘(선행기술문헌 1)을 사용한다.
다른 진화 알고리즘과 마찬가지로, L-SHADE는 블랙-박스 최적화 알고리즘이다. 어떠한 문제에 L-SHADE 알고리즘을 적용하기 위해서는 두 가지 주요 사항이 필요하다. 첫 번째로, 고려해야할 문제를 위한 인코딩을 구성하는 것이다. 이 단계에서는 최적화에 필요한 문제의 매개 변수를 결정하고 컴퓨터가 처리할 수 있는 형식(예를 들어 어레이 구조)으로 인코딩해야 한다. 두 번째로, 최소화된 비용으로 최적화된 매개 변수 값을 생성하는 에너지 함수를 만드는 것이다.
도 3은 두 입력 영상의 관계를 계산하는 흐름을 나타낸다.
도 4는 다른 초점거리를 갖는 두 개의 카메라를 사용하여 객체 검출을 하는 프로세스를 나타낸다.
본 발명의 일 실시 예에 따른 객체 검출 프레임 워크는 두 개의 서로 다른 프로세스를 포함한다. 첫 번째 과정은 도 3에 도시된 바와 같이, 두 입력 영상의 관계를 계산하고, 오프라인으로 수행하는 것이다. 이 관계는 두 개의 초점 길이의 비율인 세 개의 매개 변수와 서포트 이미지의 원점(0,0)에 대응하는 메인 이미지의 픽셀(x,y)에 의해 결정된다.
본 발명에서는 두 이미지 사이의 대응점의 수를 찾기 위해 SIFT(선행기술 2)를 사용한다. 그 후, 계산된 대응점을 사용하여 에너지 함수가 구성된다. 여기에서는 L-SHADE 알고리즘을 사용하여 에너지 함수를 최적화한다. 최적화된 함수는 최상의 계산된 매개 변수인 r,x, 및 y를 생성한다.
온라인 프로세스는 도 4와 같이 두 이미지를 사용하여 객체를 검출한다. 먼저 서포트 이미지는 기존의 객체 검출 방법을 사용하여 객체를 검출하는데 사용된다. 그 후 검출된 객체의 영역은 메인 이미지에 매핑되어, 메인 이미지 내의 대응 영역은 반복적으로 검출되지 않는다. 다음으로 객체 검출 방법은 처리된 메인 이미지 내의 객체를 검출하는데 사용된다. 마지막으로 두 검출 단계에서 검출된 객체가 결합되어 메인 이미지에 대한 최종 결과가 출력된다.
먼저, 관계 계산(Relation Computation)을 설명한다.
본 발명에서는 SIFT를 사용하여 스테레오 이미지간의 최상의 대응점(Nr)을 검출한다. 그리고 본 발명에서는 메인 이미지와 서포트 이미지간 관계를 추정하는 방법을 제안한다. 본 발명에서 제안하는 방법은 상술한 바와 같이 L-SHADE에 기반을 두고 있다. L-SHADE를 사용할 때 두 가지 중요한 포인트가 있는데, 그것은 문제의 구조를 정의하고, 비용 함수를 구성하는 것이다.
1) 문제의 구조(structure of problem): 오프라인 모드에서 추정을 위해 세가지 매개 변수인 r,x,y가 필요하다. r은 두 초점거리의 비율을 나타낸다. 따라서 그 값은 1에서 fmax 사이의 값일 수 있다. x와 y는 서포트 이미지의 원점(0,0)에 대응하는 메인 이미지의 픽셀이고, 해당 픽셀은 메인 이미지의 어느 곳에나 위치할 수 있다. 따라서, 0 < x < W, 0 < y < H 이고, 여기에서 W와 H는 각각 메인 이미지의 너비와 높이이다.
2) 비용 함수(cost function): 본 발명에서는 메인 이미지와 서포트 이미지 사이의 계산된 대응점을 사용하여 구축된 비용 함수의 오차를 평가한다. 본 발명에서는 SIFT를 사용하여 두 이미지 사이의 최적 대응점을 계산한다.
본 발명에서는 r,x,y의 최적 매개변수 값을 사용하여 서포트 이미지의 점(xi s, yi s)과 원점(0,0)간의 거리를 r로 스케일링한 뒤의 거리가 원점(x,y)에 대응하는 메인 이미지의 대응점(xi m, yi m)간의 거리와 비슷해야 한다. 문제 구조 및 비용 함수의 정의로 L-SHADE를 적용하여 정의된 오류가 최소화된 r, x, y에 대한 매개 변수 값을 얻을 수 있다.
두번째로 지역 매핑(region mapping)을 설명한다.
온라인 프로세스에서, 서포트 이미지로부터 객체가 검출될 때, 검출된 객체 영역은 이미지 특징을 제거하기 위해 메인 이미지에 매핑될 필요가 있다. 결과적으로 메인 이미지의 객체들은 다시 검출되지 않는다.
서포트 이미지의 객체 영역이 왼쪽 위 좌표(xs 1, ys 1)와 오른쪽 아래 좌표(xs 2, ys 2)를 갖는 사각형 모형이라고 가정한다. 객체 영역을 매핑하는 것은 실제로 사각형의 두 점을 매핑하는 것이다. 메인 이미지의 (xs 1, ys 1)와 (xs 2, ys 2)에 대한 대응점은 아래 수학식 1 및 수학식 2와 같이 계산된다.
Figure 112018008101014-pat00001
Figure 112018008101014-pat00002
여기에서 k = 1,2이다.
메인 이미지의 해당 객체 영역이 계산될 때, 이미지 특징이 제거된다. 본 발명에서는 해당 영역을 간단하게 0으로 채운다.
세번째로, 서포트 이미지의 판단(determination of support image)를 설명한다.
상술한 첫번째 단계와 두번째 단계는 두 개의 입력 이미지 중 어느 이미지가 서포트 이미지(초점 거리가 더 큰)인지를 미리 알아야 한다. 따라서, 본 발명에서는 서포트 이미지를 추정하기 위해 SIFT 대응점을 재 사용하는 것을 제안한다.
구체적으로 서포트 이미지 추정 방법을 설명하면, I1과 I2를 두 개의 입력 이미지라고 하고, s1과 s2를 I1과 I2 각각에 대한 대응점(Nd)의 두 세트라고 지칭하고, I1과 I2에서 SIFT 포인트 사이의 유클리드 거리의 합을 비교하는 방법이다. 유클리드 거리 합이 더 큰 이미지가 서포트 이미지이다. D(s1) 및 D(s2)를 SIFT 포인트인 s1 과 s2 의 두 개의 셋트들을 위한 유클리드 거리의 합으로 지칭할 수 있고, D(s1)과 D(s2)를 아래 수학식 3과 같이 계산할 수 있다.
Figure 112018008101014-pat00003
여기에서 d( , )는 두 개의 포인트 간의 유클리드 거리를 나타내며, si는 세트 s에서의 i번째 포인트를 나타낸다. D(s1) - D(s2) > 0 이면, I1은 서포트 이미지이며, 반대의 경우 I2가 서포트 이미지이다.
도 5는 본 발명과 기존의 방법간의 정확도 비교를 나타낸다.
도 5는 하나의 이미지만을 사용하는 기존의 Faster-RCNN과 RRC과, 본 발명의 일 실시 예와 같이 두 개의 이미지(DF)를 사용하는 방법을 6개의 시퀀스에 대하여 적용한 결과를 보여준다. Faster-RCNN과 RRC는 상술한 바와 같이 두 이미지에서 차량을 검출하도록 설계되어 있지 않기 때문에 단순히 서로 다른 초점거리의 이미지를 사용하여 중복 감지를 한다. 따라서, Faster-RCNN과 RRC의 성능은 비교적 낮은 것을 확인할 수 있다. 반면에, 본 발명에서 제안된 방법인 DF + Faster-RCNN과 DF + RRC는 중복검출 문제를 인식하고 있는바, 기존의 방법보다 높은 퍼포먼스를 보여줌을 확인할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 객체 검출 방법을 나타내는 흐름도이다.
본 발명의 일 실시 예에 따른 객체 검출 시스템은 메인 이미지와, 서포트 이미지를 획득한다(S101). 여기에서 메인 이미지는 상대적으로 짧은 초점거리를 가지면서 넓은 촬영 범위를 갖는 카메라로부터 획득한 이미지이고, 서포트 이미지는 상대적으로 긴 초점거리를 가지면서 좁은 촬영 범위를 갖는 카메라로부터 획득한 이미지이다.
구체적인 실시 예에서, 객체 검출 시스템은 자율 주행 차량에 설치되어 자율 주행 차량의 주행간에 전방의 객체 검출에 사용될 수 있다. 일 예로 자율 주행 차량에 두 개의 서로 다른 초점 거리를 갖는 카메라가 설치되어 있을 수 있다. 그리고, 제1 카메라는 차량 전면의 넓은 범위를 촬영하는 짧은 초점 거리를 갖는 카메라이며, 제2 카메라는 차량 전방의 특정의 좁은 범위를 촬영하는 긴 초점 거리를 갖는 카메라일 수 있다.
여기에서, 일 예로 제2 카메라가 촬영하는 특정의 범위는 제1 카메라가 촬영한 이미지에서 도로로 인식된 부분일 수 있다. 다른 예로, 제2 카메라가 촬영하는 특정의 범위는 기존의 검출 데이터를 이용한 학습(training)을 통해 객체가 상대적으로 많을 것으로 예상되는 부분일 수 있다.
객체 검출 시스템은 메인 이미지에서 객체를 검출하고, 서포트 이미지에서 객체를 검출한다(S103). 기존에 알려진 객체 검출 방법을 이용하여 객체 검출 시스템은 메인 이미지에서 객체를 검출하고, 서포트 이미지에서 객체를 검출한다. 여기에서 기존의 객체 검출 방법은 RCNN과 같은 알고리즘일 수 있다.
객체 검출 시스템은 메인 이미지와 서포트 이미지간의 관계를 판단하여 대응 영역을 판단한다(S105). 객체 검출 시스템은 기존에 알려진 알고리즘을 이용하여 메인 이미지와 서포트 이미지간의 관계를 판단할 수 있다. 여기에서 기존의 알고리즘은 SIFT일 수 있다.
객체 검출 시스템은 메인 이미지의 대응 영역에서의 이미지 특징을 제거한다(S107). 구체적으로 메인 이미지와 서포트 이미지가 대응되는 부분에서 객체의 중복 검출이 발생할 수 있는바, 객체 검출 시스템은 메인 이미지의 대응 영역에서의 이미지 특징을 제거하여 해당 영역에서 객체가 검출되지 않도록 한다.
객체 검출 시스템은 메인 이미지에서의 객체 검출 결과와, 서포트 이미지에서의 객체 검출 결과를 종합하여 객체 검출을 수행한다(S109). 구체적으로 객체 검출 시스템은 서포트 이미지에서 획득한 객체 검출 결과와, 대응 영역을 제외한 메인 이미지에서 획득한 객체 검출 결과를 합하여 전체 객체 검출을 수행한다.
따라서, 서로 다른 초점 거리를 갖는 카메라가 설치된 자율 주행 차량은 고 해상도의 카메라를 설치하지 않고 일반적으로 사용되는 카메라만으로도 상대적으로 작은 크기로 촬영되는 객체를 검출할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (2)

  1. ‘자율 주행 차량의 전방을 촬영하고 제1 초점 거리를 가지는 제1 카메라’로부터 획득한 제1 이미지를 획득하는 단계;
    ‘상기 자율 주행 차량의 전방을 촬영하고 상기 제1 초점 거리보다 상대적으로 긴 제2 초점 거리를 가지고 상기 제1 카메라의 시야각보다 좁은 시야각을 가지는 제2 카메라’로부터 획득한 제2 이미지를 획득하는 단계;
    상기 제1 이미지 및 상기 제2 이미지로부터 객체를 검출하는 단계;
    객체의 중복 검출이 발생하는, 상기 제1 이미지와 상기 제2 이미지간 대응 영역을 판단하는 단계;
    상기 제1 이미지의 대응 영역에서 객체가 검출되지 않도록, 상기 제1 이미지의 대응 영역에서 이미지 특징을 제거하는 단계; 및
    상기 제2 이미지에서의 객체 검출 결과와 이미지 특징이 제거된 제1 이미지에서의 객체 검출 결과에 기초하여 전방의 객체를 검출하는 단계를 포함하는
    자율 주행 차량의 전방 객체 검출 방법.
  2. ‘자율 주행 차량의 전방을 촬영하고 제1 초점 거리를 가지는 제1 카메라;
    ‘상기 자율 주행 차량의 전방을 촬영하고 상기 제1 초점 거리보다 상대적으로 긴 제2 초점 거리를 가지고 상기 제1 카메라의 시야각보다 좁은 시야각을 가지는 제2 카메라; 및
    상기 제1 카메라로부터 획득한 제1 이미지 및 상기 제2 카메라로부터 획득한 제2 이미지에 기초하여 객체 검출을 수행하는 제어부를 포함하며,
    상기 제어부는,
    상기 제1 이미지 및 상기 제2 이미지로부터 객체를 검출하고,
    객체의 중복 검출이 발생하는, 상기 제1 이미지와 상기 제2 이미지간 대응 영역을 판단하고,
    상기 제1 이미지의 대응 영역에서 객체가 검출되지 않도록, 상기 제1 이미지의 대응 영역에서 이미지 특징을 제거하고,
    상기 제2 이미지에서의 객체 검출 결과와 이미지 특징이 제거된 제1 이미지에서의 객체 검출 결과에 기초하여 전방의 객체를 검출하는
    자율 주행 차량의 전방 객체 검출 시스템.
KR1020180008476A 2018-01-23 2018-01-23 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치 KR102013781B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180008476A KR102013781B1 (ko) 2018-01-23 2018-01-23 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치
PCT/KR2019/000987 WO2019147024A1 (ko) 2018-01-23 2019-01-23 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180008476A KR102013781B1 (ko) 2018-01-23 2018-01-23 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20190095597A KR20190095597A (ko) 2019-08-16
KR102013781B1 true KR102013781B1 (ko) 2019-08-23

Family

ID=67395008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180008476A KR102013781B1 (ko) 2018-01-23 2018-01-23 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR102013781B1 (ko)
WO (1) WO2019147024A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220079006A (ko) 2020-12-04 2022-06-13 서울과학기술대학교 산학협력단 객체 추천 장치, 방법 및 시스템
KR20230098007A (ko) 2021-12-24 2023-07-03 아진산업(주) 자율주행자동차용 적응형 카메라 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021168804A1 (zh) * 2020-02-28 2021-09-02 深圳市大疆创新科技有限公司 图像处理方法、图像处理装置和图像处理系统
US11995869B2 (en) * 2021-09-28 2024-05-28 Johnson Controls Tyco IP Holdings LLP System and method to improve object detection accuracy by focus bracketing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016533557A (ja) 2013-10-04 2016-10-27 クアルコム,インコーポレイテッド オブジェクト検出および追跡のための地図データの動的拡張

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101674959B1 (ko) * 2010-11-02 2016-11-10 엘지전자 주식회사 이동 단말기 및 이것의 영상 촬영 제어 방법
KR102089432B1 (ko) * 2013-06-20 2020-04-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법
IN2014MU01297A (ko) * 2014-04-07 2015-10-09 Tata Consultancy Services Ltd
KR101951900B1 (ko) * 2015-05-28 2019-02-25 에스케이텔레콤 주식회사(Sk Telecom Co., Ltd.) 프레임 내에서 객체를 탐지하는 장치 및 방법
JP6188860B1 (ja) * 2016-04-13 2017-08-30 三菱電機株式会社 オブジェクト検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016533557A (ja) 2013-10-04 2016-10-27 クアルコム,インコーポレイテッド オブジェクト検出および追跡のための地図データの動的拡張

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220079006A (ko) 2020-12-04 2022-06-13 서울과학기술대학교 산학협력단 객체 추천 장치, 방법 및 시스템
KR102554282B1 (ko) * 2020-12-04 2023-07-11 서울과학기술대학교 산학협력단 객체 추천 장치, 방법 및 시스템
KR20230098007A (ko) 2021-12-24 2023-07-03 아진산업(주) 자율주행자동차용 적응형 카메라 시스템

Also Published As

Publication number Publication date
WO2019147024A1 (ko) 2019-08-01
KR20190095597A (ko) 2019-08-16

Similar Documents

Publication Publication Date Title
US11288818B2 (en) Methods, systems, and computer readable media for estimation of optical flow, depth, and egomotion using neural network trained using event-based learning
Tang et al. Single-camera and inter-camera vehicle tracking and 3D speed estimation based on fusion of visual and semantic features
KR102013781B1 (ko) 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치
US10970871B2 (en) Estimating two-dimensional object bounding box information based on bird&#39;s-eye view point cloud
JP6514192B2 (ja) ライダに基づいたオブジェクト移動の分類
Kim et al. Extracting vehicle trajectories using unmanned aerial vehicles in congested traffic conditions
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
US9754178B2 (en) Long-term static object detection
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、3d再現および追跡
US20220269900A1 (en) Low level sensor fusion based on lightweight semantic segmentation of 3d point clouds
Wang et al. Monocular visual object 3d localization in road scenes
Goga et al. Fusing semantic labeled camera images and 3D LiDAR data for the detection of urban curbs
Sun et al. You don't only look once: Constructing spatial-temporal memory for integrated 3D object detection and tracking
JP2018073275A (ja) 画像認識装置
Saleem et al. Improved stixel estimation based on transitivity analysis in disparity space
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
US20230260080A1 (en) Object detection method and device
Xiong et al. Fast and robust approaches for lane detection using multi‐camera fusion in complex scenes
Sreekumar et al. TPCAM: Real-time traffic pattern collection and analysis model based on deep learning
Umamaheswaran et al. Stereo vision based speed estimation for autonomous driving
Xie et al. A cascaded framework for robust traversable region estimation using stereo vision
KR20180071552A (ko) 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템
Contreras et al. A Stereo Visual Odometry Framework with Augmented Perception for Dynamic Urban Environments
JPWO2020244717A5 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant