KR20160142137A - 움직이는 객체 검출 장치 및 방법 - Google Patents

움직이는 객체 검출 장치 및 방법 Download PDF

Info

Publication number
KR20160142137A
KR20160142137A KR1020150078103A KR20150078103A KR20160142137A KR 20160142137 A KR20160142137 A KR 20160142137A KR 1020150078103 A KR1020150078103 A KR 1020150078103A KR 20150078103 A KR20150078103 A KR 20150078103A KR 20160142137 A KR20160142137 A KR 20160142137A
Authority
KR
South Korea
Prior art keywords
motion
unit
moving
motion vector
cameras
Prior art date
Application number
KR1020150078103A
Other languages
English (en)
Other versions
KR102359083B1 (ko
Inventor
유지상
이규철
Original Assignee
에스케이하이닉스 주식회사
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사, 광운대학교 산학협력단 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020150078103A priority Critical patent/KR102359083B1/ko
Priority to US14/960,125 priority patent/US9984297B2/en
Publication of KR20160142137A publication Critical patent/KR20160142137A/ko
Application granted granted Critical
Publication of KR102359083B1 publication Critical patent/KR102359083B1/ko

Links

Images

Classifications

    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G06K9/00805—
    • G06T7/202—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)

Abstract

본 발명에 따른 객체 검출 장치는 2대의 카메라들로부터 전송되는 영상을 수신하고, 상기 영상으로부터 검출용 객체 후보들을 선정하는 객체 후보 선정부; 상기 카메라들이 설치된 이동체의 움직임 여부를 추정하는 글로벌 모션 추정부; 및 상기 객체 후보들과 상기 이동체의 움직임 여부를 이용하여 움직이는 객체를 검출하는 객체 판단부를 구비한다.

Description

움직이는 객체 검출 장치 및 방법 {Device for detecting moving object and method thereof}
본 발명은 움직이는 객체 검출 장치 및 방법에 관한 것으로, 특히 카메라를 이용하여 움직이는 객체를 검출하는 장치 및 방법에 관한 것이다.
많은 사람들이 교통 사고로 인하여 다치거나 사망하며, 특히 보행자가 차량과 정면으로 충돌하여 발생하는 교통 사고가 그 중 절반 이상을 차지한다. 이와 같이 보행자가 차량과 정면으로 충돌하여 발생하는 교통 사고를 줄이기 위하여 자동차 제조 회사들은 다양한 형태의 보행자 인식 기술을 개발하여 차량에 적용하고 있다. 일 예로, 레이더와 고해상도 카메라를 이용하여 차량 정면의 보행자, 자전거, 및 다른 차량을 인식하고, 충돌 가능성을 판단해 차량을 자동으로 정지시키는 충돌 방지 안전 기술이 상용화되고 있다.
보행자 인식 기술은 운전자와 보행자의 안전에 직결되는 문제이기 때문에 여러 가지 상황이 고려되어야 한다. 즉, 충돌 위험이 있는 모든 보행자를 정확하게 검출해야 한다. 차량의 바로 앞에서 사람이 도로 측면을 걷고 있거나 도로를 횡단한다고 해서 무조건 차량의 비상 브레이크가 작동해서는 안 된다. 따라서, 자동 브레이크 시스템을 위한 보행자 검출 알고리즘은 주변 상황을 인지하여 브레이크가 작동되는 경우를 판단하여야 한다.
특허(한국공개특허 2014-0048539)는 카메라로부터 획득된 촬영 영상을 이용하여 관심 객체를 추적하는 기술을 개시하고 있으나, 카메라가 움직이는 경우에 객체를 어떻게 추적하는지에 대해서는 개시하고 있지 않다.
본 발명은 카메라가 설치된 이동체가 움직이는 상태에서 전방의 움직이는 객체를 검출할 수 있는 객체 검출 장치 및 방법을 제공한다.
상기 과제를 해결하기 위하여 본 발명은,
2대의 카메라들로부터 전송되는 영상을 수신하고, 상기 영상으로부터 검출용 객체 후보들을 선정하는 객체 후보 선정부; 상기 카메라들이 설치된 이동체의 움직임 여부를 추정하는 글로벌 모션 추정부; 및 상기 객체 후보들과 상기 이동체의 움직임 여부를 이용하여 움직이는 객체를 검출하는 객체 판단부를 구비하는 객체 검출 장치를 제공한다.
상기 과제를 해결하기 위하여 본 발명은 또한,
2대의 카메라들로부터 전송되는 영상을 수신하는 객체 검출 장치의 객체 검출 방법에 있어서, (a) 상기 영상으로부터 카메라들의 전방에 있는 객체들 중 움직이는 객체의 검출을 위한 객체 후보들을 선정하는 단계; (b) 상기 카메라들이 설치된 이동체의 움직임을 추정하는 단계; 및 (c) 상기 객체 후보에 대한 정보와 상기 이동체의 움직임에 대한 정보를 이용하여 움직이는 객체를 검출하는 단계를 포함하는 객체 검출 방법을 제공한다.
상술한 바와 같이 본 발명에 따르면, 객체 검출 장치는 2대의 카메라들을 이용하여 스테레오 영상을 획득하고, 상기 스테레오 영상을 분석함으로써, 객체 검출 장치가 설치된 이동체가 이동 중에도 전방의 움직이는 객체를 검출할 수 있고, 상기 객체의 이동 방향을 예측함으로써, 이동체가 움직이는 객체와 충동하는 것을 방지할 수 있다.
도 1은 본 발명에 따른 객체 검출 시스템을 보여준다.
도 2는 도 1에 도시된 객체 검출 장치의 블록도이다.
도 3은 변이 영상 및 히스토그램들을 보여준다.
도 4는 객체의 거리값 산출에 관련된 파라메타들을 설명하기 위한 도면이다.
도 5는 랜삭(RANSAC)을 이용하여 글로벌 모션을 획득하는 방법을 보여주는 흐름도이다.
도 6a는 옵티컬 플로우를 이용한 움직임 벡터를 보여주는 영상이고, 도 6b는 RANSAC을 이용한 움직임 벡터를 보여주는 영상이다.
도 7은 옵티컬 플로우로 추출한 움직임 벡터가 표시된 영상이다
도 8a는 움직이는 객체에 대하여 옵티컬 플로우로 추출한 움직임 벡터가 표시된 영상이고, 도 8b는 글로벌 모션을 이용하여 획득한 움직임 벡터가 표시된 영상이다.
도 9는 글로벌 모션을 이용하여 추정한 움직임 벡터와 옵티컬 플로우를 이용하여 추정한 움직임 벡터를 보여준다.
도 10a는 움직이는 객체에서 여러 개의 화살표로 표시된 이상점들이 추출된 상태를 보여주고, 도 10b는 정지한 객체에서 5개의 특징점들 중 하나의 점이 이상점으로 추출된 상태를 보여준다.
도 11은 본 발명의 바람직한 실시예에 따른 객체 검출 방법을 보여주는 흐름도이다.
이하, 첨부한 도면들을 참고하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예에 대하여 상세히 설명하기로 한다. 각 도면에 제시된 참조부호들 중 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명에 따른 객체 검출 시스템을 보여준다. 도 1을 참조하면, 객체 검출 시스템은 객체 검출 장치(100) 및 2대의 카메라들(201,202)을 구비한다.
2대의 카메라들(201,202)은 특정 시스템, 예컨대 차량에 설치된다. 2대의 카메라들(201,202)은 서로 동일한 방향으로 설치되어 동일한 사물을 촬영하며, 촬영된 영상(스테레오 영상)을 객체 검출 장치(100)로 전송한다. 카메라들(201,202)은 객체 검출 장치(100)와 유선 또는 무선으로 연결될 수 있다.
객체 검출 장치(100)는 2대의 카메라들(201,202)로부터 전송되는 영상(스테레오 영상)을 분석하여 상기 시스템의 전방에 있는 객체들 중 움직이는 객체를 검출한다. 즉, 객체 검출 장치(100)는 카메라들(201,202)이 이동체, 예컨대, 차량에 설치된 상태에서 이동체가 움직이는 동안에도 상기 객체들을 촬영하여 상기 객체들 중 움직이는 객체를 검출하고, 상기 검출된 객체의 움직이는 방향을 예측한다.
이와 같이, 본 발명의 객체 검출 시스템에 따르면, 객체 검출 시스템이 설치된 이동체의 전방에 위치한 객체들 중 움직이는 객체를 상기 이동체가 이동하고 있는 동안에도 검출할 수가 있다. 따라서, 상기 움직이는 객체의 이동 방향을 예측할 수 있고, 그에 따라 상기 이동체가 상기 움직이는 객체와 충돌하는 것을 미연에 방지할 수 있다.
도 2는 도 1에 도시된 객체 검출 장치(100)의 블록도이다. 도 2를 참조하면, 객체 검출 장치(100)는 객체 후보 선정부(110), 글로벌 모션 추정부(120) 및 객체 판단부(130)를 구비한다.
객체 후보 선정부(110)는 2대의 카메라들(201,202)로부터 전송되는 영상을 수신하고, 상기 영상으로부터 카메라들(201,202)의 전방에 있는 객체들 중 움직이는 객체의 검출을 위한 객체 후보들을 선정한다.
객체 후보 선정부(110)는 객체 추출부(111), 거리값 산출부(112) 및 레이블부(113)를 구비한다.
객체 추출부(111)는 2대의 카메라들(201,202)이 촬영하여 생성한 영상을 변이 영상으로 변환하고, 상기 변이 영상으로부터 객체들을 추출한다. 객체 추출부(111)는 객체들을 추출하기 위하여 히스토그램을 이용한다. 즉, 상기 영상을 히스토그램을 이용하여 분석함으로써 변이 영상으로부터 객체들을 추출할 수 있다.
변이 영상이란 좌 시점 영상의 특정 화소는 우 시점 영상에도 존재하게 되는데 두 화소간의 거리를 화소값으로 표현한 영상을 말한다.
도 3은 변이 영상(310) 및 히스토그램들(311,312)을 보여준다. 도 3에 도시된 바와 같이, 히스토그램 분석 결과, 영상의 열에 객체가 존재하는 경우에는 객체의 변이값(OBJ)과 객체 근처의 값을 가지는 화소들이 많게 나타나고(311), 열에 객체가 존재하지 않는 경우에는 객체의 변이 값과 객체 근처의 값을 갖는 화소들이 적게 나타난다(312).
이와 같이, 영상을 히스토그램을 이용하여 분석하고, 이 때 나타나는 객체의 변이값을 객체의 임계값과 비교한다. 상기 비교 결과, 임계값 이상의 변이값을 갖는 것을 추출하여 객체로 설정한다.
도 3에서, 이동체에 설치된 카메라의 특성상 객체가 아닌 도로나 배경의 경우에는 히스토그램이 모든 범위에 대하여 균일하게 나타나고, 객체가 있는 경우에는 배경 화면과 다르게 표시된다.
거리값 산출부(112)는 객체 추출부(111)로부터 객체들에 대한 정보를 받아서 깊이 영상 또는 변이 영상으로부터 상기 객체들의 거리값(거리를 수치로 표시한 것)을 산출한다. 즉, 거리값 산출부(112)는 상기 깊이 영상 또는 변이 영상으로부터 카메라들(201,202)과 객체들 사이의 거리값을 산출한다.
도 4는 객체의 거리값 산출에 관련된 파라메타들을 설명하기 위한 도면이다. 도 4를 참조하여 객체의 거리값 산출 방법을 설명하기로 한다.
객체의 깊이값은 변이값과 카메라간의 거리 그리고 초점 거리를 이용하여 계산할 수 있으며, 아래 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Figure pat00001
,
Figure pat00002
여기서 xl은 좌측 카메라가 촬영하는 영상의 좌표를 나타내고, xr은 우측 카메라가 촬영하는 영상의 좌표를 나타낸다. f는 2대의 카메라들(201,202)의 초점 거리를, b는 2대의 카메라들(201,202) 사이의 거리를, z는 카메라들(201,202)과 객체간의 거리를 나타낸다. 수학식 1로부터 아래 수학식 2 및 3을 도출할 수 있다. 수학식 2로부터 객체의 변이값과 깊이값 사이의 관계를 알 수 있으며, 수학식 3으로부터 카메라들(201,202)과 객체 사이의 거리값을 획득할 수 있다.
[수학식 2]
Figure pat00003
[수학식 3]
Figure pat00004
거리값 산출부(112)는 상기 거리값을 소정값과 비교하고, 상기 비교 결과, 거리값이 상기 소정값 이하인 객체를 객체 후보로써 검출한다.
레이블부(113)는 거리값 산출부(112)에 의해 선정된 객체 후보들에 레이블을 표시한다. 이 때, 레이블부(113)는 상기 레이블이 표시된 부분들에 각각 번호를 부여하고 다른 색상의 레이블, 예컨대, 박스 형태로 표시하는 것이 바람직하다.
변이 영상을 이용함으로써, 객체 후보로써, 차량, 보행자뿐만 아니라 표기판, 나무, 빌딩 등 다양한 객체가 추출된다. 도 5a는 2대의 카메라들(201,202)에 의해 생성된 스테레오 영상을 이용하여 출력한 변이 영상, 도 5b는 히스토그램을 이용하여 추출한 변이 영상을 보여주며, 도 5c는 객체 후보들에 레이블이 표시된 상태를 보여준다.
이와 같이, 2대의 카메라들(201,202)을 이용함으로써, 카메라 주변의 환경 파악을 통해 객체 후보들을 추출하는 것이 용이하다. 즉, 1대의 카메라가 촬영하는 단일 영상을 이용하여 객체를 검출하는 시스템보다 정확한 결과를 얻을 수 있다.
글로벌 모션 추정부(120)는 글로벌 모션 예컨대, 카메라들(201,202)이 설치된 이동체의 움직임을 추정한다. 즉, 글로벌 모션 추정부(120)는 로컬 모션(객체의 움직임)과 글로벌 모션 (이동체의 움직임)을 구분한다.
글로벌 모션 추정부(120)는 움직임 벡터 검출부(121) 및 움직임 벡터 판단부(122)를 구비한다.
움직임 벡터 검출부(121)는 랜삭 (RANSAC; Random Sample Consensus)을 이용하여 움직임 벡터를 산출한다.
글로벌 모션은 SFM (Structure From Motion)을 이용하여 구할 수 있다. 즉, SFM을 이용하여 각 축에 대한 직선 운동인 x축 운동(Pitch), y축 운동(Roll), z축 운동(Yaw)과 각 축에 대한 회전 운동인 x축 회전(Lateral), y축 회전(Longitudinal), z축 회전(Yaw)을 획득할 수 있다. SFM은 아래 수학식 4와 같이 정의된다.
[수학식 4]
Figure pat00005
여기서 x와 y는 영상의 좌표이고, u와 v는 해당 좌표의 움직임 벡터이다. Tx, Ty, Tz는 시스템의 직선 방향 운동이고, Wx, Wy, Wz는 시스템의 회전 방향 운동이다. f는 카메라의 초점거리이며 Z는 카메라와 해당 점간의 실제 거리를 나타낸다.
수학식 4는 6개의 미지수가 들어가기 때문에 계산이 복잡하다. 하지만 지상 이동체인 차량의 경우에는 움직임을 z축 직선 운동과 x축 회전 그리고 y축 회전 운동으로 단순화 시킬 수 있다. 아래 수학식 5는 차량 시스템에서 z축 직선 운동, x축 회전 운동, y축 회전 운동의 관계를 정의한 식이다.
[수학식 5]
Figure pat00006
수학식 6은 수학식 5의 우변에 있는 글로벌 모션을 구하기 위해 양변에 역함수를 곱한 결과로 나타나는 수식이다.
Figure pat00007
해당 좌표의 움직임 벡터는 루카스-카나데(Lucas-Kanade) 옵티컬 플로우를 이용하여 획득한다. 획득한 움직임 벡터는 글로벌 모션에 의해 발생되는 벡터와 로컬 모션에 의해 발생되는 벡터로 나눌 수 있다. 글로벌 모션은 차량의 움직임으로 인하여 영상에서 나무나 빌딩 등 고정된 물체에서 획득되고 로컬 모션은 보행자나 다른 자동차 등 실제로 움직이는 객체에서 획득된다. 로컬 모션에 의해 발생한 움직임 벡터를 이용하여 글로벌 모션을 계산할 경우 정확하지 않은 결과가 나온다. 따라서 영상에서 글로벌 모션이 로컬 모션보다 많다는 가정 하에 RANSAC을 통한 글로벌 모션 추정을 수행한다. RANSAC은 모델에 크게 벗어나는 오류가 있어도 비교적 정확한 모델을 추정할 수 있기 때문에 대다수의 글로벌 모션과 소수의 로컬 모션이 혼합되어있는 모델에 적용하기 적합하다.
랜삭(RANSAC)을 이용하여 글로벌 모션을 획득하는 방법을 설명하기로 한다.
제1 단계로써, 특징점에서 추출한 움직임 벡터들 중에서 무작위로 3개의 샘플 데이터를 획득한다.
제2 단계로써, 상기 샘플 데이터를 수학식 6에 대입하여 글로벌 모션 파라메타들(Tz,Wx,Wy)을 산출한다. 상기 글로벌 모션 파라메타들을 수학식 5에 대입하여 각 특정점들에 대한 움직임 벡터를 구한다.
제3 단계로써, 현재 샘플 데이터에 대한 글로벌 모션 파라메타들의 오차를 수학식 7을 이용하여 구한다.
[수학식 7]
Figure pat00008
여기서 p는 영상에서 추출된 특징점을 의미하고 I는 영상내의 모든 특징점을 나타낸다. up'와 vp'는 글로벌 모션을 수학식 5에 대입하여 획득한 움직임 벡터이고, up와 vp는 옵티컬 플로우를 통해 획득한 움직임 벡터를 나타낸다.
오차 e는 모든 특징점에 대하여 두 벡터의 차의 절대값을 모두 더한 값이다.
움직임 벡터 판단부(122)는 현재 획득한 오차가 이전의 오차보다 작다면, 즉 상기 오차가 소정 범위 이내이면, 현재 글로벌 모션의 신뢰도가 높다고 판단하고, 상술한 단계들을 여러 번 반복하면서 최종적으로 글로벌 모션을 결정한다.
도 6은 랜삭(RANSAC)을 수행한 영상이다. 도 6a는 루카스-카나데 옵티컬 플로우를 이용하여 추출한 움직임 벡터를 보여주고, 도 6b는 RANSAC을 이용하여 글로벌 모션 파라메타들을 산출하고 수학식 5에 대입하여 획득한 움직임 벡터를 나타낸 영상이다. 옵티컬 플로우의 결과와 글로벌 모션을 통해 추정한 움직임 벡터가 일치하는 모습을 확인할 수 있다. 따라서, RANSAC을 이용하여 글로벌 모션을 판단하는 것이 효과적임을 알 수 있다.
객체 판단부(130)는 객체 후보 선정부(110)와 글로벌 모션 추정부(120)에 연결되며, 객체 후보 선정부(110)로 객체 후보에 대한 정보를 수신하고, 글로벌 모션 추정부(120)로부터 글로벌 모션 정보를 받아서, 움직이는 객체를 검출한다. 객체 판단부(130)는 이상점 추출부(131) 및 이상점 신뢰도 산출부(132)를 구비한다.
이상점 추출부(131)는 객체의 이상점들을 추출한다. 이상점은 데이터의 분포에서 현저하게 벗어난 관측 값을 말한다. 이동체에서 촬영한 영상의 움직임 벡터 중 글로벌 모션으로 인하여 발생하는 움직임 벡터가 대다수이고 로컬 모션으로 인하여 발생하는 움직임 벡터는 비교적 적은 수를 차지한다. 따라서 로컬 모션으로 인하여 발생하는 움직임 벡터를 이상점으로 설정한다.
도 7은 옵티컬 플로우로 추출한 움직임 벡터가 표시된 영상이다. 도 7을 참조하면, 영상 가운데에 위치해 있는 보행자 주변의 움직임 벡터가 주변 움직임 벡터와는 많은 차이가 있음을 보여주고 있으며 이러한 영역을 이상점이라고 정의한다.
이상점은 글로벌 모션으로 인하여 발생하는 움직임 벡터와 옵티컬 플로우로 획득한 움직임 벡터간의 비교를 통해 검출될 수 있다. 즉, 이상점은 글로벌 모션을 이용하여 모든 점들에 대한 움직임 벡터를 계산하고 옵티컬 플로우의 결과와 차이가 나는 점들을 이상점으로 결정한다.
도 8a는 움직이는 객체에 대하여 옵티컬 플로우로 추출한 움직임 벡터가 표시된 영상이고, 도 8b는 글로벌 모션을 이용하여 획득한 움직임 벡터가 표시된 영상이다. 도 8a의 옵티컬 플로우를 적용한 영상에서는 사람이 이동하는 방향대로 로컬 모션이 추출된 것을 보여준다. 도 8b는 글로벌 모션을 토대로 움직임 벡터를 산출하기 때문에 로컬 모션과는 무관한 결과를 보여주고 있다.
도 9를 참조하면, 두 벡터들을 비교할 때, 글로벌 모션을 이용하여 추정한 움직임 벡터(921)와 옵티컬 플로우를 통해 획득한 움직임 벡터(911)가 큰 차이가 없다면 해당 움직임 벡터는 글로벌 모션이라 볼 수 있으며, 큰 차이를 보인다면 로컬 모션(이상점)이라 할 수 있다.
객체 판단부(130)는 객체 후보들의 이상점들을 서로 비교하고, 그 중에서 이상점의 비율이 특징점 대비 0.5 이상이면 움직이는 객체라 판단한다.
이상점 신뢰도 산출부(132)는 이상점의 신뢰도를 산출한다. 움직이는 객체를 검출할 때 이상점이 하나라도 포함된 레이블을 검출한다면 잘못된 객체를 검출할 확률이 높다. 이러한 경우를 방지하기 위해 레이블 내에서 이상점의 개수에 대한 신뢰도를 분석한다.
도 10a는 움직이는 객체에서 여러 개의 화살표로 표시된 이상점들이 추출된 상태를 보여주고, 도 10b는 정지한 객체에서 5개의 특징점들 중 하나의 점이 이상점으로 추출된 상태를 보여준다.
도 10b의 경우에는 비록 레이블 내에 이상점이 있지만 움직이는 객체라고 볼 수 없다. 따라서 레이블 내의 이상점들의 비율을 계산하여 신뢰도를 반영할 필요가 있다. 수학식 8은 레이블내의 이상점의 신뢰도를 산출하는 수학식이다.
[수학식 8]
Figure pat00009
여기서 Noutlier와 Ninlier는 각각 레이블 내의 이상점의 개수와 이상점이 아닌 점의 개수이다. 레이블 내의 이상점의 비율을 구하여 0.5보다 크면 해당 레이블을 움직이는 객체로 판단한다.
상술한 바와 같이, 본 발명에 따르면, 2대의 카메라들(201,202)을 이용하여 스테레오 영상을 획득하고, 상기 스테레오 영상을 분석함으로써, 객체 검출 장치(100)가 설치된 이동체가 이동 중에도 전방의 움직이는 객체를 검출할 수 있고, 상기 객체의 이동 방향을 예측함으로써, 이동체가 움직이는 객체와 충동하는 것을 방지할 수 있다.
도 11은 본 발명의 바람직한 실시예에 따른 객체 검출 방법을 보여주는 흐름도이다. 도 11을 참조하면, 객체 검출 방법은 제1 내지 제3 단계들(1111∼1131)을 포함한다. 도 1을 참조하여 도 11에 도시된 객체 검출 방법을 설명하기로 한다.
제1 단계(1111)로써, 객체 검출 장치(100)는 2대의 카메라들(201,202)로부터 전송되는 영상을 수신하고, 상기 영상으로부터 카메라들(201,202)의 전방에 있는 객체들 중 움직이는 객체의 검출을 위한 객체 후보들을 선정한다.
제2 단계(1121)로써, 객체 검출 장치(100)는 글로벌 모션 예컨대, 카메라들(201,202)이 설치된 이동체의 움직임을 추정한다. 즉, 글로벌 모션 추정부(120)는 로컬 모션(객체의 움직임)과 글로벌 모션 (시스템 움직임)을 구분한다. 글로벌 모션은 상기 랜삭(RANSAC)을 이용하여 글로벌 모션을 획득하는 방법으로 획들할 수 있다.
제3 단계(1131)로써, 객체 검출 장치(100)는 객체 후보에 대한 정보와 글로벌 모션 정보를 이용하여 움직이는 객체를 검출한다.
상술한 바와 같이, 본 발명에 따른 객체 검출 방법은 글로벌 모션 정보를 이용하여 움직이는 객체를 검출할 수가 있다. 이와 같이, 객체 검출 장치(100)가 설치된 이동체가 이동 중에도 전방의 움직이는 객체를 검출하고, 상기 객체의 이동 방향을 예측함으로써, 이동체가 움직이는 객체와 충동하는 것을 방지할 수 있다.
본 발명은 도면들에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이들로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (10)

  1. 2대의 카메라들로부터 전송되는 영상을 수신하고, 상기 영상으로부터 검출용 객체 후보들을 선정하는 객체 후보 선정부;
    상기 카메라들이 설치된 이동체의 움직임 여부를 추정하는 글로벌 모션 추정부; 및
    상기 객체 후보들과 상기 이동체의 움직임 여부를 이용하여 움직이는 객체를 검출하는 객체 판단부를 구비하는 것을 특징으로 하는 객체 검출 장치.
  2. 제1항에 있어서,
    상기 객체 후보 선정부는 상기 카메라들로부터 전송되는 영상들을 변이 영상으로 변환하여 상기 객체 후보들을 선정하는 것을 특징으로 하는 객체 검출 장치.
  3. 제1항에 있어서, 상기 객체 후보 선정부는
    상기 영상으로부터 객체들을 추출하는 객체 추출부; 및
    상기 추출된 객체들의 거리값들을 산출하고, 상기 산출된 거리값이 소정값 이하인 객체를 객체 후보로 선정하는 거리값 산출부를 구비하는 것을 특징으로 하는 객체 검출 장치.
  4. 제3항에 있어서, 상기 객체 후보 선정부는
    상기 선정된 객체 후보들에 레이블을 표시하는 레이블부를 더 구비하는 것을 특징으로 하는 객체 검출 장치.
  5. 제1항에 있어서, 상기 글로벌 모션 추정부는
    상기 객체 후보로 선정된 객체의 좌표들의 움직임 벡터를 산출하는 움직임 벡터 산출부; 및
    상기 움직임 벡터로부터 오차를 산출하고, 상기 벡터 오차가 소정 범위 이내이면 글로벌 모션으로 판단하는 움직임 벡터 판단부를 구비하는 것을 특징으로 하는 객체 검출 장치.
  6. 제5항에 있어서,
    상기 움직임 벡터 산출부는 랜삭(RANSAK)을 이용하여 상기 움직임 벡터를 산출하는 것을 특징으로 하는 객체 검출 장치.
  7. 제1항에 있어서, 상기 객체 판단부는
    상기 객체 후보들의 이상점들을 추출하는 이상점 추출부; 및
    상기 이상점들의 비율을 계산하여 상기 이상점들의 신뢰도를 판단하는 움직임 벡터 판단부를 구비하는 것을 특징으로 하는 객체 검출 장치.
  8. 제7항에 있어서, 상기 이상점 추출부는
    상기 이동체의 움직임을 이용하여 추정한 움직임 벡터와 옵티컬 플로우를 통해 획득한 움직임 벡터가 큰 차이가 날 경우에 상기 객체 후보들의 이상점으로 설정하는 것을 특징으로 하는 객체 검출 장치.
  9. 2대의 카메라들로부터 전송되는 영상을 수신하는 객체 검출 장치의 객체 검출 방법에 있어서,
    (a) 상기 영상으로부터 카메라들의 전방에 있는 객체들 중 움직이는 객체의 검출을 위한 객체 후보들을 선정하는 단계;
    (b) 상기 카메라들이 설치된 이동체의 움직임을 추정하는 단계; 및
    (c) 상기 객체 후보에 대한 정보와 상기 이동체의 움직임에 대한 정보를 이용하여 움직이는 객체를 검출하는 단계를 포함하는 것을 특징으로 하는 객체 검출 방법.
  10. 제9항에 있어서, 랜삭 (RANSAC; Random Sample Consensus)을 이용하여 상기 이동체의 움직임을 추정하는 것을 특징으로 하는 객체 검출 방법.
KR1020150078103A 2015-06-02 2015-06-02 움직이는 객체 검출 장치 및 방법 KR102359083B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150078103A KR102359083B1 (ko) 2015-06-02 2015-06-02 움직이는 객체 검출 장치 및 방법
US14/960,125 US9984297B2 (en) 2015-06-02 2015-12-04 Moving object detection device and object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150078103A KR102359083B1 (ko) 2015-06-02 2015-06-02 움직이는 객체 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160142137A true KR20160142137A (ko) 2016-12-12
KR102359083B1 KR102359083B1 (ko) 2022-02-08

Family

ID=57452132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150078103A KR102359083B1 (ko) 2015-06-02 2015-06-02 움직이는 객체 검출 장치 및 방법

Country Status (2)

Country Link
US (1) US9984297B2 (ko)
KR (1) KR102359083B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190007758A (ko) * 2017-07-13 2019-01-23 한화디펜스 주식회사 영상 처리 시스템 및 그에 의한 영상 처리 방법
KR20190009006A (ko) * 2017-07-10 2019-01-28 한국전자통신연구원 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845552B (zh) * 2017-01-31 2019-11-08 东南大学 在光强分布不均匀环境下的融合光流和sift特征点匹配的低动态载体速度计算方法
US11553363B1 (en) * 2018-11-20 2023-01-10 State Farm Mutual Automobile Insurance Company Systems and methods for assessing vehicle data transmission capabilities
EP3663881B1 (de) * 2018-12-03 2021-02-24 Sick Ag Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
JP7069061B2 (ja) * 2019-01-31 2022-05-17 株式会社デンソー 物体判定装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060075311A (ko) * 2004-12-28 2006-07-04 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
KR20120103284A (ko) * 2011-03-10 2012-09-19 서울대학교산학협력단 반복 패턴을 이용한 영상 처리 방법 및 장치
US20140078313A1 (en) * 2009-12-22 2014-03-20 Samsung Electronics Co., Ltd. Method and terminal for detecting and tracking moving object using real-time camera motion estimation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1671216B1 (en) * 2003-10-09 2016-12-07 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
JP4328692B2 (ja) 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
DE102007010186A1 (de) 2007-03-02 2008-09-04 Robert Bosch Gmbh Vorrichtung, Verfahren und Computerprogramm zur bildgestützten Verfolgung von Überwachungsobjekten
US8564657B2 (en) 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
US20110298988A1 (en) * 2010-06-04 2011-12-08 Toshiba Alpine Automotive Technology Corporation Moving object detection apparatus and moving object detection method
JP5870273B2 (ja) * 2010-08-03 2016-02-24 パナソニックＩｐマネジメント株式会社 物体検出装置、物体検出方法及びプログラム
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
KR101367673B1 (ko) 2012-07-03 2014-03-03 한밭대학교 산학협력단 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템
KR20140048539A (ko) 2012-10-16 2014-04-24 에스케이텔레콤 주식회사 차량의 주변영상을 이용한 객체 인식장치 및 방법
US9224060B1 (en) * 2013-09-17 2015-12-29 Amazon Technologies, Inc. Object tracking using depth information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060075311A (ko) * 2004-12-28 2006-07-04 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
US20140078313A1 (en) * 2009-12-22 2014-03-20 Samsung Electronics Co., Ltd. Method and terminal for detecting and tracking moving object using real-time camera motion estimation
KR20120103284A (ko) * 2011-03-10 2012-09-19 서울대학교산학협력단 반복 패턴을 이용한 영상 처리 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009006A (ko) * 2017-07-10 2019-01-28 한국전자통신연구원 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
KR20190007758A (ko) * 2017-07-13 2019-01-23 한화디펜스 주식회사 영상 처리 시스템 및 그에 의한 영상 처리 방법

Also Published As

Publication number Publication date
KR102359083B1 (ko) 2022-02-08
US9984297B2 (en) 2018-05-29
US20160358018A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
KR102359083B1 (ko) 움직이는 객체 검출 장치 및 방법
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
US9047518B2 (en) Method for the detection and tracking of lane markings
CN111611853B (zh) 一种传感信息融合方法、装置及存储介质
KR102507248B1 (ko) 에고모션 추정 시스템 및 방법
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
WO2014114923A1 (en) A method of detecting structural parts of a scene
JP2013225295A5 (ko)
CN105654031B (zh) 用于物体检测的系统和方法
KR20130118116A (ko) 자동 주차 보조 시스템에서 장애물 충돌 회피 장치 및 방법
JP4609603B2 (ja) ３次元情報表示装置および３次元情報表示方法
US20150156471A1 (en) Method and device for processing stereoscopic data
JP2010079582A (ja) 物体を検出する装置、方法及びプログラム
EP3690802A1 (en) Vehicle exterior recognition device
US9365195B2 (en) Monitoring method of vehicle and automatic braking apparatus
US11346670B2 (en) Position estimating device
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
JP2007280387A (ja) 物体移動の検出方法及び検出装置
WO2010113253A1 (ja) ３次元情報表示装置および３次元情報表示方法
US8948449B2 (en) Selecting visible regions in nighttime images for performing clear path detection
KR100751096B1 (ko) 광흐름을 이용한 속도 측정 장치 및 그 방법
EP3438933B1 (en) Environment recognition device
US20220309776A1 (en) Method and system for determining ground level using an artificial neural network
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant