KR20170039965A - 장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체 - Google Patents

장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR20170039965A
KR20170039965A KR1020150139226A KR20150139226A KR20170039965A KR 20170039965 A KR20170039965 A KR 20170039965A KR 1020150139226 A KR1020150139226 A KR 1020150139226A KR 20150139226 A KR20150139226 A KR 20150139226A KR 20170039965 A KR20170039965 A KR 20170039965A
Authority
KR
South Korea
Prior art keywords
block
object motion
prediction line
motion prediction
obstacle
Prior art date
Application number
KR1020150139226A
Other languages
English (en)
Other versions
KR102267256B1 (ko
Inventor
윤성원
권구도
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020150139226A priority Critical patent/KR102267256B1/ko
Publication of KR20170039965A publication Critical patent/KR20170039965A/ko
Application granted granted Critical
Publication of KR102267256B1 publication Critical patent/KR102267256B1/ko

Links

Images

Classifications

    • G06K9/00805—
    • G06K9/00362—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees

Abstract

장애물을 구별하여 움직임을 파악하기 위한 장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체가 개시된다.
이를 위해, 본 실시예는 영상내에서 검출된 적어도 하나의 물체 움직임을 군집화하고, 상기 군집화된 물체를 적어도 하나의 블럭안에 배치되도록 하위 블럭화하며, 이로부터 적어도 하나의 물체 움직임 궤적과 적어도 하나의 물체 움직임 예측선을 추출하고, 추출된 적어도 하나의 물체 움직임 궤적과 적어도 하나의 물체 움직임 예측선 간의 궤적 일치 여부를 판단하여 허상 물체, 정지 물체 및 이동 물체 중 어느 하나로 인식하는 메카니즘을 제공한다.
이에, 본 실시예는 모든 종류의 장애물 검출을 통해 사고를 미연해 방지할 수 있다.

Description

장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체{METHOD AND APPARATUS FOR DETECTING OBSTACLE, AND COMPUTER READABLE MEDIUM THE SAME}
본 실시예는 장애물 검출 기술에 관한 것으로서, 더욱 상세하게는 장애물을 구별하여 움직임을 파악하기 위한 장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체에 관한 것이다.
기존의 장애물 검출 기술은 영상의 차이 또는 옵티컬 플로우(optical flow)의 연산을 통해 움직임이 있는 물체의 위치와 밝기 변화를 분석하여 장애물을 검출하고 있다.
이때, 주행 중인 차량의 카메라가 이동하는 경우, 기존의 장애물 검출 기술은 주변에 이동 물체의 움직임과 차량의 이동이 동시에 검출될 수 있는데, 차량의 이동에 따른 움직임(주변 배경의 움직임)을 전체 움직임에서 제거하면, 이동 물체의 움직임만이 검출됨으로써, 이동 물체를 검출하였다.
이때, 주변 배경의 움직임에는 도로면 표식이나 크랙과 같이 높이를 갖지 않지만, 차량 또는 카메라의 이동에 따라 영상이 변화하는 허상 장애물과, 실제 높이를 가지고 움직임이 표현되는 실상의 장애물이 동시에 존재하게 되는데, 거리 센서나 양안 카메라의 경우, 대상물까지의 거리와 지표면 조건에 기초하여 허상 장애물과 실상 장애물을 구분하였다.
그러나, 단안 카메라를 사용하는 경우에는 전술한 장애물들의 구분이 어렵기 때문에 이동 물체만이 검출되었다.
이와 같이, 기존의 장애물 검출 기술은 차량이 움직일 때 이동 물체 검출에만 유용할 뿐, 정지 물체를 동시에 검출하진 못한 문제점이 있었다.
본 실시예는 전술한 문제점을 해결하기 위하여, 차량이 움직일 때 이동 장애물 뿐만 아니라, 정지 장애물 또는 허상 장애물을 동시에 인식하기 장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체를 제공하는데 그 목적이 있다.
하나의 실시예에 따르면, 장애물 검출 장치에서 수행되는 장애물 검출 방법으로서, 카메라를 통해 촬영된 영상내에서 포착된 적어도 하나의 물체 움직임을 검출하는 단계, 상기 검출된 적어도 하나의 물체 움직임을 군집화하고, 상기 군집화된 물체를 적어도 하나의 블럭안에 배치되도록 하위 블럭화하는 단계, 물체 추적을 이용하여 상기 하위 블럭내에서 각 블럭 중심에 기초한 적어도 하나의 물체 움직임 궤적을 추출하고, 차량 이동 예측선을 이용하여 상기 하위 블럭내에서 적어도 하나의 물체 움직임 예측선을 추출하는 단계, 및 추출된 상기 적어도 하나의 물체 움직임 궤적과 상기 적어도 하나의 물체 움직임 예측선 간의 궤적 일치 여부를 판단하여 허상 물체, 정지 물체 및 이동 물체 중 어느 하나로 인식하는 단계를 포함하는 장애물 검출 방법을 제공한다.
상기 하위 블럭화하는 단계는 상기 군집화된 물체가 없는 경우, 해당하는 블럭을 상기 하위 블럭에서 제외시킬 수 있다.
상기 하위 블럭은 상기 군집화된 물체를 나뉘어 배치된 다수의 블럭으로 이루어진 블럭을 가리킬 수 있다.
상기 물체 추적은 상기 각 블럭 중심의 위치 이동을 추적하는 것을 가리킬 수 있다.
상기 차량 이동 예측선은 조향 정보, 차량 정보 및 시점 변환(Bird's eye view) 중 적어도 하나로부터 추출될 수 있다.
상기 판단하는 단계는 상기 적어도 하나의 물체 움직임과 상기 적어도 하나의 물체 움직임 예측선을 비교하여 부분적으로 궤적 일치할 경우, 상기 정지 장애물로 인식할 수 있다.
상기 판단하는 단계는 상기 적어도 하나의 물체 움직임과 상기 적어도 하나의 물체 움직임 예측선을 비교하여 모두 궤적 불일치할 경우, 상기 이동 장애물로 인식할 수 있다.
상기 판단하는 단계는 상기 적어도 하나의 물체 움직임과 상기 적어도 하나의 물체 움직임 예측선을 비교하여 모두 궤적 일치할 경우, 상기 허상 장애물로 인식할 수 있다.
하나의 실시예에 따르면, 장애물 검출 장치에서 수행되는 장애물 검출 방법으로서, 카메라를 통해 촬영된 영상내에서 표착된 적어도 하나의 물체 움직임을 검출하는 단계, 상기 검출된 적어도 하나의 물체 움직임을 군집화하고, 상기 군집화된 물체를 적어도 하나의 블럭안에 배치되도록 하위 블럭화하는 단계, 물체 추적을 이용하여 상기 하위 블럭내에서 각 블럭 중심에 기초한 적어도 하나의 물체 움직임 궤적을 추출하고, 차량 이동 예측선을 이용하여 상기 하위 블럭 내에서 각 블럭의 물체 움직임 예측선을 추출하는 단계, 및 상기 하위 블럭화된 적어도 하나의 블럭을 주기마다 추적하여 갱신한 후, 각 블럭의 중심으로부터 상기 추출된 각 블럭의 물체 움직임 예측선과의 최단 거리 합이 한계치를 초과하였는지의 여부를 판단하는 단계를 포함하는 장애물 검출 방법을 제공한다.
상기 하위 블럭화하는 단계는 상기 군집화된 물체가 없는 경우, 해당하는 블럭을 상기 하위 블럭에서 제외시킬 수 있다.
상기 물체 추적은 상기 각 블럭 중심의 위치 이동을 추적하고, 상기 차량 이동 예측선은 조향 정보, 차량 정보 및 시점 변환(Bird's eye view) 중 적어도 하나로부터 추출될 수 있다.
상기 하위 블럭은 상기 군집화된 물체를 나뉘어 배치된 다수의 블럭으로 이루어질 수 있다.
상기 판단하는 단계는 상기 한계치의 이하이면, 상기 각 블럭의 물체 움직임 예측선이 상기 적어도 하나의 물체 움직임 궤적과 일치하는 것으로 간주하여 허상 장애물로 인식할 수 있다.
상기 판단하는 단계는 상기 한계치의 이상이면, 상기 각 블럭의 물체 움직임 예측선이 상기 적어도 하나의 물체 움직임 궤적과 불일치하는 것으로 간주하여 이동 장애물로 인식할 수 있다.
상기 판단하는 단계는 일부가 상기 한계치의 이상이고, 나머지 일부가 한계치 이하이면, 상기 각 블럭의 물체 움직임 예측선이 상기 적어도 하나의 물체 움직임 궤적과 부분적 일치하는 것으로 간주하여 정지 장애물로 인식할 수 있다.
이상과 같이, 본 실시예는 영상내 모든 물체 움직임에서 카메라의 움직임을 제거하여 이동 물체의 움직임을 검출하는 방식과 달리, 영상내 모든 물체 움직임에서 카메라의 움직임과 이동 물체의 움직임을 구분하고, 카메라의 움직임을 추가 분석하여 허상 장애물(노면 표식 등) 과 실제 장애물(이동 장애물, 정지 장애물)을 구분함으로써, 모든 종류의 장애물 검출을 통해 사고를 미연해 방지할 수 있다.
본 실시예는 전술한 장애물 검출 기법을 통해 장애물이 존재하는 위치를 정확하게 사용자에게 알려줌으로써, 주차 및/또는 출차시 및 차량 주행중에 맞다뜨린 장애물과의 충돌을 예방할 수 있다.
본 실시예는 기존 단안 카메라의 장애물 인식이 형태가 일정한 물체 또는 스스로 이동중인 장애물의 경우에만 적용되는 것으로부터 벗어나, 무인 주행 차량이 움직일 때 필요한 차량 주변의 모든 종류(이동/정지/허상 등)의 장애물 인식할 수 있는 효가가 있다.
도 1은 일 실시예에 따른 장애물 검출 방법의 일례를 나타낸 순서도이다.
도 2 내지 도 6과 도 10은 도 1 및 도 7의 장애물 검출 방법의 각 단계에서 처리되는 영상 화면을 나타낸 도면이다.
도 7은 일 실시예에 따른 장애물 검출 방법의 다른 일례를 나타낸 순서도이다.
도 8은 도 7의 장애물 검출 방법의 S240 단계에서 사용하는 궤적 상태를 나타낸 도면이다.
도 9는 일 실시예에 따른 장애물 검출 장치의 구성 일례를 나타낸 도면이다.
이하의 실시예들이 적용된 다양한 방법, 장치들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 본 명세서에서 개시되는 접미사인 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하의 실시예에서 개시되는 '및/또는'은 열거되는 관련 항목들 중 하나 이상의 항목에 대한 임의의 및 모든 가능한 조합들을 포함하는 것으로 이해되어야 한다.
이하의 실시예에서 개시되는 "포함하다", "이루어지다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것으로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비하는 것으로 이해되어야 한다.
<장애물 검출 방법의 예>
도 1은 일 실시예에 따른 장애물 검출 방법의 일례를 나타낸 순서도이고, 도 2 내지 도 6은 도 1의 장애물 검출 방법의 각 단계에서 처리되는 영상 화면을 나타낸 도면이다.
도 2 내지 도 6은 도 1의 각 단계를 설명할 때 해당 단계에서 보조적으로 인용된다.
도 1를 참조하면, 일 실시예에 따른 장애물 검출 방법(S100)은 장애물 검출 장치에서 정지 장애물, 이동 장애물 및/또는 허상 장매물과 같은 장애물들의 상태를 구분하여 검출하는 메카니즘을 실현시킨다.
여기에 적용된 장애물 검출 장치는 차량에 설치된 전자제어유닛(ECU), 헤드 유닛, 네비게이션 장치 및 텔레매틱스 단말기 클러스터 디스플레이 기기 또는 이들 기기 중 적어도 하나이거나 이들 중 적어도 하나와 연동되는 차량 단말기일 수 있다.
이러한 장애물 검출 장치는 차량에 설치된 카메라와 연결되어 카메라로부터 영상을 취득하고, 취득된 영상을 통해 모든 종류의 장애물을 정확히 검출하는데 사용한다.
상기 카메라는 예컨대 차량의 후방 카메라, 전방 카메라 및/또는 좌우 카메라 중 적어도 하나일 수 있다.
이러한 장애물 검출 장치에서 수행되는 장애물 검출 방법(S100)은 S110 단계 내지 S140 단계를 포함할 수 있다.
먼저, S110 단계는 카메라를 통해 촬영된 적어도 하나의 영상 정보를 장애물 검출 장치에서 취득하고, 취득된 영상 정보 내에서 포착된 적어도 하나의 물체 움직임을 검출한다.
물체 움직임을 검출하기 위한 기법으로는 영상내의 물체를 담고 있는 영상 프레임간의 차이를 검출하는 기법 또는 옵티컬 플로우(optical flow)의 연산 기법 등이 사용될 수 있다.
이러한 기법들은 모두 공지된 기술이므로, 그 설명은 생략하기로 한다. 그러나, 전술한 공지 기법에 한정되지 않으며, 다른 물체 검출 기법이 있다면, 본 실시예에서도 적용될 수 있음은 물론이다.
실시예에서, S120 단계는 S110 단계에 의해 검출된 적어도 하나의 물체 움직임을 군집화한다. 군집화된 예는 도 2와 같이 나타낼 수 있다. 즉, 도 2에 도시된 적어도 하나의 움직임 물체(101)를 묶어 하나의 군집화를 이루어, 적어도 하나의 군집 영역(102)을 가질 수 있다.
군집화의 기법으로는 k-means 및 c-means를 포함한 클러스터링(clustering) 기법, snake 등의 모션 세그먼트(motion segmentation) 기법 등이 사용될 수 있다.
이러한 기법들은 공지된 기법이므로 그 설명은 생략하지만 본 실시예서 동일하게 적용되며, 아울러, 전술한 군집화 기법에 국한시키지 않고 다양한 공지 기법들이 사용될 수도 있다.
이어서, S120 단계는 군집화된 군집 영역(102)을 적어도 하나의 블럭(103)안에 배치되도록 하위 블럭(104)화하는 과정을 수행한다. 하위 블럭(104)은 임의의 군집 영역(102)안에 군집화된 물체(101)를 나뉘어 배치된 다수의 블럭(103)으로 이루어질 수 있다.
그러나, 군집 영역(102)을 갖는 모든 블럭(103)에 움직임 물체(101)가 존재하는 것은 아니다. 즉, 군집화된 물체가 없는 경우에는 해당하는 블럭은 하위 블럭(104)에서 제외시킨다.
예를 들면, 도 2에 도시된 움직임 물체(101)를 커버하는 군집화 영역(102)이 4개의 블럭(103)안에 걸쳐 있을 경우, 도 3에 도시된 바와 같이, 움직임 물체(101)가 존재하지 않는 군집 영역(102)을 커버하는 2개의 블럭(103a)은 하위 블럭(104)에서 제외시킬 수 있다. 즉, 우측의 두 블럭(103a)은 제외시킬 수 있다.
이런 경우, S120 단계는 도 3에서와 같이 제외되지 않은 블럭(103)마다 중심점을 계산하고, 계산된 중심점의 좌표를 시점 변환(조감도, bird's eye view)의 좌표로 변환 시킬 수 있다. 그러나, 원 영상을 초기에 시점 변환하였다면 이 과정은 생략될 수도 있다.
실시예에서, S130 단계는 색상, 특징점, 움직임 벡터 등을 이용한 매 프레임 마다 하위 블럭(104)내의 각 블럭(103) 중심의 위치 이동을 추적하는 물체 추적 기법을 활용하여, 각 블럭(103) 중심의 위치를 영상 정보로부터 추출할 수 있다.
물체 추적 기법으로는 KLT와 같이 특징점-optical flow를 이용한 방법, 블럭 매칭, cam-shift와 같은 clustering 기반 추적 기법 등을 사용할 수 있다.
이러한 기법들은 모두 공지된 기술이므로, 그 설명은 생략하기로 한다. 그러나, 전술한 공지 기법에 국한되지 않으며, 다른 물체 추적 기법이 있다면, 본 실시예에서도 적용될 수 있음은 물론이다.
이에 따라, S130 단계는 하위 블럭(104)내에서 추출된 각 블럭(103) 중심의 위치 이동을 하나의 영상에 누적시킨 후, 이에 기초하여 적어도 하나의 물체 움직임 궤적을 추출할 수 있다. 추출된 적어도 하나의 물체 움직임 궤적에 대한 일례는 도 4와 같이 나타낼 수 있다.
예를 들면, 도 4에서와 같이 하위 블럭(104)안의 각 2 블럭(103b)은 각각 중심 위치를 지나는 물체 움직임 궤적(108)이 하나씩 생성될 수 있다. 이와 마찬가지로, 하위 블럭(104)안의 각 3 블럭(103c)의 중심 위치를 지나는 3개의 물체 움직임 궤적(109)이 생성될 수 있다. 도 4에 도시된 다른 블럭들도 동일한 원리가 적용되므로 생략하기로 한다.
이어서, S130 단계는 카메라, 예컨대 후방 카메라의 조향 연동 등에 사용되는 차량 이동 예측선을 조향 정보, 차량 정보 및 시점 변환(Bird's eye view) 중 적어도 하나로부터 추출할 수 있다. 이러한 차량 이동 예측선은 공지된 기술이므로 그 설명은 생략하기로 한다.
이를 통해, S130 단계는 추출된 차량 이동 예측선을 이용하여 하위 블럭(104)내에서 적어도 하나의 물체 움직임 예측선을 추출할 수 있다. 추출된 적어도 하나의 물체 움직임 예측선에 대한 일례는 도 5와 같이 나타낼 수 있다.
예를 들면, 도 5에서와 같이, 하위 블럭(104)안의 2 블럭(103b)은 각각 중심 위치를 지나는 물체 움직임 예측선(105)이 하나씩 생성되고, 하위 블럭(104)안의 각 3 블럭(103c)의 중심 위치를 지나는 3개의 물체 움직임 예측선(106)이 생성되며, 나머지 다른 블럭들도 동일한 원리로 생성되므로 그 설명은 생략하기로 한다.
여기서, 차량 이동 예측선을 ｙ＝ｆ（ｘ）라 정의하면, 도 6에서와 같이, 제1 블럭(103b)내의 제1 물체 움직임 예측선 ｙ＝ ｆ（ｘ－Ｘａ１）＋Ｙａ１（Ａ１ 블럭의 중심（ＣＡ１）에 대하여）이고, 제1 블럭내(103b)의 제2 물체 움직임 예측선 ｙ＝ ｆ（ｘ－Ｘａ2）＋Ｙａ2（Ａ2 블럭의 중심（ＣＡ2）에 대하여）일 수 있다.
이와 마찬가지로, 도 6에서와 같이, 제2 블럭(103d)내의 제1 물체 움직임 예측선 y = f(x-Xb1) + Yb1 (B1 블럭의 중심 (CB1)에 대하여)이고, 제2 블럭(103d)내의 제2 물체 움직임 예측선 y = f(x-Xb2) + Yb2 (B2 블럭의 중심 (CB2) 에 대하여)이며, 제2 블럭(103d)내의 제3 물체 움직임 예측선 y = f(x-Xb3) + Yb3 (B3 블럭의 중심 (CB3)에 대하여)일 수 있다.
이와 마찬가지로, 제3 블럭(103c)내의 물체 움직임 예측선들 y = f(x-Xcn) + Ycn (Cn 블럭의 중심 (CCn)에 대하여, n=1,2,3)이고, 제4 블럭(103e)내의 물체 움직임 예측선들 y = f(x-Xdn) + Ydn (Dn 블럭의 중심 (CDn) 에 대하여, n=1,2)이며, 제5 블럭(103f)내의 물체 움직임 예측선 y = f(x-Xen) + Yen (En 블럭의 중심 (CEn) 에 대하여, n=1,2)일 수 있다.
이와 같은 방식으로 모든 하위 블럭내의 적어도 하나의 물체 움직임 예측선을 구할 수 있다.
마지막으로, S140 단계는 전술한 S130 단계에 의해 추출된 적어도 하나의 물체 움직임 궤적과 적어도 하나의 물체 움직임 예측선을 비교하여 궤적 일치 여부를 판단할 수 있다.
예를 들면, S140 단계는 도 4 내지 도 6에서와 같이, 해당 블럭(103c)내의 제1 물체 움직임 궤적(109)과 해당 블럭(103c)내의 제1 물체 움직임 예측선(y, 106)을 비교하여 궤적 불일치로 판단하고, 같은 블럭(103c)내의 제2 물체 움직임 궤적과 같은 블럭(103c)내의 제2 물체 움직임 예측선을 비교하여 궤적 일치로 판단할 경우, 부분적으로 궤적이 일치하므로, 해당 블럭(103c)내의 물체를 정지 장애물로 장애물 검출 장치에서 인식할 수 있다.
다른 예로서, S140 단계는 도 4 내지 도 6에서와 같이, 해당 블럭(103d)내의 제1 물체 움직임 궤적과 해당 블럭(103d)내의 제1 물체 움직임 예측선을 비교하여 궤적 불일치로 판단하고, 같은 블럭(103d)내의 제2 물체 움직임 궤적과 같은 블럭(103d)내의 제2 물체 움직임 예측선을 비교하여 궤적 일치로 판단하며, 같은 블럭(103d)내의 제3 물체 움직임 궤적과 같은 블럭(103d)내의 제3 물체 움직임 예측선을 비교하여 궤적 일치로 판단할 경우, 부분적으로 궤적이 일치하므로, 해당 블럭(103d)내의 물체를 정지 장애물로 장애물 검출 장치에서 인식할 수 있다.
또 다른 예로서, S140 단계는 도 4 및 도 6에서와 같이 해당 블럭(103e)내의 제1 물체 움직임 궤적과 같은 블럭(103e)내의 제1 물체 움직임 예측선을 비교하여 궤적 불일치로 판단하고, 같은 블럭(103e)내의 제2 물체 움직임 궤적과 같은 블럭(103e)내의 제2 물체 움직임 예측선을 비교하여 궤적 불일치로 판단할 경우, 모두 궤적이 불일치하므로, 해당 블럭(103e)내의 물체를 이동 장애물로 장애물 검출 장치에서 인식할 수 있다.
또 다른 예로서, S140 단계는 도 4 내지 도 6에서와 같이 해당 블럭(103f)내의 제1 물체 움직임 궤적과 같은 블럭(103f)내의 제1 물체 움직임 예측선을 비교하여 궤적 일치로 판단하고, 같은 블럭(103f)내의 제2 물체 움직임 궤적과 같은 블럭(103f)내의 제2 물체 움직임 예측선을 비교하여 궤적 일치로 판단할 경우, 모두 궤적이 일치하므로, 해당 블럭(103f)내의 물체를 허상 장애물로 장애물 검출 장치에서 인식할 수 있을 것이다.
이와 같이, 본 실시예는 물체 움직임 궤적과 예측선의 비교를 통해 허상 물체, 정지 물체 및 이동 물체 중 어느 하나로 인식함으로써, 모든 이동 장애물 뿐만 아니라, 정지 장애물 및/또는 허상 장애물까지도 모두 확인함으로써, 장애물의 정확한 식별에 보탬이 될 수 있다.
전술한 장애물 검출 방법(S100)은 하드웨어 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.
언급된 기록 매체는 ROM, 자기 디스크 혹은 콤팩트 디스크 등 일 수 있으나, 이에 받드시 한정되지는 않는다.
<장애물 검출 방법의 다른 예>
도 7은 일 실시예에 따른 장애물 검출 방법의 다른 일례를 나타낸 순서도이고, 도 8은 도 7의 장애물 검출 방법의 S240 단계에서 사용하는 궤적 상태를 나타낸 도면이다.
여기서, 전술한 도 2 내지 6 및 도 8은 도 7의 각 단계를 설명할 때 해당 단계에서 인용하기로 한다.
도 7를 참조하면, 일 실시예에 따른 장애물 검출 방법(S200)은 장애물 검출 장치에서 정지 장애물, 이동 장애물 및/또는 허상 장매물과 같은 장애물들의 상태를 구분하여 검출하는 메카니즘을 실현시킨다.
여기에 적용된 장애물 검출 장치는 차량에 설치된 전자제어유닛(ECU), 헤드 유닛, 네비게이션 장치 및 텔레매틱스 단말기 클러스터 디스플레이 기기 또는 이들 기기 중 적어도 하나이거나 이들 중 적어도 하나와 연동되는 차량 단말기일 수 있다.
이러한 장애물 검출 장치는 차량에 설치된 카메라와 연결되어 카메라로부터 영상을 취득하고, 취득된 영상을 통해 모든 종류의 장애물을 정확히 검출하는데 사용한다.
상기 카메라는 예컨대 차량의 후방 카메라, 전방 카메라 및/또는 좌우 카메라 중 적어도 하나일 수 있다.
이러한 장애물 검출 장치에서 수행되는 장애물 검출 방법(S200)은 S210 단계 내지 S240 단계를 포함할 수 있다.
먼저, S210 단계는 카메라를 통해 촬영된 적어도 하나의 영상 정보를 장애물 검출 장치에서 취득하고, 취득된 영상 정보 내에서 포착된 적어도 하나의 물체 움직임을 검출한다.
물체 움직임을 검출하기 위한 기법으로는 영상내의 물체를 담고 있는 영상 프레임간의 차이를 검출하는 기법 또는 옵티컬 플로우(optical flow)의 연산 기법 등이 사용될 수 있다.
이러한 기법들은 모두 공지된 기술이므로, 그 설명은 생략하기로 한다. 그러나, 전술한 공지 기법에 한정되지 않으며, 다른 물체 검출 기법이 있다면, 본 실시예에서도 적용될 수 있음은 물론이다.
실시예에서, S220 단계는 S210 단계에 의해 검출된 적어도 하나의 물체 움직임을 군집화한다. 군집화된 예는 도 2와 같이 나타낼 수 있다. 즉, 도 2에 도시된 적어도 하나의 움직임 물체(101)를 묶어 하나의 군집화를 이루어, 적어도 하나의 군집 영역(102)을 가질 수 있다.
군집화의 기법으로는 k-means 및 c-means를 포함한 클러스터링(clustering) 기법, snake 등의 모션 세그먼트(motion segmentation) 기법 등이 사용될 수 있다.
이러한 기법들은 공지된 기법이므로 그 설명은 생략하지만 본 실시예서 동일하게 적용되며, 아울러, 전술한 군집화 기법에 국한시키지 않고 다양한 공지 기법들이 사용될 수도 있다.
이어서, S220 단계는 군집화된 군집 영역(102)을 적어도 하나의 블럭(103)안에 배치되도록 하위 블럭(104)화하는 과정을 수행한다. 하위 블럭(104)은 임의의 군집 영역(102)안에 군집화된 물체(101)를 나뉘어 배치된 다수의 블럭(103)으로 이루어질 수 있다.
그러나, 군집 영역(102)을 갖는 모든 블럭(103)에 움직임 물체(101)가 존재하는 것은 아니다. 즉, 군집화된 물체가 없는 경우에는 해당하는 블럭은 하위 블럭(104)에서 제외시킨다.
예를 들면, 도 2에 도시된 움직임 물체(101)를 커버하는 군집화 영역(102)이 4개의 블럭(103)안에 걸쳐 있을 경우, 도 3에 도시된 바와 같이, 움직임 물체(101)가 존재하지 않는 군집 영역(102)을 커버하는 2개의 블럭(103a)은 하위 블럭(104)에서 제외시킬 수 있다. 즉, 우측의 두 블럭(103a)은 제외시킬 수 있다.
이런 경우, S220 단계는 도 3에서와 같이 제외되지 않은 블럭(103)마다 중심점을 계산하고, 계산된 중심점의 좌표를 시점 변환(조감도, bird's eye view)의 좌표로 변환 시킬 수 있다. 그러나, 원 영상을 초기에 시점 변환하였다면 이 과정은 생략될 수도 있다.
실시예에서, S230 단계는 색상, 특징점, 움직임 벡터 등을 이용하여 매 프레임 마다 하위 블록 중심점의 위치 이동을 추적하는 물체 추적 기범을 이용하여, 블록 중심점의 위치를 영상으로부터 추출할 수 있다.
물체 추적 기법으로는 KLT와 같이 특징점-optical flow를 이용한 방법, 블록 매칭, cam-shift와 같은 clustering기반 추적 기법 등을 사용할 수 있다.
이러한 기법들은 모두 공지된 기술이므로, 그 설명은 생략하기로 한다. 그러나, 전술한 공지 기법에 국한되지 않으며, 다른 물체 추적 기법이 있다면, 본 실시예에서도 적용될 수 있음은 물론이다.
이에 따라, S230 단계는 하위 블럭(104)내에서 추출된 각 블럭(103) 중심의 위치 이동을 하나의 영상에 누적시킨 후, 이에 기초하여 적어도 하나의 물체 움직임 궤적을 추출할 수 있다. 추출된 적어도 하나의 물체 움직임 궤적에 대한 일례는 도 4와 같이 나타낼 수 있다.
예를 들면, 도 4에서와 같이 하위 블럭(104)안의 2 블럭(103b)은 각각 중심 위치를 지나는 물체 움직임 궤적(108)이 하나씩 생성될 수 있다. 이와 마찬가지로, 하위 블럭(104)안의 각 3 블럭(103c)의 중심 위치를 지나는 3개의 물체 움직임 궤적(109)이 생성될 수 있다. 도 4에 도시된 다른 블럭들도 동일한 원리가 적용되므로 생략하기로 한다.
이어서, S230 단계는 카메라, 예컨대 후방 카메라의 조향 연동 등에 사용되는 차량 이동 예측선을 조향 정보, 차량 정보 및 시점 변환(Bird's eye view) 중 적어도 하나로부터 추출할 수 있다. 이러한 차량 이동 예측선은 공지된 기술이므로 그 설명은 생략하기로 한다.
이를 통해, S230 단계는 추출된 차량 이동 예측선을 이용하여 하위 블럭내에서 적어도 하나의 물체 움직임 예측선을 추출할 수 있다. 추출된 적어도 하나의 물체 움직임 예측선에 대한 일례는 도 5와 같이 나타낼 수 있다.
예를 들면, 도 5에서와 같이, 하위 블럭(104)안의 2 블럭(103b)은 각각 중심 위치를 지나는 물체 움직임 예측선(105)이 하나씩 생성되고, 하위 블럭(104)안의 각 3 블럭(103c)의 중심 위치를 지나는 3개의 물체 움직임 예측선(106)이 생성되며, 나머지 다른 블럭들도 동일한 원리로 생성되므로 그 설명은 생략하기로 한다.
여기서, 차량 이동 예측선을 ｙ＝ｆ（ｘ）라 정의하면, 도 6에서와 같이, 제1 블럭(103b)내의 제1 물체 움직임 예측선 ｙ＝ ｆ（ｘ－Ｘａ１）＋Ｙａ１（Ａ１ 블럭의 중심（ＣＡ１）에 대하여）이고, 제1 블럭내(103b)의 제2 물체 움직임 예측선 ｙ＝ ｆ（ｘ－Ｘａ2）＋Ｙａ2（Ａ2 블럭의 중심（ＣＡ2）에 대하여）일 수 있다.
이와 마찬가지로, 도 6에서와 같이, 제2 블럭(103d)내의 제1 물체 움직임 예측선 y = f(x-Xb1) + Yb1 (B1 블럭의 중심 (CB1)에 대하여)이고, 제2 블럭(103d)내의 제2 물체 움직임 예측선 y = f(x-Xb2) + Yb2 (B2 블럭의 중심 (CB2) 에 대하여)이며, 제2 블럭(103d)내의 제3 물체 움직임 예측선 y = f(x-Xb3) + Yb3 (B3 블럭의 중심 (CB3)에 대하여)일 수 있다.
또한, 도 6에서와 같이, 제3 블럭(103c)내의 물체 움직임 예측선들 y = f(x-Xcn) + Ycn (Cn 블럭의 중심 (CCn)에 대하여, n=1,2,3)이고, 제4 블럭(103e)내의 물체 움직임 예측선들 y = f(x-Xdn) + Ydn (Dn 블럭의 중심 (CDn) 에 대하여, n=1,2)이며, 제5 블럭(103f)내의 물체 움직임 예측선 y = f(x-Xen) + Yen (En 블럭의 중심 (CEn) 에 대하여, n=1,2)일 수 있다.
이와 같은 방식으로 모든 하위 블럭내의 적어도 하나의 물체 움직임 예측선을 구할 수 있다.
마지막으로, S240 단계는 하위 블럭에 포함된 적어도 하나의 블럭을 주기마다 예컨대 t0, t0+△, t0+2△, … t0+n△의 주기마다 추적하여 적어도 하나의 블럭을 장애물 검출 장치에서 갱신시킬 수 있다.
이러한 S240 단계는 갱신된 각 블럭의 중심으로부터 추출된 각 블럭의 물체 움직임 예측선과의 최단 거리(예: en, n=1,2 ...)의 합(E)이 한계치(threshold)를 초과하였는지의 여부를 판단한다.
예를 들면, S240 단계는 도 8에서와 같이, 각 블럭(103)의 해당하는 물체 움직임 예측선(107)과의 최단 거리(예: en, n=1,2 ...)의 합(E)이 한계치(threshold)의 이하인 것으로 장애물 검출 장치에서 판단하면, S230 단계에 의해 추출된 각 블럭의 해당 물체 움직임 예측선이 해당하는 적어도 하나의 물체 움직임 궤적과 일치하는 것으로 간주함으로써, 하위 블럭내의 해당 물체를 허상 장애물로 장애물 검출 장치에서 인식할 수 있다.
다른 예로서, S240 단계는 도 8에서와 같이, 각 블럭(103)의 해당하는 물체 움직임 예측선(107)과의 최단 거리(예: en, n=1,2 ...)의 합(E)이 한계치(threshold)의 이상인 것으로 장애물 검출 장치에서 판단하면, S230 단계에 의해 추출된 각 블럭의 물체 움직임 예측선이 적어도 하나의 물체 움직임 궤적과 불일치하는 것으로 간주함으로써, 하위 블럭내의 해당 물체를 이동 장애물로 인식할 수 있다.
또 다른 예로서, S240 단계는 도 8에서와 같이 각 블럭(103)의 해당하는 물체 움직임 예측선(107)과의 최단 거리(예: en, n=1,2 ...)의 합이 일부가 한계치 이상이고, 나머지 일부가 한계치 이하인 것으로 장애물 검출 장치에서 판단하면, S230 단계에 의해 추출된 각 블럭의 물체 움직임 예측선이 적어도 하나의 물체 움직임 궤적과 부분적 일치하는 것으로 간주함으로써, 하위 블럭내의 해당 물체를 정지 장애물로 인식할 수 있다.
본 실시예는 물체 움직임 궤적과 예측선의 비교를 통해 허상 물체, 정지 물체 및 이동 물체 중 어느 하나로 인식함으로써, 모든 이동 장애물 뿐만 아니라, 정지 장애물 및/또는 허상 장애물까지도 모두 확인함으로써, 장애물의 정확한 식별에 보탬이 될 수 있다.
전술한 장애물 검출 방법(S200)은 하드웨어 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.
언급된 기록 매체는 ROM, 자기 디스크 혹은 콤팩트 디스크 등 일 수 있으나, 이에 받드시 한정되지는 않는다.
참고로, 전술한 S140 단계 및 S240 단계의 비교 대상인 도 4 및 도 5를 합성하면, 일례로서 도 10과 같이 나타낼 수 있다.
도 10에서와 같이, 물체 움직임 궤적과 물체 움직임 예측선을 비교한 결과, 도 6의 참조부호 A1, C1, C2, C3, D1, D2는 불일치하고 있음을 알 수 있으며, A2, E2, E3, B2, B3는 일치하고 있음을 확인할 수 있다.
도 9는 일 실시예에 따른 장애물 검출 장치의 구성 일례를 나타낸 도면이다.
도 9를 참조하면, 일 실시예에 따른 장애물 검출 장치(100)는 전술한 장애물 검출 방법을 알고리즘화 하고, 이를 처리할 수 있다.
이를 위하여, 장애물 검출 장치(100)는 입력부(110), 적어도 하나의 코어를 처리하는 프로세서(120), 메모리(130), 표시부(140) 및 출력부(150)를 포함할 수 있다.
입력부(110)는 터치 패널(111) 및/또는 기타 입력 장치(132)를 포함할 수 있다.
터치 패널(111)은 전술한 장애물 검출 방법과 관련한 터치 동작(예를 들면 사용자가 손가락이나 터치팬 등의 임의의 적합한 물건이나 부속품을 사용하여 터치센시티브 표면 혹은 터치센시티브표면 부근에 대하여 터치를 진행하는 조작)을 수집함과 동시에 미리 설정된 프로그램에 따라 관련된 접속 장치를 구동시킬 수 있다.
이러한 터치 패널(111)은 터치 검출 수단 및 터치 제어기 중 적어도 하나를 포함할 수 있다. 터치 검출 수단은 사용자의 터치 위치를 검출함과 동시에 터치 동작에 의한 신호를 검출하고 그 터치 정보를 터치 제어기에 송신한다. 터치 제어기는 터치 검출 수단으로부터 터치 정보를 수신하고 해당하는 정보를 접촉점 좌표로 변환하여 프로세서(140)에 송신함과 동시에 프로세서(140)로부터의 명령어를 수신하여 실행한다.
기타 입력 장치(112)는 전술한 장애물 검출 방법과 관련한 사용자 입력을 인식하기 위한 물리적인 키보드, 기능키(예를 들면 볼륨 버튼, 스위치 버튼 등), 트랙 볼, 마우스, 조이 스틱 등 중 적어도 하나를 포함하지만, 이에 제한되지는 않는다. 이러한 입력 장치(112)는 터치 패널(111)의 보조적 수단으로서 사용될 수도 있다.
실시예에서, 프로세서(120)는 장애물 검출 장치(100)의 제어 센터이며 각종 인터페이스 및/또는 회로를 경유하여 각 부분에 접속되며, 메모리(130) 내에 저장된 소프트웨어 프로그램 및/또는 모듈을 작동시킴과 동시에, 메모리(130) 내에 저장된 데이터를 호출하는 것을 통하여 장애물 검출 장치(100)의 각종 기능 실행 및 데이터 처리가 가능하도록 도와줄 수 있다.
여기서, 소프트웨어 프로그램은 도 1 내지 도 8에서 설명한 장애물 검출 방법을 코드화한 결과를 지칭하며, 모듈은 전술한 장애물 검출 장치(100)의 각 구성을 지칭할 수도 있다.
예를 들면, 프로세서(120)는 카메라를 통해 촬영된 영상내에서 포착된 적어도 하나의 물체 움직임을 검출하는 단계, 검출된 적어도 하나의 물체 움직임을 군집화하고, 상기 군집화된 군집 영역을 적어도 하나의 블럭안에 배치되도록 하위 블럭화하는 단계, 물체 추적을 이용하여 하위 블럭내에서 각 블럭 중심에 기초한 적어도 하나의 물체 움직임 궤적을 추출하고, 차량 이동 예측선을 이용하여 상기 하위 블럭내에서 적어도 하나의 물체 움직임 예측선을 추출하는 단계 및 추출된 상기 적어도 하나의 물체 움직임 궤적과 상기 적어도 하나의 물체 움직임 예측선 간의 궤적 일치 여부를 판단하여 허상 물체, 정지 물체 및 이동 물체 중 어느 하나로 인식하는 단계를 포함한 장애물 검출 방법을 알고리즘화하여 처리할 수 있다.
또는, 프로세서(120)는 카메라를 통해 촬영된 영상내에서 포착된 적어도 하나의 물체 움직임을 검출하는 단계, 검출된 적어도 하나의 물체 움직임을 군집화하고, 상기 군집화된 물체를 적어도 하나의 블럭안에 배치되도록 하위 블럭화하는 단계, 물체 추적을 이용하여 상기 하위 블럭내에서 각 블럭 중심에 기초한 적어도 하나의 물체 움직임 궤적을 추출하고, 차량 이동 예측선을 이용하여 상기 하위 블럭 내에서 각 블럭의 물체 움직임 예측선을 추출하는 단계, 및 하위 블럭화된 적어도 하나의 블럭을 주기마다 추적하여 갱신한 후, 각 블럭의 중심으로부터 상기 추출된 각 블럭의 물체 움직임 예측선과의 최단 거리 합이 한계치를 초과하였는지의 여부를 판단하는 단계를 포함한 장애물 검출 방법을 알고리즘화하여 처리할 수 있다.
여기서, 하위 블럭은 상기 군집화된 물체를 나뉘어 배치된 다수의 블럭으로 이루어진 블럭을 의미하며, 하위 블럭화하는 단계는 군집화된 물체가 없는 경우, 해당하는 블럭을 상기 하위 블럭에서 제외시킬 수 있다.
또한, 전술한 물체 추적은 색상, 특징점, 움직임 벡터 등을 이용한 매 프레임 마다 하위 블럭(104)내의 각 블럭 중심의 위치 이동을 추적하는 기법을 의미하며, 차량 이동 예측선은 조향 정보, 차량 정보 및 시점 변환(Bird's eye view)를 통해 추출될 수 있다.
일 실시예에서, 프로세서(120)는 추출된 적어도 하나의 물체 움직임과 적어도 하나의 물체 움직임 예측선을 비교하여 부분적으로 궤적 일치할 경우, 정지 장애물로 인식하고, 추출된 적어도 하나의 물체 움직임과 적어도 하나의 물체 움직임 예측선을 비교하여 모두 궤적 불일치할 경우, 이동 장애물로 인식하며, 적어도 하나의 물체 움직임과 상기 적어도 하나의 물체 움직임 예측선을 비교하여 모두 궤적 일치할 경우, 허상 장애물로 인식하여 처리할 수 있다.
또는, 프로세서(120)는 전술한 한계치의 이하이면, 각 블럭의 물체 움직임 예측선이 상기 적어도 하나의 물체 움직임 궤적과 일치하는 것으로 간주하여 허상 장애물로 인식하고, 전술한 한계치의 이상이면, 각 블럭의 물체 움직임 예측선이 상기 적어도 하나의 물체 움직임 궤적과 불일치하는 것으로 간주하여 이동 장애물로 인식하며, 일부가 전술한 한계치의 이상이고, 나머지 일부가 한계치 이하이면, 각 블럭의 물체 움직임 예측선이 상기 적어도 하나의 물체 움직임 궤적과 부분적 일치하는 것으로 간주하여 정지 장애물로 인식하여 처리할 수 있다.
이와 같이, 본 실시예는 물체 움직임 궤적과 예측선의 비교를 통해 허상 물체, 정지 물체 및 이동 물체 중 어느 하나로 인식함으로써, 모든 이동 장애물 뿐만 아니라, 정지 장애물 및/또는 허상 장애물까지도 모두 확인함으로써, 장애물의 정확한 식별에 보탬이 될 수 있다.
이와 같은 처리를 위하여, 프로세서(120)는 선택적으로 1 개 또는 복수 개의 코어를 포함할 수 있다. 예를 들면, 전술한 장애물 검출 방법을 처리하는 동작 프로세서와 모듈 프로세서를 집적하여 구성할 수 있으며, 하기의 메모리(130)를 내장하여 처리할 수도 있다.
동작 프로세서는 주로 OS, 사용자 인터페이스 및 전술한 장애물 검출 방법 등을 처리하고, 모듈 프로세서는 카메라 연동을 처리할 수 있다. 그러나, 모듈 프로세서는 프로세서(130)에 집적되지 않을 수도 있다.
일 실시예에서, 메모리(140)는 전술한 프로세서(120)에 의해 처리된 데이터를 저장하고, 각 처리에 필요한 백그라운드 데이터, 예컨대 차량 정보 및 조향 정보 등을 저장할 수 있다.
이러한 메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장 매체일 수 있다.
그러나, 이에 한정되지 않는다. 예를 들면, 메모리(130)는 전술한 장애물 처리 방법을 컴퓨터 판독 가능한 기록매체일 수 있다.
일 실시예에서, 표시부(140)는 사용자가 입력한 정보나 사용자에게 제공된 정보, 및 장애물 검출 장치(100)의 각 종 그래픽 사용자 인터페이스(GUI)를 표시하기 위한 것이며, 이러한 그래픽 사용자 인터페이스는 도형, 텍스트, 아이콘, 비디오 및 그들의 임의의 조합으로 구성될 수 있다.
이러한 표시부(150)는 표시 패널(141)을 포함할 수 있다. 표시 패널(141)은 LCD(Liquid Crystal Display)및 OLED(Organic Light-Emitting Diode)중 적어도 하나일 수 있다.
여기서, 터치 패널(111)과 표시 패널(141)은 2 개의 독립적인 부품으로서 출력 및 입력 기능이 실현되도록 구성될 수 있지만, 하나로 구성하여 입력 및 출력 기능을 실현시킬 수도 있다.
마지막으로, 출력부(150)는 전술한 프로세서(120)에 의해 처리된 결과, 예컨대 장애물을 인식하여 경보를 발령하거나 인식 상태를 음성 형태로 알려주고, 이를 출력시키기 위하여 오디오 회로(151) 및 스피커(152)를 포함할 수 있다.
그러나, 이에 한정되지 않으며, 출력부(150)는 경보 음성 내용을 문자 형태로 출력시킬 수도 있다.
이상에서와 같이, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.
1. 후방 카메라 기반 자율 주차/SPAS 등에 적용 가능하다. 예컨대 후방 카메라의 응용으로, 장애물 경보 또는 자율 주차 중 장애물 인식에 적용 할 수 있다.
2. 전방 카메라 기반 cut-in 인식 등에 적용 가능하다. 예컨대 주행 차량의 좌우에서 추월 후 cut-in 되는 순간(아직 차량의 전체 형태가 파악되지 않아 형상 인식 기반 차량 인식 기능을 수행할 수 없을 때)을 장애물 인식에 적용 할 수 있다.
100 : 장애물 검출 장치 110 : 입력부
120 : 프로세서 130 : 메모리
140 : 표시부 150 : 출력부

Claims (17)

  1. 장애물 검출 장치에서 수행되는 장애물 검출 방법으로서,
    카메라를 통해 촬영된 영상내에서 포착된 적어도 하나의 물체 움직임을 검출하는 단계;
    상기 검출된 적어도 하나의 물체 움직임을 군집화하고, 상기 군집화된 군집 영역을 적어도 하나의 블럭안에 배치되도록 하위 블럭화하는 단계;
    물체 추적을 이용하여 상기 하위 블럭내에서 각 블럭 중심에 기초한 적어도 하나의 물체 움직임 궤적을 추출하고, 차량 이동 예측선을 이용하여 상기 하위 블럭내에서 적어도 하나의 물체 움직임 예측선을 추출하는 단계; 및
    추출된 상기 적어도 하나의 물체 움직임 궤적과 상기 적어도 하나의 물체 움직임 예측선 간의 궤적 일치 여부를 판단하여 허상 물체, 정지 물체 및 이동 물체 중 어느 하나로 인식하는 단계
    를 포함하는 장애물 검출 방법.
  2. 제1항에 있어서,
    상기 하위 블럭화하는 단계는,
    상기 군집화된 물체가 없는 경우, 해당하는 블럭은 상기 하위 블럭에서 제외시키는 장애물 검출 방법.
  3. 제2항에 있어서,
    상기 하위 블럭은 상기 군집화된 물체를 나뉘어 배치된 다수의 블럭으로 이루어진 장애물 검출 방법.
  4. 제1항에 있어서,
    상기 물체 추적은, 상기 각 블럭 중심의 위치 이동을 추적하는 것인 장애물 검출 방법.
  5. 제1항에 있어서,
    상기 차량 이동 예측선은, 조향 정보, 차량 정보 및 시점 변환(Bird's eye view) 중 적어도 하나로부터 추출되는 장애물 검출 방법.
  6. 제2항에 있어서,
    상기 판단하는 단계는,
    상기 적어도 하나의 물체 움직임과 상기 적어도 하나의 물체 움직임 예측선을 비교하여 부분적으로 궤적 일치할 경우, 상기 정지 장애물로 인식하는 장애물 검출 방법.
  7. 제2항에 있어서,
    상기 판단하는 단계는,
    상기 적어도 하나의 물체 움직임과 상기 적어도 하나의 물체 움직임 예측선을 비교하여 모두 궤적 불일치할 경우, 상기 이동 장애물로 인식하는 장애물 검출 방법.
  8. 제2항에 있어서,
    상기 판단하는 단계는,
    상기 적어도 하나의 물체 움직임과 상기 적어도 하나의 물체 움직임 예측선을 비교하여 모두 궤적 일치할 경우, 상기 허상 장애물로 인식하는 장애물 검출 방법.
  9. 장애물 검출 장치에서 수행되는 장애물 검출 방법으로서,
    카메라를 통해 촬영된 영상내에서 포착된 적어도 하나의 물체 움직임을 검출하는 단계;
    상기 검출된 적어도 하나의 물체 움직임을 군집화하고, 상기 군집화된 물체를 적어도 하나의 블럭안에 배치되도록 하위 블럭화하는 단계;
    물체 추적을 이용하여 상기 하위 블럭내에서 각 블럭 중심에 기초한 적어도 하나의 물체 움직임 궤적을 추출하고, 차량 이동 예측선을 이용하여 상기 하위 블럭 내에서 각 블럭의 물체 움직임 예측선을 추출하는 단계; 및
    상기 하위 블럭화된 적어도 하나의 블럭을 주기마다 추적하여 갱신한 후, 각 블럭의 중심으로부터 상기 추출된 각 블럭의 물체 움직임 예측선과의 최단 거리 합이 한계치를 초과하였는지의 여부를 판단하는 단계
    를 포함하는 장애물 검출 방법.
  10. 제9항에 있어서,
    상기 하위 블럭화하는 단계는,
    상기 군집화된 물체가 없는 경우, 해당하는 블럭은 상기 하위 블럭에서 제외시키는 장애물 검출 방법.
  11. 제9항에 있어서,
    상기 물체 추적은, 상기 각 블럭 중심의 위치 이동을 추적하는 것인 장애물 검출 방법.
  12. 제10항에 있어서,
    상기 하위 블럭은 상기 군집화된 물체를 나뉘어 배치된 다수의 블럭으로 이루어진 장애물 검출 방법.
  13. 제9항에 있어서,
    상기 차량 이동 예측선은, 조향 정보, 차량 정보 및 시점 변환(Bird's eye view) 중 적어도 하나로부터 추출되는 장애물 검출 방법.
  14. 제10항에 있어서,
    상기 판단하는 단계는,
    상기 한계치의 이하이면, 상기 각 블럭의 물체 움직임 예측선이 상기 적어도 하나의 물체 움직임 궤적과 일치하는 것으로 간주하여 허상 장애물로 인식하는 장애물 검출 방법.
  15. 제10항에 있어서,
    상기 판단하는 단계는,
    상기 한계치의 이상이면, 상기 각 블럭의 물체 움직임 예측선이 상기 적어도 하나의 물체 움직임 궤적과 불일치하는 것으로 간주하여 이동 장애물로 인식하는 장애물 검출 방법.
  16. 제10항에 있어서,
    상기 판단하는 단계는,
    일부가 상기 한계치의 이상이고, 나머지 일부가 한계치 이하이면, 상기 각 블럭의 물체 움직임 예측선이 상기 적어도 하나의 물체 움직임 궤적과 부분적 일치하는 것으로 간주하여 정지 장애물로 인식하는 장애물 검출 방법.
  17. 메모리; 및 프로세서를 포함하고,
    상기 프로세서는, 청구항 1 내지 16 중 어느 한 항에 따른 장애물 검출 방법을 처리하고,
    상기 메모리는, 상기 프로세서에 의해 처리된 데이터를 저장하는 장애물 검출 장치.
KR1020150139226A 2015-10-02 2015-10-02 장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체 KR102267256B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150139226A KR102267256B1 (ko) 2015-10-02 2015-10-02 장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150139226A KR102267256B1 (ko) 2015-10-02 2015-10-02 장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20170039965A true KR20170039965A (ko) 2017-04-12
KR102267256B1 KR102267256B1 (ko) 2021-06-22

Family

ID=58580502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150139226A KR102267256B1 (ko) 2015-10-02 2015-10-02 장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체

Country Status (1)

Country Link
KR (1) KR102267256B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112158197A (zh) * 2020-08-21 2021-01-01 恒大新能源汽车投资控股集团有限公司 一种车辆盲区障碍物规避方法、装置及系统
US11756314B2 (en) 2020-03-05 2023-09-12 Samsung Electronics Co., Ltd. Processors configured to detect objects and methods of detecting objects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004110394A (ja) * 2002-09-18 2004-04-08 Toyota Motor Corp 車両用障害物検知装置
JP2011095914A (ja) * 2009-10-28 2011-05-12 Nec Corp 車両追跡システム、車両追跡方法および車両追跡プログラム
KR20150054021A (ko) * 2013-11-08 2015-05-20 현대오트론 주식회사 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법
KR20150092534A (ko) * 2014-02-05 2015-08-13 현대자동차주식회사 영상데이터에서의 장애물 검출 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004110394A (ja) * 2002-09-18 2004-04-08 Toyota Motor Corp 車両用障害物検知装置
JP2011095914A (ja) * 2009-10-28 2011-05-12 Nec Corp 車両追跡システム、車両追跡方法および車両追跡プログラム
KR20150054021A (ko) * 2013-11-08 2015-05-20 현대오트론 주식회사 헤드업 디스플레이를 이용한 물체 표시 장치 및 방법
KR20150092534A (ko) * 2014-02-05 2015-08-13 현대자동차주식회사 영상데이터에서의 장애물 검출 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11756314B2 (en) 2020-03-05 2023-09-12 Samsung Electronics Co., Ltd. Processors configured to detect objects and methods of detecting objects
CN112158197A (zh) * 2020-08-21 2021-01-01 恒大新能源汽车投资控股集团有限公司 一种车辆盲区障碍物规避方法、装置及系统
WO2022037603A1 (zh) * 2020-08-21 2022-02-24 恒大新能源汽车投资控股集团有限公司 一种车辆盲区障碍物规避方法、装置及系统

Also Published As

Publication number Publication date
KR102267256B1 (ko) 2021-06-22

Similar Documents

Publication Publication Date Title
US9076257B2 (en) Rendering augmented reality based on foreground object
US8005266B2 (en) Vehicle surroundings monitoring apparatus
KR102485480B1 (ko) 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법
KR101982298B1 (ko) 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치
JP2016148962A (ja) 物体検知装置
JP6834704B2 (ja) 走行支援装置及びコンピュータプログラム
KR20180042254A (ko) 오브젝트 추적을 위한 시스템들 및 방법들
JP2013225295A5 (ko)
US9950667B2 (en) Vehicle system for detecting object and operation method thereof
CN111292531B (zh) 交通信号灯的跟踪方法、装置、设备及存储介质
WO2014033936A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20150067680A (ko) 차량용 제스처 인식 시스템 및 그 방법
JP4687506B2 (ja) オブジェクトサイズ算出装置、それを用いたオブジェクト検索装置およびオブジェクト分類装置ならびにオブジェクトサイズ算出方法
JP7185419B2 (ja) 車両のための、対象物を分類するための方法および装置
He et al. Fast online multi-pedestrian tracking via integrating motion model and deep appearance model
KR20170039965A (ko) 장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체
KR20090093119A (ko) 움직이는 객체 추적을 위한 다중 정보의 융합 방법
CN111959526A (zh) 基于无人车的控制方法、装置、无人车和电子设备
US11062462B2 (en) Detection of visual tracker divergence
US20150178577A1 (en) Image processing apparatus, and image processing method
Rathnayake et al. Lane detection and prediction under hazy situations for autonomous vehicle navigation
KR101965875B1 (ko) 영상 분석을 기반으로 한 길 안내 방법 및 장치
CN113344975A (zh) 一种多目标跟踪方法、装置及电子设备
KR20190056458A (ko) 객체 추적에서 겹침 객체 분리 방법
Tan et al. Sequence-tracker: Multiple object tracking with sequence features in severe occlusion scene

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant