KR102434416B1

KR102434416B1 - 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 방법 및 그 장치

Info

Publication number: KR102434416B1
Application number: KR1020170120575A
Authority: KR
Inventors: 김광용; 백장운; 정윤수; 최윤원
Original assignee: 한국전자통신연구원
Priority date: 2017-01-10
Filing date: 2017-09-19
Publication date: 2022-08-22
Also published as: KR20180082299A

Abstract

본 발명은 스테레오 카메라를 통해 깊이 영상을 추출하고, 깊이 영상을 기반으로 점유 격자 맵을 형성하고, 자유 공간을 예측한 후 membership 값을 계산하여 전경과 배경을 분리하는 방법에 있어서, 상기 예측된 자유 공간경계 영역에 존재하는 전경 객체의 문턱치를 설정하는 단계; 상기 membership 값 계산 중 membership 값이 상기 전경 객체의 문턱치에 도달하였는지를 판단하는 단계; 상기 판단단계에서 상기 계산 중인 membership 값이 전경 객체의 문턱치에 도달하면, 상기 membership 값의 계산을 종료하는 단계; 및 상기 계산된 membership 값을 통해 전경과 배경을 분리하는 단계;를 포함하는 것을 특징으로 한다.

Description

스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 방법 및 그 장치{METHOD AND APPARATUS FOR ACCELERATING FOREGROUND AND BACKGROUND SEPARATION IN OBJECT DETECTION USING STEREO CAMERA}

본 발명은 스테레오 카메라를 이용한 객체 검출방법의 전경과 배경을 분류하는 방법과 관련하여, 사전 확률 분포에 따른 점유 격자 정보를 이용한 배경과 객체 분류 가속화 방법 및 그 장치에 관한 것이다.

종래의 스테레오 카메라를 이용하여 객체 검출을 하기 위하여 전경 및 배경 분류 기법은 다양하게 제시되고 있으며 그중 다임러에서 제안한 “stile world”방식이 많이 활용되고 있다.

해당 기술은 자유 공간(free space) 영역 확인 후, 자유 공간 경계영역에서의 깊이 값(거리 값)과 유사한 영역을 전경으로 분류하는 방법을 채택하고 있다.

조금 더 자세히는, 유사한 영역 분류를 위하여 멥버쉽(membership) 값을 할당을 하고, 이를 자유 공간 경계영역에서 수직 방향으로 해당 값을 누적하는 방식을 취하고, 누적값 최초 최대치 값을 전경 경계치 영역으로 설정한다.

하지만, 종래 기술은 해당 영역의 누적 값을 수직 방향으로 모두 계산을 수행을 해야 하기 때문에 전경/배경 영역 검출 계산량이 증가하는 단점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은 도로영역 검출 기법에서의 전경과 배경 분류 시, 사전의 확률 분포에 따른 점유 격자 정보를 이용하여 배경과 객체를 가속화하여 분리하는 방법 및 그 장치를 제공하는 것이다.

이러한, 본 발명은 점유 격자 맵을 구성하는 사전 확률 정보 값을 기반으로 자유 공간 경계영역에서 객체의 문턱치를 설정하고, 그 값을 객채의 height 분류 단계에서 객체의 문턱치를 기반의 membership 값을 산출하여 배경과 객체를 분리하기 위한 membership 계산량을 감소시킬 수 있는 방법 및 장치를 제공하는 것이다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 방법은 스테레오 카메라를 통해 깊이 영상을 추출하고, 깊이 영상을 기반으로 점유 격자 맵을 형성하고, 자유 공간(free space)을 예측한 후 membership 값을 계산하여 전경과 배경을 분리하는 방법에 있어서, 상기 예측된 자유 공간 경계 영역에 존재하는 전경 객체의 문턱치를 설정하는 단계; 상기 membership 값 계산 중 membership 값이 상기 전경 객체의 문턱치에 도달하였는지를 판단하는 단계; 상기 판단단계에서 상기 계산 중인 membership 값이 전경 객체의 문턱치에 도달하면, 상기 membership 값의 계산을 종료하는 단계; 및 상기 계산된 membership 값을 통해 전경과 배경을 분리하는 단계;를 포함하여 이루어진 것을 특징으로 한다.

그리고, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 장치는 영상을 촬영하는 한 쌍의 스테레오 카메라; 상기 스테레오 카메라를 통해 촬영된 영상에서 깊이 영상을 추출하고, 깊이 영상을 기반으로 점유 격자 맵을 형성하는 점유 격자 맵 형성부; 상기 형성된 점유 격자 맵에서 free space를 예측하는 자유 공간 처리부; 상기 membership 값 계산 종료를 위한, 상기 전경 객체의 문턱치를 설정하는 문턱값 설정부; 상기 영상의 membership 값을 계산하는 membership 계산부; 상기 membership 값 계산 중 membership 값이 상기 전경 객체의 문턱치에 도달하였는지를 판단하는 membership 판단부; 상기 판단단계에서 상기 계산 중인 membership 값이 전경 객체의 문턱치에 도달하면, 상기 membership 값의 계산을 종료시키는 membership 제어부; 및 상기 계산된 membership 값을 통해 전경과 배경을 분리하는 분리부;를 포함한다.

본 발명의 실시예에 따르면, 사전의 확률 분포에 따른 점유 격자 정보를 이용하여 배경과 객체 분리하는 방법을 가속화함으로써, 불필요한 계산량을 줄이고 상대적으로 계산량이 많은 전경/배경 분리 방법을 최적화하는 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 종래 기술에 따른 스틱셀 객체 검출 장치를 설명하기 위한 기능블럭도.
도 2는 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 장치를 설명하기 위한 기능블럭도.
도 3은 본 발명의 일실시예에 따른 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 방법을 나타내는 순서도.
도 4는 본 발명의 일 실시예에서 전경 객체의 문턱치 설정을 설명하기 위한 순서도.
도 5는 본 발명의 일 실시예에서 전경 객체의 문턱치 설정을 설명하기 위한 다른 순서도.
도 6은 본 발명의 일 실시예의 단계별 과정을 설명하기 위한 참고도.
도 7은 본 발명의 일 실시예에서 전경 객체의 문턱치를 설정하기 위한 과정을 설명하기 위한 참고도이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

본 발명의 실시예를 설명하기에 앞서, 당업자의 이해를 돕기 위하여, 종래 방식에 따른 객체 검출 방식에 대하여 서술하고, 본 발명의 실시예에 따른 점유 격자 정보의 사전 확률 분포값을 이용한 배경/객체 분리 방법 가속화에 대하여 서술하기로 한다.

종래의 차량용 ADAS 시스템에서의 스테레오 카메라를 이용한 객체 검출 방식은 다양하게 제시되고 있으며, 그 중에서도 다임러사에서 제시하고 있는 스틱셀 방식의 객체 검출 방식이 많이 사용되고 있다.

이하, 하기에서는 종래 스틱셀 방식의 객체 검출 방식에 대하여 도 1을 참조하여 설명하기로 한다.

도 1은 종래 기술에 따른 스테레오 카메라 기반의 객체 검출 방법에 대한 간략한 흐름도이다. 도 1에 도시한 바와 같이, 종래 스틱셀 형태의 객체 검출 방법은 스테레오 카메라를 이용하여 깊이 영상이 추출되면, 점유 격자 맵 형성부(10)가 추출된 깊이 영상을 기반으로 확률 기반의 점유 격자 맵을 생성한다.

여기서 점유 격자란, 월드좌표계상의 지표면을 그리드 형태의 셀로 구분하고, 각각의 셀에서 격자 우도 값(Lij)을 계산한 것이다. 따라서, 점유 격자는 깊이 영상으로 표현되는 측정값에 해당하는 격자를 격차 우도(occupancy likelihood)로 정의한 것이다.

이를 수학식으로 표현하면 아래 [수학식 1]과 같다.

여기서, D(i,j)는 점유 격자 값이고, i는 측면 구성이고, j는 깊이 구성이며, Lij는 격차 우도값이며, mk는 측정값이고, u,v는 이미지 좌표이며, d는 disparity 값을 의미하고, T는 행렬에서 행과 열의 위치를 변경하기 위한 값을 의미한다.

한편, 상기 점유 격자를 표현하는 방식은 가로, 세로 간격을 표현하는 방식에 따라 Cartesian Occupancy Grid, Column/Disparity Occupancy Grid 및 Polar Occupancy Grid 방식이 있다. 그 중에서 [수학식 2]와 같이 표현될 수 있는 Polar occupancy grid가 차량용 객체 추출 방식에서 가장 많이 활용된다. 이를 통해 도 6의 (a)에서와 같이 간단하게 모든 열을 검색할 수 있다.

여기서, D(i,j)는 점유 격자 값이고, Lij는 격차 우도값이며, Gmk는 multi-variate Gaussian 함수, u,v는 이미지 좌표이며, d는 disparity 값을 의미하고, T는 행렬에서 행과 열의 위치를 변경하기 위한 값을 의미한다.

그리고 다중 변수 가우시안(Gm)은 보편적으로 손실 없는 다중 변수 가우사안이 가능하도록, 확율 값으로 [수학식 3]과 같이 나타낼 수 있다.

여기서, Gmk는 multi-variate Gaussian 함수를 의미하고,

는 실제 측정된 공분산 행열을 의미며,

는 에러를 포함하는 확율 값이다.

이후, Free space 처리부(20)는 자유 공간(free space) 예측 과정을 수행하게 된다(S12). 즉, ADAS(Advanced Driver Assistance System) 분야에서의 자유 공간은 충돌없이 차량이 이동할 수 있는 월드 좌표계상의 영역을 의미하며, 종래의 방식은 상기에서 정의한 점유 격자 맵 상에서 도 6의 (b)에 도시된 바와 같이 자유 공간을 예측한다.

자유 공간을 예측하는 방법을 보다 세부적으로 설명하면, 차량 전면방향으로 최초 점유된 셀을 추출하는 방식이며, 방법론적으로는 dynamic programming을 활용하여 자유 공간 영역을 추출한다. 본 발명에 적용된 dynamic programming은 미국 등록특허 08548229호(Method for detecting objects)에 공지되어 있음에 따라 그 자세한 설명은 생략하기로 한다.

다음으로, membership cost 계산부(30)는 도 6의 (c)에 도시된 바와 같이 예측한 자유 공간 경계 영역에 접한 객체의 height 분류를 수행한다. 여기서 height 분류란, 전경과 배경을 분류하기 위하여 자유 공간 경계영역을 기준으로 객체의 upper boundary를 찾아 내는 방법을 의미한다.

종래의 height 분류 방법은 자유 영역 예측 결과에 따라 해당 깊이 영상에서의 자유 영역 경계영역을 기준으로 객체의 upper boundary 값을 추출한다. 세부적으로는 자유 영역 경계영역을 기준으로 객체 경계영역에서의 깊이 정보와 비슷한 객체에 voting을 하는 방식이다.

즉, 객체에 해당하는 기대치(임계) 값으로부터 특정 최대 거리를 벗어나지 않는다면 플러스(+)로, 반대의 경우엔 마이너스(-) 값으로 표현되는 membership 값으로 설정을 하는데, 이를 수식으로 표현하면 아래 [수학식 4]와 같다.

여기서, M(u,f)는 자유 공간 영역(v)에서부터 객체의 경계영역(vb)까지의 membership 누적 합계 값이다.

이후, 상기 객체는 상기에서 계산된 자유 공간 경계영역에서부터 누적한 membership 값을 객체 값으로 계산을 하는데, 이를 수식으로 표현하면 아래 [수학식 5]와 같다. 이와 같은 방법으로, 도 6의 (d)에 도시된 바와 같이 자유 공간 영역을 획득할 수 있다.

여기서, C(u,v)는 cost 값이고, M(u,f)는 자유 공간 경계영역(vt)에서부터 객체의 경계영역(vb)까지의 membership 누적 합계 값이며, M(u,b)는 객체의 경계 영역(0)부터 종단(v-1)까지의 membership 누적 합계 값이다.

이어서, 전경/배경 분리부(40)는 변환된 cost 값을 기준으로 다시 dynamic programing을 활용하여 객체의 높이에 대한 경계치를 분류한다.

마지막으로, Stixel 생성부(500)는 분류된 객체를 다임러에서 적용하고 있는 등간격의 스택 형태의 픽셀로 표현하여 "stixel"을 정의하여 객체를 표현한다.

이러한, 종래 다임러 방식의 객체 추출 방식은 객체 추출 결과물이 정확하고 추출 결과물을 정형화된 형태로 표현할 수 있기 때문에, 스테레오 카메라를 이용한 ADAS 전방 감시 분야에 많이 활용되는 장점이 있으나, dynamic programming 및 membership 값 계산 등 많은 계산량이 필요한 단점이 있다.

본 발명의 실시예에 따르면 전술한 종래 기술의 방식의 성능을 향상시키기 위한 것으로서, 사전 확률 정보를 활용하여 membership 값을 효율적으로 계산하는 방식을 제안한다.

종래의 점유 격자 맵을 생성하는 단계에서, 점유 격자에 할당되는 값은 깊이 영상에서의 픽셀들이 월드좌표로 변환 후, 해당 격자에 포함될 가능성(likelihood) 값들에 대한 누적값이 할당된다.

이는, 좌표계 특성상 깊이 영상에서 비슷한 월드좌표로 매핑되는 픽셀 값들은 동일한 점유 격자 범위 내에 누적되기 때문에, 점유 격자 값은 각 객체에 대한 높이 정보에 대한 단서를 제공한다.

따라서, 본 발명에서는 점유 격자 맵을 구성하는 사전 확률 정보 값을 기반으로 자유 공간 경계영역에서 객체의 문턱치를 설정하고, 그 값을 객채의 height 분류 단계에서 문턱치 기반의 membership 값을 설정하는 방법을 제안한다.

도 2는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 장치를 설명하기 위한 기능 블럭도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 장치는 스테레오 카메라(100), 점유 격자 맵 형성부(200), 자유 공간 처리부(300), 문턱값 설정부(400), membership 계산부(500), membership 판단부(600), membership 제어부(700) 및 분리부(800)를 포함하여 이루어진다.

한 쌍의 스테레오 카메라(100)는 도 7 (a)에 도시된 바와 같이, 동일한 지점의 영상을 한 쌍의 카메라를 통해 촬영하고 해당 영상 정보를 획득하는 역할을 한다. 이러한 한 쌍의 스테레오 카메라(100)는 차량의 전방 양측에 장착되는 것이 바람직하다.

점유 격자 맵 형성부(200)는 스테레오 카메라(100)를 통해 촬영된 영상에서 깊이 영상을 추출하고, 그 깊이 영상을 기반으로 점유 격자 맵을 형성하는 역할을 한다. 이때, 점유 격자 맵 형성부(200)는 도 7의 (b)에 도시된 바와 같이, 객체들을 점유 격자 맵내 포인터(p)로 표현할 수 있다.

그리고 자유 공간 처리부(300)는 형성된 점유 격자 맵에서 자유 공간을 예측하는 역할을 한다. 여기서, 자유 공간 처리부(300)가 점유 격자 맵에서 자유 공간을 예측하는 방법은 공지된 기술임에 따라 그 상세한 설명을 생략하기로 한다.

문턱값 설정부(400)는 전경(o) 및 배경(b)을 분류하기 위해 전격 객체 이후의 membership 값이 계산되지 않도록, 전경 객체의 문턱치를 설정하는 역할을 한다. 이와 같이, 본 발명의 일 실시예에 채용된 문턱값 설정부(400)를 통해 전경 객체의 문턱치가 설정됨으로써, 추후 membership 계산부(500)가 연산하게 되는 membership 값의 처리량이 감소하게 되고, 이를 통해 영상에서 전경과 배경의 분류를 가속화할 수 있는 장점이 있다.

또한 membership 계산부(500)는 상기 영상의 membership 값을 계산하는 역할을 한다.

그리고 membership 판단부(600)는 상기 membership 계산부(500)를 통해 상기 membership 값 계산 중 membership 값이 상기 전경 객체의 문턱치에 도달하였는지를 판단한다.

membership 제어부(700)는 상기 membership 판단부(600)에서 상기 계산 중인 membership 값이 전경 객체의 문턱치에 도달함이 판단되면, 상기 membership 값의 계산을 종료시키는 역할을 한다.

본 발명의 일 실시예에 따르면, 하기의 [수학식 6]에서와 같이 membership 계산부, membership 판단부 및 membership 제어부를 통해, 전경 객체의 문턱치 이후의 membership 값을 계산하지 않음에 따라 전경 및 배경의 분류를 가속화할 수 있다.

여기서, C(u,v)는 cost 맵 값이고, M(u,f)는 자유 공간 영역(v)에서부터 객체의 경계영역(vb)까지의 membership 누적값이며, M(u,b)는 객체의 문턱치 값(Th(u, dh))부터 종단(v-1)까지의 membership 누적값이다.

분리부(800)는 상기 계산된 membership 값을 통해 전경과 배경을 분리하는 역할을 한다. 즉, 분리부(800)는 종래 전경/배경 분리부(40)와 동일한 역할을 하는 것으로, 변환된 membership cost 값을 기준으로 다시 dynamic programing을 활용하여 객체의 높이에 대한 경계치를 분류하고, Stixel 생성부(500)를 통해 분류된 객체를 다임러에서 적용하고 있는 등 간격의 스택 형태의 픽셀로 표현하여 "stixel"을 정의하여 객체를 표현한다.

따라서, 본 발명의 일 실시예에 따르면, 사전의 확률 분포에 따른 점유 격자 정보를 이용하여 배경과 객체 분리하는 방법을 가속화함으로써, 불필요한 계산량을 줄이고 상대적으로 계산량이 많은 전경/배경 분리 방법을 최적화하는 효과가 있다.

한편, 본 발명의 일 실시예에 채용된 문턱값 설정부(400)는 사전 확률 정보 값을 기반으로 전경 객체의 문턱치를 설정하는 것이 바람직하다. 이와 같이, 문턱값 설정부(400)가 사전 확율 정보 값을 기반으로 전경 객체의 문턱치를 설정함으로써, membership 값이 전경 객체의 문턱치에 도달하였는지를 판단할 때 오류를 감소시켜 줄 수 있는 장점이 있다.

그리고 본 발명의 일 실시예에 채용된 문턱값 설정부(400)는, 점유 격자 맵 형성부(200)를 통해 상기 생성된 확률 기반의 점유 격자 맵의 격자 별로 존재하는 객체 포인터(p)의 개수를 검출하고, 상기 객체 포인터(p)의 개수로부터 객체의 높이를 산출하며, 산출된 객체의 높이를 상기 전경 객체의 문턱치로 설정한다.

이와 같이, 본 발명의 일 실시예에 채용된 문턱값 설정부(400)에 따르면, 확률 기반의 점유 격자 맵의 격자 별로 존재하는 객체 포인터의 개수를 검출함으로써, 손쉽게 객체의 높이를 검출할 수 있고, 이를 통해 전경 객체의 문턱치를 설정할 수 있는 장점이 있다.

한편, 상기 문턱값 설정부(400)는, [수학식 7]에서와 같이, 상기 설정되는 전경 객체의 문턱치에 추가 보정값이 더 구비되는 것이 바람직하다.

여기서, Th(u, db)는 문턱치 값이고, 해당 경계 영역에서의 값을

값으로 정규화하는 과정이며, Tho는 여분의 추가 보정값이다. 하지만, 본 발명에 따른 문턱치 설정은 아래 식에 국한하지는 않는다.

이와 같이, 본 발명의 일 실시예에 채용된 문턱값 설정부(400)에 따르면, 설정된 전경 객체의 문턱치에 추가 보정값이 더 포함됨으로써, 전경 객체와 배경 분리시의 오류를 감소시킬 수 있는 장점이 있다.

한편, 본 발명의 일 실시예에 채용된 상기 문턱값 설정부(400)는, 상기 자유 공간 경계 영역에서부터 전경 객체 membership 값 계산 시, 깊이 정보가 비슷한 객체에 voting 하여 전경 객체 값에 대한 프로파일링을 수행하고, 상기 프로파일링된 전경 객체 값에서 최대값을 검출하여 전경 객체의 문턱치로 판단한다.

도 3은 본 발명의 일 실시예에 따른 전경/배경 분류 가속 방법을 나타내는 순서도이다. 도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 전경/배경 분류 가속 방법은 단일의 프로세서에 의해 수행되는 것이 바람직하다.

먼저, 상기 예측된 자유 공간 경계 영역에 존재하는 전경 객체의 문턱치를 설정한다(S100). 본 발명의 일 실시예에 서는 사전 확률 정보 값을 기반으로 전경 객체의 문턱치를 설정하는 것이 바람직하다.

이어서, 상기 membership 값 계산 중 membership 값이 상기 전경 객체의 문턱치에 도달하였는지를 판단한다(S200).

상기 판단단계(S200)에서 상기 계산 중인 membership 값이 전경 객체의 문턱치에 도달하면(YES), 상기 membership 값의 계산을 종료한다(S300).

이후, 상기 계산된 membership 값을 통해 전경과 배경을 분리한다(S400).

이와 같이, 본 발명의 일 실시예에 따르면, 전경 객체 Membership 값 계산시 전경 객체의 문턱치를 설정함으로써, 문턱치 이후의 전경과 구별되는 membership 값을 계산이 수행되지 않게 되어 전경/배경 분류를 가속화 할 수 있는 장점이 있다.

본 발명의 일 실시예에 채용된 자유 공간 경계치 영역에서의 문턱치를 설정(S100)하는 단계는 상기의 [수학식 7]을 통해 설정되는 것이 바람직하다.

이하, 하기에서는 본 발명의 일 실시예에 채용된 이어서, 상기 membership 값 계산 중 membership 값이 상기 전경 객체의 문턱치에 도달하였는지를 판단하는 단계(S200)는 종래의 membership 값을 계산하여 수직방향으로 누적하되, 상기에서 설정된 문턱치 값에 도달하는지의 여부를 판단하여 수직 방향으로의 누적을 중단함으로써 membership 계산량을 줄인다. 즉, 상기의 [수학식 6]은 문턱치 기반의 membership 값을 변환하는 식의 일실시예를 보여 준다.

이와 같이, 본 발명의 일 실시예에 따르면, membership에 대한 cost 맵 값을 산출함에 있어, 객체의 문턱치 값 이후부터의 M(u, b)에 대해서는 membership에 대한 cost 맵 값을 계산하지 않음에 따라, 불필요한 계산량을 줄이고 상대적으로 계산량이 많은 전경/배경 분리 방법을 최적화하는 효과가 있다.

도 4는 본 발명의 일 실시예에서 전경 객체의 문턱치 설정을 설명하기 위한 순서도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 채용된 상기 전경 객체의 문턱치(임계값)를 설정하는 단계는, 상기 생성된 확률 기반의 점유 격자 맵의 격자 별로 존재하는 객체 포인터의 개수를 검출한다(S110).

이어서, 상기 객체 포인터의 개수로부터 객체의 높이를 산출하고(S120), 산출된 객체의 높이를 전경 객체의 문턱치로 설정한다(S130).

이와 같이, 본 발명의 일 실시예에 따르면, 확률 기반의 점유 격자 맵의 격자 별로 존재하는 객체 포인터의 개수를 검출함으로써, 손쉽게 객체의 높이를 검출할 수 있고, 이를 통해 전경 객체의 문턱치를 설정할 수 있는 장점이 있다.

본 발명의 일 실시예에 채용된 membership 값 계산 중 membership 값이 상기 전경 객체의 문턱치에 도달하였는지를 판단하는 단계(S200)는, 상기 자유 공간 경계 영역에서부터 객체를 membership 값 계산 시, 깊이 정보가 비슷한 객체에 voting 하여 전경 객체 값에 대한 프로파일링을 수행한다(S101).

이어서, 상기 프로파일링된 전경 객체 값에서 최대값을 검출하여 전경 객체의 문턱치로 판단한다(S220).

이상에서 본 발명에 대하여 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다.

그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

스테레오 카메라를 통해 깊이 영상을 추출하고, 깊이 영상을 기반으로 점유 격자 맵을 형성하고, 자유 공간(free space)을 예측한 후 membership 값을 계산하여 전경과 배경을 분리하는 방법에 있어서,
상기 예측된 자유 공간경계 영역에 존재하는 전경 객체의 문턱치를 설정하는 단계;
상기 membership 값 계산 중 membership 값이 상기 전경 객체의 문턱치에 도달하였는지를 판단하는 단계;
상기 판단단계에서 상기 계산 중인 membership 값이 전경 객체의 문턱치에 도달하면, 상기 membership 값의 계산을 종료하는 단계; 및
상기 계산된 membership 값을 통해 전경과 배경을 분리하는 단계;를 포함하되,
상기 전경 객체의 문턱치(임계값)를 설정하는 단계는,
사전 확률 정보 값을 기반으로 전경 객체의 문턱치를 설정하고,
상기 깊이 영상을 기반으로 형성된 점유 격자 맵의 격자 별로 존재하는 객체 포인터의 개수를 검출하는 단계;
상기 객체 포인터의 개수로부터 객체의 높이를 산출하는 단계; 및
산출된 객체의 높이를 전경 객체의 문턱치로 설정하는 단계;를 포함하는
스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 방법.
삭제
삭제
제 1항에 있어서,
상기 전경 객체의 문턱치(임계값)를 설정하는 단계는,
상기 설정되는 전경 객체의 문턱치에 추가 보정값이 더 구비되는 것인 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 방법.
제 1항에 있어서,
상기 자유 공간경계 영역에서부터 객체에 대한 membership 값 계산 시, 깊이 정보가 비슷한 객체에 voting 하여 전경 객체 값에 대한 프로파일링을 수행하는 단계; 및
상기 프로파일링된 전경 객체 값에서 최대값을 검출하여 전경 객체의 문턱치로 판단하는 단계;를 포함하는 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 방법.
제 5항에 있어서,
프로파일링된 전경 객체 값이 기설정된 구간 내에 재증가하는 구간이 있는지를 판단하는 단계; 및
상기 판단단계에서 전경 객체 값이 재증가하는 구간이 존재하지 않으면, 검출된 전경 객체 값을 최대값으로 선정하여 전경 객체의 문턱치로 설정하는 단계;를 더 포함하는 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 방법.
스테레오 카메라를 통해 깊이 영상을 추출하고, 깊이 영상을 기반으로 점유 격자 맵을 형성하고, 자유 공간(free space)을 예측한 후 membership 값을 계산하여 전경과 배경을 분리하는 장치에 있어서,
영상을 촬영하는 한 쌍의 스테레오 카메라;
상기 스테레오 카메라를 통해 촬영된 영상에서 깊이 영상을 추출하고, 깊이 영상을 기반으로 점유 격자 맵을 형성하는 점유 격자 맵 형성부;
상기 형성된 점유 격자 맵에서 자유 공간을 예측하는 자유 공간 처리부;
membership 값 계산 종료를 위한, 상기 전경 객체의 문턱치를 설정하는 문턱값 설정부;
상기 영상의 membership 값을 계산하는 membership 계산부;
상기 membership 값 계산 중 membership 값이 전경 객체의 문턱치에 도달하였는지를 판단하는 membership 판단부;
상기 membership 판단부에서 상기 계산 중인 membership 값이 전경 객체의 문턱치에 도달하면, 상기 membership 값의 계산을 종료시키는 membership 제어부; 및
상기 계산된 membership 값을 통해 전경과 배경을 분리하는 분리부;를 포함하되,
상기 문턱값 설정부는,
사전 확률 정보 값을 기반으로 전경 객체의 문턱치를 설정하고,
상기 깊이 영상을 기반으로 형성된 점유 격자 맵의 격자 별로 존재하는 객체 포인터의 개수를 검출하고, 상기 객체 포인터의 개수로부터 객체의 높이를 산출하며, 산출된 객체의 높이를 상기 전경 객체의 문턱치로 설정하는 것인
스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 장치.
삭제
삭제
제 7항에 있어서,
상기 문턱값 설정부는,
상기 설정되는 전경 객체의 문턱치에 추가 보정값이 더 구비되는 것인 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 장치.
제 7항에 있어서,
상기 문턱값 설정부는,
상기 자유 공간경계 영역에서부터 전경 객체 membership 값 계산 시, 깊이 정보가 비슷한 객체에 voting 하여 전경 객체 값에 대한 프로파일링을 수행하고, 상기 프로파일링된 전경 객체 값에서 최대값을 검출하여 전경 객체의 문턱치로 판단하는 것인 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 장치.
제 11항에 있어서,
상기 문턱값 설정부는,
프로파일링된 전경 객체 값이 기설정된 구간 내에 재증가하는 구간이 있는지를 판단하고,
상기 판단 결과, 전경 객체 값이 재증가하는 구간이 존재하지 않으면, 검출된 전경 객체 값을 최대값으로 선정하여 전경 객체의 문턱치로 설정하는 것을 특징으로 하는 스테레오 카메라를 이용한 객체 검출방법에서의 전경/배경 분류 가속 장치.