KR101092250B1 - 레인지 영상으로부터의 객체 분할 장치 및 방법 - Google Patents

Abstract

레인지 영상으로부터의 객체 분할 장치 및 방법이 개시된다. 관심영역 추출부는 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 각각의 화소에 대해 각각의 화소 및 이웃하는 화소들에 부여된 깊이값의 변화량을 산출하고, 변화량이 사전에 설정된 기준값보다 작은 화소들을 추출하여 관심영역으로 결정한다. 영역 분할부는 관심영역을 반복적으로 분할하여 복수의 서브영역을 생성하되, 생성된 서브영역에 대한 추가적인 분할의 여부는 생성된 서브영역을 구성하는 화소들의 깊이값의 분산을 기초로 결정된다. 영역 병합부는 서브영역들 각각에 대하여 서브영역에 인접한 서브영역 및 인접한 서브영역과의 병합에 의해 생성된 병합영역에 인접한 서브영역을 서브영역들을 구성하는 화소들의 깊이값의 분산을 기준으로 반복적으로 병합하여 병합영역을 갱신하고, 반복적인 병합에 의해 최종적으로 생성된 병합영역으로부터 객체영역을 검출한다. 본 발명에 따르면, 실외 환경에서 촬영된 레인지 영상으로부터 원하는 객체를 자동으로 정확하게 검출함으로써, 실제 건설 현장과 같은 실외에서의 작업 환경을 자동화시킬 수 있다.

Description

레인지 영상으로부터의 객체 분할 장치 및 방법{Apparatus and method for object segmentation from range image}

본 발명은 레인지 영상으로부터의 객체 분할 장치 및 방법에 관한 것으로, 보다 상세하게는, 3차원 좌표 정보를 나타내는 레인지 영상에 포함된 객체를 배경으로부터 분리함으로써 객체를 인식하는 장치 및 방법에 관한 것이다.

영상으로부터 3차원 모델을 분할하는 기술은 사진 측량법에서는 잘 수립되어 있으며, 예전부터 사용되어 오던 분야에 해당하지만, 컴퓨터 비전(vision)에서는 새로운 분야에 해당한다. 또한 사진 측량법에서는 영상으로부터 상세하고 정확한 3차원 모델을 만들어내는 것이 중요시되지만, 컴퓨터 비전의 분야에서는 분할의 자동화 및 영상 데이터로부터 상응하는 정보를 추출할 수 있는 지능적인 시스템의 구현에 중점을 두고 연구가 이루어졌다.

영상으로부터의 객체 분할에 대한 연구들은 주로 실내에서 촬영된 영상에 대해 이루어졌다. 반면, 실외에서 촬영된 영상, 특히 3차원 좌표 정보를 나타내는 레인지 영상(range image)은 관측 노이즈(observation noise)를 많이 포함하고 있기 때문에 영상 처리에 있어서 크게 고려되지 않았다.

실외에서 촬영된 영상으로부터 객체를 분할하는 것은 영상 처리에 있어서 중요한 연구 주제이다. 예를 들면, 이동 로봇 자동 내비게이션(mobile robot autonomous navigation)에 있어서 적절하게 분할된 이미지 데이터는 방해물과 지면을 감지하고 객체를 인식할 수 있도록 한다.

또한, 건축공학과 관계된 건설 현장에서, 불확실성을 가진 처리 능력은 공사 자동화와 관련하여 중대한 이슈가 된다. 건설 현장에는 인부들, 장비 및 자재들과 같은 미지의 혹은 부정형의 객체들이 있으며, 이들은 현장 주변에 무작위로 흩어져 있을 수 있다. 건설 현장은 끊임없이 변화하는 다양한 활동들이 동시에 진행되는 동적인 특성을 가진다. 나아가 건설 현장에서는 다양한 중장비의 동작에 의해 수많은 사고들이 직접적 또는 간접적으로 발생한다. 그러므로 이러한 중장비의 동작에 적용될 수 있는 효과적인 3차원 모델링 과정이 요구된다. 이는 건설 자동화의 전제조건이기도 하다.

기하학적 정보를 제공하는 그래픽의 3차원 모델은 특정한 건설 작업의 자동화를 가능하게 할 수 있다. 특히 중장비의 자동화된 제어는 객체를 들어올리고 배치하며 이동시키는 데 있어서의 개선된 안전성과 효율성을 위한 방해물 회피를 포함하는 많은 건설 응용분야에서 도움이 될 수 있다. 이때 3차원 모델은 건설 현장의 복잡하고 동적인 작업 환경을 효과적으로 실시간으로 표현할 것이 요구된다.

앞에서 설명한 것과 같은 유형의 건설 응용분야에 대해서는 정확한 3차원 정보의 빠른 획득과 높은 빈도의 갱신이 중요하다. 최근 개발된 플래시 레이다(flash LADAR)는 3차원 정보를 실시간으로 획득할 수 있고, 주/야간 모두 동작 가능하다. 결과적으로, 플래시 레이다는 중장비의 자동화된 동작을 가능하게 하고, 기계 시각(machine-vision) 응용에 사용될 수 있다.

레이저 스캐닝 기술은 3차원 정보로부터 생성된 3차원 모델을 주목하게 하였으나, 3차원 점 구름(point cloud)에서 객체를 자동으로 인식하고 유용한 3차원 모델을 만들어내도록 하기 위해 더 많은 연구가 필요하다. 특히 어질러진 건설 현장에서의 실시간 객체 인식 및 모델링은 도전적인 문제이며, 후처리 과정의 계산 복잡성 때문에 이 분야에 대해서는 거의 연구가 이루어지지 않았다. 전체 장면에서의 객체 인식에 관한 많은 알고리즘이 있으나, 모든 응용분야와 모든 종류의 객체에 대한 보편적인 객체 인식 알고리즘은 아직 존재하지 않는다. 따라서 건설 현장과 같은 실외 환경에서 촬영된 영상으로부터 자동으로 객체를 인식할 수 있는 방법이 개발될 필요성이 있다.

본 발명이 이루고자 하는 기술적 과제는, 3차원 좌표 정보를 나타내는 레인지 영상으로부터 객체를 정확하게 검출할 수 있는 객체 분할 장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 3차원 좌표 정보를 나타내는 레인지 영상으로부터 객체를 정확하게 검출할 수 있는 객체 분할 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 레인지 영상으로부터의 객체 분할 장치는, 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 각각의 화소에 대해 상기 각각의 화소 및 이웃하는 화소들에 부여된 깊이값의 변화량을 산출하고, 상기 변화량이 사전에 설정된 기준값보다 작은 화소들을 추출하여 관심영역으로 결정하는 관심영역 추출부; 상기 관심영역을 반복적으로 분할하여 복수의 서브영역을 생성하되, 생성된 서브영역에 대한 추가적인 분할의 여부는 상기 생성된 서브영역을 구성하는 화소들의 깊이값의 분산을 기초로 결정되는 영역 분할부; 및 상기 서브영역들 각각에 대하여 상기 서브영역에 인접한 서브영역 및 상기 인접한 서브영역과의 병합에 의해 생성된 병합영역에 인접한 서브영역을 상기 서브영역들을 구성하는 화소들의 깊이값의 분산을 기준으로 반복적으로 병합하여 상기 병합영역을 갱신하고, 상기 반복적인 병합에 의해 최종적으로 생성된 병합영역으로부터 객체영역을 검출하는 영역 병합부;를 구비한다.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 레인지 영상으로부터의 객체 분할 방법은, 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 각각의 화소에 대해 상기 각각의 화소 및 이웃하는 화소들에 부여된 깊이값의 변화량을 산출하고, 상기 변화량이 사전에 설정된 기준값보다 작은 화소들을 추출하여 관심영역으로 결정하는 관심영역 추출단계; 상기 관심영역을 반복적으로 분할하여 복수의 서브영역을 생성하되, 생성된 서브영역에 대한 추가적인 분할의 여부는 상기 생성된 서브영역을 구성하는 화소들의 깊이값의 분산을 기초로 결정되는 영역 분할단계; 및 상기 서브영역들 각각에 대하여 상기 서브영역에 인접한 서브영역 및 상기 인접한 서브영역과의 병합에 의해 생성된 병합영역에 인접한 서브영역을 상기 서브영역들을 구성하는 화소들의 깊이값의 분산을 기준으로 반복적으로 병합하여 상기 병합영역을 갱신하고, 상기 반복적인 병합에 의해 최종적으로 생성된 병합영역으로부터 객체영역을 검출하는 영역 병합단계;를 갖는다.

본 발명에 따른 레인지 영상으로부터의 객체 분할 장치 및 방법에 의하면, 실외 환경에서 촬영된 레인지 영상으로부터 원하는 객체를 자동으로 정확하게 검출함으로써, 실제 건설 현장과 같은 실외에서의 작업 환경을 자동화시킬 수 있다. 또한 깊이값의 변화량에 의해 노이즈가 많이 포함된 영역을 객체 검출 이전에 제거하고 관심영역만을 추출함으로써, 객체 검출의 정확성을 높일 수 있다. 나아가 레인지 영상의 각 화소에 대해 결정되는 표면 법선 벡터를 영역 분할 및 병합에 사용함으로써 서로 비슷한 깊이값을 가지는 영역들을 정확하게 구분할 수 있다.

도 1은 본 발명에 따른 레인지 영상으로부터의 객체 분할 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 SR-3000의 실제 형상을 나타낸 도면,
도 3은 플래시 레이다에 의해 실내 및 실외 환경에서 각각 생성된 레인지 영상을 나타낸 도면,
도 4는 도 3의 (d)에 나타난 레인지 영상에 대해 지역 변화량 및 지시함수의 값을 산출한 결과를 나타낸 도면,
도 5는 견본 영상으로부터 노이즈 영역을 추출하는 일 예를 나타낸 도면,
도 6은 실외 환경에서 촬영된 레인지 영상으로부터 기존의 방법 및 본 발명에 의해 추출된 관심영역을 비교하여 나타낸 도면,
도 7은 실외 환경에서 촬영된 다른 레인지 영상으로부터 기존의 방법 및 본 발명에 의해 추출된 관심영역을 비교하여 나타낸 도면,
도 8은 레인지 영상으로부터 추출된 관심영역에 대해 양방향 필터를 적용한 결과를 나타낸 도면,
도 9는 도 8의 (c)에 나타난 영상에 가우시안 블러와 양방향 필터를 각각 적용하였을 때 얻어진 결과를 나타낸 도면,
도 10은 사분트리 기법에 의해 분할된 영상 및 분할에 의해 생성된 서브영역들을 각 노드로 하는 트리 구조를 도시한 도면,
도 11은 관심영역이 분할되어 생성된 서브영역들로 이루어진 사분영역의 일 예를 도시한 도면,
도 12는 두 가지 형태의 영역에 대해 결정된 중심을 도시한 도면,
도 13은 중심의 개수를 감소시키는 영역 병합의 일 예를 도시한 도면,
도 14는 본 발명의 영역 병합 기법을 레인지 영상에 직접 적용한 결과를 나타낸 도면,
도 15는 사분영역에 본 발명에 따른 영역 병합 기법이 적용된 결과를 나타낸 도면,
도 16은 본 발명에 따른 레인지 영상으로부터의 객체 분할 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 17은 실험에 사용된 레인지 영상에 해당하는 장면을 나타낸 도면,
도 18은 도 17의 레인지 영상에 대해 세 가지 조건 하에서 본 발명을 적용하여 얻어진 결과를 나타낸 도면,
도 19는 본 발명에 의해 검출된 객체영역을 나타낸 도면,
도 20은 하나의 객체가 놓여진 실외 환경을 촬영한 레인지 영상에 본 발명을 적용한 결과를 나타낸 도면, 그리고,
도 21은 복수의 객체가 놓여진 실외 환경을 촬영한 레인지 영상에 본 발명을 적용한 결과를 나타낸 도면이다.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 레인지 영상으로부터의 객체 분할 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

도 1은 본 발명에 따른 레인지 영상으로부터의 객체 분할 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 객체 분할 장치는 관심영역 추출부(110), 스무딩부(120), 영역 분할부(130) 및 영역 병합부(140)를 구비한다.

관심영역 추출부(110)는 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 각각의 화소에 대해 각각의 화소 및 이웃하는 화소들에 부여된 깊이값의 변화량을 산출하고, 변화량이 사전에 설정된 기준값보다 작은 화소들을 추출하여 관심영역으로 결정한다.

본 발명에서 객체 분할을 위해 사용되는 레인지 영상은 특히 플래시 레이다(Laser Detection and Ranging : LADAR)에 의해 생성된 레인지 영상이 될 수 있다. 플래시 레이다는 최근 개발된 3차원 레인지 센서로서, 변조된 광원에 의해 전체 장면을 비추어 레인지 영상을 생성한다. 이미징 센서의 각 셀은 변조된 광신호의 진행시간(time-of-flight) 및 그에 따라 감지된 객체의 깊이 정보를 결정할 수 있다. 플래시 레이다는 스캐닝 장치를 필요로 하지 않으며, 높은 프레임율(frame rate)로 고밀도의 데이터 점들을 제공할 수 있다. 각각의 데이터 점은 깊이 정보를 나타낸다. 따라서 플래시 레이다는 이동하는 플랫폼(platform) 상에서 3차원 맵을 생성하기에 이상적이다. 이하에서는 레인지 영상이 플래시 레이다에 의해 생성된 영상인 경우를 대표적인 실시예로 하여 상세하게 설명한다. 그러나 레인지 영상은 이에 한정되지 않으며, 다른 3차원 이미징 센서에 의해 생성되고 깊이 정보를 포함하는 영상은 모두 본 발명의 레인지 영상에 해당될 수 있다.

대표적인 플래시 레이다 장치로는 SwissRanger사의 SR-3000이 있다. 도 2는 SR-3000의 실제 형상을 나타낸 도면이다. 도 2의 SR-3000은 47.5×39.6(도)의 시계를 가진다. 광원은 진폭 변조되며, 20MHz 변조에 대해 측정 가능한 거리(non-ambiguity range)는 7.5미터이다. 이러한 SR-3000은 능동 비전 센서로서, 기존의 스테레오비전 시스템에 비해 특색없는 환경에서도 매우 잘 동작한다는 명백한 장점을 가지고 있으나, 실외 환경에서 사용될 경우에는 실내 환경에 비해 많은 제한 요소들 때문에 많은 에러가 발생하며, 이러한 에러는 영상 생성의 양상에 크게 영향을 미친다.

도 3은 플래시 레이다에 의해 실내 및 실외 환경에서 각각 생성된 레인지 영상을 나타낸 도면이다. 도 3의 (a)는 플래시 레이다가 촬영한 실제 실내 환경이고, 도 3의 (b)는 SR-3000의 시계 내에 위치하는 모든 객체에 대해 얻어진 레인지 데이터를 나타낸다. 도 3의 (a) 및 (b)를 참조하면, 특징적인 객체가 존재하지 않는 벽과 같은 영역 및 사람이 위치하는 영역의 레인지 데이터는 전혀 손실되지 않고 얻어진 것을 확인할 수 있다. 한편, 도 3의 (c)는 플래시 레이다가 촬영한 실제 건설 현장이고, 도 3의 (d)는 SR-3000에 의해 생성된 레인지 영상이다. 도 3의 (d)의 레인지 영상에는 플래시 레이다로부터의 거리가 색상으로 표현되어 있다. 도 3의 (d)를 참조하면, 객체는 플래시 레이다로부터 약 4.5미터 떨어진 지점에 위치하며, 측정 가능한 거리는 약 7미터임을 알 수 있다. 또한 객체의 표면이 손상되어 있고, 객체의 에지 역시 구분할 수 없는 형태이다. 이러한 노이즈는 객체 모델링을 어렵게 만든다.

따라서 도 3의 (d)에서 나타난 바와 같이 측정 가능한 거리를 벗어난 영역에 해당하는 배경 부분은 많은 노이즈가 포함되어 있고 실질적으로 검출해야 하는 객체가 존재하지 않으므로 객체 분할에 있어서 불필요한 영역에 해당하는 것으로 간주된다. 관심영역 추출부(110)는 이와 같이 불필요한 배경영역을 제외하고 레인지 영상으로부터 객체를 포함하는 관심영역만을 추출하게 된다. 관심영역에는 객체 외에도 레인지 영상을 생성한 플래시 레이다로부터의 거리가 객체와 동일한 것으로 판단되는 지면(ground)이 포함될 수 있다.

배경영역은 관심영역에 비해 많은 노이즈를 포함하고 있으므로, 관심영역의 추출 과정은 일정 정도 이상의 노이즈가 포함된 영역을 검출하는 과정과 병행될 수 있다. 영상의 노이즈와 관련하여 기존에 사용되는 필터들은 영상의 화소에 직접 작용하여 영상을 흐려지게 하고(blurring) 노이즈를 제거한다.

선형 공간 필터(linear spatial filter)는 필터 마스크에 이웃한 화소들의 평균을 산출하므로 평균 필터라고도 한다. 이러한 평균 필터에 의해 영상의 지역적 변화가 스무딩된다. 필터링 과정의 결과, 영상을 구성하는 화소들의 그레이 레벨의 급격한 변동이 감소되지만, 에지 역시 흐려진다는 부작용이 있다. 선형 공간 필터 중에서 산술 및 기하 평균 필터는 가우시안 노이즈와 같은 랜덤 노이즈 또는 균일한 노이즈에 적합하다. 또한 반조화(contraharmonic) 필터는 임펄스 노이즈에 적합하지만 적절한 부호 선택을 위해 노이즈의 명암에 관한 정보를 사전에 알고 있어야 한다는 단점이 있다.

순서 통계치(order-statistics) 필터는 필터에 의해 둘러싸인 영역에 포함된 픽셀들의 순서에 기초하여 응답이 결정되는 비선형 공간 필터(nonlinear spatial filter)이다. 가장 잘 알려진 비선형 공간 필터는 미디언(median) 필터로서, 화소의 값을 해당 화소의 주변에 위치하는 화소들의 그레이 레벨 값 중에서 중간값으로 대체한다. 미디언 필터는 랜덤 노이즈에 대해 우수한 성능을 보이며, 비슷한 크기의 선형 공간 필터에 비해 블러링 효과가 적게 나타난다. 미디언 필터가 정렬된 값들의 중간값을 선택하는 반면, 최대값 및 최소값 필터는 각각 최대값 및 최소값을 선택하는 필터이다. 최대값 필터는 영상의 가장 밝은 점들을 찾는데 유용하며, 페퍼 노이즈(pepper noise)를 제거한다. 반대로 최소값 필터는 영상의 가장 어두운 점들을 찾는데 유용하며, 솔트 노이즈(salt noise)를 제거한다.

이상에서 설명한 노이즈 관련 필터들은 영상의 화소에 직접 작용하여 노이즈를 제거하기 위한 필터들이다. 그러나 본 발명의 관심영역 추출부(110)는 레인지 영상의 불필요한 배경영역에 존재하는 노이즈를 제거하는 것이 아닌 배경영역을 분리해 내는 구성요소이다. 따라서 관심영역 추출부(110)는 기존의 노이즈 제거 필터를 그대로 사용하지 않고, 이하에서 설명하는 새로운 비선형 필터(이하, '노이즈 검출 필터'라 한다)를 사용한다. 노이즈 검출 필터는 화소들을 정렬하고 그들의 최대값과 최소값 간의 차를 평가한다.

레인지 영상을 생성하는 플래시 레이다의 측정 가능한 거리보다 멀리 위치하는 배경영역은 랜덤 노이즈를 포함한다. 이러한 배경영역의 특성 때문에 레인지 영상으로부터 배경영역을 분리하기 위해 깊이값의 변화량 기반의 방법을 필요로 한다.

주어진 레인지 영상을

이라 한다. 화소 x=(x₁,x₂)가 배경영역에 속하는지 여부를 판별하기 위해 사용되는 사각 패치 W_r(x)를 다음의 수학식 1과 같이 정의한다. 사각 패치는 노이즈 검출 필터의 필터 마스크와 같은 역할을 수행한다.

여기서, r은 사각 패치의 크기를 나타내는 사전에 설정된 상수이고, z=(z₁,z₂)이다.

사각 패치 W_r(x)에 포함되는 화소들의 변화도는 다음의 수학식 2에 의해 정의되는 지역 변화량 M(x)를 기초로 결정된다.

즉, 지역 변화량은 사각 패치 내의 화소들의 깊이값 중에서 최대값과 최소값의 차에 해당한다.

레인지 영상의 각 화소에 대해 결정된 변화도는 해당 화소가 노이즈 영역, 즉 배경영역에 속하는지 아니면 관심영역에 속하는지를 결정하는데 사용된다. 기본적인 가정은 주변 화소들과의 사이에서 높은 변화도를 보이는 화소는 노이즈에 해당하며, 균일한 영역에 속하는 화소, 즉 변화도가 낮은 화소는 관심영역에 해당한다는 것이다. 특정 화소가 배경영역에 속하는지 관심영역에 속하는지 여부는 다음의 수학식 3에 의해 결정된다.

여기서, X_θ(x)는 화소 x가 속하는 영역을 결정하는 지시함수이고, θ는 화소 x의 지역 변화량에 대한 기준값이다.

수학식 3에 따르면, 지시함수 X_θ(x)의 값은 지역 변화량의 값이 기준값보다 작은 화소에 대하여는 1이고, 지역 변화량의 값이 기준값보다 큰 화소에 대하여는 0으로 결정된다. 즉, 지시함수의 값이 1인 화소들로 이루어진 영역이 변화도가 작은 관심영역이 되는 것이다.

이상에서 설명한 과정을 정리하면, 관심영역 추출부(110)는 레인지 영상을 구성하는 각각의 화소에 대해 필터 마스크인 사각 패치를 적용하여 지역 변화량을 산출한 후, 지역 변화량의 값에 따라 각각의 화소에 대해 구해진 지시함수의 값이 1인 화소들, 즉 지역 변화량의 값이 기준값보다 작은 화소들만을 추출하여 관심영역으로 결정한다.

도 4는 도 3의 (d)에 나타난 레인지 영상에 대해 지역 변화량 및 지시함수의 값을 산출한 결과를 나타낸 도면이다. 도 4의 (a)는 레인지 영상을 메쉬(mesh) 형태로 표현한 것이고, 도 4의 (b)는 각각의 화소에 대해 산출된 지역 변화량의 값을 색상으로 나타낸 것이다. 지역 변화량의 값을 산출할 때 사용된 사각 패치의 크기는 r=5이다. 도 4의 (b)에서 청색으로 표시된 영역은 지역 변화량의 값이 거의 0에 가까워서 변화도가 작은 화소들을 나타낸다. 또한 도 4의 (c)는 각각의 화소에 대해 얻어진 지시함수의 값을 나타낸 도면이다. 지시함수의 값을 산출할 때 기준값 θ=0.9로 설정되었다. 도 4의 (b)에서 나타낸 것과 같이 청색으로 표시된 영역은 지역 변화량의 값이 거의 0이므로 기준값보다 작은 값을 가진다. 따라서 해당 영역이 관심영역으로 추출되는 것이다.

사각 패치의 크기 r과 기준값 θ는 관심영역의 정확도에 영향을 미친다. 먼저 사각 패치의 크기의 경우, r의 값이 작아지면 작은 영역과 경계선에 대한 노이즈 검출 필터의 민감도가 높아진다. 따라서 객체에 해당하는 부분이 아닌 지면이나 배경영역이 관심영역에 포함되어 추출되기 쉽다. 또한 θ의 값이 작아지면 관심영역에 포함된 불균일한 영역이 쉽게 제거될 수 있으나, 추출된 관심영역 내부에 홀(hole)이 포함될 가능성도 있다. 반면, r과 θ의 값이 커지면 노이즈가 포함된 영역이 산발적으로 배경영역에 포함되기 쉬워진다. 이러한 문제는 솔트 및 페퍼 노이즈를 제거하는 미디언 필터에 의해 교정될 수 있다.

이와 같이 레인지 영상으로부터 관심영역을 추출하기 위해서는 사각 패치의 크기 r과 기준값 θ를 적절한 값으로 설정하는 것이 중요한데, r은 레인지 영상에서 특성화하고자 하는 특징의 크기와 관련하여 결정되고, θ는 관심영역 내에서 검출하고자 하는 객체의 돌출도(saliency)와 관련하여 결정된다.

이와 같이 레인지 영상을 구성하는 각각의 화소에 대한 변화도를 기초로 관심영역을 추출하는 노이즈 검출 필터는, 주어진 영상으로부터 노이즈 영역을 분할하는 영역 기반의 방법인 기존의 분할 및 병합(splitting and merging) 방법에 비해 영상에 포함된 원래의 객체 형태를 더 잘 보존할 수 있다는 장점을 가진다. 객체의 형태 보존은 앞에서 설명한 사각 패치의 크기에 영향을 받는다.

기존의 노이즈 검출 기법과 본 발명의 노이즈 검출 필터의 노이즈 영역 검출 성능을 비교하였다. 도 5는 견본 영상으로부터 노이즈 영역을 추출하는 일 예를 나타낸 도면이다. 도 5의 (a)에 나타난 영상은 NASA에 의해 촬영된 시그너스 루프(Cygnus Loop)의 엑스레이 영상이다. 이 영상에서 검출될 노이즈 영역은 중심에 밀집된 구름 형상을 둘러싼 링 부분이다. 이는 저밀도의 부분이 노이즈에 해당한다는 가정에 따른 것이다.

도 5의 (b)는 표준편차를 사용하여 검출한 노이즈 영역을 나타낸다. 도 5의 (b)에 나타난 노이즈 영역에서 중심의 구름을 둘러싼 점들이 무작위로 분포되어 있으며, 이는 중심의 구름에서 산출된 표준 편차보다 링 부분의 표준 편차가 크다는 것을 의미한다. 도 5의 (c)는 관심영역 추출부(110)에서 사용하는 노이즈 검출 필터에 의해 검출된 노이즈 영역을 나타낸다. 도 5의 (c)에 나타난 노이즈 영역은 (b)의 노이즈 영역에 비해 상세하고 정확함을 확인할 수 있다. 또한, 본 발명의 노이즈 검출 필터를 사용하는 경우에는 중심의 고밀도 구름 내부에 존재하는 미세한 노이즈 영역도 검출되었다. 결과적으로, 본 발명의 노이즈 검출 필터는 어떠한 유형의 노이즈에도 적용 가능하다.

도 6은 실외 환경에서 촬영된 레인지 영상으로부터 기존의 방법 및 본 발명에 의해 추출된 관심영역을 비교하여 나타낸 도면이다. 도 6의 (a)는 레인지 영상이 나타내는 영역의 실제 환경을 나타낸 것이고, 도 6의 (b)는 SR-3000에 의해 (a)의 장면을 촬영하여 얻어진 레인지 영상이다. SR-3000는 20MHz 변조로 설정되었고, 측정 가능한 거리는 약 7.5미터이다.

도 6의 (c)는 표준편차를 사용하는 분할 및 병합 기법에 의해 추출된 관심영역이고, 도 6의 (d)는 관심영역 추출부(110)의 노이즈 검출 필터에 의해 추출된 관심영역이다. 도 6의 (c)를 참조하면, 분할 및 병합 기법이 영역 기반의 기법이기 때문에 추출된 관심영역의 가장자리는 직선으로 이루어져 있다. 그러나 도 6의 (a)에 나타난 객체의 실제 형상과 비교하면, (c)의 관심영역은 신뢰도가 떨어진다.

반면, 도 6의 (d)를 참조하면, 객체는 측정 가능한 거리의 범위에 속하는 약 4미터의 거리에 위치하고 있으며, 관심영역의 형상 역시 도 6의 (a)에 나타난 객체의 실제 형상과 유사하게 나타난다. 따라서 본 발명은 기존의 기법에 비해 관심영역을 정확하고 상세하게 추출할 수 있다. 관심영역의 정확도는 결과적으로 객체 검출의 정확도와 연결되므로, 본 발명의 노이즈 검출 필터를 사용하면 객체 검출의 정확도를 높일 수 있게 된다.

도 7은 실외 환경에서 촬영된 다른 레인지 영상으로부터 기존의 방법 및 본 발명에 의해 추출된 관심영역을 비교하여 나타낸 도면이다. 도 7의 (a)는 도 6에 비해 많은 수의 객체가 포함되어 있는 보통의 건설 현장을 나타내며, 도 7의 (b)는 (a)의 건설 현장을 촬영하여 얻어진 레인지 영상이다. 레인지 영상에는 세 개의 두드러진 객체가 포함되어 있다.

도 7의 (c) 및 (d)는 각각 기존의 분할 및 병합 기법 및 본 발명에 의해 추출된 관심영역을 나타낸 도면이다. (b)의 레인지 영상에서 약 4~4.5 거리의 노란색 영역은 지면을 나타내는 영역으로, 객체가 위치하지 않아 객체 검출에 있어서는 불필요한 영역에 해당하지만 분리해 내는 것은 용이하지 않다. 지면 부분의 깊이값이 객체와 잘 구분되지 않기 때문이다. 따라서 도 7의 (c) 및 (d)를 참조하면, 세 개의 객체 부분과 함께 지면 부분도 관심영역에 포함되어 추출된다. 또한 기존의 기법으로 얻어진 (c)의 관심영역에 비해 본 발명에 의해 얻어진 (d)의 관심영역이 객체의 실제 형상에 가까운 형태를 가지고 있다. 또한 도 7의 (d)의 관심영역에 포함되어 함께 추출된 배경영역의 일부는 미디언 필터에 의한 노이즈 제거를 통해 제거할 수 있다.

영역 분할부(130)는 추출된 관심영역을 반복적으로 분할하여 복수의 서브영역을 생성하고, 영역 병합부(140)는 서브영역들 중 서로 이웃한 서브영역들을 반복적으로 병합하여 생성된 병합영역으로부터 객체영역을 검출한다. 이는 앞에서 설명한 기존의 방법인 분할 및 병합 기법에 대응하는 과정으로, 레인지 영상으로부터 추출된 관심영역을 일정한 기준에 따라 반복적으로 분할하여 생성된 복수의 서브영역들 중에서 서로 유사한 특성을 가지는 서브영역들을 병합함으로써 객체영역으로 결정하는 것이다. 관심영역의 분할 및 서브영역의 병합에 대하여는 뒤에서 상세하게 설명한다.

영역 기반의 분할기법에서는 레인지 영상의 품질, 특히 에지 부분을 향상시키기 위해 표면 법선이 사용되어 레인지 영상 분할을 용이하게 한다. 그러나 이와 같이 법선을 사용하는 방법은 레인지 데이터의 노이즈에 매우 민감하며, 에지를 향상시키는 반면 객체 표면을 손상시킬 수 있다. 따라서 스무딩을 통해 이러한 현상들을 제거할 필요성이 있다.

이를 위해 본 발명에 따른 객체 분할 장치에는 스무딩부(120)가 구비되며, 스무딩부(120)는 영역 분할부(130)에 의해 관심영역이 분할되기 전에 관심영역을 스무딩시켜 에지를 보존하는 한편 영역 분할시 우수한 결과를 얻을 수 있도록 한다.

스무딩 과정에서 에지를 보존하기 위해 보통 사용되는 방법으로는 중간값을 산출하는 알고리즘 또는 K-평균(K-means) 알고리즘이 있다. 또한 슬라이딩 윈도우 내의 평균값을 산출하면서 가중치를 부여하는 방법도 있다. 이하에서는 스무딩부(120)가 관심영역을 스무딩시키는 스무딩 필터로서 양방향 필터(bilateral filter)를 사용하는 경우를 대표적인 실시예로 하여 스무딩부(120)의 동작을 설명한다.

양방향 필터는 가우시안 블러(Gaussian blur)로부터 유래된 비선형 필터로서, 화소값 차의 함수로 화소의 가중치를 감소시키는 특징 보존 항목을 가진다. 영상의 한 지점에 대해 양방향 필터를 적용한 결과는 다음의 수학식 4에 의해 얻어진다.

여기서,

는 화소 u에 대해 양방향 필터를 적용한 결과값, N(u)는 화소 u에 이웃하는 화소들의 집합이고,

및

이다.

수학식 4에서, 근접 스무딩 필터(closeness smoothing filter)인 W_c(x)는 표준 가우시안 필터로서 파라미터 σ_c를 사용한다. 또한 특징 보존 가중치 함수인 W_s(x)는 유사도 가중치 함수라고도 하며, 화소 간의 깊이값의 큰 변화를 억제하는 파라미터인 σ_s를 사용한다. 실제 적용예에서 N(u)는 화소들의 집합 {q_i}로 정의되며, 각각의 화소는

의 조건을 만족한다.

스무딩부(120)는 위에서 설명한 것과 같은 양방향 필터를 사용하여 관심영역을 스무딩시키며, 양방향 필터는 가우시안 블러에 비해 높은 에지 보존 성능을 보인다. 도 8은 레인지 영상으로부터 추출된 관심영역에 대해 양방향 필터를 적용한 결과를 나타낸 도면이다. 도 8의 (a)에 나타난 레인지 영상에 대해 관심영역 추출부(110)의 노이즈 검출 필터를 적용하여 도 8의 (b)와 같은 관심영역이 추출된다.

도 8의 (c)는 (b)의 관심영역에 대한 메쉬 렌더링을 나타낸 것이다. 메쉬 렌더링에 의해 각각의 메쉬 라인과 면에는 색상 음영 특성이 나타난다. 도 8의 (d)는 (c)의 영상에 양방향 필터를 적용한 결과이다. 도 8의 (d)를 참조하면, 양방향 필터링에 의해 음영 부분이 감소하였음을 확인할 수 있다.도 8의 (e) 및 (f)는 각각 (c)와 (d)의 영상 일부를 확대하여 나타낸 도면으로, 표면 법선이 함께 표시되었다. 도 8의 (e)를 참조하면, (c)의 영상에 음영이 많이 나타난 것에 대응하여 표면 법선의 방향이 고르지 않고 방향 변화가 심한 것을 알 수 있다. 그러나 양방향 필터에 의한 스무딩 결과, 도 8의 (f)와 같이 표면 법선의 방향이 안정화되어 부드러운 표면이 얻어지게 된다.

양방향 필터가 가우시안 블러에 의해 높은 에지 보존 특성을 보인다는 것을 앞에서 언급한 바 있다. 도 9는 도 8의 (c)에 나타난 영상에 가우시안 블러와 양방향 필터를 각각 적용하였을 때 얻어진 결과를 나타낸 도면이다. 도 9의 (a)는 도 8의 (c)와 동일한 영상을 나타낸 것이고, 도 9의 (b)는 (a)의 일부를 확대하여 나타낸 영상이다. 도 9의 (c) 및 (d)는 (b)의 확대된 영역에 각각 가우시안 블러 및 양방향 필터를 적용한 결과를 나타낸 것으로, 가우시안 블러를 적용한 경우에 비해 양방향 필터를 적용하였을 때 원래의 영상에 존재하던 에지가 잘 보존되는 것을 확인할 수 있다.

영상 분할부(130)는 스무딩부(120)에 의해 양방향 필터가 적용된 관심영역을 반복적으로 분할하여 복수의 서브영역을 생성한다.

영상 분할부(130)는 관심영역을 분할할 때 현재 영상 분할 알고리즘에서 보편적으로 사용되고 있는 사분트리 기법을 사용할 수 있다. 사분트리 기법은 하나의 영역을 균일하게 분할하여 네 개의 서브영역을 생성하는 방법을 말한다. 도 10에는 사분트리 기법에 의해 분할된 영상 및 분할에 의해 생성된 서브영역들을 각 노드로 하는 트리 구조가 도시되어 있다. 도 10의 (b)에 도시된 트리 구조를 참조하면, 원본영상 R이 한 번 분할되면 네 개의 서브영역 R₁ 내지 R₄가 생성되며, 이 중에서 서브영역 R₄가 다시 분할되어 네 개의 서브영역 R₄₁ 내지 R₄₄가 생성된다. 원본영상으로부터 생성된 서브영역들을 원본영상에 나타내면, 도 10의 (a)와 같이 트리 구조의 리프 노드(leaf node)에 해당하는 서브영역들만 표시된다.

분할에 의해 생성된 서브영역을 다시 분할할 것인지 여부는 사전에 설정된 제약조건에 의해 결정된다. 즉, 분할의 대상이 되는 전체 영역(본 발명에서는 관심영역)을 R이라 하면, R은 그로부터 생성된 모든 서브영역 R_i가 제약조건 P를 P(R_i)=TRUE와 같이 만족시킬 때까지 반복적으로 분할된다. 만약 어떠한 서브영역에 대하여 P가 거짓(FALSE)인 경우에는 해당 서브영역은 다시 네 개의 서브영역으로 분할되는 것이다.

본 발명에서는 영역 분할부(130)에 의해 관심영역이 분할되어 생성된 서브영역들이 영역 병합부(140)에 의해 일정한 기준으로 서로 병합되어 객체영역 검출을 위한 병합영역으로 결정된다. 따라서 도 10의 (b)와 같은 트리 구조를 사용하게 되면 이웃하는 서브영역을 탐색하는 데 많은 비용이 소비된다.

따라서 영역 분할부(130)는 병합의 용이성을 위해 관심영역이 반복적으로 분할되어 생성된 복수의 서브영역들이 각 노드를 형성하는 트리 구조의 리프 노드에 해당하는 서브영역들로 이루어진 사분영역을 생성하고, 영역 병합부(140)는 생성된 사분영역을 이용하여 객체영역을 검출한다. 즉, 레인지 영상으로부터 추출된 관심영역이 분할되어 도 10의 (a)에 도시된 것과 같은 형태의 사분영역이 생성되는 것이다. 이러한 사분영역에 관한 정보는 경계선에 관한 정보와 함께 메모리에 저장된다.

영역 분할부(130)에 의해 관심영역이 분할될 때 관심영역 또는 특정 서브영역이 다시 분할되어야 하는지 여부를 결정하는 제약조건은 동질성(homogeneity)이다. 동질성 제약조건을 구성하는 하나의 요소는 관심영역 또는 서브영역을 구성하는 각 화소가 가지는 깊이값이다. 또한 앞에서 설명한 것과 같이 객체영역을 정확하게 검출하기 위해 각 화소에 대해 결정되는 표면 법선 벡터를 부가적인 제약조건으로서 사용할 수 있다.

먼저 관심영역을 구성하는 각 화소의 깊이값에 의해 결정되는 제약조건에 대하여 설명한다. 특정 영역이 동질성 제약조건을 만족하는지 여부를 판단함에 있어서 단순히 해당 영역을 구성하는 화소들의 깊이값의 평균만을 사용하는 것은 동질성에 대한 측정치가 될 수 없다. 따라서 동질성을 평가하기 위해서는 통계적인 측정값을 필요로 하며, 이때 분산(variance)이 편리하고 용이하게 사용될 수 있다. (x,y) 위치의 화소에 대한 깊이값을 f(x,y)라 하면, 하나의 서브영역 내에 포함되는 화소들에 대한 평균값은 다음 수학식 5와 같이 산출된다.

여기서, n은 서브영역에 포함된 화소들의 개수이다.

수학식 5의 평균값으로부터, 서브영역에 대한 깊이값의 분산은 다음의 수학식 6과 같이 표현된다.

다음으로 표면 법선 벡터에 의해 분할에 관한 제약조건을 결정할 수 있다. 평평한 표면에 대한 법선 벡터는 해당 표면에 수직한 벡터이고, 평평하지 않은 표면에 대한 법선 벡터는 법선 벡터가 결정되는 지점에서의 접평면에 수직한 벡터이다. 깊이값이 f(x,y)이며 (x,y) 지점에 위치하는 화소에 대해 결정되는 법선 벡터 N=(N_x,N_y,N_z)는 다음의 수학식 7에 의해 얻어진다.

영역 분할부(130)는 수학식 7의 법선 벡터의 각 방향으로의 성분 중에서 z-방향 성분만을 제약조건으로 사용한다. 영역 분할시 표면 법선 벡터를 사용하는 주된 목적은 유사한 거리에 위치하는 객체와 지면을 구분하기 위한 것이기 때문이다. 하나의 서브영역에 대한 법선 벡터의 z-방향 성분의 평균은 다음의 수학식 8에 의해 산출된다.

다음으로 해당 서브영역에 대한 z-방향 성분의 분산은 다음의 수학식 9와 같이 표현된다.

위 수학식 6 및 수학식 9에 나타난 깊이값 및 법선 벡터의 z-방향 성분의 분산은 사전에 설정된 두 개의 분할 기준값과 함께 제약조건을 구성하게 된다. 즉, 특정 서브영역의 분할에 대한 제약조건은 다음의 수학식 10과 같이 표현할 수 있다.

여기서, λ_M은 깊이값의 분산에 대해 설정되는 제1분할기준값이고, λ_N은 법선 벡터의 z-방향 성분의 분산에 대해 설정되는 제2분할기준값이다.

관심영역이 분할되어 생성된 서브영역들 중 수학식 10의 제약조건을 만족하지 못하는 서브영역은 다시 네 개의 하위 레벨의 서브영역으로 분할된다. 이러한 분할 과정은 모든 서브영역들이 수학식 10의 제약조건을 만족할 때까지 반복된다. 특정 서브영역이 수학식 10을 만족하는 경우, 해당 서브영역은 동질성을 가지고 있는 것으로 판단된다.

도 11은 관심영역이 분할되어 생성된 서브영역들로 이루어진 사분영역의 일 예를 도시한 도면이다. 도 11의 (a)는 레인지 영상으로부터 추출된 관심영역을 나타낸 도면이며, 관심영역은 양방향 필터에 의한 스무딩 후 사분트리 기법에 의해 반복적으로 분할된다. 도 11의 (b)를 참조하면, 수학식 10의 제약조건에 따라 각각의 서브영역에 대한 분할 정도가 달라지며, 트리 구조의 리프 노드에 해당하는 서브영역들만 사분영역을 구성하고 있다.

이와 같이 관심영역이 분할되어 생성된 사분영역에서는 하나의 서브영역이 곧 객체영역에 해당하지 않는다. 하나의 상위 서브영역으로부터 생성된 하위 서브영역과 다른 상위 서브영역으로부터 생성된 하위 서브영역이 동일한 객체의 부분에 해당하는 경우가 있기 때문이다. 즉, 영상 분할부(130)에 의한 분할 과정은 관심영역을 과분할시킨다. 따라서 사분영역을 구성하는 서브영역들을 적절하게 조합하여 객체영역을 검출할 필요성이 있다.

영역 병합부(140)는 사분영역을 구성하는 서브영역들 각각에 대하여 서브영역에 인접한 서브영역 및 인접한 서브영역과의 병합에 의해 생성된 병합영역에 인접한 서브영역을 서브영역들을 구성하는 화소들의 깊이값의 분산을 기준으로 반복적으로 병합하여 병합영역을 갱신하고, 반복적인 병합에 의해 최종적으로 생성된 병합영역으로부터 객체영역을 검출한다.

영역 성장법(region growing)은 화소들 또는 서브영역들을 사전에 설정된 기준에 의해 결합하여 큰 영역으로 만드는 것을 말한다. 기존의 영역 성장법 중에서 시드 영역 성장법(Seeded Region Growing : SRG)은 영상을 구성하는 화소들의 화소값을 기초로 시드(seed)가 되는 화소 내지 영역들을 선택한 후, 각각의 시드에 이웃한 화소들을 반복적으로 병합하는 알고리즘이다. 시드 영역을 반복적으로 성장시킬 때 각각의 반복시마다 성장하는 시드 영역의 가장자리를 구성하는 화소들이 평가된다. 시드 영역에 가장 유사한 주변 화소는 해당 시드 영역으로 추가된다. 이러한 SRG 알고리즘은 화소들의 처리 순서에 따라 영역 병합의 결과가 달라진다는 단점을 가진다.

이러한 SRG 알고리즘의 단점을 극복하기 위해 제안된 알고리즘인 개선된 시드 영역 성장법(Improved Seeded Region Growing : ISRG)은 화소의 순서에 독립적인 기법이다. 시드 영역의 가장자리를 구성하는 화소들을 하나씩 순차적으로 처리하는 SRG 알고리즘과 달리, ISRG는 시드영역을 구성하는 화소들의 화소값의 평균과의 차가 최소인 화소들을 동시에 처리하는 방법을 사용함으로써 SRG 알고리즘의 단점을 극복하였다.

앞에서 설명한 SRG 및 ISRG 알고리즘들은 비슷한 값을 가지는 화소들이 서로 연결되어 형성된 시드 영역을 사용하여 영상을 분할하는 방법을 사용하였다. 따라서 이러한 기존의 방법들은 본 발명에서 사용되는 레인지 영상이나 복잡한 질감의 영상에 적용되기에는 적합하지 않다. 즉, 기존의 영역 성장 알고리즘들은 레인지 영상에서와 같이 그 값이 부드럽게 변화하지 않는 영역은 처리할 수 없다. 또한 기존의 알고리즘에서는 영역 병합에 의해 최종적으로 결정되는 분할영역의 개수가 최초 시드의 개수로 고정되는데, 본 발명의 경우 관심영역으로부터 검출되는 객체의 개수, 즉 최종적인 분할영역의 개수를 사전에 알 수 없기 때문에 시드의 개수를 설정하는 기존의 알고리즘은 적용하기 어렵다.

위와 같은 이유로 인해 본 발명의 영역 병합부(140)는 앞에서 설명한 사분영역을 구성하는 각각의 서브영역에 대해 모두 시드를 설정하고, 서로 이웃한 서브영역들을 반복적으로 병합함에 따라 시드의 개수를 감소시키는 방법을 사용한다. 각각의 서브영역에 대해 설정되는 시드의 위치는 서브영역의 중심(centroid)이다. 여기서 영역의 중심이라 함은, 해당 영역에 대한 침식(erosion) 작용에 의해 얻어진 한 점으로 형태학적으로 정의된다. 영역에 대한 침식 작용의 결과, 홀(hole)이 없는 영역은 무게중심 또는 그 근방의 한 점으로 침식되고, 홀을 포함하는 영역은 홀과 그에 가장 가까운 외곽선 사이의 중심에 위치하는 링 형상으로 침식된다.

도 12는 두 가지 형태의 영역에 대해 결정된 중심을 도시한 도면이다. 도 12의 (a)에 도시된 영역은 홀을 포함하고 있지 않기 때문에 영역의 중심에 위치하는 하나의 점이 중심으로 결정되지만, 도 12의 (b)에 도시된 영역은 홀을 포함하고 있기 때문에 그 홀을 둘러싼 타원형이 중심으로 결정된다. 이와 같이 영상의 침식에 의해 중심을 결정하는 방법은 단순히 화소들의 대수적인 평균에 의해 중심을 결정하는 방법에 비해 적용 가능한 영역의 범위가 넓어진다. 대수적인 평균을 사용하는 방법은 홀을 포함하는 형태의 영역에는 적용될 수 없기 때문이다.

영역의 중심, 즉 시드는 이웃한 영역이 서로 병합될 때마다 병합으로 생성된 새로운 병합영역에 대해 다시 결정된다. 도 13은 중심의 개수를 감소시키는 영역 병합의 일 예를 도시한 도면이다. 도 13의 (a)를 참조하면, 노이즈가 포함된 영상의 각 화소에 대한 그레이 값(grey value)이 표시되어 있다. 또한 초기 중심이 되는 네 개의 화소가 굵은 선으로 표시되어 있다. 도 13의 (b) 내지 (e)는 화소값의 차가 최소인 화소를 추가시키는 과정을 반복하여 병합영역을 성장시키는 한편, 인접한 병합영역에서 새로 결정되는 중심들이 서로 이웃하고, 중심 사이의 화소값의 차가 사전에 설정된 유사값 이하이면 두 개의 병합영역을 병합하는 과정을 나타낸다. 이 경우에 유사값은 2로 설정되었다.

도 13의 (e) 및 (f)를 참조하면, (e)에서 좌측 상단의 병합영역에서 결정된 중심의 화소값은 '5'이고, 좌측 하단의 병합영역에서 결정된 중심의 화소값은 '7'이다. 이들의 화소값의 차는 2로서 설정된 유사값과 동일하므로, 도 13의 (f)와 같이 두 개의 병합영역은 서로 병합되고, 새로운 병합영역에 대한 하나의 중심이 결정된다. 도 13의 (g)는 기존의 ISRG 알고리즘에 의해 영역 병합이 이루어진 결과를 나타내며, 초기에 결정된 시드가 고정되어 있으므로 주변 화소들에 비해 불규칙적인 값을 가지는 '9' 및 '-3'으로 표시된 화소가 어느 영역에도 속하지 못하고 남게 된다. 이상에서 설명한 중심의 개수를 감소시키는 영역 병합 방법을 사용하면, 이러한 불규칙적인 화소들도 모두 영역 병합에 포함시킬 수 있으므로 기존의 방법에 비해 효과적이다.

도 14는 본 발명의 영역 병합 기법을 레인지 영상에 직접 적용한 결과를 나타낸 도면이다. 도 14의 (a)는 도 6의 (b)와 동일한 레인지 영상을 나타내며, 초기 시드는 객체의 중심에 근접한 것으로 판단되는 (86,48) 위치의 화소로 결정하였다. 시드로 결정된 화소가 가지는 깊이값은 3.97이며, 유사값은 2로 설정되었다. 하나의 시드만이 초기에 설정되었으므로, 시드 영역 역시 한 개로 결정되며, 병합영역이 더 이상 성장하지 않게 될 때 최종적으로 결정되는 병합영역이 레인지 영상의 객체영역에 해당하는 것이다.

도 14의 (b)는 기존의 ISRG 기법에 의해 얻어진 객체영역을 나타낸 도면이고, 도 14의 (c)는 본 발명의 영역 병합 기법에 의해 얻어진 객체영역을 나타낸 도면이다. (c)와 (d)의 객체영역을 비교하여 살펴보면, (c)의 객체영역에는 (d)에 비해 많은 개수의 홀이 포함되어 있다. 이는 도 13의 (g)에 나타난 바와 같이 불규칙한 화소가 영역 병합에 포함되지 않기 때문이다. 그러나 본 발명의 영역 병합 기법을 사용한 경우에는 실제 객체의 형상에 가까운 객체영역을 얻을 수 있다.

본 발명의 영역 병합 기법은 영역 병합부(140)에 의해 사분영역에 적용된다. 즉, 앞에서 설명한 것처럼 화소 단위의 영역 성장이 아닌 서브영역 단위로 영역이 병합되는 것이다.

도 15는 사분영역에 본 발명에 따른 영역 병합 기법이 적용된 결과를 나타낸 도면이다. 도 15의 (a)는 도 11의 (b)에 도시된 것과 동일한 사분영역으로, 다양한 크기의 복수의 서브영역으로 이루어져 있다. 영역 병합부(140)는 먼저 사분영역을 구성하는 서브영역들 각각에 대해 영역의 중심을 결정한 후, 서로 이웃한 서브영역들이 병합조건을 만족하는지 여부에 따라 병합 여부를 결정한다. 사분영역에서는 각각의 서브영역이 모두 정사각형 형태이므로, 영상 침식에 의해 중심을 결정하지 않고, 화소들의 대수 평균으로 서브영역의 중심을 결정할 수 있다.

영역 분할부(130)에 의해 관심영역이 분할될 때 분할의 제약조건으로서 영역의 동질성을 나타내는 깊이값 및 표면 법선 벡터의 z-성분이 사용되었음을 앞에서 설명하였다. 따라서 서브영역 단위의 병합에서는 앞에서 설명한 화소 단위의 병합에서 기준으로 사용된 화소값 대신 깊이값 및 표면 법선 벡터의 z-성분을 병합의 제약조건으로서 사용한다.

즉, 서로 이웃하는 두 개의 서브영역을 병합하였을 때, 병합된 영역으로부터 산출된 깊이값의 분산이 사전에 설정된 제1병합기준값 이하이며, 표면 법선 벡터의 z-성분의 크기의 분산이 사전에 설정된 제2병합기준값 이하이면 병합의 제약조건을 만족하는 것으로 판단하여 두 서브영역을 병합한다. 또한 하나의 서브영역이 서로 다른 두 개의 병합영역에 동시에 인접하면 깊이값의 분산 또는 z-성분의 크기의 분산이 최소가 되는 병합영역으로 해당 서브영역을 병합한다.

나아가 두 개의 병합영역이 서로 인접하는 경우에도 병합의 제약조건을 동일하게 적용하여 두 병합영역을 서로 병합하는 경우에 생성되는 새로운 병합영역의 깊이값의 분산이 제1병합기준값 이하이며, 표면 법선 벡터의 z-성분의 크기의 분산이 사전에 설정된 제2병합기준값 이하이면 두 병합영역을 병합한다. 도 15의 (b)를 참조하면, 이러한 반복적인 병합에 의해 초기에 사분영역을 구성하였던 145개의 서브영역들로부터 최종적으로 28개의 병합영역이 생성되었다.

도 16은 본 발명에 따른 레인지 영상으로부터의 객체 분할 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

도 16을 참조하면, 관심영역 추출부(110)는 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 각각의 화소에 대해 각각의 화소 및 이웃하는 화소들에 부여된 깊이값의 변화량을 산출하고, 변화량이 사전에 설정된 기준값보다 작은 화소들을 추출하여 관심영역으로 설정한다(S1610). 관심영역은 앞에서 설명한 노이즈 검출 필터를 사용하여 추출할 수 있다.

스무딩부(120)는 추출된 관심영역에 스무딩 필터를 적용하여 관심영역을 구성하는 화소들 각각에 대해 결정되는 표면 법선 벡터들의 방향성을 안정화시킨다(S1620). 이때 스무딩 필터로는 양방향 필터를 사용하여 스무딩과 동시에 영상의 에지를 보존할 수 있다.

다음으로 영역 분할부(130)는 관심영역을 분할하여 복수의 서브영역을 생성한다(S1630). 이때 분할 방식으로는 사분트리 방식을 사용할 수 있으며, 생성된 서브영역을 다시 분할할 것인지 여부를 결정하기 위해 분할의 제약조건이 사용된다. 즉, 생성된 서브영역을 구성하는 화소들에 대해 산출된 깊이값의 분산이 사전에 설정된 제1분할기준값 이하이고, 표면 법선 벡터의 z-방향 성분의 분산이 사전에 설정된 제2분할기준값 이하인지 여부를 검토하여(S1640) 조건을 만족하지 않으면 해당 서브영역을 다시 분할하고(S1650), 조건을 만족하면 더 이상 분할하지 않는다.

영역 병합부(140)는 분할 제약조건에 따라 관심영역이 분할되어 생성된 사분영역을 구성하는 서브영역들 각각에 대하여 인접한 서브영역이 병합되어 생성된 병합영역의 깊이값의 분산이 사전에 설정된 제1병합기준값 이하이고, 표면 법선 벡터의 z-방향 성분의 분산이 사전에 설정된 제2병합기준값 이하이면(S1660) 인접한 서브영역을 병합하여 병합영역을 생성한다(S1670). 이러한 병합 과정을 전체 서브영역에 대해 반복하여 병합 제약조건을 만족하는 최종적인 병합영역을 생성하고, 생성된 병합영역으로부터 객체영역을 검출한다(S1680).

본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험은 1) 관심영역에 스무딩 필터를 적용하지 않은 경우, 2) 영역 분할 및 병합에 있어서 제약조건으로 깊이값만을 사용한 경우 및 3) 최적 실시예에 따른 경우의 세 가지 조건 하에서 이루어졌다. 도 17은 실험에 사용된 레인지 영상에 해당하는 장면을 나타낸 도면이다. 도 17의 (a)를 참조하면, 단순한 모양의 세 개의 객체가 레인지 영상에 포함되므로 실제 건설 현장과 같은 장소에서 촬영한 레인지 영상에 비해 명확한 결과를 얻을 수 있다. 도 17의 (b)는 (a)의 장면을 촬영하여 얻어진 레인지 영상이 실시간으로 컴퓨터로 전송되어 화면에 나타난 것이다.

도 18은 도 17의 레인지 영상에 대해 세 가지 조건 하에서 본 발명을 적용하여 얻어진 결과를 나타낸 도면이다. 먼저 도 18의 (a) 및 (b)는 관심영역에 스무딩 필터를 적용하는 과정을 거치지 않고 바로 관심영역에 대한 분할 및 병합 과정을 수행한 결과를 나타낸다. 스무딩 필터를 적용하지 않음으로 인하여 표면이 손상되어 있으므로, 관심영역이 과분할되었음을 확인할 수 있다. 따라서 레인지 영상에 포함되어 있는 객체는 세 개이지만 도 18의 (a)에 나타난 영역들은 제대로 병합되지 아니하여 객체 검출의 정확성이 떨어진다.

도 18의 (c) 및 (d)는 영역 분할 및 병합에 사용되는 제약조건에 깊이값만 포함되어 있는 경우에 얻어진 결과를 나타낸 도면이다. 도 18의 (c)를 참조하면, 표면 법선 벡터를 사용하지 않고 깊이값만으로 영역을 분할 또는 병합하므로 스무딩 과정이 생략되어도 결과에 크게 영향을 주지 않는다. 그러나 객체가 아닌 지면에 해당하는 부분까지 객체 부분인 것으로 인식하여 지면과 객체 부분의 하나의 영역으로 병합되어 있는 것을 확인할 수 있다. 따라서 지면과 객체가 비슷한 깊이값을 가지는 경우에는 객체 검출이 정확하게 이루어지지 않는다.

도 18의 (e) 및 (f)는 본 발명의 최적 실시예에 따른 객체영역 검출의 결과를 나타낸 도면이다. 도 18의 (e)를 참조하면, (c)에서는 객체 영역에 포함되어 있던 지면 부분이 객체와 분리된 것을 확인할 수 있다. 이는 스무딩 과정과 함께 표면 법선 벡터를 사용하였기 때문에 얻어진 결과이다. (c)의 영상에 비해 약간의 노이즈가 더 포함되어 있으나, 이러한 노이즈는 영역에 대한 기준 크기를 적절하게 설정함으로써 제거할 수 있다. 즉, 도 18의 (f)에 도시된 그래프에서 그래프의 기울기가 갑자기 변화하는 부분에서 기준 크기를 설정하면 노이즈 영역이 발생하는 것을 막을 수 있다.

도 19는 본 발명에 의해 검출된 객체영역을 나타낸 도면이다. 도 19의 (a)를 참조하면, 도 18의 (e)에 해당하는 도면에 포함된 병합영역들 중 설정된 기준 크기 이하의 영역들을 모두 제거함으로써 크게 다섯 개의 병합영역이 남게 된다. 여기서 표면 법선 벡터의 경향(크기 및 방향)을 분석하면 객체와 지면을 분리할 수 있으며, 서로 다른 병합영역이 하나의 객체의 부분인 것으로 판단되면 이들을 결합하여 하나의 객체영역으로 결정할 수도 있다. 도 19의 (b)는 이와 같은 객체 인식의 결과로 얻어진 세 개의 객체영역을 나타낸다. 검출된 객체영역들은 도 17의 레인지 영상에 포함된 세 개의 객체와 일치하는 것을 확인할 수 있다.

도 20은 하나의 객체가 놓여진 실외 환경을 촬영한 레인지 영상에 본 발명을 적용한 결과를 나타낸 도면이고, 도 21은 복수의 객체가 놓여진 실외 환경을 촬영한 레인지 영상에 본 발명을 적용한 결과를 나타낸 도면이다. 도 20 및 도 21 모두 실제 환경에 포함된 객체들을 정확하게 검출하였으므로 본 발명은 포함된 객체의 개수에 무관하게 높은 정확도의 객체 검출 성능을 보임을 알 수 있다. 또한 노이즈가 많이 포함된 레인지 영상이 생성되는 실외 환경에도 효과적으로 적용되므로 앞에서 설명한 것과 같이 실제 건설 현장에 적용되어 장애물 등을 감지하는 데 사용될 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

110 - 관심영역 추출부
120 - 스무딩부
130 - 영역 분할부
140 - 영역 병합부

Claims (21)

1. 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 각각의 화소에 대해 상기 각각의 화소 및 이웃하는 화소들에 부여된 깊이값의 변화량을 산출하고, 상기 변화량이 사전에 설정된 기준값보다 작은 화소들을 추출하여 관심영역으로 결정하는 관심영역 추출부;
   상기 관심영역을 반복적으로 분할하여 복수의 서브영역을 생성하되, 생성된 서브영역에 대한 추가적인 분할의 여부는 상기 생성된 서브영역을 구성하는 화소들의 깊이값의 분산을 기초로 결정되는 영역 분할부; 및
   상기 서브영역들 각각에 대하여 상기 서브영역에 인접한 서브영역 및 상기 인접한 서브영역과의 병합에 의해 생성된 병합영역에 인접한 서브영역을 상기 서브영역들을 구성하는 화소들의 깊이값의 분산을 기준으로 반복적으로 병합하여 상기 병합영역을 갱신하고, 상기 반복적인 병합에 의해 최종적으로 생성된 병합영역으로부터 객체영역을 검출하는 영역 병합부;를 포함하는 것을 특징으로 하는 객체 분할 장치.
2. 제 1항에 있어서,
   상기 관심영역에 스무딩 필터를 적용하여 상기 관심영역을 구성하는 화소들에 부여된 깊이값으로부터 얻어지는 3차원 형상의 표면에 대한 법선 벡터인 표면 법선 벡터들 사이의 방향성의 차를 감소시키는 스무딩부를 더 포함하는 것을 특징으로 하는 객체 분할 장치.
3. 제 2항에 있어서,
   상기 스무딩 필터는 상기 관심영역에 포함된 객체의 에지를 보존하기 위한 양방향 필터인 것을 특징으로 하는 객체 분할 장치.
4. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
   상기 깊이값의 변화량은 상기 각각의 화소를 중심으로 하는 사전에 설정된 크기의 패치 영역 내부에 포함되는 화소들에 부여된 깊이값 중에서 최대값과 최소값의 차에 의해 산출되는 것을 특징으로 하는 객체 분할 장치.
5. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
   상기 영역 분할부는 상기 관심영역을 상위 레벨의 서브영역으로부터 네 개의 하위 레벨의 서브영역을 생성하는 사분트리 기법에 의해 반복적으로 분할하여 각각의 분할시 생성된 서브영역들을 각 노드로 하는 트리 구조에서 리프 노드에 해당하는 서브영역들로 이루어진 사분영역을 생성하고,
   상기 영역 병합부는 상기 사분영역을 구성하는 서브영역들 중에서 서로 이웃한 서브영역들을 병합하여 상기 객체영역을 검출하는 것을 특징으로 하는 객체 분할 장치.
6. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
   상기 영역 분할부는 각각의 분할에 의해 생성된 서브영역들 중에서 최하위 레벨에 해당하는 분할대상영역을 구성하는 화소들의 깊이값의 분산이 사전에 설정된 제1분할기준값보다 크고, 상기 분할대상영역을 구성하는 화소들에 부여된 깊이값으로부터 얻어지는 3차원 형상의 표면에 대한 법선 벡터인 표면 법선 벡터의 z-방향 성분의 크기의 분산이 사전에 설정된 제2분할기준값보다 크면 상기 분할대상영역을 분할하여 복수의 서브영역을 생성하는 것을 특징으로 하는 객체 분할 장치.
7. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
   상기 영역 병합부는 상기 인접한 서브영역을 병합하는 경우에 생성되는 병합영역을 구성하는 화소들의 깊이값의 분산이 사전에 설정된 제1병합기준값 이하이고, 상기 병합영역을 구성하는 화소들에 부여된 깊이값으로부터 얻어지는 3차원 형상의 표면에 대한 법선 벡터인 표면 법선 벡터의 z-방향 성분의 크기의 분산이 사전에 설정된 제2병합기준값 이하이면 상기 인접한 서브영역을 병합하는 것을 특징으로 하는 객체 분할 장치.
8. 제 7항에 있어서,
   상기 영역 병합부는 서로 다른 두 개의 병합영역에 동시에 인접한 서브영역에 대하여 상기 깊이값의 분산 또는 상기 표면 법선 벡터의 z-방향 성분의 크기의 분산이 최소가 되는 병합영역에 상기 인접한 서브영역을 병합하는 것을 특징으로 하는 객체 분할 장치.
9. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
   상기 영역 병합부는 상기 반복적인 병합에 의해 최종적으로 생성된 병합영역들 중에서 사전에 설정된 기준 크기보다 작은 병합영역을 제거하고, 상기 병합영역을 구성하는 화소들에 부여된 깊이값으로부터 얻어지는 3차원 형상의 표면에 대한 법선 벡터인 표면 법선 벡터의 특성을 기초로 상기 객체영역을 검출하는 것을 특징으로 하는 객체 분할 장치.
10. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 레인지 영상은 플래시 레이다(flash LADAR)에 의해 실외 환경을 촬영하여 생성된 영상인 것을 특징으로 하는 객체 분할 장치.
11. 3차원 좌표 정보를 나타내는 레인지 영상을 구성하는 각각의 화소에 대해 상기 각각의 화소 및 이웃하는 화소들에 부여된 깊이값의 변화량을 산출하고, 상기 변화량이 사전에 설정된 기준값보다 작은 화소들을 추출하여 관심영역으로 결정하는 관심영역 추출단계;
    상기 관심영역을 반복적으로 분할하여 복수의 서브영역을 생성하되, 생성된 서브영역에 대한 추가적인 분할의 여부는 상기 생성된 서브영역을 구성하는 화소들의 깊이값의 분산을 기초로 결정되는 영역 분할단계; 및
    상기 서브영역들 각각에 대하여 상기 서브영역에 인접한 서브영역 및 상기 인접한 서브영역과의 병합에 의해 생성된 병합영역에 인접한 서브영역을 상기 서브영역들을 구성하는 화소들의 깊이값의 분산을 기준으로 반복적으로 병합하여 상기 병합영역을 갱신하고, 상기 반복적인 병합에 의해 최종적으로 생성된 병합영역으로부터 객체영역을 검출하는 영역 병합단계;를 포함하는 것을 특징으로 하는 객체 분할 방법.
12. 제 11항에 있어서,
    상기 영역 분할단계 이전에,
    상기 관심영역에 스무딩 필터를 적용하여 상기 관심영역을 구성하는 화소들에 부여된 깊이값으로부터 얻어지는 3차원 형상의 표면에 대한 법선 벡터인 표면 법선 벡터들 사이의 방향성의 차를 감소시키는 스무딩단계를 더 포함하는 것을 특징으로 하는 객체 분할 방법.
13. 제 12항에 있어서,
    상기 스무딩 필터는 상기 관심영역에 포함된 객체의 에지를 보존하기 위한 양방향 필터인 것을 특징으로 하는 객체 분할 방법.
14. 제 11항 내지 제 13항 중 어느 한 항에 있어서,
    상기 깊이값의 변화량은 상기 각각의 화소를 중심으로 하는 사전에 설정된 크기의 패치 영역 내부에 포함되는 화소들에 부여된 깊이값 중에서 최대값과 최소값의 차에 의해 산출되는 것을 특징으로 하는 객체 분할 방법.
15. 제 11항 내지 제 13항 중 어느 한 항에 있어서,
    상기 영역 분할단계에서, 상기 관심영역을 상위 레벨의 서브영역으로부터 네 개의 하위 레벨의 서브영역을 생성하는 사분트리 기법에 의해 반복적으로 분할하여 각각의 분할시 생성된 서브영역들을 각 노드로 하는 트리 구조에서 리프 노드에 해당하는 서브영역들로 이루어진 사분영역을 생성하고,
    상기 영역 병합단계에서, 상기 사분영역을 구성하는 서브영역들 중에서 서로 이웃한 서브영역들을 병합하여 상기 객체영역을 검출하는 것을 특징으로 하는 객체 분할 방법.
16. 제 11항 내지 제 13항 중 어느 한 항에 있어서,
    상기 영역 분할단계에서, 각각의 분할에 의해 생성된 서브영역들 중에서 최하위 레벨에 해당하는 분할대상영역을 구성하는 화소들의 깊이값의 분산이 사전에 설정된 제1분할기준값보다 크고, 상기 분할대상영역을 구성하는 화소들에 부여된 깊이값으로부터 얻어지는 3차원 형상의 표면에 대한 법선 벡터인 표면 법선 벡터의 z-방향 성분의 크기의 분산이 사전에 설정된 제2분할기준값보다 크면 상기 분할대상영역을 분할하여 복수의 서브영역을 생성하는 것을 특징으로 하는 객체 분할 방법.
17. 제 11항 내지 제 13항 중 어느 한 항에 있어서,
    상기 영역 병합단계에서, 두 개의 서로 이웃한 서브영역들을 병합하였을 때 생성되는 병합영역을 구성하는 화소들의 깊이값의 분산이 사전에 설정된 제1병합기준값 이하이고, 상기 병합영역을 구성하는 화소들에 부여된 깊이값으로부터 얻어지는 3차원 형상의 표면에 대한 법선 벡터인 표면 법선 벡터의 z-방향 성분의 크기의 분산이 사전에 설정된 제2병합기준값 이하이면 상기 이웃한 서브영역들을 병합하는 것을 특징으로 하는 객체 분할 방법.
18. 제 17항에 있어서,
    상기 영역 병합단계에서, 서로 다른 두 개의 병합영역에 동시에 인접한 서브영역에 대하여 상기 깊이값의 분산 또는 상기 표면 법선 벡터의 z-방향 성분의 크기의 분산이 최소가 되는 병합영역에 상기 인접한 서브영역을 병합하는 것을 특징으로 하는 객체 분할 방법.
19. 제 11항 내지 제 13항 중 어느 한 항에 있어서,
    상기 영역 병합단계에서, 상기 반복적인 병합에 의해 최종적으로 생성된 병합영역들 중에서 사전에 설정된 기준 크기보다 작은 병합영역을 제거하고, 상기 병합영역을 구성하는 화소들에 부여된 깊이값으로부터 얻어지는 3차원 형상의 표면에 대한 법선 벡터인 표면 법선 벡터의 특성을 기초로 상기 객체영역을 검출하는 것을 특징으로 하는 객체 분할 방법.
20. 제 11항 내지 제 13항 중 어느 한 항에 있어서,
    상기 레인지 영상은 플래시 레이다(flash LADAR)에 의해 실외 환경을 촬영하여 생성된 영상인 것을 특징으로 하는 객체 분할 방법.
21. 제 11항 내지 제 13항 중 어느 한 항에 기재된 객체 분할 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images