KR101796558B1 - 모션모델에 기반한 고속 깊이영역 확장방법 및 장치 - Google Patents

Abstract

본 발명의 방법은, 모션모델에 기반하여 고속으로 깊이영역을 확장하는 방법으로서, 다중컬러센서(RGB+IR)로부터의 현재프레임 영상과 이전프레임 배경영상(Background)의 차에 의해 배경을 제거(Background Subtraction)하여 전경영상(Foreground)을 모션모델(Motion model)로서 추출하는 배경제거단계와, 추출된 전경영상과 현재프레임 영상과 이전프레임의 배경영상에 대한 비교 연산치를 미리 정해진 임계치와 비교함으로써, 적응적으로 현재프레임의 배경영상을 배경모델(Background model)로서 갱신(Background Updating)하는 배경갱신단계와, 모션모델 내에 깊이영역을 확장하는 깊이영역 확장단계가 포함됨을 특징으로 한다.

Description

모션모델에 기반한 고속 깊이영역 확장방법 및 장치 {Method and apparatus speedy region growing of depth area based on motion model}

본 발명은, 모션모델(Motion mode)에 기반한 고속 깊이영역 확장방법 및 장치에 관한 것으로, 보다 상세하게는 영상 내 깊이정보를 확장하는 과정에서, 모션모델 내로 범위를 한정함으로써 소요시간이 단축되고, 확장된 깊이정보의 신뢰도를 향상시키는 고속 깊이영역 확장방법 및 장치에 관한 것이다.

영상처리기술의 급격한 발전으로, 컬러영상과 깊이영상을 포함하는 3차원 카메라 기술이 이슈화되고 있다.

3차원 카메라 기술로는,

(1) 스테레오 카메라(Bumblebee2)

(2) IR 패턴(Randomized dots) 기반 카메라(Kinect, Xtion)

(3) 타임 오브 플라이트(Time of Flight; TOF) 카메라 (Kinect2)

등이 있다.

이는, 깊이영상을 이용한 3D 재구조화(Reconstruction), XYZ 3차원 공간상의 표현(Description) 확대 등을 통한 다양한 응용분야에 적용 가능하다.

예컨대 다음의 응용분야를 들 수 있다.

(1) 스테레오 3D 영상 생성 - 3D 디스플레이

(2) 디지털 카메라의 디포커싱(De-Focusing) / 오토포커싱(Auto-Focusing)

(3) 3D 프린팅의 3D 재구조화(Reconstruction)

(4) 3D 동작인식(Gesture Recognition)

그리고 이 분야의 종래기술로는

(1) 이중조리개(Dual Aperture) 기반한 다중컬러센서를 이용한 컬러영상 및 깊이정보 추출기술(특허문헌 1)

(2) 커널(Kernel) 기반 영상 회선(Convolution) 기술

등을 들 수 있다.

한편, 화소(Pixel) 기반의 깊이정보에는 3가지 의미가 있다. 이 3가지 의미는, 깊이정보가 1) 있는지, 2) 없는지, 그리고 3) 있다면 정확한 정보인지의 여부이다. 여기서, 2) 번이나 3) 번인 경우에는, 주변의 가장 정확한 깊이정보를 검색하여, 보정하는 것이 효율적이다.

특허문헌 2는, 이때, 검색을 전체화면을 기준으로, 확장(Region growing) 방식을 이용하여 보정하고, 정확한 깊이정보로 채워나간다고 하는 것이다.

영상 내에서의 깊이영역 확장(Region growing or Regularization)은, 윤곽선 기반의 깊이영상(Edge based Depth)과 다중컬러영상(RGB+IR)을 이용한다. 윤곽선 영역은 조명의 밝기와 색과 같은 가변적인 조명 변화에 민감하게 영향을 받으므로, 조명에 따라서는 컬러영상과 깊이정보의 정확도가 저조해지고, 이로 인하여 영역확장을 처리하는데에 어려움이 따른다.

따라서 다양한 조명의 밝기와 색의 환경 내에서도, 처리속도는 실시간 처리를 유지하고, 정확도는 향상시킬 필요성이 있다.

미국특허공개 US2013/0033579 A1 공보 미국특허공개 US2010/0177164 A1 공보

종래기술에 의하면, 깊이정보를 확장하는 과정 내에, 영상의 전체영역을 기준으로 깊이영역에 대한 확장을 수행한다. 여기서, 가변적인 환경의 변화가 발생하더라도, 다중컬러영상(RGB+IR)의 전체영역을 이용하고 있어서, 고주파 내에서 흔히 검출되는 잡음(Noise)도 포함하여 깊이영상에 대한 확장을 처리한다.

이러한 종래기술에 의하면, (1) 가변적인 환경 변화 내에, 깊이영역의 정확도가 낮아지고, (2) 확장할 영역의 규모가 커서 처리속도가 저조하다는 문제점이 있었다.

본 발명은, 상기 종래기술의 문제점을 해소하기 위해 이루어진 것으로서, 깊이정보 확장의 영역을 모션모델로 한정함으로써, 고속으로 깊이영역을 확장시킬 수 있는 방법 및 장치를 제공하고자 하는 것이다.

상기 과제를 해결하기 위한 본 발명의 방법은, 모션모델에 기반하여 고속으로 깊이영역을 확장하는 방법으로서, 다중컬러센서(RGB+IR)로부터의 현재프레임 영상과 이전프레임 배경영상(Background)의 차에 의해 배경을 제거(Background Subtraction)하여 전경영상(Foreground)을 모션모델(Motion model)로서 추출하는 배경제거단계와, 추출된 전경영상과 현재프레임 영상과 이전프레임의 배경영상에 대한 비교 연산치를 미리 정해진 임계치와 비교함으로써, 적응적으로 현재프레임의 배경영상을 배경모델(Background model)로서 갱신(Background Updating)하는 배경갱신단계와, 모션모델 내에 깊이영역을 확장하는 깊이영역 확장단계가 포함됨을 특징으로 한다.

여기서, 상기 배경제거단계에 앞서서, 현재프레임 영상에 대하여, 다중의 가우시안 분포를 기반하여 입력받은 영상을 변환하고, 변환된 영상을 모두 혼합하는 다중컬러(RGB+IR)의 다차원 가우시안 혼합모델이 적용됨이 바람직하다.

그리고, 상기 배경제거단계에 있어서, 영상의 차의 연산은, 마하라노비스 거리 방식에 의해 수행되고, 그 결과치와 미리 정해진 임계치의 비교에 의해, 모션의 존부가 판단되고, 모션이 존재한다고 판단되면 모션모델로 추출됨이 바람직하다.

그리고, 상기 깊이영역 확장단계에 있어서, 모션모델과 현재프레임 영상과 윤곽선기반 깊이정보를 이용하여, 근사근접이웃(ANN) 서칭에 의해 깊이영역의 확장이 수행됨이 바람직하다.

여기서, 상기 근사근접이웃(ANN) 서칭에 의해 깊이영역의 확장 후에, (1) 미디언 필터 처리, 및 (2) 비지역적 평균화( NLM ) 처리 중 적어도 하나가 수행됨이 바람직하다.

한편, 본 발명의 장치는, 모션모델에 기반하여 고속으로 깊이영역을 확장하는 장치로서, 다중컬러센서(RGB+IR)로부터의 현재프레임 영상과 이전프레임 배경영상의 차에 의해 배경을 제거하여 전경영상을 모션모델로서 추출하는 배경제거부와, 추출된 전경영상과 현재프레임 영상과 이전프레임의 배경영상에 대한 비교 연산치를 미리 정해진 임계치와 비교함으로써, 적응적으로 현재프레임의 배경영상을 배경모델로서 갱신하는 배경갱신부와, 모션모델 내에 깊이영역을 확장하는 깊이영역 확장부가 포함됨을 특징으로 한다.

여기서, 상기 배경제거부의 처리에 앞서서, 현재프레임 영상에 대하여, 다중의 가우시안 분포를 기반하여 입력받은 영상을 변환하고, 변환된 영상을 모두 혼합하는 다중컬러(RGB+IR)의 다차원 가우시안 혼합모델이 적용됨이 바람직하다.

그리고, 상기 배경제거부의 처리에 있어서, 영상의 차의 연산은, 마하라노비 스 거리 방식에 의해 수행되고, 그 결과치와 미리 정해진 임계치의 비교에 의해, 모션의 존부가 판단되고, 모션이 존재한다고 판단되면 모션모델로 추출됨이 바람직하다.

그리고, 상기 깊이영역 확장부의 처리에 있어서, 모션모델과 현재프레임 영상과 윤곽선기반 깊이정보를 이용하여, 근사근접이웃(ANN) 서칭에 의해 깊이영역의 확장이 수행됨이 바람직하다.

여기서, 상기 근사근접이웃(ANN) 서칭에 의해 깊이영역의 확장 후에, (1) 미디언 필터 처리, 및 (2) 비지역적 평균화( NLM ) 처리 중 적어도 하나가 수행됨이 바람직하다.

본 발명에 의하면, 깊이정보 확장의 영역을 모션모델로 한정함으로써, 고속으로 깊이영역을 확장시킬 수 있게 된다.

[도 1]은, 모션모델에 기반한 고속의 깊이영역 확장장치의 블록도를 보여준다.
[도 2]는, 모션모델에 기반한 고속의 깊이영역 확장 기술의 처리과정을 나타낸다.
[도 3]은, 모션모델과 배경모델(Background model)에 대한 정의를 표현한다.
[도 4]는, 배경제거의 블록도를 보여준다.
[도 5]는, 모션모델의 영상결과를 나타낸다.
[도 6]은, 배경모델의 영상결과를 보여준다.
[도 7]은, 모션모델 내 영역확장의 영상결과를 보여준다.
[도 8]은, 영역확장의 블록도를 나타낸다.
[도 9]는, 영역확장의 영상결과를 보여준다.
[도 10]은, 영상의 전체영역에 기반한 영역확장과 모션모델에 기반한 영역확장의 처리속도에 대한 비교를 보여준다.
[도 11]은, 영상의 전체영역에 기반한 영역확장과 모션모델에 기반한 영역확장의 결과영상에 대한 비교를 나타낸다.

이하, 본 발명의 가변조명 하의 깊이정보 정확도 향상방법 및 시스템에 대해, 첨부도면을 참조하면서 상세히 설명한다. 다만, 동일구성에 의해 동일기능을 수행하는 부재에 대해서는, 도면이 달라지더라도 동일부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다. 또한, 연결된다고 하는 것은, 그 중간에 매체를 경유하는 개념을 포함한다.

<방법>

본 발명의 방법은, 모션모델에 기반하여 고속으로 깊이영역을 확장하는 방법에 관한 것이다. 모션모델에 기반하여, 영상 내에, 고속으로, 깊이영역을 확장하는 장치의 개념도를, 도 1에 나타낸다.

본 발명의 방법은, 배경제거단계(10)와, 배경갱신단계(20)와, 깊이영역 확장단계(30)가 포함됨을 특징으로 한다.

상기 배경제거단계(10)는, 다중컬러센서(RGB+IR)로부터의 현재프레임 영상과 이전프레임 배경영상의 차에 의해 배경제거(Background Subtraction, BGS)를 하여 전경영상을 모션모델로서 추출하는 단계이다.

도 2는, 모션모델에 기반한 고속의 깊이영역 확장기술의 처리과정을 나타낸다. 배경제거를 수행하기 위해, 배경을 우선적으로 생성하고, 이로 인하여, 첫 프레임(First frame)(S5: YES) 내에서는 배경영상만 갱신(S14)하고, 두 번째 프레임(Second frame)부터, 전경영상을 추출(S10)한다.

도 3은, 모션모델과 배경모델에 대한 정의를 나타낸다. 시간 (t)에, 오브젝트(Object)에 화살표의 궤도(Trajectory)로 움직임이 발생하였다고 가정한다. 여기서, 모션모델은 (a) 영상 내에 흰색 영역으로 표현하고, 배경모델은 (b) 영상으로 나타낸다. 모션모델을 생성하는 처리과정을 살펴보면, 현재프레임(t)의 영상과 이전프레임(t-1)의 배경영상의 차를 추출하고, 실험적인 임계치(Threshold)를 기준으로, 전경영상을 생성한다.

도 4는, 배경제거의 블록도를 보여준다. 배경제거 기술은, 가우시안 혼합모델(Gaussian Mixture Model)(11) 처리 후에, 배경제거(Background Subtraction)(12)가 행해지고, 그리고 배경갱신(Background Updating)(13, 14)으로 이어지도록 구성된다.

여기서, 가우시안 혼합모델(11)은, 배경제거(12)에 앞서서, 현재프레임 영상에 대하여, 다중(Multi)의 가우시안 분포(Gaussian Distribution)에 기반하여 입력받은 영상을 변환하고, 변환된 영상을 모두 혼합하는 다중컬러(RGB+IR)의 다차원 모델이다. 그레이레벨(Gray-Level)인 1차원이 아니라, 다중컬러(RGB+IR)인 다차원으로 가우시안 혼합모델을 처리하고, 컬러영상 외에 적외선영상을 추가적으로 이용하면, 밝기가 낮은 저조도 환경에서도 정확도가 향상되는 강점을 갖는다.

그리고, 배경제거(12)는, 현재프레임(t)에 기반한 가우시안 혼합모델(11)을 거친 필터링된 요소(Filtered Componets)값과 이전프레임(t-1)에 기반한 갱신된 배경모델(14)을 마하라노비스(Maharanobis) 거리(Distance) 방식을 적용하여 차이값을 추출(영상의 차의 연산)하고, 이를 실험을 통한 임계치와 비교하여, 모션이 존재하는지 여부를 판단한다. 모션의 존재가 판단되면, 이를 모션모델로 추출한다.

도 5는, 모션모델의 영상결과를 나타낸다. 여기서, (a)는 컬러영상을, (b)는 배경제거된 결과를 보여준다. 이는 다중 프레임(Multi-Frame) 내에, 확인이 가능하고, 움직임이 존재하는 영역에 한하여, 모션모델이 추출됨이 확인된다. (b) 결과 내에, 흰색이 모션모델(전경영상)이다. 여기서, 모션이 작은 배경에 포함되는 에어컨, 문, 시계, 벽은 모션모델로 추출하지 않고, 팔 동작과 같이 모션의 영역이 큰 오브젝트에 한하여 모션모델이 추출된다.

이처럼 배경제거는, 입력받은 다중컬러영상(기존의 RGB에 IR을 추가적으로 포함)에 기반하여 수행된다. 적외선(IR)영상이 포함된 다중컬러영상(RGB+IR)은, 저조도 환경 내에서도 정확도가 유지되는 강인함이 있다. 이로 인하여, 저조도(Low illumination) 환경 내에서도 배경제거의 정확도에 강인하다.

여기서, 영상 내에, 필요한 영역과 불필요한 영역을 정의한다. 필요한 영역은, 움직임이 존재하는 영역으로 정의하고, 불필요한 영역은, 움직임이 존재하지 않는 영역으로 정의한다. 그리고 필요한 영역 내에서만, 깊이영역에 대한 확장을 수행함으로써, 소요시간을 단축시키는 효과를 발생시킨다. 또한, 불필요한 영역을 사전에 제거함으로써, 잡음(Noise)이 줄고, 정확도를 한층 더 향상시킬 수 있다.

즉, 배경제거에 기반하여, 모션모델인 필요한 영역을 분류하고, 국한된 영역 내에서만, 깊이영역에 대한 영역확장을 수행하여, 정확도와 처리속도를 향상시킨다.

상기 배경갱신단계(20)는, 추출된 전경영상과 현재프레임 영상과 이전프레임의 배경영상에 대한 비교 연산치를 미리 정해진 임계치와 비교함으로써, 적응적으로 현재프레임의 배경영상을 배경모델(Background model)(14)로서 갱신(Background Updating)하는 단계이다.

배경갱신은, 배경제거부 내에, 추출된 모션모델, 현재프레임(t)에 기반한 다중컬러(RGB+IR)영상, 이전프레임(t-1)에 기반한 배경모델을 이용하여, 현재프레임(t)에 기반한 배경모델(14)을 생성한다. 상세하게는 모션모델이 존재하지 않는 영역 내에, 현재프레임(t)에 기반한 다중컬러(RGB+IR)영상과 이전프레임(t-1)에 기반한 배경모델(14)의 유클리디안 (Euclidean) 거리(Distance) 방식을 적용하여 차이 값을 추출하고, 실험을 통한 임계치(Threshold) 값과 비교하여, 배경으로 갱신할지에 대한 여부를 판단한다.

도 6은, 배경모델(14)의 영상결과를 보여준다. 여기서, (a)는 컬러영상을, (b)는 갱신된 배경모델(14)을 보여준다. 이는 다중 프레임(Multi-Frame) 내에, 확인이 가능하고, 배경제거와는 반대로, 움직임이 존재하지 않는 영역에 한하여, 배경모델(14)을 갱신함을 보여준다. 상세하게는, (a)의 영상 내에, 41번째 프레임부터 57번째 프레임까지, 왼손을 들고 있는 장면이 확인되고, 반면에 (b)의 영상 내에서는 들고 있는 왼손의 장면이 조금씩 갱신됨을 보여준다. (a)의 영상 내에, 프레임이 57번째 프레임으로 갈수록, 들고 있는 왼손의 모션이 존재하지 않고, 이를 판단하여 배경모델(14)로 갱신하는 것을 의미한다. 빨간색 원 내에, 배경갱신되는 현상을 확인할 수 있다.

상기 깊이영역 확장단계(30)는, 모션모델 내에 깊이영역을 확장하는 단계이다.

도 7은, 모션모델 내에, 영역확장의 영상결과를 보여준다. 여기서, (a)는 윤곽선(Edge) 기반의 깊이정보를 보여주고, (b)는 모션모델 내에 확장된 깊이(Regularized Depth) 정보를 나타낸다. 연속적인 프레임(Continuous frame) 내에, 모션모델에 한하여 깊이의 영역이 확장됨을 확인할 수 있다.

도 8은, 영역확장의 블록도를 나타낸다. 영역확장은, 모션모델, 다중컬러(RGB+IR)영상, 그리고 윤곽선(Edge) 기반의 깊이정보를 입력받고, 근사근접이웃(Approximate Nearest Neighbor, ANN) 서칭(Searching)(31)에 의해 수행되고, 그 후에, (1) 미디언 필터 처리(Median filtering)(32), 및 (2) 비지역적 평균화( NLM ) 처리(NLM Regularization)(33) 중 적어도 하나가 수행됨이 바람직하다.

근사근접이웃(Approximate Nearest Neighbor) 서칭(31)에 의해, 1차적인 깊이영역에 대한 확장이 시도된다. 즉, 다중컬러(RGB+IR)영상에 기반하여, 유사한 특징인 색(Color), 패턴(Pattern)을 추출하고, 이를 K차원의 트리구조(K-Dimension Tree, 줄여서 KD-Tree)로 하여 서칭을 위한 모델을 생성하여, KD-Tree 모델로 정의한다. 처리과정을 살펴보면, 먼저 3차원 센서(3D Sensor)로부터 입력받은 윤곽선(Edge) 기반의 깊이정보를 입력받는다. 도 8에서, 입력받은 윤곽선(Edge) 기반의 깊이정보를 살펴보면, 깊이정보가 존재하는 영역은 1 ~ 255의 범위로 묘사되고, 깊이정보가 존재하지 않는 영역은 0으로 표현된다. 서칭을 위해 생성된 KD-Tree 모델을 이용하여, K 근접 이웃탐색(K-Nearest Neighbor Search) 방식으로, 깊이가 존재하지 않는 영역의 값을 추정(Estimation)한다.

여기서, 모션모델 영역에 한하여, 깊이영역을 확장하는 것이, 정확도와 처리속도를 향상시키는 데에 효율적이다. 모션모델 영역 내에, 국한적으로 깊이영역을 확장하면, 잡음(Noise)가 적게 발생하여, 깊이의 정확도를 향상시키고, 국한된 영역에 한하여, 깊이영역을 확장하는 것은 전체영역을 처리하는 것에 비하여 소요시간(Duration)을 단축시키며, 처리속도가 향상되는 강점을 얻는다.

그런데, 모션모델에 한하여 깊이영역 확장을 수행하여도, 주파수가 높은 범위(예를 들면, 경계면 또는 윤곽선)에서는, 잡음(Noise)이 발생할 수 있다. 그래서 두 번째로, 이와 같은 잡음(Noise)를 보정하기 위하여 미디언 필터(Median Filter) 처리(32)를 수행한다.

마지막으로 비지역적 평균화(Non-Local Mean, 줄여서, NLM ) 처리(33)는, 다중컬러(RGB+IR) 영역 내에, 유사한 특징인 색, 패턴을 이용하여, 2차적인 깊이영역의 확장과 잡음제거의 기능을 수행한다. 비지역적 평균화 기법은, 마스크(Mask) 기반으로 윈도우 슬라이딩(Window Sliding) 방식을 따른다. 상세하게는, 마스크 내에 중심화소(Pixel)를 기준으로,

1) 화소(Pixel) 간 거리의 차(Difference of Distance), 그리고

2) 화소(Pixel) 간 밝기의 차(Difference of Intensity)

를 이용한다.

1) 화소(Pixel) 간 거리의 차(Difference of Distance)는, 가우시안 분포(Gaussian distribution)를 가중치(Weight)로 적용하여, 이웃화소(Neighbor-Pixel)에 비하여, 중심화소(Pixel)에 높은 가중치(Weight)를 적용한다.

2) 화소(Pixel) 간 밝기의 차(Difference of Intensity)는, 중심화소(Pixel)를 기준으로 한 각각의 픽셀에 대한 밝기의 차를 의미하고, 추가적으로 유효한 픽셀(Valid-Pixel)에 대하여 판단을 수행하고, 유효한 픽셀에 한하여 가우시안 분포(Gaussian distribution)에 기반한 가중치(Weight)를 적용한다. 이는 높은 주파수(예를 들면, 경계면 또는 윤곽선)의 환경 내에, 흔히 발생하는 잡음을 보정하는 데에 효율적이다.

<효과>

도 9는, 영역확장의 영상결과를 보여준다. 여기서, (a)는 근사근접이웃(ANN) 서칭의 결과영상을, (b)는 미디언 필터(Median filtering)의 결과영상을, (c)는 비지역적 평균화(NLM)의 결과영상을 나타낸다. (d)는 3차원 깊이센서(3D Depth Sensor)로부터 입력받은 윤곽선(Edge)기반의 깊이맵(DepthMap)을, (e)는 모션모델에 한하여 깊이영역이 확장된 결과영상(Regularized-Depth)을 보여준다. 즉, (a) 과정 내에서, 모션모델에 한하여 1차적인 깊이영역의 확장을 시도하고, (b) 과정 내에서, 높은 주파수(예를 들면, 경계면 또는 윤곽선)의 환경 안에서, 발생하는 잡음을 보정한다. 이후에, (c) 과정 내에서, 2차적인 깊이영역 확장, 그리고 잡음제거를 수행한다. (a), (b), (c) 과정 내에, 빨간색의 박스를 대표적으로 선정하여 확대하고, (a), (b), (c) 과정에 대한 기능을 확인한다.

도 10은, 영상의 전체영역에 기반한 영역확장(Regularized Depth in Full-image; 종래기술)과 모션모델에 기반한 영역확장(Regularized Depth in Motion; 본 발명)의 처리속도에 대한 비교를 보여준다. 이 실험의 환경으로, 이미지의 크기는 1024 x 768의 XGA급 해상도를 대상으로 하고, 싱글코어 CPU 기반으로 처리하였다. 그래프 X축은 프레임(Frame)을, Y축은 소요시간(Duration)을 나타낸다. 여기서, 1 프레임에 대한 처리속도를 기준으로, 전체영역에 기반한 영역확장의 소요시간은 대략 3.65016 초(Sec)이고, 모션모델에 기반한 영역확장의 소요시간은 대략 1.26013 초(Sec)이다. 이를 비율로 표현하면 1 : 0.34522, 또는, 대략 2.8966배 만큼 처리속도가 향상됨을 확인한다.

도 11은, 영상의 전체영역에 기반한 영역확장(종래기술)과 모션모델에 기반한 영역확장(본 발명)의 결과영상에 대한 비교를 나타낸다. 여기서, (a)는 전체영역에 기반한 영역확장을 나타내고, (b)는 모션모델에 기반한 영역확장을 보여준다. 상세하게는, (a), (b) 영상 내에, 빨간색 타원을 살펴보면, 전체영역에 기반한 영역확장에서는, 주파수가 높은(예를 들면, 경계면 또는 윤곽선) 환경이 아닌 영역 내에서도, 잡음(Noise)이 흔히 발생함을 확인한다. 반면에, 모션모델에 기반한 영역확장에서는, 모션모델 내에 국한적으로 깊이영역을 확장하므로, 잡음(Noise)이 적게 발생하고, 정확도가 향상됨을 확인한다.

이처럼 본 발명은 깊이정보가 없는 화소나, 잘못된 깊이정보가 존재하는 화소를 모션모델로 정의를 하고, 모션이 있는 모델에 한하여, 단순한 확장방식이 아닌, 근사근접이웃(Approximate Nearest neighbor)을 정확하고 신속하게 검색하여, 정확한 깊이정보로 채워 나간다. 결과적으로 종래기술의 방식에 비하여, 정확도와 처리속도가 향상됨을 확인한다.

<장치/시스템>

상기 본 발명의 방법은, CPU나 마이크로프로세서 등의 데이터 처리유닛을 중심으로 메모리, 기능처리 반도체 등으로 이루어지는 데이터처리기기에 의해 시스템으로 구현될 수 있다. 상기 방법의 각 단계는, 시스템의 각 부로 대응되어 구현될 수 있고, 실제 구현에 있어서는, 어떤 부는 다른 부에 통합될 수도 있고, 또는 다른 복수의 부로 나뉠 수도 있다.

모션모델에 기반하여, 영상 내에 고속으로 깊이영역을 확장하는 장치의 개념도를 도 1에 나타낸다. 본 발명의 시스템은, 도 1과 같이, 배경제거부(10)와, 배경 갱신부(20)와, 깊이영역 확장부(30)가 포함됨을 특징으로 한다. 각 부의 상세한 동작은, 상기 방법의 발명의 대응되는 각 단계의 동작을 참조함으로써, 그 상세한 설명은 생략한다.

이상, 구체적 실시예를 들어 본 발명을 설명하였지만, 본 발명은 이에 한하는 것이 아니고, 청구범위에 기재된 범위 내에서 이루어진 개량, 변형, 변경은 모두 본 발명의 범위에 속하는 것으로 해석되어야 한다.

본 발명은, 모션모델에 기반한 고속 깊이영역 확장방법 및 장치 산업에 이용될 수 있다.

10: 배경제거
11: 가우시안 혼합모델
12: 배경제거
13: 배경모델 생성
14: 배경모델
20: 배경갱신
30: 영역확장
31: 근사근접이웃(Approximate Nearest Neighbor, ANN) 서칭
32: 미디언 필터 처리(Median filtering)
33: 비지역적 평균화(Non-Local Mean, 줄여서, NLM) 처리

Claims (10)

1. 모션모델에 기반하여 고속으로 깊이영역을 확장하는 방법으로서,
   이중조리개(Dual Aperture) 기반의 다중컬러센서(RGB+IR)로부터의 현재프레임 영상에 대하여, 다중의 가우시안 분포를 기반하여 입력받은 영상을 변환하고, 변환된 영상을 모두 혼합하는 다중컬러(RGB+IR)의 다차원 가우시안 혼합모델 적용단계와,
   영상 내에, 필요한 영역과 불필요한 영역을 정의하고, 필요한 영역은, 움직임이 존재하는 영역으로 정의하고, 불필요한 영역은, 움직임이 존재하지 않는 영역으로 정의하며, 필요한 영역 내에서만, 깊이영역에 대한 확장을 수행하고, 불필요한 영역을 사전에 제거하기 위해, 이중조리개(Dual Aperture) 기반의 다중컬러센서(RGB+IR)로부터의 현재프레임 영상과 이전프레임 배경영상의 차의 결과치와 미리 정해진 임계치의 비교에 의해, 모션의 존부가 판단되고, 모션이 작은 배경에 포함되는 오브젝트들은 모션모델로 추출되지 않고, 모션의 영역이 큰 오브젝트에 한하여 모션모델이 추출되며, 모션이 존재한다고 판단되면 배경을 제거하여 전경영상을 모션모델로서 추출하는 배경제거단계와,
   배경제거부 내에서 추출된 모션모델에 기반하여, 모션모델이 존재하지 않는 영역 내에, 추출된 전경영상과 현재프레임(t)에 기반한 다중컬러(RGB+IR)영상과 이전프레임(t-1)에 기반한 배경모델의 배경영상에 대한 유클리디안(Euclidean) 거리(Distance) 방식을 적용하여 차이 값을 추출한 비교 연산치를 실험을 통한 미리 정해진 임계치와 비교함으로써, 배경으로 갱신할지에 대한 여부를 판단하여, 배경제거와는 반대로, 움직임이 존재하지 않는 영역에 한하여 배경모델로서 갱신하도록, 적응적으로 현재프레임(t)에 기반한 배경영상을 배경모델로서 갱신하는 배경갱신단계와,
   모션모델 영역에 한해 모션모델 내로 깊이영역을 확장하는 깊이영역 확장단계
   가 포함됨을 특징으로 하는 모션모델에 기반한 고속 깊이영역 확장방법.
2. 청구항 1에 있어서,
   상기 배경제거단계에 있어서, 영상의 차의 연산은, 마하라노비스 거리 방식에 의해 수행됨
   을 특징으로 하는 모션모델에 기반한 고속 깊이영역 확장방법.
3. 청구항 1 또는 청구항 2에 있어서,
   상기 깊이영역 확장단계에 있어서, 모션모델과 현재프레임 영상과 윤곽선기반 깊이정보를 이용하여, 근사근접이웃(ANN) 서칭에 의해 깊이영역의 확장이 수행됨
   을 특징으로 하는 모션모델에 기반한 고속 깊이영역 확장방법.
4. 청구항 3에 있어서,
   상기 근사근접이웃(ANN) 서칭에 의해 깊이영역의 확장 후에,
   (1) 미디언 필터 처리, 및
   (2) 비지역적 평균화(NLM) 처리
   중 적어도 하나가 수행됨
   을 특징으로 하는 모션모델에 기반한 고속 깊이영역 확장방법.
5. 모션모델에 기반하여 고속으로 깊이영역을 확장하는 장치로서,
   이중조리개(Dual Aperture) 기반의 다중컬러센서(RGB+IR)로부터의 현재프레임 영상에 대하여, 다중의 가우시안 분포를 기반하여 입력받은 영상을 변환하고, 변환된 영상을 모두 혼합하는 다중컬러(RGB+IR)의 다차원 가우시안 혼합모델 적용부와,
   영상 내에, 필요한 영역과 불필요한 영역을 정의하고, 필요한 영역은, 움직임이 존재하는 영역으로 정의하고, 불필요한 영역은, 움직임이 존재하지 않는 영역으로 정의하며, 필요한 영역 내에서만, 깊이영역에 대한 확장을 수행하고, 불필요한 영역을 사전에 제거하기 위해, 이중조리개(Dual Aperture) 기반의 다중컬러센서(RGB+IR)로부터의 현재프레임 영상과 이전프레임 배경영상의 차의 결과치와 미리 정해진 임계치의 비교에 의해, 모션의 존부가 판단되고, 모션이 작은 배경에 포함되는 오브젝트들은 모션모델로 추출되지 않고, 모션의 영역이 큰 오브젝트에 한하여 모션모델이 추출되며, 모션이 존재한다고 판단되면 배경을 제거하여 전경영상을 모션모델로서 추출하는 배경제거부와,
   배경제거부 내에서 추출된 모션모델에 기반하여, 모션모델이 존재하지 않는 영역 내에, 추출된 전경영상과 현재프레임(t)에 기반한 다중컬러(RGB+IR)영상과 이전프레임(t-1)에 기반한 배경모델의 배경영상에 대한 유클리디안(Euclidean) 거리(Distance) 방식을 적용하여 차이 값을 추출한 비교 연산치를 실험을 통한 미리 정해진 임계치와 비교함으로써, 배경으로 갱신할지에 대한 여부를 판단하여, 배경제거와는 반대로, 움직임이 존재하지 않는 영역에 한하여 배경모델로서 갱신하도록, 적응적으로 현재프레임(t)에 기반한 배경영상을 배경모델로서 갱신하는 배경갱신부와,
   모션모델 영역에 한해 모션모델 내로 깊이영역을 확장하는 깊이영역 확장부
   가 포함됨을 특징으로 하는 모션모델에 기반한 고속 깊이영역 확장장치.
6. 청구항 5에 있어서,
   상기 배경제거부의 처리에 있어서, 영상의 차의 연산은, 마하라노비스 거리 방식에 의해 수행됨
   을 특징으로 하는 모션모델에 기반한 고속 깊이영역 확장장치.
7. 청구항 5 또는 청구항 6에 있어서,
   상기 깊이영역 확장부의 처리에 있어서, 모션모델과 현재프레임 영상과 윤곽선기반 깊이정보를 이용하여, 근사근접이웃(ANN) 서칭에 의해 깊이영역의 확장이 수행됨
   을 특징으로 하는 모션모델에 기반한 고속 깊이영역 확장장치.
8. 청구항 7에 있어서,
   상기 근사근접이웃(ANN) 서칭에 의해 깊이영역의 확장 후에,
   (1) 미디언 필터 처리, 및
   (2) 비지역적 평균화(NLM) 처리
   중 적어도 하나가 수행됨
   을 특징으로 하는 모션모델에 기반한 고속 깊이영역 확장장치.
9. 삭제
10. 삭제

Images