KR101856017B1 - 운동 역사 영상을 이용한 운동 깊이 맵 생성 방법 및 이를 기록한 기록 매체 - Google Patents

Abstract

본 발명은 3D 입체 영상을 위한 운동 깊이 맵(motion depth map)에 관한 것으로서, 본 발명은 영상 프레임을 수신하면, 현재 영상과 이전 영상으로부터 차 영상을 구하는 단계, 상기 차 영상에 따라 운동 횟수 증가에 따른 누적 파라미터를 계산하거나, 운동 횟수 감소에 따른 감소 파라미터를 계산하는 단계 및 상기 누적 파라미터에 따라 깊이를 증가시키거나, 상기 감소 파라미터에 따라 깊이를 감소시키는 방식으로 운동 깊이 맵을 생성하는 단계를 포함한다. 본 발명에 의하면, 운동 역사 영상을 이용하여 운동 깊이 맵을 생성함으로써, RGB 데이터를 사용하지 않고, 순수한 운동 데이터만을 이용하여 우수한 깊이 맵을 생성할 수 있는 효과가 있다.

Description

운동 역사 영상을 이용한 운동 깊이 맵 생성 방법 및 이를 기록한 기록 매체 {Method for generating motion depth map using motion history image and medium for recording the same}

본 발명은 3D 입체 영상을 위한 운동 깊이 맵(motion depth map)에 관한 것으로서, 더욱 상세하게는 운동 역사 영상(Motion History Image, MHI)에 관한 것이다.

최근 입체 콘텐츠 및 디스플레이 기술의 지속적인 발전이 이루어지고, 대중의 관심도 증가하고 있다. 이러한 추세에 따라 입체 변환에 대한 연구가 활발히 진행되고 있다.

이러한 추세에 따라, 2D 영상에서 깊이 맵(depth map)을 생성한 후에, 3D 입체영상을 제작하는 3D 변환은 그 동안 수많은 연구가 진행되어 왔다. 이에 대한 대부분의 방법들은 RGB 컬러의 특성을 이용하여 깊이를 구하고, 이를 3D 변환에 활용하는 방식이다. 예를 들어, 정지 영상에서 깊이 단서들을 구한 후에, 이들을 통합 하여 최종 깊이 맵을 구하거나, 또는 비디오의 모션을 활용하여 깊이 데이터를 얻은 후에, 정지영상으로부터 얻은 깊이와 통합하여 모션 깊이 맵을 얻기도 한다.

다음 식 (1)에서 보는 것처럼, 일반적으로 컬러, 모션 및 기타 데이터 x로부터 얻은 각각의 깊이 맵을 함수 f에 의해서 통합하면, 최종 깊이 맵이 얻어진다.

이처럼 비디오에서 모션을 추출하여 모션 깊이 맵을 찾는 연구는 꾸준히 진행되어 왔는데, 대부분의 기술들은 모션값을 구하기 위해서 블록 기반 운동 예측(block based motion estimation), 광유 (optical flow) 등을 사용한다. 이러한 종래 기술은 낮은 정확도와 높은 연산속도로 실시간 구현에 어려움이 있고, 또한 이를 보완하기 위해 영역 분할(segmentation) 기술을 필요로 한다는 문제점이 있다.

대한민국 등록특허 10-1142701

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, RGB 정보를 이용하지 않고, 모션 표현 기법인 운동 역사 영상 (Motion History Image, MHI)를 이용하여 운동 깊이 맵을 생성하는 방법을 제공하는데 그 목적이 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명은 영상 프레임을 수신하면, 현재 영상과 이전 영상으로부터 차 영상을 구하는 단계, 상기 차 영상에 따라 운동 횟수 증가에 따른 누적 파라미터를 계산하거나, 운동 횟수 감소에 따른 감소 파라미터를 계산하는 단계 및 상기 누적 파라미터에 따라 깊이를 증가시키거나, 상기 감소 파라미터에 따라 깊이를 감소시키는 방식으로 운동 깊이 맵을 생성하는 단계를 포함한다.

상기 차 영상을 구하는 단계에서, I_t가 시간 t에서의 현재 영상이고, I_t-1이 이전 영상이고, T는 임계값이고, i는 픽셀 번호라고 할 때, 차영상 α_t를,

의 수학식으로 나타낼 수 있다.

상기 운동 깊이 맵을 생성하는 단계에서, 운동 역사 영상(Motion History Image, MHI)을 이용하여 운동 깊이 맵 D를 생성하되, ζ는 누적(accumulation) 파라미터이고, τ는 감소 파라미터이고, D의 초기값은 0이라고 할 때,

의 수학식을 이용하여 상기 운동 깊이 맵을 생성할 수 있다.

운동량은 매 프레임마다 운동 횟수를 저장하는 방식으로 측정하는데, 픽셀 값의 변화가 발생하면 운동 횟수 m이 1씩 증가하고, 픽셀 값의 변화가 발생하지 않으면 운동 횟수 m이 1씩 감소하며, m의 초기값을 0이라 할 때,

의 수학식으로 나타낼 수 있으며, 상기 m 값에 따른 ζ와 τ가 지수함수 형태로 증가하는데, δ가 운동 횟수의 임계값이고, σ이 표준편차라고 할 때, ζ를 구하는 함수 f(m)을,

의 수학식으로 나타낼 수 있고, τ를 구하는 함수 g(m)을,

의 수학식으로 나타낼 수 있다.

모션 복잡도(motion complexity)를 이용하여 상기 표준편차 σ를 계산하고, 이때, N_T는 현재 영상의 픽셀 개수이고, N_P는 이전 영상의 픽셀과 현재 영상의 픽셀 중에서 그 값이 임계치보다 큰 픽셀의 개수라고 할 때, 모션 복잡도 ρ를,

의 수학식으로 구할 수 있고, a가 시정수(time constant)라고 할 때, 상기 표준편차 σ를,

의 수학식으로 계산할 수 있다.

본 발명에 의하면, 운동 역사 영상을 이용하여 운동 깊이 맵을 생성함으로써, RGB 데이터를 사용하지 않고, 순수한 운동 데이터만을 이용하여 우수한 깊이 맵을 생성할 수 있는 효과가 있다.

또한, 본 발명의 운동 역사 영상을 이용하여 얻어진 운동 깊이 맵은 3DTV, 3D 디스플레이서 3D변환 기술의 깊이 맵으로 활용이 가능하며, 가상현실, 증강현실에서 HMD(head mounted display) 기기 등을 이동할 때 움직이는 물체의 3D 효과를 증가시킬 수 있는 장점이 있다. 또한 비디오 감시 시스템에서 움직이는 사람 등의 객체의 움직임을 용이하게 검출할 수 있고, 사람 트랙킹에서도 가치 있는 정보를 제공해줄 것으로 기대된다.

도 1은 본 발명의 일 실시예에 따른 운동 역사 영상을 이용한 운동 깊이 맵 생성 방법의 전체 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 운동 횟수에 따른 ζ의 변화와, τ의 변화를 도시한 그래프이다.
도 3은 본 발명의 일 실시에에 따른 모션 복잡도 ρ와, 표준 편차 σ를 도시한 그래프이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 발명에서 운동 역사 영상을 이용하여 운동 깊이 맵 생성 방법은 일종의 알고리즘으로서, 소프트웨어 개념이다. 따라서, 본 발명의 운동 깊이 맵 생성 방법의 수행 주체는 제반 컴퓨터 장치가 될 수 있다. 즉, 본 발명에서 운동 깊이 맵 생성 방법을 수행하는 컴퓨터, 컴퓨터의 제어부 또는 프로세서(processor)가 그 수행 주체가 될 수 있다.

본 발명의 운동 역사 영상(Motion History Image, MHI)을 이용한 운동 깊이 맵 생성 방법은, 영상 프레임을 수신하면, 현재 영상과 이전 영상으로부터 차 영상을 구하는 단계, 상기 차 영상에 따라 운동 횟수 증가에 따른 누적 파라미터를 계산하거나, 운동 횟수 감소에 따른 감소 파라미터를 계산하는 단계 및 상기 누적 파라미터에 따라 깊이를 증가시키거나, 상기 감소 파라미터에 따라 깊이를 감소시키는 방식으로 운동 깊이 맵을 생성하는 단계를 포함한다.

도 1은 본 발명의 일 실시예에 따른 운동 역사 영상을 이용한 운동 깊이 맵 생성 방법의 전체 흐름도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 운동 역사 영상을 이용한 운동 깊이 맵 생성 방법은, 영상 프레임(Video frame)이 수신되면, 수신되는 영상에 대하여 모션 복잡도(Motion complexity)를 계산하고(S101), 움직이는 픽셀을 검출하여 차영상을 계산한다(S103).

그리고, 차영상에 따라 운동 횟수 증가에 따른 누적 파라미터를 계산하거나(S107, S109), 운동 횟수 감소에 따른 감소 파라미터를 계산한다(S113, S115). 이때, 모션 복잡도를 이용하여 누적 파라미터와 감소 파라미터를 계산한다.

그리고, 누적 파라미터에 따른 깊이를 증가시키거나(S111), 감소 파라미터에 따른 깊이를 감소시키는(S117) 방식으로 운동 깊이 맵을 생성한다.

이제, 수학식을 이용하여 본 발명의 운동 깊이 맵 생성 방법을 상세히 설명하면 다음과 같다.

시간 t에서의 현재 영상 I_t와 이전 영상 I_t-1로부터 이진 차영상 α_t를 구한다. 이를 수학식으로 나타내면 다음과 같다.

여기서, T는 임계값이고, i는 픽셀 번호이다.

차영상이 구해지면, 운동 깊이 맵 D는 다음 수학식과 같이 운동 역사 영상(Motion History Image, MHI)을 이용하여 계산된다.

여기서, ζ는 누적(accumulation) 파라미터이고, τ는 감소 파라미터이다. 그리고, D의 초기값은 0이다.

αⁱ=255이면, MHI는 ζ만큼 증가하고, 반대로 αⁱ=0 이면 τ만큼 감소하게 된다. 이때, 최근 모션이 있는 픽셀의 D값이 증가하는 특성이 있다. 그리고, τ가 크면 픽셀의 D값은 급격히 감소하고, ζ가 크면 D값이 급격히 증가한다.

본 발명에서 깊이값 D의 연산에서 사용하는 두 파라미터인 ζ와 τ는 깊이 맵 성능에 영향을 주기 때문에 중요하다. 이 파라미터들의 연산은 운동 유형(motion class)을 고려해야 하고, 또한 유형에 따라 적응적으로 구해져야 한다.

본 발명에서 제안하는 방법은 각 픽셀의 운동량을 조사하는 것이다. 객체 운동(object motion) 시에 객체 픽셀의 운동 횟수(motion frequency)는 상대적으로 적고, 반대로 카메라 운동(camera motion) 시에 객체 픽셀의 운동 횟수는 상대적으로 많다. 운동 횟수가 많은 픽셀의 ζ는 상대적으로 적게 해서 D를 천천히 증가시켜서, 픽셀의 깊이값이 점진적으로 증가되도록 한다. 그리고, 상대적으로 운동 횟수가 적은 픽셀에 큰 ζ를 할당하면 깊이값이 증가하게 된다.

일반적으로 운동 유형은 정지된 카메라에서 객체만 운동하는 객체 운동(object motion)과, 카메라가 움직이는 카메라 운동(camera motion)으로 구분된다. 객체 트랙킹(object tracking)은 카메라가 객체를 추적하는데, 추적객체의 운동량이 상대적으로 배경보다 적다.

운동 유형은 특정 영상을 제외하곤 분류가 간단치 않고, 카메라 운동은 전체 영상에서 운동이 발생하기 때문에, D는 모든 픽셀에서 큰 값을 가지게 된다. 따라서 D를 운동 깊이 맵으로 이용하면 3D 입체감은 저하하게 된다.

한편, 객체 운동은 이동하는 객체의 D는 크고, 배경은 상대적으로 적거나 0에 가깝다. 따라서 객체 운동에서 D를 직접 깊이 맵으로 활용하면 객체의 3D 효과는 향상된다.

보통 영상의 한 숏(shot)에서 객체운동, 카메라운동 등이 연속적으로 발생하고 다양한 운동유형이 반복된다. 카메라운동은 많은 영상들이 객체 트랙킹을 포함하고 있고, 추적 객체는 상대적으로 배경보다는 운동량이 적다. 따라서 카메라 운동도 객체 운동과 유사하게 적용할 수 있다.

객체 운동에서는 운동 횟수는 상대적으로 작고, 반대로 카메라 운동에서 운동 횟수는 상대적으로 크다. 이러한 사실에 기반하여 운동 횟수가 많은 픽셀의 누적 파라미터 ζ를 상대적으로 작게 하여 D를 천천히 증가시키고, 감소 파라미터 τ에 큰 값을 할당하여 D를 빨리 감소시킨다. 반대로 상대적으로 운동 횟수가 적은 픽셀은 큰 ζ를 할당하고, 작은 τ를 할당한다.

운동량은 매 프레임마다 운동 횟수를 저장하는 방식으로 측정하는데, 운동 횟수 m은 픽셀 값의 변화가 발생하면 1씩 증가하고, 반대이면 1씩 감소한다. 즉 m은 첫 번째 영상부터 현재 영상까지의 픽셀의 운동 횟수이다. 이를 수학식으로 나타내면 다음과 같다.

여기서 m의 초기값은 0이다.

m 값에 따른 ζ와 τ는 지수함수 형태로 증가하도록 한다. m 값을 이용하여 각각 두 파라미터 ζ와 τ를 구하는 함수 f(m)과 g(m)을 지수 형태로 나타낼 수 있다.

하기 수학식 5는 ζ를 구하는 함수 f(m)을 수학식으로 나타낸 것이다.

여기서, δ는 노이즈 등을 처리하기 위한 운동 횟수의 임계값이다.

하기 수학식 6은 τ를 구하는 함수 g(m)을 수학식으로 나타낸 것이다.

여기서, δ는 노이즈 등을 처리하기 위한 운동 횟수의 임계값이다.

도 2는 본 발명의 일 실시예에 따른 운동 횟수에 따른 ζ의 변화와, τ의 변화를 도시한 그래프이다.

도 2에서 (a)는 수학식 5의 ζ를 계산한 것을 도시한 그래프이고, (b)는 수학식 6의 τ를 계산한 것을 도시한 그래프이다.

도 2 (a)에서, σ₁<σ₂인 경우, σ₁보다 σ₂에서 ζ의 변화가 상대적으로 작은 것을 알 수 있다.

그리고, 도 2 (b)에서 σ₁<σ₂인 경우, σ₁보다 σ₂에서 τ의 변화가 상대적으로 작은 것을 알 수 있다.

수학식 5, 수학식 6에서 사용하는 표준편차 σ는 고정된 값을 사용하지 않고, 모션 복잡도(motion complexity)를 활용하면 안정된 깊이 맵을 얻을 수 있다. 모션 복잡도 ρ는 다음 수학식과 같이 구해진다.

여기서, N_T는 영상의 픽셀 개수이고, N_P는 이전 영상의 픽셀과 현재 영상의 픽셀 중에서 그 값이 임계치보다 큰 픽셀의 개수이다.

객체 운동의 경우에 ρ값은 작은 값을 갖고, 카메라 운동의 경우에 ρ값은 큰 값을 갖는다. 그리고, 연속 정지영상에서 ρ=0이다. 이처럼 ρ가 작으면 운동객체일 확률이 높으므로 큰 σ값을 할당하고, 반대이면 작은 σ값을 할당한다. 이러한 관계를 지수함수로 표현하면 다음과 같다.

여기서, a는 시정수(time constant)이다. 시정수 a는 감소율을 조절한다.

수학식 8에서 구한 σ을 수학식 5 및 수학식 6에서 사용한다.

도 3은 본 발명의 일 실시에에 따른 모션 복잡도 ρ와, 표준 편차 σ를 도시한 그래프이다.

도 3은 a=0.05, σ_max=100, σ_min=10일 때의 ρ와 σ의 관계를 도시한 그래프이다.

실제 ζ와 τ는 [0, 1]의 값을 가지므로, 실제는 다음 수학식과 같이 ζ_max와 τ_max 값을 곱해 준 ζ^*와 τ^*를 사용한다.

새로운 모션 픽셀이 발생하면, 다음 수학식과 같이 D를 증가시키는데, 이것은 급격한 깊이값의 변화를 최소화할 수 있다.

수학식 11에서 이전 D의 최대값을 구하고, 여기에서 ζ_max만큼 더해준다.

본 발명의 운동 역사 영상을 이용하여 얻어진 운동 깊이 맵은 3DTV, 3D 디스플레이서 3D변환 기술의 깊이 맵으로 활용이 가능하며, 가상현실, 증강현실에서 HMD(head mounted display) 기기 등을 이동할 때 움직이는 물체의 3D 효과를 증가시킬 수 있는 장점이 있다. 또한 비디오 감시 시스템에서 움직이는 사람 등의 객체의 움직임을 용이하게 검출할 수 있고, 사람 트랙킹에서도 가치 있는 정보를 제공해줄 것으로 기대된다.

한편, 본 발명의 실시예에 따른 운동 깊이 맵 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 포함된다.

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

Claims (6)

1. 영상 프레임을 수신하면, 현재 영상과 이전 영상으로부터 차 영상을 구하는 단계;
   상기 차 영상에 따라 운동 횟수 증가에 따른 누적 파라미터를 계산하거나, 운동 횟수 감소에 따른 감소 파라미터를 계산하는 단계; 및
   상기 누적 파라미터에 따라 깊이를 증가시키거나, 상기 감소 파라미터에 따라 깊이를 감소시키는 방식으로 운동 깊이 맵을 생성하는 단계를 포함하며,
   상기 차 영상을 구하는 단계에서,
   I_t가 시간 t에서의 현재 영상이고, I_t-1이 이전 영상이고, T는 임계값이고, i는 픽셀 번호라고 할 때, 차영상 α_t를,
   

   

   
   의 수학식으로 나타낼 수 있고,
   상기 운동 깊이 맵을 생성하는 단계에서,
   운동 역사 영상(Motion History Image, MHI)을 이용하여 운동 깊이 맵 D를 생성하되,
   ζ는 누적(accumulation) 파라미터이고, τ는 감소 파라미터이고, D의 초기값은 0이라고 할 때,
   

   

   
   의 수학식을 이용하여 상기 운동 깊이 맵을 생성하는 것을 특징으로 하는 운동 깊이 맵 생성 방법.
   
2. 삭제
3. 삭제
4. 청구항 1에 있어서,
   운동량은 매 프레임마다 운동 횟수를 저장하는 방식으로 측정하는데, 픽셀 값의 변화가 발생하면 운동 횟수 m이 1씩 증가하고, 픽셀 값의 변화가 발생하지 않으면 운동 횟수 m이 1씩 감소하며, m의 초기값을 0이라 할 때,
   

   

   
   의 수학식으로 나타낼 수 있으며,
   상기 m 값에 따른 ζ와 τ가 지수함수 형태로 증가하는데,
   δ가 운동 횟수의 임계값이고, σ이 표준편차라고 할 때, ζ를 구하는 함수 f(m)을,
   

   

   
   의 수학식으로 나타낼 수 있고,
   τ를 구하는 함수 g(m)을,
   

   

   
   의 수학식으로 나타낼 수 있는 것을 특징으로 하는 운동 깊이 맵 생성 방법.
   
5. 청구항 4에 있어서,
   모션 복잡도(motion complexity)를 이용하여 상기 표준편차 σ를 계산하고, 이때, N_T는 현재 영상의 픽셀 개수이고, N_P는 이전 영상의 픽셀과 현재 영상의 픽셀 중에서 그 값이 임계치보다 큰 픽셀의 개수라고 할 때, 모션 복잡도 ρ를,
   

   

   
   의 수학식으로 구할 수 있고,
   a가 시정수(time constant)라고 할 때, 상기 표준편차 σ를,
   

   

   
   의 수학식으로 계산할 수 있는 것을 특징으로 하는 운동 깊이 맵 생성 방법.
   
6. 청구항 1, 청구항 4 내지 청구항 5 중 어느 한 청구항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images