KR101904128B1 - 구면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치 - Google Patents

Abstract

본 발명의 실시예는 3차원 공간을 촬영하여 깊이 영상을 생성하는 단계; 상기 깊이 영상을 기 설정된 사이즈로 블록화하여 분할된 블록을 생성하는 단계; 상기 분할된 블록 중 대상 블록 내의 예측된 깊이 값을 결정하고, 상기 예측된 깊이 값과 측정된 깊이 값에 기초하여 상기 대상 블록의 깊이 정보로 표현되는 표면의 정보를 검출하는 단계; 및 상기 표면의 정보에 기초하여 상기 대상 블록을 부호화하는 단계;를 포함하는 구면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수 있다.

Description

구면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치{Coding Method and Device Depth Video by Spherical Surface Modeling}

본 발명의 구면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치에 관한 것이다. 보다 상세하게는 깊이 영상 내의 표면의 정보를 검출하고 구면의 정보를 모델링함으로써 깊이 영상을 부호화할 수 있는 부호화 방법 및 부호화 장치에 관한 것이다.

영상 내 화소의 거리 정보를 나타내는 깊이 정보를 구성 화소 요소로 가지는 깊이 영상을 이용하여 영상 처리에 응용하는 방법에 대한 연구가 활발하게 연구되고 있다. 이 때, 깊이 영상을 이용하여 기존 색상 영상에서는 얻을 수 없었던, 객체의 위치 정보와 거리 정보를 획득하여, 이를 통한 새로운 객체의 정보를 획득할 수 있다. 이러한 깊이 영상의 특성으로 인해 깊이 영상을 이용한 새로운 응용분야에 대한 연구가 확대되고 있다.

색상 영상에서의 환경에 민감하고, 객체내의 여러 다른 색상 정보가 존재한다는 단점을 깊이 카메라를 통해 극복하여 좀 더 정확한 객체 검출을 수행하는 연구가 이루어졌다. 깊이 영상의 거리를 이용하여 평면의 정보를 이용하여 이를 통해 영상의 왜곡과 잡음을 제거하는 연구도 이루어졌다. 또한 깊이 영상의 거리정보를 이용하여 배경영역에 터치를 인식하는 연구와, 이를 이용하여 여러 이벤트를 제공하는 연구가 이루어졌다. 이뿐만 아니라 인물의 형태를 인식하여 사람의 얼굴을 인식하는 연구도 여러 이루어졌다.

이러한 깊이 영상의 응용분야의 확대로 인해 깊이 영상의 부호화에 대한 필요성이 증가되었다. 먼저 깊이 룩업 테이블(Depth Lookup Table)를 이용하여 깊이 영상을 부호화하는 방법이 연구되었다. 또한 객체의 경계 정보를 깊이 영상 부호화에 이용하는 방법이 제안되었다. 깊이 영상을 히스토그램기반으로 분석하여 깊이 영상을 부호화 하는 방법도 제안되었다. 이처럼 깊이 영상에 나타나는 특징을 이용하여 영상 부호화 효율을 높이는 연구가 많이 이루어졌다. 하지만 지금까지 이루어진 깊이 영상 부호화 연구는 대체로 색상 영상 부호화에 대해 보조적으로 이루어지거나, 색상 영상과 연계하여 깊이 영상을 부호화하는 방법에 한정되었다.

(논문 001) S. Liu, P. Lai, D. Tian, and C. W. Chen, “New Depth Coding Techniques with Utilization of Corresponding Video,” IEEE Transactions on Broadcasting, Vol. 57, No. 2, 2011, pp. 551-561.

본 발명은 깊이 영상 내의 구면을 가진 객체를 효과적으로 검출하여 부호화할 수 있는 새로운 부호화 방법 및 부호화 장치를 제공할 수 있다.

또한 본 발명은 깊이 영상의 특성을 고려하여 깊이 영상의 품질을 유지하면서도 압축율을 높일 수 있는 부호화 장치 및 구면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수 있다.

또한 본 발명은 깊이 영상 내의 구면 영역에 대한 정보를 추출하여 깊이 값을 예측할 수 있는 부호화 장치 및 구면 모델링을 통한 깊이 영상의 부호화 방법을 제공할 수 있다.

본 발명의 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화 방법은, 깊이 영상 내의 구면의 객체 정보를 검출하는 단계; 상기 구면의 객체 정보로부터 상기 깊이 영상 내의 화소의 깊이 값을 예측하여 예측된 깊이 값을 생성하는 단계; 및 상기 예측된 깊이 값에 기초하여 상기 깊이 영상을 부호화하는 단계;를 포함하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수 있다.

또한 본 발명의 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화 방법의 상기 구면의 객체 정보는 상기 깊이 영상 내의 화소의 상기 구면의 객체 정보로부터 결정된 깊이 값과 측정된 깊이 값의 오차가 최소가 되도록 하는 구면으로부터 검출되는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.

본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화 방법의 상기 예측된 깊이 값에 기초하여 상기 깊이 영상을 부호화하는 단계는, 상기 예측된 깊이 값과 측정된 깊이 값의 오차를 부호화하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.

본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화 방법은 3차원 공간 상의 객체의 좌표 값 중 깊이 좌표 값이 화소의 측정된 깊이 값으로 투영되는 깊이 영상을 생성하는 단계; 상기 객체를 미결정매개변수로 표현된 구의 방정식으로 모델링하는 단계; 부호화 대상 화소의 미결정깊이변수와 측정된 화소의 깊이 값에 기초하여 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성하는 단계; 상기 결정매개변수로부터 상기 부호화 대상 화소의 미결정깊이변수의 값을 결정하여 결정깊이값을 생성하는 단계; 및 상기 결정깊이값에 기초하여 상기 부호화 대상 화소를 부호화하는 단계;를 포함하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.

본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화 방법은 상기 결정깊이값과 상기 측정된 화소의 깊이 값의 오차를 부호화 하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.

본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화 방법의 상기 결정매개변수를 생성하는 단계는, 상기 부호화 대상 화소의 미결정깊이변수와 상기 측정된 화소의 깊이 값의 오차가 최소가 되도록 하는 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.

본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화 방법은 최소자승법을 적용하여 상기 오차가 최소가 되도록 하는 상기 미결정매개변수의 값을 결정하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.

본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화 방법의 상기 결정깊이값을 생성하는 단계는, 상기 결정매개변수와 상기 부호화 대상 화소의 좌표 값 그리고 초점거리에 기초하여 생성하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.

본 발명의 또 다른 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화 방법은 상기 깊이 영상을 복수개의 블록으로 분할하는 단계;를 더 포함하고, 상기 복수개의 블록 별로 블록 내의 화소를 부호화하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 부호화방법을 제공할 수도 있다.

본 발명의 실시예는 원 깊이 영상에 포함된 중요한 정보는 보존하면서 기타 정보를 다소 제거하여 원 깊이 영상의 품질을 잃지 않으면서도 가능한 한 적은 디지털 부호량으로 깊이 영상을 표현할 수 있다.

또한 본 발명의 실시예는 깊이 영상 내의 구면 정보를 블록내의 깊이 값을 이용하여 찾아내어 구면을 포함하는 깊이 영상의 깊이 값을 예측할 수 있고, 예측된 값과 측정된 깊이 값의 오차를 이용한 깊이 영상의 부호화를 수행할 수 있다.

또한 본 발명의 실시예에 따라 구형 객체를 부호화할 때 기존 DPCM 방법에 비해 최대 81% 이상의 부호화 효율 향상이 이루어지는 효과를 가진다.

도 1은 본 발명의 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이다.
도 2는 본 발명의 실시예에서 적용되는 깊이의 개념을 설명하기 위한 개념도이다.
도 3은 구가 세계 좌표계 상에 표시되었을 때 영상 평면 상에 투영되는 구의 한 점에 대한 개념도이다.
도 4는 X, Z 축에 따른 2차원 상의 세계 좌표계의 임의의 한 점과 2차원 영상 평면의 한 점을 나타낸 직각 좌표계이다.
도 5는 촬영 영상을 나타낸 것이다.
도 6은 배경 영역이 제거된 깊이 영상을 나타낸 것이다.
도 7은 블록의 사이즈에 따른 부호화 수행 영역을 나타낸 도면이다.
도 8은 측정된 깊이 값과 예측된 깊이 값에 대한 비교 그래프이다.
도 9는 부호화부를 구성하는 구성들의 블록도이다.
도 10 및 도 11은 구면 모델링을 통한 깊이 영상의 부호화 방법에 대한 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

<부호화장치>

도 1은 본 발명의 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이다. 그리고 도 2는 본 발명의 실시예에서 적용되는 깊이의 개념을 설명하기 위한 개념도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 부호화장치(10)는 깊이측정부(100), 블록분할부(200), 부호화제어부(300), 부호화부(400)를 포함할 수 있다.

본 발명의 실시예을 구성하는 깊이측정부(100)는 3차원 공간을 촬영할 수 있는 카메라를 구비할 수 있다.

또한 깊이측정부(100)가 촬영한 영상의 화소는 RGB의 색상 정보가 아닌 일 예로 mm 단위(이에 한정하는 것은 아니다)의 정수로 된 깊이 정보가 될 수 있다.

또한 깊이측정부(100)는 3차원 공간을 촬영하여 깊이 영상을 생성할 수 있다. 그리고 여기서의 깊이 영상은 일 예로 그레이 레벨(grey level)로 표현될 수 있으나 이에 한정하는 것은 아니다. 또한 깊이 영상에 속한 각각의 화소는 깊이 값을 가질 수 있으며, 깊이 값은 카메라가 촬영한 장면의 해당 화소에 대응되는 지점에서 카메라까지의 거리를 의미할 수 있다.

<깊이 측정 방식>

또한 깊이측정부(100)는 3차원 공간 상에 광을 조사하고 3차원 공간 상의 물체로부터 반사되어 되돌아오는 반사광을 수신할 수 있다. 그리고 광의 출사 후 반사광의 수신 시점까지의 시간 정보를 이용하여 물체의 깊이 정보를 검출할 수 있다. 보다 상세하게는 깊이측정부(100)는 TOF(Time Of Flight) 카메라를 구비하고, TOF의 카메라는 in phase receptor와 out phase receptor로 구성된 이미지센서와 광을 출사하는 발광다이오드로 구성될 수 있다. 또한 발광다이오드로부터 모듈레이션(modulation)되며 출사된 광에 동기하여 이미지센서가 활성화되는데, 발광다이오드가 턴온된 상태에서는 in phase receptor가 활성화되고, 발광다이오드가 턴오프된 상태에서는 out phase receptor가 활성화 될 수 있다. 그리고 in phase receptor와 out phase receptor 들은 시간차를 두고 서로 다른 시점에 활성화되므로 물체와의 거리에 따라서 수신되는(누적되는) 광량에 차이가 발생하게 되고 이러한 광량에 차이를 비교하여 물체와의 거리를 측정할 수 있다.

전술한 바에 따른 깊이 측정과는 달리 깊이측정부(100)는 카메라와 구조광을 출력하는 프로젝터로 구성되어 깊이를 얻고자 하는 객체를 향해 좁은 밴드의 빛을 비추고 다른 시점에서 볼 때에는 왜곡으로 나타날 수 있는 빛에 의한 선들, 즉 광 패턴을 촬영하여 이로부터 객체가 존재하는 3차원 공간 상의 깊이 정보를 검출할 수도 있고, 이와 달리 스테레오 카메라를 구비하여 좌, 우 영상 상호간의 정합점을 찾아내고 정합점간의 차이를 이용하여 3차원 깊이 정보를 추출할 수도 있다.

다만, 깊이측정부(100)의 깊이 검출 방식이 전술한 바에 한정하는 것은 아니고 3차원 깊이 정보를 추출할 수 있는 장치라면 어떠한 장치라도 가능하다.

<깊이의 개념>

또한 도 2를 참조하여 깊이 영상에서의 깊이(depth)에 대한 개념을 보다 상세하게 설명하면, 깊이측정부(100)의 카메라와 영상이 높여 있는 3차원 공간을 3차원 좌표계인 세계 좌표계(world coordinate system)로 표현할 수 있고, 카메라 역시 3차원 좌표계인 카메라 좌표계(camera coordinate system)를 가진다. 그리고 카메라는 시계 좌표계의 어느 한 점인 카메라 중심(camera center)에 위치할 수 있다. 또한 카메라의 X, Y, Z 축은 각각 수직축(Vertical axis), 수평축(Horizontal axis), 광축(optical axis)이라고 부르고 광축은 카메라의 빛(ray)의 직진 방향으로써 주축(principal axis)라 한다. 광축과 영상 평면이 만나는 점은 2차원 영상 평면(Image plane) 안의 한 점으로써 주점(principal point)이라고 하며, 카메라 중심으로부터 주점까지의 거리가 카메라의 초점거리(focal length)이다. 그리고 카메라의 투영(projection)에 의해서 촬영하고자 하는 3차원 장면의 각 점은 2차원 영상 평면(Image plane)으로 투영된다. 즉, 깊이측정부(100)의 위치는 3차원 카메라 좌표계의 원점을 나타내고 Z축(optical axis, principal axis)은 눈이 바라보는 방향과 일직선이 된다. 그리고 세계 좌표계의 임의의 한 점 P=(X, Y, Z)는 Z축에 수직인 2차원 영상 평면(image plane)의 임의의 한 점 p=(x, y)로 투영될 수 있다.

이 때 3차원 장면의 각점 p=(x, y)은 3차원 좌표계의 P=(X, Y, Z)의 Z값으로 표현될 수 있고 이 때의 2차원 영상 평면은 깊이 영상을 의미할 수 있다.

한편 본 발명을 설명함에 있어 세계 좌표계와 카메라 좌표계는 서로 일치된 것으로 가정할 수 있다.

<깊이 정보의 개념>

전술한 바에 기초하여 깊이 영상을 다시 정의하면, 깊이측정부(100)를 기준으로 깊이측정부(100)의 위치와 실물 간의 거리를 상대적인 값으로 수치화한 정보들의 집합이라고 할 수 있고, 이는 영상 단위, 슬라이스 단위 등으로 표현될 수 있으며, 깊이 영상 내에서의 깊이 정보는 픽셀 단위로 표현될 수 있다.

또한 하나의 프레임 내에 있는 화소 값은 그 주변 화소값과 상관 관계가 존재하기 때문에 이러한 상관 관계를 이용하여 부호화를 수행할 수 있다. 따라서 부호화를 수행하고자 하는 프레임 내의 어떤 범위에 있는 여러 개의 화소를 모아서 화소 블록을 구성할 수 있다.

보다 상세하게는 블록분할부(200)는 수신한 깊이 영상을 부호화 제어부(300)의 의해 결정된 사이즈에 따라 각 복수의 블록으로 분할하여 분할된 블록을 출력할 수 있다.

또한 복수의 블록 각각은 M*N(M, N은 자연수) 화소로 이루어진 영역으로 정의할 수 있다. 예를 들어 M*N은 16*16화로소 이루어진 영역으로 정의할 수 있고 해상도가 증가하면 기본 단위는 32*32나 64*64 화소로 이루어진 영역으로 정의할 수도 있다.

부호화부(400)는 블록분할부(200)로부터 출력된 분할된 블록들 각각을 부호화 제어부(300)에 의해 결정된 부호화 모드에 따라서 부호화할 수 있다.

또한 여기서의 부호화 모드는 구면 모델링 부호화 모드를 포함할 수 있다.

구면 모델링 부호화 모드란 깊이 영상에서 구형 객체에 대해 객체의 표면을 이루는 구면을 추측하는 것으로 M*N 크기로 분할된 깊이 영상에서 한 블록 내의 깊이 정보를 통해 해당 블록의 깊이 정보로 표현되는 표면과 제일 근접한 구면을 모델링하는 것이다.

또한 부호화 제어부(300)는 분할된 블록들 각각의 화소들의 깊이 값에 기초하여 분할된 블록들 중에서 구면 모델링 부호화 모드를 통해 부호화할 블록을 결정할 수 있다. 예를 들어 분할된 블록 내의 화소들 중에서 임의의 화소를 중심으로 상기 임의의 화소에서 멀어지는 주변 화소 영역으로 갈수록 점진적으로 깊이 값이 증가 또는 감소하는 경우 해당 블록 내에는 구면 영역이 포함된 것으로 예측할 수 있고, 이렇게 구면 영역을 가진 객체가 깊이 영상에 포함된 것으로 예측된 블록들을 구분하여 구분된 블록들의 정보를 저장할 수 있다.

<구면 모델링 부호화 모드 >

도 3은 구가 세계 좌표계 상에 표시되었을 때 영상 평면 상에 투영되는 구의 한 점에 대한 개념도이고, 도 4는 X, Z 축에 따른 2 임의의 한 점과 2차원 영상 평면의 한 점을 나타낸 직각 좌표계이다.

도 3 및 도 4를 참조하면, 깊이 영상 내 구면을 가진 객체의 표면은 Z축이 카메라의 광축으로 나타내는 3차원 카메라 좌표계에서 수학식 1로 모델링 될 수 있다. 이러한 구 표면은 깊이검출부(100)를 통해 카메라 초점 거리 f에 위치하는 가상의 영상 평면(h, w) 좌표에 위치한 화소에 깊이 값 d가 투영될 수 있다. 이 경우 수학식 1을 실제로 깊이 영상에 적용하기 위해서는 2차원 좌표인 영상 좌표계와 3차원 좌표인 카메라 좌표계 간 변환을 수행해야 한다. 이 때 깊이 영상은 각 화소마다 카메라 좌표계에서의 Z 축 좌표인 깊이 값을 화소로 가질 수 있고, 이 깊이 값을 이용하여 영상 좌표계에서 카메라 좌표계로 변환을 수행할 수 있다. 또한 2차원 영상 좌표계에서의 화소의 위치 (h, w)와 카메라 좌표계에서의 좌표 (x, y, z)의 관계는 수학식 2를 충족하고 이 때 초점거리 f는 수학식 3을 통해 결정될 수 있다.

[수학식 1]

수학식 1에서의 (x, y, z)는 구면 객체의 한 점의 좌표이고, a, b, c는 구의 중심이고, r은 구의 반지름이다. 그리고 구의 방정식의 매개변수인 a, b, c, r은 값이 결정되지 않은 미결정매개변수로 정의할 수 있다.

[수학식 2]

수학식 2는 도 4에서의 삼각형 닮음비에 따라 결정될 수 있다. 그리고 수학식 2에서의 f는 초점거리이다.

[수학식 3]

수학식 3에서 height는 깊이검출부(100)의 카메라가 구비한 이미지센서의 유효 센서의 수직 방향의 크기를 의미하고, width는 유효센서의 수평 방향의 크기를 의미한다. 또한

는 수직 방향의 화각을 의미하고,

는 수평방향의 화각을 의미한다.

구면을 나타내는 식인 수학식 1을 화소 좌표계의 좌표 (h, w)로 나타낸 식은 수학식 4를 충족(수학식 1에 수학식 2를 대입 정리)하고, 이 경우 이 식은 깊이 d의 2차식으로 정리할 수 있다.

[수학식 4]

또한 d의 이차식으로 나타난 수학식 4의 근을 구하면, d는 수학식 5를 충족할 수 있다.

[수학식 5]

이 경우 수학식 5에서의 d는 수학식 1로 나타나는 구면의 매개변수 a, b, c, r이 주어졌을 때의 예측된 깊이 값으로 이상적인 깊이 값으로 볼 수 있다.

또한 수학식 5에서의 이상적인 깊이 값 d는 값이 결정되지 않은 미결정깊이변수로 정의할 수 있다.

이상적인 깊이 값 d(미결정깊이변수)와 (h, w)에서 실제로 측정된 깊이 값

의 차이가 제일 작을 때의 a, b, c, r(값이 결정된 매개변수: 결정매개변수)를 구함으로써 대상 블록에서 최적의 구의 방정식을 구하여 이상적인 깊이 값을 결정을 결정할 수 있다. 이 때 모델링된 표면의 (h, w)에서의 근사된 구면의 미결정깊이변수와 실제로 측정된 깊이의 오차

가 최소가 되도록 인자를 결정하기 위해 최소자승법을 적용할 수 있다. 이 때 e는 매개변수에 대해 비선형식으로 나타나므로 가우스-뉴턴법을 적용할 수 있다.

가우스-뉴턴 법에서 n단계에서 대상 블록 내 각 화소에서의 d(미결정깊이변수)와 실제 측정된 깊이 값

의 차로 이루어진 행렬

과

에서의 자코비안 행렬

, 미결정매개변수 값을 나타내는

은 수학식 6을 충족한다.

[수학식 6]

,

,

또한 가우스-뉴턴법을 적용하여 수학식 7과 같이 다음 단계의 인자 값인

을 구할 수 있다.

[수학식 7]

이를 P회 반복하여 주어진 깊이 값으로 이루어진 표면과 제일 근접한 구면을 구하고 구의 방정식의 미결정매개변수의 값을 결정할 수 있다. 그리고 값이 결정된 결정매개변수와 보정 대상 화소의 좌표 값 그리고 초점거리(f)를 수학식 5에 대입 연산함에 따라 보정 대상 화소

의 이상적인 깊이 값 d(값이 결정된 미결정깊이값= 결정깊이값)를 결정함으로써 보정 대상 화소의 깊이 값을 이상적인 깊이 값(결정깊이값)으로 보정할 수 있다.

이 때 초기 매개변수

를 정함에 있어

과

값은 블록 중심의 좌표인

와

를 수학식 2에 대입하여 구할 수 있고,

은 임의의 초기값

를 대입한다.

은 블록 중심의 깊이 값

에서

을 더한 수치를 초기 값으로 할 수 있다.

또한 구해진 매개변수(결정매개변수)를 토대로 대상 블록 내 각 화소

에서의

와 모델링 과정을 수행하여 찾은 매개변수에서의 깊이 값

(결정깊이값)의 차이를 이용하여 각 화소를 부호화할 수 있다. 그 후 각 대상 블록에서의 블록 내 부호화된 화소와 함께 구의 매개변수 값(결정매개변수)도 부호화하여 전체 영상을 부호화할 수 있다.

<부호화 효율>

도 5는 촬영 영상을 나타낸 것이고, 도 6은 배경 영역이 제거된 깊이 영상을 나타낸 것이며, 도 7은 블록의 사이즈에 따른 부호화 수행 영역을 나타낸 도면이다. 그리고 도 8은 측정된 깊이 값과 예측된 깊이 값에 대한 비교 그래프이다.

도 5 내지 도 8을 참조하면, 본 발명의 실시예에서는 마이크로소프트사의 Kinect V2 깊이 카메라를 이용하여 모델링을 통한 구형 객체 표면 추측의 정확도와 이를 이용한 깊이 영상 부호화 성능을 측정하였다. 이 때 Kinect V2는 ToF(Time of Flight) 방식으로 깊이를 측정하며, FOV(Field of View)는 수평 방향으로 70.6°, 수직방향으로 60°이다. 또한 깊이 영상 해상도는 512x424로 하였다. 가우스-뉴턴 법을 적용함에 있어 r0는 100을 적용하였고, 가우스-뉴턴 법을 반복하는 횟수 P는 100회를 적용하였다.

원본 영상은 도 5를 촬영한 깊이 영상을 사용하였고, 도 5의 깊이 영상 내에는 농구공이라는 구면을 가진 객체가 존재한다. 이 때, 촬영한 깊이 영상에서 배경을 제거한 도 6과 같은 깊이 영상을 이용하였다.

도 7은 제안된 방법을 통해 구한 구면의 깊이 영상이다. 이 때 블록 내에 구형 객체가 모두 있는 블록에 대해서 실시예에 따른 구면 모델링을 적용하였다. 이 때, 블록 크기 N이 작아질수록 구면 모델링을 통해 부호화를 수행할 수 있는 영역이 늘어남을 알 수 있고, 구면을 가진 객체의 검출의 정확도가 향상되는 것을 알 수 있다.

도 8은 원본 깊이 영상과 제안된 방법을 통해 모델링 된 구 표면의 깊이 값을 나타난 것이다.

이 때 점선은 실제로 측정된 구형 객체의 깊이 값이고, 실선은 제안된 방법을 통해 구한 구 표면의 깊이 값이다. 이 때 깊이 카메라의 측정 오차로 인해 불균일한 깊이 값을 가지는 촬영 깊이 값에 대해 구면 모델링을 통해 근접한 구 표면을 찾아냈음을 알 수 있다.

구면 모델링을 통해 추측된 구 표면의 깊이 값에 대해 MSE(Mean squared error)를 블록의 크기에 따라 측정하였다. 그 결과 표 1과 같이 N이 작아짐에 따라 MSE가 줄어듬을 확인할 수 있었다.

	N
	4	8	16	32
MSE	20.125	20.329	20.351	20.513

또한 본 발명의 실시예에 따른 부호화 효율을 예측하기 위해서 원 영상을 제일 기본적인 DPCM(Differential Pulse Code Modulation)으로 부호화한 영상과 엔트로피 파워를 수학식 8을 이용하여 측정하여 비교하였다. 엔트로피 파워는 같은 엔트로피 환경을 가지는 환경에서 모든 신호의 빈도가 동일한 백색잡음의 출력으로 정의된다. 부호화에서는 측정 대상과 동일한 신호 개수를 가지고, 각 신호의 개수가 모두 동일할 때, 한 신호 종류의 세기로 볼 수 있다. 수학식 8에서 fi는 신호 i의 확률이다.

[수학식 8]

이 때 부호화를 수행하지 않는 영상과 제안된 부호화 방법적용하여 부호화를 수행한 후의 엔트로피 파워를 표 2와 같이 비교하였다. 이 때, 단순 DPCM을 통해 부호화를 한 경우에 비해 본 발명에서 제안된 방법을 통해 부호화를 한 경우는 엔트로피 파워가 줄어들어 부호화 효율이 높아짐을 알 수 있다. 또한 블록의 크기가 커지면, 엔트로피 파워 측면에서 효율이 낮아지지만, 부호화 측면에서 부가 정보를 보내야하는 상황을 고려하면, 큰 블록 크기가 전체 효율 측면에서 좋을 수 있을 것이다. 즉, 블록 내 예측 효율이 약간 떨어지더라도, 각 블록에서 구의 인자 값을 전송하는 횟수가 줄어들 수 있다.

Coding method	DPCM	Proposed method
		N=4	N=8	N=16	N=32
Entropy power	8.615	1.654	1.710	1.762	1.903

<구면 모델링을 통한 깊이 영상의 부호화 방법>

도 9는 부호화부를 구성하는 구성들의 블록도이다.

도 9를 참조하면, 본 발명의 실시예에 따른 부호화부(400)는 깊이영상 구면모델링부(401), 매개변수연산부(402), 예측깊이정보연산부(403)를 포함할 수 있다.

깊이영상 구면모델링부(401)는 깊이 영상 내에 포함된 구면 객체를 전술한 수학식 1과 같은 구의 방정식으로 모델링할 수 있다.

또한 매개변수연산부(402)는 깊이 영상 내의 화소들의 깊이 값과 좌표 값이 구의 방정식을 충족하도록, 구의 방정식의 매개변수(결정매개변수)를 전술한 수학식 2 내지 6에 따라 결정할 수 있다.

또한 예측깊이정보연산부(403)는 매개변수연산부(402)로부터 결정된 구의 방정식의 매개변수(결정매개변수)를 이용하여 전술한 수학식 5에 따른 깊이 영상 내의 화소들의 이상적인 깊이 값(구면의 객체 정보로부터 결정된 깊이 값, 결정깊이값)을 결정할 수 있다.

한편 깊이영상 구면모델링부(401)는 복수개로 분할된 블록들 별로 각각에 포함된 구면 객체를 구의 방정식으로 모델링할 수 있다. 이 경우 매개변수연산부(402)는 블록 내의 화소들의 깊이 값과 좌표 값이 구의 방정식을 충족하도록 구의 방정식의 결정매개변수를 구할 수도 있다. 그리고 예측깊이정보연산부(403)는 블록 내의 화소들의 결정깊이값을 구하여 측정된 깊이 값을 결정깊이값으로 보정할 수 있다.

또한 부호화부(400)는 결정깊이값과 측정된 깊이 값의 오차를 부호화하여 깊이 영상을 부호화할 수 있다.

도 10 및 도 11은 구면 모델링을 통한 깊이 영상의 부호화 방법에 대한 흐름도이다.

도 10 및 도 11을 참조하면, 본 발명의 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화 방법은 3차원 공간 상의 객체의 좌표 값 중 깊이 좌표 값이 화소의 측정된 깊이 값으로 투영되는 깊이 영상을 생성하는 단계(S100), 상기 객체를 미결정매개변수로 표현된 구의 방정식으로 모델링하는 단계(S200), 부호화 대상 화소의 미결정깊이변수와 측정된 화소의 깊이 값에 기초하여 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성하는 단계(S300), 상기 결정매개변수로부터 상기 부호화 대상 화소의 미결정깊이변수의 값을 결정하여 결정깊이값을 생성하는 단계(S400) 및 상기 결정깊이값에 기초하여 상기 부호화 대상 화소를 부호화하는 단계(S500)를 포함할 수 있다.

또한 부호화하는 단계(S500)에서 상세하게는 상기 결정깊이값과 상기 측정된 화소의 깊이 값의 오차를 부호화할 수 있다.

또한 상기 결정매개변수를 생성하는 단계(S400)는, 상기 보정 대상 화소의 미결정깊이변수와 상기 측정된 화소의 깊이 값의 오차가 최소가 되도록 하는 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성할 수 있다.

보다 상세하게는 최소자승법을 적용하여 상기 오차가 최소가 되도록 하는 상기 미결정매개변수의 값을 결정할 수 있다.

또한 상기 결정깊이값을 생성하는 단계(S500)는, 상기 결정매개변수와 상기 부호화 대상 화소의 좌표 값 그리고 초점거리에 기초하여 생성할 수 있다.

본 발명의 실시예에 따른 구면 모델링을 통한 깊이 영상의 부호화 방법은 3차원 공간 상의 객체의 좌표 값 중 깊이 좌표 값이 화소의 측정된 깊이 값으로 투영되는 깊이 영상을 생성하는 단계(S100), 상기 깊이 영상을 복수개의 블록으로 분할하는 단계(S200), 상기 블록 별로 블록 내에 포함된 객체를 미결정매개변수로 표현된 구의 방정식으로 모델링하는 단계(S300), 블록 내의 부호화 대상 화소의 미결정깊이변수와 측정된 화소의 깊이 값에 기초하여 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성하는 단계(S400), 상기 결정매개변수로부터 상기 블록 내의 부호화 대상 화소의 미결정깊이변수의 값을 결정하여 결정깊이값을 생성하는 단계(S500) 및 상기 결정깊이값에 기초하여 상기 블록 내의 부호화 대상 화소를 부호화하는 단계(S600)를 포함할 수 있고, 상기 복수개의 블록 별로 블록 내의 화소를 부호화할 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

10: 부호화장치
100: 깊이검출부
200: 블록분할부
300: 부호화 제어부
400: 부호화부
401: 깊이영상 구면모델링부
402: 매개변수연산부
403: 예측깊이정보연산부

Claims (9)

1. 삭제
2. 삭제
3. 삭제
4. 3차원 공간 상의 객체의 좌표 값 중 깊이 좌표 값이 화소의 측정된 깊이 값으로 투영되는 깊이 영상을 생성하는 단계;
   상기 깊이 영상을 M*N(M, N은 자연수) 화소로 이루어진 영역으로 결정된 사이즈를 가진 복수개의 블록으로 분할하는 단계;
   상기 분할된 블록 중 참조 블록 내의 객체를 제1 미결정매개변수로 표현된 수학식 1의 제1 구의 방정식으로 모델링하는 단계;
   상기 참조 블록 내의 제1 화소의 제1 미결정깊이변수와 측정된 제1 화소의 깊이 값에 기초하여 상기 제1 미결정매개변수의 값을 결정하여 제1 결정매개변수를 생성하는 단계;
   상기 제1 결정매개변수로부터 상기 분할된 블록 중 상기 참조 블록과 다른 대상 블록 내의 제2 화소의 깊이 값을 예측한 예측깊이값을 생성하는 단계; 및
   상기 예측깊이값과 상기 제2 화소의 측정된 깊이 값의 오차를 부호화하여 상기 대상 블록을 부호화하는 단계;를 포함하고,
   상기 예측깊이값을 생성하는 단계는,
   상기 제1 결정매개변수와 상기 제2 화소의 좌표 값 그리고 초점거리에 기초하여 생성하고,
   상기 참조 블록 내의 제1 화소의 제1 미결정깊이변수와 측정된 제1 화소의 깊이 값의 오차가 최소가 되도록 하는 상기 제1 미결정매개변수의 값을 결정하여 상기 제1 결정매개변수를 생성하고,
   상기 복수의 블록들 각각의 화소들의 깊이 값에 기초하여 분할된 블록들 중 구면 모델링 부호화 모드를 통해 부호화할 블록을 결정하는 단계;를 더 포함하는
   구면 모델링을 통한 깊이 영상의 부호화방법.
   [수학식 1]
   

   

   
   수학식 1에서의 (x, y, z)는 구면 객체의 한 점의 좌표이고, a, b, c는 구의 중심이고, r은 구의 반지름이며, 매개변수인 a, b, c, r은 제1 미결정매개변수이다.
5. 제4 항에 있어서,
   상기 제1 결정매개변수 및 상기 오차를 부호화하여 상기 대상 블록을 부호화함으로써 상기 깊이 영상을 전체를 부호화하는 구면 모델링을 통한 깊이 영상의 부호화방법.
6. 삭제
7. 제4 항에 있어서,
   최소자승법을 적용하여 상기 오차가 최소가 되도록 하는 상기 미결정매개변수의 값을 결정하는 것을 특징으로 하는
   구면 모델링을 통한 깊이 영상의 부호화방법.
8. 삭제
9. 삭제

Images