KR20090067547A

KR20090067547A - 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치

Info

Publication number: KR20090067547A
Application number: KR1020070135239A
Authority: KR
Inventors: 심재영
Original assignee: 삼성전자주식회사
Priority date: 2007-12-21
Filing date: 2007-12-21
Publication date: 2009-06-25
Also published as: US20090161989A1; EP2076048A3; CN101465004A; JP2009151758A; US8620099B2; CN101465004B; EP2076048B1; JP5603002B2; EP2076048A2; KR101367282B1

Abstract

본 발명은 영상 처리에 관한 것으로, 3차원 영상의 픽셀들 각각의 깊이값이, 상기 3차원 영상에 대한 측정 한계거리가 상기 3차원 영상에 대한 거리별 해상도에 따라 분할된 결과인 구간들 중 어느 구간에 해당하는지 판단하는 구간 판단부; 및 상기 구간 판단부의 판단 결과에 따라 상기 각각의 깊이값을 양자화하여 표현하는 적응적 양자화부를 포함할 수 있다.

3차원 영상, 깊이 정보, 적응적 정보 표현, 양자화

Description

깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치{Method and Apparatus for Adaptive Information representation of 3D Depth Image}

본 발명은 영상 처리에 관한 것으로, 특히 깊이 영상의 깊이 정보에 대한 처리 방법 및 장치에 관한 것이다.

3D 형상 정보를 취득하기 위해서는 여러 장의 컬러 영상들로부터 컴퓨터 영상(computer vision) 기술을 이용하여 수동적으로 추출하는 방법 등의 여러가지 방법이 제안되고 있으나, 일반적으로는 깊이 카메라(depth camera)라는 깊이 정보 획득 장치를 이용하여 깊이 영상(depth image)을 얻도록 하고 있다. 왜냐하면, 컴퓨터 영상 기술을 이용하는 방법 등은 일반적으로 그 과정이 복잡한데다가 정확한 실세계의 깊이 정보를 제공하기도 어렵다. 이에 비해 깊이 카메라를 이용하면 비교적 쉽고 정확하게 깊이 영상을 취득할 수 있기 때문이다.

도 1 은 일반적인 깊이 카메라의 원리에 대한 개념도이다.

도 1 을 참조하면, 적외선(IR: Infra Red)과 같은 광원(light source)(11)이 입사광(101)으로서 장면(Scene)(10)에 조사되고 그 반사광(102)을 깊이 센서(Depth Sensor)(12)로 감지하여 시간차(TOF: Time of Flight)를 측정함으로써 장면(10) 내 의 각각의 객체까지의 거리를 계산할 수 있다. 그 결과, 감지된 광의 intensity 영상(14)과 계산된 깊이 영상(13)을 얻을 수 있다.

구체적으로, 깊이 카메라는 그 깊이 카메라에 구비된 촬영 버튼이 조작되면, 장면(10)내의 피사체에 적외선을 조사하고, 그 피사체의 각 지점마다, 적외선이 조사된 시점부터 그 지점으로부터 반사된 적외선이 감지되는 시점까지의 시간을 고려하여 그 지점의 깊이값을 계산하고, 계산된 깊이값을 영상으로 표현함으로써, 그 피사체를 나타내는 깊이 영상(13)을 생성 및 획득한다. 여기서, 깊이값이란 그 깊이 카메라로부터의 거리를 의미한다.

이러한 깊이 영상의 픽셀들 각각의 깊이값은, 그 깊이값에 관계없이 일정한 비트수로 표현되므로, 그 일정한 비트수가 그 픽셀의 깊이값을 표현하는 데 불필요하게 많은 경우가 일반적이고, 이 경우, 그 깊이 영상의 효율적인 저장, 효율적인 전송, 효율적인 처리에 한계가 있을 수 밖에 없다는 문제점이 존재한다.

본 발명은 깊이 카메라로부터 얻어지는 깊이 정보를 측정 거리에 따른 해상도 특성을 고려하여 거리에 따라 적응적인 최적의 양자화 값으로 표시하기 위한 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치를 제공하는 것을 그 목적으로 한다.

또한, 본 발명은 거리별로 적응적인 정보 표현이 가능하도록 함으로써, 깊이 정보의 정확도를 잃지 않으면서 적은 데이터 양으로 저장 및 전송할 수 있도록 하 는데 그 목적이 있다.

본 발명의 실시예를 통해, 3차원 영상의 픽셀들 각각의 깊이값이, 상기 3차원 영상에 대한 측정 한계거리가 상기 3차원 영상에 대한 거리별 해상도에 따라 분할된 결과인 구간들 중 어느 구간에 해당하는지 판단하는 구간 판단부; 및 상기 구간 판단부의 판단 결과에 따라 상기 각각의 깊이값을 양자화하여 표현하는 적응적 양자화부를 포함하는 깊이 정보에 대한 적응적 정보 표현 장치를 제공함을 그 목적으로 한다.

또한, 본 발명은, 각각은 3차원 영상에 대한 측정 한계거리가 상기 3차원 영상에 대한 거리별 해상도에 따라 구분된 결과인 영역들 각각에 대응되며 양자화된 대표값들을 나타내는 Look-up Table을 저장하는 Look-up Table 저장부; 및 상기 3차원 영상의 픽셀들 각각의 깊이값마다,상기 Look-up Table에 나타난 대표값들 중 상기 깊이값에 대응된 대표값을 상기 깊이값의 양자화된 결과로서 출력하는 적응적 양자화부를 포함하는 깊이 정보에 대한 적응적 정보 표현 장치를 제공함을 그 목적으로 한다.

한편, 본 발명은, 3차원 영상의 픽셀들 각각의 깊이값이, 상기 3차원 영상에 대한 측정 한계거리가 상기 3차원 영상에 대한 거리별 해상도에 따라 분할된 결과인 구간들 중 어느 구간에 해당하는지 판단하는 단계; 및 상기 판단 결과에 따라 상기 각각의 깊이값을 양자화하여 표현하는 단계를 포함하는 깊이 정보에 대한 적응적 정보 표현 방법을 제공하는 것을 그 목적으로 한다.

또한, 본 발명은, 3차원 영상의 픽셀들 각각의 깊이값마다, 각각은 상기 3차원 영상에 대한 측정 한계거리가 상기 3차원 영상에 대한 거리별 해상도에 따라 구분된 결과인 영역들 각각에 대응되며 양자화된 대표값들을 나타내며 미리 마련된 Look-up Table에서 상기 깊이값에 대응된 대표값을 찾는 단계; 및 상기 찾아진 대표값을 상기 깊이값의 양자화된 결과로서 결정하는 단계를 포함하는 단계를 포함하는 깊이 정보에 대한 적응적 정보 표현 방법을 제공하는 것도 그 목적으로 한다.

실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

도 2a 또는 도 2b 는 본 발명의 제1 실시예에 따른 깊이 정보 표현 방식의 예시도이다.

도 2a를 참조하여 깊이 카메라의 깊이 정보 표현 방식을 살펴보면, 깊이 카메라(21)는 측정 한계거리 (22)까지 깊이값에 관계없이 항상 일정한 비트수로 깊이 정보를 양자화하여 표현한다. 즉, 깊이값에 관계없이 그 깊이값의 해상도가 동일하다. 본 명세서에서, 측정 한계거리란 깊이 카메라(21)가 측정할 수 있는 최대 깊이 값을 의미한다.

이를 좀 더 상세히 살펴보면, 도 2a에 도시된 깊이 카메라(21)는, 3차원 영상의 픽셀들 각각의 깊이값이 깊이 카메라(21)로부터 가까운 거리(Near Distance) 또는 먼 거리(Far Distance)를 의미하는지에 관계없이 모든 깊이값의 해상도(Depth Resolution)를 동일한 값으로 표현한다. 본 명세서에서, 3차원 영상은 픽셀들 각각마다 깊이값을 갖는 영상을 의미하며, 깊이 카메라에 의해 획득되는 깊이 영상은 3차원 영상의 일 례이다. 또한, 본 명세서에서, 해상도란 정밀도(accuracy)를 의미한다. 즉, 깊이 카메라(21)의 해상도가 높다는 것은 깊이 카메라(21)가 깊이값을 양자화함에 있어 양자화 스텝 사이즈(step size)가 작다는 것을 의미하고, 깊이 카메라(21)의 해상도가 낮다는 것은 깊이 카메라(21)가 깊이값을 양자화함에 있어 양자화 스텝 사이즈가 크다는 것을 의미한다. 도 2a에 도시된 바에서는, 깊이 카메라(21)로부터 가까운 거리를 의미하는 깊이값을 양자화함에 있어 고려되는 양자화 스텝 사이즈(201)는, 깊이 카메라(21)로부터 먼 거리를 의미하는 깊이값을 양자화함에 있어 고려되는 양자화 스텝 사이즈(202)와 동일하다.

이 경우, 깊이 카메라(21)의 해상도는 깊이 카메라(21)마다 상이하기 때문에 이를 고려해서 깊이 카메라(21)의 특성에 맞는 비트수를 결정한 뒤, 깊이 카메라(21)는 그 결정된 비트수로 깊이값을 양자화한다.

도 2b는 깊이 카메라(21)가, 자신이 측정할 수 있는 깊이값을 언제나 일정한 해상도로 양자화하는 경우, 그 깊이 카메라(21)의 특성에 맞도록 깊이값을 표현하도록 하는 장치에 관한 예시도이다. 도 2b에 도시된 본 발명에 의한 깊이 정보에 대한 적응적 정보 표현 장치는, 깊이 카메라(21)상에 구현될 수 있다.

즉, 도 2b에 도시된 적응적 양자화부(23)는 , 측정 한계거리(22)에 대한 정보인 측정 한계거리 정보와, '깊이값에 관계없이 일정한' 해상도에 관한 정보인 해상도 정보를 입력단자 IN 1을 통해 입력받는다. 이 때, 측정 한계거리와 해상도는 적응적 양자화부(23)가 구비된 깊이 카메라(21)의 사양(specification)으로서 고유하게 결정되어 있다. 이 후, 적응적 양자화부(23)는 그 입력된 측정 한계거리(22)를 그 입력된 해상도를 고려하여 비트수를 결정한다. 이 때, 그 결정된 비트수는 그 입력된 측정 한계거리(22)가 그 입력된 해상도로 분할됨으로써 생성되는 영역들의 개수를 표현하기 위해 필요한 최소한의 비트수를 의미할 수 있다. 본 명세서에서, 영역은 측정 한계거리가 양자화 스텝 사이즈로 분할된 결과들 각각을 의미한다. 이 후, 적응적 양자화부(23)는 입력단자 IN 2를 통해 입력된 3차원 영상의 픽셀들 각각의 깊이값을 그 결정된 비트수로 양자화하여 그 각각의 깊이값을 표현하고, 양자화된 깊이값을 출력단자 OUT 1을 통해 출력한다.

이 경우 깊이 카메라(21)의 해상도를 고려하지 않고 불필요하게 많은 비트수(예를 들어, 16비트)를 사용하여 깊이 정보를 표현하는 경우에 비해 보다 적은 메모리로 깊이 정보를 저장 및 전송할 수 있다.

예를 들어, 측정 한계거리(22)가 10m이고, 깊이 카메라(21)의 측정 가능한 깊이값의 해상도가 양자화 스텝 사이즈가 3mm인 해상도라 가정한다.

이 때, 10m 범위에서 3mm의 오차 내에서 깊이 값을 표현할 수 있는 최소 비트수는 <수학식 1>과 같다. 즉, 적응적 양자화부(23)는 다음의 수학식 1에 따라 비 트수를 결정할 수 있다.

( 수학식 1에 표기된 꺽쇠 기호는 기호안의 값을 넘는 최소의 정수를 의미하며, 이는 이하의 수학식에서도 마찬가지이다.).

따라서, 만일, 기존의 방법이 3차원 영상의 픽셀 당 깊이값을 16 비트를 사용하여 표현한다면, 본 발명의 제1 실시예에 따를 경우, 기존의 방법에 비해 4비트 줄어든 12비트만을 사용하고도 한 픽셀의 깊이값을 기존의 방법과 동일한 정확도로 표현할 수 있다.

한편, 일반적으로 깊이 카메라로 측정할 수 있는 깊이 값은 깊이 카메라로부터 거리가 가까울수록 그 해상도는 높아지고, 깊이 카메라로부터 거리가 멀어질수록 그 해상도는 낮아진다. 즉, 가까운 거리에서는 세밀하게 깊이를 표현할 수 있지만 먼 거리에서는 세밀하게 깊이를 표현할 필요가 없는 경우가 많이 발생한다. 이 경우, 깊이 카메라가, 도 2a 및 도 2b에 도시된 바와 같이, 자신이 측정할 수 있는 깊이값 모두를 동일한 해상도로 표현함에 있어, 그 해상도가 깊이 카메라로부터 가까운 거리에 맞추어진 경우에는 깊이 카메라로부터 먼 거리를 의미하는 깊이값에 대해서는 불필요하게 많은 비트 수를 할당하게 되고, 그 해상도가 깊이 카메라로부터 먼 거리에 맞추어진 경우에는 깊이 카메라로부터 가까운 거리를 의미하는 깊이값은 정확하게 표현될 수 없다.

따라서, 이러한 특성을 반영하여 가까운 거리에서 측정된 깊이 정보는 세밀한 해상도로 표현하고, 먼 거리에서 측정된 깊이 정보는 성긴 해상도로 표현함으로써 정확도와 효율적인 비트 할당을 동시에 할 수 있도록 하는 방법을 제안한다.

도 3a 내지 도 3d는 본 발명의 제2 실시예 및 제3 실시예에 따른 깊이 정보에 대한 적응적 정보 표현 장치의 예시도이다.

도 3a는 본 발명의 제2 실시예 또는 제3 실시예에 따른 깊이 영상의 깊이 정보에 대한 적응적 정보 표현 장치에서의 깊이 카메라의 깊이 정보 표현 방식을 설명하기 위한 개념도이다. 도 3a는 깊이 카메라(31)가 깊이값에 따라 다른 정확도로 깊이 정보를 측정하는 경우를 도시하고 있다.

도 3a에 도시된 바에 따르면, 본 발명의 제2 실시예 또는 제3 실시예에 따른 깊이 정보에 대한 적응적 정보 표현 방법을 위해서는, 측정 한계거리를 각각 내에서는 해상도가 일정한 다수의 구간들로 분할하고, 각각의 구간 별로 서로 다른 양자화 스텝 사이즈로 깊이값을 양자화하여 표현하는 것을 도시하고 있다.

이를 위해서, 우선, 측정의 대상이 되는 깊이 카메라(31)로부터 측정 한계거리(32)에 관한 정보인 측정 한계거리 정보 및 거리별 해상도에 관한 정보인 거리별 해상도 정보를 입력받는다. 본 명세서에서, 거리별 해상도란, 깊이 카메라(31)로부터의 거리에 따른 해상도를 의미한다. 한편, 그 입력된 측정 한계거리 정보에 나타난 측정 한계거리는, 그 입력된 거리별 해상도 정보에 나타난 거리별 해상도에 따라, 각각내에서는 해상도가 일정한 다수의 구간들로 분할된다.

그리고 각각의 구간 별로 해상도에 따른 거리별 비트수를 할당한다. 이 때, 구간에 대한 거리별 비트수란, 그 구간에서의 해상도를 고려하여 결정된 비트수를 의미한다. 구체적으로, 구간에 대한 거리별 비트수란, 그 구간의 길이가 그 구간에서의 해상도로 구분된 결과를 표현하기 위해 필요한 최소한의 비트수를 의미할 수 있다. 즉, 구간에 대한 거리별 비트수란, 그 구간의 길이를 그 구간에서의 해상도로 분할됨으로써 생성되는 영역들의 개수를 표현하기 위해 필요한 최소한의 비트수를 의미할 수 있다.

그리고 소정의 객체에 대해서 깊이 정보를 측정한다.

그 측정 결과, 측정된 거리가 어떤 구간에 해당하느냐에 따라서 거리별 비트수로 그 깊이값을 양자화하여 표현한다.

도 3b 는 본 발명의 제2 실시예에 따른 3차원 영상의 깊이 정보에 대한 적응적 정보 표현 장치에 대한 일실시예 구성도이다.

도 3b에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 3차원 영상의 깊이 정보에 대한 적응적 정보 표현 장치는, 거리 구간 구분 처리부(33), 구간 판단부(34), 및 적응적 양자화부(35)를 포함할 수 있다.

여기서, 거리 구간 구분 처리부(33)는, 적응적인 해상도 값을 표현하기 위해, 3차원 영상에 대한 측정 한계거리(32)에 대한 정보인 측정 한계거리 정보 및 그 3차원 영상에 대한 거리별 해상도에 대한 정보인 거리별 해상도 정보를 입력단자 IN 3을 통해 입력 받고, 그 입력된 측정 한계거리 정보에 나타난 측정 한계거리(32)를 그 입력된 거리별 해상도 정보에 나타난 거리별 해상도를 고려하여 다수의 구간들로 분할한다. 본 명세서에서, 3차원 영상에 대한 측정 한계거리란, 그 3 차원 영상을 생성한 깊이 카메라(31)의 사양으로서 고유하게 결정되어 있는 측정 한계거리를 의미하고, 3차원 영상에 대한 거리별 해상도란, 그 3차원 영상을 생성한 깊이 카메라(31)의 사양으로서 고유하게 결정되어 있으며 구간마다 값이 상이한 해상도를 의미한다.

또한, 거리 구간 구분 처리부(33)는 구간들 각각마다 그 구간에 대한 거리별 비트수를 결정한다.

구간 판단부(34)는 거리 구간 구분 처리부(33)에 의해 측정 한계거리가 어떠한 구간들로 나뉘었는지에 대해 인지하고 있으며, 입력단자 IN 4를 통해 입력된 3차원 영상의 픽셀들 각각의 깊이값이 그 구간들 중 어느 구간에 속하는지 판단한다.

적응적 양자화부(35)는 거리 구간 구분 처리부(33)에 의해 각 구간마다 결정된 거리별 비트수를 인지하고 있으며, 입력단자 IN 4를 통해 입력된 3차원 영상의 픽셀들 각각의 깊이값을, 구간 판단부(34)의 판단 결과에 따라 양자화한다. 즉, 적응적 양자화부(35)는, 그 각각의 깊이값마다, 그 깊이값을 그 깊이값이 속한다고 판단된 구간에 대한 거리별 비트수로 양자화하여 표현하고, 양자화된 결과를 출력단자 OUT 2를 통해 출력한다.

한편, 입력단자 IN 3을통해 입력된 측정 한계거리 정보와 거리별 해상도 정보는 '입력단자 IN 4를 통해 입력되는 3차원 영상'에 대한 측정 한계거리에 대한 정보와 거리별 해상도에 대한 정보이다.

도 3c 는 본 발명의 제2 실시예 또는 제3 실시예에 따른 3차원 영상의 깊이 정보에 대한 적응적 정보 표현 방식에 대한 상세 예시도이다.

도 3c의 예시도는 측정 한계거리(32)가7.5m인 깊이 카메라(31)의 측정 거리에 따른 해상도를 각각 다음과 같이 정의하는 경우를 가정한다.

제 1 구간(310)을 깊이 카메라(31)로부터 0.3m까지로 하고 여기서의 해상도는 양자화 스텝 사이즈가 2.5mm인 해상도로 한다. 제 2 구간(320)을 깊이 카메라(31)로부터 0.3m에서 1m까지로 하고 여기서의 해상도는 양자화 스텝 사이즈가 6mm인 해상도로 한다. 제 3 구간(330)을 깊이 카메라(31)로부터 1m에서 2m까지로 하고 여기서의 해상도는 양자화 스텝 사이즈가 13mm인 해상도로 한다. 제 4 구간(340)을 깊이 카메라(31)로부터 2m에서 7.5m까지로 하고 여기서의 해상도는 양자화 스텝 사이즈가 22mm인 해상도로 한다.

이 경우, 각 구간별(310, 320, 330, 340)로 해당하는 해상도를 표현할 수 있는 최소 비트수를 계산하면 다음과 같다. 즉, 거리 구간 구분 처리부(33)는 다음의 수학식 2에 따라, 제1 구간(310)에 대한 거리별 비트수를 결정할 수 있고, 다음의 수학식 2에 따라, 제2 구간(320)에 대한 거리별 비트수를 결정할 수 있고, 다음의 수학식 3에 따라, 제3 구간(330)에 대한 거리별 비트수를 결정할 수 있고, 다음의 수학식 4에 따라, 제4 구간(340)에 대한 거리별 비트수를 결정할 수 있다.

이 경우, 3차원 영상의 픽셀들 각각의 깊이값을 양자화하여 표현함에 있어, 그 각각의 깊이값이 어느 구간(310, 320, 330, 340)에 포함되는지를 별도의 부가 정보로 표현할 필요가 있고, 본 실시예에서는 구간의 수가 4개이므로 2비트로 이 부가 정보를 표현할 수 있다.

결론적으로, 만일, 종래의 기술이 3차원 영상의 픽셀들 각각의 깊이값을 일률적으로 16 비트를 사용하여 표현한다면, 본 발명의 제2 실시예에 따를 경우, (0~0.3m), (0.3m~1.0m), (1.0m~2.0m) 및 (2.0m~7.5m)의 각각의 구간별(310, 320, 330, 340)로 9, 9, 9, 10비트로 각각의 깊이값을 표현할 수 있으므로, 이는 일률적으로 16비트로 깊이값을 표현하는 종래의 기술에 비해 훨씬 적은 비트수를 사용하고도 한 픽셀의 깊이값을 종래의 기술과 동일한 정확도로 표현할 수 있다.도 3d 는 본 발명의 제3 실시예에 따른 3차원 영상의 깊이 정보에 대한 적응적 정보 표현 장 치에 대한 또다른 일실시예 구성도이다.

도 3b에서는 측정 한계거리(32)를 구간들로 구분하고 각 구간별로 독립적인 양자화를 수행하여 깊이값을 표현하였다. 그러나, 전체 측정 한계거리(32)에 대해 거리에 따라 달라지는 해상도를 고려한 대표 값을 미리 설정하고 이를 look-up table로 만든 후에, 입력되는 깊이값을 이 look-up table을 이용하여 양자화 및 표현할 수도 있으며, 이하, 도 3c 및 도 3d를 이용하여 본 발명의 제3 실시예로서 설명한다.

도 3c의 예로부터(0~0.3m), (0.3m~1.0m), (1.0m~2.0m), (2.0m~7.5m)각 구간별(310, 320, 330, 340) 해상도를 고려하여, 각 구간마다 그 구간에 속하는 깊이값들을 표현할 수 있는 대표값의 개수는 각각 다음과 같다. 즉, 제1 구간(310)에 속하는 깊이값들을 나타내는 대표값들의 개수는 수학식 6으로 표현될 수 있고, 제2 구간(320)에 속하는 깊이값들을 나타내는 대표값들의 개수는 수학식 7로 표현될 수 있고, 제3 구간(330)에 속하는 깊이값들을 나타내는 대표값들의 개수는 수학식 8로 표현될 수 있고, 제4 구간(340)에 속하는 깊이값들을 나타내는 대표값들의 개수는 수학식 9로 표현될 수 있다.

이를 모두 합치면 총 564개의 대표값이 되고, 이것은 10비트로 표현할 수 있다. 따라서 도 3d과 같이 측정 한계거리(32) 내의 564개의 대표값을 look-up table로 만들어 두고, 3차원 영상의 픽셀들 각각의 깊이값을 look-up table을 이용하여 10비트로 양자화하고 표현할 수 있다.

이 경우는, 본 발명의 제2 실시예에서와 달리, 3차원 영상의 픽셀들 각각의 깊이값을 양자화하여 표현함에 있어, 그 각각의 깊이값이 어느 구간에 속하는지를 나타낼 필요는 없다.

결국, 도 3c에 도시된 바에 따르면, 본 발명의 제3 실시예에 의한 적응적 양자화부(38)는 3차원 영상의 픽셀들 각각의 깊이값을 10비트로 양자화하여 표현한다. 만일, 종래의 기술이 3차원 영상의 픽셀들 각각의 깊이값을 일률적으로 16 비트를 사용하여 표현한다면, 본 발명의 제3 실시예에 의한 적응적 양자화부(38)는, 일률적으로 16비트로 깊이값을 표현하는 종래의 기술에 비해 훨씬 적은 비트수를 사용하고도 한 픽셀의 깊이값을 종래의 기술과 동일한 정확도로 표현할 수 있다.

도 3d에 도시된 바와 같이, 본 발명의 제3 실시예에 따른 깊이 영상의 깊이 정보에 대한 적응적 정보 표현 장치는, Look-up Table 생성부(36), Look-up Table 저장부(37), 및 적응적 양자화부(38)를 포함할 수 있다.

여기서, Look-up Table 생성부(36)는, 적응적인 해상도 값을 표현하기 위해, 3차원 영상에 대한 측정 한계거리를 나타내는 측정 한계거리(32) 정보 및 그 3차원 영상에 대한 거리별 해상도를 나타내는 거리별 해상도 정보를 입력단자 IN 5를 통해 입력 받고, 그 입력된 측정 한계거리 정보에 나타난 측정 한계거리(32)를 그 입력된 거리별 해상도 정보에 나타난 거리별 해상도를 고려하여 다수의 영역들로 구분하고, 그 구분된 영역들 각각마다 대표값을 설정하고, 설정된 대표값들 각각을 그 영역들의 개수에 상응하는 비트수로 양자화하고, 양자화된 대표값들을 나타내는 Look-up Table을 생성한다. 여기서, 그 영역들의 개수에 상응하는 비트수는, 측정 한계거리(32)의 영역들의 개수를 표현하기 위해 필요한 최소한의 비트수를 의미할 수 있다.

결국, Look-up Table 생성부(36)가 생성한 Look-up Table은, 각각은 영역들 각각에 대응되며 양자화되어 있는 대표값들을 나타낸다.

Look-up Table 저장부(37)는 Look-up Table 생성부(36)에 의해 생성된 Look-up Table을 저장한다.

적응적 양자화부(38)는, 입력단자 IN 6을 통해 입력된 3차원 영상의 픽셀들 각각의 깊이값마다, 그 저장된 Look-up Table에 나타난 대표값들 중 그 깊이값에 대응된 대표값을 그 깊이값의 양자화된 결과로서 출력단자 OUT 3을 통해 출력한다.

한편, 입력단자 IN 5를통해 입력된 측정 한계거리 정보와 거리별 해상도 정보는 '입력단자 IN 6을 통해 입력되는 3차원 영상'에 대한 측정 한계거리에 대한 정보와 거리별 해상도에 대한 정보이다.

도 4a는 본 발명의 제1 실시예에 따른 깊이 정보에 대한 적응적 정보 표현 방법을 설명하기 위한 플로우챠트이며, 도 2b를 이용하여 설명하면 다음과 같다.

적응적 양자화부(23)는 3차원 영상의 픽셀들 각각의 깊이값을, 깊이 카메라(21)의 측정 한계거리 및 해상도에 따라 결정된 비트수로 양자화하여 표현한다(제41 단계).

도 4b는 본 발명의 제2 실시예에 따른 깊이 정보에 대한 적응적 정보 표현 방법을 설명하기 위한 플로우챠트이며, 도 3b를 이용하여 설명하면 다음과 같다.

구간 판단부(34)는 3차원 영상의 픽셀들 각각의 깊이값이, 그 3차원 영상에 대한 측정 한계거리가 그 3차원 영상에 대한 거리별 해상도에 따라 분할된 결과인 구간들 중 어느 구간에 속하는지 판단한다(제42 단계).

제42 단계 후에, 적응적 양자화부(35)는 그 3차원 영상의 픽셀들 각각의 깊이값을, 제42 단계의 판단 결과에 따라 양자화하여 표현한다(제43 단계).

도 4c는 본 발명의 제3 실시예에 따른 깊이 정보에 대한 적응적 정보 표현 방법을 설명하기 위한 플로우챠트이며, 도 3d를 이용하여 설명하면 다음과 같다.

적응적 양자화부(38)는, 3차원 영상의 픽셀들 각각의 깊이값마다, 그 깊이값 에 대응된 대표값을 Look-up Table 저장부(37)에 저장된 Look-up Table에서 찾는다(제44 단계).

제44 단계 후에, 적응적 양자화부(38)는 그 3차원 영상의 픽셀들의 깊이값들 각각마다, 그 깊이값에 대해 제44 단계에서 찾아진 대표값을 그 깊이값의 양자화된 결과로서 결정한다(제45 단계).

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

도 1 은 일반적인 깊이 카메라의 원리에 대한 개념도이다.

도 2a 및 도 2b 는 일반적인 깊이 카메라의 깊이 정보 표현 방식에 대한 제1 실시예의 예시도이다.

도 3a 내지 도 3d는 본 발명의 실시예에 따른 3차원 영상의 깊이 정보에 대한 적응적 정보 장치에 대한 제2 실시예 및 제3 실시예의 예시도들이다.

도 4a 내지 도 4c 는 본 발명의 실시예에 따른 3차원 영상의 깊이 정보에 대한 적응적 정보 표현 방법에 대한 제1 실시예 내지 제3 실시예의 흐름도들이다.

Claims

3차원 영상의 픽셀들 각각의 깊이값이, 상기 3차원 영상에 대한 측정 한계거리가 상기 3차원 영상에 대한 거리별 해상도에 따라 분할된 결과인 구간들 중 어느 구간에 속하는지 판단하는 구간 판단부; 및

상기 구간 판단부의 판단 결과에 따라 상기 각각의 깊이값을 양자화하여 표현하는 적응적 양자화부를 포함하는 깊이 정보에 대한 적응적 정보 표현 장치.
제1 항에있어서, 상기 깊이 정보에 대한 적응적 정보 표현 장치는

상기 측정 한계거리를 상기 거리별 해상도를 고려하여 상기 구간들로 분할하는 거리 구간 구분 처리부를 더 포함하는 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 장치.
제1 항에있어서, 상기 적응적 양자화부는

상기 구간들 각각마다 상기 구간에서의 상기 해상도에 따라 정해진 비트수 중, 상기 각각의 깊이값이 속한 상기 구간에서의 상기 비트수로 상기 각각의 깊이값을 양자화하는 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 장치.
제3 항에있어서, 상기 구간들 각각마다, 상기 비트수는 상기 구간의 길이 및 상기 구간에서의 상기 해상도에 따라 정해진 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 장치.
제3 항에있어서, 상기 구간에 대해 정해진 상기 비트수는, 상기 구간이 상기 구간에서의 상기 해상도로 구분된 결과를 표현하기 위해 필요한 최소한의 비트수인 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 장치.
제1 항에있어서, 상기 해상도는 상기 구간마다 상이한 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 장치.
각각은 3차원 영상에 대한 측정 한계거리가 상기 3차원 영상에 대한 거리별 해상도에 따라 구분된 결과인 영역들 각각에 대응되며 양자화된 대표값들을 나타내는 Look-up Table을 저장하는 Look-up Table 저장부; 및

상기 3차원 영상의 픽셀들 각각의 깊이값마다,상기 Look-up Table에 나타난 대표값들 중 상기 깊이값에 대응된 대표값을 상기 깊이값의 양자화된 결과로서 출력하는 적응적 양자화부를 포함하는 깊이 정보에 대한 적응적 정보 표현 장치.
제7 항에있어서, 상기 깊이 정보에 대한 적응적 정보 표현 장치는

상기 Look-up Table을 생성하는 Look-up Table 생성부를 더 포함하는 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 장치.
제7 항에있어서, 상기 양자화된 대표값들 각각은, 상기 영역들의 개수에 상응하는 비트수로 양자화된 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 장치.
3차원 영상의 픽셀들 각각의 깊이값이, 상기 3차원 영상에 대한 측정 한계거리가 상기 3차원 영상에 대한 거리별 해상도에 따라 분할된 결과인 구간들 중 어느 구간에 속하는지 판단하는 단계; 및

상기 판단 결과에 따라 상기 각각의 깊이값을 양자화하여 표현하는 단계를 포함하는 깊이 정보에 대한 적응적 정보 표현 방법.
제10 항에 있어서, 상기 깊이 정보에 대한 적응적 정보 표현 방법은

상기 측정 한계거리를 상기 거리별 해상도를 고려하여 상기 구간들로 분할하는 단계를 더 포함하는 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 방법.
제10 항에 있어서, 상기 표현하는 단계는

상기 구간들 각각마다 상기 구간에서의 상기 해상도에 따라 정해진 비트수 중, 상기 각각의 깊이값이 속한 상기 구간에서의 상기 비트수로 상기 각각의 깊이값을 양자화하는 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 방법.
제12 항에 있어서, 상기 구간들 각각마다, 상기 비트수는 상기 구간의 길이 및 상기 구간에서의 상기 해상도에 따라 정해진 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 방법.
제12 항에 있어서, 상기 구간에 대해 정해진 상기 비트수는, 상기 구간이 상기 구간에서의 상기 해상도로 구분된 결과를 표현하기 위해 필요한 최소한의 비트수인 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 방법.
제10 항에 있어서, 상기 해상도는 상기 구간마다 상이한 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 방법.
3차원 영상의 픽셀들 각각의 깊이값마다, 각각은 상기 3차원 영상에 대한 측정 한계거리가 상기 3차원 영상에 대한 거리별 해상도에 따라 구분된 결과인 영역들 각각에 대응되며 양자화된 대표값들을 나타내며 미리 마련된 Look-up Table에서 상기 깊이값에 대응된 대표값을 찾는 단계; 및

상기 찾아진 대표값을 상기 깊이값의 양자화된 결과로서 결정하는 단계를 포함하는 단계를 포함하는 깊이 정보에 대한 적응적 정보 표현 방법.
제16 항에 있어서, 상기 깊이 정보에 대한 적응적 정보 표현 방법은

상기 Look-up Table을 생성하는 단계를 더 포함하고, 상기 찾는 단계는 상기 깊이값에 대응된 대표값을 상기 생성된 Look-up Table에서 찾는 것을 특징으로 하는 깊이 정보 대한 적응적 정보 표현 방법.
제16 항에 있어서, 상기 양자화된 대표값들 각각은, 상기 영역들의 개수에 상응하는 비트수로 양자화된 것을 특징으로 하는 깊이 정보에 대한 적응적 정보 표현 방법.