KR101651421B1 - 컬러 압축 영상에 깊이 정보를 은닉하는 방법 - Google Patents

Abstract

컬러 압축 비트열에 깊이 정보를 은닉하는 방법에 관한 컴퓨터 구현 방법(computer implemented method)으로서, (a) 미리 지정된 정보 은닉 기법에 의해 상기 컬러 압축 비트열에 은닉 가능한 워터마크 용량(watermark capacity)을 계산하는 단계; (b) 컬러 영상의 분할(segmentation)의 개수 및 상기 컬러 영상과 동일 시점(view point)을 갖는 깊이 영상의 깊이 값을 클러스터링(clustering)할 클러스터링 개수를 결정하는 단계; (c) 상기 결정된 분할 개수 및 상기 결정된 클러스터링 개수를 적용할 때 생성될 워터마크 비트 수가 상기 계산된 워터마크 용량을 초과하는지 여부를 판별하는 단계; (d) 상기 판별 결과 초과하지 않는 경우, 영상 세그먼트 별로 적용된 클러스터링 깊이 값에 기반하여 재구성된 깊이 영상을 생성하는 단계; 및 (e) 상기 생성된 재구성 깊이 영상의 퀄리티(quality) 비교를 통해 원본 깊이 영상과 가장 근접한 정확도를 갖는 재구성 깊이 영상에 의할 때의 워터마크 비트를 상기 컬러 압축 비트열에 은닉시키는 단계를 포함하는 깊이 정보 은닉 방법이 제공된다.

Description

컬러 압축 영상에 깊이 정보를 은닉하는 방법{METHOD FOR EMBEDDING OF DEPTH INFORMATION IN COMPRESSED COLOR IMAGE}

본 발명은 정보 은닉 방법에 관한 것으로서, 보다 구체적으로는 컬러 압축 영상에 깊이 정보를 은닉하는 방법에 관한 것이다. 본 발명은 스마트폰, 태블릿 PC, TV, 컴퓨터, 디스플레이 장치 등 영상 압축 기술이 적용되는 모든 장치에 적용 가능한 기술이다.

3D 영상 센서 및 3D 디스플레이 기술의 발전에 따라 3D 영상을 이용한 응용이 활발하게 개발되고 있다. 현재, 깊이 영상(depth image)과 컬러 영상(color image)을 결합한 형태의 3D 영상 형식이 널리 사용되고 있다. 일반적으로 깊이 영상은 깊이 카메라(depth camera)로부터 직접 취득(capture) 되거나 컬러 영상으로부터 스테레오 매칭(stereo matching) 기법을 통하여 예측(estimation)된다.

기존의 컬러 영상 응용에서는 컬러 영상만을 압축/전송하였으나, 3D 영상 응용에서는 깊이 영상을 별도로 압축/전송해야 할 필요가 있다. 그러므로 깊이 영상을 별도로 압축할 수 있는 압축 방식이 필요할 수 있다. 이때 컬러 영상의 압축 방식을 그대로 깊이 영상 압축에 적용할 수 있다. 깊이 영상의 압축으로부터 발생되는 비트열(bitstream)을 저장하기 위하여 별도의 메모리 공간이 필요하며, 이를 전송하기 위하여 별도의 대역폭(bandwidth)가 필요하다.

한편 영상에 정보를 은닉(data hiding)하는 기술이 발전하고 있다. 특히 영상 압축 결과 비트열에 정보를 은닉하는 기술(compressed domain data hiding)이 본 발명의 배경 기술이다. 이러한 컬러 압축 영상에 데이터를 은닉하는 기술과 관련된 선행 기술로는 'Z. Qian and X. Zhang, "Lossless data hiding in JPEG bitstream," Journal of Systems and Software, vol. 85, no. 2, pp. 309-313, 2012.'이 있다. 비트열에 정보를 은닉하는 방식을 통하여 은닉 전/후 비트열의 길이(bitstream length)가 변하지 않으며, 은닉 전/후 복호화 영상(decoded image)이 변하지 않으며, 압축 포맷을 손상시키지 않는다는 장점을 가질 수 있다.

본 발명은 컬러 압축 영상의 비트열에 깊이 영상 정보를 은닉하는 방법으로서, 워터마크 용량(watermark capacity) 및 컬러/깊이 영상의 상관 관계를 고려하여 깊이 영상에서 은닉이 가능한(embeddable) 정보를 추출하는 방법을 제안한다.

또한 본 발명은 송신부에서 컬러 영상에 깊이 정보를 은닉하여 전송하고 수신부에서 깊이 정보를 추출하여 3D 응용에 활용하는 구조를 제안한다.

본 발명의 일 측면에 따르면, 컬러 압축 비트열에 깊이 정보를 은닉하는 방법에 관한 컴퓨터 구현 방법(computer implemented method)으로서,

(a) 미리 지정된 정보 은닉 기법에 의해 상기 컬러 압축 비트열에 은닉 가능한 워터마크 용량(watermark capacity)을 계산하는 단계; (b) 컬러 영상의 분할(segmentation)의 개수 및 상기 컬러 영상과 동일 시점(view point)을 갖는 깊이 영상의 깊이 값을 클러스터링(clustering)할 클러스터링 개수를 결정하는 단계; (c) 상기 결정된 분할 개수 및 상기 결정된 클러스터링 개수를 적용할 때 생성될 워터마크 비트 수가 상기 계산된 워터마크 용량을 초과하는지 여부를 판별하는 단계; (d) 상기 판별 결과 초과하지 않는 경우, 영상 세그먼트 별로 적용된 클러스터링 깊이 값에 기반하여 재구성된 깊이 영상을 생성하는 단계; 및 (e) 상기 생성된 재구성 깊이 영상의 퀄리티(quality) 비교를 통해 원본 깊이 영상과 가장 근접한 정확도를 갖는 재구성 깊이 영상에 의할 때의 워터마크 비트를 상기 컬러 압축 비트열에 은닉시키는 단계를 포함하는 깊이 정보 은닉 방법이 제공된다.

일 실시예에서, 상기 컬러 영상의 분할 개수 및 상기 깊이 값의 클러스터링 개수는 선택 가능한 후보의 셋(set)으로 미리 지정되고,

상기 (c) 단계에서의 판별 결과 상기 생성될 워터마크 비트 수가 상기 계산된 워터마크 용량을 초과하는 경우, 상기 (b) 단계에서 적용될 컬러 영상의 분할 개수 및 상기 클러스터링 개수를 상기 선택 가능한 후보의 셋(set) 안에서 변경할 수 있다.

일 실시예에서, 상기 (b) 단계에서 클러스터링될 깊이 값은, 상기 결정된 영상 분할 개수를 적용한 각 세그먼트 별로의 대표 값일 수 있다. 이때, 상기 각 세그먼트 별로의 대표 값은, 해당 세그먼트 내의 모든 깊이 값의 평균 값(average value) 또는 중간 값(median value)일 수 있다.

일 실시예에서, 상기 컬러 영상의 분할 개수 및 상기 깊이 값의 클러스터링 개수는 선택 가능한 후보의 셋(set)으로 미리 지정되고,

상기 선택 가능한 후보의 셋 안에서 상기 (c) 단계의 판별 결과 상기 계산된 워터마크 용량을 초과하지 않는 모든 후보의 분할 개수 및 클러스터링 개수에 의할 때의 각각의 재구성 깊이 영상이 생성될 수 있도록, 상기 (b) 단계 및 상기 (d) 단계를 반복 수행할 수 있다.

일 실시예에서, 상기 (e) 단계는,

상기 상기 (c) 단계의 판별 결과 상기 계산된 워터마크 용량을 초과하지 않는 모든 후보의 분할 개수 및 클러스터링 개수에 따른 각각의 재구성 깊이 영상 중 상기 원본 깊이 영상과 가장 근접한 정확도를 갖는 재구성 깊이 영상에 의할 때의 워터마크 비트가 상기 컬러 압축 비트열에 은닉될 정보로 선택되는 단계를 포함할 수 있다.

일 실시예에서, 상기 컬러 압축 비트열에는 워터마크 비트열이 추가되되,

상기 워터마크 비트열은, 상기 컬러 영상의 분할 개수, 상기 클러스터링 개수, 클러스터링 깊이 값에 관한 정보가 포함될 수 있다.

본 발명의 다른 측면에 따르면, 깊이 영상을 재구성하는 방법에 관한 컴퓨터 구현 방법(computer implemented method)으로서,

전송된 컬러 압축 비트열로부터 워터마크 비트열을 추출하는 단계-여기서, 워터마크 비트열에는 컬러 영상의 분할 개수, 깊이 값 클러스터링 개수, 클러스터링 깊이 값에 관한 정보가 포함됨-; 상기 워터마크 비트열로부터 상기 컬러 영상의 분할 개수를 추출하여 상기 컬러 압축 비트열에 기반하여 복호화된 컬러 영상을 분할하는 단계; 및 상기 분할된 컬러 영상의 각 세그먼트(segment) 별로 상기 클러스터링 깊이 값을 할당하고, 상기 복호화된 컬러 영상과 상기 세그먼트 별 클러스터링 깊이 값을 이용하여 깊이 영상을 재구성하는 단계를 포함하는 깊이 영상 재구성 방법이 제공된다.

본 발명의 실시예에 의하면, 깊이 영상 정보를 압축 컬러 영상의 비트열에 은닉할 수 있고, 별도의 깊이 영상을 전송 받지 않아도 압축 컬러 영상의 비트열로부터 깊이 영상 정보를 추출할 수 있는 효과가 있다.

또한 본 발명의 실시예에 의하면, 수신부 측에서 깊이 영상 복호화를 위한 별도의 복호화기(decoder)를 필요로 하지 않으며, 수신부에서는 컬러 영상과 깊이 영상을 활용하여 리포커싱(refocusing)을 비롯한 다양한 컬러-깊이 영상 기반의 응용을 적용할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 컬러 영상에 깊이 정보를 은닉하는 방법에 관한 흐름도.
도 2는 컬러 영상(좌측 도면)과 깊이 영상(우측 도면)의 예시.
도 3은 컬러 영상에 관한 분할(segmentation) 결과 예시.
도 4는 세그먼트의 대표 깊이 값을 표시한 예시.
도 5는 세그먼트의 대표 깊이 값을 세그먼트의 모든 픽셀에 할당한 결과 예시.
도 6은 도 5의 영상에 깊이 영상 후처리 기법을 적용한 결과 예시.
도 7은 영상 분할과 깊이 값 클러스터링(clustering)을 결정하는 방식의 의사 코드(pseudo-code) 예시.
도 8은 은닉 비트열(watermark bitstream)의 구성 예시.
도 9는 압축 컬러 영상에서 깊이 정보를 추출하여 깊이 영상을 재구성하는 방법에 관한 흐름도.
도 10은 수신부 측에서 적용 가능한 컬러-깊이 영상을 활용한 응용 예시.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.

도 1은 본 발명의 실시예에 따른 컬러 영상에 깊이 정보를 은닉하는 방법에 관한 흐름도이다. 이때, 컬러 영상의 압축을 위해 JPEG, JPEG 2000 등의 정지영상 압축 기법이나, H.264, HEVC 등의 동영상 압축 기법이 적용될 수 있다. 다만 도 1의 경우 JPEG 압축 기법을 이용한 경우를 예시하고 있다.

도 2는 본 발명의 실시예의 설명 과정에 이용할 컬러 영상과 깊이 영상의 예시를 나타낸다. 여기서, 깊이 영상은 스테레오 매칭 혹은 깊이 카메라를 이용하여 획득할 수 있다. 본 명세서를 통한 설명에서 컬러 영상과 깊이 영상은 동일 시점(viewpoint)을 갖고 해상도가 일치하는 것으로 가정한다. 만일 시점(viewpoint)이 다를 경우에는 영상 정합 (image calibration) 기술이 적용되고, 해상도에 차이가 있을 경우 해상도 변환 기술(예를 들어 super-resolution 기술)이 선처리(pre-processing)된 것으로 간주한다.

본 발명의 실시예에서는 컬러 영상의 압축 비트열에 깊이 정보를 은닉한다. 본 발명의 실시예에 따른 컬러 영상에 깊이 정보를 은닉하는 구체적 방법에 대해서는, 이하 도 1을 중심으로 함께 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

먼저, 도 1의 단계 S10을 참조하면, 압축 비트열로부터 은닉이 가능한 워터마크 용량(watermark capacity)를 계산한다. 예를 들어, 도 2의 영상에 기존 압축 영역 정보 은닉 기술(예를 들어, Z. Qian and X. Zhang, "Lossless data hiding in JPEG bitstream," Journal of Systems and Software, vol. 85, no. 2, pp. 309-313, 2012.)을 적용할 경우, 컬러 영상의 압축 비트열에 1000 비트를 은닉할 수 있다. 즉, 워터마크 용량(watermark capacity)은 1000이 된다. 여기서, 은닉 가능한 워터마크 용량(embedding watermark capacity)은 어떤 압축 영역 정보 은닉 기술을 적용하였는지에 따라 달라질 수 있음은 물론이다. 이와 같이 본 발명의 실시예의 단계 S10에서는, 미리 지정된(선택된) 압축 영역 정보 은닉 기술에 의할 때, 해당 영상의 압축 비트열에 은닉 가능한 워터마크 용량을 계산(예측)한다.

상술한 바와 같이, 압축 영역 정보 은닉 기술을 적용함에 있어서, 컬러 압축 영상의 비트열에 은닉 가능한 비트의 수인 워터마크 용량은 한정되어 있다. 따라서 깊이 영상을 있는 그대로 압축 비트열에 은닉하는 것은 불가능하다. 예를 들어, 도 2의 깊이 영상이 463(가로)ⅹ370(세로)의 크기를 가진다고 할때, 각 깊이 값이 8비트로 표현되므로, 도 2에서 깊이 영상은 총 1370480 비트를 갖는다. 이러한 1370480 비트의 깊이 영상을 총 1000 비트의 워터마크 용량 안에서 은닉하기 위해서는 약 1370배 이상의 압축이 필요하다. 그러나 이는 일반적인 영상 압축 방식으로 달성하기 불가능하거나 압축이 되더라도 매우 저화질의 복호 영상 (decoded image)을 발생시킬 수 밖에 없는 것이다.

따라서 본 발명의 실시예에서는 컬러 영상-깊이 영상 간의 상관 관계를 고려하여 깊이 영상을 재구성(reconstruction)하고 이와 같이 재구성된 깊이 영상 정보를 그 계산된 워터마크 용량 안에서 은닉하는 방식을 채용한다. 일반적으로 동일 시점(viewpoint)에 대한 컬러 영상과 깊이 영상은 큰 유사도(correlation)을 갖는다. 또한, 도면 2와 같이 두 영상은 이웃한 객체 사이에서 동일한 경계선(edge)을 갖는다. 따라서 깊이 영상의 모든 픽셀 값이 없어도, 컬러 영상과 일부의 깊이 픽셀 값을 활용하여 깊이 영상을 재구성(reconstruction)하는 것이 가능하다.

이를 위해, 본 발명의 실시예에서는 도 1의 단계 S12에서와 같이 컬러 영상을 분할(segmentation)하고, 그 세그먼트 별로 대표 깊이 값을 추출하고 이를 은닉하는 방식을 채용한다. 도 3은 컬러 영상을 분할(segmentation)한 결과의 예시를 나타낸다. 도 3에서 동일한 컬러로 표현된 픽셀들은 같은 세그먼트(segment)에 속하는 것을 나타낸다. 이때, 세그먼트 별 대표 깊이 값은 각 세그먼트에 속하는 픽셀의 깊이 값의 평균(average) 혹은 중앙(median) 값이 이용될 수 있다. 도 4는 각 세그먼트의 중앙 위치(center position)에 대표 깊이 값으로서 평균 값(average value)을 할당한 예시를 나타낸다. 실제 각 세그먼트의 깊이 값의 차이가 크지 않기 때문에, 대표 깊이 값과 분할(segmentation) 정보를 활용하면 깊이 영상의 재구성이 가능하다.

또한 본 발명의 실시예에서는 도 1의 단계 S14에서와 같이, 앞서 추출된 대표 깊이 값을 미리 설정된 개수의 값으로 클러스터링(clustering)하고, 이를 이용하여 깊이 영상을 재구성할 수도 있다. 도 2의 예시의 경우, 1000 비트의 워터마크 용량을 가지므로, 8비트의 깊이 값을 이상적으로 최대 125개까지 은닉할 수 있다. 이때, 좀 더 효과적으로 깊이 값을 은닉하기 위하여, 각 세그먼트의 대표 깊이 값을 가령 k개의 값으로 클러스터링(clustering) 할 수 있다. 즉, 본 발명의 실시예에 의할 때, k-means clustering과 같은 방식이 이용될 수 있다. 가령 k의 값이 4일 경우, 8비트의 깊이 값 대신 2비트의 깊이 값 인덱스(index)를 은닉할 수 있다. 이 경우 이상적으로 4배 더 많은 깊이 값을 은닉할 수 있게 된다.

컬러 영상 분할(image segmentation) 기술은 목적에 따라 분할의 정도를 조절할 수 있다. Over-segmentation을 수행할 경우 영상을 더 많은 segment로 분할할 수 있고 under-segmentation을 수행할 경우 영상을 몇 개의 세그먼트로 분할할 수 있다. 영상 분할 기술의 변수(parameter) 조절을 통하여 분할 정도를 조절할 수 있다. 영상을 더 많은 수의 세그먼트로 분할할수록 세그먼트의 대표 깊이 값들을 표현하기 위해 필요한 비트의 길이가 길어진다. 또한 깊이 영상을 몇 개의 클러스터로 클러스터링(clustering)하느냐에 따라 깊이 영상을 표현하기 위한 비트의 길이가 달라진다. 그러므로 주어진 컬러/깊이 영상의 특성과 워터마크 용량(watermark capacity)를 고려하여 최적의 영상 분할과 깊이 값 클러스터링(clustering)을 결정할 필요가 있다.

도 1의 흐름도는 이와 같은 내용을 나타내고 있다. 즉, 단계 S12에서 영상 분할의 수를 결정하고 단계 S14에서 깊이 값 클러스터링의 수를 결정하여 단계 S16을 통해 워터마크 비트를 생성한다. 이와 같이 생성된 워터마크 비트 수가 단계 S10에서 계산된 워터마트 용량을 초과하는 경우[도 1의 단계 S18 참조], 영상 분할의 수(즉, 분할 파라미터) 및 깊이 값 클러스터링 수를 변경하여 다시 워터마크 비트 수를 계산한다[도 1의 단계 S26, S24, S14 참조].

위와 달리, 단계 S16을 통해 생성된 워터마트 비트 수가 단계 S10에서 계산된 워터마크 용량을 초과하지 않는 경우에는 깊이 영상을 재구성하고, 이와 같이 재구성된 깊이 영상을 원본 깊이 영상(즉, full-resolution의 깊이 영상)과 비교하여 영상 퀄리티를 비교한다. 이러한 비교 결과 기존의 영상 분할 수 및 클러스터링 수에 따라 재구성된 깊이 영상에 비해 현재 재구성된 깊이 영상의 퀄리티가 더 향상된 경우에는 그때 생성된 워터마크 비트를 저장한다[도 1의 단계 S20 및 S22 참조]. 이에 대하여 보다 구체적으로 설명하면 아래와 같다.

깊이 영상을 컬러 압축 영상에 은닉하는 구성부에서는 full-resolution의 깊이 영상을 가지고 있다. 그러므로 이러한 원본 깊이 영상을 영상 분할의 수와 깊이 값 클러스터링 수를 결정하는데 이용할 수 있다. 도 5는 세그먼트의 대표 깊이 값을 해당 세그먼트에 속하는 모든 픽셀에 할당한 경우에 대한 예시를 나타낸다. 이와 같은 방식으로 재구성(reconstruction)된 깊이 영상과 도 2와 같은 실제 깊이 영상을 비교하는 방식을 통하여 깊이 정보 은닉의 정확도를 측정할 수 있다. 이때, 원본 깊이 영상과 재구성된 깊이 영상 간의 비교를 위하여 Sum of Absolute Difference(SAD), Peak Signal to Noise Ratio(PSNR), Structural Similarity(SSIM) 등의 척도를 이용할 수 있다.

이때, 재구성 깊이 영상의 정확도를 높이기 위하여 깊이 영상 후처리 기법을 적용할 수 있다. 도 6은 컬러 영상(도 2)과 깊이 영상(도 5)을 이용하여 깊이 영상 개선 기법 (K. He, J. Sun, and X. Tang, "Guided image filtering," IEEE Trans. Pattern Anal. Mach. Intell., vol. 35, no. 6, pp. 1397-1409, Jun. 2013.)을 적용한 결과의 예시를 나타낸다. 도 7은 영상 분할의 수와 깊이 값 클러스터링의 수를 결정하는 방식의 의사 코드(pseudo-code)를 나타낸다. 본 발명의 실시에에서는 앞서 설명한 도 1의 흐름도에서와 같이 다양한 컬러 영상 분할과 깊이 값 클러스터링을 적용한다. 이에 따라 컬러 영상 분할과 깊이 값 클러스터링 결과가 미리 계산된 워터마크 용량 안에서 깊이 정보의 은닉이 가능할 경우, 깊이 영상을 재구성하여 깊이 영상의 정확도를 측정한다. 가령, 200개의 세그먼트가 생성되고 4개의 클러스터(cluster)로 클러스터링할 경우, 깊이 정보를 나타내기 위하여 총 800개의 비트가 필요하다. 이와 같이 해당 값(800개의 비트)이 워터마크 용량인 1000비트보다 작을 경우에는 깊이 정보로부터 깊이 영상을 재구성한다. 위와 달리, 영상 분할을 통하여 300개의 세그먼트가 생성되었고 4개의 클러스터(cluster)로 클러스터링할 경우 총 1200개의 비트가 필요한데, 워터마크 용량이 1000 비트일 경우에는 은닉이 불가능하므로 깊이 영상을 재구성하지 않는다. 위와 같이 본 발명의 실시예에서는 사전에 정의된 다양한 컬러 영상 분할과 깊이 값 클러스터링을 수행하여 은닉 가능한 경우를 찾고, 그 은닉 가능한 케이스들 중에서 가장 정확한 깊이 영상을 재구성할 수 있는 깊이 영상 정보를 획득한다. 이 정보가 은닉 비트열 (watermark bitstream)에 해당하며, 이를 압축 비트열에 은닉하여 전송한다[도 1의 단계 S28 참조].

도 8은 은닉 비트열의 구성 예시를 나타낸다. 도 8의 은닉 비트열을 통해 앞서 찾은 최적의 영상 분할의 수 및 깊이 값 클러스터링 정보를 은닉한다. k개로 깊이 값을 분할할 경우 k 값과 k개의 깊이 값을 은닉한다. 또한 영상 분할에 이용한 파라미터(segmentation parameter)를 함께 은닉한다. 실제 payload 는 각 segment에 할당된 깊이 값의 인덱스 (1에서 k 사이 값)로 구성된다. 이에 따라 은닉 비트열을 전송받은 전자 장치에서는 재구성한 깊이 영상과 동일한 깊이 영상을 재구성 할 수 있다.

도 9는 수신부에서 컬러 압축 영상으로부터 깊이 정보를 추출하여 깊이 영상을 재구성하는 과정의 흐름도를 나타낸다. 도 9를 참조하면, 은닉 비트열을 압축 비트열로부터 추출하며, 은닉 비트열에 포함된 영상 분할 파라미터를 이용하여 복호화 컬러 영상(decoded color image)을 분할한다. 또한 은닉 비트열의 정보를 이용하여 각 세그먼트의 대표 깊이 값을 획득하는 과정을 통하여 도 4와 같은 결과를 얻을 수 있으며, 도 5 및 도 6과 같은 과정을 거쳐 깊이 영상을 재구성할 수 있다. 이와 같은 과정을 통하여 깊이 영상을 별도로 전송 받지 않고도 비교적 정확한 깊이 영상을 재구성할 수 있다.

제안하는 구조에서, 만일 수신부가 깊이 정보의 은닉 여부를 모르는 경우에는 일반적인 칼라 영상 응용으로 동작하며, 도 9에서와 같이 수신부가 깊이 정보의 은닉 여부를 아는 경우에는 깊이 정보를 추출하여 깊이 영상을 재구성(reconstruction)하고 이를 이용하여 3D 응용으로 동작할 수 있다.

도 10은 수신부에서 본 기술을 이용하여 적용할 수 있는 응용의 한 예시를 나타낸다. 수신부에서 복호화한 컬러 영상과 재구성한 깊이 영상을 통하여 다양한 컬러-깊이 영상 기반 응용을 적용할 수 있다. 예를 들어, 복호화 컬러 영상에서 RoI(Region-of-Interest)를 계산하거나 사용자로부터 입력 받은 후, RoI로부터 거리가 떨어질수록 큰 블러(blur)를 적용하는 리포커싱(refocusing) 응용이 적용 가능하다. 여기서, 도 10은 복호화된 컬러 영상(좌측 도면)으로부터 리포커스 대상 영역을 설정(도 10의 붉은 색 X 표시 참조)하고, 그 대상 영역 각각에 리포커싱을 적용한 결과(도 10의 가운데 도면 및 우측 도면 참조)를 나타낸 것이다. 이때, 재구성한 깊이 영상이 존재하기 때문에 블러의 정도를 바로 결정할 수 있다는 장점이 있다. 이러한 리포커싱 응용 이외에도, 깊이 기반 컬러 영상 분할(depth-assisted color image segmentation), 깊이 기반 객체 추적(depth-assisted object tracking), 깊이 기반 컬러 영상 렌더링(depth image based rendering) 등의 응용에도 활용할 수 있다.

상술한 본 발명의 실시예에 따른 컬러 압축 영상에 깊이 정보를 은닉하는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

Claims (9)

1. 컬러 압축 비트열에 깊이 정보를 은닉하는 방법에 관한 컴퓨터 구현 방법(computer implemented method)으로서,
   (a) 미리 지정된 정보 은닉 기법에 의해 상기 컬러 압축 비트열에 은닉 가능한 워터마크 용량(watermark capacity)을 계산하는 단계;
   (b) 컬러 영상의 분할(segmentation)의 개수 및 상기 컬러 영상과 동일 시점(view point)을 갖는 깊이 영상의 깊이 값을 클러스터링(clustering)할 클러스터링 개수를 결정하는 단계;
   (c) 상기 결정된 분할 개수 및 상기 결정된 클러스터링 개수를 적용할 때 생성될 워터마크 비트 수가 상기 계산된 워터마크 용량을 초과하는지 여부를 판별하는 단계;
   (d) 상기 판별 결과 초과하지 않는 경우, 영상 세그먼트 별로 적용된 클러스터링 깊이 값에 기반하여 재구성된 깊이 영상을 생성하는 단계-여기서, 상기 컬러 영상의 분할에 따라 각 영상 세그먼트 별로 적용될 상기 클러스터링 깊이 값은 각 영상 세그먼트 별로의 대표 값이 이용됨-; 및
   (e) 상기 생성된 재구성 깊이 영상의 퀄리티(quality) 비교를 통해 원본 깊이 영상과 가장 근접한 정확도를 갖는 재구성 깊이 영상에 의할 때의 워터마크 비트를 상기 컬러 압축 비트열에 은닉시키는 단계
   를 포함하는 깊이 정보 은닉 방법.
   
2. 제1항에 있어서,
   상기 컬러 영상의 분할 개수 및 상기 깊이 값의 클러스터링 개수는 선택 가능한 후보의 셋(set)으로 미리 지정되고,
   상기 (c) 단계에서의 판별 결과 상기 생성될 워터마크 비트 수가 상기 계산된 워터마크 용량을 초과하는 경우, 상기 (b) 단계에서 적용될 컬러 영상의 분할 개수 및 상기 클러스터링 개수를 상기 선택 가능한 후보의 셋(set) 안에서 변경하는 것을 특징으로 하는, 깊이 정보 은닉 방법.
   
3. 삭제
4. 제1항에 있어서,
   상기 각 세그먼트 별로의 대표 값은, 해당 세그먼트 내의 모든 깊이 값의 평균 값(average value) 또는 중간 값(median value)인, 깊이 정보 은닉 방법.
   
5. 제1항에 있어서,
   상기 컬러 영상의 분할 개수 및 상기 깊이 값의 클러스터링 개수는 선택 가능한 후보의 셋(set)으로 미리 지정되고,
   상기 선택 가능한 후보의 셋 안에서 상기 (c) 단계의 판별 결과 상기 계산된 워터마크 용량을 초과하지 않는 모든 후보의 분할 개수 및 클러스터링 개수에 의할 때의 각각의 재구성 깊이 영상이 생성될 수 있도록, 상기 (b) 단계 및 상기 (d) 단계를 반복 수행하는 것을 특징으로 하는, 깊이 정보 은닉 방법.
   
6. 제5항에 있어서,
   상기 (e) 단계는,
   상기 상기 (c) 단계의 판별 결과 상기 계산된 워터마크 용량을 초과하지 않는 모든 후보의 분할 개수 및 클러스터링 개수에 따른 각각의 재구성 깊이 영상 중 상기 원본 깊이 영상과 가장 근접한 정확도를 갖는 재구성 깊이 영상에 의할 때의 워터마크 비트가 상기 컬러 압축 비트열에 은닉될 정보로 선택되는 단계를 포함하는, 깊이 정보 은닉 방법.
   
7. 제6항에 있어서,
   상기 컬러 압축 비트열에는 워터마크 비트열이 추가되되,
   상기 워터마크 비트열은, 상기 컬러 영상의 분할 개수, 상기 클러스터링 개수, 클러스터링 깊이 값에 관한 정보가 포함되는, 깊이 정보 은닉 방법.
   
8. 제1항, 제2항, 제4항, 제5항, 제6항, 제7항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
   
9. 깊이 영상을 재구성하는 방법에 관한 컴퓨터 구현 방법(computer implemented method)으로서,
   전송된 컬러 압축 비트열로부터 워터마크 비트열을 추출하는 단계-여기서, 워터마크 비트열에는 컬러 영상의 분할 개수, 깊이 값 클러스터링 개수, 클러스터링 깊이 값에 관한 정보가 포함됨-;
   상기 워터마크 비트열로부터 상기 컬러 영상의 분할 개수를 추출하여 상기 컬러 압축 비트열에 기반하여 복호화된 컬러 영상을 분할하는 단계; 및
   상기 분할된 컬러 영상의 각 영상 세그먼트(segment) 별로 상기 클러스터링 깊이 값을 할당하고, 상기 복호화된 컬러 영상과 상기 영상 세그먼트 별 클러스터링 깊이 값을 이용하여 깊이 영상을 재구성하는 단계-여기서, 상기 분할된 컬러 영상의 각 영상 세그먼트 별로 할당될 상기 클러스터링 깊이 값은 각 영상 세그먼트 별로의 대표 값이 이용됨-
   를 포함하는 깊이 영상 재구성 방법.
   

Images