KR20110033007A - 입체감 조절방법 및 조절장치와 이를 이용한 3ｄ 비디오 인코더 및 3ｄ 단말 - Google Patents

Abstract

본 발명은 3D 영상 처리 방법 및 장치에 관한 것으로, 보다 구체적으로는 입체영상 시스템에서 과도한 입체감 또는 입체영상의 왜곡을 자동으로 조절하기 위한 방법 및 장치에 관한 것이다. 본 발명에 따르면, 3D 영상의 구성요소인 좌측 영상 및 우측 영상을 이용하여 상기 3D 영상의 변이값을 생성하는 변이값 계산부, 상기 변이값이 기 설정된 구간 이내인지 여부를 판단하는 변이값 판단부와 상기 판단 결과에 따라, 상기 변이값의 크기를 조절하는 변이값 조절부를 포함하는 것을 특징으로 하는 입체감 조절장치가 제공된다.

Description

입체감 조절방법 및 조절장치와 이를 이용한 3Ｄ 비디오 인코더 및 3Ｄ 단말{Method and its apparatus for controlling depth in 3D image system, and 3D video encoder and 3D terminal using the same}

본 발명은 입체감 조절방법 및 조절장치와 이를 이용한 3D 비디오 인코더 및 3D 단말에 관한 것으로, 보다 구체적으로는 입체영상 시스템에서 과도한 입체감 또는 입체영상의 왜곡을 자동으로 조절하기 위한 방법 및 장치에 대한 것이다.

디지털방송 시대가 도래함에 따라 HDTV 방송에 이어 더욱 인간 감성에 호소하는 영상시스템으로서 입체 방송영상에 대한 요구가 고조되고 있다.

입체 영상은 양안식 입체 카메라 혹은 컴퓨터로 제작되는데, 3D 영상을 촬영 혹은 제작하는 과정에서 과도하게 입체감을 줄 경우(즉, 과도한 수평방향 변이값을 갖도록 할 경우) 또는 왜곡된 입체영상(즉, 좌우영상간의 수직방향 정렬 불량, 줌(zoom) 비율 차이, 밝기/색깔 차이 등)을 제작할 경우에, 3D 영상을 시청하는 사용자들은 시각적으로 불편함과 피로감을 느낄 수 있다.

현재 양안식 입체영상을 제작, 편집하는 툴 등에는 미리 제작된 3D 콘텐츠를 재생하여 시각의 불편함 및 피로감을 확인하고 입체감(변이) 또는 입체영상의 왜곡을 수동으로 조절하는 기능이 있다. 그러나 방송시스템, 3D 단말 등에 적용되어 자동으로 입체감 또는 입체영상의 왜곡을 확인하고 조절하는 방법 및 장치들은 전무한 상태이다.

본 발명은 본 발명이 이루고자 하는 기술적 과제는 입체영상을 제공하는 서비스에 있어서, 과도한 입체감 또는 입체영상의 왜곡을 자동으로 조절하기 위한 방법 및 장치를 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명은 3D 영상의 구성요소인 좌측 영상 및 우측 영상을 이용하여 상기 3D 영상의 변이값을 생성하는 변이값 계산부, 상기 변이값이 기 설정된 구간 이내인지 여부를 판단하는 변이값 판단부, 상기 판단 결과에 따라, 상기 변이값의 크기를 조절하는 변이값 조절부를 포함하는 입체감 조절장치를 제공한다.

또한 상기 목적을 달성하기 위한 본 발명은 3D 영상의 구성요소인 좌측영상 및 우측 영상을 이용하여 상기 3D 영상의 변이값을 생성하는 단계, 상기 변이값이 기 설정된 구간 이내인지 여부를 판단하는 단계 및 상기 판단 결과에 따라, 상기 변이값의 크기를 조절하는 단계를 포함하는 입체감 조절 방법을 제공한다.

또한 3D 영상의 변이값이 기 설정된 구간 이내인지 여부를 판단하여, 판단 결과에 따른 제어 정보를 생성하는 입체감 조절장치로부터, 상기 제어 정보를 수신하는 정보 수신부, 상기 제어 정보에 따라, 상기 3D 영상의 비트율을 제어하여, 상기 3D 영상을 인코딩하는 인코딩부를 포함하는 3D 비디오 인코더를 제공한다.

또한 인코딩 된 3D 영상을 디코딩하는 3D 영상 디코더, 상기 3D 영상 디코더로부터 3D 영상을 입력받아, 3D 영상의 변이값이 기 설정된 구간 이내인지 여부에 대한 판단결과에 따라 제어 정보를 생성하는 입체감 조절부, 상기 제어 정보에 따라 상기 3D 영상을 출력하거나 또는 상기 3D 영상을 2D 영상으로 변환하여 출력하는 출력부를 포함하는 3D 단말을 제공한다.

본 발명에 따르면 입체 영상을 제작하고 이를 3D 단말에 재생하는데 있어서, 변이값 관련 데이터를 통해 입체감을 자동으로 모니터링하고, 필요 시 입체감의 조절, 2D 영상 모드로의 전환을 자동으로 수행함으로써, 과도한 입체감 또는 왜곡된 입체영상을 자동으로 조절할 수 있다.

또한 본 발명에 따르면, 소프트웨어 혹은 하드웨어 장치를 사용하여 3D 입체 영상을 자동으로 조절함으로써, 종래에 사람이 직접 눈으로 확인해서 수동으로 3D 영상을 조절해야 하는 불편함을 해소시켜 줄 수 있다.

또한 본 발명에 따르면, 3DTV 카메라 시스템, 3D 비디오 인코더, 3D 단말 등에 3D 입체 영상 조절장치가 내장되어, 입체 영상서비스 산업의 활성화에 큰 도움을 줄 수 있다.

도 1은 본 발명에 따른 입체영상 조절장치를 활용한 입체영상 시스템을 설명하기 위한 구성도,
도 2는 본 발명의 일실시예에 따라 입체감 조절장치를 설명하기 위한 블록도,
도 3은 변이값의 생성 방법을 설명하기 위한 도면,
도 4는 본 발명의 일실시예에 따라 변이값을 분석하는 방법을 나타낸 블록도,
도 5는 본 발명의 일실시예에 따라 변이맵 분포 상태를 결정하는 방법을 나타내는 그래프,
도 6은 본 발명의 일실시예에 따라 입체감 조절장치의 사용자 인터페이스 화면을 도시한 도면,
도 7은 본 발명의 일실시예에 따라 변이값 조절부의 동작을 나타낸 도면,
도 8은 본 발명의 일실시예에 따라 변이 분석데이터를 활용하는 3D 비디오 인코더 동작의 블록도,
도 9는 본 발명의 일실시예에 따라 변이 분석데이터를 활용하는 3D 단말의 블록도 이다.

이하 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

도 1은 본 발명에 따른 입체영상 조절장치를 활용한 입체영상 시스템을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 본 발명에 따른 입체영상 시스템은 입체감 조절장치(140)가 활용된 3D 영상 서비스 망으로 표현될 수 있다. 보다 구체적으로 본 발명에 따른 입체영상 시스템은 3D 카메라(110), 입체감 조절장치(140), 3D 비디오 인코더(160), 분배망(170) 및 3D 단말(180)을 포함할 수 있다.

입체감 조절장치(140)는 3D 카메라(110)로부터 획득되거나 3D 콘텐츠 제작툴(120)에 의해 제작되어 스토리지(130)에 저장된 3D 영상의 변이값을 생성하고 변이값의 크기에 따라 변이값을 조절한다. 보다 구체적으로 입체감 조절장치(140)는 변이값이 기 설정된 구간 이내인지 여부를 판단하고, 판단 결과에 따라 변이값의 크기를 조절할 수 있다. 변이값이 지나치게 큰 경우 3D 영상을 시청하는 사용자들은 시각적으로 불편함과 피로감을 느낄 수 있는데, 본 발명에 따른 입체감 조절장치(140)는 변이값을 조절하여 사용자들의 불편함을 감소시킬 수 있다.

입체감 조절장치(140)에 의해 변이값이 조절된 3D 영상은 3D 비디오 인코더(160)로 제공되며, 3D 비디오 인코더(160)에 의해 인코딩 된 3D 영상은 분배망(170)을 통해 3D 단말(180)로 분배된다. 이 때, 3D 비디오 인코더(160)에 의해 인코딩 된 3D 영상은 실시간 전송 혹은 off-line을 통해 3D 단말(180)을 보유한 다양한 사용자들에게 배포되게 된다.

3D 단말(180)은 인코딩 된 3D 영상을 디코딩하여, 변이값이 조절된 3D 영상을 재생할 수 있다.

결국 본 발명에 따르면, 변이값이 지나치게 큰 경우 입체감 조절장치(140)에 의해 변이값이 조절된 3D 영상이 3D 단말(180)로 제공될 수 있으므로, 과도한 입체감이나 왜곡된 영상이 수정되어 출력되는 효과가 발생한다

한편, 입체영상 시스템은 3D 영상을 저장하는 저장장치(storage)(150)를 더 포함할 수 있는데, 입체감 조절장치(140)는 저장장치(150)에 저장된 3D 영상을 비 실시간으로 처리하여 좀 더 복잡하고 정확한 동작 수행을 할 수 있다.

전술된 실시예에서는 입체감 조절장치(140)가 입체영상 시스템의 구성요소로서 설명되었으나, 입체감 조절장치(140)는 3D 단말(180)에 포함될 수 있다. 이에 대한 자세한 설명은 도 9에서 후술된다.

도 2는 본 발명의 일실시예에 따른 입체감 조절장치(140)를 설명하기 위한 도면이다.

변이값 계산부(210)는 3D 영상의 구성요소인 좌측 영상 및 우측 영상을 이용하여 3D 영상의 변이값을 생성한다. 3D 영상은 스테레오스코픽(stereoscopic) 영상으로서 좌측 영상과 우측 영상을 통해 구현될 수 있다. 변이값 계산부(210)는 예를 들어, 한 영상(예: 좌영상)을 기준으로 다른 쪽 영상(예: 우측영상)에서의 매 픽셀 (혹은 일정 크기의 블록)에 대응하는 대응요소를 찾고, 그 둘 간의 변이(disparity)값을 구하여 생성할 수 있다. 다른 쪽 영상에서 대응되는 대응요소를 찾기 위해서는, 제곱차거리 합계(SSD), 절대거리차 합계(SAD), 평균상관계수(NCC)등의 알고리즘이 적용된 다양한 정합기법이 이용될 수 있다.

여기서, 변이값은 수평방향의 변이값 또는 수직방향의 변이값일 수 있다.

수평방향의 변이값은 과도한 입체감의 정도를 판단하는데 사용하며, 수직방향의 변이값과 변이값 계산부(210)에서 변이값 추출이 불가능한(Fail) 상태는 입체영상의 왜곡의 정도(좌우영상간의 수직방향 정렬 불량, 줌(zoom) 비율 차이, 밝기/색깔 차이 등)를 판단하는데 사용한다.

이 때, 변이값 계산부(210)는 수평방향의 변이값, 수직방향의 변이값과 변이값 추출이 불가능한(Fail) 상태의 픽셀을 변이맵에 표시할 수 있다.

변이값 판단부(220)는 변이값 계산부(210)에서 생성된 변이값이 기 설정된 구간 이내인지 여부를 판단한다.

전술된 바와 같이, 변이값이 지나치게 큰 경우, 3D 디스플레이를 시청하는 사용자들이 시각적으로 불편함과 피로감을 느낄 수 있기 때문에, 변이값 판단부(220)는 변이값이 기 설정된 구간 이내인지 여부를 판단하여, 변이값이 기 설정된 구간 이내인 경우에는 변이값 조절부(230)에서 변이값의 크기를 조절한다. 그러나 변이값 판단부(220)에서 변이값이 기 설정된 구간 이외인 경우 즉, 변이값이 지나치게 큰 경우에는 과잉변이 알림신호 ON을 발생시키며, 변이값이 0에 집중되어 있는 경우(도 5c 참조)에는 극소변이 알린신호 ON을 발생시킨다.

이 때, 변이값 판단부(220)는 변이값 계산부(210)에서 생성된 변이값과 기 설정된 구간의 변이값과의 비교 결과를 사용자 인터페이스를 통해 표출하여 도 6에서 후술할 바와 같이 사용자가 입체감을 확인하고 직접 변이값을 조절하거나, 데이터 형태로 생성하여 변이값 조절부(230)에 제공할 수 있다.

변이값 조절부(230)는 변이값 판단부(220)의 판단 결과에 따라, 변이값의 크기를 조절한다. 변이값 조절부(230)는 변이값이 기 설정된 구간 이내인 경우 변이값의 크기를 조절할 수 있다. 즉, 변이값이 지나치게 큰 경우 사용자들은 시각적으로 불편함과 피로감을 초래할 수 있으며, 변이값 조절부(230)는 이러한 변이값을 감소시킴으로써 사용자들의 시각적 불편함과 피로감을 감소시킬 수 있다.

한편, 변이값 판단부(220)는 보다 구체적으로 변이값 분석부(도면에 미도시)를 더 포함할 수 있다.

변이값 분석부는 기 설정된 분석 기법에 따라 변이값을 분석한다. 여기서, 기 설정된 분석 기법으로 평탄화 기법 또는 기 설정된 시간 동안 변이값을 누적하는 기법이 이용될 수 있다.

기 설정된 분석 기법은 도 4에서 자세히 후술된다.

또한 3D 영상의 구성요소인 좌측 영상 및 우측 영상을 이용하여 상기 3D 영상의 변이값을 생성하는 단계, 상기 변이값과 기 설정된 구간 이내인지 여부를 판단하는 단계와 상기 판단 결과에 따라, 상기 변이값의 크기를 조절하는 단계를 포함하는 것을 특징으로 하는 입체감 조절 방법에 의해서도 입체감을 조절할 수 있다.

도 3은 변이값의 생성 방법을 설명하기 위한 도면이다.

도 3에 나타낸 바와 같이 수평방향의 변이만을 고려할 때, 기준요소의 수평좌표를 Rx, 대응요소의 수평좌표는 Lx라 하면, 변이값 Dx = Lx - Rx 가 된다. 이때 기준요소를 좌측영상으로 하였기 때문에, 변이값 Dx가 양(+)의 값을 가질 때는, 해당되는 화면의 물체가 돌출되는 입체감(negative screen parallax)를 느끼게 되고, 반대로 변이값 Dx가 음(-)의 값을 가질 때는 화면 속으로 들어가는 입체감(positive screen parallax)을 느끼게 한다.

도 4는 도 2에서 설명된 변이값 분석하는 과정을 설명하기 위한 도면이다.

변이값의 평탄화 처리는 변이값 계산부(210)에서 생성한 변이값을 한번 더 통계적(median filter, averaging 등)으로 처리하여 평탄화하는 것을 말한다(S410). 이는 본 발명에서의 변이값이 영상합성을 위해서 필요한 것이 아니라, 화면 내의 물체들의 개략적인 입체감 정도를 판단하기 위해서 사용되기 때문에 필요한 단계이다.

평탄화 처리된 변이값에 대해 일정시간 동안 누적된 분포를 계산하여 누적분포도를 구하고(S420), 이것의 일실시예로는 각 변이값에 대해 발생하는 픽셀의 횟수를 분석하는 히스토그램(histogram)이 사용될 수 있다.

시각적으로 과도한 입체감은 수평 변이값의 분포에 관련이 있고, 일정 변이값보다 큰 픽셀들이 일정 시간 동안 지속적으로 재생될 때 시각적으로 피로감 혹은 민감한 반응을 일으킬 수 있다. 따라서, 현재의 변이값 만으로도 계산이 가능하나 변이값 마다의 픽셀(혹은 블록) 발생횟수를 일정시간 동안 누적하여 계산할 수 있다. 왜곡된 입체영상의 경우 수직 변이값 및 변이값 계산부(210)에서 변이값 추출이 불가능한(Fail) 상태의 분포와 관련이 있는데, 이 분포들을 각각 일정 시간 동안 누적하여 계산할 수도 있겠지만, 왜곡된 입체영상은 과도한 입체감보다 민감하게 인간의 시각에 불편함과 피로감을 줄 수 있으므로 현재의 변이값 만으로 판단해야 할 수도 있다.

다음으로 변이값 계산부(210)에 의한 변이값이 기 설정된 구간 이내인지 여부를 판단하는데, 평탄화 처리된 변이값이 기 설정된 구간 이내인지 실시간으로 판단하거나(S440), 평탄화된 변이값에 대해 기 시간동안 누적된 변이값이 기 설정된 구간 이내인지 여부를 판단한다(S430).

판단 결과에 따라 변이값 조절부(230)에서 동작 여부가 결정되는데, 계산된 변이값이 기 설정된 구간 이내인 경우에는 변이값 조절부(230)가 동작되어 변이값이 조절된다(S450). 그러나 계산된 변이값이 0인 구간에 집중되어 있는 극소변이 상태(도 5c 참조)와 기 설정된 구간 이외인 경우로 변이값이 지나치게 큰 경우인 과잉 변이 상태의 경우(도 5b 참조)에는 변이값 조절부(230)가 동작하지 않고, 극소변이 알림 신호 ON(S460) 혹은 과잉변이 알림 신호를 ON(S460) 하게 된다.

구체적으로, 변이값 계산부(210)에 의한 변이값이 기 설정된 구간 이내인 경우는 변이값이 조절 가능한 경우로서 변이값 조절부(230)가 동작하여 변이값을 감소시키며, 변이값이 기 설정된 구간 이외인 경우에는 변이값 조절부(230)가 동작하지 않고, 입력된 3D 영상 신호를 통과시키게 된다.

변이값 조절부(230)에서의 동작 여부에 대해서는 이하 도 5에서 자세히 후술한다.

도 5a, 도 5b, 도 5c는 입체감 분석을 위한 변이값 분포상태를 결정하는 방법의 일실시예이다. 즉, 변이값에 따른 발생빈도를 나타내는 것으로 본 발명에서 변이값 분포 상태는 일정 변이값 이상 혹은 내에 들어오는 픽셀발생횟수의 평균치 혹은 합을 이용해 결정할 수 있으며, 다음과 같이 세가지로 나눈다.

1. 5a는 변이값이 기 설정된 구간 이내의 값을 갖는 경우로서 입체감 조절가능 상태를 나타낸다 : 변이값 조절부(230)를 통해 변이값을 감소시킴으로써 입체감 또는 왜곡을 조절할 수 있는 상태로 도 4에서 전술한 바와 같이 변이값 조절부(230)가 동작하게 된다.

2. 도 5b는 변이값이 기 설정된 구간 이외의 값을 갖는 경우로서 입체감 조절불가능 상태를 나타낸다: 과도한(수평 혹은 수직)변이값이 많이 분포하는 경우로서, 변이값을 조절해도 입체감 조절 효과가 없는 상태. 또한 변이값 계산부(210)에서 변이값 추출이 불가능한(Fail) 상태가 많이 분포하는 경우로서, 변이값을 조절해도 입체영상 왜곡 조절 효과가 없는 상태이다. 이 경우 도 4에서 전술한 바와 같이 변이값 조절부(230)는 동작하지 않고 입력 3D 영상신호를 통과시키며, 과잉변이 알림 신호를 ON하게 된다.

3. 도 5c는 변이값이 기 설정된 구간 이외의 값을 갖는 경우로서 변이값이 0 근처에 대부분 분포하는 경우이다: 이 경우 입체감이 없는 상태로서 도 4에서 전술한바와 같이 변이값 조절부(230)는 동작하지 않고 입력 3D 영상 신호를 통과시키며, 극소 변이 알림 신호를 ON 하게 된다.

도 3에서 전술한 바와 같이 변이값은 기준요소와 대응요소를 좌측 영상과 우측 영상 중 어느 곳으로 하느냐에 따라 부호가 달라지며, 도 5a와 도 5b에서는 변이값이 양(+)의 값을 갖는 경우에 변이값 조절 여부를 나타내었는데, 이는 과도한 입체감의 조절은 해당 화면의 물체가 돌출되는 입체감 즉, 변이값이 양(+)의 값을 갖는 경우에 의미를 갖기 때문이다.

상기 변이값 분포 상태는 일정시간 누적분포뿐만 아니라, 현재 영상 프레임의 변이값에 대한 분포도 동시에 체크해야 할 필요가 있다. 이는 변이값 조절 및 2D/3D 상태 전환이 현재 영상프레임에 일어나야 하기 때문이다. 누적된 분포와 현재 분포를 동시에 분석하는 것이 변이조절, 2D/3D 상태 전환 등이 너무 짧은 주기로 일어나지 않도록 하는 효과가 있긴 하지만, 이를 위해 추가적인 방법도 필요할 수 있다.

필요 시 상기 변이값 분포의 상태는 확장될 수 있을 것이며, 수평 변이값 및 수직 변이값에 대해 상태를 결정하는 기준은 서로 다를 수 있다. 또한 변이값 분포의 누적시간, 변이상태를 결정하는 기준 등은 입체 시각 피로관련 다양한 경험과 연구를 통해 결정해야 할 것이다.

도 6은 입체감 조절장치(140)의 변이값 계산부(210)에서의 변이값이나 변이값 분석부에 의한 변이값이 사용자 인터페이스를 통해 출력되는 화면의 일실시예를 나타낸다.

변이맵은 보통 grayscale로 표현되지만, 실시간 방송 상황에서 용이하게 과잉 입체감을 모니터링 할 수 있도록 칼라로 표현할 수 있고, 히스토그램으로 변이값의 분포도를 표현할 수 있다. 그 외에 분석된 다양한 3D 영상관련 데이터(좌우 색차, 좌우 휘도차, 수직 disparity 등)들을 분석하여 그래픽 혹은 수치로 보여줄 수 있다.

필요 시 사용자가 입체감을 확인하고 직접 변이값을 조절할 수도 있고 변이값 분포 상태 판별 기준을 제어할 수도 있다.

도 7은 입체감 조절장치(140)에서 변이값 조절부(230) 동작의 일실시예를 나타내고 있다. 좌측의 좌우영상에서 물체는 과도한 입체감으로 인해, 구해진 수평 변이값(Dx)이 조절가능 상태인 경우이다. 양의 변이값을 가지므로, 좌측영상 물체는 좌측으로, 우측영상의 물체는 우측으로 이동시켜야 양의 변이값이 줄어들게 된다.

따라서, 중앙의 그림에서와 같이 좌측영상은 좌측을 잘라내고, 우측영상은 우측을 잘라낸 후 원래 영상 크기로 확대하면, 변이값은 D'x로 줄어들게 된다. 여기서 좌우영상의 좌우측을 각각 너무 많이 잘라내면 화질 등의 면에서 오히려 부작용을 발생시킬 수 있으므로, 적절한 양 (Cx)를 선택하여야 한다. 이러한 과정을 통해 조절되는 입체감은 화면크기, 변이값에 따라 어느 정도 한계가 있을 수 밖에 없다.

도 7은 수평 변이값을 통한 입체감 조절과정을 예를 들었으며, 수직 변이값 조절을 통해서 3D 영상의 수직방향 정렬 불량도 동일하게 조절될 수 있다. 근본적으로 과도한 입체감을 방지하는 방법은 변이값 판단부(220)에서 생성한 과잉 변이 알림신호를 이용하여 3D에서 2D로 상태를 변환하는데 있다. 따라서 과잉변이 알림신호가 ON 혹은 극소변이 알림신호가 ON일 경우에는 변이값 조절 기능은 동작하지 않고 입력 3D 영상신호를 그대로 내보낸다. (도 2, 도 4 참조)

도 8은 변이 분석데이터를 활용하는 3D 비디오 인코더(160) 동작의 일실시예를 설명하고 있다. 입체감 조절장치(140)는 3D 영상의 변이값이 기 설정된 구간 이내인지 여부를 판단하여 판단 결과에 따른 제어 정보를 생성하며, 정보 수신부(810)는 상기 제어 정보를 수신하게 된다. 입체감 조절장치(140)는 3D 영상의 변이값이 기 설정된 구간 이내가 아닌 경우에 과잉 변이 알림신호 혹은 극소 변이 알림신호의 제어 정보를 생성하는 데, 이러한 제어정보를 3D 비디오 인코더(160) 동작 중 2D/3D 상태 변경에 응용한다.

일반적으로 비디오 인코더에서 소스 인코딩 과정 중에 비트율을 제어할 때는 다양한 인코딩 인자들과 함께 버퍼(가상버퍼)의 상태를 사용한다. 좌측과 우측영상에 대해 각각 인코딩 스트림을 생성하는 방식(일명: dual stream)의 3D 비디오 인코더의 경우에 비트율 제어부는 좌측영상과 우측영상이 적절한 비율이 되도록 한 영상 프레임 내에 발생되어야 할 비트량을 할당하게 될 것이다. 여기서 기준영상 인코딩 블록과 3D 부가영상 인코딩 블록은 독립적 혹은 상호보완적으로 좌측과 우측영상을 인코딩한다.

본 발명에서는 상기 정보 수신부(810)가 수신한 과잉 변이 알림 신호 또는 (그리고) 극소 변이 알림 신호를 이용하여, 좌측영상과 우측영상에 대한 비트량의 비율을 제어하도록 한다. 즉, 과잉 변이 알림신호가 ON 상태이거나 혹은 극소 변이 알림신호가 ON 상태일 때는 입체감 조절장치(140)는 전술한 바와 같이 변이값 조절부(230)가 작동하지 않고, 3D영상 신호를 그대로 통과시키며, 인코딩부(830)는

변이값이 기 설정된 구간 이외임을 나타내는 제어 정보에 따라, 상기 3D 영상을 구성하는 좌측 영상 또는 우측 영상 중 한 쪽 영상에만 전체 비트율을 할당하여 인코딩한다. 이는 과도한 입체감이 있는 3D영상, 왜곡된 3D영상, 혹은 입체감이 거의 없는 3D 영상의 경우 두 영상 (좌측영상 및 우측영상)을 동시에 압축함으로써, 전송대역 혹은 파일크기를 낭비하지 말자는 것이다.

만일 방송에서와 같이 CBR(constant bit rate) 환경에서는 상기와 같은 경우에 (과잉 변이 알림신호가 ON 상태이거나 혹은 극소 변이 알림신호가 ON 상태일 경우) 3D 영상 중 어느 한 쪽 영상의 인코딩을 위해 할당되는 비트율을 증가시킴으로써, 입체감을 포기하는 대신에 화질을 향상시킬 수 있다.

이와 동시에 과잉 변이 알림신호 또는 (그리고) 극소 변이 알림신호는 인코딩 스트림의 다중화 과정에서도 이용될 것이다. 3D 비디오 인코딩 블록이 어느 한 영상만 인코딩할 경우에는, 좌우 영상의 인코딩 스트림을 다중화할 필요가 없을 것이며, 인코딩 스트림을 기술하는 각종 기술자(descriptor) 들은 어느 한 인코딩 스트림만 정의하면 될 것이다. 또한 추가적으로 2D/3D 상태를 알리는 기술자 정의를 위해 이용될 수 있다.

도 9는 변이 분석데이터를 활용하는 3D 단말(180) 동작의 일실시예를 설명하고 있다. 분배망(170)을 통해 실시간/비실시간 on-line 혹은 off-line으로 전달된 인코딩 된 3D 영상은 3D 비디오 디코더(910)에 의해 디코딩된다. 여기서 on-line의 경우 RF 수신 채널 디코딩 등은 3D 비디오 디코더(910) 앞 단에서 수행될 것이다.

3D 비디오 디코더(910)에 의해 디코딩 된 3D 영상은 입체감 조절부(920)로 입력이 되며, 입체감 조절부(920)에서는 3D 영상의 변이값이 기 설정된 구간 이내인지 여부에 대한 판단결과에 따라 제어 정보를 생성한다.

즉, 입체감 조절부(920)에서는 디코딩된 3D 영상을 입력으로 받아 제어 정보를 생성하는데, 출력부(930)에서는 입체감 조절부(920)에서 생성된 제어 정보가 과잉변이 알림신호 혹은 극소 변이 알림신호가 ON 상태일 때는 2D/3D 영상 모드 상태가 2D 영상 모드(mode)로 전환된다. 이때 2D 영상 모드로의 전환은 3D 디스플레이의 방식에 따라 달라질 것이다. 즉 2D 영상 모드에서, 출력부(930)는 좌우측이 동일한 2D 영상만 생성할 것이며, 3D 디스플레이가 무안경 방식일 경우 3D barrier OFF 등의 처리를 할 것이다.

출력부(930)에서는 상기 제어 정보에 따라 디코딩 된 다양한 포맷(side-by-side, top-down, dual stream 등)의 3D 영상을 입력 받아 3D 디스플레이에 적합한 방식(무안경식: parallax barrier, lenticular 등, 안경식: polarization, shuttered glass 등)으로 변환하여 상기 3D 영상을 출력하거나 상기 3D 영상을 2D 영상으로 변환하여 출력한다.

본 발명에서의 입체감 조절부(920)는 3D 영상의 구성요소인 좌측 영상 및 우측 영상을 이용하여 상기 3D 영상의 변이값을 생성하는 변이값 계산부(210), 상기 변이값이 기 설정된 구간 이내인지 여부를 판단하는 변이값 판단부(220) 및 상기 판단 결과에 따라, 상기 변이값의 크기를 조절하는 변이값 조절부(230)를 포함할 수 있으며, 상기 3D 영상의 변이값이 기 설정된 구간 이내인 경우로서 변이값 조절부(230)에 의해 변이값이 조절된 3D 영상은 출력부(930)에 의해 출력된다.

본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

Claims (12)

1. 3D 영상의 구성요소인 좌측 영상 및 우측 영상을 이용하여 상기 3D 영상의 변이값을 생성하는 변이값 계산부;
   상기 변이값이 기 설정된 구간 이내인지 여부를 판단하는 변이값 판단부; 및
   상기 판단 결과에 따라, 상기 변이값의 크기를 조절하는 변이값 조절부
   를 포함하는 것을 특징으로 하는 입체감 조절장치.
   
2. 제1항에 있어서,
   기 설정된 분석 기법에 따라 상기 변이값을 분석하는 변이값 분석부를 더 포함하며,
   상기 변이값 판단부는
   상기 변이값 분석부에 의한 분석값이 상기 기 설정된 구간 이내인지 여부를 판단하는 입체감 조절장치.
   
3. 제2항에 있어서,
   상기 변이값 분석부는
   상기 변이값을 평탄화하는
   것을 특징으로 하는 입체감 조절장치.
   
4. 제3항에 있어서,
   상기 변이값 분석부는
   상기 평탄화된 변이값을 기 설정된 시간 동안 누적하는
   것을 특징으로 하는 입체감 조절장치.
   
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 변이값 조절부는
   상기 변이값이 상기 기 설정된 구간 이내인 경우, 상기 3D 영상의 변이값을 감소시키는
   것을 특징으로 입체감 조절장치.
   
6. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 변이값 조절부는
   상기 변이값이 상기 구간 이외인 경우, 상기 변이값이 상기 구간 이외임을 나타내는 제어 정보를 생성하는
   것을 특징으로 하는 입체감 조절장치.
   
7. 3D 영상의 구성요소인 좌측 영상 및 우측 영상을 이용하여 상기 3D 영상의 변이값을 생성하는 단계;
   상기 변이값과 기 설정된 구간 이내인지 여부를 판단하는 단계; 및
   상기 판단 결과에 따라, 상기 변이값의 크기를 조절하는 단계
   를 포함하는 것을 특징으로 하는 입체감 조절 방법.
   
8. 3D 영상의 변이값이 기 설정된 구간 이내인지 여부를 판단하여, 판단 결과에 따른 제어 정보를 생성하는 입체감 조절장치로부터, 상기 제어 정보를 수신하는 정보 수신부; 및
   상기 제어 정보에 따라, 상기 3D 영상의 비트율을 제어하여, 상기 3D 영상을 인코딩하는 인코딩부
   를 포함하는 것을 특징으로 하는 3D 비디오 인코더.
   
9. 제8항에 있어서,
   상기 인코딩 부는
   상기 변이값이 기 설정된 구간 이외임을 나타내는 제어 정보에 따라, 상기 3D 영상을 구성하는 좌측 영상 또는 우측 영상에 중 한 쪽 영상에만 전체 비트율을 할당하여 3D 영상을 인코딩하는 것을 특징으로 하는
   3D 비디오 인코더.
   
10. 인코딩된 3D 영상을 디코딩하는 3D 영상 디코더;
    상기 3D 영상 디코더로부터 3D 영상을 입력받아, 3D 영상의 변이값이 기 설정된 구간 이내인지 여부에 대한 판단결과에 따라 제어 정보를 생성하는 입체감 조절부; 및
    상기 제어 정보에 따라, 상기 3D 영상을 출력하거나 또는 상기 3D 영상을 2D 영상으로 변환하여 출력하는 출력부
    를 포함하는 것을 특징으로 하는 3D 단말.
    
11. 제10항에 있어서,
    상기 입체감 조절부는
    3D 영상의 구성요소인 좌측 영상 및 우측 영상을 이용하여 상기 3D 영상의 변이값을 생성하는 변이값 계산부;
    상기 변이값이 기 설정된 구간 이내인지 여부를 판단하는 변이값 판단부; 및
    상기 판단 결과에 따라, 상기 변이값의 크기를 조절하는 변이값 조절부
    를 포함하는 것을 특징으로 하는 3D 단말.
12. 제11항에 있어서,
    상기 출력부는
    상기 입체감 조절부에 의해 변이값이 조절된 3D 영상을 출력하는 3D 단말.

Images