KR20080088305A

KR20080088305A - 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치

Info

Publication number: KR20080088305A
Application number: KR1020070031142A
Authority: KR
Inventors: 구재필; 황선덕
Original assignee: 삼성전자주식회사
Priority date: 2007-03-29
Filing date: 2007-03-29
Publication date: 2008-10-02
Also published as: US8045792B2; CN101276060A; KR101345303B1; CN101276060B; US20080240549A1

Abstract

본원 발명은 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치에 관한 것으로, 스테레오 또는 다시점 영상을 수신하고, 수신한 영상에서 대응하는 두 영상에 대한 변위를 추정하여 추정된 변위가 발생한 빈도수를 측정하여 변위 히스토그램을 생성하며, 히스토그램과 소정의 특성 함수의 컨벌루션을 통해 스테레오 또는 다시점 영상의 변위 조절량을 결정하고, 변위 조절량에 따라 시차를 조정하여 스테레오 또는 다시점의 입력 영상을 재구성함으로써 영상의 입체감을 살리면서도 눈의 피로감을 최소화한다.

입체 영상, 스테레오 또는 다시점 영상, 양안 시차, 변위, 히스토그램, 입체감 조정

Description

스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치{Dynamic depth control method or apparatus in stereo-view or multiview sequence images}

도 1은 종래 스테레오 또는 다시점 영상을 각각 좌우측으로 수평이동하여 안정적인 스테레오 영상을 생성하는 과정을 나타내는 도면.

도 2는 스테레오식 카메라의 종류를 나타내는 도면.

도 3은 사람이 느끼는 양안 시차의 종류를 나타내는 도면.

도 4는 본원 발명의 일 실시예에 따른 입체감 조정 장치의 구성을 나타내는 블록도.

도 5a는 MPEG-2 MVP(Multiview profile)의 부호화기 및 복호화기의 블록도를 나타내는 도면.

도 5b는 MPEG-2 MVP의 움직임 및 변위 예측 과정에서 변위 벡터 추출 과정의 일 실시예를 나타내는 도면.

도 6은 종래 블록 기반의 변위 추정법을 나타내는 도면.

도 7은 본 발명의 일 실시예에 따른 변위 추정부의 변위 추정 흐름도.

도 8은 스테레오 또는 다시점 영상의 변위 히스토그램의 일 실시예 및 융합 한계를 나타내는 도면.

도 9는 일반적인 스테레오 또는 다시점 영상의 변위 히스토그램 형태를 나타 내는 도면.

도 10은 양안 시차를 구하는 방법을 나타내는 도면.

도 11은 다양한 히스토그램 함수의 종류를 나타내는 도면.

도 12는 변위 히스토그램과 특성 함수를 컨벌루션하는 과정 및 그 결과를 나타내는 도면.

도 13은 결정된 변위 조절량에 따라 변위 히스토그램을 이동시키는 방법을 나타내는 도면.

도 14는 결정된 변위 조절량에 따라 스테레오 또는 다시점 영상의 재구성 방법을 나타내는 도면.

도 15는 각종 사용자 인터페이스를 통한 입체감 조절 방법을 나타내는 도면.

도 16은 본원 발명의 일 실시예에 따른 입체감 조정 방법을 나타내는 흐름도.

본원 발명은 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치에 관한 것으로, 더 상세하게는 스테레오 또는 다시점 영상의 양안 시차에 대해, 시청자에게 쾌적한 입체감을 주는 최적의 양안 시차를 구하는 입체감 조정 방법 및 장치에 관한 것이다.

패러럴(parallel) 형태의 스테레오 또는 다시점 카메라로부터 촬영된 영상이 스트림(stream) 형태로 입력되고 이러한 영상들을 스테레오 입체 디스플레이에 활용한다. 임의의 두 시점으로부터 구성된 스테레오 영상 간에는 오브젝트(object)의 변위, 즉 변위(disparity)가 존재한다. 이러한 변위로 인해 시청자는 양 또는 음의 양안 시차(parallax)를 느끼게 되고 이러한 양안 시차는 입체감을 느끼게 하는 원인이 된다. 양안 시차를 갖는 영상을 장시간 시청할 경우 시청자는 쉽게 피로감을 느끼며 메스꺼움 등의 기타 신체적 부작용이 생길 수 있다.

도 1에는 종래 스테레오 또는 다시점 영상을 각각 좌우측으로 수평이동하여 안정적인 스테레오 영상을 생성하는 과정을 나타내는 도면이다. 종래 기술에서는 스테레오 또는 다시점 영상으로부터 3D 영상 디스플레이에 적합한 영상으로 만들기 위해, 매 프레임마다 입력되는 스테레오 영상의 변위(disparity)를 기존의 변위 추정법(disparity estimation) 방법을 통하여 구하고, 변위 히스토그램(disparity histogram)을 구한다. 매 프레임마다 양의 변위와 음의 변위의 비율을 적절하게 적용하기 위해 변위 히스토그램을 어느 임계치를 기준으로 음의 방향으로 위치 이동을 시킨다. 변위 히스토그램의 위치이동은 스테레오 영상의 양 끝단을 크로핑(cropping)함으로써 수행된다. 이러한 종래 기술의 실시예는 도 1에 도시된다.

도 2에는 스테레오식 카메라의 종류를 나타내는 도면이 도시된다. 스테레오 영상의 통신 환경에서도 수신단에서 변위를 조절함으로써 도 2의 종래 기술에서와 같이 촬상단에서 다양한 카메라 구조를 채택하여 카메라의 주시각을 제어한 것과 같이 안정적이고 피로도가 적은 스테레오 입체 영상을 구현할 수 있는 효과를 얻을 수 있다.

종래의 입체감 조정 방법 및 장치는 변위 히스토그램을 이용함으로써 해당 스테레오 영상의 특성을 고려하여 제작되었으나, 객관적인 근거 없이 조절 변위의 임계치를 주관적인 평가에 의해 실험적으로 구하였다. 또한 피로감을 제거하고 편안한 입체 영상을 제작하기 위해서는 양안 시차가 적절한 범위 내에 있어야 하는데 종래 기술에서는 이를 고려하지 않고 있다.

게다가, 스테레오 또는 다시점 카메라로 촬상된 영상 시퀀스의 경우, 데이터량이 많기 때문에 인해 효율적인 압축 기법이 필요하다. 편안한 입체감을 시청자에게 제공하기 위해, 이러한 데이터들을 복호화한 후 복원된 영상을 변위 추정하는 것은 상당히 비효율적이고 시스템 구현이 복잡해지는 문제점이 있다.

따라서 본원 발명이 이루고자 하는 기술적 과제는, 스테레오 또는 다시점 영상을 스테레오 디스플레이를 위해 변환하는데 있어서, 수신단에서 신호 처리적인 방법을 통해 효율적으로 눈의 피로감 등의 부작용을 최소화할 수 있는 최적의 변위 조절량을 결정하는 입체감 조정 방법 및 장치를 제시하는데 있다. 그리하여, MPEG-2 MVP 또는 MVC와 같이 압축된 스테레오 또는 다시점 입체영상을 복호화하여 각 매크로블록의 변위 벡터를 추출하여 이용한다. 또한 최적의 입체 시역을 형성하도록 스테레오 영상의 변위 히스토그램을 분석하고 변위 히스토그램 컨벌루션 합 기법을 이용한 변위 조절 방법을 제시한다.

본 발명이 이루고자 하는 다른 기술적 과제는, 재구성된 스테레오 영상을 디스플레이하는 측면에 있어서, 사용자가 원하는 양안 시차로 설정할 수 있도록 하는 사용자 인터페이스를 포함하는 입체감 조정 방법 및 장치를 제시하는데 있다.

상기 기술적 과제를 달성하기 위해, 본원 발명의 일 특징에 따른 입체감 조정 방법은, 스테레오 또는 다시점 영상을 수신하는 단계, 수신한 영상에서 대응하는 두 영상에 대한 변위를 추정하여 추정된 변위가 발생한 빈도수를 측정하여 변위 히스토그램을 생성하는 단계, 히스토그램과 소정의 특성 함수의 컨벌루션을 통해 스테레오 또는 다시점 영상의 변위 조절량을 결정하는 단계 및 변위 조절량에 따라 시차를 조정하여 스테레오 또는 다시점의 입력 영상을 재구성하는 단계를 포함한다.

본원 발명의 바람직한 실시예에서, 변위 히스토그램 생성 단계는 수신 영상이 압축/전송 기법에 의한 것으로 복호화 과정이 필요한지 여부를 판단하는 단계, 복호화한 후 변위 벡터(disparity vector)를 추출하는 단계, 매크로블록이 스킵 모드(skip mode)인 경우의 비류을 구하는 단계, 매크로블록 단위로 변위 추정하는 단계 및 추정된 변위의 빈도수로 변위 히스토그램을 작성하는 단계를 포함한다.

본원 발명의 일 실시예에서, 변위 조절량 결정 단계는 소정의 특성 함수를 선택하여 변위 히스토그램과의 컨벌루션을 통해 최적의 변위 조절량을 결정하는 단계를 포함하며,

7도 이내의 양안 시차를 선택하여 이 양안 시차를 픽셀 단위로 변환한 값을 상기 특성 함수의 범위로 하고, 수신한 영상의 유형에 따라 특성 함수를 달리 선택한다.

일 실시예에서, 재구성 단계는 변위 조절량의 절반에 해당하는 값만큼 스테 레오 또는 다시점 영상의 각각 바깥 가장자리 부분을 잘라내어, 결과 영상이 입력 영상과 동일한 크기를 유지 또는 디스플레이 방식에 맞추도록 하는 단계를 포함한다.

본원 발명의 다른 실시예에서, 변위의 갑작스런 변화에 의해 발생할 수 있는 지터(jitter) 현상을 방지하기 위해 이동 평균 필터링을 수행하는 단계를 포함한다.

본원 발명의 상기 기술적 과제를 달성하기 위해서, 본원 발명의 다른 특징에 따른 입체감 조정 장치는 스테레오 또는 다시점 영상을 수신하는 수신부, 수신한 영상에서 대응하는 두 영상에 대한 변위를 추정하여 추정된 변위가 발생한 빈도수를 측정하여 변위 히스토그램을 생성하는 변위 추정부, 히스토그램과 소정의 특성 함수의 컨벌루션을 통해 스테레오 또는 다시점 영상의 변위 조절량을 결정하는 변위 조절량 결정부 및 변위 조절량에 따라 시차를 조정하여 스테레오 또는 다시점의 입력 영상을 재구성하는 영상 재구성부를 포함한다.

상기 기술적 과제를 달성하기 위해 일 실시예에서는, 양안 시차 범위 또는 변위 조절량을 사용자 입력 신호에 의해 입력받아 입체감을 조절할 수 있는 사용자 인터페이스를 포함한다. 또한 재구성된 영상을 표시하는 디스플레이부를 포함할 수도 있다.

이하 본원 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

실제로 스테레오 영상의 입체 영상 시청할 때 나타나는 시각 피로의 주요한 원인 중 하나는 양안의 수렴점과 동공의 초점 불일치, 즉 양안 시차에 의해 발생하게 된다.

도 2는 현재 개발되고 있는 3D 입체 디스플레이에 사용되는 스테레오식 카메라 구조의 종류를 도시한다.

도 2의 (a)의 구조는 평행하게 배치되어 사람의 눈이 갖는 수렴(convergence) 기능이 없다.

도 2의 (b)의 구조는 사람의 눈이 갖는 수렴 기능은 있으나. 스테레오 영상의 좌우 끝단에서 수직 양안 시차(vertical parallax)가 발생하게 된다. 수직 양안 시차로 인한 스테레오 영상의 왜곡은 피로감을 유발시키는 원인이 된다.

도 2의 (c)의 구조는 하이브리드 스테레오 카메라(hybrid stereoscopic camera)로, (a)와 (b)의 구조의 단점을 상쇄하고 장점을 모두 살린 방식으로, 수직 양안 시차 없이 수렴 기능을 조절할 수 있는 특징이 있다.

다시점 카메라의 경우, 모든 카메라에 대해서 도 2와 같이 하이브리드 스테레오 카메라의 기능을 구현하는 것이 어렵다. 현재 표준화가 진행 중인 MVC(Multiview video coding)는 다시점의 영상을 효과적으로 압축/전송하고 수신단에서는 다시점 영상을 복호화할 수 있는 기술이다. 이 표준 환경에서는 송신단에서 다시점의 영상을 압축/전송하더라도 수신단의 단말기가 스테레오식 디스플레이라면 임의의 두 시점(view)을 선택할 수 있는 기능을 반드시 포함하도록 되어 있다. 이러한 경우 다시점 카메라로 획득된 영상을 스테레오식 디스플레이로 표시하기 위해, 하이브리드 스테레오 카메라로 획득된 것처럼 표시하기 위해서 신호 처리적 방 법이 필요하다.

도 3은 사람이 느끼는 양안 시차의 종류에 대해 도시하고 있다. 도 3의 (a)의 음의 양안 시차는 오브젝트가 스크린으로부터 튀어나온 것처럼 보이는 경우를 의미하고, (b)의 양의 양안 시차는 오브젝트가 스크린 속으로 들어간 것처럼 보이는 경우를 의미하며, (c)는 오브젝트가 스크린과 같은 깊이로 보이는 것을 의미한다. 스테레오 영상에서 음의 양안 시차가 양의 양안 시차보다 입체 효과가 더 크지만, 시청자가 느끼는 편안함은 양의 양안 시차가 더 크다. 하지만, 스테레오 영상 내의 오브젝트의 대부분이 입체효과를 극대화하기 위해 과도한 양안 시차를 가질 때, 시청자에게 시각의 피로감을 주는 등 기타 부작용을 야기한다.

도 4에는 본원 발명의 바람직한 일 실시예에 따른 입체감 조정 장치(400)의 블록도가 도시된다.

본원 발명의 일 실시예에 따른 입체감 조정 장치(400) 는 영상 수신부(402), 변위 추정부(404), 변위 조절량 결정부(406), 영상 재구성부(408) 및 디스플레이(410)을 포함한다.

영상 수신부(402)는 스테레오 또는 다시점 영상을 수신하여 변위 추정부와 영상 재구성부로 출력하고, 최종적으로 결과 영상은 디스플레이(410)에 표시된다.

변위 추정부(404)는 영상 수신부(402)에서 수신한 스테레오 또는 다시점 영상에서 대응하는 두 영상에 대한 변위를 추정하여, 추정된 변위가 발생한 빈도수를 측정하여 변위 히스토그램을 생성한다.

이하에서는, 도 5a 내지 도 9를 참조하여, 변위 추정부(404)에서 변위 추정 및 변위 히스토그램 생성 과정을 설명한다.

도 5a는 MPEG-2 MVP(Multiview profile)의 부호화기 및 복호화기의 블록도를 나타내는 도면이다.

도 5a와 같이 스테레오 또는 다시점의 영상 데이터를 전송하거나 멀티미디어 저장매체에 저장할 때에는 MPEG-2 MVP 또는 MVC와 같이 표준화된 압축/전송 기법을 통해 이루어진다. 스테레오 또는 다시점 영상을 압축할 때 각각의 시점간의 상관도가 높음을 이용하여 매크로블록 단위로 변위를 예측 및 보상하고 부호화하여 전송한다.

도 5b는 MPEG-2 MVP의 움직임 및 변위 예측 과정에 대한 도면으로 변위를 예측하기 위한 방법의 일 구현예인 변위 추정 기법이다.

도 6은 변위 추정 기법 중에서도 일반적으로 많이 사용되는 기법인 블록 기반 변위 추정법의 원리를 나타낸다.

도 6의 좌측 영상을 NxN의 균일한 블록으로 분할한 후 각각의 블록에 대한 가장 유사한 블록을 SAD(sum of absolute difference)나 MAD(mean of absolute difference) 방법을 활용하여 우측 영상에서 추정하고 이 때 기준 블록과 추정된 블록과의 거리를 변위 벡터(disparity vector)라 정의한다. 변위 벡터는 일반적으로 기준 영상 내의 모든 픽셀에 대해 별도로 주어질 수 있으나, 계산량을 줄이기 위해 한 블록 내의 모든 픽셀은 근사적으로 모두 동일하다고 가정하는 것이다. 이것이 블록 기반 변위 추정법의 특징이다. 변위 추정을 픽셀 단위까지 미세하기 추정하여 각각의 픽셀에 대해 변위 벡터를 추정한다면 이를 픽셀 기반 변위 추정법이 라고 한다.

본원 발명에서는 시스템의 효율성을 높이기 위해서 압축/전송된 스테레오 또는 다시점 영상 데이터의 경우 복호화하여 매로로블록 단위로 변위 벡터를 추출하고 변위 히스토그램을 작성한다. 이 과정에서 압축효율을 높이기 위해 변위 벡터를 예측 및 부호화할 때, 상당수의 매크로블록이 스킵 모드(skip mode)로 부호화되어 변위 벡터가 0이 되는 것이다. 그리하여 블록 기반 변위 추정법을 통해 추출된 변위 벡터의 수가 전체 매크로블록의 수 대비 소정의 임계치보다 적거나 스테레오 또는 다시점 영상 데이터가 압축되지 않았다면, 매크로블록 단위로 변위 추정 기법을 수행하여 변위 벡터를 추출하고 변위 히스토그램을 작성한다. 이 과정의 일 실시예는 도 7을 참조하여 아래에서 설명한다. 이러한 과정을 통해 추출된 변위 벡터를 이용하여 변위 조절량 결정에 필요한 변위를 추정하게 된다.

도 7은 본원 발명의 일 실시예에 따른 변위 추정부(404)에서 매크로블록 단위로 변위 벡터 추출하는 과정을 설명하는 흐름도이다.

단계(710)에서는 먼저 수신된 영상이 압축/전송된 영상으로 복호화가 필요한지 판단한다. 만약 복호화가 필요한 영상으로 판단된다면 단계(720)로 진행하지만, 압축/전송된 영상이 아니라면 단계(750)로 건너뛴다.

단계(720)에서는 만약 복호화가 필요한 영상이면 복호화를 수행한다.

단계(730)에서는 복호화하여 추출된 변위 벡터가 스킵 모드인 매크로블록의 수(

)가 처리 중인 현재 프레임의 전체 매크로블록의 수(

)에 대비하여 소정 의 임계치(

)와 비교한다. 만약

라면 단계(740)로 진행하지만, 그렇지 않은 경우에는 단계(750)으로 건너뛴다. 여기서 임계치

의 값은 실험값으로 정한다.

단계(740)에서는 복호화 후 추출된 변위 벡터를 변위 벡터를 구하고자 하는 변위로 추정한다.

단계(750)에서는 블록 기반 변위 추정을 직접 수행한다.

도 8은 스테레오 또는 다시점 영상의 변위 히스토그램의 일 실시예 및 융합 한계를 도시한다.

도 8의 (a)은 추정된 변위의 빈도수를 이용하여 작성된 변위 히스토그램의 일례를 도시하는 도면이다. 여기서 추정 변위는 변위 벡터의 수평성분 벡터이다. 입체감은 수직 양안 시차보다 수평 양안 시차에 주로 영향을 받으므로 본원 발명에서는 수직성분의 변위 벡터 성분은 고려하지 않는다. 양안 시차를 갖는 스테레오 영상 그 자체로 장시간 시청하는 경우 입체감의 효과와 동시에 피로감과 같은 부작용이 예상되므로 변위 히스토그램을 통해 스테레오 영상이 양안에 미치는 영향을 분석해야 한다.

도 8의 (b)는 변위 히스토그램에서 양안의 융합 한계 이내의 변위 부분을 도시한다. 이 분야의 개발자에게 양안의 최대 융합 범위를 양안 시차

7도 이내, 시청에 무리 없는 범위는

2도 이내, 쾌적한 양안 시차의 범위는

1도 이하가 가장 적당하다고 알려져 있다. 이러한 양안 시차의 최적 범위는 개인차와 디스플레 이의 특성, 시청거리 및 컨텐츠의 내용에 따라 달라질 수 있으나, 본원 발명에서는 상기 범위를 따른다. 도 8의 (b)의 히스토그램 중 옅은 부분은 융합한계 내의 영역이며, 어두운 부분이 융합한계를 벗어나 시청자에게 피로감 등의 부작용을 야기할 수 있다.

도 9에는 일반적인 스테레오 또는 다시점 영상의 변위 히스토그램 형태가 도시된다.

도 9의 (a)는 배경으로 구성된 입체 영상의 히스토그램의 형태, (b)는 배경 및 전경 또는 오브젝트로 구성된 입체 영상의 변위 히스토그램의 형태를 나타낸다. 배경으로 구성된 영상의 경우 음의 양안 시차로 인해 변위 히스토그램이 양의 방향으로 치우치며, 배경 및 전경 또는 오브젝트로 구성된 영상의 경우 전경 또는 오브젝트가 배경에 비해 돌출되어 보이므로 상대적으로 변위가 양의 방향으로 치우친다.

일반적으로 입체 컨텐츠를 감상할 때 쾌적한 입체감을 갖기 위해서는 관심 있는 오브젝트나 전경 부분이 음의 양안 시차를 가지고 배경과 같이 관심 밖의 영역은 양의 양안 시차를 갖는 것이 필요하다. 그렇지 않은 경우 과도한 입체감으로 시청자는 피로감을 느끼거나, 역으로 전체적으로 입체감이 감소하게 된다. 따라서 본원 발명에서는 도 9와 같이 다양한 스테레오 영상의 변위 히스토그램을 분석하여 입력된 스테레오 영상을 사람의 양안에 안정적이고 입체감 있는 스테레오 영상으로 바꿀 수 있도록 한다.

도 4의 변위 조절량 결정부(406)는 변위 추정부(404)에서 작성한 변위 히스 토그램과 특성함수의 컨벌루션을 통해, 시청자에게 쾌적한 입체감을 주기 위한 변위 조절량을 산출한다. 여기서 특성 함수는 최적의 변위 조절량을 구하기 위 변위 히스토그램과의 컨벌루션을 수행할 변위 조절량 결정부의 소정의 특성 함수를 의미한다. 도 10 내지 도 12를 참조하여 변위 조절량 결정부(406)의 구동 과정을 상세히 기술한다.

도 10은 양안 시차를 구하는 방법을 나타내는 도면이다.

도 10에는 양안 시차를 픽셀 단위의 변위로 변환하기 위한 개념이 도시된다. 도 10에서 양안 시차(

,

)는 수정체의 조절각(b)과 양안의 폭주(convergence)각(a)의 차이다. 도 10의

,

는 쾌적한 입체감을 느낄 수 있는 양안 시차에서의 깊이감의 범위이며, 이 값의 범위는 최대 양안 시차 범위

7도 이내(융합범위 이내)에서 실험적으로 구해진다.

~

은 시청거리가 주어지면 제2코사인 법칙으로 구할 수 있고, 변위

또한 비례식을 이용하여 구할 수 있다. 영상 신호처리를 위해 인위적으로 깊이감을 조절하기 위해서는 픽셀 단위의 변위 계산이 요구된다.

가 주어졌을 때, 수학식 1과 같이

를 픽셀의 피치로 나누면 디지털 영상에서 우리가 구하고자 하는 픽셀 단위의 변위가 된다.

,

여기서

는 픽셀 피치를 나타낸다. 이와 같이,

~

에 해당되는

의 범 위인

을 구할 수 있다.

도 11은 변위 조절량 산출에 필요한 히스토그램 컨벌루션을 수행하기 위한 다양한 특성 함수를 나타낸다. 여기서

는 최적의 깊이감 범위(

~

)에서의 픽셀 단위의 변위 범위이다. 일 실시예에서, 도 11의 (a) 및 (b)는 배경으로 구성된 스테레오 영상을 위한 특성 함수로 쓰일 수 있는 비대칭형 함수, (c) 내지 (f)는 배경 및 전경 또는 오브젝트로 구성된 스테레오 영상을 위한 특성 함수로 쓰일 수 있는 대칭형 함수를 도시하고 있다.

도 12는 변위 히스토그램과 특성 함수를 컨벌루션하는 과정 및 그 결과를 나타내는 도면이다.

도 12의 (a)에 변위 히스토그램 컨벌루션을 한 결과가 도시된다.

는 수학식 2에 따라 변위 히스토그램

가 음(-)의 방향으로 이동되어 있을 때의 이산 컨벌루션 합이며, 여기서

는

의 범위에 분포한다.

.

도 12의 (b)는 배경으로 구성된 스테레오 영상의 변위 히스토그램 컨벌루션 결과이며, 포물선의 형태를 보이고 오른쪽으로 가중치를 준 비대칭형의 특성 함수 를 사용하였기 때문에

의 최대값을 결정하는 변위 히스토그램 이동량

는 오른쪽에 치우쳐서 존재하게 된다. 도 12의 (c)는 배경 및 전경 또는 오브젝트로 구성된 스테레오 영상의 컨벌루션 결과로 대칭형 특성 함수를 사용하였으므로

는 두 개의 포물선 형태를 보인다. 이 경우

는 최대값과 국소 최대값을 갖는 변위 히스토그램 이동량인

를 변위 조절량으로 결정한다.

도 4의 영상 재구성부(408)는 변위 조절량 결정부(406)에서 산출한 변위 조절량을 이용하여, 쾌적한 시청감을 주도록 조정된 입체감으로 디스플레이하기 위해 영상을 재구성하며, 도 13 및 14를 참조하여 그 과정을 상세히 기술한다.

도 13은 결정된 변위 조절량에 따라 변위 히스토그램을 이동시키는 방법의 일 실시예를 도시한다.

도 13의 (a)는 배경으로 구성된 스테레오 영상의 경우로, 비대칭형 함수를 이용하여 변위 히스토그램 컨벌루션을 하고

을 기준으로 변위 히스토그램을 이동함으로써 양(+)의 양안 시차(음의 변위)의 비율을 높여서 시청자에게 좀 더 쾌적한 입체감을 제공하게 된다.

도 13의 (b)는 배경 및 전경 또는 오브젝트로 구성된 스테레오 영상의 경우로, 대칭형 함수를 사용하여 변위 히스토그램 컨벌루션을 수행하고

이 아닌

를 기준으로 변위 히스토그램을 이동함으로써 시청자에게 쾌적한 입체감을 제공하게 된다.

도 14는 변위 히스토그램을 앞서 결정한 변위 조절량

만큼 음(-)의 방향으로 위치이동을 하는 과정을 통해, 스테레오 또는 다시점 영상을 재구성하는 과정을 도시한다.

변위 히스토그램 이동은 도 14의 (a)와 같이 스테레오 영상의 좌우 양단을 변위 조절량

의 절반인

/2 만큼 잘라내는 과정이다. 변위 히스토그램 이동을 통해 스테레오 영상의 전체 양안 시차를 양의 방향으로 증가시킬 수 있게 된다. 스테레오 영상이 갖고 있는 변위 히스토그램을 분석함으로써 시청자에게 최적화된 깊이감을 제공할 수 있다. 이러한 효과를 스테레오 카메라의 관점에서 보면, 도 14의 (b)와 같이 나타날 수 있고, 도 2의 (c)의 하이브리드 양안 카메라를 사용하지 않고도 수신단에서 신호 처리적인 방법으로 시청자의 눈의 수렴점을 조절할 수 있게 된다.

이와 같은 과정으로 매 프레임(

)마다 변위 조절량

가 구해지고 스테레오 영상 내의 컨텐츠의 변화에 따라

도 조금씩 변하게 된다. 어느 순간에 그 변화량

가 갑자기 증가하거나, 매 프레임 간격으로

의 증감이 발생하게 되면, 시청자는 좌우로 미세하게 떨리는 지터(jitter) 현상을 느끼게 된다. 따라서 본원 발명의 바람직한 실시예에서, 지터 방지 필터는 도시되지 않았지만 이러한 지터 현상을 방지하기 위해 일정 구간에 윈도우를 적용하여 필터링을을 수행한다. 본원 발명의 일 실시예에서는 순차적으로 입력되는 스테레오 영상의

에 대해 이동 평균 필터(moving average filter)를 적용한다. 만일 윈도우 크기가

라면, 이동 평균 필터는 수학식 3과 같다.

.

가 아닌

을 스테레오 영상 재구성부에 적용함으로써 지터 현상을 방지할 수 있다.

도 15는 각종 사용자 인터페이스를 통한 입체감 조절 방법을 도시한다.

본원 발명의 다른 실시예에 따라, 사용자가 스테레오 영상의 입체감을 조절할 수 있도록 변수를 조정할 수 있도록 포함하는 사용자 인터페이스의 예시들로써, 디스플레이 장치의 OSD(on screen display) 인터페이스, 리모콘 등이 있다. 현재 판매되고 있는 DTV, 모니터 등의 모든 디스플레이는 OSD와 같은 사용자 인터페이스를 통해 각종 변수(예를 들면, 명암비, 밝기, 색감 등)을 조정한다. 리모콘이나 디스플레이에 장착된 버튼을 눌러 OSD 메뉴를 통해 편리하게 위와 같은 변수를 조정할 수 있는 것과 같이 OSD 메뉴에 입체감을 조절할 수 있는 메뉴를 추가하여 사용자에게 편의를 제공한다. 따라서 본원 발명의 일 실시예에서, 사용자 인터페이스를 통해 입력받은 입체감 형성을 위한 변수(즉, 양안 시차 등)가 변위 조절량 결정부(406)에 반영되어 사용자가 원하는 영상으로 출력될 수 있다.

도 16은 도 4의 입체감 조정 장치에서 수행되는 입체감 조정 방법을 설명하기 위한 흐름도이다.

단계(1610)에서는 스테레오 또는 다시점 영상을 수신한다.

단계(1620)에서는 수신한 영상에서 대응하는 두 영상에 대한 변위를 추정하여 추정된 변위가 발생한 빈도수를 측정하여 변위 히스토그램을 생성한다.

단계(1630)에서는 생성된 변위 히스토그램과 소정의 특성 함수의 컨벌루션을 통해 스테레오 또는 다시점 영상의 변위 조절량을 결정한다.

단계(1640)에서는 이 변위 조절량에 따라 시차를 조정하여 스테레오 또는 다시점의 수신 영상을 재구성하게 된다.

본 발명은 많은 다른 형태의 실시예가 가능하지만, 여기서 도면에 도시되고 상세히 설명된 예들은 본 발명의 최적화된 실시예들이며, 상기 상세한 설명은 발명의 원리의 예시로써 간주되고자 함이지, 본 발명의 넓은 측면을 도시된 실시예들도 한정하려는 것이 아니라는 것을 명심하여야 한다. 본 발명에 관해 상기 전술한 예시 구성들은 이 기술 분야에서 숙련된 이들에게 알려진 많은 방법으로 구현될 수 있다. 그리하여 본 발명은 여기서 설명된 예시 실시예에만 한정되지 않는다.

본 발명은 특정 바람직한 버전을 참고로 그것에 대해 매우 상세하게 설명되었다. 그러나 다른 버전들도 가능하다. 그리하여 첨부된 청구항들의 의도의 범위는 여기서 포함된 바람직한 버전의 상세한 설명에 제한되어서는 안 된다.

본원 발명은 스테레오 또는 다시점 영상을 스테레오 디스플레이를 위해 변환하는데 있어서, 눈의 피로감 등의 부작용을 최소화할 수 있는 최적의 변위 조절량을 결정하는 입체감 조정 방법 및 장치를 제시하는데 있다. 또한, 수신단에서 신호 처리적인 방법을 통해 스테레오 컨텐츠의 촬상 단계에서 하이브리드 스테레오 카메라로 촬상된 효과를 가진다. 이와 같은 과정은 최적의 입체 시역을 형성하도록 스테레오 영상의 변위 히스토그램을 분석하고 변위 히스토그램 컨벌루션 합 기법을 이용한 변위 조절 방법을 통해 구현한다. 더 나아가, MPEG-2 MVP 또는 MVC와 같이 압축된 스테레오 또는 다시점 입체영상을 복호화하여 각 매크로블록의 변위 벡터를 추출하여 이용하므로 표준화된 압축/전송 환경에서 시스템의 구조를 간단하고 효율적으로 구성할 수 있는 효과가 있다.

본원 발명은 또한 재구성된 스테레오 영상을 디스플레이하는 측면에 있어서, 사용자가 원하는 양안 시차로 설정할 수 있도록 하는 사용자 인터페이스를 포함하는 효과를 가진다.

Claims

스테레오 또는 다시점 영상의 입체감 조정 방법에 있어서,

스테레오 또는 다시점 영상을 수신하는 단계;

상기 수신한 영상에서 대응하는 두 영상에 대한 변위를 추정하여 상기 추정된 변위가 발생한 빈도수를 측정하여 변위 히스토그램을 생성하는 단계;

상기 생성된 변위 히스토그램과 소정의 특성 함수의 컨벌루션을 통해 스테레오 또는 다시점 영상의 변위 조절량을 결정하는 단계; 및

상기 변위 조절량에 따라 시차를 조정하여 스테레오 또는 다시점의 입력 영상을 재구성하는 단계를 포함하는 것을 특징으로 하는 입체감 조정 방법.
제 1항에 있어서,

상기 변위 히스토그램 생성 단계는 상기 수신 영상에 대한 복호화 과정이 필요한지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 입체감 조정 방법.
제 2항에 있어서,

상기 판단 단계의 결과에 따라 선택적으로, 복호화 과정이 필요하면 복호화하여 추출된 매크로블록(macro block)의 변위 벡터(disparity vector)를 추출하는 단계; 및

상기 변위 벡터의 빈도수를 이용하여 변위 히스토그램을 작성하는 단계를 포 함하는 것을 특징으로 하는 입체감 조정 방법.
제 3항에 있어서,

상기 변위 히스토그램 작성 단계는 상기 매크로블록의 전체 수
에 대비하여 상기 매크로블록 중 스킵 모드(skip mode)인 경우의 수
를 실험값으로 설정되는 임계치
와 비교하여, 만약
라면 상기 변위 벡터의 빈도수를 이용하고, 그렇지 않은 경우에는 매크로블록 단위로 변위를 추정하여 상기 변위의 빈도수를 이용하여 변위 히스토그램을 작성하는 단계를 포함하는 것을 특징으로 하는 입체감 조정 방법.
제 2항에 있어서,

상기 판단 단계의 결과에 따라 선택적으로, 복호화 과정이 필요 없다면 매크로블록 단위로 변위를 추정하여 상기 변위의 빈도수를 이용하여 변위 히스토그램을 작성하는 단계를 포함하는 것을 특징으로 하는 입체감 조정 방법.
제 1항에 있어서,

상기 특성 함수는 이산 특성 함수, 삼각형 함수, 1차 함수, 2차 함수, 큐빅 함수 및 비대칭형 함수 중 어느 하나인 것을 특징으로 하는 입체감 조정 방법.
제 1항에 있어서,

상기 변위 조절량 결정 단계는 상기 수신 영상이 배경 영상인 경우 상기 특성 함수로 오른쪽에 가중치를 둔 비대칭형 함수를 사용하고, 상기 비대칭형 함수를 이용한 컨벌루션을 통해 출력값의 오른쪽 피크값을 가질 때의 이동량을 구하고, 상기 이동량을 픽셀 단위로 변환한 값을 변위 조절량으로 결정하는 것을 특징으로 하는 입체감 조정 방법.
제 1항에 있어서,

상기 변위 조절량 결정 단계는 상기 수신 영상이 물체 및 배경을 포함하는 영상인 경우 상기 특성 함수로 대칭형 함수를 사용하고, 상기 대칭형 함수를 이용한 컨벌루션을 통해 출력값의 최대값을 가질 때의 이동량을 구하고, 상기 이동량을 픽셀 단위로 변환한 값을 변위 조절량으로 결정하는 것을 특징으로 하는 입체감 조정 방법.
제 1항에 있어서,

상기 변위 조절량 결정 단계는
7도 이내의 양안 시차를 픽셀 단위로 변환한 값을 상기 특성 함수의 범위로 갖는 것을 특징으로 하는 입체감 조정 방법.
제 1항에 있어서,

상기 재구성 단계는 상기 변위 조절량의 절반에 해당하는 값만큼 스테레오 또는 다시점 영상을 수평이동하여 상기 시차를 조정하는 단계를 포함하는 것을 특징으로 하는 입체감 조정 방법.
제 1항에 있어서,

상기 재구성 단계는 상기 변위 조절량의 절반에 해당하는 값만큼 스테레오 또는 다시점 영상의 각각 바깥 가장자리 부분을 잘라내어, 결과 영상이 입력 영상과 동일한 크기를 유지 또는 디스플레이 방식에 맞추도록 하는 단계를 포함하는 것을 특징으로 하는 입체감 조정 방법.
제 1항에 있어서,

지터(jitter) 현상 방지를 위해 이동 평균(moving average) 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 입체감 조정 방법.
스테레오 또는 다시점 영상의 입체감 조정 장치에 있어서,

스테레오 또는 다시점 영상을 수신하는 수신부;

상기 수신한 영상에서 대응하는 두 영상에 대한 변위를 추정하여 상기 추정된 변위가 발생한 빈도수를 측정하여 변위 히스토그램을 생성하는 변위 추정부;

상기 생성된 변위 히스토그램과 소정의 특성 함수의 컨벌루션을 통해 스테레오 또는 다시점 영상의 변위 조절량을 결정하는 변위 조절량 결정부; 및

상기 변위 조절량에 따라 시차를 조정하여 스테레오 또는 다시점의 입력 영 상을 재구성하는 영상 재구성부를 포함하는 것을 특징으로 하는 입체감 조정 장치.
제 13항에 있어서,

상기 변위 추정부는 상기 수신 영상에 대한 복호화 과정이 필요한지 여부를 판단하는 복호화 판단부를 포함하는 것을 특징으로 하는 입체감 조정 장치.
제 14항에 있어서,

상기 복호화 판단부의 결과에 따라 선택적으로, 복호화 과정이 필요하면 복호화하여 추출된 매크로블록의 변위 벡터를 추출하는 변위 벡터 추출하고,

상기 변위 벡터의 빈도수를 이용하여 변위 히스토그램을 작성하는 히스토그램 작성부를 포함하는 것을 특징으로 하는 입체감 조정 장치.
제 15항에 있어서,

상기 히스토그램 작성부는 상기 매크로블록의 전체 수
에 대비하여 상기 매크로블록 중 스킵 모드인 경우의 수
를 실험값으로 설정되는 임계치
와 비교하여, 만약
라면 상기 변위 벡터의 빈도수를 이용하고, 그렇지 않은 경우에는 매크로블록 단위로 변위를 추정하여 상기 변위의 빈도수를 이용하여 변위 히스토그램을 작성하는 히스토그램 작성부를 포함하는 것을 특징으로 하는 입체감 조정 장치.
제 14항에 있어서,

상기 복호화 판단부의 결과에 따라 선택적으로, 복호화 과정이 필요 없다면 매크로블록 단위로 변위를 추정하여 상기 변위의 빈도수를 이용하여 변위 히스토그램을 작성하는 히스토그램 작성부를 포함하는 것을 특징으로 하는 입체감 조정 장치.
제 13항에 있어서,

상기 특성 함수는 이산 특성 함수, 삼각형 함수, 1차 함수, 2차 함수, 큐빅 함수 및 비대칭형 함수 중 어느 하나인 것을 특징으로 하는 입체감 조정 장치.
제 13항에 있어서,

상기 변위 조절량 결정부는 상기 수신 영상이 배경 영상인 경우 상기 특성 함수로 오른쪽에 가중치를 둔 비대칭형 함수를 사용하고, 상기 비대칭형 함수를 이용한 컨벌루션을 통해 출력값의 오른쪽 피크값을 가질 때의 이동량을 구하고, 상기 이동량을 픽셀 단위로 변환한 값을 변위 조절량으로 결정하는 것을 특징으로 하는 입체감 조정 장치.
제 13항에 있어서,

상기 변위 조절량 결정부는 상기 수신 영상이 물체 및 배경을 포함하는 영상 인 경우 상기 특성 함수로 대칭형 함수를 사용하고, 상기 대칭형 함수를 이용한 컨벌루션을 통해 출력값의 최대값을 가질 때의 이동량을 구하고, 상기 이동량을 픽셀 단위로 변환한 값을 변위 조절량으로 결정하는 것을 특징으로 하는 입체감 조정 장치.
제 13항에 있어서,

상기 변위 조절량 결정부는
7도 이내의 양안 시차를 픽셀 단위로 변환한 값을 상기 특성 함수의 범위로 갖는 것을 특징으로 하는 입체감 조정 장치.
제 13항에 있어서,

상기 재구성부는 상기 변위 조절량의 절반에 해당하는 값만큼 스테레오 또는 다시점 영상을 수평이동하여 상기 시차를 조정하는 것을 특징으로 하는 입체감 조정 장치.
제 13항에 있어서,

상기 재구성부는 상기 변위 조절량의 절반에 해당하는 값만큼 스테레오 또는 다시점 영상의 각각 바깥 가장자리 부분을 잘라내어, 결과 영상이 입력 영상과 동일한 크기를 유지 또는 디스플레이 방식에 맞추도록 하는 것을 특징으로 하는 입체감 조정 장치.
제 13항에 있어서,

지터(jitter) 현상 방지를 위해 이동 평균(moving average) 필터링을 수행하는 지터 제거부를 포함하는 것을 특징으로 하는 입체감 조정 장치.
제 13항에 있어서,

양안 시차 범위 또는 상기 변위 조절량을 사용자 입력 신호에 의해 입력받아 입체감을 조절할 수 있는 사용자 인터페이스를 포함하는 것을 특징으로 하는 입체감 조정 장치.
제 13항에 있어서,

상기 재구성된 영상을 표시하는 디스플레이부를 포함하는 것을 특징으로 하는 입체감 조정 장치.
제 1항 내지 제 12항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.