KR101747929B1 - 입체영상의 화질을 개선하기 위한 장치 및 방법 - Google Patents

Abstract

본 발명은 입체영상의 화질을 개선하기 위한 장치 및 방법을 제공한다. 입체영상 화질개선 장치는 좌안 카메라로부터 좌안 영상을 전달받고, 우안 카메라로부터 우안 영상을 전달받으며, 좌안 영상과 우안 영상을 포함하는 입력 영상을 전달하는 영상 수신부 및 입력 영상의 객체별 깊이를 산출하며, 객체별 깊이에 따라 좌안 카메라와 우안 카메라 사이의 간격이 증가 또는 감소한 것처럼 시점을 가상으로 제어하고, 객체별 속도를 조절하여 변위차를 제어하는 입체영상 관리부를 포함한다.

Description

입체영상의 화질을 개선하기 위한 장치 및 방법{Apparatus and method for improving image quality of stereoscopic images}

본 발명은 입체영상의 화질을 개선하기 위한 장치 및 방법에 관한 것으로, 보다 상세하게는 객체별 깊이와 속도에 따라 변위를 조정하여 입체영상의 화질을 개선시키기 위한 장치 및 방법에 관한 것이다.

입체 영상은 두 대의 카메라를 인간의 양안시차의 간격만큼 띄어 놓은 상태에서 촬영한 것으로, 좌측 카메라에 의해 촬영된 영상과 우측 카메라에 의해 촬영된 영상 사이의 거리인 변위(disparity)에 따라 입체감이 느껴지도록 제작된다. 여기서, 양안시차는 인간이 객체를 바라볼 때 왼쪽 눈으로 보는 영상과 오른쪽 눈으로 보는 영상에서 두 눈의 간격에 해당하는 만큼 수평으로 존재하는 위치 차이를 의미한다.

이러한 입체영상은 인간의 눈과 카메라의 특성 차이로 인해 시청자는 영상의 입체감을 제대로 느끼지 못하거나 또는 어지러움 및 시각 피로 등을 호소하게 된다. 즉, 인간의 눈은 순간적인 조절작용에 의해 객체와의 거리에 관계없이 장면을 항상 선명하게 볼 수 있으나, 입체영상에서는 초점을 맞춘 객체만 선명하게 나오고 그 외의 것들은 희미하게 보여지게 되어 문제가 발생하게 된다.

이러한 문제를 해소하기 위해 변위 조정 기술을 적용하였으나 객체별 특성을 고려하지 않고 프레임 단위 또는 픽셀 단위로 단순하게 변위를 조정함에 따라 특정영역의 왜곡만 해소가 되어 어지러움이 감소되지 못하고 유지되어 입체감을 제대로 느끼지 못하게 하는 문제점이 발생한다.

본 발명의 목적은 객체별 깊이와 속도에 따라 변위차를 제어하여 입체영상의 화질을 개선시키기 위한 장치 및 방법에 관한 것이다.

상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 입체영상 화질개선 장치는 좌안 카메라로부터 좌안 영상을 전달받고, 우안 카메라로부터 우안 영상을 전달받으며, 상기 좌안 영상과 상기 우안 영상을 포함하는 입력 영상을 전달하는 영상 수신부 및 상기 입력 영상의 객체별 깊이를 산출하며, 상기 객체별 깊이에 따라 상기 좌안 카메라와 상기 우안 카메라 사이의 간격이 증가 또는 감소한 것처럼 시점을 가상으로 제어하고, 상기 객체별 속도를 조절하여 변위차를 제어하는 입체영상 관리부를 포함한다.

본 발명의 실시예에 따르면, 입력 영상의 객체별로 객체의 깊이와 속도에 따라 카메라의 시점을 가상으로 제어하여 변위차를 조절하고 입체감을 보정함에 따라 눈과 카메라의 차이에 의해 발생되는 영상의 왜곡을 감소시킬 수 있다.

그리고, 본 발명의 실시예에 따르면, 객체들의 위치변화를 함께 고려하여 화질을 개선함에 따라 시청자의 눈을 시각적으로 편안하게 유지하여 최적화된 입체감을 제공할 수 있다.

도 1은 일반적인 입체영상 화질개선 장치에서 입체영상의 화질을 개선하기 위해 카메라의 간격을 조절하는 한 예를 나타내는 도면이다.
도 2는 일반적인 입체영상 화질개선 장치에서 입체영상의 객체별 시차 영역을 설명하기 위한 한 예를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 입체영상의 화질을 개선하기 위한 장치를 개략적으로 나타내는 도면이다.
도 4 내지 도 6은 도 3에 도시한 입체영상 화질개선 장치에서 객체의 시차 영역별로 카메라 사이의 간격을 조절하는 한 예를 나타내는 도면이다.
도 7은 도 3에 도시한 입체영상의 화질을 개선하기 위한 장치에서 객체의 특성에 따른 입체감을 조정하는 순서를 나타내는 흐름도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

도 1은 일반적인 입체영상 화질개선 장치에서 입체영상의 화질을 개선하기 위해 카메라의 간격을 조절하는 한 예를 나타내는 도면이며, 도 2는 일반적인 입체영상 화질개선 장치에서 입체영상의 객체별 시차 영역을 설명하기 위한 한 예를 나타내는 도면이다.

도 1을 참고하면, 일반적인 입체영상 화질개선 장치에서는 좌안 영상을 촬영하는 카메라(10) 및 우안 영상을 촬영하는 카메라(20)를 이용하여 사용자와 영상 내에 존재하는 각 객체(30)와의 거리에 따른 양안시차를 반영하여 입체영상을 생성하지 못하는 문제점이 있다. 이러한 문제점을 해소하기 위해 일반적인 입체영상 화질개선 장치는 입체영상의 촬영 시에는 카메라(10, 20) 사이의 간격(d)를 조절하여 객체의 초점을 맞춘다.

구체적으로, 일반적인 입체영상 화질개선 장치는 입체영상 촬영 시 가까이 있는 객체(30a)에 초점을 맞추는 경우에는 카메라(10, 20)의 간격을 "d1"으로 감소시키고, 조금 더 멀리 떨어져 있는 객체(30b) 또는 객체(30c)에 초점을 맞추는 경우에는 해당 객체에 따라 카메라간 간격을 "d2" 또는 "d3"로 증가시켜 촬영하여 초점을 맞춘다.

이러한 방법으로 초점을 맞추게 되면 사용자가 초점범위 이외의 객체(도시하지 않음)를 바라 보게 되는 경우에는 초점거리와 폭주거리의 불일치로 인해 입체 영상을 보는 사용자가 피로감을 느끼게 되는 문제점이 발생한다.

한편, 도 2를 참고하면 입체영상은 객체의 깊이에 따라 음의 시차, 양의 시차 및 영의 시차로 분류된다. 여기서, 음의 시차는 객체(50a)가 스크린(60)으로부터 돌출된 것처럼 보이는 것이며, 이 영역을 음의 시차 영역이라고 한다. 양의 시차는 객체(50a)가 스크린(60) 속으로 들어간 것처럼 보이는 것으로, 이 영역을 양의 시차 영역이라고 한다. 영의 시차는 객체(50a)와 스크린(60)과 동일한 깊이이며, 이 영역을 영의 시차 영역이라고 한다.

이러한 시차 범위에서 입체영상이 표시되는 경우, 음의 시차가 양의 시차보다 입체효과가 더 크게 전달되지만 영상의 왜곡이 크게 발생되어 사용자가 눈에 보다 많은 피로감을 느끼게 된다. 그리고, 음의 시차의 영역에서 객체의 움직임이 발생하는 경우, 객체의 움직임에 의한 운동 시차도 양의 시차에서 보다 많이 발생하여 움직이는 객체에 의한 시각적인 피로가 가중화되는 문제점이 발생된다.

이하, 이러한 문제점을 해소하기 위한 본 발명의 실시예에 따른 입체영상의 화질을 개선하기 위한 장치 및 방법에 대하여 도 3 내지 도 7을 참조하여 구체적으로 설명한다.

도 3은 본 발명의 실시예에 따른 입체영상의 화질을 개선하기 위한 장치를 개략적으로 나타내는 도면이다. 도 4 내지 도 6은 도 3에 도시한 입체영상 화질개선 장치에서 객체의 시차 영역별로 카메라의 시점을 가상으로 제어하는 한 예를 나타내는 도면이다.

도 3에 도시한 바와 같이, 본 발명의 실시예에 따른 입체영상의 화질을 개선하기 위한 입체영상 화질개선 장치(100)는 좌안 카메라(110), 우안 카메라(120), 영상 수신부(130) 및 입체영상 관리부(140)를 포함한다.

좌안 카메라(110)는 좌안 영상을 촬영하며, 촬영된 좌안 영상을 영상 수신부(110)로 전달한다. 좌안 카메라(110)는 입체영상 관리부(140)의 제어에 따라 우안 카메라(120)와의 간격이 가상으로 제어된다.

우안 카메라(120)는 우안 영상을 촬영하며, 촬영된 우안 영상을 영상 수신부(110)로 전달한다. 우안 카메라(120)는 입체영상 관리부(140)의 제어에 따라 좌안 카메라(110)와의 간격이 가상으로 제어된다..

영상 수신부(130)는 좌안 카메라(110)로부터 좌안 영상을 전달받으며, 우안 카메라(120)로부터 우안 영상을 전달받는다. 영상 수신부(130)는 좌안 영상과 우안 영상을 포함하는 입력영상을 입체영상 관리부(140)로 전달한다.

입체영상 관리부(140)는 입력영상의 각 객체의 깊이(depth)를 산출한다. 그리고, 입체영상 관리부(140)는 객체의 깊이가 영의 시차 영역에 포함되지 또는 음의 시차 영역에 포함되지 또는 양의 시차 영역에 포함되지를 판단하여 객체 깊이 정보를 생성한다. 입체영상 관리부(140)는 객체 깊이 정보를 분석한 결과에 따라 좌안 카메라(110)와 우안 카메라(120) 사이의 간격이 증가 또는 감소한 것처럼 카메라의 시점을 가상으로 제어한다.

그리고, 입체영상 관리부(140)는 이전 프레임과의 위치를 비교하여 객체의 속도를 산출한다. 입체영상 관리부(140)는 객체의 속도에 따라 변위차를 제어하여 객체의 특성에 따른 입체감을 조정한다.

본 발명의 실시예에 따른 여기서 깊이(depth)란 촬영된 객체가 카메라로부터 떨어진 정도를 나타내며 변이(disparity)란 좌안 카메라(110)와 우안 카메라(120)에서 촬영된 객체의 위치 차이를 나타낸다.

예를 들어, 도 4 및 도 5를 참고하면, 입체영상 관리부(140)는 좌안 카메라(110)와 우안 카메라(120)에 촬영된 입력영상에 객체(200a) 및 객체(200b)가 존재하며, 객체(200b)가 영의 시차 영역에 있다고 가정하면, 입체영상 관리부(140)는 객체(200b)가 영의 시차 영역에 포함되므로 카메라 간격을 제어하지 않고 객체(200b)를 촬영한다. 입체영상 관리부(140)는 객체(200a)가 스크린(300)으로부터 돌출된 것처럼 보이는 음의 시차 영역에 포함되는 지를 판단한다.

그리고, 입체영상 관리부(140)는 판단결과 객체(200a)가 음의 시차 영역에 포함되는 경우, 카메라의 간격이 "D1"에서 "D2"로 좁아진 것처럼 카메라의 시점을 가상으로 제어하여 객체(200a)의 변위차가 객체(200b)의 변위차 보다 감소되도록 한다.

만일, 도 6에 도시한 바와 같이 객체(200b)보다 멀리 스크린(300)속으로 객체(200c)가 위치하는 경우, 입체영상 관리부(140)는 카메라의 간격이 "D1"에서 "D3"로 증가한 것처럼 카메라의 시점을 가상으로 제어하여 객체(200c)의 변위차가 객체(200b)의 변위차 보다 증가되도록 한다.

본 발명의 실시예에서는 설명의 편의를 위해 카메라의 시점을 가상으로 제어할 때 우안 카메라(120)에 의해 카메라의 시점을 가상으로 조정하는 것으로 도시하였으나, 본 발명은 이에 한정되지 않으며, 좌안 카메라(110)에 의해 가상으로 조정하거나 또는 좌안 카메라(110)와 우안 카메라(120)를 동시에 가상으로 조정하여서도 카메라의 시점을 가상으로 제어할 수 있다.

도 7은 도 3에 도시한 입체영상의 화질을 개선하기 위한 장치에서 객체의 특성에 따른 입체감을 조정하는 순서를 나타내는 흐름도이다.

도 7에 도시한 바와 같이, 본 발명의 실시예에 따른 입체영상의 화질을 개선하기 위한 입체영상 화질개선 장치(100)의 영상 수신부(130)는 좌안 카메라(110)로부터 좌안 영상을 전달받으며, 우안 카메라(120)로부터 우안 영상을 전달받는다. 즉, 영상 수신부(130)는 입력영상을 전달받아 입체영상 관리부(140)로 전달한다(S100).

입체영상 관리부(140)는 입력영상의 각 객체의 깊이(depth)를 산출한다(S101). 그리고, 입체영상 관리부(140)는 객체의 깊이가 포함되는 시차 영역을 판단하여 객체 깊이 정보를 생성한다(S102).

입체영상 관리부(140)는 객체 깊이 정보를 분석하여 객체의 깊이와 기준 깊이를 비교한다(S103).

S103 단계의 판단결과 객체의 깊이가 기준 깊이와 같은 경우, 입체영상 관리부(140)는 이전 프레임과의 위치를 비교하여 객체의 속도를 산출한다(S104). 입체영상 관리부(140)는 객체의 속도가 임계 속도 이상인지의 여부를 판단한다(S105).

S105 단계의 판단결과 객체의 속도가 임계 속도 이상인 경우, 입체영상 관리부(140)는 이전 프레임과 현재 프레임과의 속도차가 임계속도 이상이 되어 눈의 어지러움을 줄 수 있으므로 소정의 범위에서 변위차가 감소되도록 제어한다(S106). 한편, S150 단계의 판단결과 객체의 속도가 임계 속도 이하인 경우, 입체영상 관리부(140)는 변위차를 감소시키지 않고 해당 변위차가 유지되도록 한다.

여기서, 변위차의 감소 정도는 실험에 의해 사용자가 어지러움을 느끼지 않는 범위 내에서 객체의 이동 속도를 고려하여 설정될 수 있다. 일반적으로 음의 영역 범위에 있는 객체들의 움직임이 눈에 피로를 많이 주므로 음의 시차 영역에 포함되는 객체들의 변위값이 양의 시차 영역에 포함되는 객체들의 변위값 보다 크게 조정된다.

S103 단계의 판단결과 객체의 깊이가 기준 깊이가 보다 작은 경우, 입체영상 관리부(140)는 좌안 카메라(110)와 우안 카메라(120) 사이의 간격이 감소한 것처럼 카메라의 시점을 가상으로 제어하여 변위차가 감소되도록 한다(S107, S108). 그리고, 입체영상 관리부(140)는 S104 단계 이후의 과정을 동일하게 수행한다.

S103 단계의 판단결과 객체의 깊이가 기준 깊이가 보다 큰 경우, 입체영상 관리부(140)는 좌안 카메라(110)와 우안 카메라(120) 사이의 간격이 증가한 것처럼 카메라의 시점을 가상으로 제어하여 변위차가 증가하도록 한다(S109, S110). 그리고, 입체영상 관리부(140)는 S104 단계 이후의 과정을 동일하게 수행한다.

이와 같이, 본 발명의 실시예에 따른 입체영상 화질개선 장치는 입력 영상의 객체별로 객체의 깊이와 속도에 따라 카메라의 시점을 가상으로 조절하여 변위차를 제어하고 입체감을 보정함에 따라 눈과 카메라의 차이에 의해 발생되는 영상의 왜곡을 감소시킬 수 있다. 그리고, 객체들의 위치변화를 함께 고려하여 화질을 개선함에 따라 시청자의 눈을 시각적으로 편안하게 유지하여 최적화된 입체감을 제공할 수 있다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 입체영상 화질개선 장치
110: 좌안 카메라
120: 우안 카메라
130: 영상 수신부
140: 입체영상 관리부

Claims (10)

1. 좌안 카메라로부터 좌안 영상을 전달받고, 우안 카메라로부터 우안 영상을 전달받으며, 상기 좌안 영상과 상기 우안 영상을 포함하는 입력 영상을 전달하는 영상 수신부; 및
   상기 입력 영상의 객체별 깊이를 산출하며, 상기 객체의 깊이가 영(0)의 시차영역, 음의 시차영역 및 양의 시차영역 중에서 어느 시차영역에 포함되는지 여부를 판단하고, 상기 객체의 깊이가 포함되는 상기 시차영역에 상응하도록 상기 좌안 카메라와 상기 우안 카메라 사이의 간격이 증가 또는 감소한 것처럼 시점을 가상으로 제어하여 변위차를 제어하는 입체영상 관리부
   를 포함하며,
   상기 입체영상 관리부는,
   상기 객체의 깊이가 상기 영의 시차영역에 포함되는 경우 상기 객체의 속도를 산출하고, 산출된 상기 객체의 속도가 임계 속도 이상인 경우 상기 변위차가 감소되도록 상기 시점을 가상으로 제어하고, 상기 객체의 속도가 상기 임계 속도 미만인 경우 상기 변위차를 유지하는 것을 특징으로 하는 입체영상 화질개선 장치.
2. 삭제
3. 제1항에 있어서,
   상기 객체가 상기 음의 시차영역에 포함되는 경우,
   상기 좌안 카메라와 상기 우안 카메라 사이의 간격이 감소한 것처럼, 상기 좌안 카메라 또는 상기 우안 카메라의 시점을 가상으로 제어하여, 상기 변위차가 감소하도록 하는 입체영상 화질 개선 장치.
4. 제1항에 있어서,
   상기 객체가 상기 양의 시차영역에 포함되는 경우,
   상기 좌안 카메라와 상기 우안 카메라 사이의 간격이 증가한 것처럼, 상기 좌안 카메라 또는 상기 우안 카메라의 시점을 가상으로 제어하여, 상기 변위차가 증가하도록 하는 입체영상 화질 개선 장치.
5. 삭제
6. 제1항에 있어서,
   상기 입체영상 관리부는,
   상기 입력 영상의 이전 프레임에서의 상기 객체의 위치와 현재 프레임에서의 상기 객체의 위치를 이용하여 상기 객체의 속도를 산출하는 입체영상 화질개선 장치.
7. 삭제
8. 좌안 카메라가 촬영한 좌안 영상 및 우안 카메라가 촬영한 우안 영상을 포함하는 입력 영상을 수신하는 단계;
   상기 입력 영상의 객체별 깊이를 산출하는 단계;
   상기 객체의 깊이가 영(0)의 시차영역, 음의 시차영역 및 양의 시차영역 중에서 어느 시차영역에 포함되는지 여부를 판단하는 단계; 및
   상기 객체별 깊이가 포함되는 상기 시차영역에 상응하도록 상기 좌안 카메라와 상기 우안 카메라 사이의 간격이 변화한 것처럼, 상기 좌안 카메라 및 상기 우안 카메라의 시점을 가상으로 제어하는 단계;
   를 포함하며,
   상기 좌안 카메라 및 상기 우안 카메라의 시점을 가상으로 제어하는 단계는,
   상기 객체의 깊이가 상기 영의 시차영역에 포함되는 경우 상기 객체의 속도가 임계 속도 이상인 경우 변위차가 감소되도록 상기 시점을 가상으로 제어하고, 상기 객체의 속도가 상기 임계 속도 미만인 경우 상기 변위차를 유지하는 것을 특징으로 하는 입체영상 화질개선 방법.
9. 삭제
10. 제8항에 있어서,
    상기 좌안 카메라 및 상기 우안 카메라의 시점을 가상으로 제어하는 단계는,
    상기 입력 영상의 이전 프레임에서의 상기 객체의 위치와 현재 프레임에서의 상기 객체의 위치를 이용하여 상기 객체의 속도를 산출하는 단계를 더 포함하는 입체영상 화질개선 방법.

Images