KR101521213B1 - 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법 - Google Patents
시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법 Download PDFInfo
- Publication number
- KR101521213B1 KR101521213B1 KR1020140078467A KR20140078467A KR101521213B1 KR 101521213 B1 KR101521213 B1 KR 101521213B1 KR 1020140078467 A KR1020140078467 A KR 1020140078467A KR 20140078467 A KR20140078467 A KR 20140078467A KR 101521213 B1 KR101521213 B1 KR 101521213B1
- Authority
- KR
- South Korea
- Prior art keywords
- depth
- stereoscopic image
- visual
- model
- inconvenience
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명에 의한 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법이 개시된다. 본 발명의 일 실시예에 따른 입체 영상을 보정하기 위한 장치는 시간에 따라 깊이 범위가 다른 기 설정된 입체 영상들에 대한 불편도 점수를 기반으로 생성된 시각적 불편도 모델을 저장하는 정보 입력부; 입체 영상을 입력 받는 영상 입력부; 및 입력 받은 상기 입체 영상의 깊이 변화를 산출하고 산출된 상기 깊이 변화를 기 생성된 시각적 불편도 모델에 적용하여 추출된 불편도 점수를 기반으로 상기 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정하는 영상 처리부를 포함한다.
Description
본 발명은 시각적 불편도 평가 기술에 관한 것으로서, 특히, 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법에 관한 것이다.
최근 3D 산업이 빠르게 발전하기 시작하면서 3D 컨텐츠 시청시 느껴지는 피로감이 중요한 문제 중의 하나가 되고 있다. 그 동안 3D 컨텐츠의 시각적인 피로를 덜어주기 위해 다양한 연구들이 진행되어 왔다.
예컨대, 시청자가 원하는 깊이감의 선호도와 편안함을 기반으로 3D 컨텐츠의 깊이감을 조절해주는 방법, 입체 영상(stereoscopic image)의 시각적 피로도를 예측하는 방법 등이 제시되었다.
그러나 기존에는 시각적 불편을 야기하는 다양한 요소를 고려한 스테레오 컨텐츠의 시각적 불편도에 관한 다수의 연구가 있었지만, 시간에 따른 깊이 범위 변화를 고려한 연구는 이루어지지 않았다.
따라서 기존 연구들과는 달리, 3D 미디어에서 시간축에 따른 깊이 변화가 시청자들에게 얼마나 시각적 불편함을 주는지에 대한 연구가 이루어질 필요성이 있다. 이러한 이유는 한 장면에서 깊이가 다른 장면으로 넘어갈 때 눈에 불편함을 주기 때문이다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 시간에 따른 깊이 범위의 변화에 대한 시각적 불편도를 정의하는 시각적 불편도 모델을 생성하여 그 생성된 시각적 불편도 모델을 이용하여 입력되는 입체 영상의 깊이 범위의 변화에 따라 기 설정된 깊이 범위 이내로 보정하도록 하는 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 입체 영상을 보정하기 위한 장치는 시간에 따라 깊이 범위가 다른 기 설정된 입체 영상들에 대한 불편도 점수를 기반으로 생성된 시각적 불편도 모델을 저장하는 정보 저장부; 입체 영상을 입력 받는 영상 입력부; 및 입력 받은 상기 입체 영상의 깊이 변화를 산출하고 산출된 상기 깊이 변화를 기 생성된 시각적 불편도 모델에 적용하여 추출된 불편도 점수를 기반으로 상기 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정하는 영상 처리부를 포함할 수 있다.
바람직하게, 상기 영상 처리부는 입력 받은 상기 불편도 점수를 기반으로 시간에 따른 깊이 변화에 대한 시각적으로 불편한 정도를 나타내는 시각적 불편도 모델을 생성하되, 입력 받은 상기 불편도 점수와 상기 입체 영상의 깊이 범위, 이전 입체 영상의 깊이 범위를 기반으로 3차원 좌표 상에 포인트로 표시하고 그 표시된 포인트를 기 설정된 선형 보간법을 이용하여 연결시켜 그 연결시킨 결과로 상기 시각적 불편도 모델을 생성하는 것을 특징으로 한다.
바람직하게, 상기 영상 처리부는 상기 입체 영상의 깊이 변화가 깊이 범위 변화이면, 시간에 따른 깊이 범위 변화에 대한 시각적으로 불편한 정도를 나타내는 제1 시각적 불편도 모델을 생성하고, 상기 입체 영상의 깊이 변화가 깊이 위치 변화이면, 시간에 따른 깊이 위치 변화에 대한 시각적으로 불편한 정도를 나타내는 제2 시각적 불편도 모델을 생성하는 것을 특징으로 한다.
바람직하게, 상기 영상 처리부는 입력 받은 상기 입체 영상의 깊이 범위 산출하여 산출된 상기 깊이 범위와 이전의 깊이 범위를 기반으로 깊이 변화를 산출하고, 산출된 깊이 변화를 기 생성된 시각적 불편도 모델에 적용하여 그 적용한 결과로 불편도 점수를 추출하는 것을 특징으로 한다.
바람직하게, 상기 영상 처리부는 산출된 상기 깊이 변화가 깊이의 범위 변화이면 제1 시각적 불편도 모델에 적용하여 불편도 점수를 추출하고, 산출된 상기 깊이 변화가 깊이의 위치 변화이면 제2 시각적 불편도 모델을 적용하게 불편도 점수를 추출 하는 것을 특징으로 한다.
바람직하게, 상기 영상 처리부는 입력 받은 상기 입체 영상의 깊이 범위를 기반으로 깊이 변화를 산출하고, 산출된 상기 깊이 변화를 상기 시각적 불편도 모델에 적용하여 그 적용한 결과로 불편도 점수를 산출하며, 산출된 상기 불편도 점수와 기 설정된 임계치를 비교하여 그 비교한 결과에 따라 상기 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정하는 것을 특징으로 한다.
바람직하게, 상기 영상 처리부는 산출된 상기 불편도 점수와 기 설정된 임계치를 비교하여 그 비교한 결과로 상기 불편도 점수가 상기 임계치보다 크면, 상기 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정하는 것을 특징으로 한다.
본 발명의 다른 한 관점에 따른 입체 영상을 보정하기 위한 방법은 시간에 따라 깊이 범위가 다른 기 설정된 입체 영상들에 대한 불편도 점수를 기반으로 생성된 시각적 불편도 모델을 저장하는 단계; 입체 영상을 입력 받는 단계; 및 입력 받은 상기 입체 영상의 깊이 변화를 산출하고 산출된 상기 깊이 변화를 상기 기 생성된 시각적 불편도 모델에 적용하여 추출된 불편도 점수를 기반으로 상기 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정하는 단계를 포함할 수 있다.
이를 통해, 본 발명은 시간에 따른 깊이 범위의 변화에 대한 시각적 불편도를 정의하는 시각적 불편도 모델을 생성하여 그 생성된 시각적 불편도 모델을 이용하여 입력되는 입체 영상의 깊이 범위의 변화에 따라 기 설정된 깊이 범위 이내로 보정하도록 함으로써, 사용자의 시각적인 피로도를 최소화할 수 있는 효과가 있다.
또한 본 발명은 시간에 따른 깊이 변화에 대한 시각적 불편도 모델을 이용하여 입력되는 입체 영상의 깊이 범위의 변화에 따라 기 설정된 깊이 범위 이내로 자동으로 보정하기 때문에 사용자의 만족감을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 입체 영상을 보정하기 위한 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 모니터의 PCZ 범위를 보여주는 도면이다.
도 3a 내지 도 3b는 본 발명의 일 실시예에 따른 깊이 변화 원리를 설명하기 위한 도면이다.
도 4는 스테레오 카메라와 물체 간의 기하학적 구조를 나타내는 도면이다.
도 5는 GDP의 기하학적 구조를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 시각적 불편도 모델을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 입체 영상을 보정하기 위한 방법을 나타내는 도면이다.
도 8a 내지 도 8b는 본 발명의 일 실시예에 따른 보정 방법의 검증 결과를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 모니터의 PCZ 범위를 보여주는 도면이다.
도 3a 내지 도 3b는 본 발명의 일 실시예에 따른 깊이 변화 원리를 설명하기 위한 도면이다.
도 4는 스테레오 카메라와 물체 간의 기하학적 구조를 나타내는 도면이다.
도 5는 GDP의 기하학적 구조를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 시각적 불편도 모델을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 입체 영상을 보정하기 위한 방법을 나타내는 도면이다.
도 8a 내지 도 8b는 본 발명의 일 실시예에 따른 보정 방법의 검증 결과를 나타내는 도면이다.
이하에서는, 본 발명의 실시예에 따른 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법을 첨부한 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.
특히, 본 발명에서는 시간에 따른 깊이 범위의 변화에 대한 시각적 불편도를 정의하는 시각적 불편도 모델을 생성하여 그 생성된 시각적 불편도 모델을 이용하여 입력되는 입체 영상의 깊이 범위의 변화에 따라 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정하도록 하는 새로운 방안을 제안한다.
도 1은 본 발명의 일 실시예에 따른 입체 영상을 보정하기 위한 장치를 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명에 따른 입체 영상을 보정하기 위한 장치는 영상 입력부(110), 정보 입력부(120), 영상 처리부(130), 영상 표시부(140), 정보 저장부(150) 등을 포함할 수 있다.
영상 입력부(110)는 유선 또는 무선 통신을 통해 입체 영상을 입력 받을 수 있다.
정보 입력부(120)는 시간에 따른 다양한 입체 영상의 깊이 범위 변화에 대한 시각적으로 불편한 정도를 나타내는 불편도 점수를 다수의 실험자들로부터 입력 받을 수 있다. 이러한 불편도 점수는 예컨대, 1~5의 값으로 입력 받을 수 있다.
영상 처리부(130)는 다수의 실험자들로부터 입력 받은 점수를 기반으로 시간에 따른 깊이 범위의 변화에 대한 시각적으로 불편한 정도를 나타내는 시각적 불편도 모델을 생성할 수 있다.
예컨대, 이전의 깊이 범위와 변화된 깊이 범위, 불편도 점수를 기반으로 3차원 좌표 상에 포인트를 표시하여 표시된 포인트를 기 설정된 선형 보간법(linear interpolation)을 이용하여 연결시켜 그 연결시킨 결과로 시각적 불편도 모델을 생성한다.
이때, 시각적 불편도 모델은 깊이의 범위 변화를 나타내는 제1 시각적 불편도 모델과 깊이의 위치 변화를 나타내는 제2 시각적 불편도 모델을 포함할 수 있다.
영상 처리부(130)는 생성된 시각적 불편도 모델을 이용하여 입력되는 입체 영상의 깊이 범위의 변화에 따라 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정할 수 있다. 즉, 영상 처리부(130)는 입력 되는 입체 영상의 깊이 변화가 기 설정된 임계치를 벗어나면, 입력되는 입체 영상의 깊이 범위를 시각적으로 불편한 정도에 포함되지 않는 기 설정된 깊이 범위 이내로 보정하게 된다.
영상 표시부(140)는 깊이 범위가 보정된 입체 영상을 디스플레이할 수 있다.
정보 저장부(150)는 기 생성된 다수의 시각적 불편도 모델과 해당 시각적 불편도 모델에 해당하는 이전의 깊이 범위, 변화된 깊이 범위, 불편도 점수를 저장할 수 있다.
이때, 본 발명에 따른 시각적 불편도 모델을 생성하는 과정을 설명하기로 한다.
먼저 실험을 진행하기 위해 가상 입체 영상을 생성하게 되는데, 예컨대, 깊이 변화 방법을 이용하여 4가지 다른 위치에 놓여 있는 물체 장면의 깊이를 변화시켜 준다.
그리고 기 설정된 컴포트 존(Percival Comfort Zone; PCZ) 범위 내에서 시간축 방향으로 깊이가 변화할 때 느끼는 불편함에 대해서 실험을 진행하도록 한다.
이러한 PCZ를 계산하기 위해서 Shibata의 시각적 컴포트 모델(visual comfort model)를 사용하였다. 이 모델은 모니터 스크린 상에 맺히는 시차와 사용자와 모니터 사이의 거리를 이용해서 심각한 불편함이 없이 볼 수 있는 PCZ의 범위를 계산하게 되는데, 이러한 PCZ의 범위는 다음의 [수학식 1]과 같이 나타낼 수 있다.
[수학식 1]
여기서, S는 모니터 스크린 상에 맺히는 시차의 거리를 미터로 나타내고, i는 양안 사이의 거리를 나타내는데 여기서는 양안 사이의 거리를 0.065m로 가정한다. D는 사용자와 모니터의 거리를 나타내는데 여기서는 1m로 설정한다. 그리고 Shibata의 시각적 컴포트 모델을 참조하여 mnear=1.035, mfar=1.129, Tnear=-0.626, Tfar=0.442로 가정한다.
도 2는 본 발명의 일 실시예에 따른 모니터의 PCZ 범위를 보여주는 도면이다.
도 2에 도시한 바와 같이, 3D 모니터의 크기는 종류가 다양하기 때문에 모니터의 크기에 따라 PCZ를 계산해야 하는데, 본 발명에서는 풀 HD 해상도를 지원하는 23인치 3D 모니터를 사용하였고 이에 따른 모니터의 PCZ 범위를 보여준다.
도 3a 내지 도 3b는 본 발명의 일 실시예에 따른 깊이 변화 원리를 설명하기 위한 도면이다.
도 3a 내지 도 3b를 참조하면, 깊이 변화 방법에는 두 가지 방법이 존재하는데, 깊이 범위 조절 방법(depth scaling)과 깊이 위치 조절 방법(depth shifting)이 있다.
즉, 깊이 범위 조절 방법을 사용하는 경우, 두 개의 가상 카메라를 가지고 좌우의 시차 거리를 일정한 간격을 두고 조절하도록 하였고, 깊이 위치 조절 방법을 사용하는 경우 일정한 간격을 두고 두 카메라를 앞 뒤로 밀리거나 당기면서 조절하였다.
도 4는 스테레오 카메라와 물체 간의 기하학적 구조를 나타내는 도면이다.
도 4를 참조하면, 실제로 느끼는 깊이가 어느 정도인지 수치적으로 나타내기 위해 각 장면의 깊이 거리 GPD(Geometric Perceived Depth)를 산출하는데, 이러한 GPD를 얻기 위해 가상 입체 영상에서 픽셀 시차 값 d를 다음의 [수학식 2]와 같이 구할 수 있다.
[수학식 2]
여기서, d는 픽셀 시차 값을 나타내고, tc는 두 가상 카메라 간의 거리를 나타내며, f는 초점 길이(focus length)를 나타내며, z는 두 가상 카메라와 객체 간의 거리를 나타낸다.
도 5는 GDP의 기하학적 구조를 나타내는 도면이다.
도 5를 참조하면, 픽셀 시차 값을 실제 모니터 스크린 상에서 맺히는 미터 단위의 시차 값으로 변환시키게 되는데, 다음의 [수학식 3]을 이용하여 구할 수 있다.
[수학식 3]
여기서, Wscreen과 Wimage는 각각 사용된 모니터의 가로 길이(예컨대, 0.5088m)와 스크린 너머 가상 공간 상에서의 이미지 가로 길이(예컨대, 1920pixel)를 나타낸다.
스크린 시차 값을 이용하여 GPD 값을 다음의 [수학식 4]를 이용하여 산출할 수 있다.
[수학식 4]
여기서, p는 미터 단위의 지각된 깊이(perceived depth) 즉, GDP 값을 나타내고, z는 사용자와 모니터 간의 거리를 나타내며, e는 양안 사이의 거리를 나타낸다.
도 6a 내지 도 6b은 본 발명의 일 실시예에 따른 시각적 불편도 모델을 나타내는 도면이다.
도 6a 내지 도 6b를 참조하면, 이렇게 산출된 결과에 해당하는 변화된 깊이 범위(changed depth range), 이전의 깊이 범위(original depth range), 및 불편도 점수(discomfort score)를 기반으로 깊이의 범위 변화에 따른 제1 시각적 불편도 모델(도 6a)과 깊이의 위치 변화에 따른 제2 시각적 불편도 모델(도 6b)을 각각 생성할 수 있다.
도 7은 본 발명의 일 실시예에 따른 입체 영상을 보정하기 위한 방법을 나타내는 도면이다.
도 7에 도시한 바와 같이, 본 발명에 따른 입체 영상을 보정하기 위한 장치(이하, 입체영상 보정장치라고 한다)는 입체 영상을 입력 받으면(S710), 입력 받은 입체 영상의 깊이 범위 산출할 수 있다(S720).
다음으로, 입체영상 보정장치는 산출된 깊이 범위와 이전의 깊이 범위를 기반으로 깊이 변화 예컨대, 깊이의 범위 변화 또는 깊이의 위치 변화를 산출할 수 있다(S730).
다음으로, 입체영상 보정장치는 산출된 깊이 변화를 기 생성된 시각적 불편도 모델에 적용하여 그 적용한 결과로 불편도 점수를 추출할 수 있다.
이때, 입체영상 보정장치는 산출된 깊이 변화가 깊이의 범위 변화이면 제1 시각적 불편도 모델에 적용하여 불편도 점수를 추출하고(S740), 산출된 깊이 변화가 깊이의 위치 변화이면 제2 시각적 불편도 모델을 적용하게 불편도 점수를 추출하게 된다(S742).
다음으로, 입체영상 보정장치는 추출된 불편도 점수와 기 설정된 임계치를 비교하여(S750) 그 비교한 결과에 따라 해당하는 입체 영상의 깊이 범위를 보정할 수 있다(S760).
즉, 입체영상 보정장치는 추출된 불편도 점수가 기 설정된 임계치보다 크면, 사용자가 불편해 한다고 판단하여 그 불편도 점수 이하에서 편하다고 판단되는 기 설정된 깊이 범위 이내로 해당하는 입체 영상의 깊이 범위를 보정하게 된다.
반면, 입체영상 보정장치는 추출된 불편도 점수가 기 설정된 임계치보다 작으면, 사용자가 불편해 하지 않는다고 판단하여 입체 영상의 깊이 범위를 보정하지 않는다.
도 8a 내지 도 8b은 본 발명의 일 실시예에 따른 보정 방법의 검증 결과를 나타내는 도면이다.
도 8a를 참조하면, 그 일예로, 본 발명에 따른 입체 영상 보정 방법을 이용하여 기 설정된 입체 영상에 대한 시각적으로 편안한 정도를 검증한 결과를 보여주고 있다. 즉, 본 발명에 따른 입체 영상 보정 방법을 적용하는 경우가 적용하지 않은 경우보다 시각적으로 편안함을 느끼는 것을 알 수 있다.
도 8b를 참조하면, 다른 예로, 본 발명에 따른 입체 영상 보정 방법을 적용하는 경우가 적용하지 않은 경우보다 사용자의 선호도가 더 높다는 것을 알 수 있다.
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 영상 입력부
120: 정보 입력부
130: 영상 보정부
140: 영상 표시부
150: 정보 저장부
120: 정보 입력부
130: 영상 보정부
140: 영상 표시부
150: 정보 저장부
Claims (14)
- 시간에 따라 깊이 범위가 다른 입체 영상들에 대한 기 측정된 불편도 점수를 기반으로 생성된 시각적 불편도 모델을 저장하는 정보 저장부;
입체 영상을 입력 받는 영상 입력부; 및
입력 받은 상기 입체 영상의 깊이 변화를 산출하고 산출된 상기 깊이 변화를 기 생성된 시각적 불편도 모델에 적용하여 추출된 불편도 점수를 기반으로 상기 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정하는 영상 처리부;
를 포함하되, 상기 시각적 불편도 모델은 두 개의 가상 카메라의 좌우 시차 거리를 일정한 간격을 두고 조절하는 방식을 이용하여 생성된 시간에 따른 깊이 범위 변화에 대한 시각적으로 불편한 정도를 나타내는 제1 시각적 불편도 모델과 두 개의 가상 카메라를 앞뒤로 밀거나 당기면서 조절하는 방식을 이용하여 생성된 시간에 따른 깊이 위치 변화에 대한 시각적으로 불편한 정도를 나타내는 제2 시각적 불편도 모델을 포함하고,
상기 영상 처리부는 산출된 상기 깊이 변화가 깊이의 범위 변화이면 제1 시각적 불편도 모델에 적용하여 불편도 점수를 추출하고, 산출된 상기 깊이 변화가 깊이의 위치 변화이면 제2 시각적 불편도 모델을 적용하게 불편도 점수를 추출하며,
상기 깊이 변화는 각 장면의 깊이 거리를 기반으로 산출되되 상기 각 장면의 깊이 거리 p는 수학식에 의해 구하고, 여기서 상기 z는 사용자와 모니터 간의 거리, 상기 e는 양안 사이의 거리, 상기 s는 스크린 시차값을 나타내며,
상기 스크린 시차값 s는 수학식에 의해 구하고, 여기서 상기 Wscreen은 모니터의 가로 길이, Wimage는 스크린 너머 가상 공간 상에서의 이미지 가로 길이, 상기 d는 픽셀 시차값을 나타내며,
상기 픽셀 시차값 d는 수학식에 의해 구하고, 여기서 상기 tc는 두 가상 카메라 간의 거리, 상기 f는 초점 길이, 상기 Z는 두 가상 카메라와 객체 간의 거리를 나타내는 것을 특징으로 하는 입체 영상을 보정하기 위한 장치.
- 제1 항에 있어서,
상기 영상 처리부는,
입력 받은 상기 불편도 점수를 기반으로 시간에 따른 깊이 변화에 대한 시각적으로 불편한 정도를 나타내는 시각적 불편도 모델을 생성하되,
입력 받은 상기 불편도 점수와 상기 입체 영상의 깊이 범위, 이전 입체 영상의 깊이 범위를 기반으로 3차원 좌표 상에 포인트로 표시하고 그 표시된 포인트를 기 설정된 선형 보간법을 이용하여 연결시켜 그 연결시킨 결과로 상기 시각적 불편도 모델을 생성하는 것을 특징으로 하는 입체 영상을 보정하기 위한 장치. - 제2 항에 있어서,
상기 영상 처리부는,
상기 입체 영상의 깊이 변화가 깊이 범위 변화이면, 시간에 따른 깊이 범위 변화에 대한 시각적으로 불편한 정도를 나타내는 제1 시각적 불편도 모델을 생성하고,
상기 입체 영상의 깊이 변화가 깊이 위치 변화이면, 시간에 따른 깊이 위치 변화에 대한 시각적으로 불편한 정도를 나타내는 제2 시각적 불편도 모델을 생성하는 것을 특징으로 하는 입체 영상을 보정하기 위한 장치. - 제1 항에 있어서,
상기 영상 처리부는,
입력 받은 상기 입체 영상의 깊이 범위 산출하여 산출된 상기 깊이 범위와 이전의 깊이 범위를 기반으로 깊이 변화를 산출하고,
산출된 깊이 변화를 기 생성된 시각적 불편도 모델에 적용하여 그 적용한 결과로 불편도 점수를 추출하는 것을 특징으로 하는 입체 영상을 보정하기 위한 장치. - 삭제
- 제1 항에 있어서,
상기 영상 처리부는,
입력 받은 상기 입체 영상의 깊이 범위를 기반으로 깊이 변화를 산출하고,
산출된 상기 깊이 변화를 상기 시각적 불편도 모델에 적용하여 그 적용한 결과로 불편도 점수를 산출하며,
산출된 상기 불편도 점수와 기 설정된 임계치를 비교하여 그 비교한 결과에 따라 상기 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정하는 것을 특징으로 하는 입체 영상을 보정하기 위한 장치. - 제6 항에 있어서,
상기 영상 처리부는,
산출된 상기 불편도 점수와 기 설정된 임계치를 비교하여 그 비교한 결과로 상기 불편도 점수가 상기 임계치보다 크면, 상기 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정하는 것을 특징으로 하는 입체 영상을 보정하기 위한 장치. - 시간에 따라 깊이 범위가 다른 입체 영상들에 대한 기 측정된 불편도 점수를 기반으로 생성된 시각적 불편도 모델을 저장하는 단계;
입체 영상을 입력 받는 단계; 및
입력 받은 상기 입체 영상의 깊이 변화를 산출하고 산출된 상기 깊이 변화를 상기 기 생성된 시각적 불편도 모델에 적용하여 추출된 불편도 점수를 기반으로 상기 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정하는 단계;
를 포함하되, 상기 시각적 불편도 모델은 두 개의 가상 카메라의 좌우 시차 거리를 일정한 간격을 두고 조절하는 방식을 이용하여 생성된 시간에 따른 깊이 범위 변화에 대한 시각적으로 불편한 정도를 나타내는 제1 시각적 불편도 모델과 두 개의 가상 카메라를 앞뒤로 밀거나 당기면서 조절하는 방식을 이용하여 생성된 시간에 따른 깊이 위치 변화에 대한 시각적으로 불편한 정도를 나타내는 제2 시각적 불편도 모델을 포함하고,
상기 보정하는 단계는 산출된 상기 깊이 변화가 깊이의 범위 변화이면 제1 시각적 불편도 모델에 적용하여 불편도 점수를 추출하고, 산출된 상기 깊이 변화가 깊이의 위치 변화이면 제2 시각적 불편도 모델을 적용하게 불편도 점수를 추출하며,
상기 깊이 변화는 각 장면의 깊이 거리를 기반으로 산출되되 상기 각 장면의 깊이 거리 p는 수학식에 의해 구하고, 여기서 상기 z는 사용자와 모니터 간의 거리, 상기 e는 양안 사이의 거리, 상기 s는 스크린 시차값을 나타내며,
상기 스크린 시차값 s는 수학식에 의해 구하고, 여기서 상기 Wscreen은 모니터의 가로 길이, Wimage는 스크린 너머 가상 공간 상에서의 이미지 가로 길이, 상기 d는 픽셀 시차값을 나타내며,
상기 픽셀 시차값 d는 수학식에 의해 구하고, 여기서 상기 tc는 두 가상 카메라 간의 거리, 상기 f는 초점 길이, 상기 Z는 두 가상 카메라와 객체 간의 거리를 나타내는 것을 특징으로 하는 입체 영상을 보정하기 위한 방법.
- 제8 항에 있어서,
상기 저장하는 단계는,
입력 받은 상기 불편도 점수를 기반으로 시간에 따른 깊이 변화에 대한 시각적으로 불편한 정도를 나타내는 시각적 불편도 모델을 생성하되,
입력 받은 상기 불편도 점수와 상기 입체 영상의 깊이 범위, 이전 입체 영상의 깊이 범위를 기반으로 3차원 좌표 상에 포인트로 표시하고 그 표시된 포인트를 기 설정된 선형 보간법을 이용하여 연결시켜 그 연결시킨 결과로 상기 시각적 불편도 모델을 생성하는 것을 특징으로 하는 입체 영상을 보정하기 위한 방법. - 제9 항에 있어서,
상기 저장하는 단계는,
상기 입체 영상의 깊이 변화가 깊이 범위 변화이면, 시간에 따른 깊이 범위 변화에 대한 시각적으로 불편한 정도를 나타내는 제1 시각적 불편도 모델을 생성하고,
상기 입체 영상의 깊이 변화가 깊이 위치 변화이면, 시간에 따른 깊이 위치 변화에 대한 시각적으로 불편한 정도를 나타내는 제2 시각적 불편도 모델을 생성하는 것을 특징으로 하는 입체 영상을 보정하기 위한 방법. - 제8 항에 있어서,
상기 보정하는 단계는,
입력 받은 상기 입체 영상의 깊이 범위 산출하여 산출된 상기 깊이 범위와 이전의 깊이 범위를 기반으로 깊이 변화를 산출하고,
산출된 깊이 변화를 기 생성된 시각적 불편도 모델에 적용하여 그 적용한 결과로 불편도 점수를 추출하는 것을 특징으로 하는 입체 영상을 보정하기 위한 방법. - 삭제
- 제8 항에 있어서,
상기 보정하는 단계는,
입력 받은 상기 입체 영상의 깊이 범위를 기반으로 깊이 변화를 산출하고,
산출된 상기 깊이 변화를 상기 시각적 불편도 모델에 적용하여 그 적용한 결과로 불편도 점수를 산출하며,
산출된 상기 불편도 점수와 기 설정된 임계치를 비교하여 그 비교한 결과에 따라 상기 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정하는 것을 특징으로 하는 입체 영상을 보정하기 위한 방법. - 제13 항에 있어서,
상기 보정하는 단계는,
산출된 상기 불편도 점수와 기 설정된 임계치를 비교하여 그 비교한 결과로 상기 불편도 점수가 상기 임계치보다 크면, 상기 입체 영상의 깊이 범위를 기 설정된 깊이 범위 이내로 보정하는 것을 특징으로 하는 입체 영상을 보정하기 위한 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140078467A KR101521213B1 (ko) | 2014-06-25 | 2014-06-25 | 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140078467A KR101521213B1 (ko) | 2014-06-25 | 2014-06-25 | 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101521213B1 true KR101521213B1 (ko) | 2015-05-18 |
Family
ID=53394970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140078467A Expired - Fee Related KR101521213B1 (ko) | 2014-06-25 | 2014-06-25 | 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101521213B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11355808A (ja) * | 1998-06-04 | 1999-12-24 | Olympus Optical Co Ltd | 映像システム |
| KR20120041948A (ko) * | 2010-10-22 | 2012-05-03 | 삼성전자주식회사 | 디스플레이 장치 및 방법 |
| KR20120065915A (ko) * | 2010-12-13 | 2012-06-21 | 한국과학기술원 | 스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치 및 방법, 시각적 불편감 측정 방법을 실행하기 위한 프로그램이 기록된 기록매체 |
-
2014
- 2014-06-25 KR KR1020140078467A patent/KR101521213B1/ko not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11355808A (ja) * | 1998-06-04 | 1999-12-24 | Olympus Optical Co Ltd | 映像システム |
| KR20120041948A (ko) * | 2010-10-22 | 2012-05-03 | 삼성전자주식회사 | 디스플레이 장치 및 방법 |
| KR20120065915A (ko) * | 2010-12-13 | 2012-06-21 | 한국과학기술원 | 스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치 및 방법, 시각적 불편감 측정 방법을 실행하기 위한 프로그램이 기록된 기록매체 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6147275B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
| CN102027752B (zh) | 用于测量立体运动画面的潜在眼睛疲劳的系统和方法 | |
| US8571304B2 (en) | Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map | |
| US9076262B2 (en) | Scripted stereo curves for stereoscopic computer animation | |
| US20140009462A1 (en) | Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects | |
| US20100073364A1 (en) | Conversion method and apparatus with depth map generation | |
| TW201505420A (zh) | 內容感知顯示適應方法 | |
| KR101697181B1 (ko) | 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법 | |
| KR20150104458A (ko) | 3차원 영상을 디스플레이하는 방법 및 그 디스플레이 장치 | |
| CN104247411A (zh) | 校正由立体显示的调节效应引起的失真误差的方法和装置 | |
| CN104320647A (zh) | 立体图像生成方法及显示装置 | |
| US20130342536A1 (en) | Image processing apparatus, method of controlling the same and computer-readable medium | |
| JP6166985B2 (ja) | 画像生成装置および画像生成プログラム | |
| CN103609104A (zh) | 用于立体效应调整的交互式用户接口 | |
| KR101634225B1 (ko) | 다시점 입체 영상 보정 장치 및 방법 | |
| KR101521213B1 (ko) | 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법 | |
| JP2012105172A (ja) | 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体 | |
| US20140293019A1 (en) | Apparatus and method for producing stereoscopic subtitles by analyzing three-dimensional (3d) space | |
| KR101345971B1 (ko) | 입체영상촬영장치에서의 주시각 제어장치 | |
| CN104980732B (zh) | 测量立体运动画面的潜在眼睛疲劳的系统和方法 | |
| Kevinç | Perceptually driven stereoscopic camera control in 3D virtual environments | |
| Yan et al. | Content-and disparity-adaptive stereoscopic image retargeting | |
| KR101291011B1 (ko) | 3차원 영상 입체감 조절 장치 및 방법과 이에 관한 기록매체 | |
| JP2014086851A (ja) | 視差制御装置及び視差制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20140625 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20140912 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20140625 Patent event code: PA03021R01I Comment text: Patent Application |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20141031 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20150227 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20141031 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| AMND | Amendment | ||
| PX0901 | Re-examination |
Patent event code: PX09011S01I Patent event date: 20150227 Comment text: Decision to Refuse Application Patent event code: PX09012R01I Patent event date: 20141229 Comment text: Amendment to Specification, etc. |
|
| PX0701 | Decision of registration after re-examination |
Patent event date: 20150430 Comment text: Decision to Grant Registration Patent event code: PX07013S01D Patent event date: 20150331 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20150227 Comment text: Decision to Refuse Application Patent event code: PX07011S01I Patent event date: 20141229 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I |
|
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20150512 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20150512 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20190507 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190507 Start annual number: 5 End annual number: 5 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20210223 |