KR101562111B1 - 피로도를 고려한 영상 처리 장치 및 방법 - Google Patents

피로도를 고려한 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101562111B1
KR101562111B1 KR1020130145962A KR20130145962A KR101562111B1 KR 101562111 B1 KR101562111 B1 KR 101562111B1 KR 1020130145962 A KR1020130145962 A KR 1020130145962A KR 20130145962 A KR20130145962 A KR 20130145962A KR 101562111 B1 KR101562111 B1 KR 101562111B1
Authority
KR
South Korea
Prior art keywords
fatigue
disparity
objects
unit
input image
Prior art date
Application number
KR1020130145962A
Other languages
English (en)
Other versions
KR20150062187A (ko
Inventor
손광훈
오창재
함범섭
최성환
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020130145962A priority Critical patent/KR101562111B1/ko
Publication of KR20150062187A publication Critical patent/KR20150062187A/ko
Application granted granted Critical
Publication of KR101562111B1 publication Critical patent/KR101562111B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

피로도를 고려하여 스테레오 영상을 처리하는 장치 및 방법이 개시된다. 상기 영상 처리 장치는 입력 영상의 피로도를 추정하는 피로도부 및 상기 추정된 피로도를 기초로 하여 상기 입력 영상의 객체들의 상대적인 거리를 비선형적으로 조절하는 리매핑부를 포함한다.

Description

피로도를 고려한 영상 처리 장치 및 방법{APPARATUS AND METHOD OF PROCESSING AN IMAGE CONSIDERING FATIGUE}
본 발명은 피로도를 고려한 영상 처리 장치 및 방법에 관한 것이다.
3D 영상 디스플레이 장치는 사람의 좌안(left eye)과 우안(right eye)에 시점 차이를 반영한 서로 다른 영상을 제공하여 입체감을 느끼게 하는 영상 디스플레이 장치이다.
3D 영상 디스플레이 장치에 사용되는 영상으로는 좌안 시점 영상과 우안 시점 영상을 제공하는 스테레오스코픽(stereoscopic) 영상과 보다 다양한 시점의 영상을 제공하는 다시점(multi-view) 영상이 존재한다. 그러나, 3D 디스플레이를 구현하는 경우, 시선 수렴과 초점 조절의 차이 (Convergence-Accommodation
Difference)로 인한 시청 피로(Visual fatigue)가 발생하는 데, 3D 영상 구현시 이러한 피로도를 고려하지 않았으며, 따라서 시청자가 영상 시청시 피로감을 느낄 수 있다.
한국공개특허공보 제2012-0071970호 (공개일 : 2012년 7월 3일)
본 발명은 피로도를 고려하여 스테레오 영상을 처리하는 장치 및 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상 처리 장치는 입력 영상의 피로도를 추정하는 피로도부; 및 상기 추정된 피로도를 기초로 하여 상기 입력 영상의 객체들의 상대적인 거리를 비선형적으로 조절하는 리매핑부를 포함한다.
본 발명의 일 실시예에 따른 영상 처리 방법은 공간 주파수, 디스패리티 크기 또는 디스패리티 움직임을 통하여 입력 영상의 피로도를 추정하는 단계; 및 상기 추정된 피로도를 기초로 상기 입력 영상의 디스패리티 범위의 객체들의 상대적인 거리를 비선형적으로 조절하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 영상 처리 방법은 스테레오 영상의 피로도를 기초로 상기 스테레오 영상의 디스패리티 범위를 적응적으로 조절하는 단계; 및 상기 조절된 디스패리티 범위의 객체들 사이의 상대적인 거리를 비선형적으로 조절하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 영상 처리 방법은 특정 장면에 포함된 프레임들의 피로도를 추정하는 단계; 및 상기 추정된 피로도를 기초로 하여 상기 각 프레임들의 객체들의 상대적인 거리를 비선형적으로 조절하는 단계를 포함한다.
본 발명에 따른 영상 처리 장치 및 방법은 스테레오 영상의 피로도 점수를 구하고, 피로도 점수를 기초로 하여 스테레오 영상을 비선형적으로 리매핑한다. 결과적으로, 상기 스테레오 영상의 피로도가 최소화될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 피로도부의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 리매핑부의 구성을 도시한 블록도이다.
도 4는 디스플레이 시스템의 기하학적인 구조를 도시한 도면이다.
도 5는 인덱스 지도 및 피로도 지도를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 디스패리티 리매핑 과정을 도시한 도면이다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예들을 자세히 설명하도록 한다.
3D 컨텐츠를 디스플레이하는 과정에서 수렴(Convergence)과 조절(Accommodation)의 충돌로 인하여 피로도가 발생한다. 조절이 디스플레이 패널에 고정되는 동안 수렴은 객체에 대하여 변화하며, 이러한 조절과 수렴의 충돌은 피로도를 야기시킨다.
따라서, 본 발명은 피로도를 최소화할 수 있는 영상 처리 장치 및 방법을 제안한다. 즉, 상기 영상 처리 장치는 예를 들어 3D 영상인 스테레오 영상의 피로도를 반영하여 스테레오 영상(입력 영상)의 피로도를 최소화시킬 수 있다. 예를 들어, 상기 영상 처리 장치는 피로도가 높은 스테레오 영상의 디스패리티 범위(Disparity range)를 시각적으로 편안한 범위로 적응적으로 조절하고 상기 디스패리티 범위의 객체들의 상대적 거리를 비선형적으로 조절하여 피로도를 최소화시킬 수 있다.
시각적 피로도에 영향을 미치는 지표로는 공간 주파수(spatial frequency), 디스패리티 크기(disparity magnitude) 및 디스패리티 움직임(disparity moving)을 고려할 수 있다. 구체적으로는, 공간 주파수가 증가하면, 양안 융합 능력(binocular fusion ability)이 감소하여 피로도가 야기된다. 또한, 디스패리티 크기가 증가함에 따라 수렴과 조절 사이의 충돌이 더 심해지며, 그 결과 시각적 피로도가 발생한다. 디스패리티 움직임이 높으면, 일시적인 디스패리티 변화가 수렴과 조절 사이의 충돌을 발생시켜 피로도를 야기한다.
따라서, 본 발명의 영상 처리 장치는 후술하는 바와 같이 피로도에 영향을 미치는 공간 주파수, 디스패리티 크기 및 디스패리티 움직임을 모두 고려하여 피로도 척도로서 피로도 점수를 구할 수 있다. 다만, 피로도 점수 산출시 공간 주파수, 디스패리티 크기 및 디스패리티 움직임의 가중치(weight)는 다를 수 있다.
상기 영상 처리 장치는 상기 구해진 피로도 점수를 기초로 하여 디스패리티 리매핑(disparity remapping) 과정을 수행하여 상기 스테레오 영상의 피로도를 최소화시킨다. 상기 리매핑 과정은 피로도 점수에 기초하여 디스패리티 범위를 제어하기 위한 것으로서, 특히 비선형 리매핑 동작일 수 있다.
이하, 본 실시예의 영상 처리 방법 및 장치의 다양한 실시예들을 첨부된 도면들을 참조하여 상술하겠다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한 블록도이다.
도 1을 참조하면, 본 실시예의 영상 처리 장치는 시각적 피로도가 최소화되도록 입력된 스테레오 영상을 처리하는 장치로서, 피로도부(100) 및 리매핑부(102)를 포함할 수 있다.
피로도부(100)는 입력된 스테레오 영상의 피로도를 추정하며, 예를 들어 공간 주파수, 디스패리티 크기 및 디스패리티 움직임을 기초로 상기 스테레오 영상의 피로도 점수를 구할 수 있다. 구체적으로는, 피로도부(100)는 공간 주파수, 디스패리티 크기 및 디스패리티 움직임의 인덱스 지도들(index map)을 생성하고, 상기 인덱스 지도들을 조합하여 피로도 지도(fatigue map)를 생성하며, 상기 생성된 피로도 지도로부터 피로도 점수를 산출할 수 있다. 일 실시예에 따르면, 피로도 점수 산출시 인덱스 지도들의 가중치가 다를 수 있다.
리매핑부(102)는 피로도부(100)에 의해 구해진 피로도 점수를 기초로 하여 스테레오 영상을 비선형적으로 리매핑하여 피로도를 최소화시킨다.
일 실시예에 따르면, 리매핑부(102)는 스테레오 영상의 디스패리티 범위(disparity range)를 선형적으로 적응(adaptation)시키고, 즉 상기 스테레오 영상의 깊이를 선형적으로 조절하고, 그런 후 불편한 객체들 사이의 디스패리티 경사(disparity gradient)를 최소화하도록 객체들 사이의 상대적인 거리를 비선형적으로 조절할 수 있다. 결과적으로, 리매핑부(102)로부터 출력되는 스테레오 영상의 피로도가 최소화될 수 있다.
한편, 리매핑부(102)는 편안한 스테레오 영상의 경우 디스패리티 범위 적응 과정 및 비선형적 깊이 조절 과정을 통하여 스테레오 영상에 입체감을 더 부여할 수 있다.
정리하면, 본 실시예의 영상 처리 방법은 공간 주파수, 디스패리티 크기 및 디스패리티 움직임을 고려하여 피로도를 추정하고, 추정된 피로도를 이용하여 디스패리티 범위를 선형적으로 적응시킨 후 비선형적으로 객체들 사이의 상대적 거리를 조절하여 피로도를 최소화시킬 수 있다.
이하, 영상 처리 장치의 구성요소들의 구성 및 동작을 첨부된 도면들을 참조하여 상술하겠다.
도 2는 본 발명의 일 실시예에 따른 피로도부의 구성을 도시한 블록도이고, 도 3은 본 발명의 일 실시예에 따른 리매핑부의 구성을 도시한 블록도이다. 도 4는 디스플레이 시스템의 기하학적인 구조를 도시한 도면이고, 도 5는 인덱스 지도 및 피로도 지도를 도시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 디스패리티 리매핑 과정을 도시한 도면이다.
도 2를 참조하면, 본 실시예의 피로도부(100)는 피로도 분석 유닛(200), 피로도 지도 유닛(202) 및 피로도 추정 유닛(204)을 포함할 수 있다.
피로도 분석 유닛(200)은 시각적 피로도에 영향을 미치는 지표들을 분석하며, 예를 들어 공간 주파수 유닛(spatial frequency unit, 210), 디스패리티 크기 유닛(disparity magnitude unit, 212) 및 디스패리티 움직임 유닛(disparity motion unit, 214)을 포함할 수 있다.
공간 주파수 유닛(210)은 이미지 구조(image texture)와 관련되며, 사용자의 피로도에 영향을 미치는 지표이다. 일반적으로, 공간 주파수가 높은 이미지는 공간 주파수가 낮은 이미지보다 더 시각적 피로도를 야기시킨다. 따라서, 공간 주파수 유닛(210)은 피로도를 검출하기 위하여 스테레오 영상의 공간 주파수를 분석한다.
중요한 시각적 특징들은 국부 위상 합치(local phase congruency)가 최대인 지점에서 인식될 수 있다. 또한, 인간 대뇌 피질은 자연 이미지(natural image)에서의 공간 주파수 위상에 민감하다. 즉, 공간 주파수는 시각적 피로도에 영향을 미치게 된다.
상기 공간 주파수는 위상 합치를 구함에 의해 산출될 수 있다. 위상 합치는 아래의 수학식 1 내지 수학식 3을 통하여 구해질 수 있다.
Figure 112013108743438-pat00001
여기서,
Figure 112013108743438-pat00002
(grayscale에서의 오리지널 영상),
Ω⊂N2(2D 좌표 p=(x,y)∈Ω를 가지는 open and bounded space),
Figure 112013108743438-pat00003
(필터의 방향각) J는 방향(orientation)의 수,
Figure 112013108743438-pat00004
(각기 even 응답 벡터 및 odd 응답 벡터), Mn e, Mn o는 각기 even 대칭 필터 및 odd 대칭 필터임
Figure 112013108743438-pat00005
여기서,
Figure 112013108743438-pat00006
,
Figure 112013108743438-pat00007
Figure 112013108743438-pat00008
여기서, μ는 작은 양의 상수(positive constant)이고, Zn은 정규화 계수(normalization coefficient)임.
스테레오 영상의 국부 크기(local amplitude) 및 국부 에너지(local energy)는 위 수학식 1 및 수학식 2를 통하여 각기 구해질 수 있으며, 스테레오 영상의 각 픽셀들의 위상 합치는 수학식 3에 의해 구해질 수 있다. 결과적으로, 상기 스테레오 영상의 공간 주파수가 구해질 수 있다.
즉, 공간 주파수 유닛(210)은 공간 주파수를 구하기 위한 피로도 모델을 설정하고, 피로도 모델을 통하여 공간 주파수의 인덱스 지도를 생성할 수 있다. 예를 들어, 도 5의 (A)에 도시된 바와 같이 피로도 모델을 기초로 하여 공간 주파수 견지에서의 스테레오 영상의 인덱스 지도가 생성될 수 있다.
디스패리티 크기 유닛(212)은 깊이 크기(depth magnitude)와 관련되며, 사용자의 피로도에 영향을 미치는 지표이다. 자연스러운 시청 조건 하에서 눈의 조절이 제한되기 때문에 시간적으로 편안한 영역이 존재하게 된다. 이미지들 사이의 디스패리티가 시각적으로 편안한 영역 이상으로 증가하면, 수렴과 조절 사이의 충돌로 인하여 눈이 피로감을 느끼게 된다.
깊이 인식이 시청자의 위치, 디스플레이 사이즈 및 이미지 해상도에 의존하기 때문에, 픽셀들 사이의 배열에 의해 표현되는 디스패리티는 효율적으로 상대적인 점수를 보여줄 수 없다. 따라서, 본 발명의 디스패리티 크기 유닛(212)은 시청 거리, 디스플레이 사이즈 및 내부 시각 거리(inter-ocular distance)와 같은 특정 시청 환경을 반영함에 의해 디스패리티를 평가하는 각도 디스패리티(angular disparity)를 사용하고, 스테리오 영상의 인덱스 지도를 생성한다.
도 4에 도시된 바와 같이, 각도 디스패리티는 눈과 디스플레이 사이의 각도(α)와 눈과 객체 사이의 각도(β)의 차이로 표현될 수 있다. 이미지 디스패리티(dc(p))로부터 각도 디스패리티(da(p))를 구하기 위하여, dc(p)를 디스플레이된 패리티의 실제 크기(dm(p))로 전환할 필요가 있으며, 이는 아래의 수학식 4를 통하여 수행된다.
Figure 112013108743438-pat00009
여기서, Xc는 이미지의 수평 픽셀 사이즈를 의미하고, Xm은 디스플레이의 수평 길이를 나타냄.
객체와 디스플레이 사이의 거리(Z)는 아래의 수학식 5를 통하여 구해질 수 있다.
Figure 112013108743438-pat00010
여기서, I는 내부 시각 거리를 의미하고, V는 시청 거리(viewing distance)를 나타냄.
최종적으로, 각도 디스패리티(da(p))는 (α-β)로서, 아래의 수학식 6과 같다.
Figure 112013108743438-pat00011
여기서, α는 눈들과 디스플레이 사이의 각도를 의미하고, β는 눈들과 객체 사이의 각도를 나타냄.
디스패리티 움직임 유닛(214)은 깊이 움직임과 관련되며, 깊이 움직임 견지에서 스테레오 영상의 인덱스 지도를 생성한다. 객체 움직임이 빠르면, 눈들의 융합 능력이 객체 움직임 속도를 따라가지 못할 수 있다. 즉, 높은 속도의 깊이 움직임은 시각적 피로도를 유발하며, 디스패리티 움직임은 아래의 수학식 7과 같이 표현될 수 있다.
Figure 112013108743438-pat00012
여기서, dt a(p)는 t번째 프레임의 디스패리티 값을 의미하고, dt +1 a(p)는 (t+1)번째 프레임의 디스패리티 값을 나타냄.
피로도 지도 유닛(202)은 위에서 구해진 공간 주파수, 디스패리티 크기 및 디스패리티 움직임을 기초로 하여 피로도 지도를 생성한다.
우선, 위상 합치에 기초한 공간 주파수의 인덱스 지도(f1(p))는 아래의 수학식 8과 같이 표현되며, 예를 들어 도 5의 (A)에서 보여진다.
Figure 112013108743438-pat00013
여기서,
Figure 112013108743438-pat00014
수학식 8에 따르면, 시각적 피로도가 심해질 때 각 픽셀은 더 낮은 값을 가진다.
다음으로, 각도 디스패리티에 기초한 디스패리티 크기의 인덱스 지도(f2(p))는 아래의 수학식 9와 같이 표현되며, 예를 들어 도 5의 (B)에서 보여진다.
Figure 112013108743438-pat00015
수학식 9를 참조하면,
Figure 112013108743438-pat00016
가 작아짐에 따라 f2(p)는 1에 가까워지며, 이는 피로도 정도가 편안하다는 것을 의미한다. 편안한 영역의 임계(σc omfo rt)는 1로 설정된다.
마지막으로, 디스패리티 움직임의 인덱스 지도(f3(p))는 아래의 수학식 10과 같이 표현되며, 예를 들어 도 5의 (C)에서 보여진다.
Figure 112013108743438-pat00017
피로도 지도 유닛(202)은 위 수학식 8 내지 수학식 10을 기초로 하여 아래의 수학식 11로서 표현되는 시각적 피로도 지도를 생성하며, 예를 들어 도 5의 (D)에서 보여진다.
Figure 112013108743438-pat00018
위 수학식 11에서 알 수 있는 바와 같이, 인덱스 지도들의 계수들(α1, α2, α3)이 다르게 설정될 수 있으며, 즉 공간 주파수의 인덱스 지도, 디스패리티 크기의 인덱스 지도 및 디스패리티 움직임의 인덱스 지도의 가중치들이 다를 수 있다. 이러한 가중치들은 공간 주파수, 디스패리티 크기 및 디스패리티 움직임이 시각적 피로도에 영향을 미치는 정도를 고려하여 설정된다.
피로도 추정 유닛(204)은 피로도 지도를 이용하여 피로도 점수(fatigue score)를 구한다. 일반적으로 가장 나쁜 국부 품질 영역이 전체 인식에 상당한 영향을 미치므로, 피로도 추정 유닛(204)은 피로도 점수(S)를 구하기 위하여 아래의 수학식 12에 보여지는 바와 같이 이러한 영역의 퍼센티지(ε%)를 고려한다.
Figure 112013108743438-pat00019
여기서, Θi는 높은 피로도 점수를 가지는 전체 픽셀의 퍼센티지(ε%)를 의미하고, Nε은 Θi에 해당하는 픽셀들의 수를 나타냄.
수학식 12에 따르면, 스테레오 영상이 더 편안할수록 피로도 점수(S)가 높음을 알 수 있다.
이하, 이렇게 구해진 피로도 점수를 기초로 하여 디스패리티 리매핑하는 과정을 살펴보겠다.
본 실시예의 리매핑부(102)는 결정된 전체 피로도 점수에 기초하여 디스패리티 범위를 결정하고, 문제되는 영역의 디스패리티 영역을 압축함에 의해 시각적 피로도를 회피하도록 리매핑 연산자(remapping operator)를 비선형적으로 구동시킨다.
일 실시예에 따르면, 리매핑부(102)는 도 3에 도시된 바와 같이 디스패리티 범위 적응을 수행하는 디스패리티 범위 유닛(300) 및 비선형적으로 깊이를 조절하는 비선형 조절 유닛(302)을 포함할 수 있다.
디스패리티 범위 유닛(300)은 피로도 점수에 따라 디스패리티 범위를 제어하는 디스패리티 범위 적응 과정을 수행한다. 구체적으로는, 스테레오 영상의 디스패리티 범위는 스테레오 영상 생성 과정에서 미리 결정되며, 그 결과 시청 환경 및 영상 특성에 따라 3D 효과가 과도하거나 부족할 수 있다. 따라서, 본 발명의 디스패리티 범위 유닛(300)은 스테레오 영상의 피로도 점수를 고려하여 디스패리티 범위를 적응적으로 조절한다.
피로도 점수를 고려한 타겟 디스패리티 범위(Rtarget)는 아래의 수학식 13과 같다.
Figure 112013108743438-pat00020
여기서, Rcomfort는 기정의된 편안한 범위의 최대 디스패리티와 최소 디스패리티의 차이를 의미하며, 예를 들어 1로 설정됨.
시각적 피로도를 결정하는 임계치(σ)는 0.7로 설정될 수 있다. 이 경우, 피로도 점수(S)가 임계치(σ)보다 작으면, 타겟 디스패리티 범위(Rtarget)는 Rcomfort보다 작아진다.
이어서, 디스패리티 범위 유닛(300)은 수학식 14를 통하여 입력된 스테레오 영상의 원 디스패리티 범위(original disparity range)의 최대 디스패리티(
Figure 112013108743438-pat00021
) 및 최소 디스패리티(
Figure 112013108743438-pat00022
)를 구한다.
Figure 112013108743438-pat00023
디스패리티 범위 유닛(300)은 타겟 디스패리티 범위(Rtarget)로 디스패리티 범위를 선형적으로 조절한다. 예를 들어, 도 5의 (A)가 원 디스패리티 범위를 표현하였다면, 도 5의 (B)는 디스패리티 범위 유닛(300)에 의해 디스패리티 범위가 적응된 후의 깊이를 보여준다.
도 5에서 상부 그림은 편안한 경우를 나타내고, 하부 그림은 불편한 경우를 나타낸다.
불편한 경우, 즉 피로도가 임계치보다 높은 경우, 도 5의 하부 그림에서 확인할 수 있듯이 객체들 사이의 상대적인 거리를 작게 조절한다.
반면에, 편안한 경우, 즉 피로도가 임계치 이하인 경우, 도 5의 상부 그림에서 확인할 수 있듯이 객체들 사이의 상대적인 거리를 증가시켜 입체감을 향상시킬 수 있다.
이러한 디스패리티 범위 적응 과정은 디스패리티 범위 유닛(300)에 의해 자동으로 수행될 수 있다.
비선형 조절 유닛(302)은 디스패리티 범위 적응된 스테레오 영상을 비선형적으로 리매핑하는 역할을 수행한다.
인간의 눈은 큰 디스패리티 차이(즉, 디스패리티 경사(disparity gradient))를 가지는 다수의 객체들을 포함하는 스테레오 영상을 시청할 때 피로감을 느낀다. 이는 조절이 디스플레이에 고정될 동안 눈의 수렴은 변화되기 때문에 발생한다. 이러한 문제를 해결하기 위하여, 비선형 조절 유닛(302)의 리매핑 연산자는 편안한 영역의 디스패리티 경사를 늘리는 동안 시각적 피로도를 감소시키도록 문제되는 영역의 디스패리티 경사를 압축할 수 있다. 예를 들어, 비선형 조절 유닛(302)은 도 5의 (C)에 도시된 바와 같이 객체들 사이의 거리 차이를 비선형적으로 조절할 수 있다.
구체적으로는, 각 객체들의 피로도 정도는 아래의 수학식 15에 표현된 바와 같이 각 디스패리티들의 피로도 점수의 평균을 구함에 의해 추정될 수 있다.
Figure 112013108743438-pat00024
여기서, Nk는 디스패리티 k를 가지는 픽셀들의 수를 나타내며,
Figure 112013108743438-pat00025
이어서, 리매핑 연산자는 아래의 수학식 16에 보여지는 바와 같이 생성될 수 있다.
Figure 112013108743438-pat00026
도 16에 따르면, 불편함을 야기시키는 문제되는 영역의 출력 디스패리티 경사는 편안한 영역의 디스페리티 경사가 늘어날 동안 압축되며, 즉 객체들 사이의 상대적인 깊이 거리가 비선형적으로 제어된다. 또한, 상기 비선형 디스패리티 리매핑 연산자는 φ(k)가 단조 증가 함수(monotonic increasing function)이므로 디스패리티 역전(disparity inversion)을 방지할 수 있다. 여기서,
Figure 112013108743438-pat00027
, ψ(k)≥0임. 즉,
Figure 112013108743438-pat00028

다른 실시예에 따르면, 리매핑부(102)는 장면(scene) 단위로 디스패리티 리매핑 연산자를 구현할 수 있다.
디스패리티 리매핑 기술을 영상에 적용할 때, 프레임들 사이의 깊이 일관성(depth coherence)을 고려해야 한다. 디스패리티 연산자가 각 프레임들을 위해서 개별적으로 생성되면, 다른 프레임들의 동한일 객체의 디스패리티가 유사하지 않을 수 있어서 시각 아티팩트(visual artifact)를 유발할 수 있다. 이러한 문제를 해결하기 위하여, 본 발명의 영상 처리 장치는 프레임 단위가 아닌 장면 단위로 디스패리티 리매핑 연산자를 생성한다.
일반적으로, 각 장면은 유사한 프레임들, 즉 객체들을 포함하고 그들의 깊이 분배는 예상치 못하게 변하지는 않는다. 따라서, 본 발명의 영상 처리 장치는 장면 내의 모든 프레임들의 시각적 피로도 정도를 고려하여 각 장면을 위한 디스패리티 범위를 결정한다. 이 경우, 디스패리티 범위는 아래의 수학식 17과 같다.
Figure 112013108743438-pat00029
장면의 최대 디스패리티 및 최소 디스패리티는 수학식 14에 의해 구해진다.
이어서, 각 디스패리티를 위한 피로도 점수의 평균이 리매핑 연산자를 생성하도록 계산되며, 아래의 수학식 18과 같다.
Figure 112013108743438-pat00030
여기서, ΦS 및 N(ΦS)는 각기 장면 내의 프레임 세트 및 프레임들의 전체 수를 의미한다. ψt(k)는 t번째 프레임의 ψ(k)를 나타낸다.
계속하여, 상기 영상 처리 장치는 상기 리매핑 연산자를 아래의 수학식 19에 보여지는 바와 같이 비선형화시킨다.
Figure 112013108743438-pat00031
정리하면, 상기 영상 처리 장치는 장면 내의 프레임들(영상들)의 피로도 점수들을 획득하고, 상기 획득된 피로도 점수들의 평균을 구하며, 상기 구해진 피로도 점수들의 평균을 기초로 디스패리티 범위 적응하고, 상기 적응된 디스패리티 범위의 객체들을 비선형화시킬 수 있다. 결과적으로, 시각 아티팩트가 발생하지 않을 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100 : 피로도부 102 : 리매핑부

Claims (15)

  1. 입력 영상의 피로도를 추정하는 피로도부; 및
    상기 추정된 피로도를 기초로 하여 상기 입력 영상의 객체들의 상대적인 거리를 비선형적으로 조절하는 리매핑부를 포함하며,
    상기 리매핑부는,
    상기 추정된 피로도에 기초하여 상기 입력 영상의 디스패리티 범위(disparity range)를 적응적으로 조절하는 디스패리티 범위 유닛; 및
    상기 적응적으로 조절된 디스패리티 범위의 객체들 사이의 거리를 비선형적으로 조절하는 비선형 조절 유닛을 포함하며,
    상기 비선형 조절 유닛은
    상기 디스패리티 범위 중 상기 피로도가 임계치보다 큰 불편한 영역의 객체들 사이의 거리를 감소시키고, 입체감을 향상시키기 위해 상기 피로도가 상기 임계치보다 작은 편안한 영역의 객체들 사이의 거리를 증가시키는 것을 특징으로 하는 영상 처리 장치.
  2. 제1항에 있어서, 상기 입력 영상은 3D용 스테레오 영상이며,
    상기 피로도부는,
    상기 입력 영상의 공간 주파수(spatial frequency)를 분석하여 제 1 인덱스 지도를 생성하는 공간 주파수 유닛;
    상기 입력 영상의 디스패리티 크기(disparity magnitude)를 분석하여 제 2 인덱스 지도를 생성하는 디스패리티 크기 유닛;
    상기 입력 영상의 디스패리티 움직임(disparity motion)을 분석하여 제 3 인덱스 지도를 생성하는 디스패리티 움직임 유닛;
    상기 생성된 모든 인덱스 지도들을 조합하여 피로도 지도를 생성하는 피로도 지도 유닛; 및
    상기 생성된 피로도 지도로부터 피로도 점수를 구하는 피로도 추정 유닛을 포함하는 것을 특징으로 하는 영상 처리 장치.
  3. 제2항에 있어서, 상기 피로도 지도 생성시 상기 인덱스들 중 적어도 하나는 다른 가중치를 가지는 것을 특징으로 하는 영상 처리 장치.
  4. 삭제
  5. 제1항에 있어서, 상기 디스패리티 범위 유닛은 상기 추정된 피로도가 상기 임계치 이하이면 상기 디스패리티 범위를 선형적으로 증가시키고, 상기 추정된 피로도가 상기 임계치보다 크면 상기 디스패리티 범위를 선형적으로 압축시키는 것을 특징으로 하는 영상 처리 장치.
  6. 삭제
  7. 공간 주파수, 디스패리티 크기 또는 디스패리티 움직임을 통하여 입력 영상의 피로도를 추정하는 단계; 및
    상기 추정된 피로도를 기초로 상기 입력 영상의 디스패리티 범위의 객체들의 상대적인 거리를 비선형적으로 조절하는 단계를 포함하며,
    상기 비선형적으로 조절하는 단계는,
    상기 구해진 피로도 점수에 기초하여 상기 입력 영상의 디스패리티 범위 적응을 선형적으로 수행하는 단계; 및
    상기 디스패리티 범위 적응이 완료된 후 디스패리티 범위의 객체들 사이의 상대적인 거리를 비선형적으로 조절하되, 상기 디스패리티 범위 중 상기 피로도가 임계치보다 큰 불편한 영역의 객체들 사이의 거리를 감소시키고, 입체감을 향상시키기 위해 상기 피로도가 상기 임계치보다 작은 편안한 영역의 객체들 사이의 거리를 증가시키는 단계
    를 포함하는 것을 특징으로 하는 영상 처리 방법.
  8. 제7항에 있어서, 상기 피로도를 추정하는 단계는,
    3D용 입력 영상의 공간 주파수를 분석하여 제 1 인덱스 지도를 생성하는 단계;
    상기 입력 영상의 디스패리티 크기를 분석하여 제 2 인덱스 지도를 생성하는 단계;
    상기 입력 영상의 디스패리티 움직임을 분석하여 제 3 인덱스 지도를 생성하는 단계;
    상기 생성된 모든 인덱스 지도들을 조합하여 피로도 지도를 생성하는 단계; 및
    상기 생성된 피로도 지도로부터 피로도 점수를 구하는 단계를 포함하되,
    상기 피로도 지도 생성시 상기 인덱스 지도들의 가중치가 다른 것을 특징으로 하는 영상 처리 방법.
  9. 삭제
  10. 삭제
  11. 스테레오 영상의 피로도를 기초로 상기 스테레오 영상의 디스패리티 범위를 적응적으로 조절하는 단계; 및
    상기 조절된 디스패리티 범위의 객체들 사이의 상대적인 거리를 비선형적으로 조절하는 단계를 포함하며,
    상기 비선형적으로 조절하는 단계는,
    상기 디스패리티 범위 적응이 완료된 후 디스패리티 범위의 객체들 사이의 상대적인 거리를 비선형적으로 조절하되, 상기 디스패리티 범위 중 상기 피로도가 임계치보다 큰 불편한 영역의 객체들 사이의 거리를 감소시키고, 입체감을 향상시키기 위해 상기 피로도가 상기 임계치보다 작은 편안한 영역의 객체들 사이의 거리를 증가시키는 것을 특징으로 하는 영상 처리 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020130145962A 2013-11-28 2013-11-28 피로도를 고려한 영상 처리 장치 및 방법 KR101562111B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130145962A KR101562111B1 (ko) 2013-11-28 2013-11-28 피로도를 고려한 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130145962A KR101562111B1 (ko) 2013-11-28 2013-11-28 피로도를 고려한 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150062187A KR20150062187A (ko) 2015-06-08
KR101562111B1 true KR101562111B1 (ko) 2015-10-22

Family

ID=53500234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130145962A KR101562111B1 (ko) 2013-11-28 2013-11-28 피로도를 고려한 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101562111B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102174258B1 (ko) 2015-11-06 2020-11-04 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
KR102001187B1 (ko) * 2017-12-07 2019-07-18 한국과학기술원 시각피로도 기반 워터마킹 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
오창재, ‘Visual Fatigue Relaxation for Stereoscopic Video via Nonlinear Disparity Remapping’, 연세대학교 박사학위 논문, 2013.02*
이원재 외 2인, ‘깊이맵의 상세도와 주피사체의 깊이 변화에 따른 3D 이미지의 입체효과’, 감성과학 Vol.16 No.1, 2013.03, pp.29-42*

Also Published As

Publication number Publication date
KR20150062187A (ko) 2015-06-08

Similar Documents

Publication Publication Date Title
EP1704730B1 (en) Method and apparatus for generating a stereoscopic image
US8831338B2 (en) Image processor, image display apparatus, and image taking apparatus
US8817073B2 (en) System and method of processing 3D stereoscopic image
US20110304708A1 (en) System and method of generating stereo-view and multi-view images for rendering perception of depth of stereoscopic image
US20120293489A1 (en) Nonlinear depth remapping system and method thereof
CN104780354B (zh) 图像处理装置、图像处理方法及程序
JP6393254B2 (ja) 立体視ディスプレイにおける調節効果による歪み誤差を補正する方法および装置
US20170035268A1 (en) Stereo display system and method for endoscope using shape-from-shading algorithm
CN104093013B (zh) 一种立体视觉三维可视化系统中自动调节图像视差的方法
CN102006494A (zh) 一种3d视频信号调节方法及装置
CN106973288A (zh) 一种立体视频舒适度评价方法及装置
CN103595990A (zh) 运动感知的双目立体视频舒适度获取方法
US11463676B2 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
Oh et al. Visual fatigue relaxation for stereoscopic video via nonlinear disparity remapping
CN102006493A (zh) 一种3d视频图像的视差调节方法及装置
KR101682208B1 (ko) 디스플레이 장치 및 방법
KR101562111B1 (ko) 피로도를 고려한 영상 처리 장치 및 방법
KR102113285B1 (ko) 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치
TWI436636B (zh) 三維視訊影像調整方法及裝置
US20140063206A1 (en) System and method of viewer centric depth adjustment
EP3130273B1 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
KR20130110798A (ko) 카메라 간격 및 이동속도 조절이 가능한 건축물 내비게이션 장치 및 방법
KR101829580B1 (ko) 콘텐츠 시청 시 시각적 현실감을 정량화하는 방법 및 장치
Arican et al. Intermediate view generation for perceived depth adjustment of stereo video
CN110209274A (zh) 一种虚拟现实设备及虚拟现实图像生成方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191205

Year of fee payment: 5