KR20150012486A - 입체 영상 프레임의 초점 보상 방법 - Google Patents

입체 영상 프레임의 초점 보상 방법 Download PDF

Info

Publication number
KR20150012486A
KR20150012486A KR1020130088039A KR20130088039A KR20150012486A KR 20150012486 A KR20150012486 A KR 20150012486A KR 1020130088039 A KR1020130088039 A KR 1020130088039A KR 20130088039 A KR20130088039 A KR 20130088039A KR 20150012486 A KR20150012486 A KR 20150012486A
Authority
KR
South Korea
Prior art keywords
image frame
correction coefficient
focus
value
corrected image
Prior art date
Application number
KR1020130088039A
Other languages
English (en)
Inventor
김진상
김주한
최민수
장익준
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020130088039A priority Critical patent/KR20150012486A/ko
Publication of KR20150012486A publication Critical patent/KR20150012486A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명은 입체 영상 프레임의 초점을 보정하는 방법에 관한 것으로, 보다 구체적으로 깊이 레벨에 따라 깊이맵을 생성하지 않고 기준 영상 프레임과 보정 영상 프레임의 고주파 성분에 따라 보정 영상 프레임의 초점을 보정하며, 동시에 기준 영상 프레임과 보정 영상 프레임 사이의 차감값이 음인지 또는 양인지에 따라 보정 계수 범위를 달리함으로써, 보정 영상 프레임의 초점을 조절하는데 소용되는 연산량을 줄일 수 있는 초점 보정 방법에 관한 것이다.

Description

입체 영상 프레임의 초점 보상 방법{Method for compensating focus on 3-dimentional image}
본 발명은 입체 영상 프레임의 초점을 보정하는 방법에 관한 것으로, 보다 구체적으로 깊이 레벨에 따라 영상 프레임의 깊이맵을 생성하지 않고 기준 영상 프레임과 보정 영상 프레임의 고주파 성분에 기초하여 보정 영상 프레임의 초점을 보정하며, 동시에 기준 영상 프레임과 보정 영상 프레임 사이의 차감값이 음인지 또는 양인지에 따라 보정 계수 범위를 달리함으로써, 보정 영상 프레임의 초점을 조절하는데 소용되는 연산량을 줄일 수 있는 초점 보정 방법에 관한 것이다.
최근 3차원 입체 디스플레이 시장이 활성화됨에 따라 많은 3차원 입체 컨텐츠들이 제작되고 있다. 3차원 입체 영상 시스템이란 두 대 이상의 카메라로부터 획득한 영상을 이용하여 사용자에게 입체감을 제공하는 시스템을 의미한다. 3차원 비디오 시스템은 좌, 우 카메라로부터 동시에 장면 영상을 획득하는데, 카메라 내부 특성의 차이 및 촬영 위치의 오차로 인하여 각 카메라 간 영상 사이의 불일치가 발생한다. 이러한 불일치의 종류로는 인접 시점간의 조명, 색상, 초점, 카메라 간의 위치가 있으며, 이는 영상의 부호화 성능을 떨어뜨리고 3차원 입체 비디오 시청시 사용자에 피로감을 유발하는 원인이 된다.
이러한 3차원 입체 영상이 가지는 문제점을 해결하기 위하여 국내외적으로 다양한 연구가 활발하게 진행되고 있지만 대부분 연구가 조명과 색상의 불일치 문제에 집중되어 초점에 관한 연구는 상대적으로 부족한 실정이다.
3차원 입체 영상에서는 여러 대의 카메라를 이용하여 동일한 장면을 촬영하기 때문에 인접 시점 영상 사이에서 화면의 초점이 서로 일치하지 않는 문제가 발생한다. 도 1은 인접 시점의 두 영상에서 초점 불일치로 인한 화면 차이의 일 예를 도시하고 있다. 도 1(a)는 전경에 초점이 맞추어져 촬영된 제1 시점의 영상이고, 도 1(b)는 배경에 초점이 맞추여져 촬영된 제2 시점의 영상이다. 이러한 인접 시점 영상의 초점이 상이함으로로 인하여, 두 시점 영상 사이의 상관도는 떨어지게 되어 인접 시점을 참조하여 부호화하는 경우 부호화되는 시점 방향의 예측 효율이 떨어지게 된다.
인접 시점 영상 프레임들의 전경과 배경을 적절하게 필터링하여 마치 인접 시점 영상 프레임들이 동일한 초점에서 촬영된 것으로 보정하는 것을 초점 보정이라고 하는데, 도 2는 종래 인접 시점 영상의 초점을 보정하는 장치를 설명하기 위한 기능 블록도이다.
도 2를 참고로 보다 구체적으로 살펴보면, 변위 보정부(10)는 3차원 입체 영상 프레임들 중 기준 영상 프레임과 인접 시점의 보정 영상 프레임 사이의 변위를 블록 매칭 방식으로 예측하여 기준 영상 프레임과 보정 영상 프레임 사이의 변위 벡터를 생성하고 변위 벡터에 기초하여 기준 영상 프레임과 보정 영상 프레임의 변위를 보정한다. 깊이맵 생성부(20)는 변위 보정된 기준 영상 프레임과 보정 영상 프레임 각각에서 깊이 정보에 기초하여 전경/중경/후경 영역으로 구분하여 깊이 레벨에 따른 깊이맵을 생성한다. 도 3은 영상 프레임을 깊이 정보에 기초하여 구분한 전경 영상/ 중경 영상/ 후경 영상의 일 예를 도시하고 있다. 여기서 도 3(a)는 현재 영상 프레임을, 도 3(b)는 전경 영상을, 도 3(c)는 중경 영상을, 3(d)는 후경 영상의 일 예를 도시하고 있다.
다시 도 2를 참고로 살펴보면, 초점 조절부(30)는 전경/ 중경/ 후경의 깊이맵을 이용하여 깊이맵 별로 보정 계수(ψA)를 달리하여 아래의 수학식(1)과 같이 보정 영상 프레임과 기준 영상 프레임 사이의 차감값(FC)을 계산하며, 보정 계수 판단부(40)는 보정 영상 프레임과 기준 영상 프레임 사이의 차감값이 최소가 되는 보정 계수를 기준 영상 프레임과 보정 영상 프레임 사이의 최종 보정 계수(ψF)로 결정한다.
[수학식 1]
Figure pat00001
결정한 최종 보정 계수와 보정 영상 프레임을 컨벌루션 연산하여 초점 보정된 보정 영상 프레임을 생성한다.
위에서 설명한 종래 입체 영상 프레임의 초점 보정 장치는 기준 영상 프레임과 보정 영상 프레임 각각에서 깊이 정보에 기초하여 전경/중경/후경 영역으로 구분하여 깊이 레벨에 따른 깊이맵을 생성하여야 하기 때문에 깊이맵을 생성하는데 많은 연산량을 요구한다.
또한 종래 입체 영상 프레임의 초점 보정 장치는 보정 영상 프레임이 기준 영상 프레임을 기준으로 더 선명한지의 여부, 즉 초점이 잘 맞추어져 있는지에 대한 정보없이 보정 계수 범위에서 임의로 보정 계수를 적용하여 기준 영상 프레임과 보정 영상 프레임의 차감값을 계산하고 차감값에 기초하여 최소 보정 계수를 결정하기 때문에 최소 보정 계수를 결정하는데 많은 연산량을 필요로 한다. 더욱이 기준 영상 프레임과 보정 영상 프레임의 차감값을 계산하는 연산은 컨벌루션 연산이므로 최소 보정 계수를 결정하기까지 많은 연산량을 필요로 한다.
본 발명은 종래 입체 영상 프레임의 초점 보정 장치가 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 영상 프레임의 깊이맵을 생성하지 않고 기준 영상 프레임과 보정 영상 프레임의 고주파 성분에 따라 보정 영상 프레임의 초점을 보정할 수 있는 입체 영상 프레임의 초점 보상 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 기준 영상 프레임과 보정 영상 프레임 사이의 차감값이 음인지 또는 양인지에 따라 보정 계수 범위를 달리 선택하여 최소 보정 계수를 결정하는데 소요되는 연산량을 줄인 입체 영상 프레임의 초점 보상 장치를 제공하는 것이다.
본 발명의 목적을 달성하기 위하여 본 발명에 따른 입체 영상 프레임의 초점 보정 장치는 입체 영상 프레임 중 기준 영상 프레임에서 저주파 성분을 제거하여 제1 영상 프레임을 생성하고 입체 영상 프레임 중 기준 영상 프레임의 인접 시점의 보정 영상 프레임에서 저주파 성분을 제거하여 제2 영상 프레임을 생성하는 저주파 성분 제거부와, 기준 영상 프레임과 보정 영상 프레임 사이의 변위 예측값에 기초하여 제1 영상 프레임과 제2 영상 프레임의 변위를 보상하는 변위 보상부와, 변위 보상된 제1 영상 프레임과 제2 영상 프레임의 차감값에 기초하여 보정 계수 범위를 결정하고 보정 계수 범위에서 설정된 보정 계수로 보정 영상 프레임의 저주파 성분을 조절하여 보정 영상 프레임의 초점을 조절하는 초점 조절부와, 초점이 조정된 보정 영상 프레임과 기준 영상 프레임 사이의 보정차 계산하고 보정 계수 범위에서 보정 계수를 증감 또는 감소 설정하여 최소 보정차를 가지는 보정 계수를 판단하는 보정 계수 판단부를 포함하는 것을 특징으로 한다.
여기서 저주파 성분 제거부는 입체 영상 프레임의 기준 영상 프레임과 보정 영상 프레임에서 각각 저주파 성분 추출하는 저주파 통과 필터부와, 기준 영상 프레임에서 기준 영상 프레임의 저주파 성분을 차감하여 제1 영상 프레임을 생성하는 제1 차감부와, 보정 영상 프레임에서 보정 영상 프레임의 저주파 성분을 차감하여 제2 영상 프레임을 생성하는 제2 차감부를 포함하는 것을 특징으로 한다.
여기서 초점 조절부는 변위 보상된 제2 영상 프레임에서 제1 영상 프레임을 차감하여 차감값을 계산하는 차감값 계산부와, 차감값이 양의 값 또는 음의 값을 가지는지에 따라 보정 계수 범위를 결정하는 보정계수범위 결정부와, 결정한 보정 계수 범위에서 설정된 보정 계수(ψ)로 보정 영상 프레임의 성분 또는 보정 영상 프레임의 저주파 성분을 증감시켜 보정 영상 프레임의 초점을 조절하는 조절부를 포함하는 것을 특징으로 한다.
보정계수범위 결정부는 차감값이 양의 값을 가지는 경우 보정 계수 범위는 0에서 1 사이의 값으로 결정하고, 차감값이 음의 값을 가지는 경우 보정 계수 범위는 1에서 n(여기서 n은 1보다 큰 실수) 사이의 값으로 결정하는 것을 특징으로 한다.
바람직하게, 차감값이 양의 값을 가지는 경우 보정 영상 프레임에서 저주파 성분을 증가시키고, 차감값이 음의 값을 가지는 경우 보정 영상 프레임에서 저주파 성분을 감소시키는 것을 특징으로 한다.
바람직하게, 기준 영상 프레임과 보정 영상 프레임은 휘도 성분(Y)만으로 구성되는데, 보정 영상 프레임의 초점은 아래의 수학식에 의해 조절되며,
[수학식]
Figure pat00002
여기서 FCCUR(x,y)는 초점 조절된 보정 영상 프레임이며, YCUR(x,y)과 LPFCUR(x,y)은 각각 보정 영상 프레임의 휘도 성분과 보정 영상 프레임의 저주파 휘도 성분이며, ψ는 보정 계수인 것을 특징으로 한다.
본 발명의 목적을 달성하기 위하여 본 발명에 따른 입체 영상 프레임의 초점 보정 방법은 입체 영상 프레임 중 기준 영상 프레임에서 저주파 성분을 제거하여 제1 영상 프레임을 생성하고 입체 영상 프레임 중 보정 영상 프레임에서 저주파 성분을 제거하여 제2 영상 프레임을 생성하는 단계와, 기준 영상 프레임과 보정 영상 프레임 사이의 변위 예측값에 기초하여 제1 영상 프레임과 제2 영상 프레임의 변위를 보상하는 단계와, 변위 보상된 제1 영상 프레임과 제2 영상 프레임의 차감값에 기초하여 보정 계수 범위를 결정하고 보정 계수 범위에서 설정된 보정 계수로 보정 영상 프레임의 저주파 성분을 조절하여 보정 영상 프레임의 초점을 조절하는 단계와, 초점이 조정된 보정 영상 프레임과 기준 영상 프레임 사이의 보정차 계산하고 보정 계수 범위에서 보정 계수를 증감 또는 감소 설정하여 최소 보정차를 가지는 보정 계수를 판단하는 단계를 포함한다.
본 발명에 따른 입체 영상 프레임의 초점 보정 장치는 종래 초점 보정 장치와 비교하여 다음과 같은 효과를 가진다.
첫째, 본 발명에 따른 입체 영상 프레임의 초점 보정 장치는 깊이 레벨에 따라 영상 프레임의 깊이맵을 생성하지 않고 기준 영상 프레임과 보정 영상 프레임의 고주파 성분에 기초하여 보정 영상 프레임의 초점을 보정함으로써, 입체 영상 프레임의 초점을 보정하는데 소요되는 연산량을 줄일 수 있다.
둘째, 본 발명에 따른 입체 영상 프레임의 초점 보정 장치는 기준 영상 프레임과 보정 영상 프레임 사이의 차감값이 음인지 또는 양인지에 따라 보정 계수를 설정하는 보정 계수 범위를 달리함으로써, 최종 보정 계수를 결정하는데 소요되는 연산량을 줄일 수 있다.
도 1은 인접 시점의 두 영상에서 초점 불일치로 인한 화면 차이의 일 예를 도시하고 있다.
도 2는 종래 인접 시점 영상의 초점을 보정하는 장치를 설명하기 위한 기능 블록도이다.
도 3은 영상 프레임을 깊이 정보에 기초하여 구분한 전경 영상/ 중경 영상/ 후경 영상의 일 예를 도시하고 있다.
도 4는 본 발명에 따른 입체 영상 프레임의 초점 보정 장치를 설명하기 위한 기능 블록도이다.
도 5는 본 발명에 따른 저주파 제거부(110)를 설명하기 위한 기능 블록도이다.
도 6은 본 발명에 따른 초점 조절부를 설명하기 위한 기능 블록도이다.
도 7은 본 발명에 따른 입체 영상 프레임의 초점 보정 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명에 따른 보정 영상 프레임의 초점을 조절하는 단계를 설명하는 흐름도이다.
도 9는 본 발명에 따른 입체 영상 프레임의 초점 보상 방법에서 보정 계수 범위를 선택하는 일 예를 설명하기 위한 흐름도이다.
도 10은 종래 입체 영상 프레임의 초점 보정을 위해 사용되는 연산량과 본원발명에 따른 입체 영상 프레임의 초점 보정을 위해 사용되는 연산량을 비교한 도면이다.
이하 첨부한 도면을 참고로 본 발명에 따른 입체 영상 프레임의 초점 보정 장치 및 그 방법에 대해 보다 구체적으로 설명한다.
도 4는 본 발명에 따른 입체 영상 프레임의 초점 보정 장치를 설명하기 위한 기능 블록도이다.
도 4를 참고로 보다 구체적으로 살펴보면, 저주파 제거부(110)로 입체 영상 프레임이 입력되는 경우, 저주파 제거부(110)는 입체 영상 프레임 중 기준 영상 프레임에서 저주파 성분을 제거하여 제1 영상 프레임을 생성하고, 입체 영상 프레임 중 기준 영상 프레임의 인접 시점인 보정 영상 프레임에서 저주파 성분을 제거하여 제2 영상 프레임을 생성한다. 여기서 입력되는 입체 영상 프레임은 다시점 입체 영상 프레임 또는 스테레오 입체 영상 프레임일 수 있다.
변위 보상부(120)는 기준 영상 프레임과 보정 영상 프레임 사이의 변위 예측값에 기초하여 저주파 성분이 제거된 제1 영상 프레임과 제2 영상 프레임의 변위를 보상한다. 바람직하게, 기준 영상 프레임과 보정 영상 프레임의 변위 예측값은 단위 매크로 블록 단위로 매칭을 수행하여 기준 영상 프레임과 보정 영상 프레임의 변위 벡터를 계산하는 블록 매칭 방식에 의해 생성된다.
초점 조절부(130)는 변위 보상된 제1 영상 프레임과 제2 영상 프레임을 서로 차감하여 차감값을 계산하며 차감값에 기초하여 보정 계수 범위를 선택하는데, 선택한 보정 계수 범위에서 설정된 보정 계수로 보정 영상 프레임의 저주파 성분을 증감하여 보정 영상 프레임의 초점을 조절한다.
보정 계수 판단부(140)는 초점이 조정된 보정 영상 프레임과 기준 영상 프레임 사이의 보정차를 계산하고, 선택한 보정 계수 범위에서 보정 계수를 증감 설정하여 최소 보정차를 가지는 보정 계수를 판단한다. 여기서 보정 계수 범위는 차감값에 기초하여 선택되는데, 선택된 보정 계수 범위에서만 보정 계수를 증감 설정하여 최소 보정차를 가지는 최소 보정 계수를 판단한다. 최소 보정 계수를 보정 영상 프레임에 곱하여 보정 영상 프레임의 초점을 기준 영상 프레임의 초점에 일치하도록 초점 보정한다.
바람직하게, 연산량을 줄이기 위하여 입력되는 입체 영상 프레임은 휘도 성분만을 가지는데, 변위 보상부(120), 초점 조절부(130) 및 보정 계수 판단부(140)는 휘도 성분을 가지는 입체 영상 프레임을 이용하여 변위를 보상하거나, 초점을 조절하거나, 보정 계수를 판단한다.
한편, 본 발명에 따른 초점 보정 장치는 영상 프레임 단위로 초점을 보정하는 대신 영상 프레임의 단위 매크로 블록 단위로 초점을 보정할 수 있으며 이는 본 발명의 범위에 속한다.
도 5는 본 발명에 따른 저주파 제거부(110)를 설명하기 위한 기능 블록도이다.
도 5를 참고로 보다 구체적으로 살펴보면, 입체 영상 프레임 중 기준 영상 프레임과 보정 영상 프레임이 저주파 통과 필터부(111)로 입력되는 경우, 저주파 통과 필터부(111)는 기준 영상 프레임과 보정 영상 프레임에서 저주파 성분만을 통과시켜 기준 영상 프레임과 보정 영상 프레임의 저주파 성분을 추출한다. 제1 차감부(113)는 기준 영상 프레임에서 추출한 기준 영상 프레임의 저주파 성분을 차감하여 기준 영상 프레임에서 저주파 성분을 제거한 제1 영상 프레임을 생성하며, 제2 차감부(115)는 보정 영상 프레임에서 추출한 보정 영상 프레임의 저주파 성분을 차감하여 보정 영상 프레임에서 저주파 성분을 제거한 제2 영상 프레임을 생성한다.
통상적으로 영상 촬영 장치의 초점이 잘 맞추어질수록 선명한 영상으로 촬영되고 초점이 잘 맞추어지지 않은 경우 흐린 영상으로 촬영되는데, 흐린 영상일수록 저주파 성분이 많이 나타나게 된다. 따라서 기준 영상 프레임과 보정 영상 프레임에서 저주파 성분을 제거하여 제1 영상 프레임과 제2 영상 프레임을 생성하고 저주파 성분이 제거된 고주파 성분의 제1 영상 프레임과 제2 영상 프레임으로부터 보정 계수 범위를 선택함으로써, 보정 영상 프레임을 정확하게 기준 영상 프레임의 초점으로 보정할 수 있다.
도 6은 본 발명에 따른 초점 조절부를 설명하기 위한 기능 블록도이다.
도 6을 참고로 보다 구체적으로 살펴보면, 차감값 계산부(131)는 변위 보상된 제2 영상 프레임에서 제1 영상 프레임을 차감하여 차감값을 계산하고, 보정계수범위 결정부(133)는 차감값 계산부(131)에서 계산한 차감값에 기초하여 제2 영상 프레임 성분이 제1 영상 프레임 성분보다 큰지 여부를 판단한다. 즉, 보정계수 ㅂ범위 결정부(133)는 제2 영상 프레임과 제1 영상 프레임 사이의 차감값이 양의 값 또는 음의 값을 가지는지에 따라 설정할 보정 계수의 보정 계수 범위를 결정한다.
조절부(135)는 결정한 보정 계수 범위에서 보정 계수(ψ)를 설정하여 보정 영상 프레임의 성분 또는 보정 영상 프레임의 저주파 성분을 증감시킴으로써, 보정 영상 프레임의 초점을 조절한다.
바람직하게, 차감값 계산부(131)는 제2 영상 프레임의 휘도 성분에서 제1 영상 프레임의 휘도 성분을 차감하여 차감값을 계산한다. 더욱 바람직하게, 차감값 계산부는 단위 블록 단위로 차감값을 계산한다.
도 7은 본 발명에 따른 입체 영상 프레임의 초점 보정 방법을 설명하기 위한 흐름도이다.
도 7을 참고로 보다 구체적으로 살펴보면, 입력되는 입체 영상 프레임의 기준 영상 프레임과 기준 영상 프레임의 인접 시점인 보정 영상 프레임에서 저주파 성분을 추출한다(S100). 즉, 입력되는 입체 영상 프레임 중 기준 영상 프레임을 저주파 통과 필터에 적용하여 기준 영상 프레임의 저주파 성분을 추출하고 입력되는 입체 영상 프레임 중 보정 영상 프레임을 저주파 통과 필터에 적용하여 보정 영상 프레임에서 저주파 성분을 추출한다. 기준 영상 프레임에서 기준 영상 프레임의 저주파 성분을 제거하여 제1 영상 프레임을 생성하고, 보정 영상 프레임에서 보정 영상 프레임의 저주파 성분을 제거하여 제2 영상 프레임을 생성한다(S200).
기준 영상 프레임과 보정 영상 프레임 사이의 변위 예측값, 즉 변위 벡터에 기초하여 저주파 성분이 제거된 제1 영상 프레임과 제2 영상 프레임의 변위를 보상한다(S300). 바람직하게, 제1 영상 프레임을 기준으로 제2 영상 프레임의 변위를 보상하여 제2 영상 프레임이 제1 영상 프레임과 동일 위치에 위치하도록 보상한다.
변위 보상된 제1 영상 프레임과 제2 영상 프레임을 서로 차감하여 생성되는 차감값에 기초하여 보정 계수 범위를 선택하고, 선택한 보정 계수 범위에서 설정된 보정 계수로 보정 영상 프레임의 저주파 성분을 조절하여 보정 영상 프레임의 초점을 조절한다(S400).
보정 계수 범위에서 보정 계수를 단위 레벨로 증감 설정하여 모든 보정 계수로 보정 영상 프레임의 초점을 조절하였는지 판단하여(S500), 보정 계수 범위에서 설정된 모든 보정 계수로 보정 영상 프레임의 초점을 조절하지 않은 경우 보정 계수 범위에서 단위 레벨로 보정 계수를 증감하여 재설정한다(S600).
보정 계수 범위에서 설정된 모든 보정 계수를 사용하여 보정 영상 프레임의 초점을 조절한 경우, 보정 계수별로 초점 조정된 보정 영상 프레임과 기준 영상 프레임 사이의 보정차를 계산하고, 보정 계수 범위에서 최소 보정차를 가지는 최소 보정 계수를 판단한다(S700).
도 8은 본 발명에 따른 보정 영상 프레임의 초점을 조절하는 단계를 설명하는 흐름도이다.
도 8을 참고로 보다 구체적으로 살펴보면, 변위 보상된 제1 영상 프레임과 제2 영상 프레임을 서로 차감하여 차감값을 계산한다(S410). 계산한 차감값은 제1 영상 프레임과 제2 영상 프레임 중에서 고주파 성분이 큰 영상 프레임을 나타낸다. 제2 영상 프레임에서 제1 영상 프레임을 차감하여 차감값을 계산하는 경우, 차감값이 양의 값을 가지는 경우 제2 영상 프레임에 제1 영상 프레임보다 큰 고주파 성분이 존재한다는 것을 의미하며 차감값이 음의 값을 가지는 경우 제2 영상 프레임에 제1 영상 프레임보다 적은 고주파 성분이 존재한다는 것을 의미한다.
계산한 차감값에 기초하여 보정 계수 범위를 선택하며(S430), 선택한 보정 계수 범위에서 보정 계수를 설정하여 설정한 보정 계수로 보정 영상 프레임의 초점을 조절한다(S450). 여기서 차감값이 양의 값을 가지는 경우 제2 영상 프레임에 제1 영상 프레임보다 큰 고주파 성분이 존재하므로 제2 영상 프레임의 선명도를 낮추기 위하여 보정 영상 프레임에서 저주파 성분이 증가하도록 보정 영상 프레임의 초절을 조절하고, 차감값이 음의 값을 가지는 경우 제2 영상 프레임에 제1 영상 프레임보다 작은 고주파 성분이 존재하므로 제2 영상 프레임의 선명도를 높이기 위하여 보정 영상 프레임에서 저주파 성분을 감소시킨다.
도 9는 본 발명에 따른 입체 영상 프레임의 초점 보상 방법에서 보정 계수 범위를 선택하는 일 예를 설명하기 위한 흐름도이다.
도 9를 참고로 보다 구체적으로 살펴보면, 변위 보상된 제2 영상 프레임 성분과 제1 영상 프레임 성분을 차감하여 계산한 차감값이 양의 값을 가지는지 판단하여(S431), 차감값이 양의 값을 가지는 경우 보정 계수가 0에서 1 사이의 값을 가지도록 보정 계수 범위를 선택하며(S433), 계산한 차감값이 음의 값을 가지는 경우 보정 계수가 1에서 n(여기서 n은 1보다 큰 실수) 사이의 값을 가지도록 보정 계수 범위를 선택한다(S435).
이렇게 보정 계수 범위가 선택되는 경우, 보정 영상 프레임의 초점은 아래의 수학식(2)에 의해 계산된다.
[수학식 2]
Figure pat00003
여기서 FCCUR(x,y)는 초점 조절된 보정 영상 프레임이며, YCUR(x,y)과 LPFCUR(x,y)은 각각 보정 영상 프레임의 휘도 성분과 보정 영상 프레임의 저주파 휘도 성분이며, ψ는 설정된 보정 계수인 것을 특징으로 한다.
수학식(2)를 참고로 살펴보면, 제1 영상 프레임과 제2 영상 프레임 사이의 차감값이 양의 값을 가지는 경우 보정 계수(ψ)는 0<ψ<1 사이의 값을 가지며 따라서 보정 영상 프레임은 저주파 성분이 증가하여 흐리게 초점 보정되며, 음의 값을 가지는 경우 보정 계수(ψ)는 1<ψ<n의 값을 가지며 따라서 보정 영상 프레임은 저주파 성분이 감소하여 선명하게 초점 보정된다.
도 10은 종래 입체 영상 프레임의 초점 보정 장치의 초점 보정을 위한 연산량과 본원발명에 따른 입체 영상 프레임의 초점 보정 장치의 초점 보정을 위한 연산량을 비교한 도면이다.
도 10을 참고로 살펴보면, 본원발명에 따른 입체 영상 프레임의 초점 보정 장치는 보정 영상 프레임의 초점 보정 시간과 연산량에서 종래 입체 영상 프레임의 초점 보정 방법보다 현저하게 짧은 초점 보정 시간과 적은 연산량이 소요된다는 것을 확인할 수 있다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 변위 보정부 20: 깊이맵 생성부
30: 초점 조절부 40: 보정 계수 판단부
110: 저주파 제거부 120: 변위 보상부
130: 초점 조절부 140: 보정 계수 판단부
111: 저주파 통과 필터부 113: 제1 차감부
115: 제2 차감부 131: 차감값 계산부
133: 보정계수범위 계산부 135: 조절부

Claims (17)

  1. 입체 영상 프레임 사이의 초점을 보정하는 방법에 있어서,
    (a) 상기 입체 영상 프레임 중 기준 영상 프레임에서 저주파 성분을 제거하여 제1 영상 프레임을 생성하고, 상기 입체 영상 프레임 중 보정 영상 프레임에서 저주파 성분을 제거하여 제2 영상 프레임을 생성하는 단계;
    (b) 상기 기준 영상 프레임과 상기 보정 영상 프레임 사이의 변위 예측값에 기초하여 상기 제1 영상 프레임과 상기 제2 영상 프레임의 변위를 보상하는 단계;
    (c) 변위 보상된 상기 제1 영상 프레임과 제2 영상 프레임의 차감값에 기초하여 보정 계수 범위를 결정하고, 상기 보정 계수 범위에서 설정된 보정 계수로 상기 보정 영상 프레임의 저주파 성분을 조절하여 상기 보정 영상 프레임의 초점을 조절하는 단계; 및
    (d) 초점이 조정된 상기 보정 영상 프레임과 상기 기준 영상 프레임 사이의 보정차를 계산하고, 상기 보정 계수 범위에서 상기 보정 계수를 증감 설정하여 최소 보정차를 가지는 최소 보정 계수를 판단하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상의 초점 보정 방법.
  2. 제 1 항에 있어서, 상기 (a) 단계는
    상기 입체 영상 프레임 중 기준 영상 프레임과 보정 영상 프레임을 각각 저주파 통과 필터에 적용하여 저주파 성분을 생성하는 단계;
    상기 기준 영상 프레임에서 상기 기준 영상 프레임의 저주파 성분을 차감하여 상기 기준 영상 프레임에서 저주파 성분이 제거된 제1 영상 프레임을 생성하는 단계; 및
    상기 보정 영상 프레임에서 상기 보정 영상 프레임의 저주파 성분을 차감하여 상기 보정 영상 프레임에서 저주파 성분이 제거된 제2 영상 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상의 초점 보정 방법.
  3. 제 2 항에 있어서, 상기 변위 예측값은 상기 기준 영상 프레임과 상기 보정 영상 프레임의 블록 매칭을 통해 계산되는 것을 특징으로 하는 스테레오 영상의 초점 보정 방법.
  4. 제 2 항에 있어서, 상기 보정 영상 프레임의 초점을 조절하는 단계는
    변위 보상된 상기 제2 영상 프레임에서 상기 제1 영상 프레임을 차감하여 차감값을 계산하는 단계;
    상기 차감값이 양의 값 또는 음의 값을 가지는지에 따라 보정 계수 범위를 결정하는 단계; 및
    결정한 상기 보정 계수 범위에서 설정된 보정 계수(ψ)로 상기 보정 영상 프레임의 성분 또는 상기 보정 영상 프레임의 저주파 성분을 증감시켜 상기 보정 영상 프레임의 초점을 조절하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상의 초점 보정 방법.
  5. 제 4 항에 있어서,
    상기 차감값이 양의 값을 가지는 경우 상기 보정 계수 범위는 0에서 1 사이의 값을 가지며,
    상기 차감값이 음의 값을 가지는 경우 상기 보정 계수 범위는 1에서 n(여기서 n은 1보다 큰 실수) 사이의 값을 가지는 것을 특징으로 하는 스테레오 영상의 초점 보정 방법.
  6. 제 5 항에 있어서,
    상기 차감값이 양의 값을 가지는 경우, 상기 보정 영상 프레임에서 저주파 성분을 증가시키는 것을 특징으로 하는 스테레오 영상의 초점 보정 방법.
  7. 제 5 항에 있어서,
    상기 차감값이 음의 값을 가지는 경우, 상기 보정 영상 프레임에서 저주파 성분을 감소시키는 것을 특징으로 하는 스테레오 영상의 초점 보정 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 기준 영상 프레임과 상기 보정 영상 프레임은 휘도 성분(Y)만으로 구성되는 것을 특징으로 하는 스테레오 영상의 초점 보정 방법.
  9. 제 8 항에 있어서, 상기 보정 영상 프레임의 초점은 아래의 수학식(1)에 의해 조절되며,
    [수학식 1]
    Figure pat00004

    여기서 FCCUR(x,y)는 초점 조절된 보정 영상 프레임이며, YCUR(x,y)과 LPFCUR(x,y)은 각각 상기 보정 영상 프레임의 휘도 성분과 상기 보정 영상 프레임의 저주파 휘도 성분이며, ψ는 보정 계수인 것을 특징으로 하는 스테레오 영상의 초점 보정 방법.
  10. 입체 영상 프레임 사이의 초점을 보정하는 장치에 있어서,
    상기 입체 영상 프레임 중 기준 영상 프레임에서 저주파 성분을 제거하여 제1 영상 프레임을 생성하고, 상기 입체 영상 프레임 중 보정 영상 프레임에서 저주파 성분을 제거하여 제2 영상 프레임을 생성하는 저주파 성분 제거부;
    상기 기준 영상 프레임과 상기 보정 영상 프레임 사이의 변위 예측값에 기초하여 상기 제1 영상 프레임과 상기 제2 영상 프레임의 변위를 보상하는 변위 보상부;
    변위 보상된 상기 제1 영상 프레임과 제2 영상 프레임의 차감값에 기초하여 보정 계수 범위를 결정하고, 상기 보정 계수 범위에서 설정된 보정 계수로 상기 보정 영상 프레임의 저주파 성분을 조절하여 상기 보정 영상 프레임의 초점을 조절하는 초점 조절부; 및
    초점이 조정된 상기 보정 영상 프레임과 상기 기준 영상 프레임 사이의 보정차 계산하고, 상기 보정 계수 범위에서 상기 보정 계수를 증감 또는 감소 설정하여 최소 보정차를 가지는 최소 보정 계수를 판단하는 보정 계수 판단부를 포함하는 것을 특징으로 하는 스테레오 영상의 초점 보정 장치.
  11. 제 10 항에 있어서, 상기 저주파 성분 제거부는
    상기 입체 영상 프레임의 기준 영상 프레임과 보정 영상 프레임에서 각각 저주파 성분 추출하는 저주파 통과 필터부;
    상기 기준 영상 프레임에서 상기 기준 영상 프레임의 저주파 성분을 차감하여 제1 영상 프레임을 생성하는 제1 차감부; 및
    상기 보정 영상 프레임에서 상기 보정 영상 프레임의 저주파 성분을 차감하여 제2 영상 프레임을 생성하는 제2 차감부를 포함하는 것을 특징으로 하는 스테레오 영상의 초점 보정 장치.
  12. 제 11 항에 있어서, 상기 초점 조절부는
    변위 보상된 상기 제2 영상 프레임에서 상기 제1 영상 프레임을 차감하여 차감값을 계산하는 차감값 계산부;
    상기 차감값이 양의 값 또는 음의 값을 가지는지에 따라 보정 계수 범위를 결정하는 보정계수범위 결정부; 및
    결정한 상기 보정 계수 범위에서 설정된 보정 계수(ψ)로 상기 보정 영상 프레임의 성분 또는 상기 보정 영상 프레임의 저주파 성분을 증감시켜 상기 보정 영상 프레임의 초점을 조절하는 조절부를 포함하는 것을 특징으로 하는 스테레오 영상의 초점 보정 장치.
  13. 제 12 항에 있어서, 상기 보정계수범위 결정부는
    상기 차감값이 양의 값을 가지는 경우 상기 보정 계수 범위는 0에서 1 사이의 값으로 결정하고,
    상기 차감값이 음의 값을 가지는 경우 상기 보정 계수 범위는 1에서 n(여기서 n은 1보다 큰 실수) 사이의 값으로 결정하는 것을 특징으로 하는 스테레오 영상의 초점 보정 장치.
  14. 제 13 항에 있어서,
    상기 차감값이 양의 값을 가지는 경우, 상기 보정 영상 프레임에서 저주파 성분을 증가시키는 것을 특징으로 하는 스테레오 영상의 초점 보정 장치.
  15. 제 13 항에 있어서,
    상기 차감값이 음의 값을 가지는 경우, 상기 보정 영상 프레임에서 저주파 성분을 감소시키는 것을 특징으로 하는 스테레오 영상의 초점 보정 장치.
  16. 제 10 항 내지 제 15 항 중 어느 한 항에 있어서, 상기 기준 영상 프레임과 상기 보정 영상 프레임은 휘도 성분(Y)만으로 구성되는 것을 특징으로 하는 스테레오 영상의 초점 보정 장치.
  17. 제 16 항에 있어서, 상기 보정 영상 프레임의 초점은 아래의 수학식(2)에 의해 조절되며,
    [수학식 2]
    Figure pat00005

    여기서 FCCUR(x,y)는 초점 조절된 보정 영상 프레임이며, YCUR(x,y)과 LPFCUR(x,y)은 각각 상기 보정 영상 프레임의 휘도 성분과 상기 보정 영상 프레임의 저주파 휘도 성분이며, ψ는 보정 계수인 것을 특징으로 하는 스테레오 영상의 초점 보정 장치.
KR1020130088039A 2013-07-25 2013-07-25 입체 영상 프레임의 초점 보상 방법 KR20150012486A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130088039A KR20150012486A (ko) 2013-07-25 2013-07-25 입체 영상 프레임의 초점 보상 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130088039A KR20150012486A (ko) 2013-07-25 2013-07-25 입체 영상 프레임의 초점 보상 방법

Publications (1)

Publication Number Publication Date
KR20150012486A true KR20150012486A (ko) 2015-02-04

Family

ID=52488526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130088039A KR20150012486A (ko) 2013-07-25 2013-07-25 입체 영상 프레임의 초점 보상 방법

Country Status (1)

Country Link
KR (1) KR20150012486A (ko)

Similar Documents

Publication Publication Date Title
CN102959586B (zh) 深度推测装置以及深度推测方法
KR101526866B1 (ko) 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
JP5983935B2 (ja) 新視点画像生成装置および新視点画像生成方法
US8810634B2 (en) Method and apparatus for generating image with shallow depth of field
US10165249B2 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
JP2012138787A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5170249B2 (ja) 立体画像処理装置および立体画像処理装置のノイズ低減方法
KR102049080B1 (ko) 영상 처리 장치 및 방법
CN1956554A (zh) 三维图像处理装置和方法
JP2011504262A (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
JP2011520398A (ja) 立体動画による潜在的眼精疲労を測定するシステムおよび方法
JP2013172190A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2014012364A1 (zh) 一种多曝光运动图像的校正方法及装置
JP2012249038A (ja) 画像信号処理装置、画像信号処理方法
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
KR20170070620A (ko) 스테레오 영상 매칭 방법 및 장치
US20150248745A1 (en) Processing stereo images
JP2020004266A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011008815A (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
JP2012063987A (ja) 画像処理装置
KR101828814B1 (ko) 깊이 영상 변환 장치 및 방법
TWI576790B (zh) 階層式立體匹配裝置及方法
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
KR101760463B1 (ko) 깊이 지도 보정 방법 및 그 장치
KR20150012486A (ko) 입체 영상 프레임의 초점 보상 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application