KR20150014687A - 입체 영상의 부호화를 위한 전처리 장치 - Google Patents

입체 영상의 부호화를 위한 전처리 장치 Download PDF

Info

Publication number
KR20150014687A
KR20150014687A KR1020130090218A KR20130090218A KR20150014687A KR 20150014687 A KR20150014687 A KR 20150014687A KR 1020130090218 A KR1020130090218 A KR 1020130090218A KR 20130090218 A KR20130090218 A KR 20130090218A KR 20150014687 A KR20150014687 A KR 20150014687A
Authority
KR
South Korea
Prior art keywords
image frame
correction
view image
focus
correction coefficient
Prior art date
Application number
KR1020130090218A
Other languages
English (en)
Inventor
김진상
김주한
최민수
장익준
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020130090218A priority Critical patent/KR20150014687A/ko
Publication of KR20150014687A publication Critical patent/KR20150014687A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 입체 영상의 부호화를 위한 전처리 장치에 관한 것으로, 보다 구체적으로 변위 예측부에서 계산한 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위 예측값을 색상 보정과 초점 보정에 동시에 이용하여 색상 보정과 초점 보정을 위한 연산량을 줄일 수 있는 입체 영상의 전처리 장치에 관한 것이다.

Description

입체 영상의 부호화를 위한 전처리 장치{Apparatus for preprocessing 3 dimentional image to encode}
본 발명은 입체 영상의 부호화를 위한 전처리 장치에 관한 것으로, 보다 구체적으로 변위 예측부에서 계산한 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위 예측값을 색상 보정과 초점 보정에 동시에 이용하여 색상 보정과 초점 보정을 위한 연산량을 줄일 수 있는 입체 영상의 전처리 장치에 관한 것이다.
최근 3차원 입체 디스플레이 시장이 활성화됨에 따라 많은 3차원 입체 컨텐츠들이 제작되고 있다. 3차원 입체 영상 시스템이란 두 대 이상의 카메라로부터 다시점으로 획득한 영상을 이용하여 사용자에게 입체감을 제공하는 시스템을 의미한다. 3차원 비디오 시스템은 다수의 카메라를 통하여 동시에 동일한 장면 영상을 획득하는데, 이러한 다시점 영상의 가장 큰 특징은 전후 프레임의 상관도뿐만 아니라 인접 시점간의 상관도까지 이용한다는 것이다. 즉, 인접한 시점 영상간의 공간적 중복성도 제거하는 시점 간 보상 기법(inter-view compansation)을 이용하여 부호화 효율을 증대시킨다는 것이다.
그러나 카메라의 위치에 따라 획득한 영상 간의 조명 차이, 카메라 센서 고유의 특성 차이로 인하여 촬영한 영상 사이에 색상이 서로 불일치하거나 카메라 초점이 서로 일치하지 않아 촬영한 영상이 서로 불일치하는 문제점이 발생한다.
먼저 색상 불일치의 문제점을 구체적으로 살펴보면, 색상 불일치는 같은 물체의 색상 분포가 사용된 카메라의 시점에 따라 달라지는 현상으로 동일 기종의 카메라를 이용하여 같은 설정으로 촬영하더라도 발생할 수 있다. 이는 인접한 시점 영상 간의 공간적 중복성을 떨어뜨려 시점 간 예측시 연산량이 증가하게 되고 결과적으로 전체적인 부호화 효율을 떨어뜨리게 되는 문제를 발생시킨다. 도 1은 인접 시점의 두 영상에서 발생하는 색상 불일치로 인한 화면 차이의 일 예를 도시하고 있는데, 도 1(a)은 제1 시점의 카메라를 통해 촬영한 영상이고 도 1(b)는 제1 시점에 인접한 제2 시점의 카메라를 통해 촬영한 영상이다. 도 1(a)과 도 1(b)에 도시되어 있는 바와 같이 제2 시점의 카메라를 통해 촬영한 영상은 제1 시점의 카메라를 통해 촬영한 영상보다 붉게 표현되어 있음을 알 수 있다. 이와 같이 동일한 기종의 카메라를 이용하여 동일한 물체를 동시에 촬영한 경우에도 조명 또는 카메라 위치에 따라 촬영한 영상 사이에 색상이 불일치함을 알 수 있다.
한편, 초점 불일치의 문제점을 구체적으로 살펴보면, 초점 불일치는 여러 대의 카메라를 이용하여 동일한 장면을 촬영하기 때문에 인접 시점 영상 사이에서 화면의 초점이 서로 일치하지 않는 현상이 발생한다. 도 2는 인접 시점의 두 영상에서 초점 불일치로 인한 화면 차이의 일 예를 도시하고 있는데, 도 2(a)는 전경에 초점이 맞추어져 촬영된 영상이고, 도 2(b)는 배경에 초점이 맞추여져 촬영된 영상이다. 도 2(a)와 도 2(b)에 도시되어 있는 바와 같이 동일한 기종의 카메라를 이용하여 동일한 물체를 동시에 촬영한 경우에도 초점이 서로 일치하지 않아 서로 상이한 영상이 촬영됨을 알 수 있다.
인접 시점 영상의 색상을 동일한 조명과 동일한 카메라 파라미터에서 촬영된 것으로 보정하는 것을 색상 보정이라 하며, 인접 시점 영상 프레임들의 전경과 배경을 적절하게 필터링하여 마치 인접 시점 영상 프레임들이 동일한 초점에서 촬영된 것으로 보정하는 것을 초점 보정이라고 하는데, 이러한 3차원 입체 영상이 가지는 색상 불일치 또는 초점 불일치의 문제점을 해결하기 위하여 국내외적으로 다양한 색상 보정 방법과 초점 보정 방법에 대한 연구가 활발하게 진행되고 있다.
먼저 색상 불일치를 보정하는 종래 색상 보정 방법(이하 종래 색상 보정 방법1)을 살펴보면, 색상 히스토그램을 이용한 색상 보정 방법으로 각 시점의 전체적인 평균 밝기 히스토그램과 이것의 누적 히스토그램을 이용하여 색상 차이를 보정한다. 그러나 색상 히스토그램을 이용한 색상 보정 방법은 한 시점의 영상에는 보이지만 다른 시점의 영상에는 보이지 않는 객체의 색상이나 밝기 정보가 보정에 사용될 수 있기 때문에 보정 성능이 떨어진다는 문제점을 가진다. 색상 보정을 위한 종래 2번째 종래 기술은 색상 차트를 이용한 방법(이하 종래 색상 보정 방법2)으로 객체를 촬영하기 전에 미리 준비된 색상 차트를 촬영하고 그 정보를 기반으로 다시점 영상의 색상을 보정하는 방법이다. 색상 차트를 이용한 색상 보정 방법은 정확한 색상 보정이 가능하지만 반드시 색상 차트를 사용해야 한다는 불편함이 있다. 또한 촬영 전에 미리 색상 차트가 촬영되어 있지 않은 영상에는 적용할 수 없다는 단점을 가진다.
종래 색상 히스토그램을 이용한 색상 보정 방법과 색상 차트를 이용한 색상 보정 방법이 가지는 문제점을 해결하기 위하여, 인접 시점 영상 사이의 최소 제곱 예측 기반으로 색상을 보정하는 방법(이하 종래 색상 보정 방법3)이 제안되었다. 이러한 종래 색상 보정 방법3은 인접 시점 영상에서 서로 대응하는 단위 매크로 블록을 매칭한 후, 서로 매칭되는 단위 매크로 블록의 색상 보정 계수를 최소 제곱 방식으로 결정하여 색상 보정 계수를 통해 서로 매칭되는 매크로 블록의 색상을 보정하는 방식이다.
도 3은 종래 인접 시점 영상의 초점을 보정하는 장치를 설명하기 위한 기능 블록도이다.
도 3을 참고로 보다 구체적으로 살펴보면, 변위 보정부(10)는 3차원 입체 영상 프레임들 중 기준 시점 영상 프레임과 보정 시점 영상 프레임 사이의 변위를 블록 매칭 방식으로 예측하여 기준 시점 영상 프레임과 보정 시점 영상 프레임 사이의 변위 벡터를 생성하고 변위 벡터에 기초하여 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위를 보정한다. 깊이맵 생성부(20)는 변위 보정된 기준 시점 영상 프레임과 보정 시점 영상 프레임 각각에서 깊이 정보에 기초하여 전경/중경/후경 영역으로 구분하여 깊이 레벨에 따른 깊이맵을 생성한다. 도 4는 영상 프레임을 깊이 정보에 기초하여 구분한 전경 영상/ 중경 영상/ 후경 영상의 일 예를 도시하고 있다. 여기서 도 4(a)는 현재 영상 프레임을, 도 4(b)는 전경 영상을, 도 4(c)는 중경 영상을, 4(d)는 후경 영상의 일 예를 도시하고 있다.
다시 도 3을 참고로 살펴보면, 초점 조절부(30)는 전경/ 중경/ 후경의 깊이맵을 이용하여 깊이맵 별로 보정 계수(ψA)를 달리하여 아래의 수학식(1)과 같이 보정 시점 영상 프레임과 기준 시점 영상 프레임 사이의 차감값(FC)을 계산하며, 보정 계수 판단부(40)는 보정 시점 영상 프레임과 기준 시점 영상 프레임 사이의 차감값이 최소가 되는 보정 계수를 기준 시점 영상 프레임과 보정 시점 영상 프레임 사이의 최종 보정 계수(ψF)로 결정한다.
[수학식 1]
Figure pat00001
결정한 최종 보정 계수와 보정 영상 프레임을 컨벌루션 연산하여 초점 보정된 보정 시점 영상 프레임을 생성한다.
이러한 입체 영상의 색상 보정과 초점 보정은 인접 시점의 영상 사이의 부호화 효율을 높이는데, 종래 입체 영상의 색상 보정 장치와 초점 보정 장치는 각각 별개로 제작되어 색상 보정과 초점 보정시 필요한 변위 예측값을 각각 개별적으로 계산함으로써, 색상 보정과 초점 보정을 하는데 많은 연산량이 요구된다는 문제점을 가진다.
또한 종래 초점 보정 방식은 보정 시점 영상 프레임이 기준 시점 영상 프레임을 기준으로 더 선명한지의 여부, 즉 초점이 잘 맞추어져 있는지에 대한 정보없이 보정 계수 범위에서 임의로 보정 계수를 적용하여 최소 보정 계수를 결정하기 때문에 최소 보정 계수를 결정하는데 많은 연산량을 필요로 한다는 문제점을 가진다.
본 발명은 위에서 언급한 입체 영상의 색상 보정 방법과 초점 보정 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 입체 영상의 색상 보정과 초점 보정을 동시에 전처리하여 입체 영상의 부호화 효율을 높일 수 있는 입체 영상의 전처리 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 인접 시점 영상 사이의 변위 예측값을 계산하고 계산한 변위 예측값을 색상 보정과 초점 보정에 동시에 사용함으로써 색상 보정과 초점 보정에 필요한 연산량을 줄일 수 있는 입체 영상의 전처리 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 기준 시점 영상 프레임과 보정 시점 영상 프레임 사이의 차감값이 음인지 또는 양인지에 따라 보정 계수 범위를 달리 선택하여 최소 보정 계수를 결정하는데 소요되는 연산량을 줄인 입체 영상의 전처리 장치를 제공하는 것이다.
본 발명의 목적을 달성하기 위하여 본 발명에 따른 입체 영상의 전처리 장치는 입체 영상 중 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위 예측값을 계산하는 변위 예측부와, 변위 예측부에서 계산한 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위 예측값에 기초하여 기준 시점 영상 프레임과 보정 시점 영상 프레임의 색상을 보정하는 색상 보정부와, 변위 예측부에서 계산한 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위 예측값에 기초하여 기준 시점 영상 프레임과 보정 시점 영상 프레임의 초점을 보정하는 초점 보정부를 포함한다.
초점 보정부는 변위 예측부에서 계산한 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위 예측값 및 색상 보정부에서 색상 보정된 기준 시점 영상 프레임과 보정 시점 영상 프레임의 휘도 성분을 이용하여 기준 시점 영상 프레임과 보정 시점 영상 프레임의 초점을 보정하는 것을 특징으로 한다.
여기서 초점 보정부는 기준 시점 영상 프레임에서 저주파 성분을 제거하여 제1 영상 프레임을 생성하고 보정 시점 영상 프레임에서 저주파 성분을 제거하여 제2 영상 프레임을 생성하는 저주파 성분 제거부와, 기준 시점 영상 프레임과 보정 시점 영상 프레임 사이의 변위 예측값에 기초하여 제1 영상 프레임과 제2 영상 프레임의 변위를 보상하는 변위 보상부와, 변위 보상된 제1 영상 프레임과 제2 영상 프레임의 차감값에 기초하여 보정 계수 범위를 결정하고 보정 계수 범위에서 설정된 보정 계수로 보정 시점 영상 프레임의 저주파 성분을 조절하여 보정 시점 영상 프레임의 초점을 조절하는 초점 조절부와, 초점이 조정된 보정 시점 영상 프레임과 기준 시점 영상 프레임 사이의 보정차 계산하고 보정 계수 범위에서 보정 계수를 증감 또는 감소 설정하여 최소 보정차를 가지는 최소 보정 계수를 판단하는 보정 계수 판단부를 포함하는 것을 특징으로 한다.
여기서 초점 조절부는 변위 보상된 제2 영상 프레임에서 제1 영상 프레임을 차감하여 차감값을 계산하는 차감값 계산부와, 차감값이 양의 값 또는 음의 값을 가지는지에 따라 보정 계수 범위를 결정하는 보정계수범위 결정부와, 결정한 보정 계수 범위에서 설정된 보정 계수(ψ)로 보정 시점 영상 프레임의 성분 또는 보정 시점 영상 프레임의 저주파 성분을 증감시켜 보정 시점 영상 프레임의 초점을 조절하는 조절부를 포함하는 것을 특징으로 한다.
바람직하게 보정계수범위 결정부는 차감값이 양의 값을 가지는 경우 보정 계수 범위를 0에서 1 사이의 값으로 결정하고, 차감값이 음의 값을 가지는 경우 보정 계수 범위를 1에서 n(여기서 n은 1보다 큰 실수) 사이의 값으로 결정하는 것을 특징으로 한다.
한편, 본 발명에 따른 색상 보정부는 변위 예측부에서 계산한 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위 예측값 및 초점 보정부에서 초점 보정된 기준 시점 영상 프레임과 보정 시점 영상 프레임을 이용하여 기준 시점 영상 프레임과 보정 시점 영상 프레임의 색상을 보정하는 것을 특징으로 한다.
본 발명에 따른 입체 영상의 전처리 장치는 다음과 같은 효과를 가진다.
첫째, 본 발명에 따른 입체 영상의 전처리 장치는 입체 영상의 색상 보정과 초점 보정을 동시에 전처리함으로써, 입체 영상의 부호화 효율을 높일 수 있다.
둘째, 본 발명에 따른 입체 영상의 전처리 장치는 인접 시점 영상 사이의 변위 예측값을 계산하고 계산한 변위 예측값을 전처리 과정에서 색상 보정과 초점 보정에 동시에 사용함으로써, 색상 보정과 초점 보정에 필요한 연산량을 줄일 수 있다.
셋째, 본 발명에 따른 입체 영상의 전처리 장치는 기준 시점 영상 프레임과 보정 시점 영상 프레임 사이의 차감값이 음인지 또는 양인지에 따라 보정 계수 범위를 달리 선택함으로써, 최소 보정 계수를 결정하는데 소요되는 연산량을 줄일 수 있다.
도 1은 인접 시점의 두 영상에서 초점 불일치로 인한 화면 차이의 일 예를 도시하고 있다.
도 2는 종래 인접 시점 영상의 초점을 보정하는 장치를 설명하기 위한 기능 블록도이다.
도 3은 영상 프레임을 깊이 정보에 기초하여 구분한 전경 영상/ 중경 영상/ 후경 영상의 일 예를 도시하고 있다.
도 4는 본 발명에 따른 입체 영상 프레임의 초점 보정 장치를 설명하기 위한 기능 블록도이다.
도 5는 본 발명에 따른 저주파 제거부(110)를 설명하기 위한 기능 블록도이다.
도 6은 본 발명에 따른 초점 조절부를 설명하기 위한 기능 블록도이다.
도 7은 본 발명에 따른 입체 영상 프레임의 초점 보정 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명에 따른 보정 영상 프레임의 초점을 조절하는 단계를 설명하는 흐름도이다.
도 9는 본 발명에 따른 입체 영상 프레임의 초점 보상 방법에서 보정 계수 범위를 선택하는 일 예를 설명하기 위한 흐름도이다.
도 10은 종래 입체 영상 프레임의 초점 보정을 위해 사용되는 연산량과 본원발명에 따른 입체 영상 프레임의 초점 보정을 위해 사용되는 연산량을 비교한 도면이다.
이하 첨부한 도면을 참고로 본 발명에 따른 입체 영상의 전처리 장치에 대해 보다 구체적으로 살펴본다.
도 5는 본 발명에 따른 입체 영상의 전처리 장치를 설명하기 위한 기능 블록도이다.
도 5를 참고로 보다 구체적으로 살펴보면, 변위 예측부(100)로 적어도 2시점 이상의 다시점 입체 영상이 입력되는 경우 변위 예측부(100)는 입체 영상 중 서로 인접 시점인 기준 시점 영상 프레임과 보정 시점 영상 프레임 사이의 단위 블록별로 변위 예측값을 계산한다. 변위 예측부(100)는 기준 시점 영상 프레임과 보정 시점 영상 프레임 사이에서 서로 매칭되는 단위 블록을 판단하고 서로 매칭되는 단위 블록의 변위 예측값을 계산한다. 바람직하게, 변위 예측부(100)는 기준 시점 영상 프레임과 보정 시점 영상 프레임에서 픽셀값의 합이 최소인 단위 블록을 매칭 단위 블록으로 판단한다. 여기서 입력되는 입체 영상은 다시점 입체 영상 또는 스테레오 입체 영상일 수 있다.
색상 보정부(200)는 변위 예측부(200)에서 계산한 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위 예측값에 기초하여 기준 시점 영상 프레임과 보정 시점 영상 프레임에서 서로 매칭되는 단위 블록의 색상을 보정한다. 바람직하게, 색상 보정부(200)는 최소 제곱 예측 방식을 이용하여 단위 블록의 색상을 보정하기 위한 색상 보정 계수를 계산하며, 계산한 색상 보정 계수를 보정 시점 영상 프레임의 단위 블록에 적용하여 색상을 보정한다.
한편, 초점 보정부(300)는 변위 예측부(100)에서 계산한 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위 예측값에 기초하여 색상 보정된 기준 시점 영상 프레임과 보정 시점 영상 프레임의 초점을 보정한다. 바람직하게, 초점 보정부(300)는 변위 예측부(100)에서 계산한 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위 예측값에 기초하여 색상 보정부(200)에서 색상 보정된 기준 시점 영상 프레임과 보정 시점 영상 프레임을 변위 보정하고 색상 보정된 서로 매칭되는 단위 블록의 초점을 보정한다. 더욱 바람직하게, 색상 보정된 기준 시점 영상 프레임과 보정 시점 영상 프레임의 단위 블록에서 휘소(Y) 성분만을 이용하여 초점 보정을 수행한다.
색상 보정부(200)는 색상 보정을 위해 먼저 기준 시점 영상 프레임과 보정 시점 영상 프레임 사이의 변위 예측값을 계산하여야 하며, 초점 보정부(300)도 초점 보정을 위해 기준 시점 영상 프레임과 보정 시점 영상 프레임 사이의 변위 예측값을 계산하여야 한다. 본 발명에서는 색상 보정부(200)와 초점 보정부(300)를 전처리부에 통합하여 제작하며 변위 예측값(100)에서 계산한 기준 시점 영상 프레임과 보정 시점 영상 프레임 사이의 변위 예측값을 각각 색상 보정부(200)와 초점 보정부(300)에서 동시에 사용함으로써, 색상 보정과 초점 보정을 위해 반복하여 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위 예측값을 계산하지 않아도 되며, 따라서 입체 영상을 부호화하는데 소요되는 연산량을 줄일 수 있다.
도 6은 본 발명에 따른 변위 예측부를 설명하기 위한 기능 블록도이다.
도 6을 참고로 보다 구체적으로 살펴보면, 절대차 계산부(110)는 기준 시점 영상 프레임과 보정 시점 영상 프레임에서 단위 블록별로 단위 블록을 구성하는 픽셀들 사이의 절대차를 계산하고, 블록 매칭부(120)는 단위 블록을 구성하는 픽셀들의 절대차의 합을 계산하여 최소합을 가지는 단위 블록을 서로 매칭되는 매칭 단위 블록으로 결정한다.
예를 들어, 단위 블록의 크기가 4×4인 경우 기준 시점 영상 프레임에서 4×4 단위 블록을 구성하는 16개 픽셀들과 보정 시점 영상 프레임에서 4×4 단위 블록을 구성하는 16개의 픽셀들 각각에 대한 비트값이 절대차 계산부(110)로 입력된다. 즉 기준 시점 영상 프레임의 제1 픽셀과 이에 대응하는 보정 시점 영상 프레임의 제1 픽셀이 절대차 계산부(110)로 입력되며, 기준 시점 영상 프레임의 제2 픽셀과 이에 대응하는 보상 시점 영상 프레임의 제2 픽셀이 절대차 계산부(110)로 입력된다. 이와 같이 기준 시점 영상 프레임의 4×4 단위 블록을 구성하는 모든 픽셀과 보정 시점 영상 프레임의 4×4 단위 블록을 구성하는 픽셀이 각 픽셀에 할당된 절대차 계산부로 입력된다.
통상적으로 기준 시점 영상 프레임의 픽셀과 보정 시점 영상 프레임 픽셀의 픽셀값은 8비트로 표현되며 픽셀의 절대차는 아래의 수학식(2)와 같이 계산된다.
[수학식 2]
Figure pat00002
여기서 PRi는 기준 시점 영상 프레임 픽셀(Ri)의 픽셀값이고 PLi는 기준 시점 영상 프레임 픽셀(Ri)에 대응하는 보정 시점 영상 프레임 픽셀(Lj)의 픽셀값을 의미한다.
바람직하게, 절대차 계산부(110)는 보정 시점 영상 프레임의 모든 단위 블록에 대해 절대차를 계산하는 것이 아니라, 기준 시점 영상 프레임의 단위 블록을 기준으로 일정 거리로 윈도우를 생성하며, 보정 시점 영상 프레임에서 생성한 윈도우에 위치하는 단위 블록만을 대상으로 절대차를 계산하여 서로 매칭되는 매칭 단위 블록을 결정한다.
변위 예측값 생성부(130)는 기준 시점 영상 프레임의 단위 블록과 보정 시점 영상 프레임에서 단위 블록에 매칭되는 매칭 단위 블록 사이의 변위 벡터를 계산하여 기준 시점 영상 프레임과 보정 시점 영상 프레임의 단위 블록별 변위 예측값을 생성한다.
도 7은 본 발명에 따른 초정 보정부(300)를 설명하기 위한 기능 블록도이다.
도 7을 참고로 보다 구체적으로 살펴보면, 저주파 제거부(310)로 색상 보정된 기준 시점 영상 프레임과 보정 시점 영상 프레임이 입력되는 경우, 저주파 제거부(310)는 색상 보정된 입체 영상 프레임 중 기준 시점 영상 프레임에서 저주파 성분을 제거하여 제1 영상 프레임을 생성하고, 색상 보정된 입체 영상 프레임 중 보정 시점 영상 프레임에서 저주파 성분을 제거하여 제2 영상 프레임을 생성한다.
초점 조절부(320)는 제1 영상 프레임과 제2 영상 프레임을 서로 차감하여 차감값을 계산하며 차감값에 기초하여 보정 계수 범위를 선택하는데, 선택한 보정 계수 범위에서 설정된 보정 계수로 보정 영상 프레임의 저주파 성분을 증감하여 보정 영상 프레임의 초점을 조절한다.
보정 계수 판단부(330)는 초점이 조정된 보정 시점 영상 프레임과 기준 시점 영상 프레임 사이의 보정차를 계산하고, 선택한 보정 계수 범위에서 보정 계수를 증감 설정하여 최소 보정차를 가지는 보정 계수를 판단한다. 여기서 보정 계수 범위는 차감값에 기초하여 선택되는데, 선택된 보정 계수 범위에서만 보정 계수를 증감 설정하여 최소 보정차를 가지는 최소 보정 계수를 판단한다. 최소 보정 계수를 보정 시점 영상 프레임에 곱하여 보정 시점 영상 프레임의 초점을 기준 시점 영상 프레임의 초점에 일치하도록 초점 보정한다.
바람직하게, 연산량을 줄이기 위하여 입력되는 기준 시점 영상 프레임과 보정 시점 영상 프레임은 휘도 성분만을 가지는데, 저주파 제거부(310), 초점 조절부(320) 및 보정 계수 판단부(330)는 휘도 성분을 가지는 기준 시점 영상 프레임과 보정 시점 영상 프레임을 이용하여 저주파 성분을 제거하거나 초점을 조절하거나, 보정 계수를 판단한다.
한편, 본 발명에 따른 초점 보정 장치는 영상 프레임 단위로 초점을 보정하는 대신 영상 프레임의 단위 매크로 블록 단위로 초점을 보정할 수 있으며 이는 본 발명의 범위에 속한다.
도 8은 본 발명에 따른 저주파 제거부(310)를 설명하기 위한 기능 블록도이다.
도 8을 참고로 보다 구체적으로 살펴보면, 기준 시점 영상 프레임과 보정 시점 영상 프레임이 저주파 통과 필터부(311)로 입력되는 경우, 저주파 통과 필터부(311)는 기준 시점 영상 프레임과 보정 시점 영상 프레임에서 저주파 성분만을 통과시켜 기준 시점 영상 프레임과 보정 시점 영상 프레임의 저주파 성분을 추출한다. 제1 차감부(313)는 기준 시점 영상 프레임에서 추출한 기준 시점 영상 프레임의 저주파 성분을 차감하여 기준 시점 영상 프레임에서 저주파 성분을 제거한 제1 영상 프레임을 생성하며, 제2 차감부(115)는 보정 시점 영상 프레임에서 추출한 보정 시점 영상 프레임의 저주파 성분을 차감하여 보정 시점 영상 프레임에서 저주파 성분을 제거한 제2 영상 프레임을 생성한다.
통상적으로 영상 촬영 장치의 초점이 잘 맞추어질수록 선명한 영상으로 촬영되고 초점이 잘 맞추어지지 않은 경우 흐린 영상으로 촬영되는데, 흐린 영상일수록 저주파 성분이 많이 나타나게 된다. 따라서 기준 시점 영상 프레임과 보정 시점 영상 프레임에서 저주파 성분을 제거하여 제1 영상 프레임과 제2 영상 프레임을 생성하고 고주파 성분의 제1 영상 프레임과 제2 영상 프레임의 차감값으로부터 보정 계수 범위를 선택함으로써, 선택한 보정 계수 범위 내에서 적은 연산량으로 정확하게 보정 시점 영상 프레임을 기준 영상 프레임의 초점으로 보정할 수 있다.
도 9는 본 발명에 따른 초점 조절부(320)를 설명하기 위한 기능 블록도이다.
도 9를 참고로 보다 구체적으로 살펴보면, 차감값 계산부(321)는 제2 영상 프레임에서 제1 영상 프레임을 차감하여 차감값을 계산하고, 보정계수범위 결정부(323)는 차감값 계산부(321)에서 계산한 차감값에 기초하여 제2 영상 프레임 성분이 제1 영상 프레임 성분보다 큰지 여부를 판단한다. 즉, 보정계수 판단부(323)는 제2 영상 프레임과 제1 영상 프레임 사이의 차감값이 양의 값 또는 음의 값을 가지는지에 따라 보정 계수 범위를 결정한다. 바람직하게, 색상 보상된 제2 영상 프레임 성분과 제1 영상 프레임 성분을 차감하여 계산한 차감값이 양의 값을 가지는지 판단하여, 차감값이 양의 값을 가지는 경우 보정 계수가 0에서 1 사이의 값을 가지도록 보정 계수 범위를 선택하며, 계산한 차감값이 음의 값을 가지는 경우 보정 계수가 1에서 n(여기서 n은 1보다 큰 실수) 사이의 값을 가지도록 보정 계수 범위를 선택한다
조절부(325)는 결정한 보정 계수 범위에서 보정 계수(ψ)를 설정하여 보정 시점 영상 프레임의 성분 또는 보정 시점 영상 프레임의 저주파 성분을 증감시킴으로써, 보정 시점 영상 프레임의 초점을 조절한다.
여기서 차감값이 양의 값을 가지는 경우 제2 영상 프레임에 제1 영상 프레임보다 큰 고주파 성분이 존재하므로 제2 영상 프레임의 선명도를 낮추기 위하여 보정 시점 영상 프레임에서 저주파 성분이 증가하도록 보정 영상 프레임의 초절을 조절하고, 차감값이 음의 값을 가지는 경우 제2 영상 프레임에 제1 영상 프레임보다 작은 고주파 성분이 존재하므로 제2 영상 프레임의 선명도를 높이기 위하여 보정 시점 영상 프레임에서 저주파 성분을 감소시킨다.
바람직하게, 보정 계수 범위가 선택되는 경우 선택한 보정 계수 범위에서 보정 계수를 순차적으로 증가 또는 감소시키며 아래의 수학식(2)와 같이 보정 시점 영상 프레임의 초점을 조절한다.
[수학식 2]
Figure pat00003
여기서 FCCUR(x,y)는 초점 조절된 보정 시점 영상 프레임이며, YCUR(x,y)과 LPFCUR(x,y)은 각각 보정 시점 영상 프레임의 휘도 성분과 보정 시점 영상 프레임의 저주파 휘도 성분이며, ψ는 설정된 보정 계수인 것을 특징으로 한다.
수학식(2)를 참고로 살펴보면, 제1 영상 프레임과 제2 영상 프레임 사이의 차감값이 양의 값을 가지는 경우 보정 계수(ψ)는 0<ψ<1 사이 제1 보정 계수 범위를 가지며 따라서 제1 보정 계수 범위에서 설정된 보정 계수에 의해 보정 시점 영상 프레임은 저주파 성분이 증가하여 흐리게 초점 보정되며, 제1 영상 프레임과 제2 영상 프레임 사이의 차감값이 음의 값을 가지는 경우 보정 계수(ψ)는 1<ψ<n의 제2 보정 계수 범위를 가지며 따라서 제2 보정 계수 범위에서 설정된 보정 계수에 의해 보정 시점 영상 프레임은 저주파 성분이 감소하여 선명하게 초점 보정된다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 변위 보정부 20: 깊이맵 생성부
30: 초점 조절부 40: 보정 계수 판단부
110: 저주파 제거부 120: 변위 보상부
130: 초점 조절부 140: 보정 계수 판단부
111: 저주파 통과 필터부 113: 제1 차감부
115: 제2 차감부 131: 차감값 계산부
133: 보정계수범위 계산부 135: 조절부

Claims (7)

  1. 입체 영상의 부호화를 위한 상기 입체 영상의 전처리 장치에 있어서,
    입체 영상 중 기준 시점 영상 프레임과 보정 시점 영상 프레임의 변위 예측값을 계산하는 변위 예측부;
    상기 변위 예측부에서 계산한 상기 기준 시점 영상 프레임과 상기 보정 시점 영상 프레임의 변위 예측값에 기초하여 상기 기준 시점 영상 프레임과 상기 보정 시점 영상 프레임의 색상을 보정하는 색상 보정부; 및
    상기 변위 예측부에서 계산한 상기 기준 시점 영상 프레임과 상기 보정 시점 영상 프레임의 변위 예측값에 기초하여 상기 기준 시점 영상 프레임과 상기 보정 시점 영상 프레임의 초점을 보정하는 초점 보정부를 포함하는 것을 특징으로 하는 입체 영상의 전처리 장치.
  2. 제 1 항에 있어서, 상기 초점 보정부는
    상기 변위 예측부에서 계산한 상기 기준 시점 영상 프레임과 상기 보정 시점 영상 프레임의 변위 예측값 및, 상기 색상 보정부에서 색상 보정된 상기 기준 시점 영상 프레임과 상기 보정 시점 영상 프레임의 휘도 성분을 이용하여 상기 기준 시점 영상 프레임과 상기 보정 시점 영상 프레임의 초점을 보정하는 것을 특징으로 하는 입체 영상의 전처리 장치.
  3. 제 2 항에 있어서, 상기 초점 보정부는
    상기 기준 시점 영상 프레임에서 저주파 성분을 제거하여 제1 영상 프레임을 생성하고, 상기 보정 시점 영상 프레임에서 저주파 성분을 제거하여 제2 영상 프레임을 생성하는 저주파 성분 제거부;
    상기 기준 시점 영상 프레임과 상기 보정 시점 영상 프레임 사이의 변위 예측값에 기초하여 상기 제1 영상 프레임과 상기 제2 영상 프레임의 변위를 보상하는 변위 보상부;
    변위 보상된 상기 제1 영상 프레임과 제2 영상 프레임의 차감값에 기초하여 보정 계수 범위를 결정하고, 상기 보정 계수 범위에서 설정된 보정 계수로 상기 보정 시점 영상 프레임의 저주파 성분을 조절하여 상기 보정 시점 영상 프레임의 초점을 조절하는 초점 조절부; 및
    초점이 조정된 상기 보정 시점 영상 프레임과 상기 기준 시점 영상 프레임 사이의 보정차 계산하고, 상기 보정 계수 범위에서 상기 보정 계수를 증감 또는 감소 설정하여 최소 보정차를 가지는 최소 보정 계수를 판단하는 보정 계수 판단부를 포함하는 것을 특징으로 하는 입체 영상의 전처리 장치.
  4. 제 3 항에 있어서, 상기 초점 조절부는
    변위 보상된 상기 제2 영상 프레임에서 상기 제1 영상 프레임을 차감하여 차감값을 계산하는 차감값 계산부;
    상기 차감값이 양의 값 또는 음의 값을 가지는지에 따라 보정 계수 범위를 결정하는 보정계수범위 결정부; 및
    결정한 상기 보정 계수 범위에서 설정된 보정 계수(ψ)로 상기 보정 시점 영상 프레임의 성분 또는 상기 보정 시점 영상 프레임의 저주파 성분을 증감시켜 상기 보정 시점 영상 프레임의 초점을 조절하는 조절부를 포함하는 것을 특징으로 하는 입체 영상의 전처리 장치.
  5. 제 4 항에 있어서, 상기 보정계수범위 결정부는
    상기 차감값이 양의 값을 가지는 경우 상기 보정 계수 범위를 0에서 1 사이의 값으로 결정하고,
    상기 차감값이 음의 값을 가지는 경우 상기 보정 계수 범위를 1에서 n(여기서 n은 1보다 큰 실수) 사이의 값으로 결정하는 것을 특징으로 하는 입체 영상의 전처리 장치.
  6. 제 5 항에 있어서, 상기 조절부는 아래의 수학식(1)에 의해 상기 보정 시점 영상 프레임의 초점을 조절하며,
    [수학식 1]
    Figure pat00004

    여기서 FCCUR(x,y)는 초점 조절된 보정 시점 영상 프레임이며, YCUR(x,y)과 LPFCUR(x,y)은 각각 상기 보정 시점 영상 프레임의 휘도 성분과 상기 보정 시점 영상 프레임의 저주파 휘도 성분이며, ψ는 보정 계수인 것을 특징으로 하는 입체 영상의 전처리 장치.
  7. 제 1 항에 있어서, 상기 색상 보정부는
    상기 변위 예측부에서 계산한 상기 기준 시점 영상 프레임과 상기 보정 시점 영상 프레임의 변위 예측값 및, 상기 초점 보정부에서 초점 보정된 상기 기준 시점 영상 프레임과 상기 보정 시점 영상 프레임을 이용하여 상기 기준 시점 영상 프레임과 상기 보정 시점 영상 프레임의 색상을 보정하는 것을 특징으로 하는 입체 영상의 전처리 장치.
KR1020130090218A 2013-07-30 2013-07-30 입체 영상의 부호화를 위한 전처리 장치 KR20150014687A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130090218A KR20150014687A (ko) 2013-07-30 2013-07-30 입체 영상의 부호화를 위한 전처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130090218A KR20150014687A (ko) 2013-07-30 2013-07-30 입체 영상의 부호화를 위한 전처리 장치

Publications (1)

Publication Number Publication Date
KR20150014687A true KR20150014687A (ko) 2015-02-09

Family

ID=52571513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130090218A KR20150014687A (ko) 2013-07-30 2013-07-30 입체 영상의 부호화를 위한 전처리 장치

Country Status (1)

Country Link
KR (1) KR20150014687A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020255715A1 (ja) * 2019-06-18 2020-12-24 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020255715A1 (ja) * 2019-06-18 2020-12-24 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Similar Documents

Publication Publication Date Title
US7944444B2 (en) 3D image processing apparatus and method
US8274552B2 (en) Primary and auxiliary image capture devices for image processing and related methods
JP5068391B2 (ja) 画像処理装置
TWI483612B (zh) Converting the video plane is a perspective view of the video system
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
JP2012138787A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10165249B2 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
KR101938205B1 (ko) 깊이 영상 필터링 방법 및 그 장치
RU2423018C2 (ru) Способ и система для преобразования стереоконтента
WO2013094635A1 (ja) 画像処理装置、撮像装置および表示装置
WO2014012364A1 (zh) 一种多曝光运动图像的校正方法及装置
TW201432622A (zh) 產生一關於一影像之深度圖
TW201424405A (zh) 多視點圖像編碼方法，及多視點圖像解碼方法
JP2012249038A (ja) 画像信号処理装置、画像信号処理方法
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
JP2012019513A (ja) ２ｄ画像を３ｄ画像に変換するための方法および装置
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
KR20140118031A (ko) 영상 처리 장치 및 방법
JP6754759B2 (ja) 三次元画像の視差の処理
TWI608447B (zh) 立體影像深度圖產生裝置及方法
US20150003724A1 (en) Picture processing apparatus, picture processing method, and picture processing program
EP2680224B1 (en) Method and device for determining a depth image
KR20150014687A (ko) 입체 영상의 부호화를 위한 전처리 장치
US8787655B2 (en) Image processing apparatus and control method therefor
KR101760463B1 (ko) 깊이 지도 보정 방법 및 그 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
SUBM Surrender of laid-open application requested