KR102053943B1 - 3d 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치 - Google Patents

3d 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치 Download PDF

Info

Publication number
KR102053943B1
KR102053943B1 KR1020130023736A KR20130023736A KR102053943B1 KR 102053943 B1 KR102053943 B1 KR 102053943B1 KR 1020130023736 A KR1020130023736 A KR 1020130023736A KR 20130023736 A KR20130023736 A KR 20130023736A KR 102053943 B1 KR102053943 B1 KR 102053943B1
Authority
KR
South Korea
Prior art keywords
image
focus
disparity
binocular
calculated
Prior art date
Application number
KR1020130023736A
Other languages
English (en)
Other versions
KR20140109605A (ko
Inventor
추현곤
강정원
최진수
Original Assignee
(주) 소닉티어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 소닉티어 filed Critical (주) 소닉티어
Priority to KR1020130023736A priority Critical patent/KR102053943B1/ko
Publication of KR20140109605A publication Critical patent/KR20140109605A/ko
Application granted granted Critical
Publication of KR102053943B1 publication Critical patent/KR102053943B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 3D 변이 정보에 따른 적응적 영상 초점도(focus) 조절 방법 및 그 장치에 관한 것이다. 본 발명에 따른 적응적으로 양안식 3D 영상의 초점도(focus)를 조절하는 영상 처리 모듈은 상기 양안식 3D 영상을 구성하는 좌 영상과 우 영상의 디스패러티(disparity)를 계산하는 변이 계산부, 상기 좌 영상과 상기 우 영상 중 적어도 하나를 기반으로 초점도를 계산하는 초점도 계산부, 및 상기 계산된 디스패러티 및 상기 계산된 초점도의 계수 차이를 기반으로 상기 양안식 3D 영상의 초점도를 적응적으로 보정하는 화질 조정부를 포함함을 특징으로 한다. 본 발명에 따르면, 양안식 3D 영상에서 초점도 및 입체감에 대한 불일치를 줄일 수 있으며, 이를 통하여 더 좋은 화질의 3D 영상을 제공할 수 있다.

Description

3D 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치{METHOD AND APPARATUS FOR ADAPTIVE CONTROL OF IMAGE FOCUS BASED ON 3D DISPARITY}
본 발명은 영상 처리에 관한 것으로, 보다 상세하게는 3D 변이 정보에 따른 적응적 영상 초점도(focus) 조절 방법 및 그 장치에 관한 것이다.
최근 3D(3 Dimension) 입체 영화 및 3D 방송 기술에 대한 요구가 커져가고 있다. 현재 3D 방송 기술의 하나로 사용되고 있는 양안식 3D 방송 기술의 경우 일반적으로 두 개의 카메라를 이용하여 인간의 좌우 시점에 해당하는 영상을 촬영하고, 이를 좌우 시점에 다르게 보여줌으로써 3D 효과를 얻는 방식을 사용한다.
3D 입체 영상은 상기와 같이 양안 시차를 기반할 수도 있고, 영상의 특징에 다른 원근감을 기반으로 할 수도 있다. 예를 들어 가까운데 있는 물체가 더 커 보이는 원근 시차가 있으며, 가까이에 있는 물체가 빠르게 움직여서 나타나는 운동시차, 그리고, 가까이에 있는 물체가 더 선명하게 보임에 의해 나타나는 초점도에 의한 시차 등이 있다.
영화 촬영이나 방송 등에서 사용하는 고화질 카메라의 경우, 영상의 효과를 극대화하기 위하여 다양한 종류의 렌즈를 이용하게 되며, 각 촬영 장면마다 주가 되는 물체에 초점을 맞추어 촬영이 수행되는 것이 일반적이다. 도 1은 중간 거리의 물체에 포커스가 맞춰진 예를 나타낸다. 도 2는 중간 거리의 물체에 초점이 맞춰진 경우 생성된 좌·우 영상의 예를 나타낸다. 도 1과 같은 화면을 이용하여 양안식 3D 영상을 생성하는 경우, 가까운 거리에 있는 물체에 초점이 맞지 않게 된다. 이 경우 생성된 좌·우 영상은 도 2와 같이 가까운 물체의 초점이 맞지 않아 시청자에게 어색한 느낌을 줄 수 있는 문제점이 있다.
본 발명의 기술적 과제는 3D 변이 정보에 따른 적응적 영상 초점도 조절 방법 및 그 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 줌(zoom) 렌즈와 같은 심도가 낮은 렌즈를 사용하여 3D 영상을 촬영하는 경우에 거리에 따른 초점도 불일치 문제를 해결함에 있다.
본 발명의 또 다른 기술적 과제는 3D 영상 촬영에 있어 거리에 따른 초점도 불일치 문제를 해결하여 상기 3D 영상의 화질을 높임에 있다.
본 발명의 일 양태에 따르면 적응적으로 양안식 3D 영상의 초점도(focus)를 조절하는 영상 처리 모듈을 제공한다. 상기 모듈은 상기 양안식 3D 영상을 구성하는 좌 영상과 우 영상을 기반으로 디스패러티(disparity)를 계산하는 변이 계산부, 상기 좌 영상과 상기 우 영상 중 어도 하나를 기반으로 초점도를 계산하는 초점도 계산부, 및 상기 계산된 디스패러티 및 상기 계산된 초점도의 계수 차이를 기반으로 상기 양안식 3D 영상의 초점도를 적응적으로 보정하는 화질 조정부를 포함함을 특징으로 한다.
본 발명에 따르면, 양안식 3D 영상에서 초점도 및 입체감에 대한 불일치를 줄일 수 있으며, 이를 통하여 더 좋은 화질의 3D 영상을 제공할 수 있다.
도 1은 중간 거리의 물체에 초점도가 맞춰진 예를 나타낸다.
도 2는 중간 거리의 물체에 초점도가 맞춰진 경우 생성된 좌?우 영상의 예를 나타낸다.
도 3은 본 발명에 따른 적응적 영상 초점도 조절 방법을 수행하는 영상 처리 모듈의 예를 나타낸다.
도 4는 본 발명에 따른 영상 처리 모듈의 적용 일 예를 나타낸다.
도 5는 본 발명에 따른 적응적 영상 초점도 조절 방법을 나타낸다.
도 6은 초점도 정보와 디스패러티 정보에 기반한 영상의 예를 나타낸다.
이하, 본 명세서에서는 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 명세서에서 본 발명의 실시 예들을 설명함에 있어, 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 명세서의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결","결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 3은 본 발명에 따른 적응적 영상 초점도 조절 방법을 수행하는 영상 처리 모듈의 예를 나타낸다.
도 3을 참조하면, 본 발명에 따른 영상 처리 모듈은 영상입력부(300), 변이 계산부(310), 초점도 계산부(320), 화질 조정부(330) 및 영상출력부(340)을 포함할 수 있다.
영상입력부(300)는 3D 영상을 입력받는다. 구체적으로 영상입력부(300)는 좌 영상 및 우 영상을 입력받을 수 있다. 일 예로, 영상입력부(300)는 상기 좌 영상 및 상기 우 영상을 직접적으로 입력받을 수 있다. 다른 예로, 영상입력부(300)는 상기 좌 영상 및 상기 우 영상 각각에 관한 스트림들을 입력받아 이들을 복호화(decoding)하여 상기 좌 영상 및 상기 우 영상을 획득할 수 있다.
변이 계산부(310)는 상기 좌 영상 및 상기 우 영상을 기반으로 디스패러티(disparity)를 계산한다. 예를 들어 변이 계산부(310)는 일반적 3D 영상 처리에서 사용하는 스테레오 매칭(stereo matching) 기법을 이용하여 상기 디스패러티를 계산할 수 있다.
초점도 계산부(320)는 상기 좌 영상 및 상기 우 영상 중 적어도 하나를 기반으로 초점도를 계산한다.
화질 조정부(330)는 상기 계산된 디스패러티와 상기 계산된 초점도의 레벨 차이를 기반으로 상기 3D 영상의 초점도를 보정하여 상기 3D 영상의 화질을 조절한다. 이 경우 예를 들어 화질 조정부(330)는 상기 3D 영상의 부분 또는 전체의 초점도를 낮추거나 높여서 상기 3D 영상의 화질을 조절할 수 있다. 상기 3D 영상은 상기 좌 영상 및 상기 우 영상을 기반으로 생성된다.
영상출력부(340)는 상기 초점도가 보정된 3D 영상을 출력한다.
이를 통하여 본 발명에 따른 영상 처리 모듈은 양안식 3D 영상에서 초점도 및 입체감에 대한 불일치를 줄일 수 있으며, 더 좋은 화질의 3D 영상을 시청자에게 제공할 수 있다.
상기와 같은 영상 처리 모듈은 예를 들어, 3DTV나 극장용 3D 출력장치, 또는 3D 편집장치의 구성요소로 이용될 수 있다. 즉, 본 발명에 따른 적응적 영상 초점도 조절 방법은 3DTV나 극장용 3D 출력장치, 또는 3D 편집장치의 일부에서 수행될 수 있다.
도 4는 본 발명에 따른 영상 처리 모듈의 적용 일 예를 나타낸다. 도 4는 상기 영상 처리 모듈이 극장용 3D 출력장치에 활용된 예이다. 도 4와 같이 상기 영상 처리 모듈은 포커스 제어 블록(focus control block)의 형태로 구성되어 3D 영상 생성에 있어 영상 처리 필터와 같은 역할을 수행할 수 있다.
본 발명에 따른 영상 처리 모듈에서 수행되는 적응적 영상 초점도 조절 방법을 구체적으로 설명하면 다음과 같다. 본 방법에서 수행되는 각각의 과정은 하나의 이미지 단위로 수행될 수 있으며, 비디오의 경우처럼 연속된 입력도 처리될 수 있다.
도 5는 본 발명에 따른 적응적 영상 초점도 조절 방법을 나타낸다.
도 5를 참조하면, 영상 처리 모듈은 3D 영상을 구성하는 좌 영상 및 우 영상을 입력받는다(S500). 일 예로, 영상 처리 모듈은 상기 좌 영상 및 상기 우 영상을 직접적으로 입력받을 수 있다. 다른 예로, 영상 처리 모듈은 상기 좌 영상 및 상기 우 영상 각각에 관한 스트림들을 입력받아 이들을 복호화하여 상기 좌 영상 및 상기 우 영상을 획득할 수 있다.
영상 처리 모듈은 입력받은 상기 좌 영상 및 상기 우 영상을 기반으로 디스패러티를 계산한다(S510). 영상 처리 모듈은 일반적으로 3D 영상 처리에서 사용하는 스테레오 매칭 기법을 이용하여 상기 디스패러티를 계산할 수 있다. 일 예로 로컬(local) 방식의 스테레오 매칭을 이용한 디스패러티 계산은 다음과 같이 수행될 수 있다.
Figure 112013019511083-pat00001
수학식 1을 참조하면, dp는 디스패러티이고,
Figure 112013019511083-pat00002
는 d가 0부터 dmax 사이에서 f(x,y)를 최소로 만드는 x,y값을 나타내고, d는 깊이 값을 나타내고, dmax는 깊이 최대값이고, q는 현재의 영역내에 포함되어 있는 픽셀의 좌표이고, Wp는 디스패러티 비용함수를 계산하기 위한 윈도우(영역)이고, c(x,y)는 픽셀 x와 y 사이의 차이를 나타내는 비용함수(cost function)이다.
영상 처리 모듈은 상기 좌 영상 및 상기 우 영상 중 적어도 하나을 기반으로 초점도를 계산한다(S520). 영상 처리 모듈은 상기 좌 영상 및 상기 우 영상 중 임의의 한 영상을 기반으로 초점도를 계산할 수 있다. 이는 3D 영상을 구성하는 좌 영상 및 우 영상의 경우 일반적으로 초점도가 동일하기 때문이다. 한편, 상기 좌 영상 및 상기 우 영상의 초점도가 다른 경우에는 두 영상 중 어느 한 영상을 기준으로 다른 영상의 초점도를 보정할 수 있다.
여기서 상기 초점도 계산은 디지털 카메라의 초점계산 방법이나 DFF(Depth From Focus) 등에서 사용되는 초점계산 수식을 이용하여 수행될 수 있다. 예를 들어, 영상 처리 모듈은 각 이미지를 N×N(N=8) 크기의 블록으로 나눈 후, 각 블록에 대한 DCT(Discrete Cosine Transform) 변환을 통한 AC(Alternate Current) 계수의 합 등을 이용하고, 라플라시안(laplacian) 미분 연산자를 이용하는 SML(Sum Modified Laplacian) 방법 등을 이용하여 초점 정도를 계산(또는 추정)할 수 있다.
SML 방법을 이용하는 경우 픽셀 x,y에서의 초점도 m(x,y)는 다음과 같이 계산될 수 있다.
Figure 112013019511083-pat00003
수학식 2를 참조하면,
Figure 112013019511083-pat00004
는 f(x,y)의 라플라시안 값을 나타내고,
Figure 112013019511083-pat00005
,
Figure 112013019511083-pat00006
은 x,y 위치의 주변 픽셀 집합 내의 픽셀을 나타내고, S(x,y)는 픽셀 x,y의 주변 픽셀의 집합이고,
Figure 112013019511083-pat00007
은 픽셀(x, y)에서 픽셀(x’,y’)방향으로의 라플라시안을 나타낸다.
한편, 비록 도 5에서는 S520이 S510보다 나중에 수행되는 것으로 도시되었으나, S520은 S510보다 먼저 수행되거나 동시에 수행될 수도 있다.
영상 처리 모듈은 상기 계산된 디스패러티와 상기 계산된 초점도를 기반으로 적응적으로 3D 영상의 초점도를 보정한다(S530). 여기서 적응적 초점도 보정은 S510에서 계산한 디스패러티 정보와 S520에서 계산한 초점도 정보를 기반으로 한다. 적응적으로 초점도를 보정하는 방법은 예를 들어 크게 두가지로 구분할 수 있다. 첫째로 초점도를 낮추는 방법과, 둘째로 초점도를 높이는 방법이 있다. 초점도를 낮추는 방법의 경우 블러 향상 처리가 수행될 수 있고, 초점도를 높이는 방법의 경우 디테일 향상 처리가 수행될 수 있다. 이 경우 영상 처리 모듈은 다음과 같은 기준으로 적응적으로 처리 방향을 결정할 수 있다.
Figure 112013019511083-pat00008
수학식 3을 참조하면, BM(x,y)는 S520 과정에서 도출된 흐림정도(초점도 계수)이고, DM(x,y)는 S510과정에서 도출된 디스패러티 계수이다. 영상 처리 모듈은 상기 dis가 업임계값(Thresholdup)보다 큰 경우, 상기 블러 향상 처리를 수행하며, 반대로 상기 dis가 다운임계값(Thersholddown)보다 작은 경우 상기 디테일 향상 처리를 수행한다. 일 예로, 상기 초점도 계수가 클수록 상기 흐림 정도가 낮다고 볼 수 있으며, 영상 처리 모듈은 상기 dis가 업임계값보다 큰 경우 초점도가 디스패러티보다 지나치게 높다고 보아 상기 블러 향상 처리를 수행할 수 있다. 다른 예로, 영상 처리 모듈은 상기 dis가 다운임계값보다 작은 경우 초점도가 디스패러티보다 지나치게 낮다고 보아 상기 디테일 향상 처리를 수행할 수 있다.
초점도를 낮추는 방법의 경우 상기 블러 향상 처리가 수행될 수 있다. 즉, 초점도를 낮추는 방법의 경우 영상에 대한 선명도를 떨어뜨리기 위하여 블러링(bluring) 필터 등을 이용할 수 있다. 구체적으로 예를 들어 가우시안 블러링 필터는 이미지의 각 픽셀마다 다음과 같은 가우시안 함수를 이용할 수 있다.
Figure 112013019511083-pat00009
수학식 4를 참조하면, G(x,y)는 x,y에서의 가우시안 함수를 나타내고, σ는 가우시안 분표(Gaussian distribution)의 표준 편차(standard deviation)이다. 이 경우 초점도 및 디스패러티의 차이를 상기 가우시안 블러링 필터의 가중치 인자로 적용할 수도 있다.
반면, 초점도를 높이는 방법의 경우 상기 디테일 향상 처리가 수행될 수 있다. 즉, 초점도를 높이는 방법의 경우 영상에 대한 디테일(detail)을 높이는 필터를 이용할 수 있다. 예를 들어, 이 경우 노이즈의 제거 및 역컨볼루션(deconvolution) 필터 등이 이용될 수 있다.
도 6은 초점도 정보와 디스패러티 정보에 기반한 영상의 예를 나타낸다.
도 6을 참조하면, (a) 영상은 초점도 정보에 기반한 영상이고, (b) 영상은 변이정보에 기반한 영상이다. (a) 영상에서 밝은 색이 초점도가 높은 값(즉, 초점도 레벨이 높은 경우)을 나타내고, (b) 영상에서 밝은 색이 가까운 물체(즉, 디스패러티 레벨이 높은 경우)를 나타낸다. 양안 시차의 효과와 단안 시차의 효과의 방향을 일치시키기 위해서는 초점도 레벨 분포의 방향과 디스패러티의 레벨 분포의 방향이 일치하는 것이 유리하다. 따라서, 초점도 영상(즉 (a) 영상)에서 밝은 부분(레벨이 높은 부분) 중 디스패러티 영상(즉 (b) 영상)에서 어두운 부분(레벨이 낮은 부분), 또는 디스패러티 영상에서 밝은 부분(레벨이 높은 부분) 중 초점도 영상에서 어두운 부분(레벨이 낮은 부분)에 대하여는 초점도를 보정할 필요성이 있다. 따라서 3D 영상에 대한 초점도 보정의 경우 해당하는 영역의 초점도를 개선하는 보정을 하거나, 초점도의 레벨 분포의 방향과 디스패러티의 레벨 분포의 방향에서 차이 나는 만큼 초점도에 가중치를 주어서 보정할 수도 있다. 이 경우 상술한 블러 향상 처리 또는 디테일 향상 처리 등이 사용될 수 있다.
상기와 같이 초점도를 보정하는 단계는 하나의 필터를 통하여 수행될 수 있고, 또는 두개 이상의 필터의 조합으로 단계적으로 수행될 수 있다.
한편, 광각렌즈 등이 이용되었다고 가정되는 경우와 같이 초점도가 일정한 경우에는, 본 발명에 따른 영상 처리 모듈은 초점도의 계산 없이 디스패러티 정보를 기반하여 적응적으로 필터를 적용할 수도 있다.
다시 도 5를 참조하면, 영상 처리 모듈은 상기 초점도가 보정된 3D 영상을 출력한다(S540). 이를 통하여 영상 처리 모듈은 양안식 3D 영상에서 초점도 및 입체감에 대한 불일치를 줄일 수 있으며, 더 좋은 화질의 3D 영상을 시청자에게 제공할 수 있다.
전술한 장치 및 시스템은 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 하드웨어 구현에 있어서, 방송프로그램의 녹화를 위하여 사용된 모듈은 하나 이상의 주문형 집적회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 장치(DSPD), 프로그램 가능 논리 장치(PLD), 필드 프로그램 가능 게이트 우러에(FPGA), 프로세서, 제어기, 마이크로 제어기, 마이크로프로세서, 여기에 기술한 기능들을 수행하도록 설계된 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어는 여기에 기술된 기능들을 수행하는 모듈을 통해 구현될 수 있다. 소프트웨어 코드는 메모리 유닛들에 저장되고 프로세서에 의해 실행될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에서 구현될 수 있으며, 이 경우에 메모리는 공지된 다양한 수단을 통해 프로세서와 연결될 수 있다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (6)

  1. 삭제
  2. 적응적으로 양안식 3D 영상의 초점도(focus)를 조절하는 영상 처리 모듈로서,
    상기 양안식 3D 영상을 구성하는 좌 영상과 우 영상을 기반으로 디스패러티(disparity)를 계산하는 변이 계산부;
    상기 좌 영상과 상기 우 영상 중 적어도 하나를 기반으로 초점도를 계산하는 초점도 계산부; 및
    상기 계산된 디스패러티 및 상기 계산된 초점도의 계수 차이를 기반으로 상기 양안식 3D 영상의 초점도를 적응적으로 보정하는 화질 조정부를 포함하되,
    상기 초점도 계산부는,
    상기 좌 영상과 상기 우 영상 중 적어도 하나를 미리 설정된 크기의 블록으로 나눈 후, 각 블록에 대한 DCT(Discrete Cosine Transform) 변환을 통한 AC(Alternate Current)계수의 합 및 SML(Sum Modified Laplacian) 방법 중 적어도 하나를 이용하여 초점도를 계산하는 것을 특징으로 하는 영상 처리 모듈.
  3. 적응적으로 양안식 3D 영상의 초점도(focus)를 조절하는 영상 처리 모듈로서,
    상기 양안식 3D 영상을 구성하는 좌 영상과 우 영상을 기반으로 디스패러티(disparity)를 계산하는 변이 계산부;
    상기 좌 영상과 상기 우 영상 중 적어도 하나를 기반으로 초점도를 계산하는 초점도 계산부; 및
    상기 계산된 디스패러티 및 상기 계산된 초점도의 계수 차이를 기반으로 상기 양안식 3D 영상의 초점도를 적응적으로 보정하는 화질 조정부를 포함하되,
    상기 화질 조정부는,
    광각렌즈가 이용되는 경우, 상기 초점도의 계산 없이 상기 디스패러티를 기반으로 초점도를 보정하는 것을 특징으로 하는 영상 처리 모듈.
  4. 제3항에 있어서,
    상기 화질 조정부는,
    상기 좌 영상의 초점도와 상기 우 영상의 초점도가 다를 경우 상기 좌 영상과 상기 우영상 중 어느 하나의 영상을 기준으로 다른 영상의 초점도를 보정하는 것을 특징으로 하는 영상 처리 모듈.
  5. 적응적으로 양안식 3D 영상의 초점도(focus)를 조절하는 영상 처리 모듈로서,
    상기 양안식 3D 영상을 구성하는 좌 영상과 우 영상을 기반으로 디스패러티(disparity)를 계산하는 변이 계산부;
    상기 좌 영상과 상기 우 영상 중 적어도 하나를 기반으로 초점도를 계산하는 초점도 계산부; 및
    상기 계산된 디스패러티 및 상기 계산된 초점도의 계수 차이를 기반으로 상기 양안식 3D 영상의 초점도를 적응적으로 보정하는 화질 조정부를 포함하되,
    상기 화질 조정부는,
    상기 계산된 디스패러티 및 상기 계산된 초점도의 계수 차이가 제1 임계값 보다 큰 경우, 상기 계산된 디스패러티 및 상기 계산된 초점도의 계수 차이를 블러링(bluring) 필터의 가중치 인자로 적용하여 해당 영역의 초점도를 보정하는 것을 특징으로 하는 영상 처리 모듈.
  6. 적응적으로 양안식 3D 영상의 초점도(focus)를 조절하는 영상 처리 모듈로서,
    상기 양안식 3D 영상을 구성하는 좌 영상과 우 영상을 기반으로 디스패러티(disparity)를 계산하는 변이 계산부;
    상기 좌 영상과 상기 우 영상 중 적어도 하나를 기반으로 초점도를 계산하는 초점도 계산부; 및
    상기 계산된 디스패러티 및 상기 계산된 초점도의 계수 차이를 기반으로 상기 양안식 3D 영상의 초점도를 적응적으로 보정하는 화질 조정부를 포함하되,
    상기 화질 조정부는,
    상기 계산된 디스패러티 및 상기 계산된 초점도의 계수 차이가 제2 임계값 보다 작은 경우, 노이즈 제거 및 역컨볼루션(deconvolution) 필터를 이용하여 해당 영역의 초점도를 보정하는 것을 특징으로 하는 영상 처리 모듈.
KR1020130023736A 2013-03-06 2013-03-06 3d 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치 KR102053943B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130023736A KR102053943B1 (ko) 2013-03-06 2013-03-06 3d 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130023736A KR102053943B1 (ko) 2013-03-06 2013-03-06 3d 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20140109605A KR20140109605A (ko) 2014-09-16
KR102053943B1 true KR102053943B1 (ko) 2019-12-11

Family

ID=51756078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130023736A KR102053943B1 (ko) 2013-03-06 2013-03-06 3d 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102053943B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317595A (ja) * 2005-05-11 2006-11-24 Canon Inc 光学装置およびその制御方法
KR101219859B1 (ko) * 2011-08-31 2013-01-09 성균관대학교산학협력단 3ｄ촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317595A (ja) * 2005-05-11 2006-11-24 Canon Inc 光学装置およびその制御方法
KR101219859B1 (ko) * 2011-08-31 2013-01-09 성균관대학교산학협력단 3ｄ촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법

Also Published As

Publication number Publication date
KR20140109605A (ko) 2014-09-16

Similar Documents

Publication Publication Date Title
US10911737B2 (en) Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) Primary and auxiliary image capture devices for image processing and related methods
US8908011B2 (en) Three-dimensional video creating device and three-dimensional video creating method
US8890934B2 (en) Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same
US8116557B2 (en) 3D image processing apparatus and method
US8019146B2 (en) Method for adjusting disparity in three-dimensional image and three-dimensional imaging device thereof
WO2012086120A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
WO2016164166A1 (en) Automated generation of panning shots
US10165249B2 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
US20130141550A1 (en) Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
JP2011188004A (ja) 立体映像撮像装置、立体映像処理装置および立体映像撮像方法
CN109191506B (zh) 深度图的处理方法、系统及计算机可读存储介质
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
JP2012249038A (ja) 画像信号処理装置、画像信号処理方法
KR101630444B1 (ko) 스테레오스코픽 디지털 영화에서의 최적화된 모션 재생을 위한 방법과 장치
US9838669B2 (en) Apparatus and method for depth-based image scaling of 3D visual content
US20110279651A1 (en) Method and Apparatus for Auto-Convergence Based on Auto-Focus Point for Stereoscopic Frame
WO2012176526A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US10554954B2 (en) Stereoscopic focus point adjustment
KR102053943B1 (ko) 3d 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
US20140292748A1 (en) System and method for providing stereoscopic image by adjusting depth value
KR20160031869A (ko) 단일 프로젝터를 이용한 입체 영상 프로젝팅 시스템
US9674500B2 (en) Stereoscopic depth adjustment
KR101206298B1 (ko) 단일 카메라를 이용한 입체영상 제작 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant