KR20150100405A - 자동 초점 조절 방법 - Google Patents

자동 초점 조절 방법 Download PDF

Info

Publication number
KR20150100405A
KR20150100405A KR1020140022181A KR20140022181A KR20150100405A KR 20150100405 A KR20150100405 A KR 20150100405A KR 1020140022181 A KR1020140022181 A KR 1020140022181A KR 20140022181 A KR20140022181 A KR 20140022181A KR 20150100405 A KR20150100405 A KR 20150100405A
Authority
KR
South Korea
Prior art keywords
dct
mask
focus adjustment
coefficients
value
Prior art date
Application number
KR1020140022181A
Other languages
English (en)
Other versions
KR102104414B1 (ko
Inventor
이경은
오재윤
박동석
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020140022181A priority Critical patent/KR102104414B1/ko
Publication of KR20150100405A publication Critical patent/KR20150100405A/ko
Application granted granted Critical
Publication of KR102104414B1 publication Critical patent/KR102104414B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시예는 자동 초점 조절 시스템 및 방법을 개시한다.
본 발명의 자동 초점 조절 방법은, 현재 영상을 복수의 블록들로 분할하는 단계; 각 블록의 이산 코사인 변환(DCT) 계수를 산출하는 단계; 상기 DCT 계수가 산출된 블록인 DCT 블록의 고주파 계수들을 이용하여 상기 현재 영상의 노이즈를 추정하는 단계; 상기 추정된 노이즈를 기초로 상기 DCT 블록의 저주파 계수들에 큰 값을 적용하는 DCT 계수 마스크를 생성하는 단계; 및 각 DCT 블록에 상기 DCT 계수 마스크를 적용하여 상기 현재 영상의 초점 조절값을 산출하는 단계;를 포함할 수 있다.

Description

자동 초점 조절 방법{Auto focussing method}
본 발명은 자동 초점 조절 시스템 및 방법에 관한 것이다.
자동 초점 기능은 초점이 맞지 않은 흐릿한 영상을 뚜렷한 영상으로 만들기 위해 렌즈의 위치를 앞/뒤로 조절하여 피사체의 영상이 영상 센서에 가장 선명하게 맺히도록 하는 기능이다.
종래의 카메라 자동초점 기술은 입력 Y 영상(휘도 성분)에 대해 고주파 성분이 많을수록 선명한 영상이 되는 것을 이용하여, 고주파 성분의 값을 출력하여 초점을 조정한다.
한국공개특허 KR 2005-0010173
본 발명은 저조도 상황이나 스폿이 있는 상황에서 효과적으로 자동 초점 조절이 가능한 시스템 및 방법을 제공하고자 한다.
본 발명의 실시예에 따른 자동 초점 조절 방법은, 현재 영상을 복수의 블록들로 분할하는 단계; 각 블록의 이산 코사인 변환(DCT) 계수를 산출하는 단계; 상기 DCT 계수가 산출된 블록인 DCT 블록의 고주파 계수들을 이용하여 상기 현재 영상의 노이즈를 추정하는 단계; 상기 추정된 노이즈를 기초로 상기 DCT 블록의 저주파 계수들에 큰 값을 적용하는 DCT 계수 마스크를 생성하는 단계; 및 각 DCT 블록에 상기 DCT 계수 마스크를 적용하여 상기 현재 영상의 초점 조절값을 산출하는 단계;를 포함할 수 있다.
상기 노이즈 추정 단계는, 각 DCT 블록에 고주파 마스크를 마스킹하여 고주파 계수들을 선택하는 단계; 상기 선택된 고주파 계수들의 절대값 평균을 계산하는 단계; 및 상기 현재 영상의 복수의 DCT 블록들에 대해 계산된 절대값 평균들의 평균을 상기 현재 영상의 노이즈로 추정하는 단계;를 포함할 수 있다.
상기 DCT 계수 마스크 생성 단계는, 상기 추정된 노이즈의 역수를 표준편차로 하고, 상기 DCT 블록의 사이즈보다 큰 사이즈를 갖는 2차원 가우시안 마스크를 생성하는 단계; 및 DCT 블록의 저주파 계수들이 큰 값을 갖도록, 상기 2차원 가우시안 마스크를 크로핑하여 DCT 계수 마스크를 생성하는 단계;를 포함할 수 있다.
상기 DCT 계수 마스크 생성 단계는, DCT 블록에서 저주파 계수들을 선택하는 DCT 계수 마스크를 생성하는 단계;를 포함할 수 있다.
초점 조절값 산출 단계는, 각 DCT 블록에 상기 DCT 계수 마스크를 마스킹하는 단계; 상기 마스킹된 DCT 계수들의 절대값 평균을 계산하는 단계; 상기 현재 영상의 복수의 DCT 블록들에 대해 계산된 마스킹된 DCT 계수들의 절대값 평균들의 평균을 상기 현재 영상의 초점 조절값으로 산출하는 단계; 및 상기 현재 영상의 초점 조절값과 이전 영상의 초점 조절값에 대해 IIR 필터링을 수행하는 단계;를 포함할 수 있다
상기 방법은, 상기 초점 조절값이 커지는 방향으로 렌즈 위치를 조절하는 단계;를 더 포함할 수 있다.
본 발명의 실시예에 따른 자동 초점 조절 방법은 DCT(Discrete Cosine Transform)를 이용하여 저조도 상황에서 노이즈로 인한 자동 초점을 저해하는 현상을 현저히 줄이고, 선명한 영상을 얻을 수 있다.
도 1은 본 발명의 실시예에 따른 자동 초점 조절 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 블록 단위 DCT를 수행하는 예를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 고주파 계수 선택 마스크의 예이다.
도 4 및 도 5는 본 발명의 실시예에 따른 2차원 가우시안 마스크를 이용한 DCT 계수 마스크 생성의 일 예를 나타낸 도면이다.
도 6 및 도 7은 본 발명의 다른 실시예에 따른 DCT 계수 마스크 생성의 일 예를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 자동 초점 조절 방법을 개략적으로 설명하는 흐름도이다.
도 9 내지 도 14는 다양한 환경에서 본 발명의 실시예에 따른 자동 초점 조절 방법을 적용한 예를 도시한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.
도 1은 본 발명의 실시예에 따른 자동 초점 조절 시스템을 개략적으로 도시한 블록도이다. 도 2는 본 발명의 실시예에 따른 블록 단위 DCT를 수행하는 예를 나타낸 도면이다. 도 3은 본 발명의 실시예에 따른 고주파 계수 선택 마스크의 예이다. 도 4 및 도 5는 본 발명의 실시예에 따른 2차원 가우시안 마스크를 이용한 DCT 계수 마스크 생성의 일 예를 나타낸 도면이다. 도 6 및 도 7은 본 발명의 다른 실시예에 따른 DCT 계수 마스크 생성의 일 예를 나타낸 도면이다.
도 1을 참조하면, 본 실시예에 따른 자동 초점 조절 시스템(100)은 렌즈(10), 영상센서(20), 자동 초점 조절부(30) 및 제어부(80)를 포함할 수 있다.
피사체에 반사된 빛이 렌즈(10)를 통과하면 한곳으로 모이게 되고, 영상 센서(20)는 그 빛을 전기적 신호로 바꾼다. 영상센서(20)는 RGB 바이어 패턴(byer pattern) 형태의 영상 신호를 출력할 수 있다.
자동 초점 조절부(30)는 2차원(2D) 블록 DCT부(40), 노이즈 추정부(50), DCT계수 마스크 생성부(60) 및 초점 조절 값 생성부(70)를 포함할 수 있다.
2D 블록 DCT부(40)는 한 프레임의 영상을 소정 크기(NxN)의 블록들로 분할한다. 그리고, 도 2에 도시된 바와 같이, 2D 블록 DCT부(40)는 입력 영상(In)의 분할된 각 블록에 대해 DCT를 수행하여 공간 영역(Spatial Domain)의 영상 신호를 주파수 영역(Frequency Domain)의 DCT 계수로 변환한다.
DCT는 영상의 휘도 신호를 저주파 성분으로부터 고주파 성분까지 분해하는 방식이다. 수직 주파수 성분은 아래로 내려올수록 고주파 성분이 강해지고, 수평 주파수 성분은 오른쪽으로 갈수록 고주파 성분이 강해져서, 좌측 상단에는 저주파 성분이 집중되고, 우측 하단에는 고주파 성분이 집중된다.
DCT가 수행된 각 블록(이하, 'DCT 블록'이라 함)의 DCT 계수들은 NxN 행렬 형태로 배열되고, 배열 위치에 따라 DC 계수, 수평 에지 영역, 수직 에지 영역, 대각선 에지 영역 및 전체 에지 영역으로 구별되며, 사용자가 가중치를 주어 특정 주파수 값을 강조하거나 무시할 수 있고, 여러 대역의 주파수 성분을 선택적으로 추출하여 다양한 종류의 초점 조정 값을 추출할 수 있는 특성이 있다. 본 발명의 실시예는 추출된 초점 조정 값을 이용하여 자동 초점 조절 속도를 향상시키고 선명한 영상을 얻을 수 있다.
첫 번째 DCT 계수는 입력 이미지의 평균값에 해당하는 DC 성분이고, 이후 계수들은 저주파수 성분부터 고주파수 성분에 해당하는 AC 성분이다. AC 성분의 DCT 계수들 중, 저주파수 성분에 상응하는 계수들은 좌측 상부에 집중되고, 중주파수 성분에 상응하는 계수들은 우측 상부와 좌측 하부, 고주파수 성분에 상응하는 계수들은 우측 하부 및 우측면과 하측면에 집중된다. 또한 입력 영상의 수직 에지에 상응하는 계수들은 주로 우측 상부에 집중되고, 수평 에지에 상응하는 계수들은 주로 좌측 하부에 집중되고, 전체 에지에 상응하는 계수들은 우측 하부에 집중되고, 대각선 에지에 상응하는 계수들은 그 외 영역에 집중된다.
노이즈 추정부(50)는 각 DCT 블록에서 고주파수 성분에 상응하는 계수(이하, '고주파 계수'라 함)를 적어도 하나 선택하고, 선택된 고주파 계수들의 절대값의 평균을 계산할 수 있다. 노이즈 추정부(50)는 고주파 계수를 선택하는 마스크를 생성하여 각 DCT 블록에 마스킹(곱)할 수 있다. 예를 들어, 고주파 계수 선택 마스크는, 도 3에 도시된 바와 같이, DCT 블록과 동일한 사이즈(NxN)이고, 선택하고자 하는 고주파 계수에 대응하는 영역은 '1'의 값을 갖고, 그 외에는 '0'의 값을 갖도록 설정될 수 있다. 선택되는 고주파 계수의 위치 및 개수는 촬영하고자 하는 장면(scene)의 노이즈 정도에 따라 가변할 수 있다. 식 1은 각 DCT 블록의 고주파 계수들의 절대값의 평균(B)을 계산하는 식이다. 여기서, C는 NxN 사이즈의 DCT 블록 계수, M1은 고주파 계수들을 선택하는 마스크, i와 j는 DCT 블록의 행열 위치 인덱스이다.
B(i,j) = Mean (Abs (C(N x N) * M1(N x N))) ... (1)
노이즈 추정부(50)는 현재 프레임(n)의 영상에서 각 DCT 블록의 B 값들을 평균하여 현재 프레임(n) 영상에 대한 노이즈를 추정할 수 있다. 식 2는 현재 프레임(n) 영상에 대한 노이즈(FB)를 추정하는 식이다.
FB(n) = Mean (B(i,j)) ... (2)
선택적으로, 노이즈 추정부(50)는 식 3과 같이, 추정된 노이즈(FB)에 상수 c를 곱하여 노이즈 값을 크게 설정할 수 있다.
FB' = FB * c ... (3)
DCT계수 마스크 생성부(60)는 각 DCT 블록에서 저주파수 성분에 상응하는 계수(이하, '저주파 계수'라 함)에 큰 값을 적용하는 DCT계수 마스크를 생성할 수 있다.
DCT계수 마스크 생성부(60)는 DCT 블록의 사이즈보다 큰 사이즈의 2차원 가우시안 마스크의 일부를 취하여, 저주파 계수가 큰 값을 갖도록 하는 DCT 계수 마스크를 생성할 수 있다. 식 4는 DCT 블록의 2배 사이즈인, 2Nx2N 사이즈의 2차원 가우시안 마스크(G)를 생성하는 식이고, 식 5는 2차원 가우시안 마스크(G)로부터 DCT 계수 마스크(M2)를 생성하는 식이다. 2차원 가우시안 마스크(Gaussian mask, G)의 평균(mean)은 0이고, 표준편차(var, σ)는 추정된 노이즈(또는 상수가 곱해진 노이즈)의 역수(1/FB 또는 1/FB')로 설정된다. 즉, 추정된 노이즈가 크면 표준편차는 작아지고, 추정된 노이즈가 작으면 표준편차는 커진다.
G(2N x 2N) = Gaussian Mask (mean = 0, var = 1/FB (or 1/FB')) ... (4)
도 4는 2차원 가우시안 마스크의 일 예를 나타낸 도면이다. DCT계수 마스크 생성부(60)는 2차원 가우시안 마스크(G)를 크로핑(cropping)하여 사이즈를 조절할 수 있다. 예를 들어, DCT계수 마스크 생성부(60)는 도 5에 도시된 바와 같이, 도 4의 가우시안 마스크의 4사분면만을 취하고 나머지는 크롭함으로써 NxN 사이즈의 DCT 계수 마스크(M2)를 생성할 수 있다. 도 5를 참조하면, DCT 블록의 저주파 계수에 큰 마스크 값이 적용되고, 고주파 계수에 작은 마스크 값이 적용된다. 이때, DCT 계수 마스크 생성부(60)는 DCT 블록의 DC 성분은 제외하도록, 즉 DCT 블록의 첫행 및 첫열의 DCT 계수의 마스크 값은 0으로 설정하도록 한다.
M2(N x N) = Crop (G(2N x 2N)) ... (5)
다른 예로서, DCT계수 마스크 생성부(60)는 임계값을 설정하여 그 값보다 큰 값을 갖는 계수의 마스크 값은 '1', 작은 값을 갖는 계수의 마스크 값은 '0'으로 하는 DCT 계수 마스크를 생성할 수도 있다. 예를 들어, 도 6 및 도 7에 도시된 바와 같이, DCT 계수 마스크는 DCT 블록과 동일한 사이즈(NxN)이고, 선택하고자 하는 저주파 계수에 대응하는 마스크 값은 '1'의 값을 갖고, 그 외에는 '0'의 값을 갖도록 설정될 수 있다. 이에 따라 일부 저주파 계수를 선택하는 DCT 계수 마스크가 생성될 수 있다. 도 6은 DCT 블록이 4x4 사이즈인 경우 DCT 계수 마스크의 다양한 예이고, 도 7은 DCT 블록이 8x8 사이즈인 경우 DCT 계수 마스크의 다양한 예이다.
초점 조절 값 생성부(70)는 각 DCT 블록의 DCT 계수에 대해 DCT 계수 마스크를 마스킹(곱)하고, 마스킹된 DCT 블록의 DCT 계수의 절대값의 평균을 계산할 수 있다. 그리고, 초점 조절 값 생성부(70)는 현재 프레임(n)의 영상에서 DCT 블록들의 절대값의 평균들을 평균하여 현재 프레임(n) 영상에 대한 초점 조절 값을 추정할 수 있다. 식 6은 DCT 계수 마스킹(CM)을 보여주고, 식 7은 마스킹된 DCT 블록의 DCT 계수의 절대값의 평균(BCM)을 계산하는 식이고, 식 8은 현재 프레임(n) 영상에 대한 초점 조절 값(FBCM)이다.
CM = C(N x N) * M2(N x N) ... (6)
BCM(i,j) = Mean (Abs (CM(N x N))) ... (7)
FBCM(n) = Mean (BCM(i,j)) ... (8)
초점 조절 값 생성부(70)는 현재 프레임(n) 영상의 초점 조절 값과 이전 프레임(n-1) 영상의 초점 조절 값에 대해 IIR(Infinite Impulse Response) 필터링을 수행할 수 있다. 식 9는 IIR 필터링된 초점 조절 값(IFBCM)을 나타낸다. 여기서, a는 0과 1 사이의 값을 갖는 상수이다. IIR 필터링함으로써 초점 조절 값이 국부적으로 최대값(local maximum)을 갖는 것을 방지할 수 있다.
IFBCM(n) = a* FBCM(n) + (1-a)* FBCM(n-1) ... (9)
제어부(80)는 필터링된 초점 조절 값을 참조하여, 그 값이 커지는 방향, 즉 영상이 선명해지는 방향으로 구동부(11)를 제어하여, 렌즈(10)의 위치를 조절하도록 한다.
자동 초점 조절부(30) 및 제어부(80)는 렌즈(10) 및 영상센서(20)와 함께 카메라에 일체로 집적될 수도 있고, 별도의 컴퓨팅 장치에 집적될 수 있다.
도 8은 본 발명의 실시예에 따른 자동 초점 조절 방법을 개략적으로 설명하는 흐름도이다.
도 8을 참조하면, 자동 초점 조절 시스템은 입력 영상을 복수의 블록들로 분할할 수 있다(S81).
자동 초점 조절 시스템은 분할된 각 블록에 대해 DCT 계수를 산출할 수 있다(S82).
자동 초점 조절 시스템은 DCT 블록의 DCT 계수들 중 고주파 계수들을 이용하여 입력 영상의 노이즈를 추정할 수 있다(S83).
구체적으로, 자동 초점 조절 시스템은 고주파 계수에 대응하는 영역은 '1'의 값을 갖고, 그 외에는 '0'의 값을 갖는 고주파 마스크를 이용하여 각 DCT 블록의 DCT 계수들 중 고주파 계수들을 선택할 수 있다(S831). 자동 초점 조절 시스템은 각 DCT 블록마다 선택된 고주파 계수들의 절대값 평균을 계산할 수 있다(S833). 자동 초점 조절 시스템은 입력 영상의 전체 DCT 블록들 각각에 대해 계산된 고주파 계수들의 절대값 평균들의 평균을 입력 영상의 노이즈로 추정할 수 있다(S835).
자동 초점 조절 시스템은 각 DCT 블록의 DCT 계수들 중 저주파 계수들에 큰 값을 적용하는 DCT 계수 마스크를 생성할 수 있다(S84). 이때, 자동 초점 조절 시스템은 DCT 계수들 중 DC 성분의 계수는 배제하도록 DCT 계수 마스크를 생성할 수 있다.
일 예로서, 자동 초점 조절 시스템은. 추정된 노이즈의 역수를 표준편차로 하고, DCT 블록의 사이즈보다 큰 사이즈, 예를 들어 2배 사이즈를 갖는 2차원 가우시안 마스크를 생성하고, 각 DCT 블록의 DCT 계수들 중 저주파 계수들에 대응하는 영역이 큰 값을 갖도록 2차원 가우시안 마스크를 크로핑하여 DCT 계수 마스크를 생성할 수 있다.
다른 예로서, 자동 초점 조절 시스템은, 각 DCT 블록의 DCT 계수들 중 기 설정된 임계값보다 큰 계수에 대응하는 영역은 '1'의 값을 갖고, 임계값보다 작은 계수에 대응하는 영역은 '0'의 값을 갖는 DCT 계수 마스크를 생성할 수 있다. 이때, 임계값은 저주파 계수에 대응하는 영역이 '1'의 값을 갖고, 그 외 DC 성분 계수와 고주파 계수에 대응하는 영역이 '0'의 값을 갖도록 설정될 수 있다.
자동 초점 조절 시스템은 각 DCT 블록의 DCT 계수들에 DCT 계수 마스크를 적용하여 입력 영상의 초점 조절값을 산출할 수 있다(S85).
구체적으로, 자동 초점 조절 시스템은 각 DCT 블록의 DCT 계수들에 DCT 계수 마스크를 마스킹할 수 있다(S851). 자동 초점 조절 시스템은 각 DCT 블록마다 마스킹된 DCT 계수들의 절대값 평균을 계산할 수 있다(S853). 그리고, 자동 초점 조절 시스템은 입력 영상의 복수의 DCT 블록들 각각에 대해 계산된 마스킹된 DCT 계수들의 절대값 평균들의 평균을 입력 영상의 초점 조절값으로 산출할 수 있다(S855). 그리고, 자동 초점 조절 시스템은 현재 영상의 초점 조절값과 이전 영상의 초점 조절값에 대해 IIR 필터링을 수행할 수 있다(S857). IIR 필터링에 의해 local maximum 값을 Smoothing 처리할 수 있다.
자동 초점 조절 시스템은 초점 조절값이 커지는 방향으로 렌즈 위치를 조절함으로써 자동 초점 조절할 수 있다(S86).
도 9 내지 도 14는 다양한 환경에서 본 발명의 실시예에 따른 자동 초점 조절 방법을 적용한 예를 도시한다.
도 9 내지 도 14에서 좌측의 영상A는 초점이 맞는 영상이고, 영상B는 초점이 맞지 않거나 스폿(spot)이 있는 환경에서 입력된 영상이다. 도 9 내지 도 14에서 우측 그래프는 초점 조절값에 따라 조절되는 렌즈 위치이다. 우측 그래프에서 그래프(a)는 각 DCT 블록에 대해 산출된 DCT 계수들 중 DC 성분을 제외한 AC 성분의 계수들의 평균을 취하여 초점 조절값을 산출하여 초점 조절을 수행한 비교예이다. 그래프(b)는 본 발명의 실시예에 따라 각 DCT 블록에 대해 산출된 DCT 계수들 중 DC 성분과 고주파 계수를 제외한 저주파 계수들의 평균을 이용하여 초점 조절값을 산출하여 초점 조절을 수행한 예이다. 그래프(c)는 본 발명의 실시예에 따라 산출된 초점 조절값을 IIR 필터링한 후 초점 조절을 수행한 예이다. 본 발명의 실시예가 적용된 그래프(b)와 그래프(c)에서 DCT 계수는 8x8 사이즈의 블록에 대해 산출되고, 가우시안 마스크는 AWGN(Additive White Gaussian Noise) 형태이고, 평균은 0, 표준편차는 0.05로 설정되었다. IIR 필터링의 가중치인 상수 a 값은 0.2를 취하였다.
자동 초점 조절 시스템은 초점 조절값이 커지는 방향으로 렌즈를 움직여 초점을 조절한다. 초점 조절값이 피크일 때 영상이 영상A이다.
도 9는 노이즈와 스폿이 없는 경우 입력된 영상B에 대해 자동 초점 조절을 수행한 예이다. 그래프(a), 그래프(b), 그래프(c)는 모두 초점이 맞는 경우와 초점이 맞지 않는 경우가 구별되어 초점 조절이 가능함을 알 수 있다.
도 10 및 도 11은 노이즈는 없으나 스폿이 있는 경우 입력된 영상B에 대해 자동 초점 조절을 수행한 예이다. 도 10의 입력된 영상B는 초점은 맞았으나 스폿이 있는 영상이고, 도 11의 입력된 영상B는 초점이 맞지 않은 상태로 입력된 영상이다. 그래프(a), 그래프(b), 그래프(c)는 모두 초점이 맞는 경우와 초점이 맞지 않는 경우가 구별되어 초점 조절이 가능함을 알 수 있다.
도 12는 노이즈는 있고 스폿이 없는 경우 입력된 영상B에 대해 자동 초점 조절을 수행한 예이다. 그래프(a)는 초점이 맞는 경우와 초점이 맞지 않는 경우가 구별되지 않아 초점 조절이 어려운 반면, 그래프(b)와 그래프(c)는 모두 초점이 맞는 경우와 초점이 맞지 않는 경우가 구별되어 초점 조절이 가능함을 알 수 있다.
도 13 및 도 14는 노이즈와 스폿이 있는 경우 입력된 영상B에 대해 자동 초점 조절을 수행한 예이다. 도 13의 입력된 영상B는 초점이 맞는 상태로 입력된 영상이고, 도 14의 입력된 영상B는 초점이 맞지 않은 상태로 입력된 영상이다. 그래프(a)는 초점이 맞는 경우와 초점이 맞지 않는 경우가 구별되지 않아 초점 조절이 어려운 반면, 그래프(b)와 그래프(c)는 모두 초점이 맞는 경우와 초점이 맞지 않는 경우가 구별되어 초점 조절이 가능함을 알 수 있다.
즉, 본 발명의 실시예에 따른 자동 초점 조절 방법은 저조도 환경, 노이즈 및/또는 스폿(spot)이 있는 영상에서의 자동 초점 조절을 정확하고 효과적으로 수행할 수 있다.
본 발명에 따른 자동 초점 조절 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명의 일 측면들은 첨부된 도면에 도시된 실시예들을 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (6)

  1. 현재 영상을 복수의 블록들로 분할하는 단계;
    각 블록의 이산 코사인 변환(DCT) 계수를 산출하는 단계;
    상기 DCT 계수가 산출된 블록인 DCT 블록의 고주파 계수들을 이용하여 상기 현재 영상의 노이즈를 추정하는 단계;
    상기 추정된 노이즈를 기초로 상기 DCT 블록의 저주파 계수들에 큰 값을 적용하는 DCT 계수 마스크를 생성하는 단계; 및
    각 DCT 블록에 상기 DCT 계수 마스크를 적용하여 상기 현재 영상의 초점 조절값을 산출하는 단계;를 포함하는, 자동 초점 조절 방법.
  2. 제1항에 있어서, 상기 노이즈 추정 단계는,
    각 DCT 블록에 고주파 마스크를 마스킹하여 고주파 계수들을 선택하는 단계;
    상기 선택된 고주파 계수들의 절대값 평균을 계산하는 단계; 및
    상기 현재 영상의 복수의 DCT 블록들에 대해 계산된 절대값 평균들의 평균을 상기 현재 영상의 노이즈로 추정하는 단계;를 포함하는, 자동 초점 조절 방법.
  3. 제1항에 있어서, 상기 DCT 계수 마스크 생성 단계는,
    상기 추정된 노이즈의 역수를 표준편차로 하고, 상기 DCT 블록의 사이즈보다 큰 사이즈를 갖는 2차원 가우시안 마스크를 생성하는 단계; 및
    DCT 블록의 저주파 계수들이 큰 값을 갖도록, 상기 2차원 가우시안 마스크를 크로핑하여 DCT 계수 마스크를 생성하는 단계;를 포함하는, 자동 초점 조절 방법.
  4. 제1항에 있어서, 상기 DCT 계수 마스크 생성 단계는,
    DCT 블록에서 저주파 계수들을 선택하는 DCT 계수 마스크를 생성하는 단계;를 포함하는, 자동 초점 조절 방법.
  5. 제1항에 있어서, 초점 조절값 산출 단계는,
    각 DCT 블록에 상기 DCT 계수 마스크를 마스킹하는 단계;
    상기 마스킹된 DCT 계수들의 절대값 평균을 계산하는 단계;
    상기 현재 영상의 복수의 DCT 블록들에 대해 계산된 마스킹된 DCT 계수들의 절대값 평균들의 평균을 상기 현재 영상의 초점 조절값으로 산출하는 단계; 및
    상기 현재 영상의 초점 조절값과 이전 영상의 초점 조절값에 대해 IIR 필터링을 수행하는 단계;를 포함하는, 자동 초점 조절 방법.
  6. 제1항에 있어서,
    상기 초점 조절값이 커지는 방향으로 렌즈 위치를 조절하는 단계;를 더 포함하는, 자동 초점 조절 방법.
KR1020140022181A 2014-02-25 2014-02-25 자동 초점 조절 방법 KR102104414B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140022181A KR102104414B1 (ko) 2014-02-25 2014-02-25 자동 초점 조절 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140022181A KR102104414B1 (ko) 2014-02-25 2014-02-25 자동 초점 조절 방법

Publications (2)

Publication Number Publication Date
KR20150100405A true KR20150100405A (ko) 2015-09-02
KR102104414B1 KR102104414B1 (ko) 2020-04-24

Family

ID=54242127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140022181A KR102104414B1 (ko) 2014-02-25 2014-02-25 자동 초점 조절 방법

Country Status (1)

Country Link
KR (1) KR102104414B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052551A (ko) * 2017-11-08 2019-05-16 한화테크윈 주식회사 영상잡음제거장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050010173A (ko) 2003-07-18 2005-01-27 김현우 신호장치가 있는 콩나물 재배기 및 그 신호방법
JP2008072233A (ja) * 2006-09-12 2008-03-27 Olympus Corp 画像処理システム、画像処理プログラム
KR101204433B1 (ko) * 2010-12-28 2012-11-26 중앙대학교 산학협력단 잡음에 강인한 초점값을 이용한 자동초점 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050010173A (ko) 2003-07-18 2005-01-27 김현우 신호장치가 있는 콩나물 재배기 및 그 신호방법
JP2008072233A (ja) * 2006-09-12 2008-03-27 Olympus Corp 画像処理システム、画像処理プログラム
KR101204433B1 (ko) * 2010-12-28 2012-11-26 중앙대학교 산학협력단 잡음에 강인한 초점값을 이용한 자동초점 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052551A (ko) * 2017-11-08 2019-05-16 한화테크윈 주식회사 영상잡음제거장치 및 방법

Also Published As

Publication number Publication date
KR102104414B1 (ko) 2020-04-24

Similar Documents

Publication Publication Date Title
EP2704419B1 (en) System and method for utilizing enhanced scene detection in a depth estimation procedure
JP2007199633A (ja) 合焦検出装置
US20130215107A1 (en) Image processing apparatus, image processing method, and program
KR102049080B1 (ko) 영상 처리 장치 및 방법
KR20090054301A (ko) 디지털 자동 초점 영상 생성 장치 및 방법
TWI436142B (zh) 影像感測器中之自動對焦方法及其裝置
KR102118284B1 (ko) 이미지의 프라이버시 영역에서 이미지 데이터에 적용될 블러링의 정도에 대한 방법, 장치 및 시스템
KR101690645B1 (ko) 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치
WO2013148089A2 (en) System and method for performing depth estimation by utilizing an adaptive kernel
CA2796543C (en) System and method for performing depth estimation utilizing defocused pillbox images
US8736707B2 (en) System and method for utilizing scene detection in a depth estimation procedure
US9992403B2 (en) Method and system for autofocus, corresponding device and computer program product
KR102025361B1 (ko) 자동 초점 조절 시스템 및 방법
CN110062150B (zh) 一种自动对焦方法及装置
KR102104414B1 (ko) 자동 초점 조절 방법
JP2008021163A (ja) 画像処理装置
KR101109695B1 (ko) 고속 오토 포커스 제어 장치 및 그 방법
JPH05300421A (ja) 自動焦点調節装置
WO2015158570A1 (en) System, method for computing depth from video
KR102095558B1 (ko) 자동 초점 조절 방법
KR102422125B1 (ko) 자동 초점 조절 방법
JP4762880B2 (ja) 画像処理システム
KR20140119999A (ko) 깊이값 조정을 통한 입체영상 제공 시스템 및 방법
Rahman et al. An auto-focus sharpness function for stereo image pairs
JP6396156B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant