KR20100030020A - 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어방법과 이를 이용한 비디오 카메라 시스템 - Google Patents

인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어방법과 이를 이용한 비디오 카메라 시스템 Download PDF

Info

Publication number
KR20100030020A
KR20100030020A KR1020080088771A KR20080088771A KR20100030020A KR 20100030020 A KR20100030020 A KR 20100030020A KR 1020080088771 A KR1020080088771 A KR 1020080088771A KR 20080088771 A KR20080088771 A KR 20080088771A KR 20100030020 A KR20100030020 A KR 20100030020A
Authority
KR
South Korea
Prior art keywords
focus
value
algorithm
weight
dom
Prior art date
Application number
KR1020080088771A
Other languages
English (en)
Other versions
KR100952955B1 (ko
Inventor
이상훈
이광현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020080088771A priority Critical patent/KR100952955B1/ko
Publication of KR20100030020A publication Critical patent/KR20100030020A/ko
Application granted granted Critical
Publication of KR100952955B1 publication Critical patent/KR100952955B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법과 이를 이용한 비디오 카메라 시스템에 관한 것이다. 보다 상세하게는 움직이는 물체에 대한 인간의 시각적 특성에 기반한 가중치를 산출하고 이러한 가중치를 최적의 노출값과 초점값을 산출하는 데 반영함으로써, 움직이는 물체에 맞는 자동 노출·초점 조절을 통해 비디오 카메라의 작동이 보다 인간의 시각적 특성에 부합될 수 있도록 하며, 초점 제어에 있어서 연산량이 적은 DoM 알고리즘을 이용하여 대략적인 초점을 찾은 뒤, Tenengrad 알고리즘을 이용하여 정확한 초점을 찾음으로써 효율적이면서도 정확하게 초점을 제어할 수 있는 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법과 이를 이용한 비디오 카메라 시스템에 관한 것이다.
이를 위해 본 발명은 영상 내의 움직이는 물체의 속도와 너비를 통해 각 화소의 가중치를 계산하는 물체 인식부; 상기 가중치를 각 화소의 휘도값에 반영하여 노출값을 구하는 노출 제어부; 및 상기 가중치를 각 화소의 휘도값에 반영하여 초점값을 구하되, 상기 초점값이 커지는 방향으로 일정 간격씩 렌즈를 이동하다가 상기 초점값이 감소하면 상기 방향과 반대 방향으로 상기 간격보다 작은 간격으로 상기 렌즈를 움직여 상기 초점값의 최대값을 찾는 초점 제어부를 포함하는 것을 특징으로 하는 비디오 카메라 시스템을 제공한다.
비디오 카메라, 노출값, 초점값, 가중치, 움직임 벡터

Description

인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법과 이를 이용한 비디오 카메라 시스템{Method for controlling auto exposure and focus based on the human visual system and Video camera system using the same}
본 발명은 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법과 이를 이용한 비디오 카메라 시스템에 관한 것이다. 보다 상세하게는 움직이는 물체에 대한 인간의 시각적 특성에 기반한 가중치를 산출하고 이러한 가중치를 최적의 노출값과 초점값을 산출하는 데 반영함으로써, 움직이는 물체에 맞는 자동 노출·초점 조절을 통해 비디오 카메라의 작동이 보다 인간의 시각적 특성에 부합될 수 있도록 하며, 초점 제어에 있어서 연산량이 적은 DoM 알고리즘을 이용하여 대략적인 초점을 찾은 뒤, Tenengrad 알고리즘을 이용하여 정확한 초점을 찾음으로써 효율적이면서도 정확하게 초점을 제어할 수 있는 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법과 이를 이용한 비디오 카메라 시스템에 관한 것이다.
최근 디지털 카메라, 디지털 캠코더의 사용이 보편화되고 있으며, 이러한 두 가지 기능을 융합한 제품이 출시되기도 하였다. 정지영상 혹은 동영상을 촬영하는 수단은 휴대용 이동통신 단말기에도 필수 요소로 장착되고 있으며, 자신과 주변의 일상을 촬영하여 미니홈피나 블로그에 업로드하는 것이 현대인들에게는 매우 자연스러운 현상이 되고 있다.
도 1은 기존 방법에 의해 노출값 측정시 가중치를 부여하는 방법을 설명하기 위한 개념도이다.
기존의 자동 노출 알고리즘은 노출값이 최적의 값이 되도록 카메라의 조리개를 움직이되, 대부분 영상 내의 물체의 위치에 따라 기계적으로 가중치를 부여하는 방법을 사용한다. 인간의 시각은 영상 내에서 하부와 중앙에 위치한 물체에 대하여 보다 시선이 집중되는 것이 일반적이므로, 상기 방법은 이러한 특성을 이용한 것이다.
예컨대, 도 1에서 Region 1과 Region 4에 위치하는 물체에 대하여 가중치를 부여함으로써 노출값을 제어하는 것이다. 그러나, 이러한 방법은 영상내에 움직이는 물체가 있을 경우 적합치 않으며, 관심대상인 물체가 복수개일 경우에도 정확성에 문제가 발생할 수 있다.
한편, 카메라는 영상의 정초점을 찾기 위해 SML(Sum-Modified Laplacian) 알고리즘, SMD(Sum-Modulus Difference) 알고리즘 등을 사용한다. 이들 알고리즘을 이용한 디지털 카메라는 공통적으로 초점 거리 변화에 따른 영상 신호를 분석하여 정초점일 때의 렌즈 위치를 찾는다.
그러나, 이러한 알고리즘에 의하면 영상 내에 둘 이상의 물체가 서로 다른 초점 거리에 존재할 때 문제가 발생하게 된다. 이러한 기존의 알고리즘은 인간의 눈이 둘 이상의 물체 중 어느 것에 주안점을 두고 초점을 맞추는지에 대해 고려하는 작업이 없기 때문이다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 움직이는 물체에 맞는 자동 노출·초점 조절을 통해 비디오 카메라의 작동이 보다 인간의 시각적 특성에 부합될 수 있도록 하며, 초점 제어에 있어서 효율적이면서도 정확하게 초점을 제어할 수 있는 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법과 이를 이용한 비디오 카메라 시스템을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위해 안출된 본 발명에 따른 비디오 카메라 시스템은 영상 내의 움직이는 물체의 속도와 너비를 통해 각 화소의 가중치를 계산하는 물체 인식부; 상기 가중치를 각 화소의 휘도값에 반영하여 노출값을 구하는 노출 제어부; 및 상기 가중치를 각 화소의 휘도값에 반영하여 초점값을 구하되, 상기 초점값이 커지는 방향으로 일정 간격씩 렌즈를 이동하다가 상기 초점값이 감소하면 상기 방향과 반대 방향으로 상기 간격보다 작은 간격으로 상기 렌즈를 움직여 상기 초점값의 최대값을 찾는 초점 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 물체 인식부는 상기 물체의 속도와 너비를 영상 코덱의 움직임 벡터를 통해 계산할 수 있다.
또한, 상기 물체 인식부는 하기 수학식에 의해 상기 가중치를 계산할 수 있다.
Figure 112008063915938-PAT00001
또한, 상기 노출 제어부는 하기 수학식에 의해 상기 노출값을 구할 수 있다.
Figure 112008063915938-PAT00002
또한, 상기 초점 제어부는 초점거리에 대한 초점값의 기울기 부호가 양에서 음으로 변하는 구간을 찾은 후, 상기 구간내에서 최종 정초점을 찾을 수 있다.
또한, 상기 초점 제어부는 DoM(Difference of Median) 알고리즘과 Tenengrad 알고리즘을 함께 사용하여 초점값을 구할 수 있다.
또한, 상기 초점 제어부는 상기 DoM 알고리즘을 이용하여 정초점 구간을 탐색한 후, 상기 Tenengrad 알고리즘을 이용하여 상기 정초점을 구할 수 있다.
또한, 상기 DoM 알고리즘에 의한 초점값은 하기 수학식에 의해 계산될 수 있다.
Figure 112008063915938-PAT00003
또한, 상기 Tenengrad 알고리즘에 의한 초점값은 하기 수학식에 의해 계산될 수 있다.
Figure 112008063915938-PAT00004
본 발명에 따른 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법은 (a) 영상 내의 움직이는 물체의 속도와 너비를 통해 각 화소의 가중치를 계산하는 물체 인식 단계; (b) 상기 가중치를 각 화소의 휘도값에 반영하여 노출값을 구하는 노출 제어 단계; 및 (c) 상기 가중치를 각 화소의 휘도값에 반영하여 초점값을 구하되, 상기 초점값이 커지는 방향으로 일정 간격씩 렌즈를 이동하다가 상기 초점값이 감소하면 상기 방향과 반대 방향으로 상기 간격보다 작은 간격으로 상기 렌즈를 움직여 상기 초점값의 최대값을 찾는 초점 제어 단계를 포함하는 것을 특징으로 한다.
또한, 상기 (a)단계는 상기 물체의 속도와 너비를 영상 코덱의 움직임 벡터를 통해 계산할 수 있다.
또한, 상기 (a)단계는 하기 수학식에 의해 상기 가중치를 계산할 수 있다.
Figure 112008063915938-PAT00005
또한, 상기 (b)단계는 하기 수학식에 의해 상기 노출값을 구할 수 있다.
Figure 112008063915938-PAT00006
또한, 상기 (c)단계는 초점거리에 대한 초점값의 기울기 부호가 양에서 음으로 변하는 구간을 찾은 후, 상기 구간내에서 최종 정초점을 찾을 수 있다.
또한, 상기 (c)단계는 DoM(Difference of Median) 알고리즘과 Tenengrad 알고리즘을 함께 사용하여 초점값을 구할 수 있다.
또한, 상기 (c)단계는 상기 DoM 알고리즘을 이용하여 정초점 구간을 탐색한 후, 상기 Tenengrad 알고리즘을 이용하여 상기 정초점을 구할 수 있다.
또한, 상기 DoM 알고리즘에 의한 초점값은 하기 수학식에 의해 계산될 수 있다.
Figure 112008063915938-PAT00007
또한, 상기 Tenengrad 알고리즘에 의한 초점값은 하기 수학식에 의해 계산될 수 있다.
Figure 112008063915938-PAT00008
본 발명에 의하면 움직이는 물체에 대한 인간의 시각적 특성에 기반한 가중치를 산출하고 이러한 가중치를 최적의 노출값과 초점값을 산출하는 데 반영함으로써, 움직이는 물체에 맞는 자동 노출·초점 조절을 통해 비디오 카메라의 작동이 보다 인간의 시각적 특성에 부합될 수 있도록 한 효과가 있다.
또한, 본 발명에 의하면 초점 제어에 있어서 연산량이 적은 DoM 알고리즘을 이용하여 대략적인 초점을 찾은 뒤, Tenengrad 알고리즘을 이용하여 정확한 초점을 찾음으로써 효율적이면서도 정확하게 초점을 제어할 수 있는 효과가 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당 업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 2는 본 발명의 바람직한 실시예에 따른 비디오 카메라 시스템의 블록도이다.
본 발명의 바람직한 실시예에 따른 비디오 카메라 시스템은, 도 2를 참조하면, 물체 인식부(10), 노출 제어부(20), 초점 제어부(30)를 포함하여 이루어진다.
물체 인식부(10)는 영상 내의 움직이는 물체의 속도(v)와 너비(m)를 통해 각 화소의 가중치를 계산하는 부분이다. 물체 인식부(10)는 영상 내의 움직임을 가진 물체를 인식한 뒤, 그 움직임에 대한 정보를 노출 제어부(20)와 초점 제어부(30)에 제공함으로써 자동으로 노출 및 초점 조절이 이루어질 수 있도록 한다.
인간의 눈은 배경이 정지된 영상에서 물체가 움직일 때, 그 물체의 움직임 속도에 비례하여 관심도가 증가하게 된다. 또한, 그 물체의 속도가 점점 증가하여 특정 임계 속도 이상으로 움직이게 되면 물체의 외곽선을 정확히 인식할 수 없게 되어 관심도가 급격히 감소하게 된다.
물체 인식부(10)는 이러한 인간의 눈의 시각적 특성에 기반하여 움직이는 물체를 인식하는 방법의 일례로, 움직임 벡터를 이용한다. 움직임 벡터는 영상 코덱에서 영상 압축에 이용되는 것으로, 동영상을 구성하는 여러 프레임에서 특정 시점의 프레임과 그 이전 시점의 프레임 사이의 변위 벡터를 의미한다. 이러한 움직임 벡터는 물체를 기준으로 하여 산출될 수도 있고, 특정 크기의 블록 단위 또는 각 화소 단위로 산출될 수도 있다.
움직임 벡터를 이용하면 움직이는 물체의 속도(v)와 너비(m)를 알 수 있으 며, 아래 수학식에 따라 가중치 값을 계산할 수 있다.
Figure 112008063915938-PAT00009
여기서, ωxy는 (x, y)화소에서의 가중치, v는 속도(deg/sec), m은 물체의 너비(deg)를 의미한다.
물체 인식부(10)에서 계산된 가중치(w)는 노출 제어부(20)에서의 노출값 계산과 초점 제어부(30)에서의 초점값 계산에 반영되어, 자동 노출 및 초점 조절이 인간의 시각적 특성을 바탕으로 이루어질 수 있도록 한다.
노출 제어부(20)는 물체 인식부(10)에서 계산된 가중치를 각 화소의 휘도값에 반영하여 최적의 노출값을 구하는 부분이다.
노출값(Exposure Value)은 영상의 전 영역에 걸쳐서 휘도 성분의 합을 구한 뒤, 전체 화소의 수로 나눈 값으로 휘도 성분의 평균값을 의미한다.
본 발명에서 노출값은 각 화소의 휘도값에 가중치를 반영하여 합을 구한 뒤 각 화소의 가중치의 합으로 나누어 산출된다. 예컨대, 노출값(EV)는 아래 수학식에 의해 계산될 수 있다.
Figure 112008063915938-PAT00010
여기서, P(x, y)는 (x, y)화소에서의 휘도값을 의미한다.
도 3은 본 발명의 바람직한 실시예에 따른 비디오 카메라 시스템의 노출 곡선이고, 도 4는 도 3에서의 몇 가지 노출 상태에 대한 정지사진이다. 도 3에서 가로축은 노출 직경, 세로축은 노출값을 나타낸다. 또한, 도 3과 도 4에서 (a), (b), (c)는 시간상으로 (a)→(b)→(c) 순서이다.
노출값을 구하기 위해서는 먼저 영상 내의 움직이는 물체를 찾고 그 물체의 움직임 정도에 따라 가중치를 두는 작업을 수행한다. 가중치가 구해지면 수학식 2와 같이, 움직이는 물체에 따라 가중치를 적용하고 그 범위에 따라 노출값을 구한다. 이러한 과정을 통해 현재 카메라의 노출 상태를 파악하고, 최적값보다 어두울 경우에는 조리개를 열고, 밝을 경우에는 조리개를 닫는 작업을 수행한다.
도 4에서 움직이는 물체는 화면상에서 가장 전방에 위치하는 축구공이며, 물체 인식부(10)는 축구공의 움직임 벡터로부터 각 화소의 가중치를 산출하게 된다. 각 화소의 가중치는 휘도값에 반영되어 결과적으로 노출값에 반영된다. 도 4에서 (a)의 경우 최적 노출값보다 작아서 지나치게 어두우므로 조리개를 여는 작업을 진행한다. 반면, (b)의 경우 최적 노출값보다 커서 지나치게 밝으므로 조리개를 닫는 작업을 진행한다. 그 결과, 최적의 노출값인 (c)에 도달하게 된다.
도 5는 도 2 중 초점 제어부의 세부 구성도이다. 도 6은 본 발명의 바람직한 실시예에 따른 비디오 카메라 시스템의 초점 곡선이고, 도 7는 도 6에서의 몇 가지 초점 상태에 대한 정지사진이다. 도 6에서 가로축은 초점 거리, 세로축은 초점값을 나타낸다. 또한, 도 6과 도 7에서 (a)~(e)는 시간상으로 (a)→(b)→(c)→(d)→(e) 순서이다.
정초점이 되도록 렌즈의 위치를 찾기 위해서는 촬영된 영상의 휘도 신호로부터 초점값이라고 하는 초점 평가치를 얻어 그 값이 최대가 되는 방향으로 렌즈를 움직이게 된다.
초점 제어부(30)는 물체 인식부(10)에서 계산된 가중치를 각 화소의 휘도값에 반영하여 최대의 초점값을 구하는 부분이다. 이를 위해 초점 제어부(30)는 움직이는 물체에 대한 초점값이 커지는 방향으로 일정 간격씩 렌즈를 이동하다가 초점값이 감소하면 이전 위치 부근에 최대 초점값을 가지는 곳이 있다고 판단하고, 그와 반대 방향으로 렌즈를 움직여 초점값의 최대값을 찾는다. 이때, 초점 제어부(30)는 원래 방향으로 렌즈를 움직일 때보다 반대 방향으로 렌즈를 움직일 때 더 작은 간격으로 렌즈를 움직임으로써 보다 정밀하게 초점값을 찾을 수 있도록 한다.
초점 제어부(30)는 두 단계로 초점값을 구하는 것이 바람직하다. 먼저, 초점거리에 대한 초점값의 기울기 부호가 양에서 음으로 변하는 구간을 찾는다. 상기 구간보다 초점거리가 긴 범위(도 6에서 좌측 방향)에서는 초점거리가 감소함에 따라 초점값이 증가하고, 상기 구간보다 초점거리가 짧은 범위(도 6에서 우측 방향) 에서는 초점거리가 감소함에 따라 초점값이 감소하게 된다. 구간을 찾은 다음에는 보다 예리한 알고리즘을 이용하여 정확한 초점값을 산출한다.
초점 제어부(30)는 DoM(Difference of Median) 알고리즘(32)과 Tenengrad 알고리즘(34)을 함께 사용하여 초점값을 구한다. 이때, 초점 제어부(30)는 DoM 알고리즘(32)을 이용하여 정초점 구간을 탐색한 후, Tenengrad 알고리즘(34)을 이용하여 정초점을 구하는 방식을 사용한다.
DoM 알고리즘(32)은 Tenengrad 알고리즘(34)에 비하여 정확도는 다소 떨어지나, 연산량이 적고 연산시간이 짧아 정초점 구간을 러프(rough)하게 잡아내기에 적합하다. 또한, DoM 알고리즘(32)은 노이즈에 대한 민감도, 로컬 맥시멈(local maximum, 국지적인 최대값)의 발생 빈도 등의 면에서 Tenengrad 알고리즘(34)보다 우수한 특성을 보인다. 즉, DoM 알고리즘(32)은 미디언 필터(median filter)의 특성에 의해서 잡음에 덜 민감하므로 임펄스(impulse)성 노이즈를 제거하는데 탁월한 효과가 있을 뿐만 아니라, 초점값으로 이용되는 고주파 성분은 그대로 유지함으로써 로컬 맥시멈의 발생을 줄일 수 있다. 그리고, 초점값을 구하는 계산과정에서 기존의 알고리즘에서 사용되던 산술 연산들을 비교 연산으로 처리하고, 수평라인으로 입력되는 일차원 데이터만을 처리함으로써 처리 시간을 크게 줄일 수 있다. 더욱이, DoM 알고리즘(32)은 계산과정이 간단하므로 하드웨어의 구현이 용이하다는 장점이 있다.
그에 반해 Tenengrad 알고리즘(34)은 연산량이 많으나, 보다 정확도가 우수하여 초점 곡선의 예리한 정도가 DoM 알고리즘(32)에 비하여 우수하다.
따라서, 본 발명에 따른 비디오 카메라 시스템에서는 적은 연산량으로 초점값 계산이 가능한 DoM 알고리즘(32)으로 대략적인 정초점의 위치를 탐색한 후, Tenengrad 알고리즘(34)을 이용하여 정확한 렌즈의 위치를 찾는다.
① DoM 알고리즘에 의한 초점값(FVDoM) 계산
DoM 알고리즘은 인접한 화소들 간의 미디언 값을 구한 뒤, 일정 간격 사이의 미디언 값의 차를 누적하여 초점값으로 사용한다.
먼저, 아래 수학식과 같이 인접 화소들에 대하여 2m+1 의 윈도우 크기를 가진 미디언 필터를 적용한다.
g(x, y) = median{f(x-m, y), f(x, y), f(x+m, y)}
고주파 성분을 검출하기 위하여 일정한 간격 δ만큼 떨어진 g값의 차를 이용하여 그래디언트(gradient) Gx를 산출한다.
Figure 112008063915938-PAT00011
이러한 Gx값을 전 영상에 걸쳐서 누적하되, 물체 인식부(10)에서 산출한 가중치 ωxy를 반영하여 아래 수학식과 같이 초점값을 계산한다.
Figure 112008063915938-PAT00012
여기서, ωxy는 (x, y)화소에서의 가중치, g(x, y) = median{f(x-m, y), f(x, y), f(x+m, y)}, g는 원래 영상 f를 윈도우 크기가 2m+1 인 미디언 필터에 통과시킨 새로운 영상이다.
② Tenengrad 알고리즘에 의한 초점값(FVs) 계산
Tenengrad 알고리즘은 소벨(Sobel) 연산자를 이용하여 초점이 맞는 정도에 따라 얻어지는 영상의 선명도 차이가 발생하는 현상을 이용한 것이다. 소벨 연산자는 수평 및 수직 방향의 에지(edge)를 검출하기 위한 것으로, 아래 수학식과 같이 두 개의 연산자로 이루어진다.
Figure 112008063915938-PAT00013
수평과 수직 방향의 소벨 연산자 각각에 대하여 각 화소의 휘도값 P(x, y)와 내적을 취하여 ▽g(x, y)값을 아래 수학식과 같이 계산한다.
{▽g(x, y)}2 = {OSobel .x·P(x, y)}2 + {OSobel .y·P(x, y)}2
이러한 ▽g(x, y)값을 전 영상에 걸쳐서 누적하되, 물체 인식부(10)에서 산출한 가중치 ωxy를 반영하여 아래 수학식과 같이 초점값을 계산한다.
Figure 112008063915938-PAT00014
여기서, Os .x와 Os .y는 각각 수평과 수직 방향의 에지를 검출하기 위한 Sobel 연산자이다.
도 6을 참조하면, 파선은 DoM 알고리즘에 의한 초점 곡선을, 일점 쇄선은 Tenengrad 알고리즘에 의한 초점 곡선을, 그리고 실선은 이를 조합한 본 발명에 의한 초점 곡선을 나타낸다. 도 6에서 초점값을 찾는 과정은 먼저 물체의 움직임 정도에 따라 가중치를 두는 작업으로 시작하여, DoM 알고리즘을 통해 초점값을 구한 다음, Tenengrad 알고리즘을 이용하여 정확한 초점값을 찾는 순서로 진행된다.
도 6과 도 7에서 (a)에서 (d)까지는 DoM 알고리즘을 이용하여 정초점의 범위를 잡은 것이다. 초점거리를 짧게 하여 초점값이 감소하는 지점을 찾을 때까지 초점값이 증가하는 방향으로 렌즈를 움직이는데, (a)에서 (c)까지는 초점값이 증가하다가 (d)에서 초점값이 감소함을 확인할 수 있다. 즉, (a)에서 (c)까지는 초점거리 에 대한 초점값 곡선의 순간변화율이 양의 값을 갖는 반면, (d)에서는 음의 값을 갖게 된다. 따라서, (c)와 (d) 사이의 구간에 정초점이 존재한다고 판단할 수 있다.
(e)와 (f)는 Tenengrad 알고리즘을 이용하여 정초점을 찾는 과정이다. DoM 알고리즘을 통해 찾은 (c)~(d) 구간에서 Tenengrad 알고리즘을 이용하면 정확한 초점값 (f)를 찾을 수 있게 된다.
즉, 초점 제어부(30)는 초점값의 증감을 이용하여 대략적으로 정초점 구간을 찾은 후에, 이러한 구간 내에서 최대값을 갖는 초점값을 구하게 된다.
Tenengrad 알고리즘만을 이용할 경우 도 6의 (c) 부분에서 확인할 수 있듯이 로컬 맥시멈에 빠질 수 있기 때문에 엉뚱한 위치를 정초점으로 판단하는 경우가 발생할 수 있다. 도 8에서 (a)는 Tenengrad 알고리즘만을 이용하여 초점을 찾은 결과 로컬 맥시멈에 빠져 정초점이 잡히지 않는 경우이며, (b)는 DoM 알고리즘과 Tenengrad 알고리즘을 함께 사용하여 최종 정초점 위치로 판단된 영상의 경우이다.
반면, DoM 알고리즘만을 이용할 경우에는 정초점일 때의 초점 곡선이 Tenengrad 알고리즘만큼 예리하지 못하여 정확한 초점값을 찾지 못하는 경우가 발생할 수 있다.
본 발명에서는 DoM 알고리즘과 Tenengrad 알고리즘을 함께 사용하되, 움직이는 물체에 인간의 시각 특성에 기반한 가중치를 반영함으로써 경제적이면서도 정확하게 초점을 구할 수 있다.
본 발명의 바람직한 실시예에 따른 자동 노출 제어 및 초점 제어 방법은 영 상 내에 움직이는 물체의 속도와 너비를 통해 각 화소의 가중치를 계산하는 물체 인식 단계, 상기 가중치를 각 화소의 휘도값에 반영하여 노출값을 구하는 노출 제어 단계 및 상기 가중치를 각 화소의 휘도값에 반영하여 초점값을 구하는 초점 제어 단계를 포함하여 이루어진다.
초점 제어 단계는 초점값이 커지는 방향으로 일정 간격씩 렌즈를 이동하다가 초점값이 감소하면 반대 방향으로 보다 작은 간격으로 렌즈를 움직여 초점값의 최대값을 찾되, DoM 알고리즘과 Tenengrad 알고리즘을 함께 사용하여 초점값을 산출한다.
본 발명의 바람직한 실시예에 따른 자동 노출 제어 및 초점 제어 방법은, 일례로 본 발명의 바람직한 실시예에 따른 비디오 카메라 시스템에 의해 구현될 수 있다. 자동 노출 제어 및 초점 제어 방법은 비디오 카메라 시스템에 관한 부분에서 충분히 설명되었으므로, 이에 대한 상세한 설명은 생략하기로 한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨 터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 비디오 카메라를 비롯하여 영상처리를 필요로 하는 다양한 분야에 폭넓게 적용될 수 있다.
도 1은 기존 방법에 의해 노출값 측정시 가중치를 부여하는 방법을 설명하기 위한 개념도,
도 2는 본 발명의 바람직한 실시예에 따른 비디오 카메라 시스템의 블록도,
도 3은 본 발명의 바람직한 실시예에 따른 비디오 카메라 시스템의 노출 곡선,
도 4는 도 3에서의 몇 가지 노출 상태에 대한 정지사진,
도 5는 도 2 중 초점 제어부의 세부 구성도,
도 6은 본 발명의 바람직한 실시예에 따른 비디오 카메라 시스템의 초점 곡선,
도 7는 도 6에서의 몇 가지 초점 상태에 대한 정지사진,
도 8은 종래 알고리즘과 본 발명을 비교하기 위한 정지사진이다.

Claims (19)

  1. 영상 내의 움직이는 물체의 속도와 너비를 통해 각 화소의 가중치를 계산하는 물체 인식부;
    상기 가중치를 각 화소의 휘도값에 반영하여 노출값을 구하는 노출 제어부; 및
    상기 가중치를 각 화소의 휘도값에 반영하여 초점값을 구하되, 상기 초점값이 커지는 방향으로 일정 간격씩 렌즈를 이동하다가 상기 초점값이 감소하면 상기 방향과 반대 방향으로 상기 간격보다 작은 간격으로 상기 렌즈를 움직여 상기 초점값의 최대값을 찾는 초점 제어부
    를 포함하는 것을 특징으로 하는 비디오 카메라 시스템.
  2. 제1항에 있어서,
    상기 물체 인식부는 상기 물체의 속도와 너비를 영상 코덱의 움직임 벡터를 통해 계산하는 것을 특징으로 하는 비디오 카메라 시스템.
  3. 제2항에 있어서,
    상기 물체 인식부는 하기 수학식에 의해 상기 가중치를 계산하는 것을 특징으로 하는 비디오 카메라 시스템.
    Figure 112008063915938-PAT00015
    ωxy는 (x, y)화소에서의 가중치, v는 속도(deg/sec), m은 물체의 너비(deg)
  4. 제1항에 있어서,
    상기 노출 제어부는 하기 수학식에 의해 상기 노출값을 구하는 것을 특징으로 하는 비디오 카메라 시스템.
    Figure 112008063915938-PAT00016
    EV는 노출값, ωxy는 (x, y)화소에서의 가중치, P(x, y)는 (x, y)화소에서의 휘도값
  5. 제1항에 있어서,
    상기 초점 제어부는 초점거리에 대한 초점값의 기울기 부호가 양에서 음으로 변하는 구간을 찾은 후, 상기 구간내에서 최종 정초점을 찾는 것을 특징으로 하는 비디오 카메라 시스템.
  6. 제5항에 있어서,
    상기 초점 제어부는 DoM(Difference of Median) 알고리즘과 Tenengrad 알고리즘을 함께 사용하여 초점값을 구하는 것을 특징으로 하는 비디오 카메라 시스템.
  7. 제6항에 있어서,
    상기 초점 제어부는 상기 DoM 알고리즘을 이용하여 정초점 구간을 탐색한 후, 상기 Tenengrad 알고리즘을 이용하여 상기 정초점을 구하는 것을 특징으로 하는 비디오 카메라 시스템.
  8. 제6항에 있어서,
    상기 DoM 알고리즘에 의한 초점값은 하기 수학식에 의해 계산되는 것을 특징으로 하는 비디오 카메라 시스템.
    Figure 112008063915938-PAT00017
    FVDoM은 DoM 알고리즘에 의한 초점값, ωxy는 (x, y)화소에서의 가중치, g(x, y) = median{f(x-m, y), f(x, y), f(x+m, y)}, g는 원래 영상 f를 윈도우 크기가 2m+1 인 미디언 필터에 통과시킨 새로운 영상
  9. 제6항에 있어서,
    상기 Tenengrad 알고리즘에 의한 초점값은 하기 수학식에 의해 계산되는 것을 특징으로 하는 비디오 카메라 시스템.
    Figure 112008063915938-PAT00018
    Os .x와 Os .y는 각각 수평과 수직 방향의 에지를 검출하기 위한 Sobel 연산자, P(x, y)는 (x, y)화소의 휘도값, ωxy는 (x, y)화소에서의 가중치
  10. (a) 영상 내의 움직이는 물체의 속도와 너비를 통해 각 화소의 가중치를 계산하는 물체 인식 단계;
    (b) 상기 가중치를 각 화소의 휘도값에 반영하여 노출값을 구하는 노출 제어 단계; 및
    (c) 상기 가중치를 각 화소의 휘도값에 반영하여 초점값을 구하되, 상기 초점값이 커지는 방향으로 일정 간격씩 렌즈를 이동하다가 상기 초점값이 감소하면 상기 방향과 반대 방향으로 상기 간격보다 작은 간격으로 상기 렌즈를 움직여 상기 초점값의 최대값을 찾는 초점 제어 단계
    를 포함하는 것을 특징으로 하는 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법.
  11. 제10항에 있어서,
    상기 (a)단계는 상기 물체의 속도와 너비를 영상 코덱의 움직임 벡터를 통해 계산하는 것을 특징으로 하는 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법.
  12. 제11항에 있어서,
    상기 (a)단계는 하기 수학식에 의해 상기 가중치를 계산하는 것을 특징으로 하는 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법.
    Figure 112008063915938-PAT00019
    ωxy는 (x, y)화소에서의 가중치, v는 속도(deg/sec), m은 물체의 너비(deg)
  13. 제10항에 있어서,
    상기 (b)단계는 하기 수학식에 의해 상기 노출값을 구하는 것을 특징으로 하는 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법.
    Figure 112008063915938-PAT00020
    EV는 노출값, ωxy는 (x, y)화소에서의 가중치, P(x, y)는 (x, y)화소에서의 휘도값
  14. 제10항에 있어서,
    상기 (c)단계는 초점거리에 대한 초점값의 기울기 부호가 양에서 음으로 변하는 구간을 찾은 후, 상기 구간내에서 최종 정초점을 찾는 것을 특징으로 하는 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법.
  15. 제14항에 있어서,
    상기 (c)단계는 DoM(Difference of Median) 알고리즘과 Tenengrad 알고리즘을 함께 사용하여 초점값을 구하는 것을 특징으로 하는 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법.
  16. 제15항에 있어서,
    상기 (c)단계는 상기 DoM 알고리즘을 이용하여 정초점 구간을 탐색한 후, 상기 Tenengrad 알고리즘을 이용하여 상기 정초점을 구하는 것을 특징으로 하는 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법.
  17. 제15항에 있어서,
    상기 DoM 알고리즘에 의한 초점값은 하기 수학식에 의해 계산되는 것을 특징으로 하는 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법.
    Figure 112008063915938-PAT00021
    FVDoM은 DoM 알고리즘에 의한 초점값, ωxy는 (x, y)화소에서의 가중치, g(x, y) = median{f(x-m, y), f(x, y), f(x+m, y)}, m
  18. 제15항에 있어서,
    상기 Tenengrad 알고리즘에 의한 초점값은 하기 수학식에 의해 계산되는 것을 특징으로 하는 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어 방법.
    Figure 112008063915938-PAT00022
    Os .x와 Os .y는 각각 수평과 수직 방향의 에지를 검출하기 위한 Sobel 연산자, P(x, y)는 (x, y)화소의 휘도값, ωxy는 (x, y)화소에서의 가중치
  19. 제10항 내지 제18항 중 어느 한 항에 따른 자동 노출 제어 및 초점 제어 방법이 프로그램으로 수록된 컴퓨터가 판독가능한 저장매체.
KR1020080088771A 2008-09-09 2008-09-09 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어방법과 이를 이용한 비디오 카메라 시스템 KR100952955B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080088771A KR100952955B1 (ko) 2008-09-09 2008-09-09 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어방법과 이를 이용한 비디오 카메라 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080088771A KR100952955B1 (ko) 2008-09-09 2008-09-09 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어방법과 이를 이용한 비디오 카메라 시스템

Publications (2)

Publication Number Publication Date
KR20100030020A true KR20100030020A (ko) 2010-03-18
KR100952955B1 KR100952955B1 (ko) 2010-04-15

Family

ID=42180063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080088771A KR100952955B1 (ko) 2008-09-09 2008-09-09 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어방법과 이를 이용한 비디오 카메라 시스템

Country Status (1)

Country Link
KR (1) KR100952955B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103237175A (zh) * 2013-04-17 2013-08-07 中国科学院西安光学精密机械研究所 基于人眼视觉特性的数字相机自动曝光方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100570565B1 (ko) * 2003-04-02 2006-04-12 주식회사 씨앤비텍 줌 일체형 감시용 카메라의 자동노출제어방법
KR100726435B1 (ko) * 2005-10-14 2007-06-11 삼성전자주식회사 피사체의 거리에 따른 노출량 제어방법 및 이를 적용한촬영장치
JP2007264119A (ja) 2006-03-27 2007-10-11 Fujinon Corp オートフォーカスシステム
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103237175A (zh) * 2013-04-17 2013-08-07 中国科学院西安光学精密机械研究所 基于人眼视觉特性的数字相机自动曝光方法
CN103237175B (zh) * 2013-04-17 2016-01-20 中国科学院西安光学精密机械研究所 基于人眼视觉特性的数字相机自动曝光方法

Also Published As

Publication number Publication date
KR100952955B1 (ko) 2010-04-15

Similar Documents

Publication Publication Date Title
AU2016352215B2 (en) Method and device for tracking location of human face, and electronic equipment
CN110248096B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
WO2021052487A1 (zh) 扩展景深图像的获取方法、装置及电子设备
CN107258077B (zh) 用于连续自动聚焦(caf)的系统和方法
US9501834B2 (en) Image capture for later refocusing or focus-manipulation
KR101228978B1 (ko) 메인 얼굴 선택장치, 그 제어방법, 및 촬상장치
CN1977526B (zh) 图像捕捉方法和图像捕捉设备
US9477138B2 (en) Autofocus
US9900519B2 (en) Image capture by scene classification
KR20160020498A (ko) 트랙커 보조 이미지 캡쳐
JP5068214B2 (ja) イメージセンサの自動焦点調節のための装置及び方法
CN110661977B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN110248101B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US9438785B2 (en) Electronic device and focus adjustment method thereof
CN112601027B (zh) 一种自动聚焦方法及装置
US9282235B2 (en) Focus score improvement by noise correction
CN110324536B (zh) 一种用于显微相机的图像变化自动感知对焦方法
JP5392198B2 (ja) 測距装置及び撮像装置
EP3245616A1 (en) Event triggered by the depth of an object in the field of view of an imaging device
CN115760912A (zh) 运动目标跟踪方法、装置、设备及计算机可读存储介质
US20140029806A1 (en) Object searching apparatus, object searching method and computer-readable recording medium
US9357124B2 (en) Focusing control device and controlling method of the same
US20160142616A1 (en) Direction aware autofocus
CN111131717B (zh) 聚焦方法、装置、设备与计算机可读存储介质
KR100952955B1 (ko) 인간의 시각적 특성에 기반한 자동 노출 제어 및 초점 제어방법과 이를 이용한 비디오 카메라 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130307

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140307

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160425

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 10