KR102130756B1 - 자동 초점 조절 방법 및 자동 초점 조절 장치 - Google Patents

자동 초점 조절 방법 및 자동 초점 조절 장치 Download PDF

Info

Publication number
KR102130756B1
KR102130756B1 KR1020130162612A KR20130162612A KR102130756B1 KR 102130756 B1 KR102130756 B1 KR 102130756B1 KR 1020130162612 A KR1020130162612 A KR 1020130162612A KR 20130162612 A KR20130162612 A KR 20130162612A KR 102130756 B1 KR102130756 B1 KR 102130756B1
Authority
KR
South Korea
Prior art keywords
image signal
exposure time
focus
video signal
lens
Prior art date
Application number
KR1020130162612A
Other languages
English (en)
Other versions
KR20150074641A (ko
Inventor
박현우
백정원
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020130162612A priority Critical patent/KR102130756B1/ko
Priority to US14/582,518 priority patent/US9491349B2/en
Priority to CN201410820267.5A priority patent/CN104735347B/zh
Publication of KR20150074641A publication Critical patent/KR20150074641A/ko
Application granted granted Critical
Publication of KR102130756B1 publication Critical patent/KR102130756B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

자동 초점 조절 장치 및 자동 초점 조절 방법을 개시한다. 본 개시에 따르는 자동 초점 조절 방법은 제1 노출 시간으로 피사체로부터의 빛을 촬상하여 제1 영상 신호를 생성하는 단계, 제2 노출 시간으로 상기 피사체로부터의 빛을 촬상하여 제2 영상 신호를 생성하는 단계, 상기 제1 영상 신호와 상기 제2 영상 신호를 합성하여 합성 영상 신호를 생성하는 단계; 및 상기 합성 영상 신호로부터 초점 검출 평가값을 계산하는 단계;를 포함하며, 상기 제2 노출 시간은 상기 제1 노출 시간보다 짧다.

Description

자동 초점 조절 방법 및 자동 초점 조절 장치{Auto focus adjusting method and auto focus adjusting apparatus}
본 발명의 실시예는 자동 초점 조절 방법 및 자동 초점 조절 장치에 관한 것이다.
카메라, 캠코더 등의 디지털 촬영장치에 있어서 선명한 정지 영상 또는 동영상을 촬영하기 위해서는 피사체에 정확하게 초점을 맞추는 것이 필요하다. 초점 조절을 자동으로 수행하는 자동초점 조절 방식으로는 콘트라스트 자동초점(Auto focus) 조절 방식과 위상차 자동초점 조절 방식이 있다.
콘트라스트 자동초점(AF:Auto focus) 조절 방식은 초점 렌즈의 위치를 변화시키면서 촬영을 수행하면서 촬상 센서로부터 생성된 영상 신호에 대하여 콘트라스트 값을 획득하고, 상기 콘트라스트 값이 피크가 될 때의 초점 렌즈 위치로 초점 렌즈를 구동하는 방식이다. 그러나 이러한 콘트라스트 AF 방식의 경우, 광원 등에 의한 포화 영역이 존재하면 이에 대한 콘트라스트 값도 피크를 형성하게 되어 초점 위치에 대한 오류가 발생할 수 있다.
본 발명의 실시예는 자동 초점 조절 방법 및 자동 초점 조절 장치에 대해서 제공하고자 한다.
본 발명의 실시예에 따른 자동 초점 조절 방법은 자동 초점 조절 장치의 자동 초점 조절 방법으로서,
제1 노출 시간으로 피사체를 촬상하여 제1 영상 신호를 생성하는 단계;
제2 노출 시간으로 상기 피사체를 촬상하여 제2 영상 신호를 생성하는 단계;
상기 제1 영상 신호와 상기 제2 영상 신호를 합성하여 합성 영상 신호를 생성하는 단계; 및
상기 합성 영상 신호로부터 초점 검출 평가값을 계산하는 단계;를 포함하며,
상기 제2 노출 시간은 상기 제1 노출 시간보다 짧다.
상기 제2 노출 시간은 상기 제2 영상 신호의 픽셀별 휘도가 포화 되지 않는 시간 범위 중 최대 시간 값일 수 있다.
상기 제1 영상 신호와 상기 제2 영상 신호의 합성은, 상기 제1 영상 신호의 휘도 포화 영역인 부분을 제2 영상 신호로 대체할 수 있다.
상기 제1 영상 신호와 상기 제2 영상 신호를 합성은, P1(x,y)*w1 + P2(x,y)*(1-w1)의 수식에 의해서 정해지며, 여기서, P1(x,y)는 상기 제1 영상 신호의 (x,y)좌표에 있어서 휘도값, P2(x,y)는 상기 제2 영상 신호의 (x,y)좌표에 있어서 휘도값일 수 있다.
본 발명의 일 실시예에 따르는 자동 초점 조절 장치는,
초점 조절을 위하여 초점 렌즈의 위치가 가변되는 촬상 렌즈;
상기 초점 렌즈를 구동하는 렌즈 제어부;
상기 촬상 렌즈를 통과한 빛을 촬상하여 영상 신호를 생성하는 촬상 소자;
상기 촬상 소자의 노출을 제어하는 셔터;
상기 촬상 소자 및 상기 셔터를 구동하는 촬상 소자 제어부;
상기 셔터의 제1 노출 시간으로 촬상된 제1 영상 신호와 상기 제1 노출 시간보다 짧은 제2 노출 시간으로 촬상된 제2 영상 신호를 합성하는 영상 합성부; 및
상기 영상 합성부에서 생성된 합성 영상 신호를 토대로 초점 검출 평가값을 산출하고 초점 렌즈의 위치를 결정하는 초점 결정부;를 포함한다.
상기 제2 노출 시간은 상기 제1 노출 시간 보다 2배 내지 10배 짧을 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 의한 자동 초점 조절 방법 및 장치는 합성 영상 신호로부터 자동 초점 검출을 수행하여 자동 초점 검출에 대한 신뢰성이 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 자동 초점 조절 장치의 구성을 개략적으로 나타내는 블록도이다.
도 2는 AF 평가값으로부터 초점 렌즈의 위치를 결정하는 프로세스에 대해서 설명하기 위한 그래프이다.
도 3은 피사체에 광원이 있는 경우의 영상 신호(A) 및 종래 기술에 따른 AF 평가값을 나타낸 그래프(B)이다.
도 4는 피사체에 광원이 있는 경우, 본 발명의 일 실시예에 따른 영상 합성(A) 및 AF 평가값을 나타낸 그래프(B)이다.
도 5는 본 발명의 일 실시예에 따른 자동 초점 조절 방법에 대한 순서도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명에 따른 실시 예들을 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 자동 초점 조절 장치(10)의 구성을 개략적으로 나타내는 블록도이다.
도 1을 참조하면, 본 실시예에 따른 자동 초점 조절 장치(10)는 렌즈부(100)와 구동부(200)를 포함한다.
렌즈부(100)는 줌 렌즈(102), 초점 렌즈(104), 초점 렌즈 위치 감지 센서(106), 렌즈 구동 액츄에이터(105), 렌즈 제어부(110)를 포함한다. 그 밖에, 렌즈부(100)에는 다양한 광학 렌즈, 조리개 및 조리개 구동 액츄에이터(미도시) 등이 더 포함될 수 있다.
줌 조절을 위한 줌 렌즈(102) 및 초점 위치를 변화시키는 초점 렌즈(104)는 복수의 렌즈를 조합한 렌즈군으로 이루어질 수 있다. 이하, 줌 렌즈(102)와 초점 렌즈(104)를 합하여 촬상 렌즈라고 한다.
초점 렌즈 위치 감지 센서(106)는 초점 렌즈(104)의 위치를 감지한다. 초점 렌즈(104)의 위치를 감지하는 타이밍은 렌즈 제어부(110) 또는 후술할 주 제어부(220)에 의하여 설정될 수 있다. 예를 들어, 초점 렌즈(104)의 위치를 감지하는 타이밍은 영상 신호로부터 자동 초점(AF: Auto Focus) 검출을 수행하는 타이밍일 수 있다.
렌즈 구동 액츄에이터(105)는 렌즈 제어부(110)에 의하여 제어되어 초점 렌즈(104)를 구동한다. 일부 실시예에서, 렌즈 구동 액츄에이터(105)는 초점 렌즈(104)를 광축 방향으로 구동할 수 있다. 즉, 렌즈 구동 액츄에이터(105)는 초점 렌즈 구동부의 일례일 수 있다.
렌즈 제어부(110)는 상기 감지한 초점 렌즈(104)의 위치 정보를 주 제어부(220)로 전송한다. 일부 실시예에서, 렌즈 제어부(110)는 초점 렌즈(104)의 위치에 변화가 있는 경우, 또는 주 제어부(220)로부터 초점 렌즈(104)의 위치 정보의 요청이 있는 경우에 상기 검출한 초점 렌즈(104)의 위치 정보를 전송할 수 있다.
구동부(200)는 셔터(203), 촬상 소자(204), 촬상 소자 제어부(210),및 주 제어부(220)를 포함할 수 있다. 구동부(200)는 렌즈부(100)를 제어하여 초점 렌즈(104)를 구동하는 기능을 구비한다.
셔터(203)는 촬상 소자(204)에 빛이 인가되는 시간, 즉 노출 시간을 결정한다. 일부 실시예에서, 셔터(203)는 선막 및 후막이 모두 기계식 셔터일 수 있다. 그러나, 이에 한정되는 것은 아니다. 예를 들어, 셔터(203)는 축적된 전하를 리셋하여 노출을 개시하는 전자 선막과 기계식 후막을 포함하는 전자 선막 셔터일 수도 있다. 또 다른 예를 들면, 셔터(203)는 축적된 전하를 리셋하여 노출을 개시하는 전자 선막과 축적된 전하를 비노출부로 전송하여 노출을 종료하는 전자 후막을 포함하는 글로벌 셔터일 수도 있다.
촬상 소자(204)는 상기 촬상 렌즈를 통과한 빛을 촬상하여 영상 신호를 생성한다. 촬상 소자(204)는 매트릭스 형태로 배열된 복수의 광전변환부 및 상기 광전변환부로부터 전하를 이동시켜 영상 신호를 독출하는 수직 또는/및 수평 전송로 등을 포함할 수 있다. 촬상 소자(204)로 CCD(charge coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서 등을 사용할 수 있다.
촬상 소자 제어부(210)는 타이밍 신호를 생성하고, 상기 타이밍 신호에 동기하여 상기 촬상 소자(204)가 촬상하도록 제어한다. 또한, 촬상 소자 제어부(210)는 결정된 노출 시간에 맞게 셔터를 구동하는 역할을 한다.
주 제어부(220)는 촬상 소자(204)에서 생성된 영상 신호를 합성하는 영상 합성부(221), 초점 결정부(223), 및 타이머(255)를 포함한다.
영상 합성부(221)는 초점 검출 평가값을 산출하기 위한 영상을 합성한다. 우선, 영상 합성부(221)는 촬상 소자 제어부(210)로부터 제1 영상 신호 및 제2 영상 신호를 전달 받는다. 제1 영상 신호 및 제2 영상 신호는 좌표에 따른 픽셀별 데이터를 포함하는 데이터 셋(set)일 수 있다.
제1 영상 신호는 상기 셔터(203)의 제1 노출 시간에 대응하여 획득한 영상 신호로, 피사체에 광원이 있는 경우, 그에 대응하는 픽셀의 휘도값이 포화될 수 있는 영상을 말한다.
제2 영상 신호는 상기 제1 노출 시간에 비해 짧은 제2 노출 시간에 대응하여 획득한 영상 신호로, 상기 제1 영상 신호 중 휘도값이 포화된 픽셀의 데이터를 변환하기 위한 신호일 수 있다.
상기 제1 노출 시간은 일반적으로 피사체를 촬상할 때, 촬상 소자를 빛에 노출하는 시간일 수 있으며, 상기 제2 노출 시간은 제1 노출 시간에 비해 짧은 시간으로 제2 영상 신호의 포화 영역을 줄이는 시간일 수 있다.
일부 실시예에서, 제2 노출 시간은 상기 제2 영상 신호의 픽셀별 휘도가 포화 되지 않는 시간 범위 중 최대 시간 값으로 선택될 수 있다. 또 다른 실시예에서, 제2 노출 시간은 제1 노출 시간에 비해 2배 내지 10배 짧은 시간일 수 있다.
일부 실시예에서, 제1 노출 시간은 약 1/60 ~ 1/30 sec 일 수 있으며, 제2 노출 시간은 고속 셔터를 사용하여 약 1/300 sec 이하의 노출 시간일 수 있다.
영상 합성부(221)는 제1 영상 신호 및 제2 영상 신호의 픽셀 좌표에 따른 휘도값을 순차적으로 독출하면서 합성 영상 신호를 합성할 수 있다. 합성 영상 신호는 상기 제1 영상 신호의 포화된 픽셀 데이터를 제2 영상 신호의 데이터를 통해 변환한 영상 신호일 수 있다.
일부 실시예에서, 상기 합성 영상 신호는 좌표에 따른 제1 영상 신호의 픽셀별 데이터를 독출하면서, 어느 한 좌표의 픽셀 휘도값이 기준 휘도값 이상인 경우 그 좌표에 대응하는 제2 영상 신호의 픽셀 데이터를 채용하는 것으로 생성될 수 있다. 이 때. 기준 휘도값은 포화 휘도값으로 픽셀이 나타낼 수 있는 최대 휘도값(Ymax)이 될 수 있다. 그러나, 이에 한정되는 것은 아니고 기준 휘도값은 0.8*Ymax ~ 0.9*Ymax 등 다양하게 설정될 수 있다.
또 다른 실시예에서, 상기 합성 영상 신호는 제1 영상 신호와 제2 영상 신호에 대해서 weight를 설정하여 합성할 수 있다. 예를 들면, 상기 합성 신호는 다음과 같은 수식에 의해서 결정될 수 있다.
P3(x,y)=P1(x,y)*w1 + P2(x,y)*(1-w1)
여기서, P1(x,y)는 상기 제1 영상 신호의 (x,y)좌표의 픽셀의 휘도값, P2(x,y)는 상기 제2 영상 신호의 (x,y)좌표의 픽셀 휘도값, P3(x,y)는 합성 영상 신호의 (x,y)좌표의 픽셀 휘도값을 의미한다.
w1(x,y)는 휘도에 따른 가중치를 나타낸다. w1(x,y)값은 휘도에 따라 사용자가 설정한 그래프 내지 데이터값이 될 수 있다. w1(x,y) 값은 0 에서 1 사이의 값으로 P1(x,y)의 값에 따라 달라질 수 있다. 일부 실시예에서, w1(x,y)=-a*P1(x,y)/Ymax+1 (a > 0) 일 수 있다. 이 때, Ymax는 최대 휘도값을 의미한다. 일부 실시예에서, 촬상 소자의 출력이 12bit인 경우 휘도값의 범위는 0 ~ 4095이며, 이 경우 Ymax는 4095가 될 수 있다. 촬상 소자의 출력이 8bit인 경우는 Ymax는 255가 될 수 있다. 이 밖에도, w1(x,y)는 다양한 가중치 설정 방법에 따라서 변형될 수 있다.
제1 영상 신호 및 제2 영상 신호의 합성은 그외 다양한 방법에 의해서 이루어질 수 있다. 예를 들어, 제1 영상 신호 및 제2 영상 신호의 합성은 Gradient Base Method 등에 의해서 수행될 수 있다.
이와 같은 제1 영상 신호, 제2 영상 신호, 및 합성 영상 신호는 초점 렌즈(104)를 이동시키면서 초점 렌즈(104)의 각 위치에 따라 획득될 수 있다.
초점 결정부(223)는 상기 영상 합성부(221)에서 합성한 합성 영상 신호에 대하여 AF 검출을 수행하여 콘트라스트 값을 산출한다. 또한, 촬상 소자 제어부(210)에서 생성한 타이밍 신호에 따른 매 AF 검출 시각에서의 콘트라스트 값을 저장하고, 렌즈부(100)로부터 전송된 렌즈 위치 정보와 저장된 콘트라스트 값을 사용하여 초점 위치를 계산한다. 상기 초점 위치의 계산 결과는 상기 렌즈부(100)로 전송한다.
초점 결정부(223)는 상기 초점 렌즈(104)의 위치에 따른 합성 영상 신호를 사용하여 AF 동작을 수행하는데, 콘트라스트 AF 방식에서는 콘트라스트 값에 관련된 초점 검출 평가값(이하 'AF 평가값'이라고 한다)으로부터 초점 위치를 계산하고, 상기 계산 결과를 바탕으로 렌즈부(100)를 구동한다. AF 평가값은 합성 영상 신호의 픽셀 간 콘트라스트 값의 차이를 나타내는 값일 수 있다.
초점 결정부(223)는 상기 AF 평가값으로부터 초점 렌즈(104)의 제어를 위한 정보를 계산하고, 이를 렌즈 제어부(110)로 전송한다. AF 평가값으로 부터 초점 렌즈(104)의 위치를 결정하는 프로세스에 대해서는 후술하기로 한다.
타이머(225)는 시각을 측정한다. 타이머(225)에 의해 측정된 시각을 바탕으로 초점 렌즈(104)의 위치를 감지하는 타이밍이 설정될 수 있다. 또한, 상기 타이머(225)에 의해 측정된 시각을 바탕으로 촬상 소자 제어부(210)에서는 타이밍 신호를 생성할 수 있다.
렌즈 제어부(110)는 수신한 정보를 기초로 렌즈 구동 액츄에이터(105)를 제어하여 초점 렌즈(104)를 광축 방향으로 구동시켜 AF 동작을 수행한다. 초점 렌즈(104)의 위치는 초점 렌즈 위치 감지 센서(106)에 의하여 모니터링 되어 피드백 제어가 이루어진다.
줌 렌즈(102)가 사용자에 의하여 조작되어 줌 동작이 수행된 경우, 렌즈 제어부(110)는 초점 렌즈(104)의 AF 제어 파라미터들을 변경하여 다시 AF를 수행할 수 있다.
도 2는 AF 평가값으로부터 초점 렌즈(104)의 위치를 결정하는 프로세스에 대해서 설명하기 위한 그래프이다.
콘트라스트 AF 방식에서는 영상 신호로부터 콘트라스트 값에 관련된 AF 평가값을 반복하여 계산하고, 계산한 AF 평가값이 최대가 되는 초점 렌즈(104)의 위치를 초점 위치로서 검출하는 것에 의하여 AF 동작을 수행한다. 도 2의 가로축은 초점 렌즈(104)의 위치를 나타내며, 세로축은 합성 영상 신호에 대한 AF 평가값을 나타낸다.
도 2의 그래프 (a)를 참조하면, 먼저 AF 평가값의 피크를 검출하기 위하여 초점 렌즈(104)를 일측에서 타측으로 구동하여 스캔한다(이하 '동작 A'라고 한다). 여기서 스캔이란 초점 렌즈를 구동하면서 AF 평가값을 계산하는 것을 의미한다. 상기 동작 A에 의하여 개략적인 피크 위치를 검출한다.
다음으로 그래프 (b)와 같이 초점 렌즈(104)의 구동 방향을 반전시켜, 그래프 (a)의 동작에서의 구동 속도에 비교하여 저속으로 구동하여 다시 상기 피크의 검출을 수행한다(이하 '동작 B'라고 한다). 이 동작 B에 의하여 더욱 높은 정밀도로 AF 검출을 수행할 수 있다.
다음으로 그래프 (c)와 같이 초점 렌즈(104)의 구동 방향을 다시 반전시키고, 검출된 피크에 따른 초점 위치를 향하여 초점 렌즈(104)를 구동한다(이하 '동작 C'라고 한다). 이때, 통상 렌즈를 구동하는 기기는 백 러쉬(back lash)가 존재하며, 구동 방향에 따라서 렌즈의 위치에 오차가 발생한다. 따라서 이를 제거할 필요가 있으며, 동작 C에서는 초점위치를 통과하도록 렌즈를 구동한다.
마지막으로 그래프 (d)와 같이 초점 렌즈(104)의 구동 방향을 반전시켜 동작 B에 따른 구동 방향과 같은 방향으로 렌즈를 구동시키며, 초점 위치에서 렌즈를 정지시킨다(이하 '동작 D'라고 한다).
상기와 같은 동작 A~D에 의하여 AF 동작이 수행된다.
본 발명의 실시예들에서는, 하나의 초점 렌즈의 위치마다 연속으로 노출 시간을 다르게 하여 제1 영상 신호 및 제2 영상 신호를 획득하고, 이로부터 합성 영상 신호를 생성한다. 그 후, 합성 영상 신호로부터 AF 평가값을 계산할 수 있다.
그러나, 상기와 같은 AF 동작 및 AF 평가값 계산은 하나의 예일 뿐, 본 발명은 이에 한정되지 않는다.
예를 들어, 자동 초점 조절 장치(10)는 제1 노출 시간에 따른 제1 영상 신호를 초점 렌즈의 위치마다 획득하고, 제2 노출 시간에 따른 제2 영상 신호를 초점 렌즈의 위치마다 획득한 후 합성 영상 신호를 생성할 수 있다. 그 후, 합성 영상 신호로부터 AF 평가값을 계산하여, fitting 등 수학적인 방법에 의해서 피크를 찾아 초점 렌즈(104)를 이동할 수 있다. 그 밖에 다양한 변형이 있을 수 있다.
상술한 바와 같이, 본 발명의 실시예들은 AF 평가값을 산출할 때, 합성 영상 신호를 이용하여 광원이 있는 경우라도 초점 렌즈(104)의 위치를 정확하게 도출해낼 수 있다.
도 3은 피사체에 광원이 있는 경우의 영상 신호(A) 및 종래 기술에 따른 AF 평가값을 나타낸 그래프(B)이다.
도 3의 A는 피사체에 광원 등에 의한 휘도의 포화 영역(SA)이 있는 영상 신호로, 초점 렌즈(104)가 임의의 어느 한 위치에 있는 경우, 촬상한 영상 신호를 나타내고 있다.
도 3의 B는 도 3의 A와 같은 피사체에 대해서 종래 기술에 따라 초점 렌즈의 위치에 따른 AF 평가값을 계산한 그래프를 나타내고 있다. 도 3의 B는 두 개의 피크 데이터를 제공하게 된다. 다시 말하면, 상기 그래프는 포화 영역(SA)에 의해서 초점이 맞는 위치와는 별도로 AF 평가값이 높은 데이터를 제공하게 된다.
초점 렌즈(104)의 'a' 위치는 초점 렌즈(104)의 초점이 맞는 위치일 수 있다. 초점 렌즈(104)의 'b' 위치는 피사체의 포화 영역(SA)에 의한 도출된 위치일 수 있다.
상기와 같이 AF 평가값이 복수의 피크를 갖는 경우, 전술한 초점 렌즈(104)의 위치를 결정하는 프로세스 시 올바른 초점 위치가 아닌 다른 위치를 초점이 맞는 위치로 결정할 수 있다. 예를 들어, 초점 렌즈(104)의 'c' 위치가 초점이 맞는 위치로 판단될 수 있다.
도 4는 피사체에 광원이 있는 경우, 본 발명의 일 실시예에 따른 영상 합성(A) 및 AF 평가값을 나타낸 그래프(B)이다.
제1 영상 신호는 일반적인 노출 시간인 제1 노출 시간으로 촬상한 영상 신호 이며, 제2 영상 신호는 고속 셔터를 사용하여 노출 시간을 줄여 촬상한 영상 신호이다.
제1 영상 신호는 피사체의 광원에 대응하는 픽셀의 휘도값이 포화되는 포화 영역(SA)를 포함할 수 있다.
제2 영상 신호는 상기 제1 노출 시간에 비해 짧은 제2 노출 시간에 대응하여 획득한 영상 신호로, 상기 제1 영상 신호 중 휘도값이 포화된 픽셀의 데이터를 변환하기 위한 신호일 수 있다. 즉, 제2 영상 신호는 고속 셔터를 사용하여 제1 영상 신호의 포화 영역(SA)에 대응하는 영역을 대체할 수 있는 대체 영역(RA)를 획득하기 위해 촬상된 영상 신호일 수 있다. 대체 영역(RA)은 비포화 영역일 수 있다. 그러나, 이에 한정되지 않고, 대체 영역(RA)은 포화된 픽셀을 포함할 수 있으나, 제1 영상 신호에 비해 적은 수의 포화 픽셀을 포함하고 있을 수도 있다.
상기 제1 노출 시간은 일반적으로 피사체를 촬상할 때, 촬상 소자를 빛에 노출하는 시간일 수 있으며, 상기 제2 노출 시간은 제1 노출 시간에 비해 짧은 시간으로 제2 영상 신호의 포화 영역을 줄이는 시간일 수 있다.
일부 실시예에서, 제2 노출 시간은 상기 제2 영상 신호의 픽셀별 휘도가 포화 되지 않는 시간 범위 중 최대 시간 값으로 선택될 수 있다. 또 다른 실시예에서, 제2 노출 시간은 제1 노출 시간에 비해 2배 내지 10배 짧은 시간일 수 있다.
일부 실시예에서, 제1 노출 시간은 약 1/60 ~ 1/30 sec 일 수 있으며, 제2 노출 시간은 고속 셔터를 사용하여 약 1/300 sec 이하의 노출 시간일 수 있다.
합성 영상 신호는 제1 영상 신호와 제2 영상 신호를 합성한 것으로, 제1 영상 신호의 포화 영역(SA)이 제2 영상 신호의 대체 영역(RA)으로 대체되어 합성된 영상을 나타낸다.
일부 실시예에서, 상기 제1 영상 신호와 상기 제2 영상 신호의 합성은 상기 제1 영상 신호의 휘도 포화 영역인 부분을 제2 영상 신호로 대체하는 방법을 사용할 수 있다.
또 다른 실시예에서, 상기 제1 영상 신호와 상기 제2 영상 신호를 합성은P1(x,y)*w1 + P2(x,y)*(1-w1)의 수식에 의해서 정해질 수 있다.
여기서, P1(x,y)는 상기 제1 영상 신호의 (x,y)좌표의 픽셀의 휘도값, P2(x,y)는 상기 제2 영상 신호의 (x,y)좌표의 픽셀 휘도값, P3(x,y)는 합성 영상 신호의 (x,y)좌표의 픽셀 휘도값을 의미한다.
w1(x,y)는 휘도에 따른 가중치를 나타낸다. w1(x,y)값은 휘도에 따라 사용자가 설정한 그래프 내지 데이터값이 될 수 있다. w1(x,y) 값은 0 에서 1 사이의 값으로 P1(x,y)의 값에 따라 달라질 수 있다. 일부 실시예에서, w1(x,y)=-a*P1(x,y)/Ymax+1 (a > 0) 일 수 있다. 이 때, Ymax는 최대 휘도값을 의미한다. 일부 실시예에서, 촬상 소자의 출력이 12bit인 경우 휘도값의 범위는 0 ~ 4095이며, 이 경우 Ymax는 4095가 될 수 있다. 촬상 소자의 출력이 8bit인 경우는 Ymax는 255가 될 수 있다. 이 밖에도, w1(x,y)는 다양한 가중치 설정 방법에 따라서 변형될 수 있다.
제1 영상 신호 및 제2 영상 신호의 합성은 그외 다양한 방법에 의해서 이루어질 수 있다. 예를 들어, 제1 영상 신호 및 제2 영상 신호의 합성은 Gradient Base Method 등에 의해서 수행될 수 있다.
도 4의 B는 상기 합성 영상 신호를 바탕으로 AF 평가값을 계산한 그래프를 나타낸다. 도 4의 B는 초점 렌즈 위치에 따른 AF 평가값의 피크 데이터가 하나만 존재하게 된다. 이는 합성 영상 신호는 광원 등에 따른 포화 영역(SA)이 대체되기 때문에, 포화 영역(SA)에 의한 AF 평가값이 나타나지 않기 때문이다. 도 4의 B 그래프에 있어서 피크 데이터는 초점이 맞는 위치에 나타나게 되며, 초점 렌즈의 위치를 결정하는 프로세스 시 올바른 초점이 도출될 수 있다.
도 5는 본 발명의 일 실시예에 따른 자동 초점 조절 방법에 대한 순서도이다.
본 실시예에 따른 자동 초점 조절 방법은 제1 노출 시간으로 피사체로부터의 빛을 촬상하여 제1 영상 신호를 생성하는 단계(S1), 제2 노출 시간으로 상기 피사체로부터의 빛을 촬상하여 제2 영상 신호를 생성하는 단계(S2), 상기 제1 영상 신호와 상기 제2 영상 신호를 합성하여 합성 영상 신호를 생성하는 단계(S3), 및 상기 합성 영상 신호로부터 초점 검출 평가값을 계산하는 단계(S4)를 포함한다.
상기 S1 단계 내지 S4 단계는 초점 렌즈(104, 도1 참조)의 위치가 변환될 때마다 반복하여 수행될 수 있다. 이에 따라, 초점 렌즈(104)의 위치에 따른 AF 평가값을 획득할 수 있으며, AF 평가값의 피크값으로부터 초점 렌즈 위치를 결정(S5)할 수 있다.
상기 제1 노출 시간은 일반적으로 피사체를 촬상할 때, 촬상 소자를 빛에 노출하는 시간일 수 있으며, 상기 제2 노출 시간은 제1 노출 시간에 비해 짧은 시간으로 제2 영상 신호의 포화 영역을 줄이는 시간일 수 있다.
일부 실시예에서, 제2 노출 시간은 상기 제2 영상 신호의 픽셀별 휘도가 포화 되지 않는 시간 범위 중 최대 시간 값으로 선택될 수 있다. 또 다른 실시예에서, 제2 노출 시간은 제1 노출 시간에 비해 2배 내지 10배 짧은 시간일 수 있다.
일부 실시예에서, 제1 노출 시간은 약 1/60~ 1/30 sec 일 수 있으며, 제2 노출 시간은 고속 셔터를 사용하여 약 1/300 sec 이하의 노출 시간일 수 있다.
상기 합성 영상 신호는 상기 제1 영상 신호와 제2 영상 신호를 합성한 신호로 다양한 방법에 의해서 합성될 수 있다.
일부 실시예에서, 상기 제1 영상 신호와 상기 제2 영상 신호의 합성은 상기 제1 영상 신호의 휘도 포화 영역인 부분을 제2 영상 신호로 대체하는 방법을 사용할 수 있다.
또 다른 실시예에서, 상기 제1 영상 신호와 상기 제2 영상 신호를 합성은P1(x,y)*w1 + P2(x,y)*(1-w1)의 수식에 의해서 정해질 수 있다.
여기서, P1(x,y)는 상기 제1 영상 신호의 (x,y)좌표의 픽셀의 휘도값, P2(x,y)는 상기 제2 영상 신호의 (x,y)좌표의 픽셀 휘도값, P3(x,y)는 합성 영상 신호의 (x,y)좌표의 픽셀 휘도값을 의미한다.
w1(x,y)는 휘도에 따른 가중치를 나타낸다. w1(x,y)값은 휘도에 따라 사용자가 설정한 그래프 내지 데이터값이 될 수 있다. w1(x,y) 값은 0 에서 1 사이의 값으로 P1(x,y)의 값에 따라 달라질 수 있다. 일부 실시예에서, w1(x,y)=-a*P1(x,y)/Ymax+1 (a > 0) 일 수 있다. 이 때, Ymax는 최대 휘도값을 의미한다. 일부 실시예에서, 촬상 소자의 출력이 12bit인 경우 휘도값의 범위는 0 ~ 4095이며, 이 경우 Ymax는 4095가 될 수 있다. 촬상 소자의 출력이 8bit인 경우는 Ymax는 255가 될 수 있다. 이 밖에도, w1(x,y)는 다양한 가중치 설정 방법에 따라서 변형될 수 있다.
제1 영상 신호 및 제2 영상 신호의 합성은 그외 다양한 방법에 의해서 이루어질 수 있다. 예를 들어, 제1 영상 신호 및 제2 영상 신호의 합성은 Gradient Base Method 등에 의해서 수행될 수 있다.
본 발명의 실시예에 따른 자동 조첨 조절 장치 및 자동 초점 조절 방법은 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
10: 자동 초점 조절 장치.
100: 렌즈부
102: 줌 렌즈
103: 줌 렌즈 위치 감지 센서
104: 초점 렌즈
105: 렌즈 구동 액츄에이터
106: 초점 렌즈 위치 감지 센서
110: 렌즈 제어부
200: 구동부
203: 셔터
204: 촬상 소자
210: 촬상 소자 제어부
220: 주 제어부

Claims (6)

  1. 자동 초점 조절 장치의 자동 초점 조절 방법으로서,
    제1 노출 시간으로 피사체를 촬상하여 제1 영상 신호를 생성하는 단계;
    제2 노출 시간으로 상기 피사체를 촬상하여 제2 영상 신호를 생성하는 단계;
    상기 제1 영상 신호와 상기 제2 영상 신호를 합성하여 합성 영상 신호를 생성하는 단계; 및
    상기 합성 영상 신호로부터 초점 검출 평가값을 계산하는 단계;를 포함하며,
    상기 제2 노출 시간은 상기 제1 노출 시간보다 짧고,
    상기 제2 노출 시간은 상기 제2 영상 신호의 픽셀별 휘도가 포화 되지 않는 시간 범위 중 최대 시간 값인, 자동 초점 조절 방법.
  2. 삭제
  3. 자동 초점 조절 장치의 자동 초점 조절 방법으로서,
    제1 노출 시간으로 피사체를 촬상하여 제1 영상 신호를 생성하는 단계;
    제2 노출 시간으로 상기 피사체를 촬상하여 제2 영상 신호를 생성하는 단계;
    상기 제1 영상 신호와 상기 제2 영상 신호를 합성하여 합성 영상 신호를 생성하는 단계; 및
    상기 합성 영상 신호로부터 초점 검출 평가값을 계산하는 단계;를 포함하며,
    상기 제2 노출 시간은 상기 제1 노출 시간보다 짧고,
    상기 제1 영상 신호와 상기 제2 영상 신호의 합성은,
    상기 제1 영상 신호의 휘도 포화 영역인 부분을 제2 영상 신호로 대체하는, 자동 초점 조절 방법.
  4. 제1항 또는 제3항에 있어서,
    상기 제1 영상 신호와 상기 제2 영상 신호를 합성은,
    P1(x,y)*w1 + P2(x,y)*(1-w1)의 수식에 의해서 정해지며,
    여기서, P1(x,y)는 상기 제1 영상 신호의 (x,y)좌표에 있어서 휘도값,
    P2(x,y)는 상기 제2 영상 신호의 (x,y)좌표에 있어서 휘도값인,
    자동 초점 조절 방법.
  5. 초점 조절을 위하여 초점 렌즈의 위치가 가변되는 촬상 렌즈;
    상기 초점 렌즈를 구동하는 렌즈 제어부;
    상기 촬상 렌즈를 통과한 빛을 촬상하여 영상 신호를 생성하는 촬상 소자;
    상기 촬상 소자의 노출을 제어하는 셔터;
    상기 촬상 소자 및 상기 셔터를 구동하는 촬상 소자 제어부;
    상기 셔터의 제1 노출 시간으로 촬상된 제1 영상 신호와 상기 제1 노출 시간보다 짧은 제2 노출 시간으로 촬상된 제2 영상 신호를 합성하는 영상 합성부; 및
    상기 영상 합성부에서 생성된 합성 영상 신호를 토대로 초점 검출 평가값을 산출하고 초점 렌즈의 위치를 결정하는 초점 결정부;를 포함하고,
    상기 제2 노출 시간은 상기 제2 영상 신호의 픽셀별 휘도가 포화 되지 않는 시간 범위 중 최대 시간 값인, 자동 초점 조절 장치.
  6. 초점 조절을 위하여 초점 렌즈의 위치가 가변되는 촬상 렌즈;
    상기 초점 렌즈를 구동하는 렌즈 제어부;
    상기 촬상 렌즈를 통과한 빛을 촬상하여 영상 신호를 생성하는 촬상 소자;
    상기 촬상 소자의 노출을 제어하는 셔터;
    상기 촬상 소자 및 상기 셔터를 구동하는 촬상 소자 제어부;
    상기 셔터의 제1 노출 시간으로 촬상된 제1 영상 신호와 상기 제1 노출 시간보다 짧은 제2 노출 시간으로 촬상된 제2 영상 신호를 합성하는 영상 합성부; 및
    상기 영상 합성부에서 생성된 합성 영상 신호를 토대로 초점 검출 평가값을 산출하고 초점 렌즈의 위치를 결정하는 초점 결정부;를 포함하고,
    상기 제1 영상 신호와 상기 제2 영상 신호의 합성은,
    상기 제1 영상 신호의 휘도 포화 영역인 부분을 제2 영상 신호로 대체하는, 자동 초점 조절 장치.
KR1020130162612A 2013-12-24 2013-12-24 자동 초점 조절 방법 및 자동 초점 조절 장치 KR102130756B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130162612A KR102130756B1 (ko) 2013-12-24 2013-12-24 자동 초점 조절 방법 및 자동 초점 조절 장치
US14/582,518 US9491349B2 (en) 2013-12-24 2014-12-24 Method and apparatus for performing auto focus with multiple images having different exposure times
CN201410820267.5A CN104735347B (zh) 2013-12-24 2014-12-24 自动聚焦调节方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130162612A KR102130756B1 (ko) 2013-12-24 2013-12-24 자동 초점 조절 방법 및 자동 초점 조절 장치

Publications (2)

Publication Number Publication Date
KR20150074641A KR20150074641A (ko) 2015-07-02
KR102130756B1 true KR102130756B1 (ko) 2020-07-06

Family

ID=53401501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130162612A KR102130756B1 (ko) 2013-12-24 2013-12-24 자동 초점 조절 방법 및 자동 초점 조절 장치

Country Status (3)

Country Link
US (1) US9491349B2 (ko)
KR (1) KR102130756B1 (ko)
CN (1) CN104735347B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6444073B2 (ja) 2014-06-25 2018-12-26 キヤノン株式会社 画像処理装置
KR102263537B1 (ko) * 2014-09-30 2021-06-11 삼성전자주식회사 전자 장치와, 그의 제어 방법
KR101727073B1 (ko) 2015-07-24 2017-04-17 한국기초과학지원연구원 액체렌즈를 이용한 미세패턴의 단차 산출 시스템 및 방법
CN105141853B (zh) * 2015-08-18 2019-02-05 联想(北京)有限公司 图像处理方法以及电子设备
KR20170055250A (ko) * 2015-11-11 2017-05-19 삼성전자주식회사 전자 장치 및 전자 장치에서의 자동 초점 처리 방법
CN107026969A (zh) * 2016-02-01 2017-08-08 中兴通讯股份有限公司 相位差的确定方法及装置
CN107438170B (zh) * 2016-05-25 2020-01-17 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备
CN106331510B (zh) * 2016-10-31 2019-10-15 维沃移动通信有限公司 一种逆光拍照方法及移动终端
CN107623820B (zh) * 2017-11-03 2019-10-29 维沃移动通信有限公司 一种拍摄方法、装置及移动终端
CN109618102B (zh) * 2019-01-28 2021-08-31 Oppo广东移动通信有限公司 对焦处理方法、装置、电子设备及存储介质
CN110971822A (zh) * 2019-11-29 2020-04-07 Oppo广东移动通信有限公司 图片处理方法、装置、终端设备及计算机可读存储介质
TWI781490B (zh) 2020-02-27 2022-10-21 日商斯庫林集團股份有限公司 對焦位置檢測方法、對焦位置檢測裝置、記錄媒體及對焦位置檢測用程式
US11716532B2 (en) * 2020-03-17 2023-08-01 Sony Olympus Medical Solutions Inc. Control apparatus and medical observation system
CN111741214A (zh) * 2020-05-13 2020-10-02 北京迈格威科技有限公司 图像处理方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008286868A (ja) * 2007-05-15 2008-11-27 Canon Inc 撮像装置及びその制御方法
JP2010166558A (ja) * 2008-12-19 2010-07-29 Sanyo Electric Co Ltd 撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4565370B2 (ja) 2000-12-22 2010-10-20 富士フイルム株式会社 電子カメラ及びオートフォーカス制御方法
US7548689B2 (en) * 2007-04-13 2009-06-16 Hewlett-Packard Development Company, L.P. Image processing method
JP4341691B2 (ja) * 2007-04-24 2009-10-07 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
JP4770907B2 (ja) * 2008-10-21 2011-09-14 ソニー株式会社 撮像装置、撮像方法及びプログラム
TWI390972B (zh) * 2008-12-31 2013-03-21 Altek Corp The autofocus method in the high noise environment and its application of the digital acquisition device of the method
KR101032174B1 (ko) 2009-09-30 2011-05-02 삼성전기주식회사 오토 포커스 방법
JP2011119930A (ja) * 2009-12-02 2011-06-16 Seiko Epson Corp 撮像装置、撮像方法および撮像プログラム
JP2012137511A (ja) 2010-12-24 2012-07-19 Kyocera Corp カメラ装置、携帯端末、フレームレート制御プログラムおよびフレームレート制御方法
CN103329319B (zh) * 2011-01-27 2017-08-29 出光兴产株式会社 碱金属硫化物和导电剂的复合材料
KR20120134966A (ko) 2011-06-04 2012-12-12 제노젠(주) 자동 초점 조절 기능을 갖는 디지털 카메라에 이용되는 이미지 센서 및 센서 모듈
JP5802520B2 (ja) * 2011-11-11 2015-10-28 株式会社 日立産業制御ソリューションズ 撮像装置
JP5821571B2 (ja) * 2011-11-28 2015-11-24 富士通株式会社 画像合成装置及び画像合成方法
JP2013218031A (ja) * 2012-04-05 2013-10-24 Canon Inc 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008286868A (ja) * 2007-05-15 2008-11-27 Canon Inc 撮像装置及びその制御方法
JP2010166558A (ja) * 2008-12-19 2010-07-29 Sanyo Electric Co Ltd 撮像装置

Also Published As

Publication number Publication date
CN104735347A (zh) 2015-06-24
US9491349B2 (en) 2016-11-08
US20150181107A1 (en) 2015-06-25
KR20150074641A (ko) 2015-07-02
CN104735347B (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
KR102130756B1 (ko) 자동 초점 조절 방법 및 자동 초점 조절 장치
US8890996B2 (en) Imaging device, semiconductor integrated circuit and imaging method
JP5388544B2 (ja) 撮像装置およびそのフォーカス制御方法
US9531938B2 (en) Image-capturing apparatus
US20120268613A1 (en) Image capturing apparatus and control method thereof
US8890995B2 (en) Image pickup apparatus, semiconductor integrated circuit and image pickup method
JP5618712B2 (ja) 自動焦点調節装置および撮像装置
US20160173762A1 (en) Image-capturing apparatus
JP2007225777A (ja) オートフォーカスユニット及びカメラ
JP2016142925A (ja) 撮像装置およびその制御方法、プログラム、記憶媒体
US9967451B2 (en) Imaging apparatus and imaging method that determine whether an object exists in a refocusable range on the basis of distance information and pupil division of photoelectric converters
JP2017211487A (ja) 撮像装置及び自動焦点調節方法
US20070058049A1 (en) Image sensing apparatus and method of controlling the same
JP6238578B2 (ja) 撮像装置およびその制御方法
JP2014130131A (ja) 撮像装置、半導体集積回路および撮像方法
JP2012133194A (ja) 撮像装置
JP4925168B2 (ja) 撮像方法および装置
JP6039381B2 (ja) 焦点検出装置、撮像装置、撮像システム、および、焦点検出方法
JP2008015353A (ja) 撮像装置
JP2014142497A (ja) 撮像装置及びその制御方法
JP2005352043A (ja) 撮像装置及び合焦制御方法
JP4900134B2 (ja) 焦点調節装置、カメラ
JP2008107480A (ja) 合焦制御装置および撮像装置
JP6566800B2 (ja) 撮像装置及び撮像方法
JP6089232B2 (ja) 撮像装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant