KR20070007437A

KR20070007437A - 카메라의 자동초점조절장치 및 그 방법

Info

Publication number: KR20070007437A
Application number: KR1020050062051A
Authority: KR
Inventors: 김태응
Original assignee: 삼성전기주식회사
Priority date: 2005-07-11
Filing date: 2005-07-11
Publication date: 2007-01-16
Also published as: US20070009249A1; CN1896860A; CN1896860B; JP2007025650A; US7536097B2; KR100706953B1

Abstract

본 발명은 카메라의 자동초점조절장치 및 그 방법에 관한 것으로, 픽처의 중앙 영역 또는 윈도우 설정 영역을 N개의 영역으로 나누어 각 영역별로 자동초점을 조절함으로써, 자동초점조절에 걸리는 시간을 줄일 수 있는 이점이 있다.

본 발명에 의한 카메라의 자동초점조절장치 및 그 방법은, 광신호가 입사되는 렌즈부; 상기 렌즈부로 입사된 광신호를 입력받아 전기적 신호로 변환한 후에 디지털화한 영상 데이터를 출력하는 이미지 센서 및 ISP부; 상기 이미지 센서 및 ISP부로부터 영상 데이터를 입력받아 소정의 이미지 성분을 추출한 후에, 픽처의 중앙 영역을 N(N: 2이상의 정수)개의 영역으로 나누어, 각 영역별로 상기 소정의 이미지 성분 값을 적분하여 초점값을 산출하고, 상기 각 영역별로 산출된 초점값에 따라 상기 렌즈부의 포커스 렌즈를 상하 구동하면서 최대 초점값을 산출하는 자동초점 디지털신호처리기; 및 상기 렌즈부의 포커스 렌즈를 구동시키는 구동부;를 포함한 것을 특징으로 한다.

카메라, 자동초점, 자동초점조절시간, 픽처 중앙 영역, 윈도우 영역

Description

카메라의 자동초점조절장치 및 그 방법{AUTO FOCUSING APPARATUS OF CAMERA AND METHOD OF AUTO FOCUSING}

도 1은 픽처 내 윈도우 영역을 나타낸 도면

도 2는 렌즈 이동거리에 따른 초점값을 나타내는 그래프

도 3은 본 발명에 따른 자동초점조절장치의 구성도

도 4a는 도 3의 자동초점 디지털신호처리기의 구성도

도 4b는 본 발명의 실시예 1에 따른 광검출 모듈의 내부 블럭도

도 4c는 본 발명의 실시예 2에 따른 광검출 모듈의 내부 블럭도

도 5a는 본 발명에 따른 실시예 1의 VGA(640x480)급 픽처를 나타낸 도면

도 5b는 본 발명에 따른 실시예 1의 N개의 영역 중 한 영역을 나타낸 도면

도 6a는 본 발명에 따른 픽처의 동기 신호로 사용되는 신호를 나타낸 도면

도 6b는 본 발명에 따른 N개의 영역 중 한 영역에 대한 자동초점 조절시간을 나타낸 도면

도 7a는 본 발명에 따른 실시예 2의 VGA(640x480)급 픽처를 나타낸 도면

도 7b는 본 발명에 따른 실시예 2의 N개의 영역 중 한 영역을 나타낸 도면

도 8a는 본 발명의 실시예 1에 따른 카메라의 자동초점조절방법의 흐름도

도 8b는 본 발명의 실시예 2에 따른 카메라의 자동초점조절방법의 흐름도

<도면의 주요 부호에 대한 설명>

300 : 픽처 301 : 렌즈부

302 : 이미지 센서 및 ISP부 303 : 자동초점 디지털신호처리기

304 : 구동부 304a: 액추에이터 드라이버

304b: 액추에이터 305 : 휴대폰 호스트

401 : 광검출 모듈 401a: 실시예 1의 고역통과필터

401b: 실시예 1의 적분기 401c: 중앙 영역 설정부

401d: 실시예 2의 고역통과필터 401e: 실시예 2의 적분기

401f: 윈도우 영역 설정부 402 : 중앙처리장치

500 : 실시예 1의 픽처 501~505: 실시예 1의 N개의 영역

501a, 701a: 실시예 1 및 실시예 2의 추출 및 적분 라인영역

501b, 701b: 실시예 1 및 실시예 2의 알고리즘동작 라인영역

501c, 701c: 실시예 1 및 실시예 2의 렌즈구동 라인영역

700 : 실시예 2의 픽처 700a: 윈도우 영역

701~705: 실시예 2의 N개의 영역

S1 : 수직 동기 신호 S2: 수평 동기 신호

S2´: N개의 영역 중 한 영역에 대한 수평 동기 신호

본 발명은, 특히 픽처의 중앙 영역 또는 윈도우 설정 영역을 N개의 영역으로 나누어 각 영역별로 자동초점을 조절함으로써, 자동초점조절에 걸리는 시간을 줄일 수 있는 카메라의 자동초점조절장치 및 그 방법에 관한 것이다.

최근 정보화 사회의 급격한 발달은 단순히 음성만을 전달하는 이동통신단말기 뿐만 아니라 다양한 기능이 추가된 복합 이동통신단말기의 개발이 요구되고 있다.

따라서, 멀티미디어 시대에 맞추어 영상 송수신 등의 기능과 음성 송수신 기능이 함께 구현된 휴대용 복합 이동통신단말기가 구현되고 있으며, 이러한 복합 이동통신단말기로는 사용자가 평소 휴대하고 다니는 이동통신단말기(일명 휴대폰)에 디지털 카메라 기능을 구현해 놓은 카메라폰이 있다.

이에따라, 사용자는 갑자기 어떤 장면이나 업무상 필요한 피사체를 찍어 간직하고 싶을 때 이러한 카메라폰을 이용하여 원하는 장면을 찍어 내부에 저장할 수 있게 된다.

또한, 촬영한 영상을 이동통신단말기를 통해 무선으로 다른 이동통신단말기로 전송할 수 있으며, PC(Personal Computer) 등과 연결되어 PC의 화면으로 출력하거나 PC에 저장할 수 있다.

또한, 최근들어 TV 방송 프로그램을 수신하여 이를 출력할 수 있는 이동통신단말기(일명 TV폰)나, 인터넷에 연결되어 인터넷 정보를 다운받을 수 있는 이동통신 단말기 및 동영상을 디스플레이 할 수 있는 이동통신단말기가 개발되었으며, 이러한 기능들을 모두 수행할 수 있는 차세대 이동통신단말기(IMT-2000)가 개발되고 있다.

일반적인 카메라폰의 구성은 영상을 촬영하는 카메라 모듈과 사용자의 음성 및 영상 중 하나를 전송하는 송신 모듈, 그리고 상대 통화의 음성 및 영상 중 하나를 수신하는 수신 모듈로 이루어져 있다.

여기에서 카메라 모듈은 렌즈 서브 시스템(Lens Sub System) 및 영상 처리 서브 시스템을 포함하고 있다.

렌즈 서브 시스템은 줌 렌즈와 포커스 렌즈 등으로 구성된 렌즈부와, 렌즈부의 줌 렌즈 또는 포커스 렌즈를 구동하기 위한 액추에이터, 액추에이터 드라이버 등을 포함하고 있다.

그리고, 영상 처리 서브 시스템은 이미지 센서 및 ISP, 자동초점 디지털신호처리기(DSP; Digital Signal Processor) 등을 포함하고 있다.

한편, 렌즈 서브 시스템은, 외부의 촬영 장면에 초점을 맞추고, 이 외부의 촬영 장면으로부터 범위가 정해진 특정 영역으로 입사하는 빛이(광원)이 이미지 센서에 입사될 수 있도록 한다.

그러면, 영상 처리 서브 시스템의 이미지 센서는, 특정 흡수 기간동안 광원이 입사됨에 따라 전하가 축적되는 포토셀(photo-cell)들로 이루어져 있으며, 축적된 전하를 디지털값(픽셀값)으로 변환하여 출력한다.

그리고, 영상 처리 서브 시스템의 ISP는, 획득한 픽셀들에 대한 디지털값을 압축, 스케일링 이미지 인헨스먼트(scaling image enhancement) 등과 같은 영상 처리를 수행하여 휴대폰 본체로 전송한다.

이때, 렌즈 서브 시스템은 선명한 이미지 촬영을 위하여 렌즈의 포커스 조정작업을 수행하게 되는데, 이때 사용되는 장치는 일반적인 사진 카메라나 디지털 카메라에 있는 자동초점조절(auto focus)장치를 그대로 사용하며, 이에 대해 간략하게 살펴보면 다음과 같다.

일반적으로, 사진 카메라나 디지털 카메라 등의 자동초점조절장치는 촬영하고자 하는 피사체를 향하여 구도를 설정한 다음, 릴리즈 버튼(release button)이 작동하기만 하면 자동으로 초점을 맞추어서 촬영이 이루어지도록 하는 장치이다.

이러한 자동초점장치는 크게 액티브(active) 방식과 패시브 방식으로 나누어진다.

액티브 방식은 카메라 스스로가 적외선이나 초음파 등을 발사한 다음 피사체에 반사되어 입사되는 빛이나 파동을 감지하여 피사체와의 거리를 측정하는 방식이다.

패시브 방식은 빛을 발광하는 발광부가 따로 없이 자연적인 조명하에서 피사체로부터 나오는 빛을 렌즈부를 통하여 입력받고 입력된 피사체의 명암차를 이용하여 피사체의 거리를 판별하는 방식이다.

즉, 패시브 방식은 이미지 센서로부터 나오는 영상 신호 중에서, 휘도 신호가 고역 통과 필터를 통과하여 얻어진 콘트라스트(contrast)에 비례하는 고역 주파수 신호를 매 프레임(frame)마다 검출하고, 이때 얻어진 콘트라스트를 전 프레임의 콘트라스트와 비교하여 콘트라스트가 커지는 방향으로 포커스 렌즈를 움직여 가장 콘트라스트가 큰 지점에서 포커스 렌즈의 회전운동을 정지하도록 함으로써 자동적 으로 초점을 조절을 조절하는 방식이다.

일반적으로, 자동초점 카메라 모듈은 보통 휴대폰에 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서를 통해 입수된 영상을 ISP 처리한 후, 고역통과필터(High Pass Filter ; HPF)를 통과시켜 나온 에지를 통해 산출된 초점값(focus value)을 매 픽처(Picture)단위로 추출하여 중앙처리장치(CPU)로 전달하고, 이때 CPU는 산출된 초점값을 근거로 포커스 렌즈(Focus Lens)이동 방향 및 거리를 판단하여 액추에이터 드라이버에게 명령을 내리며, 이에 따라 액추에이터가 구동되어 렌즈가 이동하게 되면서 자동적으로 초점이 맞추어지게 된다.

도 1은 픽처(100) 내의 윈도우(Window ; 101) 영역을 나타낸 도면으로서, 도 1에서 도시한 바와 같이, 보통 윈도우(101) 영역으로 화면의 중앙부를 지정하게 되며, 그 이유는 사진을 촬영하는 사용자 대부분이 화면의 중앙부에 관심을 두기 때문이다.

또한, 자동초점 디지털신호처리기로부터 윈도우(101)의 시작 위치와 마지막 위치를 전송받아 픽처(100) 내 윈도우(101) 영역을 설정하고, 상기 설정된 윈도우(101) 영역의 고역통과필터 출력값은 적분기에서 누산된다.

이렇게 누산된 초점값은, 카메라 모듈에서 초점을 조절하는 기준이 된다. 보통 정지 화상의 경우 렌즈를 이동하여 초점을 맞추게 되는데, 이때 같은 화상이라도 초점이 잘 맞는 경우는 높은 초점값이 나오고, 초점이 잘 맞지 않는 경우는 낮 은 초점값이 나오게 된다. 보통 카메라의 초점은, 사용자 대부분이 관심을 가지는 중앙에 기준을 두고 조정하게 된다.

상기 초점값을 찾는 알고리즘은 자동초점 디지털신호처리기 내의 CPU에서 수행 되어지며, 상기 CPU는 렌즈를 어느 방향으로 이동시킬지를 판단하여 액추에이터 드라이버를 통해 액추에이터를 구동시키게 된다.

도 2는 렌즈 이동거리에 따른 초점값을 나타내는 그래프이다.

도 2에서 도시한 바와 같이, 카메라에 같은 이미지가 입력되어도 초점이 잘 맞지 않는 경우 'A' 부분과 같이 초점값이 낮게 나오게 되므로, 이때에는 'B'지점에서 렌즈의 이동 방향을 결정하여 초점값이 높은 'C' 방향으로 렌즈를 이동시키며, 상기 'C' 방향으로 계속 렌즈를 이동시키다가 최대 초점값을 가진 'E' 부분을 지나게 되면 다시 렌즈를 반대 방향인 'D' 방향으로 이동시켜 'E' 부분에서 렌즈를 고정시킴으로써 최대 초점값을 찾는다.

종래에는 매 픽처 단위로 상기 초점값을 산출하게 되는데, 그 이유는 사용자가 관심을 가지는 윈도우 부분의 에지 성분을 모두 더한 값이 매 픽처 단위로 출력되기 때문이다.

따라서, 종래에 있어서 최대 초점값을 찾는 프로세스는, 픽처들의 초점값을 각각 산출한 후 산출된 초점값에 따라 방향을 결정하여 그 방향으로 렌즈를 이동시키는 과정을 반복하게 된다.

이에 따라, 시간당 픽처가 나타나는 속도를 의미하는 프레임 레이트(Frame Rate)가 빠르면 빠를수록 자동초점 조절시간이 짧아지게 된다.

한편, 종래의 캠코더나 디지털 카메라에 사용될수 있는 이미지 센서로 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서가 있다.

여기에서, CCD 이미지 센서는 실리콘의 웨이퍼 위에 초소형 금속 전극을 여러개 배치한 것으로서, 다수의 광 다이오드로 구성되고, 여기에 빛이 가해지면 광학적 에너지가 전기로 변환되며, 각 화소마다 있는 포토 다이오드에서 생성된 전하를 수직전달 CCD 및 수평전달 CCD를 통해 높은 전위차를 이용하여 증폭기로 전달하므로 전력 소모는 크지만 잡음에 강하고 균일하게 증폭되는 특성이 있다.

이에 반해 CMOS 이미지 센서는 각 화소마다 포토다이오드 및 증폭기를 설치한 것으로서, CCD 이미지 센서보다 전력소모가 작고 그 크기가 작아 소형화에 유리하지만, 화질이 떨어지는 단점이 있다.

따라서, 종래의 캠코더나 디지털 카메라에는 잡음에 강하고 화질이 좋은 CCD 이미지 센서가 많이 사용되어 왔으며, 상기 CCD 이미지 센서는 VGA(640x480), SD(720x480)급에서 초당 50~60장의 픽처가 나타나는 높은 프레임 레이트를 가지고 있어 상당히 빠른 시간내에 최대 초점값을 찾는다.

그러나, 최근에 씨모스 이미지 센서의 개선된 화질로 인해, 전력소모가 작고 소형화에 유리한 씨모스 이미지 센서가 휴대폰, 스마트폰, PDA 등에 많이 사용됨에 따라 최대 초점값을 찾는 시간, 즉, 자동초점 조절시간이 늘어나는 문제점이 발생 하고 있다.

다시 말하면, 씨모스 이미지 센서의 프레임 레이트는 초당 30장 정도로 매우 낮고, 사용자는 점점더 고해상도의 화질을 요구함에 따라 상기 씨모스 이미지 센서의 프레임 레이트는 더욱 낮아지게 되어 자동초점 조절시간이 상당히 늘어나는 문제점이 있었다.

따라서, 본 발명은 상기 문제점을 해결하기 위하여 이루어진 것으로, 본 발명의 목적은, 픽처의 중앙 영역 또는 윈도우 설정 영역을 N개의 영역으로 나누어 각 영역별로 자동초점을 조절함으로써, 자동초점조절에 걸리는 시간을 줄일 수 있는 카메라의 자동초점조절장치 및 그 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명에 의한 카메라의 자동초점조절장치는, 광신호가 입사되는 렌즈부; 상기 렌즈부로 입사된 광신호를 입력받아 전기적 신호로 변환한 후에 디지털화한 영상 데이터를 출력하는 이미지 센서 및 ISP부; 상기 이미지 센서 및 ISP부로부터 영상 데이터를 입력받아 소정의 이미지 성분을 추출한 후에, 픽처의 중앙 영역을 N(N: 2이상의 정수)개의 영역으로 나누어, 각 영역별로 상기 소정의 이미지 성분 값을 적분하여 초점값을 산출하고, 상기 각 영역별로 산출된 초점값에 따라 상기 렌즈부의 포커스 렌즈를 상하 구동하면서 최대 초점값을 산출하는 자동초점 디지털신호처리기; 및 상기 렌즈부의 포커스 렌즈를 구동시키는 구동부;를 포함한다.

여기서, 상기 N개의 영역 각각은, 소정의 이미지 성분을 추출하고 추출된 상기 소정의 이미지 성분들을 적분하는 추출 및 적분 라인영역과, 상기 소정의 이미지 성분들의 적분값에 따라 초점값을 산출하는 알고리즘동작 라인영역과, 상기 산출된 초점값에 따라 렌즈부의 포커스 렌즈를 상하 구동시키는 렌즈구동 라인영역으로 구성되는 것을 특징으로 한다.

이때, 소정의 이미지 성분을 추출하고 추출된 상기 소정의 이미지 성분들을 적분하는 추출 및 적분 라인영역은, 8의 배수개의 라인으로 구성되는 것을 특징으로 한다.

또한, 상기 자동초점 디지털신호처리기는, 상기 이미지 센서 및 ISP부로부터 영상 데이터를 입력받아 소정의 이미지 성분을 추출한 후에, 픽처의 중앙 영역을 N개의 영역으로 나누어, 각 영역별로 소정의 이미지 성분 값을 적분하여 초점값을 산출하는 광검출 모듈; 및 상기 광검출 모듈로부터 초점값을 입력받고 상기 초점값에 따라 렌즈부의 포커스 렌즈를 상하 구동하면서 최대 초점값을 산출하여 자동초점 알고리즘을 수행하는 중앙처리장치;를 포함한다.

이때, 상기 광검출 모듈은, 상기 이미지 센서 및 ISP부로부터 영상 데이터를 입력받아 소정의 이미지 성분을 추출하는 고역통과필터; 상기 고역통과필터로부터 추출된 상기 소정의 이미지 성분을 입력 받고, 픽처의 중앙 영역을 N개의 영역으로 나누어 각 영역별로 소정의 이미지 성분을 적분하여 출력하는 적분기; 및 상기 적분기에, 설정된 픽처의 중앙 영역의 시작번지와 끝번지를 전송하는 중앙 영역 설정부;를 포함한다.

그리고, 상기 소정의 이미지 성분은, 에지 성분인 것을 특징으로 한다.

또한, 상기 소정의 이미지 성분은, Y 성분인 것을 특징으로 한다.

또한, 상기 소정의 이미지 성분은, 최대값을 갖는 Y 성분인 것을 특징으로 한다.

그리고, 상기 픽처의 중앙 영역은, 윈도우 영역인 것을 특징으로 한다.

또한, 상기 이미지 센서는, 씨모스 이미지 센서인 것을 특징으로 한다.

한편, 상기 목적을 달성하기 위한 본 발명에 의한 자동초점조절방법은, 이미지 센서 및 ISP부에 의하여 렌즈부로부터 입사된 광신호를 입력받아 전기적 신호로 변환한 후에 디지털화된 영상 데이터를 출력하는 영상 데이터 출력단계; 상기 이미지 센서 및 ISP부로부터 출력된 영상 데이터를 자동초점 디지털신호처리기에 의하여 입력받아 소정의 이미지 성분을 추출한 후에, 픽처의 중앙 영역을 N(N: 2이상의 정수)개의 영역으로 나누어, 각 영역별로 소정의 이미지 성분 값을 적분하여 초점값을 산출하는 초점값 산출단계; 및 상기 초점값 산출단계에서 산출된 초점값에 따라 상기 자동초점 디지털신호처리기가 상기 렌즈부의 포커스 렌즈를 상하 구동하면서 최대 초점값을 산출하는 최대 초점값 출력단계;를 포함한다.

여기서, 상기 초점값 산출단계 및 최대 초점값 출력단계는, 상기 N개 각각의 영역을 구성하고 있는 복수의 라인에서 수행되는 것을 특징으로 한다.

이때, 상기 초점값 산출단계는, 상기 자동초점 디지털신호처리기의 광검출모듈에 의하여 상기 이미지 센서 및 ISP부로부터 영상 데이터를 입력받아 소정의 이 미지 성분을 추출하는 소정의 이미지 성분 추출단계; 픽처의 중앙 영역을 N개의 영역으로 나누고, 각 영역의 시작번지와 끝번지를 전송하는 중앙 영역 설정단계; 상기 광검출 모듈에 의하여 설정된 N개의 영역에 대하여, 각 영역별로 소정의 이미지 성분 값을 적분하여 초점값을 산출하는 소정의 이미지 성분 적분단계;을 포함한다.

또한, 상기 소정의 이미지 성분 추출단계 및 적분단계에서, 소정의 이미지 성분의 추출 및 적분은, 8의 배수개의 라인별로 수행되는 것을 특징으로 한다.

그리고, 상기 소정의 이미지 성분은, 에지 성분을 사용하는 것을 특징으로 한다.

또한, 상기 소정의 이미지 성분은, Y 성분을 사용하는 것을 특징으로 한다.

또한, 상기 소정의 이미지 성분은, 최대값을 갖는 Y 성분을 사용하는 것을 특징으로 한다.

그리고, 상기 픽처의 중앙 영역은, 윈도우 영역으로 설정하는 것을 특징으로 한다.

또한, 상기 이미지 센서는, 씨모스 이미지 센서를 사용하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 의한 바람직한 실시예에 대하여 보다 상세히 설명하기로 한다.

실시예 1

도 3은 본 발명에 따른 자동초점조절장치(300)의 구성도를 나타낸다.

도 3에서 도시한 바와 같이, 본 발명에 따른 자동초점조절장치(300)는 광신호가 입사되는 렌즈부(301), 상기 렌즈부(301)로 입사된 광신호를 입력받아 전기적 신호로 변환한 후에 디지털화한 영상 데이터를 출력하는 이미지 센서 및 ISP부(302), 상기 이미지 센서 및 ISP부(302)로부터 영상 데이터를 입력받아 소정의 이미지 성분을 추출한 후에, 픽처의 중앙 영역을 N(N: 2이상의 정수)개의 영역으로 나누어, 각 영역별로 상기 소정의 이미지 성분 값을 적분하여 초점값을 산출하고, 상기 각 영역별로 산출된 초점값에 따라 상기 렌즈부(301)의 포커스 렌즈를 상하 구동하면서 최대 초점값을 산출하는 자동초점 디지털신호처리기(303), 및 상기 렌즈부(301)의 포커스 렌즈를 구동시키는 액추에이터(304b)와 상기 액추에이터(304b)를 구동시키는 액추에이터 드라이버(304a)로 이루어진 구동부로 구성되어 있다.

상기 렌즈부(301)는 줌렌즈(Zoom Lens), 포커스 렌즈(Focus Lens)로 구성되며, 줌렌즈는 영상을 확대하는 렌즈이고 포커스 렌즈는 영상의 초점을 맞추는 렌즈이다.

상기 이미지센서와 ISP(Image signal process)부(302)는 이미지 센서와 ISP로 구성되는데, 이중 이미지 센서는 광학 신호를 전기신호로 변환하는 CCD 이미지 센서나 또는 CMOS 이미지 센서를 사용하나, 본 발명은 자동초점 조절시간을 단축시키기 위한 목적을 가지고 있으므로 CMOS 이미지 센서가 사용되는 카메라 모듈에 이용되는 것이 더 바람직하다.

또한, ISP는 사람의 시각에 맞게 이미지 데이터를 변환하도록 오토 화이트밸 랜스(Auto White Balance)나 오토 익스포저(Auto Exposure), 감마 컬렉션(Gamma Correction) 등으로 신호처리를 하여 화질을 개선하고, 개선된 화질의 이미지 데이터를 출력하는 역할을 한다.

또한, CCD 이미지 센서 또는 CMOS 이미지 센서는 그 종류가 다양하므로 각 제조사에 따라 ISP를 위한 인터페이스 및 특성 또한 각각 다르며, 이에 따라 ISP는 이미지 센서의 종류에 따라 다르게 제작된다.

여기에서 ISP는 색필터 배열보간(colar filer array interpolation), 색 매트릭스(colar matrix), 색 보정(colar correction), 색 향상(colar enhancement) 등의 영상처리를 거친다.

그리고, 영상 처리된 데이터는 CCIR656, 또는 CCIR601 포멧(YUV space)으로 변환된 후 휴대폰 호스트(305)에서 마스터 클럭(Master Clock)을 받아, 수직 동기 신호, 수평 동기 신호, 픽셀 클럭 신호와 함께 Y/Cb/Cr 또는 R/G/B으로 데이터를 출력하게 된다.

도 4a는 도 3의 자동초점 디지털신호처리기의 구성도이고, 도 4b는 본 발명의 실시예 1에 따른 광검출 모듈의 내부 블럭도를 나타낸다.

상기 자동초점 디지털신호처리기(Auto Focus DSP ; 303)는, 도 4a에 도시된 바와 같이, 상기 이미지 센서 및 ISP부(302)로부터 영상 데이터를 입력받아 소정의 이미지 성분을 추출한 후에, 픽처의 중앙 영역을 N개의 영역으로 나누어, 각 영역별로 소정의 이미지 성분 값을 적분하여 초점값을 산출하는 광검출 모듈(Optical Detection Module ; 401)과 상기 광검출 모듈(401)로부터 초점값을 입력받고 상기 초점값에 따라 렌즈부(301)의 포커스 렌즈를 상하 구동하면서 최대 초점값을 산출하여 자동초점 알고리즘을 수행하는 중앙처리장치(402)로 구성되어 있다.

여기에서, 광검출 모듈(401)은, 도 4b에 도시된 바와 같이, 상기 이미지 센서 및 ISP부(302)로부터 영상 데이터를 입력받아 소정의 이미지 성분을 추출하는 고역통과필터(401a), 상기 고역통과필터(401a)로부터 추출된 상기 소정의 이미지 성분을 입력 받고 픽처의 중앙 영역을 N개의 영역으로 나누어 각 영역별로 소정의 이미지 성분을 적분하여 출력하는 적분기(401b), 및 상기 적분기(401b)에 설정된 픽처 중앙 영역의 시작번지와 끝번지를 전송하는 중앙 영역 설정부(401c)로 구성되어 있다.

이미지 센서 및 ISP부(302)에서 전송되는 이미지 데이터는, 상기 자동초점 디지털신호처리기(303)에 입력된 후 상기 고역통과필터(401a)를 통과시키면, 이미지의 소정 성분만 추출되어 지며, 이때 추출되는 이미지의 소정 성분에는 에지 성분, Y 성분, 최대값을 갖는 Y 성분들이 있다.

또한, 중앙 영역 설정부(401c)에서 픽처 내 중앙 영역의 시작 (start) 위치와 종료(end) 위치를 전송하게 되면, 고역통과필터(401a)를 통해서 추출된 성분값을 적분기(401b)에서 누산하게 된다. 이렇게 누산된 초점값은 카메라 모듈에서 초점을 조절하는 기준 데이타가 된다.

보통 정지 화상의 경우 렌즈(301)를 이동하여 초점을 맞추게 되는데, 동일한 화상이라도 초점이 잘 맞는 경우는 초점값이 높게 나오고, 초점이 잘 맞지 않는 경 우는 초점값이 낮게 나오게 된다. 이에 따라 최대 초점값을 찾기 위해서는 액추에이터 드라이버(304a)를 통해 액추에이터(304b)를 움직여 렌즈(301)를 이동시키면서 초점값이 가장 큰 곳을 찾아야 한다.

상기와 같이 초점값을 찾는 알고리즘은 중앙처리장치(402)에서 수행되어지며, 이때 중앙처리장치(402)는 렌즈(301)를 어느 방향으로 이동시킬 것인지를 판단하여 액추에이터 드라이버(304a)와 액추에이터(304b)로 구성되어 있는 구동부(304)를 제어하게 된다.

한편, 도 5a 및 도 5b는 본 발명에 따른 실시예 1의 VGA(640x480)급 픽처(500) 및 상기 픽처 내 중앙 영역의 N개의 영역 중 한 영역(501)을 나타낸 도면이다.

도 5a에서 도시한 바와 같이, 픽처의 중앙 영역을 N개의 영역(여기서는 5개의 영역 ; 501~505)으로 나누어서 각 영역별로 각각의 초점값을 가지도록 한다.

여기서, 픽처의 중앙 영역이란, 상기 픽처의 중앙 라인을 기준으로 상위 영역과 하위 영역으로 나눌 때, 상기 픽처의 중앙 라인으로부터 시작하여 상기 상위 영역의 1/2되는 라인에서 끝나는 영역과 상기 픽처의 중앙 라인으로부터 시작하여 상기 하위 영역의 1/2되는 라인에서 끝나는 영역이 합쳐진 영역을 의미한다.

또한, 도 5b에서 도시한 바와 같이, 상기 N개의 영역 각각(501)은 에지, Y, 최대값을 갖는 Y 성분 등을 추출하고 추출된 상기 성분들을 적분하는 추출 및 적분 라인영역(501a)과, 상기 성분들의 적분값에 따라 초점값을 산출하는 알고리즘동작 라인영역(501b)과, 상기 산출된 초점값에 따라 렌즈부의 포커스 렌즈를 상하 구동시키는 렌즈구동 라인영역(501c)으로 구성되어 있다.

이때 에지, Y, 최대값을 갖는 Y 성분 등을 추출하고 추출된 상기 성분들을 적분하는 추출 및 적분 라인영역(501a)은 8의 배수개의 라인으로 구성된다. 그 이유를 살펴보면 다음과 같다.

자동초점조절장치가 포함된 카메라 모듈에는 이미지 센서 및 ISP부에서 입력받은 영상 데이터를 압축하는 압축 모듈(미도시)이 포함되어 있는데, 상기 압축 모듈은, 입력된 영상 데이터를 일정수의 화소로 이루어진 단위 영역에 대응되도록 가로, 세로 8×8 단위 영역으로 블럭화하고, 상기 블럭화된 영상 데이터를 출력하며, 상기 블럭화된 영상 데이터를 이산코사인 변환(DCT: Discrete Cosine Transform) 등을 이용해 주파수 변환하여 각 블럭에 대응하는 주파수 성분을 출력한다. 따라서 가로, 세로 8×8 단위의 블럭은 입력된 영상 데이터를 부호화 하는 기본 단위가 되므로 에지, Y, 최대값을 갖는 Y 성분 등을 추출하고 추출된 상기 성분들을 적분하는 추출 및 적분 라인영역(501a)은 8의 배수개의 라인으로 구성되는 것이 바람직하다.

상기 도 5a와 도 5b에 도시한 바와 같이, 본 발명에서는 하나의 픽처를 N개의 영역으로 나누어 각 영역별로 초점값을 산출하고, 상기 산출된 초점값에 따라 렌즈를 이동시켜 최대 초점값을 탐색하므로 한 픽처당 N번의 렌즈의 이동이 발생됨을 알 수 있다. 이에 따라, 프레임 레이트가 상당히 낮은 CMOS 이미지 센서를 사용하는 카메라 모듈에서도 상당히 빠른 자동초점 조절시간을 기대할 수 있다.

한편, 도 6a는 본 발명에 따른 픽처의 동기 신호로 사용되는 신호를 나타낸 도면으로서, 도 6a에서 도시한 바와 같이, 픽처의 동기 신호로 사용되는 신호는 픽처의 시작을 알리는 수직 동기 신호(S1), 픽처 내에 존재하는 라인의 이미지의 활성화 상태를 알리는 수평 동기 신호(S2), 각 화소 데이터의 동기화를 나타내는 픽셀 클럭 신호(미도시)로 구성되어 있다.

또한, 도 6b는 본 발명에 따른 N개의 영역 중 한 영역에 대한 자동초점 조절시간(T)을 나타낸 도면이다.

도 6b에서 도시한 바와 같이, N개의 영역 중 한 영역에 대하여, 상기 N개의 영역 중 한 영역에 해당하는 수직 동기 신호(S1)와 수평 동기 신호(S2´)가 인가 된다면, 상기 N개의 영역 중 한 영역에 대한 자동초점 조절시간(T)는 T₁, T₂, T₃의 합으로 나타낼 수 있다. 여기서 T₁은 에지, Y, 최대값을 갖는 Y 성분 등을 추출하고 추출된 상기 성분들을 적분하는 시간, T₂는 상기 성분들의 적분값에 따라 자동초점 디지털신호처리기에서 알고리즘을 수행하여 초점값을 산출하는 시간, T₃는 상기 산출된 초점값에 따라 렌즈부의 포커스 렌즈를 상하 구동시키는 시간을 의미한다.

따라서, 상기 픽처의 121~136 라인에서는 에지, Y, 최대값을 갖는 Y 성분 등을 추출하고 추출된 상기 성분들을 적분하며, 136~137 라인에서는 상기 성분들의 적분값에 따라 알고리즘을 수행하여 초점값을 산출하고, 138~168 라인에서는 상기 산출된 초점값에 따라 렌즈부의 포커스 렌즈를 구동시키게 된다.

한편, 도 8a는 본 발명의 실시예 1에 따른 카메라의 자동초점조절방법의 흐름도를 나타내며, 도 8a에 도시된 바와 같이 본 발명의 실시예 1에 따른 카메라의 자동초점조절방법은 5단계로 나누어 볼 수 있다.

먼저, 이미지 센서 및 ISP부가 광신호를 디지털 신호로 변환하여 출력한다(S801a).

그 다음, 자동초점 디지털신호처리기가 영상 데이터 중 소정의 이미지(에지, Y, 최대값을 갖는 Y) 성분을 추출한다(S801b).

그 다음, 자동초점 디지털신호처리기가 픽처의 중앙 영역을 N개의 영역으로 나누고, 각 영역의 시작번지와 끝번지를 전송한다(S801c).

그 다음, 자동초점 디지털신호처리기가 각 영역별로 소정의 이미지(에지, Y, 최대값을 갖는 Y) 성분값을 적분하여 초점값을 산출한다(S801d).

마지막으로, 자동초점 디지털신호처리기가 렌즈를 이동시키면서 최대 초점값을 산출한다(S801e).

실시예 2

본 발명의 실시예 2에 따른 카메라의 자동초점조절장치의 구성도는 실시예 1에서 언급한 도 3과 도 4a 및 도 4b와 거의 동일하다. 다만, 실시예 2는, 실시예 1과는 달리, 픽처 내의 윈도우 설정 영역을 N개의 영역으로 나누어 각 영역별로 소정의 이미지 성분 값을 적분하여 초점값을 산출하고, 상기 각 영역별로 산출된 초 점값에 따라 렌즈부(301)의 포커스 렌즈를 상하 구동하면서 최대 초점값을 산출하므로, 자동초점 디지털신호처리기(303)를 구성하는 광검출 모듈(401)의 구성이 실시예 1과 약간 상이하다.

즉, 도 4c가 본 발명의 실시예 2에 따른 광검출 모듈(401)을 나타낸 것으로서, 실시예 2에 따른 광검출 모듈(401)은, 도 4c에서 도시한 바와 같이, 상기 이미지 센서 및 ISP부(302)로부터 영상 데이터를 입력받아 소정의 이미지 성분을 추출하는 고역통과필터(401d), 상기 고역통과필터(401d)로부터 추출된 상기 소정의 이미지 성분을 입력 받고 윈도우 설정 영역을 N개의 영역으로 나누어 각 영역별로 소정의 이미지 성분을 적분하여 출력하는 적분기(401e), 및 상기 적분기(401e)에 설정된 윈도우 영역의 시작번지와 끝번지를 전송하는 윈도우 영역 설정부(401f)로 구성되어 있다.

따라서, 윈도우 영역 설정부(401f)에서 윈도우 영역의 시작 위치와 종료 위치를 전송하게 되면, 고역통과필터(401d)를 통해서 추출된 성분값을 적분기(401e)에서 누산하게 된다.

한편, 도 7a 및 도 7b는 본 발명에 따른 실시예 2의 VGA(640x480)급 픽처(700) 및 상기 윈도우 영역(700a)의 N개의 영역 중 한 영역(701)을 나타낸 도면이다.

도 7a에서 도시한 바와 같이, 윈도우 영역(701a)을 N개의 영역(여기서는 5개의 영역 ; 701~705)으로 나누어서 각 영역별로 각각의 초점값을 가지도록 한다.

여기서, 윈도우 영역(701a)이란, 사진을 촬영하는 사용자 대부분이 관심을 두는 부분으로 보통 화면의 중앙부를 윈도우 영역(701a)으로 지정하게 된다.

또한, 도 7b에서 도시한 바와 같이, 상기 N개의 영역 각각(701)은 에지, Y, 최대값을 갖는 Y 성분 등을 추출하고 추출된 상기 성분들을 적분하는 추출 및 적분 라인영역(701a)과, 상기 성분들의 적분값에 따라 초점값을 산출하는 알고리즘동작 라인영역(701b)과, 상기 산출된 초점값에 따라 렌즈부의 포커스 렌즈를 상하 구동시키는 렌즈구동 라인영역(701c)으로 구성되어 있다.

이때 에지, Y, 최대값을 갖는 Y 성분 등을 추출하고 추출된 상기 성분들을 적분하는 추출 및 적분 라인영역(701a)은 실시예 1과 마찬가지로 8의 배수개의 라인으로 구성된다.

실시예 1과 같이, 본 발명의 실시예 2에서도, 하나의 픽처 내의 윈도우 설정 영역을 N개의 영역으로 나누어 각 영역별로 초점값을 산출하고, 상기 산출된 초점값에 따라 렌즈를 이동시켜 최대 초점값을 탐색하므로 한 픽처당 N번의 렌즈의 이동이 발생됨을 알 수 있다. 이에 따라, 프레임 레이트가 상당히 낮은 CMOS 이미지 센서를 사용하는 카메라 모듈에서도 상당히 빠른 자동초점 조절시간을 기대할 수 있다.

한편, 본 발명의 실시예 2에 따른 픽처의 동기 신호와 윈도우 영역의 N개의 영역 중 한 영역에 대한 자동초점 조절시간(T)도 상기 실시예 1에서 도시한 도 6a 및 도 6b에서 설명한 내용과 동일하다. 단, 윈도우 영역의 N개의 영역 중 한 영역을 구성하는 이미지 화소의 수가 픽처 내 중앙 영역 중 한 영역을 구성하는 이미지 화소의 수보다 작으므로, 실시예 2가 실시예 1보다 자동초점 조절시간이 단축될 수 있다.

한편, 도 8b는 본 발명의 실시예 2에 따른 카메라의 자동초점조절방법의 흐름도를 나타내며, 도 8b에 도시된 바와 같이 본 발명의 실시예 2에 따른 카메라의 자동초점조절방법도 5단계로 나누어 볼 수 있다.

먼저, 이미지 센서 및 ISP부가 광신호를 디지털 신호로 변환하여 출력한다(S802a).

그 다음, 자동초점 디지털신호처리기가 영상 데이터 중 소정의 이미지(에지, Y, 최대값을 갖는 Y) 성분을 추출한다(S802b).

그 다음, 자동초점 디지털신호처리기가 윈도우 설정 영역을 N개의 영역으로 나누고, 각 영역의 시작번지와 끝번지를 전송한다(S802c).

그 다음, 자동초점 디지털신호처리기가 각 영역별로 소정의 이미지(에지, Y, 최대값을 갖는 Y) 성분값을 적분하여 초점값을 산출한다(S802d).

마지막으로, 자동초점 디지털신호처리기가 렌즈를 이동시키면서 최대 초점값을 산출한다(S802e).

이상에서 설명한 본 발명의 바람직한 실시예들은 예시의 목적을 위해 개시된 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능할 것이며, 이러한 치환, 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

상술한 바와 같이, 본 발명에 따른 카메라의 자동초점조절장치 및 그 방법에 의하면, 픽처의 중앙 영역 또는 윈도우 설정 영역을 N개의 영역으로 나누어 각 영역별로 자동초점을 조절함으로써, 자동초점 조절시간을 줄일 수 있는 이점이 있다.

특히, 최근 씨모스 이미지 센서의 개선된 화질로 인해, 전력소모가 작고 소형화에 유리한 씨모스 이미지 센서가 휴대폰, 스마트폰, PDA 등에 많이 사용되고 있는 현실에서, 본 발명은 씨모스 이미지 센서의 낮은 프레임 레이트로 인해 자동초점 조절시간이 느려지는 문제점을 일거에 해결할 수 있다는 점에서 종래의 기술보다 현저한 효과가 있다

Claims

광신호가 입사되는 렌즈부;

상기 렌즈부로 입사된 광신호를 입력받아 전기적 신호로 변환한 후에 디지털화한 영상 데이터를 출력하는 이미지 센서 및 ISP부;

상기 이미지 센서 및 ISP부로부터 영상 데이터를 입력받아 소정의 이미지 성분을 추출한 후에, 픽처의 중앙 영역을 N(N: 2이상의 정수)개의 영역으로 나누어, 각 영역별로 상기 소정의 이미지 성분 값을 적분하여 초점값을 산출하고, 상기 각 영역별로 산출된 초점값에 따라 상기 렌즈부의 포커스 렌즈를 상하 구동하면서 최대 초점값을 산출하는 자동초점 디지털신호처리기; 및

상기 렌즈부의 포커스 렌즈를 구동시키는 구동부;를 포함하는 카메라의 자동초점조절장치.
제 1항에 있어서,

상기 N개의 영역 각각은, 소정의 이미지 성분을 추출하고 추출된 상기 소정의 이미지 성분들을 적분하는 추출 및 적분 라인영역과, 상기 소정의 이미지 성분들의 적분값에 따라 초점값을 산출하는 알고리즘동작 라인영역과, 상기 산출된 초점값에 따라 렌즈부의 포커스 렌즈를 상하 구동시키는 렌즈구동 라인영역으로 구성되는 것을 특징으로 하는 카메라의 자동초점조절장치.
제 2항에 있어서,

소정의 이미지 성분을 추출하고 추출된 상기 소정의 이미지 성분들을 적분하는 추출 및 적분 라인영역은, 8의 배수개의 라인으로 구성되는 것을 특징으로 하는 카메라의 자동초점조절장치.
제 1항에 있어서,

상기 자동초점 디지털신호처리기는,

상기 이미지 센서 및 ISP부로부터 영상 데이터를 입력받아 소정의 이미지 성분을 추출한 후에, 픽처의 중앙 영역을 N개의 영역으로 나누어, 각 영역별로 소정의 이미지 성분 값을 적분하여 초점값을 산출하는 광검출 모듈; 및

상기 광검출 모듈로부터 초점값을 입력받고 상기 초점값에 따라 렌즈부의 포커스 렌즈를 상하 구동하면서 최대 초점값을 산출하여 자동초점 알고리즘을 수행하는 중앙처리장치;를 포함하는 카메라의 자동초점조절장치.
제 4항에 있어서,

상기 광검출 모듈은,

상기 이미지 센서 및 ISP부로부터 영상 데이터를 입력받아 소정의 이미지 성분을 추출하는 고역통과필터;

상기 고역통과필터로부터 추출된 상기 소정의 이미지 성분을 입력 받고, 픽처의 중앙 영역을 N개의 영역으로 나누어 각 영역별로 소정의 이미지 성분을 적분 하여 출력하는 적분기; 및

상기 적분기에, 설정된 픽처의 중앙 영역의 시작번지와 끝번지를 전송하는 중앙 영역 설정부;를 포함하는 카메라의 자동초점조절장치.
제 1항 내지 제 5항 중 어느 한 항에 있어서,

상기 소정의 이미지 성분은, 에지 성분인 것을 특징으로 하는 카메라의 자동초점조절장치.
제 1항 내지 제 5항 중 어느 한 항에 있어서,

상기 소정의 이미지 성분은, Y 성분인 것을 특징으로 하는 카메라의 자동초점조절장치.
제 1항 내지 제 5항 중 어느 한 항에 있어서,

상기 소정의 이미지 성분은, 최대값을 갖는 Y 성분인 것을 특징으로 하는 카메라의 자동초점조절장치.
제 1항 내지 제 5항 중 어느 한 항에 있어서,

상기 픽처의 중앙 영역은, 윈도우 영역인 것을 특징으로 하는 카메라의 자동초점조절장치.
제 1항 내지 제 5항 중 어느 한 항에 있어서,

상기 이미지 센서는, 씨모스 이미지 센서인 것을 특징으로 하는 카메라의 자동초점조절장치.
이미지 센서 및 ISP부에 의하여 렌즈부로부터 입사된 광신호를 입력받아 전기적 신호로 변환한 후에 디지털화된 영상 데이터를 출력하는 영상 데이터 출력단계;

상기 이미지 센서 및 ISP부로부터 출력된 영상 데이터를 자동초점 디지털신호처리기에 의하여 입력받아 소정의 이미지 성분을 추출한 후에, 픽처의 중앙 영역을 N(N: 2이상의 정수)개의 영역으로 나누어, 각 영역별로 소정의 이미지 성분 값을 적분하여 초점값을 산출하는 초점값 산출단계; 및

상기 초점값 산출단계에서 산출된 초점값에 따라 상기 자동초점 디지털신호처리기가 상기 렌즈부의 포커스 렌즈를 상하 구동하면서 최대 초점값을 산출하는 최대 초점값 출력단계;를 포함하는 카메라의 자동초점조절방법.
제 11항에 있어서,

상기 초점값 산출단계 및 최대 초점값 출력단계는, 상기 N개 각각의 영역을 구성하고 있는 복수의 라인에서 수행되는 것을 특징으로 하는 카메라의 자동초점조절방법.
제 12항에 있어서

상기 초점값 산출단계는,

상기 자동초점 디지털신호처리기의 광검출모듈에 의하여 상기 이미지 센서 및 ISP부로부터 영상 데이터를 입력받아 소정의 이미지 성분을 추출하는 소정의 이미지 성분 추출단계;

픽처의 중앙 영역을 N개의 영역으로 나누고, 각 영역의 시작번지와 끝번지를 전송하는 중앙 영역 설정단계;

상기 광검출 모듈에 의하여 설정된 N개의 영역에 대하여, 각 영역별로 소정의 이미지 성분 값을 적분하여 초점값을 산출하는 소정의 이미지 성분 적분단계;을 포함하는 카메라의 자동초점조절방법.
제 13항에 있어서,

상기 소정의 이미지 성분 추출단계 및 적분단계에서,

소정의 이미지 성분의 추출 및 적분은, 8의 배수개의 라인별로 수행되는 것을 특징으로 하는 카메라의 자동초점조절방법.
제 11항 내지 제 14항 중 어느 한 항에 있어서,

상기 소정의 이미지 성분은, 에지 성분을 사용하는 것을 특징으로 하는 카메라의 자동초점조절방법.
제 11항 내지 제 14항 중 어느 한 항에 있어서,

상기 소정의 이미지 성분은, Y 성분을 사용하는 것을 특징으로 하는 카메라의 자동초점조절방법.
제 11항 내지 제 14항 중 어느 한 항에 있어서,

상기 소정의 이미지 성분은, 최대값을 갖는 Y 성분을 사용하는 것을 특징으로 하는 카메라의 자동초점조절방법.
제 11항 내지 제 14항 중 어느 한 항에 있어서,

상기 픽처의 중앙 영역은, 윈도우 영역으로 설정하는 것을 특징으로 하는 카메라의 자동초점조절방법.
제 11항 내지 제 14항 중 어느 한 항에 있어서,

상기 이미지 센서는, 씨모스 이미지 센서를 사용하는 것을 특징으로 하는 카메라의 자동초점조절방법.