KR102508248B1

KR102508248B1 - 중력 및 온도 센서를 이용한 카메라의 자동 초점 조절 방법, 카메라 제어 장치, 및 카메라 시스템

Info

Publication number: KR102508248B1
Application number: KR1020150117475A
Authority: KR
Inventors: 유호준
Original assignee: 삼성전자주식회사
Priority date: 2015-08-20
Filing date: 2015-08-20
Publication date: 2023-03-08
Also published as: CN106470316A; US20170054884A1; US10063755B2; TWI693827B; KR20170022464A; CN106470316B; TW201711447A

Abstract

중력 및 온도 센서를 이용한 카메라의 자동 초점 조절 방법, 카메라 제어 장치, 및 카메라 시스템이 제공된다. 본 발명의 카메라 제어 장치는 플라스틱 렌즈 및 상기 렌즈의 위치를 오픈 루프 방식으로 제어하는 액추에이터를 포함하는 카메라 모듈을 제어하는 장치로서, 상기 카메라의 측정 온도에 해당하는 제1 오프셋을 결정하고, 상기 카메라의 측정 자세에 따른 제2 오프셋을 결정하여 제공하는 오프셋 결정부, 상기 제1 오프셋 및 상기 제2 오프셋에 기초하여 상기 렌즈의 이동 범위를 결정하는 렌즈 이동 범위 결정부 및 상기 결정된 이동 범위에 따라 상기 렌즈의 위치를 제어하기 위한 위치 제어 신호를 상기 카메라 모듈로 출력하며, 상기 렌즈의 초점 위치를 찾는 자동 초점 산출부를 포함한다.

Description

중력 및 온도 센서를 이용한 카메라의 자동 초점 조절 방법, 카메라 제어 장치, 및 카메라 시스템{Auto-focus Method of Camera Using Temperature and Gravity Sensors, Apparatus For Controlling Camera And System Including The Same}

본 발명의 개념에 따른 실시예는 카메라의 자동 초점(auto-focus) 장치 및 방법에 관한 것으로, 보다 상세하게는 중력 및 온도 센서를 이용한 카메라 제어 장치, 카메라 자동 초점 조절 방법 및 상기 장치를 포함하는 시스템에 관한 것이다.

자동 초점(오토 포커스(auto focus)) 조절 기능은 자동으로 피사체에 초점을 맞추는 기능으로, 수동 초점(manual focus)보다 빠르고 정확하게 초점을 잡을 수 있다.

자동 초점 조절 기능을 지원하는 카메라 모듈은 일반적으로 이미지 센서와 렌즈, 그리고 렌즈를 움직이는 액추에이터(actuator)로 구성된다.

이 중 액추에이터는 정확한 초점을 얻기 위해 렌즈를 센서 면으로부터 수직 방향으로 움직이는 장치이다. 액추에이터 방식으로는 보이스 코일 모터(VCM: Voice Coil Motor), 피에조 모터(Piezo motor), 스텝퍼 모터(stepper motor) 등이 있다.

중저가형의 모바일 카메라에서는 VCM 방식의 액추에이터가 많이 사용된다.

한편, 카메라 렌즈의 종류로는 재료에 따라 유리(glass) 렌즈, 플라스틱 렌즈, 액체 렌즈 등이 있으며, 모바일 카메라 시장에서는 이 중 저가형의 플라스틱 렌즈가 많이 사용된다. 플라스틱 렌즈는 열저항력(heat-resistance)이 취약한 단점이 있다. 즉, 주변 온도에 따라 렌즈의 수축, 팽창이 심하여 초점 거리가 크게 변하게 된다.

본 발명이 이루고자 하는 기술적인 과제는 중력 감지 센서 및 온도 센서를 이용하여 카메라 렌즈를 보다 정밀하게 제어함으로써 자동 초점 속도를 향상시키는 카메라 자동 초점 조절 방법, 카메라 제어 장치 및 카메라 시스템을 제공하는 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따르면, 플라스틱 렌즈 및 상기 렌즈의 위치를 오픈 루프(oen-loop) 방식으로 제어하는 액추에이터를 포함하는 카메라의 자동 초점 조절 방법이 제공된다. 상기 카메라의 자동 초점 조절 방법은 상기 카메라의 주변 온도를 측정한 측정 온도 정보를 수신하는 단계; 상기 카메라의 자세를 측정한 측정 자세 정보를 수신하는 단계; 상기 측정 온도 정보에 따른 제1 오프셋을 결정하는 단계; 상기 측정 자세 정보에 따른 제2 오프셋을 결정하는 단계; 상기 제1 오프셋 및 상기 제2 오프셋에 기초하여 상기 렌즈의 이동 범위를 결정하는 단계; 및 상기 결정된 이동 범위에 따라 상기 렌즈의 초점 위치를 찾는 단계를 포함한다.

상기 렌즈의 이동 범위를 결정하는 단계는 초기 렌즈 이동 범위를 레지스터에 설정하는 단계; 및 상기 초기 렌즈 이동 범위에 상기 제1 오프셋 및 상기 제2 오프셋을 더하여 상기 렌즈의 이동 범위를 결정하는 단계를 포함할 수 있다.

상기 초기 렌즈 이동 범위는 초기 시작값 및 초기 종료값을 포함할 수 있다.

상기 렌즈의 이동 범위를 결정하는 단계는 상기 초기 시작값에 상기 제1 오프셋 및 상기 제2 오프셋을 더하여 상기 렌즈의 시작 위치를 결정하는 단계; 및 상기 초기 종료값에 상기 제1 오프셋 및 상기 제2 오프셋을 더하여 상기 렌즈의 종료 위치를 결정하는 단계를 포함할 수 있다.

상기 결정된 이동 범위에 따라 상기 렌즈의 초점 위치를 찾는 단계는 상기 결정된 시작 위치에 따라 위치 제어 신호를 출력하는 단계; 상기 시작 위치로 구동된 렌즈를 이용하여 캡처된 이미지를 수신하여 분석하는 단계; 및 상기 분석 결과에 기초하여, 상기 렌즈의 포커싱 여부를 판단하는 단계를 포함할 수 있다.

상기 결정된 이동 범위에 따라 상기 렌즈의 초점 위치를 찾는 단계는 상기 렌즈의 포커싱 여부를 판단한 결과, 상기 렌즈의 포커싱이 맞지 않으면, 위치 변경 신호를 출력하는 단계; 및 상기 위치 변경 신호에 따라 변경된 위치로 구동된 렌즈를 이용하여 캡처된 이미지를 수신하여 분석하는 단계를 더 포함할 수 있다.

상기 측정된 온도에 따른 제1 오프셋을 결정하는 단계는 복수의 온도들 각각에 상응하는 온도 오프셋을 포함하는 제1 룩업 테이블로부터 상기 측정된 온도에 가장 근접한 적어도 하나의 온도 오프셋을 선택하는 단계를 포함할 수 있다.

상기 측정된 온도에 따른 온도 오프셋을 결정하는 단계는 상기 선택된 적어도 하나의 온도 오프셋을 보간(interpolation)하여, 상기 제1 오프셋을 산출하는 단계를 더 포함할 수 있다.

상기 측정 자세 정보에 따른 제2 오프셋을 결정하는 단계는 복수의 자세들 각각에 상응하는 자세 오프셋을 포함하는 제2 룩업 테이블로부터 상기 측정된 자세에 가장 근접한 적어도 하나의 자세 오프셋을 선택하는 단계를 포함할 수 있다.

상기 측정된 카메라의 자세에 따른 제2 오프셋을 결정하는 단계는 상기 선택된 적어도 하나의 자세 오프셋을 보간(interpolation)하여, 상기 제2 오프셋을 산출하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따르면, 플라스틱 렌즈 및 상기 렌즈의 위치를 오픈 루프 방식으로 제어하는 액추에이터를 포함하는 카메라 모듈을 제어하는 카메라 제어 장치가 제공된다. 상기 카메라 제어 장치는 상기 카메라의 측정 온도에 해당하는 제1 오프셋을 결정하고, 상기 카메라의 측정 자세에 따른 제2 오프셋을 결정하여 제공하는 오프셋 결정부; 상기 제1 오프셋 및 상기 제2 오프셋에 기초하여 상기 렌즈의 이동 범위를 결정하는 렌즈 이동 범위 결정부; 상기 결정된 이동 범위에 따라 상기 렌즈의 초점 위치를 찾는 자동 초점 산출부; 및 상기 결정된 이동 범위에 따라 상기 액추에이터를 제어하기 위한 제어 신호를 발생하는 제어 신호 발생기(335)를 포함한다.

상기 카메라 제어 장치는 초기 렌즈 이동 범위를 저장하는 레지스터를 더 포함할 수 있다.

상기 렌즈 이동 범위 결정부는 상기 초기 시작값에 상기 제1 오프셋 및 상기 제2 오프셋을 더하여 상기 렌즈의 시작 위치를 결정하고, 상기 초기 종료값에 상기 제1 오프셋 및 상기 제2 오프셋을 더하여 상기 렌즈의 종료 위치를 결정할 수 있다.

상기 오프셋 결정부는 복수의 온도들 각각에 상응하는 온도 오프셋을 저장하고, 상기 측정 온도에 가장 근접한 적어도 하나의 온도 오프셋을 선택하여 출력하는 제1 룩업 테이블; 및 복수의 자세들 각각에 상응하는 자세 오프셋을 저장하고, 상기 측정 자세에 가장 근접한 적어도 하나의 자세 오프셋을 선택하여 출력하는 제2 룩업 테이블를 포함할 수 있다.

상기 복수의 온도들 각각에 상응하는 온도 오프셋 및 복수의 자세들 각각에 상응하는 자세 오프셋은 상기 카메라 모듈 또는 상기 카메라 모듈을 대표하는 대표 모듈을 테스트하거나 시뮬레이션하여 미리 결정될 수 있다.

본 발명의 실시예에 따르면, 플라스틱 렌즈 및 상기 렌즈의 위치를 오픈 루프 방식으로 제어하는 액추에이터를 포함하는 카메라 모듈; 상기 카메라 모듈의 온도를 측정하는 온도 센서; 상기 카메라 모듈의 자세를 측정하는 자세 센서; 및 상기 측정 온도 및 상기 측정 자세에 기초하여 상기 카메라 모듈을 제어하는 카메라 제어 장치를 포함하는 카메라 시스템이 제공된다.

상기 카메라 제어 장치는 상기 측정 온도에 해당하는 제1 오프셋과 상기 측정 자세에 해당하는 제2 오프셋을 결정하고, 상기 결정된 제1 오프셋 및 상기 제2 오프셋에 기초하여 상기 렌즈의 이동 범위를 결정하며, 상기 결정된 이동 범위에 따라 상기 렌즈의 초점 위치를 찾을 수 있다.

상기 카메라 제어 장치는 미리 설정된 초기 렌즈 이동 범위에 상기 제1 오프셋 및 상기 제2 오프셋을 가감하여 상기 렌즈의 이동 범위를 결정하고, 상기 결정된 이동 범위에 따라 상기 액추에이터를 제어하기 위한 위치 제어 신호를 상기 카메라 모듈로 출력할 수 있다.

상기 카메라 모듈은 상기 위치 제어 신호에 기초하여 상기 렌즈의 위치를 조절하고, 상기 조절된 렌즈를 이용하여 이미지를 캡쳐하고, 캡쳐된 이미지를 상기 카메라 제어 장치로 출력하며, 상기 카메라 제어 장치는 상기 캡처된 이미지를 상기 카메라 모듈로부터 수신하여 분석하고, 상기 분석 결과에 기초하여 상기 렌즈의 포커싱 여부를 판단할 수 있다.

상기 카메라 제어 장치는 상기 캡쳐된 이미지의 콘트라스트 값을 산출하고, 상기 콘트라스트 값의 피크치에 기초하여 상기 렌즈의 포커싱 여부를 판단할 수 있다.

상기 카메라 제어 장치는 상기 카메라 모듈로부터 상기 렌즈의 위치에 대한 정보를 수신하지 않으며, 상기 렌즈가 포커싱될 때까지 상기 결정된 이동 범위 내에서 순차적으로 이동 위치를 변경하기 위한 상기 위치 제어 신호를 상기 카메라 모듈로 출력하고, 상기 위치 제어 신호에 응답하여 변경된 렌즈를 이용하여 캡처된 이미지를 상기 카메라 모듈로부터 수신하여 분석할 수 있다.

본 발명의 실시예에 따르면, 오픈 루프 방식으로 렌즈의 위치를 조절하는 VCM 방식의 액추에이터와 온도에 민감한 플라스틱 렌즈를 포함한 카메라 모듈을 포함하는 중저가형 카메라에서 오토 포커싱 동작시, 카메라의 자세 및 온도에 따른 오프셋을 결정하고, 렌즈 이동 범위 결정시 자세 및 온도에 따른 오프셋을 반영함으로써, 렌즈 이동 범위를 줄일 수 있다. 이에 따라, 오토 포커싱 동작의 성능 및 속도를 개선할 수 있다.

도 1은 본 발명의 실시예에 따른 카메라 시스템을 나타내는 블록도이다.
도 2는 도 1에 도시된 카메라 모듈의 실시예를 나타내는 블록도이다.
도 3은 도 1에 도시된 자동 초점 조절기의 실시예를 나타내는 블록도이다.
도 4는 도 3에 도시된 오프셋 결정부의 일 실시예를 나타내는 블록도이다.
도 5a 및 도 5b는 각각 도 4에 도시된 자세 룩업 테이블 및 온도 룩업 테이블의 일 실시예를 나타내는 테이블이다.
도 6은 도 3에 도시된 자동 초점 산출부의 일 실시예를 나타내는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 카메라 시스템의 구성 블록도이다.
도 8은 본 발명의 일 실시예에 따른 카메라의 자동 초점 조절 방법을 나타내는 순서도이다.
도 9는 도 8에 도시된 렌즈 초점위치를 찾는 단계의 일 실시예를 나타내는 순서도이다.
도 9는 도 1에 도시된 이미지 센서를 포함하는 전자 시스템 및 인터페이스를 나타낸다.
도 10은 본 발명의 실시예에 따른 전자 시스템을 나타내는 구성 블록도이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 실시예에 따른 카메라 시스템(1)을 나타내는 블록도이다. 도 2는 도 1에 도시된 카메라 모듈(20)의 실시예를 나타내는 블록도이다. 도 3은 도 1에 도시된 자동 초점 조절기(300)의 실시예를 나타내는 블록도이다. 도 4는 도 3에 도시된 오프셋 결정부(310)의 일 실시예를 나타내는 블록도이다. 도 5a 및 도 5b는 각각 도 4에 도시된 자세 룩업 테이블(311) 및 온도 룩업 테이블(315)의 일 실시예를 나타내는 테이블이다. 도 6은 도 3에 도시된 자동 초점 산출부(330)의 일 실시예를 나타내는 블록도이다.

도 1내지 도 6을 참조하면, 카메라 시스템(1)은 프로세서(processor, 10), 카메라 모듈(camera module, 20), 외부 메모리(30), 디스플레이 장치(40), 온도 센서(temperature sensor, 50) 및 중력 센서(gravity sensor, 60)를 포함할 수 있다.

카메라 모듈(20)은 렌즈(210), 액추에이터(actuator, 220), 이미지 센서(230) 및 제어 회로(240)를 포함할 수 있다.

렌즈(210)는 초점을 맞추기 위한 렌즈(이하, '초점용 렌즈'라 함)일 수 있다. 카메라 모듈(20)은 초점용 렌즈(210) 외에도 빛을 모으기 위한 렌즈(미도시), 빛을 분산하기 위한 렌즈(미도시) 등을 더 포함할 수 있다. 예컨대, 카메라 모듈(20)은 서로 다른 기능을 수행하는 둘 이상의 렌즈를 포함할 수 있다.

초점용 렌즈(210)는 플라스틱 렌즈로 구현될 수 있다. 초점용 렌즈(210)가 플라스틱으로 구현되는 경우 중저가의 카메라 시스템(1)을 구현할 수 있다.

액추에이터(220)는 초점용 렌즈(210)의 위치를 조절함으로써, 자동 초점(auto-focus) 동작을 수행할 수 있다.

일 실시예에서, 액추에이터(220)는 초점용 렌즈(210)의 위치를 오픈 루프(open-loop) 방식으로 제어하는 보이스 코일 모터(VCM) 액추에이터일 수 있다. 오픈 루프 방식이란, 렌즈(210)의 위치 정보를 피드백 받지 않고 렌즈(210)의 위치의 조절하는 방식이라는 점에서, 렌즈(210)의 위치 정보를 피드백 받아서 렌즈(210)의 위치를 제어하는 폐루프(closed-loop) 방식과 차이가 있다. 따라서, 일 실시예에서, 카메라 모듈(20)은 렌즈(210)의 위치를 측정하거나 센싱하는 센서를 구비하지 않는다.

VCM 액추에이터(220)는 보이스 코일 모터(VCM)에 전류가 인가되면 코일에서 발생하는 전자기장에 의해 렌즈를 공중 부양시킨다. 따라서, VCM에 인가되는 전류량을 조절함으로써, 렌즈의 위치를 조절할 수 있다.

VCM 액추에이터(220)는 렌즈(210)의 위치를 피드백받아 렌즈의 위치를 조절하는 것이 아니므로, VCM에 동일한 전류가 인가되어도 VCM 액추에이터(220)에 의해 구동되는 렌즈의 위치는 카메라 렌즈의 자세(예컨대, 지면을 향하는지 또는 지면 반대 방향을 향하는지 등)에 따라 달라질 수 있다.

액추에이터(220)는 초점을 맞추기 위해 초점용 렌즈(210)를 앞뒤(예컨대, y축)로 이동시킬 수도 있고, 위아래(예컨대, z축)와 좌우(예컨대, x축)으로 움직일 수도 있다. 도 2에서 x축은 y-z 평면에 수직인 축일 수 있다. 설명의 편의를 위하여, z축을 지면(surface of the earth)에 수직인 축으로 가정하고, x축 및 z축은 각각 y축에 수직인 축으로 가정한다.

제어 회로(240)는 프로세서(10)의 위치 제어 신호에 따라, 액추에이터(220)를 제어한다. 예컨대, 제어 회로(240)는 프로세서(10)의 위치 제어 신호에 상응하는 전류를 액추에이터(220)로 인가할 수 있다.

이미지 센서(230)는 프로세서(10)의 제어에 따라 동작하여, 이미지 정보를 생성할 수 있다.

이미지 센서(230)는 프로세서(10)의 제어에 의해 렌즈(210)를 통해 촬상된 대상물(object, 350)을 센싱하여 센싱된 이미지를 프로세서(10)로 전송한다. 프로세서(10)는 이미지 센서(100)에 의해 센싱된 이미지를 처리하여 외부 메모리(30)에 저장하거나, 디스플레이 장치(40)로 출력할 수 있다. 이때, 디스플레이 장치(40)은 영상을 출력할 수 있는 모든 장치를 포함한다. 예컨대, 디스플레이 장치(300)는 LCD, LED, OLED, AMOLED 장치 등으로 구현될 수 있다.

디스플레이 장치(40)는 프로세서(10) 또는 메모리(30)로부터 이미지(예컨대, 정지 영상 또는 동영상)를 수신하여 디스플레이(예컨대, LCD, AMOLED)를 통하여 디스플레이할 수 있다.

온도 센서(50)는 카메라 시스템(1)의 온도를 측정한다. 온도 센서(50)는 위치에 따라, 카메라 시스템(1)의 내부 온도 또는 카메라 시스템(1)의 주변 온도를 측정할 수 있다. 예를 들어, 온도 센서(50)는 주기적으로 또는 프로세서(10)의 요청에 따라, 온도를 측정하고, 측정 온도 정보(CTEMP)를 프로세서로(10)로 전송할 수 있다.

중력 센서(60)는 카메라의 자세(posture)를 측정한다. 일 실시예에서, 중력 센서(60)는 가속도계(accelerometer) 센서로 구현될 수 있으나, 이에 한정되는 것은 아니다.

중력 센서(60)는 중력 감지를 통해 적어도 하나의 기준 축(예컨대, X, Y, Z축)에 대한 카메라 렌즈(210)의 각도를 감지할 수 있다. 예를 들어, 중력 센서(60)는 카메라 렌즈(210)가 보는 방향을 x, y, y축의 각도 정보로 나타낼 수 있다.

x, y, z축 각각의 각도 정보는 -90도 내지 +90도의 범위를 가질 수 있으나, 이에 한정되는 것은 아니다.

예컨대, 카메라 렌즈(210)가 지면을 향하는 경우 z축 각도가 -90도이고, 카메라 렌즈(210)가 지면의 반대방향(예컨대, 하늘이나 천정 방향)을 향하는 경우z축 각도가 +90도이고, 카메라 렌즈(210)가 전면을 향하는 경우 y축 각도가 +90도이며, 카메라 렌즈(210)가 후면을 향하는 경우를 y축 각도가 -90도인 것으로 정의할 수 있다. 또한, 예를 들어, 카메라 렌즈(210)가 우측면을 향하는 경우, x축 각도가 +90도이고, 카메라 렌즈(210)가 좌측면을 향하는 경우, x축 각도가 -90도인 것으로 정의할 수 있다.

예를 들어, 중력 센서(60)는 주기적으로 또는 프로세서(10)의 요청에 따라, 카메라 모듈(20)의 자세를 측정하고, 측정 자세 정보(CPOS)를 프로세서로(10)로 전송할 수 있다.

도 1 의 실시예에서는, 온도 센서(50) 및 중력 센서(60)는 카메라 모듈(20) 외부에 위치하나, 카메라 모듈(20) 내에 위치할 수도 있다.

프로세서(10)는 카메라 제어 장치로서, 카메라 모듈(20)의 동작을 제어하고, 또한 외부 메모리(30), 디스플레이 장치(40), 온도 센서(50) 및 중력 센서(60)의 동작을 제어하며, 이들 구성요소들과 제어 신호 및 데이터를 주고 받을 수 있으며, 이들 구성요소들로부터 수신한 데이터를 처리할 수 있다. 도 1의 실시예에서는, 카메라 제어 장치는 프로세서(10)로 구현되나, 이에 한정되는 것은 아니다. 예컨대, 카메라 제어 장치는 하나 이상의 프로세서를 포함하는 시스템 온 칩(System-on-chip) 등 다른 형태나 모듈로 구현될 수도 있다.

일 실시예에서, 프로세서(10)는 카메라 인터페이스(Camera I/F, 170) 및 자동 초점 조절기(300)를 포함할 수 있다. 프로세서(10)는 또한 추가적인 구성요소, 예컨대, 하나 이상의 프로세싱 유닛(processing unit, 또는 "core"라고도 칭함) 및 인터페이스 회로들을 포함할 수 있다. 일 실시예에서, 자동 초점 조절기(300)는 하나 이상의 프로세싱 유닛에 의해 실행될 수 있다.

카메라 인터페이스(170)는 카메라 모듈(20)과 인터페이스한다. 예를 들어, 카메라 인터페이스(170)는 미리 정해진 인터페이스 규격이나 프로토콜에 따라 카메라 모듈(20)을 제어하기 위한 제어 신호를 출력하고, 카메라 모듈(20)로부터 이미지 데이터를 수신할 수 있다. 카메라 인터페이스(170)는 카메라 모듈(20)로부터 수신한 이미지 데이터를 외부 메모리(30)에 저장하거나, 또는 자동 초점 조절기(300)로 전송할 수 있다.

자동 초점 조절기(300)는 오토 포커싱 동작을 수행하는 오토 포커싱 모드에서, 렌즈(210)의 초점 위치를 찾기 위한 범위인 렌즈(210)의 이동 범위를 결정하며, 상기 결정된 이동 범위에 따라 렌즈의 초점 위치를 찾는다.

도 3을 참조하면, 자동 초점 조절기(300)는 오프셋 결정부(Offset determiner, 310), 렌즈 이동 범위 결정부(Lens moving range decision, 320), 레지스터(Register, 325) 및 자동 초점 산출부(Auto focus, 330)를 포함할 수 있다.

오프셋 결정부(310)는 온도 센서(50) 및 중력 센서(60)로부터 각각 측정 온도 정보(CTEMP) 및 측정 자세 정보(CPOS)를 수신하고, 측정 온도 정보(CTEMP) 및 측정 자세 정보(CPOS) 각각에 따른 제1 및 제2 오프셋(POS_OFF, TEMP_OFF)을 결정한다.

예컨대, 오프셋 결정부(310)는 측정 온도 정보(CTEMP)에 따른 제1 오프셋(TEMP_OFF) 및 측정 자세 정보(CPOS)에 따른 제2 오프셋(POS_OFF)를 결정한다.

제1 오프셋(TEMP_OFF) 및 제2 오프셋(POS_OFF)를 결정하기 위하여, 오프셋 결정부(310)는 도 5a 및 도 5b에 도시된 바와 같이, 자세(camera posture) 룩업 테이블(311) 및 온도 룩업 테이블(315)을 포함할 수 있다.

자세 룩업 테이블(311)은 카메라 모듈(20) 또는 카메라 모듈 내의 렌즈(210)가 가질 수 있는 복수의 자세들 각각에 상응하여 미리 결정된 자세 오프셋(PT_OFF)을 저장한다. 상술한 바와 같이, 자세는 하나 이상의 기준 축(예컨대, x, y, z축)에 대한 카메라 모듈(20) 또는 렌즈(210)의 각도 정보로 정의될 수 있다.

예를 들어, 자세는 (x, y, z) 각도로 표현될 수 있다.

실시예에 따라, 자세 룩업 테이블(311)은 복수의 (x, y, z) 각도 대 자세 오프셋(PT_OFF) 엔트리들을 저장한다. 각 엔트리는 미리 정해진 (x, y, z) 각도와 이에 해당하는 자세 오프셋(PT_OFF) 값을 포함할 수 있다.

예컨대, 자세 룩업 테이블(311)은 도 5a에 도시된 바와 같이, (x, y, z) 각도가 (0, 90, 0)도일 때의 자세 오프셋(PT_OFF)을 '0'으로, (0, 0, 90)도일 때의 자세 오프셋(PT_OFF)을 '-70'으로 저장할 수 있으나, 이에 한정되는 것은 아니다.

각 (x, y, z) 각도에 해당하는 자세 오프셋(PT_OFF)은 카메라 모듈(20) 또는 카메라 모듈(20)을 대표하는 대표 카메라 모듈을 테스트하거나 시뮬레이션을 함으로써 산출될 수 있다. 예를 들어, 기준 자세(예컨대, (0, 90, 0)도)에서 렌즈(210)를 기준 위치로 구동할 때의 자세 오프셋(PT_OFF)을 기준 오프셋(예컨대, '0')으로 가정하고, 카메라 모듈(20)의 자세를 변경하면서, 각 변경된 자세에서 렌즈(210)를 기준 위치로 구동하기 위해 필요한 오프셋을 산출함으로써, 자세 룩업 테이블(311)의 각 엔트리가 얻어질 수 있다.

자세 룩업 테이블(311)은 미리 저장된 복수의 엔트리들 중 측정 자세 정보(CPOS)에 해당하는 자세 오프셋(PT_OFF) 또는 측정 자세 정보(CPOS)에 가장 근접한 적어도 하나의 자세 오프셋(PT_OFF)을 선택하여 출력할 수 있다.

온도 룩업 테이블(315)은 복수의 온도들 각각에 상응하는 온도 오프셋을 저장한다. 예컨대, 온도 룩업 테이블(315)은 복수의 온도 대 온도 오프셋(TT_OFF) 엔트리들을 저장한다. 각 엔트리는 미리 정해진 온도와 이에 해당하는 온도 오프셋(TT_OFF)을 포함할 수 있다.

각 온도에 해당하는 온도 오프셋(TT_OFF)은 카메라 모듈(20) 또는 카메라 모듈(20)을 대표하는 대표 카메라 모듈을 테스트하거나 시뮬레이션을 함으로써 산출될 수 있다. 예를 들어, 기준 온도(예컨대, 섭씨 20도)에서 렌즈(210)를 기준 위치로 구동할 때의 온도 오프셋(PT_OFF)을 온도 오프셋(예컨대, '0')으로 가정하고, 카메라 모듈(20)의 온도를 변경하면서, 각 변경된 온도에서 렌즈(210)를 기준 위치로 구동하기 위해 필요한 오프셋을 산출함으로써, 온도 룩업 테이블(315)의 각 엔트리가 얻어질 수 있다.

예컨대, 온도 룩업 테이블(315)은 도 5b에 도시된 바와 같이, 섭씨 -20도일 때 온도 오프셋(TT_OFF)을 '-60'으로, 섭씨 -10도일 때 온도 오프셋(TT_OFF)을 '-45'로 저장할 수 있다.

온도 룩업 테이블(315)은 미리 저장된 복수의 엔트리들 중 측정 온도 정보(CTEMP)에 해당하는 온도 오프셋(TT_OFF) 또는 측정 온도 정보(CTEMP)에 가장 근접한 적어도 하나의 온도 오프셋(TT_OFF)을 선택하여 출력할 수 있다.

실시예에 따라, 오프셋 결정부(310)는 자세 오프셋 인터폴레이터(313) 및 온도 오프셋 인터폴레이터(317)를 더 포함할 수 있다.

이 경우, 자세 룩업 테이블(311)은 미리 저장된 복수의 엔트리들 중 측정 자세 정보(CPOS)에 근접한 두 개의 자세 오프셋(PT_OFF)을 선택하여 출력할 수 있다. 자세 오프셋 인터폴레이터(313)은 선택된 두 개의 자세 오프셋(PT_OFF)을 인터폴레이션하여 측정 자세 정보(CPOS)에 해당하는 제2 오프셋(POS_OFF)을 산출할 수 있다.

또한 온도 룩업 테이블(315)은 미리 저장된 복수의 엔트리들 중 측정 온도 정보(CTEMP)에 근접한 두 개의 온도 오프셋(TT_OFF)을 선택하여 출력할 수 있고, 온도 오프셋 인터폴레이터(317)은 선택된 두 개의 온도 오프셋(TT_OFF)을 인터폴레이션하여 측정 온도(CTEMP)에 해당하는 제1 오프셋(TEMP_OFF)을 산출할 수 있다.

렌즈 이동 범위 결정부(320)는 오프셋 결정부(310)로부터 출력된 제1 오프셋(TEMP_OFF) 및 제2 오프셋(POS_OFF)에 따라 렌즈 이동 범위(MOV_R)를 결정한다.

렌즈 이동 범위 결정부(320)는 초기 렌즈 이동 범위(MOV_I)에 제1 오프셋(TEMP_OFF) 및 제2 오프셋(POS_OFF)을 더하여 렌즈 이동 범위(MOV_R)를 결정한다. 렌즈 이동 범위(MOV_R)는 시작값과 종료값에 의하여 정의될 수 있다.

초기 렌즈 이동 범위(MOV_I)는 레지스터(325)에 저장될 수 있다. 그러나, 본 발명의 실시예가 이에 한정되는 것은 아니다. 초기 렌즈 이동 범위(MOV_I)는 메모리(예컨대, 외부 메모리(30)나 프로세서(10)의 내부 메모리(미도시))에 저장될 수 있다.

초기 렌즈 이동 범위(MOV_I)는 초기 시작값 및 초기 종료값을 포함할 수 있다.

이 경우, 렌즈 이동 범위 결정부(320)는 초기 시작값에 제1 오프셋(TEMP_OFF) 및 제2 오프셋(POS_OFF)을 더하여 렌즈 이동 범위(MOV_R)의 시작값을 결정하고, 초기 종료값에 제1 오프셋(TEMP_OFF) 및 제2 오프셋(POS_OFF)을 더하여 렌즈 이동 범위(MOV_R)의 종료값을 결정할 수 있다.

렌즈 이동 범위(MOV_R), 제1 오프셋(TEMP_OFF) 및 제2 오프셋(POS_OFF) 각각은 액추에이터(220)의 구동 전류를 제어하기 위한 디지털 코드("전류 제어 코드" 라 칭함)로 표현될 수 있다. 액추에이터(220)의 구동 전류량에 따라, 렌즈(210)의 위치가 제어된다.

렌즈 이동 범위(MOV_R)의 시작값은 오토 포커싱 동작을 시작하는 렌즈의 위치를 지정하기 위한 전류 제어 코드이고, 렌즈 이동 범위(MOV_R)의 종료값은 오토 포커싱 동작을 종료하는 렌즈의 위치를 지정하기 위한 전류 제어 코드일 수 있다.

자동 초점 산출부(330)는 렌즈 이동 범위 결정부(320)에 의해 결정된 렌즈 이동 범위에 따라 상기 렌즈의 초점 위치를 찾는다.

자동 초점 산출부(330)는 이미지 센서(230)에 의해 캡쳐된 이미지(IDATA)를 카메라 인터페이스(170)를 통해 수신하고, 상기 수신된 이미지(IDATA)를 분석하고, 분석 결과에 기초하여, 상기 렌즈(210)의 포커싱 여부를 판단한다. 자동 초점 산출부(330)는 렌즈 이동 범위 내에서 렌즈의 위치를 변경하도록 카메라 모듈(20)을 제어하고, 변경된 위치의 렌즈를 이용하여 캡쳐된 이미지(IDATA)를 분석하여 초점이 맞는 렌즈의 위치를 찾을 수 있다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 자동 초점 산출부(330)는 콘트라스트 산출부(contrast calculator, 331), 초점 판단부(333), 제어 신호 발생기(335)를 포함한다.

콘트라스트 산출부(331)는 이미지 센서(230)에 의해 캡쳐된 이미지(IDATA)를 수신하고, 상기 이미지(IDATA)의 콘트라스트 값(contrast value)(CFR)을 산출한다. 캡쳐된 이미지(IDATA)는 한 프레임에 해당하는 이미지 데이터일 수 있다.

초점 판단부(333)는 상기 콘트라스트 값(CFR)의 피크치(peak value)에 기초하여 상기 렌즈(210)의 포커싱 여부를 판단한다.

콘트라스트 값(CFR)는 하나의 이미지(IDATA) 내의 가장 밝은 부분과 가장 어두운 부분과의 상대적 차이를 수치화한 값이다.

렌즈 이동 범위 내에서 렌즈(210)의 위치를 변경하면서, 각 변경된 위치에서의 이미지(IDATA)의 콘트라스트 값을 산출하면, 산출된 콘트라스트 값은 점점 증가하다가 낮아질 수 있다.

이 경우, 콘트라스트 값의 피크치에 해당하는 위치가 렌즈(210)의 초점이 가장 잘 맞는 위치이다.

따라서, 초점 판단부(333)는 상기 콘트라스트 값(CFR)의 피크치(peak value)에 기초하여 상기 렌즈(210)의 포커싱 여부 및 포커싱 위치를 판단하고, 판단 결과(FDS)를 제어 신호 발생기(335)로 제공할 수 있다.

제어 신호 발생기(335)는 렌즈 이동 범위(MOV_R) 및 초점 판단부(333)의 판단 결과(FDS)에 기초하여 위치 제어 신호(CON)를 카메라 모듈(20)로 출력할 수 있다.

일 실시예에서, 제어 신호 발생기(335)는 렌즈 이동 범위(MOV_R)의 시작값(즉, 시작 전류 제어 코드)에 해당하는 위치 제어 신호(CON)를 상기 카메라 모듈(20)로 출력하고, 다음에는, 렌즈 이동 범위(MOV_R)의 시작값으로부터 한 스텝만큼 증가된 값에 해당하는 위치 제어 신호(CON)를 카메라 모듈(20)로 출력할 수 있다. 이와 같이, 제어 신호 발생기(335)는 초점 판단부(333)로부터 포커싱이 되었음을 나타내는 판단 결과(FDS)를 수신할 때까지, 렌즈(210)의 위치를 순차적으로 변경하기 위한 위치 제어 신호(CON)를 상기 카메라 모듈(20)로 출력할 수 있다.

위치 제어 신호(CON)는 카메라 인터페이스(170)에서 미리 정해진 인터페이스 규격의 신호로 변환되어 카메라 모듈(20)로 전송될 수 있다.

카메라 모듈(20)의 제어 회로(240)는 상기 위치 제어 신호(CON)에 응답하여 상기 액추에이터(220)의 구동 전류를 제어한다. 이에 따라, 액추에이터(220)는 상기 위치 제어 신호(CON)에 해당하는 위치로 렌즈(210)를 구동한다.

본 발명의 실시예에 따르면, 렌즈(210)의 위치를 측정하거나 센싱하는 센서를 구비하지 않고, 오픈 루프 방식으로 액추에이터(220)의 구동 전류량으로 렌즈(210)의 위치를 제어한다.

따라서, 액추에이터(220)의 구동 전류량이 동일하더라도, 카메라 자세에 따라 중력의 영향을 받아 실제 렌즈 이동량이 더 작아질 수도 커질 수도 있다. 예를 들어 사용자가 근접한 물체를 바로 밑에서 찍는다면(즉, 아래에서 위로) 카메라를 지면과 수직으로 세우고 동일하게 근접 촬상할 때보다 렌즈는 중력과 반대방향으로 움직여야 하므로 더 많은 전류를 흘려줘야 초점을 맞출 수 있다. 반대로 사용자가 건물 옥상과 같이 위에서 아래를 내려다 보면서 찍는다면 렌즈는 중력과 같은 방향으로 움직이므로 더 작은 전류만 흘려도 초점이 맞게 된다. 따라서, 카메라의 자세를 고려하지 않는다면, 렌즈(210)의 초점을 맞추기 위한 이동 범위(예컨대, 전류 제어 코드의 범위)는 자세에 따른 마진을 포함해야 하므로 커지게 된다.

또한, 렌즈(210)가 플라스틱 렌즈인 경우, 주변 온도에 따라 수축과 팽창의 정도가 심하다. 예를 들어, 낮은 온도(예컨대, -20°C)에서는 렌즈(210)가 수축되어 굴절률이 증가함으로 상온 대비 초점거리가 짧아진다. 초점거리가 짧아지면 이미지 센서 면에서 초점이 맞기 위한 렌즈까지의 거리가 짧아지므로 더 적은 전류로도 멀리 있는 피사체에 초점을 맞출 수 있다. 반대로 60°C에서는 렌즈가 팽창되어 초점거리가 길어지므로, 가까운 피사체를 접사 촬상할 때 상온보다 더 많은 전류를 흘려주어야 초점을 맞출 수 있다. 따라서, 온도를 고려하지 않는다면, 렌즈(210)의 초점을 맞추기 위한 이동 범위(예컨대, 전류 제어 코드의 범위)는 온도에 따른 마진을 포함해야 하므로 커지게 된다.

그러나, 본 발명의 실시예에 따르면, 카메라의 자세 및 온도에 따른 오프셋을 결정하고, 렌즈 이동 범위 결정시 자세 및 온도에 따른 오프셋을 반영함으로써, 렌즈 이동 범위의 마진을 줄일 수 있고, 이에 따라 렌즈 이동 범위 또한 줄일 수 있다. 이에 따라, 오토 포커싱 동작의 속도를 개선할 수 있다. 즉, 보다 빠르게 초점 위치를 찾을 수 있다.

도 7은 본 발명의 일 실시예에 따른 카메라 시스템의 구성 블록도이다.

도 7을 참조하면, 카메라 시스템(1a)은 휴대용 전자 장치로 구현될 수 있다. 상기 휴대용 전자 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID), 웨어러블 컴퓨터, 사물 인터넷 (internet of things(IoT)) 장치, 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.

카메라 시스템(1a)은 시스템 온 칩(SoC: system-on-chip, 10a), 카메라 모듈(20), 외부 메모리(30), 디스플레이 장치(40), 및 온도 센서(temperature sensor, 50) 및 중력 센서(gravity sensor, 60)를 포함할 수 있다.

카메라 모듈(20), 외부 메모리(30), 디스플레이 장치(40), 온도 센서(50) 및 중력 센서(60)는 도 1을 참조하여 상술하였으므로, 설명의 중복을 피하기 위하여 차이점 위주로 설명한다.

카메라 시스템(1a)은 카메라 모듈(20)에서 촬상한 정지 영상 신호(또는 정지 영상) 또는 동영상 신호(또는 동영상)를 디스플레이 장치(40)에서 디스플레이할 수 있다.

외부 메모리(30)는 SoC(10a)에서 실행되는 프로그램 명령들(program instructions)을 저장한다. 또한, 외부 메모리(30)는 디스플레이 장치(40)에 스틸 이미지들(still images) 또는 무빙 이미지(moving image)를 디스플레이하기 위한 이미지 데이터를 저장할 수 있다. 상기 무빙 이미지는 짧은 시간에 나타나는(presented) 일련의 서로 다른 스틸 이미지들이다.

외부 메모리(30)는 휘발성 메모리 또는 불휘발성 메모리일 수 있다. 상기 휘발성 메모리는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)일 수 있다. 상기 불휘발성 메모리는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), PRAM(Phase change RAM), 저항 메모리일 수 있다.

SoC(10a)는 카메라 모듈(20), 외부 메모리(30), 디스플레이 장치(40), 온도 센서(50), 및 중력 센서(60)를 제어한다. 실시 예에 따라 SoC(10a)는 집적 회로(integrated circuit(IC)), 프로세서(processor), 어플리케이션 프로세서(application processor), 멀티 미디어 프로세서(multimedia processor), 또는 집적된 멀티 미디어 프로세서(integrated multimedia processor)라고 호칭될 수 있다.

SoC(10a)는 중앙처리장치(central processing unit(CPU); 100), ROM(read only memory; 110), RAM(random access memory; 120), 이미지 처리 프로세서(ISP: image signal processor)(130), 디스플레이 컨트롤러(140), 그래픽 프로세싱 유닛(graphics processing unit(GPU); 150), 메모리 컨트롤러(160), 카메라 인터페이스(170), 및 시스템 버스(180)를 포함할 수 있다. SoC(10)는 도시된 구성 요소 이외에 다른 구성 요소들을 더 포함할 수 있다.

도 1을 참조하여 상술한 자동 초점 조절기(300)는 도 7의 SoC(10a) 내의 하나 이상의 구성요소(예컨대, CPU(100) 및 ISP(130) 등)에 분산 구현될 수 있다.

프로세서(processor)라고도 불릴 수 있는 CPU(100)는 외부 메모리(30)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 예컨대, CPU(100)는 클럭 신호 모듈(미도시)로부터 출력된 동작 클락 신호에 응답하여 상기 프로그램들 및/또는 상기 데이터를 처리 또는 실행할 수 있다.

CPU(100)는 멀티-코어 프로세서(multi-core processor)로 구현될 수 있다. 상기 멀티-코어 프로세서는 두 개 또는 그 이상의 독립적인 실질적인 프로세서들('코어들(cores)'이라고 불림)을 갖는 하나의 컴퓨팅 컴포넌트(computing component)이고, 상기 프로세서들 각각은 프로그램 명령들(program instructions)을 읽고 실행할 수 있다.

CPU(100)는 운영체제(OS; operating system)을 실행한다. 운영체제(OS)는 카메라 시스템(1a)의 자원(예를 들어, 메모리, 디스플레이 등)을 관리할 수 있다. 운영체제(OS)는 카메라 시스템(1a)에서 실행되는 어플리케이션들에 자원을 배분할 수 있다.

ROM(110), RAM(120), 및/또는 외부 메모리(30)에 저장된 프로그램들 및/또는 데이터는 필요에 따라 CPU(100)의 메모리(미도시)에 로드(load)될 수 있다.

ROM(110)은 영구적인 프로그램들 및/또는 데이터를 저장할 수 있다.

ROM(110)은 EPROM(erasable programmable read-only memory) 또는 EEPROM (electrically erasable programmable read-only memory)으로 구현될 수 있다.

RAM(120)은 프로그램들, 데이터, 또는 명령들(instructions)을 일시적으로 저장할 수 있다. 예컨대, 메모리(110 또는 30)에 저장된 프로그램들 및/또는 데이터는 CPU(100)의 제어에 따라 또는 ROM(110)에 저장된 부팅 코드(booting code)에 따라 RAM(120)에 일시적으로 저장될 수 있다. RAM(120)은 DRAM(dynamic RAM) 또는 SRAM(static RAM)으로 구현될 수 있다.

ISP(130)는 이미지 신호에 대한 각종 처리(processing)를 수행할 수 있다.

ISP(130)는 이미지 센서(도 1의 230)로부터 입력된 이미지 데이터를 처리할 수 있다. 예컨대, ISP(130)는 이미지 센서(도 1의 230)로부터 입력된 이미지 데이터를 분석하고, 초점 여부를 판단할 수 있다. ISP(130)는 또한 이미지 센서(도 1의 230)로부터 입력된 이미지 데이터의 떨림 보정을 하고, 화이트 밸런스를 맞출 수 있고, 명도·대비 등의 색 보정, 색조화, 양자화, 다른 색 공간으로의 색 변환 등을 수행할 수 있다. ISP(130)는 영상 처리한 이미지 데이터를 주기적으로 버스(180)를 통해 메모리(30)에 저장할 수 있다.

GPU(150)는 그래픽 처리와 관련된 프로그램 명령들을 읽고 수행할 수 있다. 예컨대, GPU(150)는 그래픽 관련 도형 처리 등을 고속으로 수행할 수 있다.

또한, GPU(150)는 메모리 컨트롤러(160)에 의해 외부 메모리(30)로부터 리드 (read)된 데이터를 디스플레이 장치(40)에 적합한 신호로 변환할 수 있다.

그래픽 처리를 위해, GPU(150) 외에도 그래픽 엔진(미도시) 또는 그래픽 액셀레이터(Accelerator) 등이 사용될 수 있다.

카메라 인터페이스(170)는 카메라 모듈(20)과 인터페이스한다. 예를 들어, 카메라 인터페이스(170)는 미리 정해진 인터페이스 규격이나 프로토콜에 따라 카메라 모듈(20)을 제어하기 위한 제어 신호를 출력하고, 카메라 모듈(20)로부터 이미지 데이터를 수신할 수 있다. 카메라 인터페이스(170)는 카메라 모듈(20)로부터 수신한 이미지 데이터를 외부 메모리(30)에 저장하거나, 또는 다른 구성요소(예컨대, ISP(130))로 전송할 수 있다.

메모리 컨트롤러(160)는 외부 메모리(30)와 인터페이스한다. 메모리 컨트롤러(160)는 외부 메모리(30)의 동작을 전반적으로 제어하며, 호스트와 외부 메모리(30) 사이의 데이터 교환을 제어한다. 예컨대, 메모리 컨트롤러(160)는 호스트의 요청에 따라 외부 메모리(30)에 데이터를 쓰거나 외부 메모리(30)로부터 데이터를 읽을 수 있다. 여기서, 호스트는 CPU(100), ISP(130), GPU(150), 디스플레이 컨트롤러(140), 또는 카메라 인터페이스(170)와 같은 마스터(master) 장치일 수 있다.

실시예에 따라, 메모리 컨트롤러(160)는 디스플레이 컨트롤러(140)로부터의 이미지 데이터 요청에 따라, 외부 메모리(30)로부터 이미지 데이터를 독출하여 메모리 컨트롤러(160)로 제공할 수 있다.

디스플레이 컨트롤러(140)는 디스플레이 장치(40)의 동작을 제어한다.

디스플레이 컨트롤러(140)는 디스플레이 장치(40)를 통해 디스플레이할 이미지 데이터를 시스템 버스(180)를 통하여 수신하고, 이를 디스플레이 장치(40)로 전송하기 위한 신호(예컨대, 인터페이스 규격에 따른 신호)로 변환하여, 상기 디스플레이 장치(40)로 전송한다.

각 구성 요소(100, 110, 120, 130, 140, 150, 160, 및 170)는 시스템 버스(180)를 통하여 서로 통신할 수 있다. 즉, 시스템 버스(180)는 SoC(10)의 각 구성요소를 연결하여 각 구성요소간 데이터 송수신의 통로 역할을 한다. 또한, 시스템 버스(180)는 각 구성요소간 제어 신호의 전송 통로 역할을 할 수 있다.

실시예에 따라, 시스템 버스(180)는 데이터를 전송하는 데이터 버스(미도시), 어드레스 신호를 전송하는 어드레스 버스(미도시) 및 제어 신호를 전송하는 제어 버스(미도시)를 포함할 수 있다.

실시예에 따라 시스템 버스(180)는 소정의 구성요소들 간의 데이터 통신을 위한 소규모의 버스, 즉, 인터커넥터(interconnector)를 포함할 수 있다.

도 8은 본 발명의 일 실시예에 따른 카메라의 자동 초점 조절 방법을 나타내는 순서도이다. 도 9는 도 8에 도시된 렌즈 초점위치를 찾는 단계의 일 실시예를 나타내는 순서도이다. 도 8 및 도 9에 도시된 본 발명의 일 실시예에 따른 카메라의 자동 초점 조절 방법은 도 1 또는 도 7의 카메라 시스템(1, 1a)에서 실행될 수 있다.

도 1 내지 도 9를 참조하면, 프로세서(10) 또는 SoC(10a)는 카메라가 오토 포커싱 모드인지를 판단하여(S100), 오토 포커싱 모드인 경우, 온도 센서(50) 및 중력 센서(60) 각각에 의해 측정된 카메라의 온도와 카메라의 자세를 수신한다(S110).

도 1 및 도 7의 실시예에서는, 온도 센서(50) 및 중력 센서(60)는 카메라 모듈(20) 외부에 위치하나, 카메라 모듈(20) 내에 위치할 수도 있다. 프로세서(10) 또는 SoC(10a)는 측정된 온도에 따른 제1 오프셋(즉, 온도 오프셋)을 결정하고(S120), 측정된 카메라의 자세에 따른 제2 오프셋을 결정한다(130).

다음으로, 제1 오프셋 및 상기 제2 오프셋에 기초하여 상기 렌즈(210)의 이동 범위를 결정한다(S140). 일 실시예에서는, 초기 렌즈 이동 범위를 미리 레지스터(325)에 설정할 수 있다. 상기 초기 렌즈 이동 범위는 초기 시작값 및 초기 종료값을 포함할 수 있다.

상기 초기 렌즈 이동 범위에 상기 제1 오프셋 및 상기 제2 오프셋을 더하여 상기 렌즈의 이동 범위를 결정할 수 있다(S140). 예컨대, S140 단계에서는 상기 초기 시작값에 상기 제1 오프셋 및 상기 제2 오프셋을 더하여 상기 렌즈의 시작 위치를 결정하고, 상기 초기 종료값에 상기 제1 오프셋 및 상기 제2 오프셋을 더하여 상기 렌즈의 종료 위치를 결정할 수 있다.

다음으로, 상기 결정된 이동 범위에 따라 상기 렌즈의 초점 위치를 찾는다(S150).

도 9를 참조하면, 렌즈의 초점 위치를 찾기 위해, 상기 결정된 시작 위치, 즉 렌즈 이동 범위의 시작값에 따라 위치 제어 신호를 카메라 모듈(20)로 출력한다(S210)

카메라 모듈(20)은 위치 제어 신호에 응답하여 렌즈(210)를 시작 위치로 구동하고, 상기 시작 위치에 있는 렌즈를 이용하여 이미지를 캡쳐하고, 캡처된 이미지를 프로세서(10) 또는 SoC(10a)로 전송한다(S220). 그러면, 프로세서(10) 또는 SoC(10a)는 해당 이미지를 수신하여 분석하고(S230), 상기 분석 결과에 기초하여, 상기 렌즈의 포커싱 여부를 판단한다(240).

S240단계에서의 판단 결과, 상기 렌즈의 포커싱이 맞지 않으면, 렌즈의 위치를 변경하기 위한 위치 변경 신호를 카메라 모듈(20)로 출력한다(S250)

위치 변경 신호는 렌즈 이동 범위(MOV_R)의 시작값으로부터 한 스텝만큼 증가된 값에 해당하는 위치 제어 신호일 수 있다.

카메라 모듈(20)은 위치 변경 신호에 응답하여 렌즈(210)의 위치를 변경하고, 변경된 위치에 있는 렌즈를 이용하여 이미지를 캡쳐하고, 캡처된 이미지를 프로세서(10) 또는 SoC(10a)로 전송한다(S220). 그러면, 프로세서(10) 또는 SoC(10a)는 해당 이미지를 수신하여 분석하고(S230), 상기 분석 결과에 기초하여, 상기 렌즈의 포커싱 여부를 판단한다(240).

상기 과정들은 렌즈(210)의 초점이 맞을 때까지 반복 수행될 수 있다.

도 10은 본 발명의 실시예에 따른 전자 시스템(1000)을 나타내는 구성 블록도이다. 도 10을 참조하면, 전자 시스템(1000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대 이동 전화기, PDA, PMP, IPTV 또는 스마트 폰으로 구현될 수 있다.

전자 시스템(1000)은 어플리케이션 프로세서(1010), 이미지 센서(100), 및 디스플레이(1050)를 포함한다.

어플리케이션 프로세서(1010)에 구현된 CSI 호스트(1012)는 카메라 시리얼 인터페이스(camera serial interface(CSI))를 통하여 이미지 센서(100)의 CSI 장치(1041)와 시리얼 통신할 수 있다. 예컨대, CSI 호스트(1012)에는 광 디시리얼라이저가 구현될 수 있고, CSI 장치(1041)에는 광 시리얼라이저가 구현될 수 있다.

어플리케이션 프로세서(1010)에 구현된 DSI 호스트(1011)는 디스플레이 시리얼 인터페이스(display serial interface(DSI))를 통하여 디스플레이(1050)의 DSI 장치(1051)와 시리얼 통신할 수 있다. 예컨대, DSI 호스트(1011)에는 광 시리얼라이저가 구현될 수 있고, DSI 장치(1051)에는 광 디시리얼라이저가 구현될 수 있다.

전자 시스템(1000)은 어플리케이션 프로세서(1010)와 통신할 수 있는 RF 칩(1060)을 더 포함할 수 있다. 전자 시스템(1000)의 PHY(1013)와 RF 칩(1060)의 PHY(1061)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.

전자 시스템(1000)은 GPS(1020), 스토리지(1070), 마이크(1080), DRAM(1085) 및 스피커(1090)를 더 포함할 수 있으며, 전자 시스템(1000)은 Wimax(1030), WLAN(1100) 및 UWB(1110) 등을 이용하여 통신할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 본 발명에 따른 객체 정보 추정 방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 전송될 수도 있다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

카메라 시스템(1)
프로세서(processor, 10)
카메라 모듈(camera module, 20)
외부 메모리(30)
디스플레이 장치(40)
온도 센서(temperature sensor, 50)
중력 센서(gravity sensor, 60)
카메라 인터페이스(170)
렌즈(210)
액추에이터(actuator, 220)
이미지 센서(230)
제어 회로(240)
자동 초점 조절기(300)
오프셋 결정부(Offset determiner, 310)
렌즈 이동 범위 결정부(Lens moving range decision, 320)
레지스터(Register, 325)
자동 초점 산출부(auto focus, 330)

Claims

플라스틱 렌즈 및 상기 렌즈의 위치를 오픈 루프(open-loop) 방식으로 제어하는 액추에이터를 포함하는 카메라 모듈을 제어하는 카메라 제어 장치에 있어서,
카메라의 측정 온도에 해당하는 제1 오프셋을 결정하고, 상기 카메라의 측정 자세에 따른 제2 오프셋을 결정하여 제공하는 오프셋 결정부;
상기 제1 오프셋 및 상기 제2 오프셋에 기초하여 상기 오픈 루프 방식에서 상기 렌즈의 렌즈 이동 범위를 결정하는 렌즈 이동 범위 결정부; 및
상기 렌즈 이동 범위에 기초하여 상기 렌즈의 위치를 제어하기 위한 위치 제어 신호를 출력하며, 상기 렌즈의 초점 위치를 찾는 자동 초점 산출부를 포함하고,
복수의 온도들 각각에 상응하는 온도 오프셋을 저장하고, 상기 측정 온도에 가장 근접한 적어도 하나의 온도 오프셋을 선택하여 상기 제1 오프셋으로 출력하는 제1 룩업 테이블과,
복수의 자세들 각각에 상응하는 자세 오프셋을 저장하고, 상기 측정 자세에 가장 근접한 적어도 하나의 자세 오프셋을 선택하여 상기 제2 오프셋으로 출력하는 제2 룩업 테이블을 포함하는 카메라 제어 장치.
제 1항에 있어서,
상기 카메라 제어 장치는, 초기 렌즈 이동 범위를 저장하는 레지스터를 더 포함하는 카메라 제어 장치.
제 2항에 있어서,
상기 초기 렌즈 이동 범위는 초기 시작값 및 초기 종료값을 포함하고,
상기 렌즈 이동 범위 결정부는,
상기 초기 시작값에 상기 제1 오프셋 및 상기 제2 오프셋을 더하여 상기 렌즈의 시작 위치를 결정하고, 상기 초기 종료값에 상기 제1 오프셋 및 상기 제2 오프셋을 더하여 상기 렌즈의 종료 위치를 결정하는 카메라 제어 장치.
제 3항에 있어서,
상기 자동 초점 산출부는,
상기 시작 위치에 기초하여 상기 위치 제어 신호를 상기 카메라 모듈로 출력하고,
상기 위치 제어 신호에 응답하여 상기 액추에이터에 의해 상기 시작 위치로 구동된 상기 렌즈를 이용하여 캡쳐된 이미지를 수신하고 분석하여 분석 결과를 생성하고,
상기 분석 결과에 기초하여, 상기 렌즈의 포커싱 여부를 판단하는 카메라 제어 장치.
제 4항에 있어서,
상기 자동 초점 산출부는,
상기 렌즈의 포커싱 여부를 판단한 결과에 따라 상기 렌즈의 위치를 변경하기 위한 상기 위치 제어 신호를 상기 카메라 모듈로 출력하는 카메라 제어 장치.
제 4항에 있어서,
상기 자동 초점 산출부는,
상기 캡쳐된 이미지의 콘트라스트 값을 산출하고, 상기 콘트라스트 값의 피크치에 기초하여 상기 렌즈의 포커싱 여부를 판단하는 카메라 제어 장치.
삭제
제 1항에 있어서,
상기 선택된 적어도 하나의 온도 오프셋은 적어도 두 개의 온도 오프셋을 포함하고,
상기 선택된 적어도 하나의 자세 오프셋은 적어도 두 개의 자세 오프셋을 포함하고,
상기 오프셋 결정부는,
상기 선택된 적어도 두 개의 온도 오프셋을 보간(interpolation)하여, 상기 제1 오프셋을 산출하는 제1 인터폴레이터와,
상기 선택된 적어도 두 개의 자세 오프셋을 보간하여, 상기 제2 오프셋을 산출하는 제2 인터폴레이터를 더 포함하는 카메라 제어 장치.
제 1항에 있어서,
상기 측정 자세는,
지면과 수직인 제1 축으로 상기 카메라 모듈의 각도를 지시하는 제1 각도 정보 및 상기 제1 축과 수직인 제2 축으로 상기 카메라 모듈의 각도를 지시하는 제2 각도 정보를 포함하는 카메라 제어 장치.
제 1항에 있어서,
상기 온도 오프셋과 상기 자세 오프셋은, 상기 카메라 모듈 또는 상기 카메라 모듈의 대표를 테스트하거나 시뮬레이션하여 미리 결정된 카메라 제어 장치.
플라스틱 렌즈 및 상기 렌즈의 위치를 오픈 루프(open-loop) 방식으로 제어하는 액추에이터를 포함하는 카메라 모듈;
상기 카메라 모듈의 온도를 측정하는 온도 센서;
상기 카메라 모듈의 자세를 측정하는 중력 센서; 및
상기 측정된 온도 및 상기 측정된 자세에 기초하여 상기 카메라 모듈을 제어하는 카메라 제어 장치를 포함하며,
상기 카메라 제어 장치는,
상기 측정된 온도에 해당하는 제1 오프셋과 상기 측정된 자세에 해당하는 제2 오프셋을 결정하고, 상기 제1 오프셋 및 상기 제2 오프셋에 기초하여 상기 오픈 루프 방식에서 상기 렌즈의 렌즈 이동 범위를 결정하며, 상기 렌즈 이동 범위에 따라 상기 렌즈의 초점 위치를 찾고,
상기 제1 오프셋은 미리 저장된 복수의 온도들 각각에 상응하는 온도 오프셋 중 상기 측정된 온도에 상응하여 선택되는 적어도 하나의 온도 오프셋이고,
상기 제2 오프셋은 미리 저장된 복수의 자세들 각각에 상응하는 자세 오프셋 중 상기 측정된 자세에 상응하여 선택되는 적어도 하나의 자세 오프셋인 카메라 시스템.
제 11항에 있어서,
상기 카메라 제어 장치는,
미리 설정된 초기 렌즈 이동 범위에 상기 제1 오프셋 및 상기 제2 오프셋을 가감하여 상기 렌즈 이동 범위를 결정하고,
상기 렌즈 이동 범위에 따라 상기 액추에이터를 제어하기 위한 위치 제어 신호를 상기 카메라 모듈로 출력하는 카메라 시스템.
제 12항에 있어서,
상기 카메라 모듈은, 상기 위치 제어 신호에 기초하여 조절된 렌즈로 상기 렌즈의 위치를 조절하고, 상기 조절된 렌즈를 이용하여 이미지를 캡쳐하고, 상기 카메라 제어 장치로 상기 이미지를 출력하고,
상기 카메라 제어 장치는, 상기 카메라 모듈로부터 상기 이미지를 수신하고 분석하여 분석 결과를 생성하고, 상기 분석 결과에 기초하여 상기 렌즈의 포커싱 여부를 판단하는 카메라 시스템.
제 13항에 있어서,
상기 카메라 제어 장치는, 상기 이미지의 콘트라스트 값을 산출하고, 상기 콘트라스트 값의 피크치에 기초하여 상기 렌즈의 포커싱 여부를 판단하는 카메라 시스템.
제 13항에 있어서,
상기 카메라 제어 장치는,
상기 카메라 모듈로부터 상기 렌즈의 위치에 대한 정보를 수신받지 않고, 상기 렌즈의 초점이 맞을 때까지 상기 렌즈 이동 범위 내에서 상기 렌즈의 위치를 연속하여 변경하여 상기 카메라 모듈로 상기 위치 제어 신호를 출력하고, 상기 카메라 모듈로부터 상기 위치 제어 신호에 응답하여 변경된 상기 렌즈의 위치를 이용하여 캡쳐된 이미지를 수신하고 분석하는 카메라 시스템.
플라스틱 렌즈 및 액추에이터를 포함하는 카메라 모듈로서, 상기 액추에이터는 상기 렌즈를 오픈 루프(open-loop) 방식으로 상기 카메라 모듈 내의 축을 따라 이동하는 카메라 모듈;
상기 카메라 모듈의 온도 또는 상기 카메라 모듈의 자세를 측정하는 센서; 및
전자 회로를 포함하고,
상기 전자 회로는,
상기 축을 따라 상기 렌즈를 이동시키기 위한 액추에이터 커맨드를 생성하고,
상기 측정된 온도 또는 상기 측정된 자세에 해당하는 오프셋 크기에 따라 상기 액추에이터 커맨드의 크기를 증가시키거나 감소시켜, 수정된 액추에이터 커맨드를 생성하고,
상기 수정된 액추에이터 커맨드를 상기 액추에이터로 통신하여 상기 렌즈를 상기 오픈 루프 방식으로 상기 축을 따라 이동시키고,
상기 오프셋 크기는 미리 저장된 복수의 온도들 각각에 상응하는 온도 오프셋 중 상기 측정된 온도에 상응하여 선택되는 적어도 하나의 온도 오프셋으로 결정되는 카메라 시스템.
제 16항에 있어서,
상기 센서는 상기 카메라 모듈의 온도를 측정하고, 상기 센서와 다른 센서는 상기 카메라 모듈의 자세를 측정하고,
상기 전자 회로는, 상기 측정된 자세에 따른 상기 오프셋 크기 및 다른 오프셋 크기에 해당하는 상기 액추에이터 커맨드의 크기를 증가시키거나 감소시켜, 상기 수정된 액추에이터 커맨드를 생성하는 카메라 시스템.
제 16항에 있어서,
상기 측정된 자세는 중력 방향에 대한 상기 카메라 모듈의 방향을 식별하는 카메라 시스템.
제 16항에 있어서,
상기 수정된 액추에이터 커맨드는 전류인 카메라 시스템.
제 16항에 있어서,
상기 전자 회로는,
상기 측정된 온도보다 낮은 제1 온도에 해당하는 제1 오프셋 크기로부터 상기 오프셋 크기를 보간하고, 상기 측정된 온도보다 높은 제2 온도에 해당하는 제2 오프셋 크기를 보간하는 카메라 시스템.