KR101471929B1

KR101471929B1 - 공유 처리되는 다중 이미지 센서 시스템

Info

Publication number: KR101471929B1
Application number: KR1020107014406A
Authority: KR
Inventors: 로버트 마이클 구이다쉬
Original assignee: 옴니비전 테크놀러지즈 인코포레이티드
Priority date: 2007-11-30
Filing date: 2008-11-12
Publication date: 2014-12-11
Also published as: CN101849408B; JP5140738B2; EP2215832A1; US7969469B2; US20090141146A1; EP2215832B1; TW200935878A; WO2009070206A1; KR20100095002A; TWI489863B; CN101849408A; JP2011508992A

Abstract

통합형 주 이미지 센서는 하나 또는 둘 이상의 보조 이미지 센서들에 동작가능하게 연결된다. 통합형 주 이미지 센서는 이미지 신호 처리 회로, 판독 회로, 디지털 직렬 인터페이스, 스토리지, 타이밍 회로, 아날로그-디지털 컨버터, 및 양방향 디지털 입력/출력 회로 중 하나 이상과 함께 반도체 기판 상에 통합된 픽셀 어레이를 포함한다. 각각의 보조 이미지 센서는 상보형 금속 산화물 반도체(CMOS) 또는 전하 결합 소자(CCD) 이미지 센서로 구현될 수 있고, 판독 회로, 디지털 직렬 인터페이스, 타이밍 회로, 출력 회로, 및 선택적인 아날로그-디지털 컨버터 중 하나 이상과 함께 픽셀 어레이를 포함한다. 통합형 주 이미지 센서 및 각각의 보조 이미지 센서에 의해 캡쳐된 이미지들은 주 이미지 센서에 의해 처리된다. 각각의 보조 이미지 센서는 또한 물리 및 운용 데이터를 통합형 주 이미지 센서에 송신할 수 있다.

Description

공유 처리되는 다중 이미지 센서 시스템{MULTIPLE IMAGE SENSOR SYSTEM WITH SHARED PROCESSING}

본 발명은 이미징(imaging) 시스템들에 관한 것으로서, 특히 다중 이미지 센서들을 갖고 공유 처리(shared processing)되는 이미징 시스템들에 관한 것이다.

많은 모바일 및 소형 디바이스들은 이미지 캡쳐를 포함하는 다양한 특징들 과 기능들을 사용자들에게 제공한다. 그러한 모바일 또는 소형 디바이스들(handheld devices)의 예들은 셀룰러 폰들 및 개인 휴대 단말기(PDA)들을 포함한다. 도 1a는 종래기술에 따른 셀룰러 폰의 전방 사시도이다. 셀룰러 폰(100)은 표준 디스플레이(102), 키패드(104)(숫자 0-9, # 및 *), 스피커(106), 마이크(108), 및 사용자 입력 디바이스(110)를 포함한다. 사용자 입력 디바이스(110)는 셀룰러 폰(100)의 다양한 특징들과 기능들을 액세스 또는 선택하기 위해 사용될 수 있다.

내장형(built-in) 디지털 카메라(112)(도 1b 참조)는 스틸(still) 및 비디오 이미지들을 캡쳐(capture)하기 위해 사용된다. 전형적으로, 소형 디스플레이(114)는 배터리 충전량 및 신호 강도와 같은 다양한 상태 아이콘들, 날짜 및 시간을 디스플레이하기 위해 셀룰러 폰(100)의 외부(116)에 위치된다. 디지털 카메라(112)는 전형적으로 전하 결합 소자(CCD) 또는 상보형 금속 산화물 반도체(CMOS) 이미지 센서와 같은 단일 이미지 센서를 포함한다.

셀룰러 폰(100)과 같은 대부분의 모바일 및 소형 디바이스들은 단일 이미지 센서를 포함하기 때문에, 비디오 컨퍼런스(video conferencing)와 같은 일부 애플리케이션들을 구현하기가 어려울 수 있다. 카메라(112)는 카메라(112)의 전방에 위치된 물체들을 포커싱하는 반면에, 디스플레이(102)는 셀룰러 폰(100)의 내부(118)(도 1a)에 위치된다. 이는 사용자가 디스플레이(102) 상의 이미지를 쳐다보는 동시에 그 또는 그녀의 이미지를 캡쳐하기 위해 카메라(112)를 쳐다볼 수 없다는 것을 의미한다.

결과적으로, 일부 이미징 시스템들은 다수의 이미지 센서들 또는 다수의 표준 디스플레이들의 사용을 고려하거나 구현하였다. 그러나, 이러한 솔루션들은 주어진 제한된 크기의 일부 이미징 디바이스들을 구현하기 위해 보다 고비용이고 어려운 과제가 되고 있다. 더욱이, 다수의 이미지 센서들이 사용될 때, 이미지 센서 내에 포함되는 많은 컴포넌트들은 각각의 이미지 센서 내에 중복된다.

다중 이미지 센서 시스템은 하나 또는 둘 이상의 보조(secondary) 이미지 센서들에 동작가능하게 연결되는 통합형(integrated) 주(primary) 이미지 센서를 포함한다. 본 발명에 따른 일 실시예에서, 통합형 주 이미지 센서는 이미지 신호 처리 회로, 판독(readout) 회로, 디지털 직렬(serial) 인터페이스, 스토리지(storage), 타이밍 회로, 아날로그-디지털 컨버터, 및 양방향 디지털 입력/출력 회로와 반도체 기판 상에서 통합된 픽셀 어레이를 포함한다. 하나 또는 둘 이상의 보조 이미지 센서들은 픽셀 어레이, 판독 회로, 디지털 직렬 인터페이스, 타이밍 회로, 및 출력 회로를 포함한다. 보조 이미지 센서의 출력 회로는 아날로그 출력 회로 또는 디지털 출력 회로로 구현될 수 있다. 보조 이미지 센서가 디지털 출력 회로를 포함할 때, 보조 이미지 센서는 아날로그-디지털 컨버터를 추가적으로 포함한다.

통합형 주 이미지 센서 및 각각의 보조 이미지 센서에 의해 캡쳐된 이미지들은 통합형 주 이미지 센서에서 이미지 신호 처리 회로에 의해 처리되어 렌더링(rendered) 이미지들을 생성한다. 각각의 보조 이미지 센서에 의해 캡쳐된 이미지들은 이미지 신호 처리 회로에 의한 처리를 위해 통합형 주 이미지 센서에 송신된다. 이미지 신호 처리 회로에 의해 수행되는 처리 기능들의 예들은 컬러 보간(color interpolation), 화이트 밸런스(white balance)와, 컬러 및 감마(gamma) 보정들을 포함하지만, 이들로 제한되지 않는다.

각각의 보조 이미지 센서는 본 발명에 따른 일 실시예에서 디지털 직렬 인터페이스를 통해 물리 및 운용(operational) 데이터를 통합형 주 이미지 센서에 송신한다. 통합형 주 이미지 센서는 이러한 데이터를 저장하고 물리 및 운용 데이터에 기초하여 보조 이미지 센서에 의해 캡쳐된 이미지 또는 이미지들과 연관된 하나 또는 둘 이상의 출력 신호들을 조정한다. 단지 예로서, 보조 이미지 센서는 자신의 해상도(resolution)를 통합형 주 이미지 센서에 송신할 수 있다. 그 다음에, 통합형 주 이미지 센서는 보조 이미지 센서로부터 수신된 해상도 데이터에 기초하여, 프레임, 라인, 및 픽셀 클록 신호들과 같은 동기화 신호들을 응답하여(responsively) 생성한다.

본 발명의 이러한 양상들, 목적들, 특징들과 장점들 및 다른 양상들, 목적들, 특징들과 장점들은 첨부된 도면들을 참조로 첨부된 청구범위 및 실시예들의 이하의 상세한 설명의 검토로부터 보다 명확하게 이해되고 인식될 것이다.

본 발명의 바람직한 효과

본 발명은 이미지 처리 회로 및 연관된 메모리가 다중 이미지 센서 이미징 시스템에서 단일한 주 이미지 센서에 통합되는 장점들을 포함한다. 통합형 이미지 신호 처리 회로는 하나 또는 둘 이상의 외부 보조 이미지 센서들로부터의 이미지 신호들 뿐만 아니라 통합형 이미지 센서의 픽셀 어레이로부터의 이미지 신호들을 수신 및 처리한다. 이미지 신호 처리 회로 및 연관된 메모리가 단지 하나의 이미지 센서에만 포함되고 모든 이미지 센서들에 포함되는 것은 아니기 때문에, 이미징 시스템의 비용이 감소된다. 부가적으로, 통합형 이미지 신호 처리 회로가 각각의 이미지 센서에 특정된(specific) 물리 및 운용 데이터를 사용하여 맞춤형(customized) 렌더링 이미지들을 생성할 수 있기 때문에, 상이한 해상도들의 이미지 센서들을 사용하는 이미징 시스템들에 대한 개발 비용들은 감소될 수 있다.

도 1a는 종래기술에 따른 셀룰러 폰의 전방 사시도이다.
도 1b는 도 1a에 도시된 셀룰러 폰의 후방 사시도이다.
도 2는 본 발명에 따른 일 실시예의 제 1 센서 시스템의 블록도이다.
도 3은 본 발명에 따른 일 실시예의 제 2 센서 시스템의 블록도이다.
도 4a는 본 발명에 따른 일 실시예의 셀룰러 폰의 전방 사시도이다.
도 4b는 도 4a에 도시된 셀룰러 폰의 후방 사시도이다.
도 5는 본 발명에 따른 일 실시예의 이미징 시스템의 블록도이다.

명세서 및 청구범위에 걸쳐서, 이하의 용어들은 문맥상 명확하게 반대로 서술되지 않는 한 여기에서 명시적으로 연관된 의미들을 갖는다. "a", "an" 및 "상기(the)"의 의미는 복수개의 참조를 포함하고, "~에서(in)"의 의미는 "~에서" 및 "~상에서"를 포함한다. "연결된"이란 용어는 연결된 아이템들 간의 직접적인 전기적 연결을 의미하거나, 또는 하나 또는 둘 이상의 수동(passive) 또는 능동(active) 중간(intermediary) 디바이스들을 통한 간접적인 연결을 의미한다. "회로"란 용어는 목표된 기능을 제공하기 위해 함께 연결되는 능동 또는 수동의 단일 컴포넌트 또는 다수의 컴포넌트들을 의미한다. "신호"란 용어는 적어도 하나의 전류, 전압, 또는 데이터 신호를 의미한다. 도면들을 참조하면, 도면들에 걸쳐서 동일한 번호들은 동일한 부분들을 나타낸다.

이제 도 2를 참조하면, 본 발명에 따른 일 실시예의 제 1 센서 시스템의 블록도가 도시된다. 센서 시스템(200)은 보조 이미지 센서(204)에 동작가능하게 연결되는 통합형 주 이미지 센서(202)를 포함한다. 보조 이미지 센서(204)는 통합형 주 이미지 센서(202) 외부에 있다. 통합형 주 이미지 센서(202)는 본 발명에 따른 일 실시예에서 CMOS 이미지 센서로 구현된다.

통합형 주 이미지 센서(202)는 스틸 또는 비디오 이미지들을 캡쳐하기 위한 픽셀 어레이(206)를 포함한다. 픽셀 어레이(206) 내의 각 픽셀은 관심 장면(scene)으로부터 광을 캡쳐하여 입사광의 양을 나타내는 전하를 발생시키는 감광성 지점(photosensitive site)을 포함한다. 각 픽셀은 전하를 전압 이미지 신호로 변환하기 위해, 트랜지스터 또는 증폭기와 같은 적어도 하나의 출력 구조물(미도시됨)을 추가적으로 포함한다. 그 다음에, 판독 회로(208)가 사용되어 픽셀 어레이(206)로부터 이미지 센서들을 판독(read out)한다. 판독 회로(208)는 행(row) 및 열(column) 디코더들, 열 샘플 및 홀드(hold) 회로들, 및 아날로그 신호 처리 회로를 포함하지만, 이들로 제한되지 않는다.

타이밍 회로(210)는 판독 회로(208)에 의해 사용되는 타이밍 신호들을 포함하는 통합형 주 이미지 센서(202)에 의해 사용되는 타이밍 신호들을 발생시킨다. 픽셀 어레이(206)로부터 판독된 이미지 신호들은 아날로그-디지털 컨버터(ADC)(212)에 의해 디지틸 이미지 신호들로 변환된다. 디지털 이미지 신호들은 이미지 신호 처리(ISP) 회로(214)에 의해 처리된다. ISP 회로(214)에 의해 수행되는 이미지 처리 기능들의 예들은 컬러 보간, 화이트 밸런스와, 컬러 및 감마 보정들을 포함하지만, 이들로 제한되지 않는다.

디지털 입력/출력 회로(216)는 양방향 신호 라인(218)을 통해 입력들, 이미지, 타이밍 및 제어 신호들을 출력 및 수신한다. 타이밍 및 제어 신호들의 예들은 프레임, 라인 및 픽셀 클록 신호들을 포함하지만 이들로 제한되지 않는다. 양방향 신호 라인(218)은 본 발명에 따른 일 실시예에서 통합형 주 이미지 센서(202) 또는 보조 이미지 센서(204)로부터 모바일 또는 소형 디바이스로 완료된(finished) 또는 렌더링된 이미지 신호들, 또는 미가공(raw)(즉, 처리되지 않은) 이미지 신호들을 출력하기 위해 사용될 수 있는 공통 데이터 버스를 나타낸다. 본 발명에 따른 다른 실시예들에서, 신호 라인(218)은 하나 또는 둘 이상의 단방향 신호 라인들로 구현될 수 있다.

보조 이미지 센서(204)는 스틸 또는 비디오 이미지들을 캡쳐하기 위한 픽셀 어레이(220), 및 픽셀 어레이(220)로부터 신호들을 판독하기 위한 판독 회로(222)를 포함한다. 보조 이미지 센서(204)는 본 발명에 따른 일 실시예에서 CMOS 이미지 센서로 구현된다. 본 발명에 따른 다른 실시예에서, 보조 이미지 센서(204)는 외부 타이밍 및 ADC 디바이스들과 조합된 CCD 이미지 센서로 구현된다.

보조 이미지 센서(204)가 CMOS 이미지 센서로 구현될 때, 타이밍 회로(224)는 판독 회로(222)에 의해 사용되는 타이밍 신호들을 포함하는, 보조 이미지 센서(204)에 의해 사용되는 타이밍 신호들을 발생시킨다. 픽셀 어레이(220)로부터 판독된 신호들은 아날로그-디지털 컨버터(226)에 의해 디지털 신호들로 변환된다. 디지털 출력 회로(228)는 신호 라인(230)에 미가공 디지털 이미지 신호들을 출력한다. 그 다음에, 미가공 디지털 이미지 신호들은 양방향 신호 라인(218)을 통해 통합형 주 이미지 센서(202)에 입력된다. 미가공 디지털 이미지 신호들은 이미지 신호 처리(214)에 의해 처리된다. 디지털 입력/출력 회로(216)는 양방향 신호 라인(218)을 통해 렌더링 이미지들을 출력한다.

보조 이미지 센서(204)는 본 발명에 따른 일 실시예에서 데이터 버스(236)를 통해 디지털 직렬(serial) 인터페이스(232)로부터 디지털 직렬 인터페이스(234)로 물리 및 운용 데이터를 송신한다. 디지털 직렬 인터페이스들(232, 234)은 또한 이미징 시스템(237) 내의 하나 또는 둘 이상의 컴포넌트들에 동작가능하게 연결될 수 있다. 보조 이미지 센서(204)에 의해 송신되는 물리 및 운용 데이터의 예들은 행들과 열들의 수, 고정된(fixed) 패턴 보정 데이터, 결함 위치들, 화이트 밸런스 및 컬러 보정 계수들, 및 관심 윈도우를 포함하지만, 이들로 제한되지 않는다.

본 발명의 다른 실시예들에 따라, 보조 센서(204)에 의해 송신되는 물리 및 운용 데이터는 양방향 신호 라인(218)을 통해, 또는 전용 타이밍 핀들(미도시됨)의 사용을 통해 송신되는 디지털 이미지 신호 데이터 스트림의 인코딩된 신호들을 사용하여 통합형 주 이미지 센서(202)에 송신될 수 있다. 통합형 주 이미지 센서(202)는 물리 및 운용 데이터를 스토리지(storage)(238)에 저장한다. 스토리지(238)는 본 발명에 따른 일 실시예에서 한 세트의 레지스터들로 구현된다. 스토리지(238)는 본 발명에 따른 다른 실시예들에서 상이하게 구현될 수 있다.

통합형 주 이미지 센서(202)의 ISP 회로(214)는 보조 이미지 센서(204)로부터 수신된 물리 및 운용 데이터에 기초하여 하나 또는 둘 이상의 처리된 이미지 신호들을 조정한다. 단지 예로써, 보조 이미지 센서(204)는 해상도 데이터, 컬러 보정 매트릭스 계수들, 또는 렌즈 음영(shading) 보정값들을 통합형 주 이미지 센서(202)에 송신한다. 통합형 주 이미지 센서(202)는 보조 이미지 센서(204)로부터 수신된 물리 및 운용 데이터에 기초하여, 프레임, 라인, 및 픽셀 클록 신호들과 같은 맞춤형(customized) 이미지 신호들 또는 동기화 신호들을 생성한다.

도 3은 본 발명에 따른 일 실시예에서 제 2 센서 시스템의 블록도이다. 센서 시스템(300)은 외부의 보조 이미지 센서들(302, 304)에 동작가능하게 연결되는 통합형 주 이미지 센서(202)를 포함한다. 보조 이미지 센서들(302, 304) 중 적어도 하나는 본 발명에 따른 일 실시예에서 CMOS 이미지 센서로 구현된다. 본 발명에 따른 다른 실시예에서, 보조 이미지 센서들(302, 304) 중 하나 또는 둘은 CCD 이미지 센서, 및 별도의 타이밍 및 디지털 인터페이스 칩들로 구현된다.

보조 이미지 센서들(302, 304)은 CMOS 이미지 센서들로 구현될 때, 각각의 보조 이미지 센서(302, 304)는 도 2에서 픽셀 어레이(220), 판독 회로(222), 타이밍 회로(224), 및 디지털 직렬 인터페이스(232)를 포함한다. 아날로그 출력 회로(306)는 신호 라인(308)을 통해 아날로그 이미지 신호들을 통합형 주 이미지 센서(202)에 송신한다. 통합형 주 이미지 센서(202)의 ADC(212)는 아날로그 이미지 신호들을 디지털 이미지 신호들로 변환한다. ISP(214)가 디지털 이미지 신호들을 처리한 다음, 디지털 입력/출력 회로(216)는 최종 또는 렌더링 이미지 신호들을 출력한다.

각각의 보조 이미지 센서(302, 304)는 본 발명에 따른 일 실시예에서 데이터 버스(310)를 통해 자신의 디지털 직렬 인터페이스(232)로부터 디지털 직렬 인터페이스(234)로 물리 및 운용 데이터를 송신한다. 물리 및 운용 데이터는 스토리지(238)에 저장된다. 통합형 주 이미지 센서(202)는 보조 이미지 센서(302, 304)로부터 수신된 물리 및 운용 데이터에 기초하여, 프레임, 라인, 및 픽셀 클록 신호들과 같은 맞춤형 이미지 신호들 또는 동기화 신호들을 생성한다.

본 발명에 따른 일 실시예에서, 보조 이미지 센서(204)(도 2) 및 보조 이미지 센서들(302, 304)(도 3)은 VGA 또는 1.3MP 이미지 센서들과 같은 보다 저해상도 이미지 센서들로 구현되는 반면에, 통합형 주 이미지 센서(202)는 보다 고해상도 이미지 센서로 구현된다. ISP 회로(214)는 보다 작은 퍼센티지의 다이 구역(area)을 사용하기 때문에, ISP 회로(214)는 전형적으로 통합형 주 이미지 센서(202)에 구현된다. ISP 회로(214)를 형성하는 컴포넌트들은 일반적으로 통합형 주 이미지 센서(202)를 위한 다이의 크기를 증가시키지 않으면서, 다이의 사용가능한 또는 사용하지 않은 구역들에 제조될 수 있다. 보조 이미지 센서(204)의 다이 크기는 보조 이미지 센서(204)가 ISP 회로를 포함하지 않기 때문에 감소된다. 통합형 주 이미지 센서(202)의 ISP 회로(214)는 이미지 신호들을 처리하기 위해 사용된다. 유사하게, ADC 회로(212) 및 ISP 회로(214)가 통합형 주 이미지 센서(202)에만 포함되지만 이미지 신호들을 처리하기 위해 센서 시스템(300)의 모든 이미지 센서들(202, 302, 304)에 의해 사용되기 때문에, 보조 이미지 센서들(302, 304)의 다이들의 크기는 훨씬 더 감소된다. 또한, ADC 회로(212)의 제거는 핀 카운트(pin count)를 현저히 감소시킬 수 있어서, 저해상도 센서들을 위한 훨씬 더 작은 다이 크기를 유도할 수 있다.

이제 도 4a를 참조하면, 본 발명에 따른 일 실시예에서 셀룰러 폰의 전방 사시도가 도시된다. 셀룰러 폰(400)은 도 2 또는 도 3에 도시된 센서 시스템을 사용할 수 있는 이미징 시스템의 단지 하나의 예이다. 셀룰러 폰(400)은 도 1a-1b를 참조로 설명된 디스플레이(102), 키보드(104), 스피커(106), 마이크(108), 사용자 입력 디바이스(110), 및 디스플레이(114)를 포함한다. 내장형 디지털 카메라 디바이스(402)는 셀룰러 폰(400)의 내부(404) 상에 위치된 물체들을 포커싱하는 반면에, 내장형 디지털 카메라 디바이스(406)는 셀룰러 폰(400)의 외부(408) 상에 위치된 물체들을 포커싱한다. 카메라 디바이스(406)는 통합형 주 이미지 센서(예, 도 2의 센서(202))를 포함하는 반면에, 카메라 디바이스(402)는 본 발명에 따른 일 실시예에서 보조 이미지 센서(예, 도 2의 센서(204))를 사용한다.

도 5는 본 발명에 따른 일 실시예의 이미징 시스템의 블록도이다. 이미징 시스템(500)은 셀룰러 폰(502) 및 컴퓨팅 디바이스(504)를 포함한다. 디지털 카메라 폰(502)은 예를 들어 내부 플래시 EPROM 메모리 또는 착탈식 메모리 카드일 수 있는 메모리(506)에 저장되는 디지털 이미지들을 생성한다. 메모리(506)를 구현하기 위해 자성 하드 드라이브들, 자성 테이프, 또는 광 디스크들과 같은 다른 타입들의 디지털 이미지 스토리지 매체들이 대안적으로 사용될 수 있다.

디지털 카메라 폰(502)은 장면(미도시됨)으로부터 통합형 주 이미지 센서(510) 위에 광을 포커싱하기 위한 렌즈(508)를 사용한다. 디지털 카메라 폰(502)은 장면(미도시됨)으로부터 보조 이미지 센서(514) 위에 광을 포커싱하기 위한 렌즈(512)를 사용한다. 통합형 주 이미지 센서(510)로부터 출력되는 렌더링 이미지들은 버퍼 메모리(516)에 저장되고 디지털 프로세서(518)에 의해 후속적으로 처리된다. 디지털 프로세서(518)는 플래시 EPROM 메모리일 수 있는 펌웨어 메모리(520)에 저장된 펌웨어에 의해 제어된다. 디지털 프로세서(518)는 셀룰러 폰(502) 및 디지털 프로세서(518)가 저전력 상태(low power state)에 있을 때에도 날짜 및 시간을 유지하는 실시간 클록(522)을 포함한다. 처리된 디지털 이미지 파일들은 메모리(506)에 저장된다. 메모리(506)는 또한 예를 들어, 음악 파일들(예, MP3 파일들), 벨소리, 전화 번호, 캘린더(calendar), 할일 목록(to-do list)과 같은 다른 타입들의 데이터를 저장할 수 있다.

셀룰러 폰(502)은 본 발명에 따른 일 실시예에서 통합형 주 이미지 센서(510)를 사용하여 스틸 이미지들을 캡쳐하고, 보조 이미지 센서(514)를 사용하여 비디오 이미지들을 캡쳐한다. 디지털 프로세서(518)는 스틸 및 비디오 이미지들을 이미지 파일로서 압축하여 메모리(506)에 저장한다. 단지 예로서, 이미지 데이터는 공지된 "Exif" 이미지 포맷을 사용하는 JPEG 포맷에 따라 압축될 수 있다. 이러한 포맷은 다양한 TIFF 태그들을 사용하여 특정한 이미지 메타데이터(metadata)를 저장하는 Exif 애플리케이션 세그먼트를 포함한다. 개별적인 TIFF 태그들은 예를 들어 캡쳐된 사진의 날짜 및 시간, 렌즈 f 넘버(number) 및 다른 카메라 세팅들(settings)을 저장하기 위해, 그리고 이미지 제목들을 저장하기 위해 사용될 수 있다.

디지털 프로세서(518)는 본 발명에 따른 일 실시예에서 사용자에 의해 선택되는 상이한 이미지 크기들을 생성한다. 그러한 하나의 크기는 저해상도 "썸네일(thumbnail)" 크기 이미지이다. 썸네일 이미지는 RAM 메모리(524)에 저장되고, 예를 들어 능동 매트릭스 LCD 또는 유기 발광 다이오드(OLED)일 수 있는 디스플레이(526)에 제공된다. 썸네일 크기 이미지들의 생성은 캡쳐된 스틸 이미지들이 컬러 디스플레이(526) 상에서 신속하게 리뷰될 수 있도록 허용한다.

오디오 코덱(528)은 디지털 프로세서(518)에 연결되고 마이크(Mic)(530)로부터 오디오 신호를 수신한다. 오디오 코덱(528)은 또한 오디오 신호를 스피커(532)에 제공한다. 이러한 컴포넌트들은 전화 통화들을 위해 그리고 비디오 시퀀스 또는 스틸 이미지와 함께 오디오 트랙을 녹음(record) 및 재생(playback)하기 위해 사용된다.

스피커(532)는 또한 본 발명에 따른 일 실시예에서 사용자에게 수신 전화 통화를 알리기 위해 사용된다. 이는 펌웨어 메모리(520)에 저장된 표준 벨소리를 사용하여, 또는 모바일 폰 네트워크(534)로부터 다운로딩되어 메모리(506)에 저장된 주문형(custom) 벨소리를 사용함으로써 수행될 수 있다. 또한, 수신 전화 통화의 무성(silent)(예, 비가청) 통지를 제공하기 위해 진동 장치(미도시됨)가 사용될 수 있다.

디지털 프로세서(518)는 무선 모뎀(536)에 연결되어, 셀룰러 폰(502)이 무선 주파수(RF) 채널(538)을 통해 정보를 송신 및 수신할 수 있도록 한다. 무선 모뎀(536)은 3GSM 네트워크와 같은 다른 RF 링크(미도시됨)를 사용하여 모바일 폰 네트워크(534)와 통신한다. 모바일 폰 네트워크(534)는 포토 서비스 제공자(540)와 통신하여, 셀룰러 폰(502)으로부터 다운로딩된 이미지들을 저장한다. 컴퓨팅 디바이스(504)를 포함하는 다른 디바이스들은 인터넷(542)을 통해 이러한 이미지들에 액세스한다. 또한, 모바일 폰 네트워크(534)는 본 발명에 따른 일 실시예에서 일반적인 전화 서비스를 제공하기 위해 표준 전화망(미도시됨)에 연결된다.

그래픽 사용자 인터페이스(미도시됨)는 디스플레이(526) 상에 디스플레이되고 사용자 제어부들(controls)(544)에 의해 제어된다. 사용자 제어부들(544)은 본 발명에 따른 실시예들에서, 전화 번호를 다이얼링하기 위한 전용 푸시 버튼들(예, 전화 키패드), 모드를 설정하기 위한 제어부(예, "폰(phone)" 모드, "캘린더(calendar)" 모드, "카메라" 모드), 4방향 제어(위, 아래, 좌, 우) 및 센터 푸시-버튼 "OK" 또는 "선택(select)" 스위치를 포함하는 조이스틱 제어기를 포함한다.

도킹(dock)(546)은 셀룰러 폰(502)의 배터리들(미도시됨)을 충전한다. 도킹(546)은 도킹 인터페이스(548)를 통해 셀룰러 폰(502)을 컴퓨팅 디바이스(504)에 연결한다. 도킹 인터페이스(548)는 본 발명에 따른 일 실시예에서, USB 인터페이스와 같은 유선 인터페이스로 구현된다. 대안적으로, 본 발명에 따른 다른 실시예들에서, 도킹 인터페이스(548)는 블루투스 또는 IEEE 802.11b 무선 인터페이스와 같은 무선 인터페이스로 구현된다. 도킹 인터페이스(548)는 메모리(506)로부터 컴퓨팅 디바이스(504)로 이미지들을 다운로딩하기 위해 사용된다. 도킹 인터페이스(548)는 또한 컴퓨팅 디바이스(504)로부터 메모리(506)로 캘린더 정보 및 다른 데이터를 전달하기 위해 사용된다.

본 발명은 특정한 실시예, 즉 셀룰러 폰을 참조로 설명되었다. 본 발명에 따른 다른 실시예들은 이러한 구현예로 제한되지 않는다. 본 발명은 2개 이상의 이미지 센서들을 사용하는 임의의 이미징 시스템으로 구현될 수 있다. 그러한 이미징 시스템들의 예들은 개인 휴대 단말기들(PDA), 디지털 스틸 카메라들, 및 디지털 비디오 카메라들을 포함하지만, 이들로 제한되지 않는다.

100: 셀룰러 폰
102: 표준 디스플레이
104: 키보드
106: 스피커
108: 마이크
110: 사용자 입력 디바이스
112: 내장형 디지털 카메라
114: 소형 디스플레이
116: 셀룰러 폰의 외부
118: 셀룰러 폰의 내부
200: 센서 시스템
202: 통합형 주 이미지 센서
204: 보조 이미지 센서
206: 픽셀 어레이
208: 판독 회로
210: 타이밍 회로
212: 아날로그-디지털 컨버터(ADC)
214: 이미지 신호 처리 회로(ISP)
216: 디지털 입력/출력 회로
218: 양방향 신호 라인
220: 픽셀 어레이
222: 판독 회로
224: 타이밍 회로
226: 아날로그-디지털 컨버터
228: 디지털 출력 회로
230: 신호 라인
232: 디지털 직렬 인터페이스
234: 디지털 직렬 인터페이스
236: 데이터 버스
237: 이미징 시스템
238: 스토리지
300: 센서 시스템
302: 보조 이미지 센서
304: 보조 이미지 센서
306: 아날로그 출력 회로
308: 신호 라인
310: 데이터 버스
400: 셀룰러 폰
402: 보조 이미지 센서를 갖는 내장형 디지털 카메라 디바이스
404: 셀룰러 폰의 내부
406: 통합형 주 이미지 센서를 갖는 내장형 디지털 카메라 디바이스
408: 셀룰러 폰의 외부
500: 이미징 시스템
502: 셀룰러 폰
504: 컴퓨팅 디바이스
506: 메모리
508: 렌즈
510: 통합형 주 이미지 센서
512: 렌즈
514: 보조 이미지 센서
516: 버퍼 메모리
518: 디지털 프로세서
520: 펌웨어 메모리
522: 실시간 클록
524: RAM 메모리
526: 디스플레이
528: 오디오 코덱
530: 마이크(Mic)
532: 스피커
534: 모바일 폰 네트워크
536: 무선 모뎀
538: 무선 주파수(RF) 채널
540: 포토 서비스 제공자
542: 인터넷
544: 사용자 제어부들
546: 도킹
548: 도킹 인터페이스

Claims

이미징(imaging) 시스템으로서,
통합형 주 이미지 센서(primary integrated image sensor); 및
상기 통합형 주 이미지 센서에 동작가능하게 연결되는 보조 이미지 센서(secondary image sensor)를 포함하고,
상기 통합형 주 이미지 센서는,
이미지들을 캡쳐하기 위한 제 1 픽셀 어레이;
타이밍 신호들을 발생시키기 위한 제 1 타이밍 회로 ― 상기 타이밍 신호들은 상기 제 1 픽셀 어레이로부터 캡쳐된 이미지들을 판독하기 위해 사용되는 신호들을 포함함 ―;
캡쳐된 이미지들을 처리하기 위한 이미지 신호 처리 회로; 및
처리된 이미지들을 출력하기 위한 양방향(bi-directional) 디지털 입력/출력 회로를 포함하고,
상기 보조 이미지 센서는,
이미지들을 캡쳐하기 위한 제 2 픽셀 어레이;
타이밍 신호들을 발생시키기 위한 제 2 타이밍 회로 ― 상기 타이밍 신호들은 상기 제 2 픽셀 어레이로부터 캡쳐된 이미지들을 판독하기 위해 사용되는 신호들을 포함함 ―; 및
출력 회로 ― 상기 제 2 픽셀 어레이에 의해 캡쳐된 이미지들은 상기 통합형 주 이미지 센서의 상기 이미지 신호 처리 회로에 입력으로서 제공됨 ― 를 포함하고,
상기 통합형 주 이미지 센서 및 상기 보조 이미지 센서는 각각,
디지털 직렬(serial) 인터페이스; 및
상기 디지털 직렬 인터페이스를 사용하여 상기 보조 이미지 센서에 의해 송신되는 물리 및 운용(physical and operational) 정보를 저장하도록 동작가능한 하나 또는 둘 이상의 스토리지(storage) 회로들을 더 포함하는,
이미징 시스템.
제 1 항에 있어서,
상기 통합형 주 이미지 센서는 아날로그-디지털 컨버터를 더 포함하는, 이미징 시스템.
제 2 항에 있어서,
상기 보조 이미지 센서는 아날로그-디지털 컨버터를 더 포함하고,
상기 보조 이미지 센서의 상기 출력 회로는 디지털 출력 회로를 포함하는, 이미징 시스템.
제 1 항에 있어서,
상기 보조 이미지 센서의 상기 출력 회로는 아날로그 출력 회로를 포함하는, 이미징 시스템.
삭제
제 1 항에 있어서,
상기 통합형 주 이미지 센서의 상기 제 1 타이밍 회로 및 상기 양방향 입력/출력 회로는 상기 보조 이미지 센서로부터 수신되는 상기 저장된 물리 및 운용 정보에 응답하여(responsively) 특정한(specific) 신호들을 출력하는, 이미징 시스템.
이미징 시스템으로서,
통합형 주 이미지 센서; 및
상기 통합형 주 이미지 센서에 각각 동작가능하게 연결되는 하나 또는 둘 이상의 보조 이미지 센서들을 포함하고,
상기 통합형 주 이미지 센서는,
이미지들을 캡쳐하기 위한 제 1 픽셀 어레이;
타이밍 신호들을 발생시키기 위한 제 1 타이밍 회로 ― 상기 타이밍 신호들은 상기 제 1 픽셀 어레이로부터의 캡쳐된 이미지들을 판독하기 위해 사용되는 신호들을 포함함 ―;
캡쳐된 이미지들을 처리하기 위한 이미지 신호 처리 회로; 및
처리된 이미지들을 출력하기 위한 양방향 입력/출력 회로를 포함하고,
각각의 상기 보조 이미지 센서는,
제 2 픽셀 어레이;
타이밍 신호들을 발생시키기 위한 제 2 타이밍 회로 ― 상기 타이밍 신호들은 상기 제 2 픽셀 어레이로부터 캡쳐된 이미지들을 판독하기 위해 사용되는 신호들을 포함함 ―; 및
출력 회로 ― 각각의 제 2 픽셀 어레이에 의해 캡쳐된 이미지들은 상기 통합형 주 이미지 센서의 상기 이미지 신호 처리 회로에 입력으로서 제공됨 ―를 포함하고,
상기 통합형 주 이미지 센서 및 적어도 하나의 보조 이미지 센서는 각각,
디지털 직렬 인터페이스; 및
상기 디지털 직렬 인터페이스를 사용하여 상기 적어도 하나의 보조 이미지 센서에 의해 송신되는 물리 및 운용 정보를 저장하도록 동작가능한 하나 또는 둘 이상의 스토리지 회로들을 더 포함하는,
이미징 시스템.
삭제
제 7 항에 있어서,
상기 통합형 주 이미지 센서는 아날로그-디지털 컨버터를 더 포함하는, 이미징 시스템.
제 9 항에 있어서,
적어도 하나의 보조 이미지 센서는 아날로그-디지털 컨버터를 더 포함하고,
상기 적어도 하나의 보조 이미지 센서의 상기 출력 회로는 디지털 출력 회로를 포함하는, 이미징 시스템.
제 9 항에 있어서,
적어도 하나의 보조 이미지 센서의 상기 출력 회로는 아날로그 출력 회로를 포함하는, 이미징 시스템.
삭제
제 7 항에 있어서,
상기 통합형 주 이미지 센서의 상기 제 1 타이밍 회로 및 상기 양방향 입력/출력 회로는 상기 적어도 하나의 보조 이미지 센서로부터 수신되는 상기 저장된 물리 및 운용 정보에 응답하여 특정한 신호들을 출력하는, 이미징 시스템.
하나 또는 둘 이상의 보조 이미지 센서들에 동작가능하게 연결되는 통합형 주 이미지 센서를 포함하는 이미징 시스템을 동작하는(operating) 방법으로서,
상기 통합형 주 이미지 센서는 이미지 신호 처리 회로를 포함하고,
상기 방법은,
상기 하나 또는 둘 이상의 보조 이미지 센서들 중 적어도 하나에 의해 이미지를 캡쳐하는 단계 ― 상기 이미지는 이미지 신호들을 포함함 ―;
상기 이미지 신호들을 상기 통합형 주 이미지 센서의 상기 이미지 신호 처리 회로에 송신하는 단계;
물리 및 운용 정보를 상기 통합형 주 이미지 센서에 송신하는 단계;
상기 물리 및 운용 정보에 기초하여 상기 통합형 주 이미지 센서로부터 하나 또는 둘 이상의 신호들을 응답하여 출력하는 단계;
상기 이미지 신호들을 처리하는 단계; 및
처리된 이미지 신호들을 상기 이미징 시스템 내의 하나 또는 둘 이상의 컴포넌트들(components)에 송신하는 단계를 포함하고,
이미징 시스템을 동작하는 방법.
제 14 항에 있어서,
상기 이미지 신호들을 상기 통합형 주 이미지 센서에 송신하는 단계는 아날로그 이미지 신호들을 상기 통합형 주 이미지 센서에 송신하는 단계를 포함하는, 이미징 시스템을 동작하는 방법.
제 15 항에 있어서,
상기 아날로그 이미지 신호들을 디지털 이미지 신호들로 변환하는 단계를 더 포함하는, 이미징 시스템을 동작하는 방법.
삭제
제 14 항에 있어서,
상기 물리 및 운용 정보를 저장하는 단계를 더 포함하는, 이미징 시스템을 동작하는 방법.