KR101953813B1

KR101953813B1 - 통합 메모리 및 프로세서를 갖는 스마트 이미지 센서

Info

Publication number: KR101953813B1
Application number: KR1020177031190A
Authority: KR
Inventors: 청 천 완; 춘 핑 칭; 석환 림; 제포 로버트 헝; 블레이즈 아구에라-아카스
Original assignee: 구글 엘엘씨
Priority date: 2015-08-19
Filing date: 2016-08-17
Publication date: 2019-03-04
Also published as: WO2017031205A1; US20190052808A1; KR20170131657A; EP3338443A1; US10129477B2; CN108141525A; US20170054895A1; JP2018525853A; US10547779B2; JP6644809B2

Abstract

장치가 기술된다. 상기 장치는 이미지 센서에 국지적으로 통합된 메모리와 프로세서를 갖춘 스마트 이미지 센서를 포함한다. 메모리는 프로세서에 의해 실행되는 제1 프로그램 코드를 저장하도록 이루어진다. 상기 메모리는 이미지 센서 및 프로세서와 결합된다. 상기 메모리는 프로세서에 의해 실행되는 제2 프로그램 코드를 저장하도록 이루어진다. 상기 제1 프로그램 코드는 스마트 이미지 센서로 하여금 이미지 센서에 의해 캡쳐된 하나 이상의 이미지들 대한 분석을 수행하게끔 한다. 상기 분석은 이전에 캡쳐된 이미지들로부터의 기계 학습(machine learning)으로 하나 이상의 이미지들 내에서 관심 영역을 식별하는 것이다. 상기 제2 프로그램 코드는 상기 스마트 이미지 센서로 하여금 상기 제1 프로그램 코드의 실행에 의해 수행된 하나 이상의 이미지들의 분석에 응답하여 이미지 센싱 및/또는 광학 파라미터를 변경하게끔 한다. 대안적으로 또는 조합하여, 상기 메모리는 상기 프로세서에 의해 실행될 제3 프로그램 코드와 상기 프로세서에 의해 실행될 제4 프로그램 코드를 저장한다. 상기 제3 프로그램 코드는 상기 이미지 센서에 의해 캡쳐된 복수의 이미지들을 상기 메모리에 저장하도록 이루어진다. 상기 제4 프로그램 코드는 상기 메모리 내의 복수의 이미지들을 병합하도록 이루어진다.

Description

통합 메모리 및 프로세서를 갖는 스마트 이미지 센서

[관련 출원의 상호참조]

본 출원은 2015 년 8 월 19 일에 출원되고, 그 명칭이 "통합 메모리 및 프로세서를 포함하는 스마트 이미지 센서"인 미국 가출원 제 62/207,232호에 대한 우선권을 주장하고, 상기 가출원은 참조로서 본 출원에 모두 포함된다.

[배경기술]

본 발명의 기술분야는 이미징(imaging)에 관한 것으로, 보다 상세하게는 통합 메모리 및 프로세서를 포함하는 카메라에 관한 것이다.

도 1은 컴퓨팅 시스템 내의 카메라 관련 기능들에 대한 종래의 데이터 흐름들 1, 2, 3을 도시한다. 현재 많은 컴퓨팅 시스템들에서, 카메라(101)는 프로세싱 지능이 거의 없거나 전혀 없다. 결과적으로, 카메라(101) 자체의 복잡한 기능이나 카메라의 이미지들을 사용하는 애플리케이션은 전형적으로, 컴퓨팅 시스템의 범용 프로세싱 코어(들)(105) (예를 들어 하나 이상의 애플리케이션 프로세서들)에서 실행된다.

도 1에서 확인되는 바와 같이, 프로세싱 코어(들)(105)에서 이 기능들/애플리케이션들을 실행하게 되면 컴퓨팅 시스템 내에서 많은 양의 데이터가 불필요하게 이동할 뿐만 아니라, 코어(들)(105)로부터 카메라(101)로 돌아가는 피드백 경로들의 레이턴시(latencies)가 길어진다. 또한, 트래픽 정체가 심해지고 시스템에 의한 전력소모가 증가하여 전체적으로 비효율적이게 된다.

예를 들어, 코어(들)(105)에서 수행되는 자동 포커스 루틴(an auto-focus routine)을 고려해보자. 여기서, 이미지 데이터의 전체 프레임은 시스템 메모리(104)에 기록되기 전에, 카메라(101)로부터 I/O 제어 허브(102) 및 메모리 제어기(103)를 지나게 된다(1). 코어(들)(105)이 자동 포커스 루틴을 실행하기 위해, 이미지 데이터가 프로세싱을 위해 시스템 메모리(104)로부터 코어(들)로 호출된다(2). 여기서, 많은 양의 데이터가 데이터 경로들(1 및 2)을 따라 이동하게 되는 바, 결과적으로 레이턴시가 길어지고, 시스템에서 전력소비가 증가하고 트래픽 정체가 초래된다.

추가적으로, 자동 포커스 루틴이 분석을 완료하고 코어(들)(105)이 카메라(101)에 다음 자동 포커스 커맨드를 통신하려고 시도하는 경우, 상기 커맨드는 최종적으로 카메라(101)에 도달하기 전에 메모리 제어기(103) 및/또는 I/O 제어 허브(102)를 통과하여 프로그레스된다(3). 상기 커맨드가 그 도중에 시스템 내의 다른 위치들에 큐잉될 수 있다. 따라서, 이미지 데이터가 처음 전송되는 시간(1)으로부터 그 이미지 데이터에 기초하여 최종적으로 피드백 커맨드를 수신되는 시간(3)까지 카메라(101)의 관점에서 추가적인 레이턴시가 관찰된다.

장치가 기술된다. 상기 장치는 이미지 센서에 국지적으로 통합된 메모리와 프로세서를 갖춘 스마트 이미지 센서를 포함한다. 상기 메모리는 이미지 센서 및 프로세서와 결합된다. 상기 메모리는 상기 프로세서에 의해 실행되는 제1 프로그램 코드를 저장하도록 이루어진다. 상기 메모리는 상기 프로세서에 의해 실행되는 제2 프로그램 코드를 저장하도록 이루어진다. 상기 제1 프로그램 코드는 상기 스마트 이미지 센서로 하여금 이미지 센서에 의해 캡쳐된 하나 이상의 이미지들 대한 분석을 수행하게끔 한다. 상기 분석은 이전에 캡쳐된 이미지들로부터의 기계 학습(machine learning)으로 하나 이상의 이미지들 내에서 관심 영역을 식별하는 것이다. 상기 제2 프로그램 코드는 상기 스마트 이미지 센서로 하여금 상기 제1 프로그램 코드의 실행에 의해 수행된 하나 이상의 이미지들의 분석에 응답하여 이미지 센싱 및/또는 광학 파라미터를 변경하게끔 한다. 대안적으로 또는 조합하여, 상기 메모리는 상기 프로세서에 의해 실행될 제3 프로그램 코드와 상기 프로세서에 의해 실행될 제4 프로그램 코드를 저장한다. 상기 제3 프로그램 코드는 이미지 센서에 의해 캡쳐된 복수의 이미지들을 상기 메모리에 저장하도록 이루어진다. 상기 제4프로그램 코드는 상기 메모리 내의 상기 복수의 이미지들을 병합하도록 이루어진다.

이하의 설명 및 첨부 도면은 본 발명의 실시 예를 설명하기 위해 사용된다. 도면에서:
도 1은 컴퓨팅 시스템을 도시한다;
도 2는 통합 메모리 및 프로세서를 포함하는 카메라를 도시한다;
도 3은 도 2의 카메라에서 실행될 수 있는 애플리케이션 소프트웨어를 도시한다;
도 4a 및 도 4b는 도 2의 카메라에 의해 수행될 수 있는 자동 포커스 접근법에 관한 도면이다;
도 5a 내지 도 5c는 도 2의 카메라에 의해 수행될 수 있는 자동 포커스 접근법에 관한 도면들이다;
도 6a 및 도 6b는 도 2의 카메라로 정지 영상에 대한 EIS를 수행하기 위한 기술에 관한 도면들이다;
도 7은 도 2의 카메라로 고(high) 동적 범위 동영상들을 생성하는 기술에 관한 도면이다.

도 2는 카메라-특정 프로세싱 인텔리전스(camera-specific processing intelligence)를 예를 들어 카메라 패키지 자체(201)로 이동시키는 개선된 접근법을 도시한다. 도 2에서 확인할 수 있듯이, 카메라 패키지(201)내에 위치되는 전형적 옵틱들/서보들(optics/servos)(202) 및 이미지 센서(203)외에도 메모리(204) 및 프로세서(205)가 또한 존재한다. 도 2에 도시된 바와 같이, 여러 디바이스들(202 내지 205)이 카메라 패키지(201) 내에 스택될 수 있다. 단일 카메라 패키지(201)에서 이들 컴포넌트들(202 내지 205) 모두를 조합함으로써, 많은 카메라 특정 기능들이 카메라 자체 내에서 실행될 수 있고, 그에 따라 최대 시스템 메모리까지 그리고 이를 넘어선 곳까지의 긴 길이와 비효율적인 흐름을 피할 수 있다.

다른 실시 예에서, 프로세서(205) 및/또는 메모리(204)가 카메라 패키지(201)의 외부에 상주할 수 있으나, 그럼에도 불구하고, 도 1과 관련하여 전술한 성가신 경로를 제거하기 위해 카메라 패키지(201)에 물리적으로 그리고/또는 구조적으로 가까이에 배치된다.

도 2에서 관찰되는 바와 같이, 몇몇 고유의 데이터 흐름들은 카메라(201)에 국지적으로 적용될 수 있다. 흐름(206)은 프로세서(205)로 달성되는 내부 프로세싱 인텔리전스(processing intelligence)로 인해, 카메라(201)가 이미지 데이터를 분석하고 더 작은 관심영역을 인식할 수 있게 하는 흐름에 대응한다. 따라서, 컴퓨터 시스템의 범용 CPU 코어(들)에 의해 처리되는 시스템을 통해 전달되어야 하는 데이터의 총량을 효과적으로 줄이기 위해, 관심 영역에서 오직 더 작은 풋프린트(footprint) 크기의 데이터만이 애플리케이션 프로세서에 의한 추가 프로세싱을 위해 카메라로부터 시스템 메모리로 전송된다.

흐름(207)은, 다시 프로세서(205)로 실현된 프로세싱 인텔리전스로 인해, 카메라가 이미지 데이터의 자체 분석에 기초하여 자신의 다양한 내부 기능들을 독립적으로 제어할 수 있는 또 다른 흐름을 나타낸다. 예를 들어, 카메라 프로세서 자체의 데이터 분석에 기초하여 새로운 자동-포커스 설정이 설정되거나 그리고/또는 새로운 노출 시간(exposure times)이 설정될 수 있다.

동작 시, 옵틱들(202) 및 이미지 센서(203)는 표준 카메라 동작과 일관되게 이미지를 캡처한다. 그러나, 이미지 데이터를 카메라 외부로 즉시 유도하기보다는, 도 2의 신규한 카메라는 대신, 자체의 로컬 메모리(204)에 이미지 데이터를 기록할 것이다. 이미지 데이터를 저장하는 것 외에, 메모리(204)는 또한, 프로세서(205)에 의해 실행되는 프로그램 코드를 저장하는데 사용된다. 따라서, 프로세서(205)는 여러 애플리케이션들의 수행 시 메모리(204)를 벗어나서 실행한다.

도 3은 로컬 카메라 프로세서(304)가 실행할 수 있는 몇몇 타입의 애플리케이션들의 고 레벨 뷰를 제공한다. 도 3에 도시된 바와 같이, 잠재적인 애플리케이션들 중 일부는 장면 분석(301) 기능(예, 객체 인식, 자동-포커스), 이미지 품질 분석(302)(예, 적절한 노출 시간 설정, 이미지 해상도 또는 동적 범위를 결정하기 위한 분석), 및 모션 분석 (303)(예, 이미지 내에서 피처들의 움직임 또는 움직임 부재에 기초하여, 고(high) 프레임 레이트가 적절한지 또는 저(low) 프레임 레이트가 적절한지를 확립하기 위한 분석)을 포함한다.

다른 실시 예에서, 카메라 내의 이미지 센서는 상이한 해상도 및/또는 동적 범위를 갖는 아날로그 - 디지털 변환기들의 뱅크(banks)를 포함한다. 다양한 이미지 품질 작업들에 따라, 프로세서는 ADC들 중 특정 ADC들을 인에이블시키고 다른 ADC들을 디스에이블할 수 있다. 예를 들어, 이미지의 분석에 기반하여 (이미지가 매우 균일한 화상(imagery)을 갖기 때문에) 저해상도가 적합하다면, 내부 프로세서는 이미지 센서에 커맨드를 전송하여 저해상도/저동적범위의 ADC들을 인에이블시키고 고해상도/고동적범위의 ADC들을 디스에이블시키게 할 수 있다.

도 4a 및 도 4b는 지능형 카메라의 자동 포커스 실시 예에 관한 추가적인 세부사항을 제공한다. 도 4a에 도시된 바와 같이, 카메라의 이미지 센서, 메모리 및 프로세서는 함께 스마트 이미지 센서(401)로 간주될 수 있다. 스마트 이미지 센서(401)는 이미지 분석 엔진(402)으로 장면 분석을 예를 들어 자동-포커스 루틴의 초기부분으로서 수행할 수 있다. 자동 포커스 루틴이 수치적으로 집약적일 수 있으므로, 스마트 이미지 센서는 또한, 자동-기능 수치(numerics)를 수집, 업데이트 및/또는 그렇지 않으면 프로세스하는 통계 엔진(403)을 포함한다. 스마트 이미지 센서는 가장 유리하게는 단일 회로 패키지에 통합될 수 있으며, 가장 바람직하게는 시스템 온 칩(SoC)일수 있다.

하이브리드 자동 포커스 엔진(404)은 또한 1) 레이저 기반의 자동 포커스; 2) 위상 검출 기반의 자동 포커스; 또는 3) 콘트라스트 기반의 자동 포커스 중 하나 이상의 루틴들/작업들을 수행한다. 장면 분석 엔진(402), 통계 엔진(403) 및 하이브리드 자동 포커스 엔진(404) 중 어느 것 또는 전부는 카메라 메모리의 외부에서 스마트 이미지 센서의 프로세서에 의해 실행되는 프로그램 코드로서 구현될 수 있다.

일 실시 예에서, 스마트 이미지 센서(401)는 보다 빠른 프레임 레이트(예, 초당 120 프레임(fps))로 프로세스되는 더욱 작은 크기의 ("부분적인") 이미지들 상에서 자동 포커스 루틴을 수행한다. 프레임 레이트가 빠르기 때문에, 스마트 이미지 센서는 기존의 구현들보다 더 빠르게 자동 포커스를 수행할 수 있다. 범용 코어 (존재하는 경우)에까지 전달되어야 하는 전체 크기의 자동 포커스 정보는 보다 느린 프레임 레이트(예, 30fps)로 제공되어 시스템을 통해 외부로 전달되는 데이터의 총 레이트를 감소시킬 수 있다.

또한, 스마트 이미지 센서(401)는 자동 포커스 기능의 일부로서 렌즈 위치 설정을 제어하기 위해 렌즈 서보들/액추에이터들(405)에 컨맨드들을 직접 제공할 수 있다. 추가적으로, 예를 들어, 레이저 기반 자동 검출 방식의 경우, 스마트 센서는 ToF(time-of-flight) 심도 이미징을 위한 레이저 광을 발생시키는 데 역시 사용되는 레이저 디바이스에 커맨드들을 직접 제공 할 수 있다.

도 4b는 도 4a의 카메라 시스템에 의해 수행될 수 있는 자동-포커싱 방법을 도시한다. 도 4b에 도시된 같이, 자동 포커싱 루틴은 예를 들어, 포커스를 맞춰야 할 관심 객체를 인식하기 위해 초기에 장면 분석(410)을 수행한다. 장면 분석의 객체 인식은 보다 작은 풋프린트의 데이터 또는 "부분 이미지"에서 수행될 수 있다(예를 들어, 이미지 내의 매 다른 라인 또는 매 제3 라인마다 동작할 수 있다).

추가로, 어느 정도의 기계 학습 또는 트레이닝(413)이 장면 분석(411)에 미리 적용되거나 그리고/또는 이에 적합화(commensurate)될 수 있다. 여기서, 프로파일 내에 일반인의 프로파일이 단순히 존재하는지를 단순히 인식하는 것 외에, 장면 분석 기능(411)은 이전에 촬영한 이미지들을 기반으로 이미지 내에 특정 인물을 인식하기에 충분히 스마트하다.

여기서, 기계 학습 프로세스(413)는 카메라에 의해 촬영된 (예를 들어, 장치의 포토 라이브러리에 저장된) 이전 사진/이미지를 면밀히 조사하여 특정 개인의 사진이 빈번하게 촬영되고 있음을 인식할 수 있다. 그런 다음, 기계 학습 기능(413)은 특정 인물의 얼굴 인식 프로파일을 구축할 수 있고, 장면 분석(410)을 수행할 때, 현재 촬영되고 있는 이미지에서 (예를 들어, 사람들 무리에서 배경에 있는) 사람의 얼굴을 포커스될 관심 영역으로서 발견하거나 그렇지 않으면 플래그한다. 본질적으로, 캡쳐된 이미지들의 이전 히스토리가 촬영자에 의한 관심을 입증하는 어떤 객체는, 장면 분석 기능(410)이 포커스될 관심 영역을 결정하기 위해 사용하는 객체에 대한 특정 프로파일을 구축하는데 사용될 수 있다.

장면 분석 프로세스(410)에 의해 관심 영역이 결정된 후, 렌즈 위치를 올바른 포커스 위치(411)의 "예상 범위 내로(in the ballpark)” 신속하게 가져 오기 위해, 하나 보다 많은 타입의 자동 포커스 기술이 적용될 수 있다(또한, 주목할 점으로서, 관심 영역의 기계 학습 기반 식별에 응답하여 하나 이상의 이미지들 또는 하나 이상의 이미지들 내의 관심 영역에 대해 (자동-포커싱과 함께 또는 자동-포커싱과 별개로) 이미지 품질 분석 및/또는 모션 분석이 수행될 수 있다). 도 4b의 특정 타입의 실시 예에서는, 2 개의 상이한 자동 포커스 기술들, 즉 레이저 및 위상 검출 (PD)이 동시에 적용된다. 2 개의 상이한 자동 포커스 기술들의 동시 적용이 거의 정확한 렌즈 위치에서 이루어지고 그에 따라 서보(servo)가 조정 된 후, 최종적으로 렌즈를 최종적인 정확한 위치인 것으로 이해되는 곳에 가져오기 위해 제3 자동 포커스 기술(콘트라스트)이 적용된다(412). 따라서, 프로세스(411)는 일종의 코스 조정으로서 작용하고 프로세스(412)는 일종의 미세 조정으로서 작용한다.

도 5a 내지 5c는 앞에서 언급된 자동 포커스 기술의 다양한 관점들을 입증한다. 도 5a는 카메라가 장면 분석(410) 및 레이저 자동 포커스와 위상 검출 자동 포커스를 사용하는 초기 동시 자동 포커스(411)를 수행하는 제1 실시 예를 도시한다. 그러나, 콘트라스트 자동 포커싱(412)은 더 느린 프레임 레이트를 갖는 더 큰 프레임 상의 애플리케이션 프로세서에 의해 수행된다. 주목할 점으로서, 자동 포커스는, 애플리케이션의 프로세서가 일부 사용자 인터페이스 활동을 검출하거나 또는 카메라가 장면의 변화를 검출하거나 또는 기계 학습 객체 인식 프로파일을 갖는 특정 객체를 검출함으로써 트리거될 수 있다.

도 5b는 카메라가 초기 레이저 및 위상 검출 자동 포커스(411)를 수행할 뿐만 아니라 레이저 콘트라스트 기반의 자동 포커스(412)을 수행하는 제2 실시 예를 도시한다. 도 5a와 도 5b를 비교하면, 카메라와 애플리케이션 프로세서 간에 긴 레이턴시 피드백 루프가 제거되고 카메라가 더 빠른 프레임 레이트를 갖는 더 작은 이미지에 대해 동작하는 경우, 카메라가 자동 포커스를 얼마나 빨리 수행할 수 있는지를 나타낸다.

도 5c는, 접근법 측면에서는 5b의 실시 예와 유사한 제3 실시 예를 도시하지만, 초기 레이저 및 위상 검출 자동 포커스 시퀀스 동안 카메라가 보다 강도 높게 (더 빠르게) 작용한다. 여기서, 고속 레이저 및 위상 검출 자동 포커스는 더 빠른 레이트 (그리고 가능한 더 큰 이미지들) 및 더 빠른 클럭 속도로 달성될 수 있다. 일반적으로, 5b 및 5c는 성능(자동 포커스를 어떻게 더 빠르게 달성되는지)과 전력소모 사이의 트레이드-오프(trade-off)를 나타낸다.

도 6a 및 도 6b는 여기에서 설명된 스마트 카메라의 또 다른 용도에 관한 것이다. 당해 분야에서 이해되는 바와 같이, 2 가지 타입의 이미지 안정화, 즉 광학 이미지 안정화(OIS) 및 전자 이미지 안정화(EIS)가 존재한다. 이미지 안정화는 카메라의 어떤 "흔들림"에 응답하여 이를 오프셋시키기 위해 이미지 컨텐츠(content)를 조정하는 기술이다. 예를 들어, 핸드 핼드 디바이스로 사진을 찍는 사람의 손이 흔들리는 경우, 이미지 안정화는 손의 움직임에 따른 영향들을 관찰된 이미지로부터 제거하기 위한 시도를 할 것이다.

정지 이미지(즉, 단일 이미지가 촬영되는 경우)을 제외하고는, 일반적으로 EIS가 거의 모든면(비디오, 전력 소비, 비용)에서 OIS보다 우수하다는 관점이 존재한다. OIS를 이용한 정지 이미지의 경우, 카메라가 일부 레이트에서 흔들리기 때문에, 카메라 옵틱들은 본질적으로 노출 시간을 증가시키고 더 좋은 품질의 이미지를 제공하기 위해 흔들림에 응답하여 쉽게 조정/이동된다. 여기서, 기계식 카메라 옵틱들은 안정화 프로세스로부터 애플리케이션 프로세서를 제거하기 위해 자이로스코프로부터의 데이터에 즉시 반응하도록 설계된다. 이와는 대조적으로, 통상의 EIS는 이미지들에 타임스탬핑하고, 타임스탬핑된 이미지들을 애플리케이션 프로세서까지 전달해야 한다. 추가로, 자이로스코프 정보는 또한, 타임스탬핑되고, 이미지의 타임스탬프와 비교되므로, 애플리케이션 프로세서가 각 이미지에 대한 카메라 위치를 알 수 있게 된다. 상기 길이에서 논의된 피드백 레이턴시 때문에, 종래의 컴퓨팅 시스템은 정지 이미지 촬영의 경우 EIS를 수행하기 위해 충분한 속도로 손 움직임에 반응하기가 어렵다.

또한, 도 6a 및 도 6b는 EIS 안정화가 카메라에 의해 국지적으로 수행되기 때문에 실질적으로 감소된 레이턴시를 갖는 정지 이미지에 대해 EIS를 수행하기 위한 실시 예에 관한 것이다. 여기서, 도 6a는 자이로스코프(또는 카메라의 움직임을 기술하는 정보를 생성하는 다른 디바이스)로부터 흔들림을 기술하는 정보가 카메라의 메모리(604) 내로 스트리밍되는 제1 데이터 흐름(601)을 도시한다. 추가적으로, 도 6a는 이미지 센서(603)에 의해 캡쳐된 이미지들이 또한, 메모리(604)에 저장되는 제2 흐름(602)을 도시한다. 따라서, 각각의 캡쳐된 이미지는 메모리(604) 에 연관된 자이로스코프 메타 데이터를 갖는다.

도 6b는 (소프트웨어 실행과 비교하여 프로세싱을 가속화하기 위해) 카메라 내의 소프트웨어 및/또는 전용 커스텀 로직 회로망으로서 예를 들어 카메라 프로세서(605)에 의해 실행되는 프로세스를 도시한다. 도 6b에 도시되고 전술한 바와 같이, 이미지 센서에 의해 캡쳐된 정지 이미지들과 이들 이미지들에 대한 자이로 데이터가 메모리(604)에 저장된다(611). 이미지들을 메모리에 저장하는 것은, 이미지들에서 관심 영역의 장면 분석 기능(예를 들어 기계 학습 프로그램 코드)에 의한 인식에 응답하여 이루어질 수 있다.

그 다음, 자이로 데이터는 이미지들(612)을 정렬하는데(align) 사용된다. 여기서, 예를 들어, 이미지 #2에 대한 자이로 데이터가 카메라가 이미지 #1 이후에 왼쪽으로 1mm 이동함을 나타내는 경우, 카메라 인텔리전스는 (전자적으로) 자이로 스코프에 의해 기록된 손 움직임을 오프셋시키기 위해 이미지 #2를 효과적으로 오른쪽으로 1mm 이동시킬 것이다. 그러므로, 이미지들 #1와 #2의 화상(imagery)이 정렬된다. 예를 들어, 5 개 내지 10 개의 이미지들(5 개 및 10개를 포함) 사이의 복수의 이미지들에 대해 유사한 시퀀스가 수행될 수 있어서, 복수의 이미지들 모두가 효과적으로 정렬된다.

이제 정렬된 복수의 이미지들이 그 다음, 병합된다(613). 병합(merger)은 예를 들어, 이미지의 각 위치에 대한 평균값을 효과적으로 생성하기 위해 이미지의 정렬된 픽셀 값들을 가산하고 이를 이미지들의 개수로 나눔으로써 달성될 수 있다. 병합 동작은, 이미지 안정화(image stabilization)의 주 객체인 이미지에 대한 노출 시간을 효과적으로 증가시킨다(이미지 안정화가 없이, 카메라가 움직이는 경우, 블러링이 없는 고품질의 이미지를 얻기 힘들다(더 긴 노출 시간)). 프로세서는 소프트웨어로 병합(613)을 수행하거나, 또는 병합 프로세스를 가속화하기 위해 스탠드 어롱 커스텀 논리 회로(stand along custom logic circuit)(예를 들어, 프로세서에 대한 코 프로세서로서)가 신속하게 병합(613)을 수행하기 위해 카메라 내에 인스턴스화될 수 있다. 여러 실시 예들에서, 커스텀 병합 회로 블록은 많은 코어들로 구성된 아키텍처를 가질 수 있는 바, 상기 코어들 각각은 완전히 프로그래밍가능하다. 이 아키텍처는, 시스템과 연결을 달성하기 위해 AXI4, MIPI 및 AHB/APB 버스들을 가지는 입/출력 유닛으로 구성될 수 있다. 또한, 이 아키텍처는 스토리지/라인 버퍼 풀(line buffer pool)(예, SRAM) 및 2D SIMD 컴퓨트 (코어들)으로 구성될 수도 있다.

도 7은 지능형 카메라에 의해 수행될 수 있는 또 다른 방법에 관한 것이다. 도 7의 방법은 고 동적 범위 이미지들의 생성에 관한 것이다. 동적 범위(dynamic range)는 저강도 신호와 고강도 신호를 모두 검출하기 위한 능력에 대응한다.

도 7의 방법에 따르면, 서로 다른 이미지들의 세트들이 획득되어 카메라 메모리에 저장되는 바, 상기 서로 다른 이미지들의 세트들은 서로 다른 개수의 이미지들을 가진다(701)(이미지들을 메모리에 저장하는 것은 이미지들 내의 관심 영역의 장면 분석 기능(예, 기계 학습 프로그램 코드)에 의한 인식에 응답하여 이루어질 수 있다). 예를 들어, 제1 세트는 3 개의 이미지들만 포함하고, 다른 세트는 5 개의 이미지들을 포함하고, 또 다른 세트는 10 개의 이미지를 포함할 수 있고, 기타 등등 유사하다. 여기서, 더 많은 이미지들을 갖는 세트들은 노출 시간이 더 긴 단일 이미지와 효과적으로 대응되므로, 더 약한 신호들을 정확하게 검출할 수 있을 것이다. 이와는 대조적으로, 더 적은 이미지들을 갖는 세트들은 노출 시간이 더 짧은 단일 이미지와 효과적으로 대응되므로, 더 강한 신호들을 정확하게 검출할 수 있을 것이다.

그 다음, 이미지들의 세트들은 고(high) 동적 범위 비디오 스트림을 생성하기 위해 병합된다(702). 여기서, 예를 들어 비디오 스트림이 어두운 실내에서 획득되는 경우, 그 비디오 스트림은 더 많은 이미지들을 갖는 세트 또는 세트들의 평균으로 구성될 수 있다. 마찬가지로, 비디오 스트림이 밝은 실내에서 획득되는 경우, 그 비디오 스트림은 더 적은 수의 이미지들을 갖는 세트 또는 세트들의 평균으로 구성될 수 있다. 또한, 동일한 이미지 프레임의 영역들이 고강도 영역들과 저강도 영역들을 모두 가지면, 고강도를 갖는 이미지 프레임의 부분들은 더 적은 이미지들을 갖는 세트들로부터 확립될 수 있고, 저강도를 갖는 이미지 프레임의 부분들은 더 많은 이미지들을 갖는 세트들로부터 확립될 수 있어, 고(high) 동적 범위를 갖는 단일 프레임을 생성할 수 있다.

또 다른 실시 예에서는, 이미지들의 서로 다른 세트들을 평균화 및/또는 단일 비디오 스트림으로 병합하는 것을 가속화하기 위해 커스텀 논리 회로가 카메라에 인스턴스화된다. 여러 실시 예들에서, 커스텀 회로 블록은 많은 코어들로 구성된 아키텍처를 가질 수 있는 바, 상기 코어들 각각은 완전히 프로그램밍가능하다. 이 아키텍처는, 시스템과 연결을 달성하기 위해 AXI4, MIPI 및 AHB/APB 버스들을 갖는 입/출력 장치로 구성될 수 있다. 또한, 이 아키텍처는 스토리지/라인 버퍼 풀(line buffer pool) (예, SRAM) 및 2D SIMD 컴퓨트(코어들)로 구성될 수도 있다.

전술한 교시들은 독립형 카메라 또는 서버, 데스크탑, 랩톱, 태블릿, 스마트 폰 또는 다른 핸드 헬드 디바이스나 스마트 어플라이언스와 같은 컴퓨터 시스템과 통합된 또는 그 내부에 통합된 카메라 중 어느 것에 적용될 수 있음을 밝혀둔다.

또한, 상기 카메라는 카메라 프로세서에 의해 실행되는 프로그램 코드를 저장하기 위해 비휘발성 메모리를 포함할 수 있거나, 또는 이러한 코드는 시스템의 부팅 동안 카메라 메모리에 로드될 수 있다.

본 명세서의 실시 예들은 전술 한 바와 같은 다양한 프로세스들을 포함할 수 있다. 그 프로세스들은 기계 실행 가능한 명령들(instructions)로 구현될 수 있다. 명령들(instructions)은 범용 또는 특수 목적 프로세서로 하여금 특정 프로세스를 수행하게 하는데 이용될 수 있다. 대안적으로, 이러한 프로세스들은 프로세스를 수행하기 위한 특정 하드와이어드 로직(hardwired logic)을 포함하는 특정 하드웨어 컴포넌트들에 의해 수행되거나, 또는 프로그래밍된 컴퓨터 컴포넌트들과 커스텀 하드웨어 컴포넌트들의 어떤 조합에 의해 수행될 수 있다.

또한, 본 발명의 구성요소들은 기계-실행가능한 명령들을 저장하기 위한 기계-판독가능 매체로서 제공될 수 있다. 기계-판독가능 매체는, 플로피 디스켓, 광 디스크, CD-ROM, 및 광 자기 디스크, 플래시 메모리, ROM, RAM, EPROM, EEPROM, 자기 또는 광학 카드, 전파 매체 또는 기타 전자 명령들을 저장하기에 적합한 다른 타입의 매체/기계-판독가능 매체를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 본 발명은 통신 링크(예, 모뎀 또는 네트워크 연결)를 통해 반송파(carrier wave) 또는 다른 전파 매체(propagation medium)에 수록되는 데이터 신호 방식으로 원격 컴퓨터(예, 서버)로부터 요청 컴퓨터(예, 클라이언트)로 전송될 수 있는 컴퓨터 프로그램으로서 다운로드될 수 있다.

전술한 명세서에서, 본 발명은 특정 실시 예를 참조하여 설명되었다. 그러나, 첨부된 특허 청구 범위의 범위에 제시된 본 발명의 더 넓은 사상 및 범위를 벗어남이 없이 여러 수정들 및 변경들이 이루어질 수 있음이 분명할 것이다. 따라서, 본 명세서와 도면은 제한적인 의미라기보다는 예시적인 것으로 간주되어야 한다.

Claims

이미지 캡쳐를 위한 장치로서,
(i) 동일한 반도체 칩 패키지 내의 이미지 센서에 국부적으로 통합된 메모리 및 프로세서 및, (ii) 상기 동일한 반도체 칩 패키지 내에 통합되지 않은 디바이스에 의해 발생된 움직임 데이터를 상기 동일한 반도체 칩 패키지 내에 통합된 상기 메모리로 스트리밍하는 회로를 포함하는 스마트 이미지 센서를 포함하고, 상기 메모리는 상기 이미지 센서 및 프로세서와 결합되며, 상기 메모리는 상기 프로세서에 의해 실행되는 제1 프로그램 코드를 저장하고, 상기 메모리는 상기 프로세서에 의해 실행되는 제2 프로그램 코드를 저장하고, 상기 제1 프로그램 코드는 상기 스마트 이미지 센서로 하여금 상기 이미지 센서에 의해 캡쳐된 하나 이상의 이미지들의 분석을 수행하게 하고, 상기 제1 프로그램 코드는 상기 이미지 센서에 의해 캡쳐된 하나 이상의 이미지들의 장면 분석을 수행하기 위한 장면 분석 프로그램 코드(scene analysis program code)를 포함하고, 상기 장면 분석은 이전에 캡쳐된 이미지들로부터의 기계 학습(machine learning)으로 상기 하나 이상의 이미지들 내의 관심 영역을 식별하는 것이고, 상기 제2 프로그램 코드는 상기 스마트 이미지 센서로 하여금 상기 제1 프로그램 코드의 실행에 의해 수행된 상기 하나 이상의 이미지들의 분석에 응답하여, 상기 회로를 통해 상기 동일한 반도체 칩 패키지 내에 통합된 상기 스마트 이미지 센서의 메모리로 스트리밍되는 상기 동일한 반도체 칩 패키지 내에 통합되지 않은 상기 디바이스에 의해 생성된 상기 움직임 데이터의 적어도 일부(portion)에 기초하여 이미지 센싱 또는 광학 파라미터를 변경하게 하는 것을 특징으로 하는 이미지 캡쳐를 위한 장치.
삭제
제1항에 있어서,
상기 제2 프로그램 코드는 상기 제1프로그램 코드에 의해 수행되는 상기 장면 분석에 응답하여 포커스 파라미터(focus parameter)를 변경하기 위한 자동 포커스 프로그램 코드를 포함하는 것을 특징으로 하는 이미지 캡쳐를 위한 장치.
삭제
제3항에 있어서,
상기 포커스 파라미터의 변경은, 레이저 자동 포커싱(laser auto focusing)을 위상 검출 자동 포커싱(phase detect auto focusing)과 동시에 수행하여 달성되는 것을 특징으로 하는 이미지 캡쳐를 위한 장치.
제5항에 있어서,
상기 포커스 파라미터의 변경은, 콘트라스트 자동 포커싱(contrast auto focusing)을 상기 레이저 자동 포커싱 및 상기 위상 검출 자동 포커싱 중 어느 하나 또는 모두를 수행한 후 수행하여 달성되는 것을 특징으로 하는 이미지 캡쳐를 위한 장치.
제1항에 있어서,
상기 제1 프로그램 코드는 상기 이미지 센서에 의해 캡쳐된 상기 하나 이상의 이미지들의 품질(quality)을 결정하기 위한 이미지 품질 프로그램 코드를 포함하는 것을 특징으로 하는 이미지 캡쳐를 위한 장치.
제7항에 있어서,
상기 제2 프로그램 코드는, 상기 제1 프로그램 코드에 의해 결정된 이미지의 품질에 응답하여, 노출 시간, 이미지 해상도 및 상기 이미지 센서의 동적 범위 중 어느 것을 대응하게 변경하기 위한 노출 시간 설정 프로그램 코드, 이미지 해상도 프로그램 코드 및 동적 범위 프로그램 코드 중 어느 것을 포함하는 것을 특징으로 하는 이미지 캡쳐를 위한 장치.
제1항에 있어서,
상기 제1 프로그램 코드는 상기 이미지 센서에 의해 캡쳐된 복수의 이미지들에 모션 분석(motion analysis)을 수행하기 위한 모션 분석 프로그램 코드를 포함하는 것을 특징으로 하는 이미지 캡쳐를 위한 장치.
제9항에 있어서,
상기 제2 프로그램 코드는,
상기 회로를 통해 상기 동일한 반도체 칩 패키지 내에 통합된 상기 스마트 이미지 센서의 메모리로 스트리밍되는 상기 동일한 반도체 칩 패키지 내에 통합되지 않은 상기 디바이스에 의해 생성된 상기 움직임 데이터의 적어도 일부(portion)에 기초하여 상기 이미지 센서에 의해 캡쳐된 복수의 이미지들의 프레임 레이트를 변경하기 위한 프레임 레이트 프로그램 코드를 포함하는 것을 특징으로 하는 이미지 캡쳐를 위한 장치.
제1항에 있어서,
상기 이미지 센서는, 서로 다른 동적 범위들 및/또는 해상도들을 갖는 광학 프로세싱 경로들을 제공하기 위한 아날로그-디지털 변환기들의 뱅크(bank)를 포함하는 것을 특징으로 하는 이미지 캡쳐를 위한 장치.
이미지 캡쳐를 위한 장치로서,
(i) 동일한 반도체 칩 패키지 내의 이미지 센서와 국지적(locally)으로 통합된 메모리 및 프로세서, 및 (ii) 상기 동일한 반도체 칩 패키지 내에 통합되지 않은 디바이스에 의해 생성된 움직임 데이터를 상기 동일한 반도체 칩 패키지 내에 통합된 상기 메모리로 스트리밍하는 회로를 포함하는 스마트 이미지 센서를 포함하고, 상기 메모리는 상기 이미지 센서 및 상기 프로세서와 결합되며, 상기 메모리는 상기 프로세서에 의해 실행되는 제1 프로그램 코드를 저장하고, 상기 메모리는 상기 프로세서에 의해 실행되는 제2 프로그램 코드를 저장하고, 상기 제1 프로그램 코드는, 이전에 캡쳐된 이미지들로부터의 기계 학습으로 상기 스마트 이미지 센서에 의해 캡쳐된 복수의 이미지들의 관심 영역을 식별하고, 그에 응답하여 상기 회로를 통해 상기 동일한 반도체 칩 패키지 내에 통합된 상기 스마트 이미지 센서의 메모리로 스트리밍되는 상기 동일한 반도체 칩 패키지 내에 통합되지 않은 상기 디바이스에 의해 생성된 상기 움직임 데이터의 적어도 일부(portion)에 기초하여 상기 복수의 이미지들을 상기 메모리에 저장하게 하고, 상기 제2 프로그램 코드는 상기 메모리의 상기 복수의 이미지들을 병합하게 하는 것을 특징으로 하는 이미지 캡쳐를 위한 장치.
제12항에 있어서,
상기 움직임 데이터는 메모리에 상기 복수의 이미지들과 함께 저장되며, 상기 제2 프로그램 코드는 전자 이미지 안정화(electronic image stabilization)를 수행하기 위해 상기 복수의 이미지들을 정렬하고 병합하는 데 상기 움직임 데이터를 사용하는 것을 특징으로 하는 이미지 캡쳐를 위한 장치.
제12항에 있어서,
상기 제1 프로그램 코드는 상기 메모리에 상기 복수의 이미지들의 세트들을 저장하고, 상기 세트들은 서로 다른 각각의 수의 상기 복수의 이미지들을 가지며, 상기 제2 프로그램 코드는 고 동적 범위 비디오 스트림(high dynamic range video stream)에 대한 소스를 생성하기 위해 상기 세트들 중 서로 다른 세트 내의 각각의 이미지들을 병합하게 하는 것을 특징으로 하는 이미지 캡쳐를 위한 장치.
이미지 캡쳐를 위한 컴퓨팅 시스템으로서,
하나 이상의 애플리케이션 프로세서들;
상기 하나 이상의 애플리케이션 프로세서들에 결합된 메모리 제어기;
상기 메모리 제어기에 결합된 시스템 메모리;
상기 메모리 제어기에 결합된 I/O 제어 허브;
상기 I/O 제어 허브에 결합된 스마트 이미지 센서를 포함하고, 상기 스마트 이미지 센서는 (i) 동일한 반도체 칩 패키지 내의 이미지 센서와 국지적(locally)으로 통합된 메모리 및 프로세서, 및 (ii) 상기 동일한 반도체 칩 패키지 내에 통합되지 않은 디바이스에 의해 생성된 움직임 데이터를 상기 동일한 반도체 칩 패키지 내에 통합된 상기 스마트 이미지 센서의 상기 메모리로 스트리밍하는 회로를 포함하고, 상기 메모리는 상기 이미지 센서 및 상기 프로세서에 결합되며, 상기 메모리는 하기 a) 및 b) 중 어느 하나 또는 모두를 저장하고:
a) 상기 프로세서에 의해 실행되는 제1 프로그램 코드와 상기 프로세서에 의해 실행되는 제2 프로그램 코드 - 상기 제1 프로그램 코드는 상기 스마트 이미지 센서로 하여금 상기 이미지 센서에 의해 캡쳐된 하나 이상의 이미지들의 분석을 수행하게 하고, 상기 분석은 이전에 캡쳐된 이미지들로부터의 기계 학습으로 상기 하나 이상의 이미지들 내의 관심 영역을 식별하는 것이고, 상기 제2 프로그램 코드는 상기 스마트 이미지 센서로 하여금 상기 제1 프로그램 코드의 실행에 의해 수행된 상기 하나 이상의 이미지들의 분석에 응답하여, 상기 회로를 통해 상기 동일한 반도체 칩 패키지 내에 통합된 상기 스마트 이미지 센서의 메모리로 스트리밍되는 상기 동일한 반도체 칩 패키지 내에 통합되지 않은 상기 디바이스에 의해 생성된 상기 움직임 데이터의 적어도 일부(portion)에 기초하여 이미지 센싱 또는 광학 파라미터를 변경하게 하고; 또는
b) 상기 프로세서에 의해 실행되는 제3 프로그램 코드와 상기 프로세서에 의해 실행되는 제4 프로그램 코드 - 상기 제3 프로그램 코드는 상기 회로를 통해 상기 동일한 반도체 칩 패키지 내에 통합된 상기 스마트 이미지 센서의 메모리로 스트리밍되는 상기 동일한 반도체 칩 패키지 내에 통합되지 않은 상기 디바이스에 의해 생성된 상기 움직임 데이터의 적어도 일부(portion)에 기초하여 상기 이미지 센서에 의해 캡쳐된 복수의 이미지들을 상기 메모리에 저장하게 하고, 상기 제4 프로그램 코드는 상기 메모리의 상기 복수의 이미지들을 병합하게 하는 것을 특징으로 하는 이미지 캡쳐를 위한 컴퓨팅 시스템.
삭제
제15항에 있어서,
상기 제2 프로그램 코드는 상기 제1 프로그램 코드에 의해 수행되는 상기 분석에 응답하여 포커스 파라미터(focus parameter)를 변경하기 위한 자동 포커스 프로그램 코드를 포함하는 것을 특징으로 하는 이미지 캡쳐를 위한 컴퓨팅 시스템.
제15항에 있어서,
상기 제1 프로그램 코드는 상기 이미지 센서에 의해 캡쳐된 상기 하나 이상의 이미지들의 품질(quality)을 결정하기 위한 이미지 품질 프로그램 코드를 포함하는 것을 특징으로 하는 이미지 캡쳐를 위한 컴퓨팅 시스템.
제18항에 있어서,
상기 제2 프로그램 코드는, 상기 제1 프로그램 코드에 의해 결정된 이미지의 품질에 응답하여, 노출 시간, 이미지 해상도 및 상기 이미지 센서의 동적 범위 중 어느 것을 대응하게 변경하기 위한 노출 시간 설정 프로그램 코드, 이미지 해상도 프로그램 코드 및 동적 범위 프로그램 코드 중 어느 것을 포함하는 것을 특징으로 하는 이미지 캡쳐를 위한 컴퓨팅 시스템.
제15항에 있어서,
상기 제1 프로그램 코드는 상기 이미지 센서에 의해 캡쳐된 복수의 이미지들에서 모션 분석을 수행하기 위한 모션 분석 프로그램 코드를 포함하는 것을 특징으로 하는 이미지 캡쳐를 위한 컴퓨팅 시스템.
제20항에 있어서,
상기 제2 프로그램 코드는 상기 이미지 센서에 의해 캡쳐된 상기 복수의 이미지들의 프레임 레이트를 변경하기 위한 프레임 레이트 프로그램 코드를 포함하는 것을 특징으로 하는 이미지 캡쳐를 위한 컴퓨팅 시스템.
제15항에 있어서,
상기 움직임 데이터는 메모리에 상기 복수의 이미지들과 함께 저장되며, 상기 제4 프로그램 코드는 전자 이미지 안정화를 수행하기 위해 상기 복수의 이미지들을 정렬하고 병합하는 데 상기 움직임 데이터를 사용하는 것을 특징으로 이미지 캡쳐를 위한 하는 컴퓨팅 시스템.
제15항에 있어서,
상기 제3 프로그램 코드는 상기 메모리에 상기 복수의 이미지들의 세트들을 저장하고, 상기 세트들은 서로 다른 각각의 수의 상기 복수의 이미지들을 가지며, 상기 제4 프로그램 코드는 고 동적 범위 비디오 스트림에 대한 소스를 생성하기 위해 상기 세트들 중 서로 다른 세트 내의 각각의 이미지들을 병합하게 하는 것을 특징으로 하는 이미지 캡쳐를 위한 컴퓨팅 시스템.
스마트 이미지 센서 내의 비-일시적 기계 판독가능 매체로서,
상기 스마트 이미지 센서는 (i) 동일한 반도체 칩 패키지 내에 국지적으로 통합된 메모리, 프로세서 및 이미지 센서, 및 (ii) 상기 동일한 반도체 칩 패키지 내에 통합되지 않은 디바이스에 의해 생성된 움직임 데이터를 상기 동일한 반도체 칩 패키지 내에 통합된 상기 스마트 이미지 센서의 상기 메모리로 스트리밍하는 회로로 구성되며, 상기 메모리는 상기 이미지 센서 및 상기 프로세서에 결합되며, 상기 기계 판독가능 매체는 이하 a) 및 b) 중 어느 하나 또는 모두를 저장하며:
a) 상기 프로세서에 의해 실행되는 제1 프로그램 코드와 상기 프로세서에 의해 실행되는 제2 프로그램 코드 - 상기 제1 프로그램 코드는 상기 스마트 이미지 센서로 하여금 상기 이미지 센서에 의해 캡쳐된 하나 이상의 이미지들의 분석을 수행하게 하고, 상기 분석은 이전에 캡쳐된 이미지들로부터의 기계 학습으로 상기 하나 이상의 이미지들 내의 관심 영역을 식별하는 것이고, 상기 제2 프로그램 코드는 상기 스마트 이미지 센서로 하여금 상기 제1 프로그램 코드의 실행에 의해 수행된 상기 하나 이상의 이미지들의 분석에 응답하여, 상기 회로를 통해 상기 동일한 반도체 칩 패키지 내에 통합된 상기 스마트 이미지 센서의 메모리로 스트리밍되는 상기 동일한 반도체 칩 패키지 내에 통합되지 않은 상기 디바이스에 의해 생성된 상기 움직임 데이터의 적어도 일부(portion)에 기초하여 이미지 센싱 또는 광학 파라미터를 변경하게 하고; 또는
b) 상기 프로세서에 의해 실행되는 제3 프로그램 코드와 상기 프로세서에 의해 실행되는 제4 프로그램 코드 - 상기 제3 프로그램 코드는 상기 회로를 통해 상기 동일한 반도체 칩 패키지 내에 통합된 상기 스마트 이미지 센서의 메모리로 스트리밍되는 상기 동일한 반도체 칩 패키지 내에 통합되지 않은 상기 디바이스에 의해 생성된 상기 움직임 데이터의 적어도 일부(portion)에 기초하여 상기 이미지 센서에 의해 캡쳐된 복수의 이미지들을 상기 메모리에 저장하게 하고, 상기 제4 프로그램 코드는 상기 메모리의 상기 복수의 이미지들을 병합하게 하는 것을 특징으로 하는 비-일시적 기계 판독가능 매체.