KR20190005252A

KR20190005252A - 병렬 컴퓨터 비전 및 이미지 스케일링 아키텍처

Info

Publication number: KR20190005252A
Application number: KR1020197000015A
Authority: KR
Inventors: 석 환 임; 디. 암논 실버스테인; 데이빗 알. 폽
Original assignee: 애플 인크.
Priority date: 2016-06-30
Filing date: 2017-03-09
Publication date: 2019-01-15
Also published as: JP6574534B2; US9992467B2; JP2019519862A; WO2018004758A1; EP3459042A1; KR101965123B1; CN109416829B; CN109416829A; US20180007334A1; EP3459042B1

Abstract

실시예들은 이미지 신호 프로세서에 포함된 비전 파이프의 아키텍처에 관한 것이다. 아키텍처는 업데이트된 휘도 이미지 데이터를 생성하는 한 쌍의 이미지 신호 파이프라인들을 포함하는 프론트 엔드 부분(front-end portion)을 포함한다. 비전 파이프 아키텍처의 백 엔드 부분(back-end portion)은 프론트 엔드 부분으로부터 업데이트된 휘도 이미지들을 수신하고, 업데이트된 휘도 이미지 데이터에 대해 스케일링 및 다양한 컴퓨터 비전 동작(computer vision operation)들을 병렬로 수행한다. 백 엔드 부분은 연속적으로 스케일링된 휘도 이미지들에 대한 컴퓨터 비전 동작들의 이러한 병렬 동작을 반복적으로 수행하여 피라미드 이미지를 생성할 수 있다.

Description

병렬 컴퓨터 비전 및 이미지 스케일링 아키텍처

이미지 센서에 의해 캡처되거나 다른 데이터 소스들로부터 수신된 이미지 데이터는 종종 추가 프로세싱 또는 소비 전에 이미지 프로세싱 파이프라인에서 프로세싱된다. 예를 들어, 미가공 이미지 데이터(raw image data)는 비디오 인코더와 같은 후속 컴포넌트들에 제공되기 전에 보정, 필터링, 또는 달리 수정될 수 있다. 캡처된 이미지 데이터에 대한 보정 또는 향상을 수행하기 위해, 다양한 컴포넌트들, 유닛 스테이지들, 또는 모듈들이 채용될 수 있다.

그러한 이미지 프로세싱 파이프라인은 캡처된 이미지 데이터에 대한 보정 또는 향상이 다른 시스템 리소스들을 소비하지 않고 편리한 방식으로 수행될 수 있도록 구조화될 수 있다. 많은 이미지 프로세싱 알고리즘들이 중앙 처리 장치(CPU) 상에서 소프트웨어 프로그램들을 실행함으로써 수행될 수 있지만, CPU 상에서의 이러한 프로그램들의 실행은 CPU 및 다른 주변기기 리소스들의 상당한 대역폭을 소비할 뿐만 아니라 전력 소비를 증가시킬 것이다. 따라서, 이미지 프로세싱 파이프라인들은 종종 CPU와는 별개인 하드웨어 컴포넌트로서 구현되고, 하나 이상의 이미지 프로세싱 알고리즘들을 수행하기 위해 전용된다.

더 복잡한 이미지 신호 프로세싱 알고리즘들을 프로세싱하도록 구비된 종래의 이미지 신호 프로세싱 파이프라인 아키텍처들은 종종 더 전통적인 이미지 신호 프로세싱 알고리즘들을 프로세싱할 때 성능을 희생시킨다. 추가적인 하드웨어 컴포넌트들이 성능을 증가시키도록 아키텍처에 추가될 수 있지만, 더 큰 디바이스 크기를 초래한다. 그러나, 추가적인 하드웨어 컴포넌트들은 상당한 CPU 대역폭을 소비하고, 전력 소비를 증가시키고, 디바이스 크기를 증가시킨다.

실시예들은, 크기조정 동작(resizing operation) 및 컴퓨터 비전 동작(computer vision operation)들이 병렬로 수행되는 이미지 신호 프로세서에 포함된 비전 파이프의 아키텍처에 관한 것이다. 아키텍처는 프론트 엔드 부분(front-end portion) 및 백 엔드 부분(back-end portion)을 포함한다. 프론트 엔드 부분은 현재 휘도 이미지를 생성하는 프리프로세서 및 업데이트된 휘도 이미지를 생성하는 크기조정기(resizer)를 포함한다. 백 엔드 부분은 프론트 엔드 부분으로부터 업데이트된 휘도 이미지 데이터를 수신하고, 업데이트된 휘도 이미지 데이터에 대해 스케일링 및 다양한 컴퓨터 비전 동작들을 병렬로 수행한다. 백 엔드 부분은 업데이트된 휘도 이미지를 추가로 스케일링하기 위한 크기조정기, 및 크기조정기에 의해 수행되는 스케일링과 병렬로 컴퓨터 비전 동작들을 수행하기 위한 컴퓨터 비전 컴포넌트를 포함하는 하나 이상의 컴퓨터 비전 프로세싱 경로들을 포함한다. 스케일링 및 컴퓨터 비전의 병렬 동작들은 크기조정기에 의해 출력된 업데이트된 스케일링된 휘도 이미지에 대해 반복적으로 수행될 수 있다.

도 1은 일 실시예에 따른 전자 디바이스의 고-레벨 도면이다.
도 2는 일 실시예에 따른 전자 디바이스 내의 컴포넌트들을 도시하는 블록도이다.
도 3은 일 실시예들에 따른, 이미지 신호 프로세서를 사용하여 구현되는 이미지 프로세싱 파이프라인들을 도시하는 블록도이다.
도 4는 일 실시예에 따른, 도 3의 이미지 프로세싱 파이프라인들의 비전 모듈의 상세도를 도시하는 블록도이다.
도 5는 일 실시예에 따른, 이미지 스케일링 동작과 병렬로 컴퓨터 비전 동작을 수행하기 위한 흐름도를 도시한다.
단지 예시의 목적을 위해 도면들은 다양한 비제한적인 실시예들을 도시하고, 상세한 설명은 그들을 기술한다.

이제, 실시예들이 상세하게 참조될 것이며, 그 실시예들의 예들이 첨부 도면들에 예시된다. 하기의 상세한 설명에서, 많은 구체적인 상세사항들이 다양하게 기술된 실시예들의 완전한 이해를 제공하기 위해 기재된다. 그러나, 기술된 실시예들은 이들 구체적인 상세사항들 없이 실시될 수 있다. 다른 예들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 상세히 기술되지 않았다.

본 개시내용의 실시예들은 이미지 스케일링과 병렬로 컴퓨터 비전을 수행하기 위한 비전 파이프 아키텍처에 관한 것이다. 비전 파이프 아키텍처는 프리-프로세싱을 수행하기 위한 프론트 엔드 회로 부분, 및 더 많은 컴퓨터 비전 회로 및 현재 휘도 이미지에 대해 병렬로 동작하는 크기조정기 회로를 포함하는 백 엔드 회로 부분을 포함할 수 있다. 컴퓨터 비전 회로는 HOG(histogram-of-oriented-gradients) 데이터의 생성, 콘볼루션 동작(convolution operation), 및 키포인트 검출과 같은 동작들을 수행할 수 있다. 크기조정 및 컴퓨터 비전 동작들을 병렬로 수행함으로써, 이미지 프로세싱 성능은 향상된다.

예시적인 전자 디바이스

전자 디바이스들, 그러한 디바이스들에 대한 사용자 인터페이스들, 및 그러한 디바이스들을 사용하기 위한 연관된 프로세스들의 실시예들이 기술된다. 일부 실시예들에서, 디바이스는 개인 휴대 정보 단말기(PDA) 및/또는 음악 재생기 기능들과 같은 다른 기능들을 또한 포함하는, 이동 전화기와 같은 휴대용 통신 디바이스이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.(Apple Inc.)로부터의 아이폰(iPhone)®, 아이팟 터치(iPod Touch)®, 애플 워치(Apple Watch)®, 및 아이패드(iPad)® 디바이스들을 제한 없이 포함한다. 웨어러블, 랩톱 또는 태블릿 컴퓨터와 같은 다른 휴대용 전자 디바이스들이 옵션적으로 사용된다. 일부 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라, 휴대용 사용을 위해 설계되지 않은 데스크톱 컴퓨터 또는 다른 컴퓨팅 디바이스이다. 일부 실시예들에서, 개시된 전자 디바이스는 터치 감응형 표면(예컨대, 터치 스크린 디스플레이 및/또는 터치패드)을 포함할 수 있다. 도 1과 관련하여 후술되는 예시적인 전자 디바이스(예컨대, 디바이스(100))는 사용자 입력을 수신하기 위한 터치 감응형 표면을 포함할 수 있다. 전자 디바이스는 또한 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 디바이스들을 포함할 수 있다.

도 1은 일 실시예에 따른 전자 디바이스(100)의 고-레벨 도면이다. 디바이스(100)는 "홈" 또는 메뉴 버튼(104)과 같은 하나 이상의 물리적 버튼들을 포함할 수 있다. 메뉴 버튼(104)은, 예를 들어, 디바이스(100) 상에서 실행되는 애플리케이션들의 세트 내의 임의의 애플리케이션으로 내비게이팅하는 데 사용된다. 일부 실시예들에서, 메뉴 버튼(104)은 메뉴 버튼(104) 상의 지문을 식별하는 지문 센서를 포함한다. 지문 센서는 메뉴 버튼(104) 상의 손가락이 디바이스(100)를 잠금해제하기 위해 저장된 지문과 매칭하는 지문을 갖는지 여부를 결정하는 데 사용될 수 있다. 대안적으로, 일부 실시예들에서, 메뉴 버튼(104)은 터치 스크린 상에 디스플레이된 그래픽 사용자 인터페이스(GUI)에서 소프트 키로서 구현된다.

일부 실시예들에서, 디바이스(100)는 터치 스크린(150), 메뉴 버튼(104), 디바이스의 전원을 온/오프시키고 디바이스를 잠그기 위한 푸시 버튼(106), 볼륨 조절 버튼들(108), 가입자 식별 모듈(SIM) 카드 슬롯(110), 헤드셋 잭(112), 및 도킹/충전 외부 포트(124)를 포함한다. 푸시 버튼(106)은, 버튼을 누르고 미리정의된 시간 간격 동안 버튼을 누른 상태로 유지함으로써 디바이스에 대한 전원을 온/오프시키고; 버튼을 누르고 미리정의된 시간 간격이 경과하기 전에 버튼을 누름해제함으로써 디바이스를 잠그고; 그리고/또는 디바이스를 잠금해제하거나 잠금해제 프로세스를 개시하는 데 사용될 수 있다. 대안적인 실시예에서, 디바이스(100)는 또한 마이크로폰(113)을 통해 일부 기능들의 활성화 또는 비활성화를 위한 구두 입력을 수용한다. 디바이스(100)는 메모리(하나 이상의 컴퓨터 판독가능 저장 매체들을 포함할 수 있음), 메모리 제어기, 하나 이상의 중앙 처리 장치(CPU)들, 주변기기 인터페이스, RF 회로부, 오디오 회로부, 스피커(111), 마이크로폰(113), 입력/출력(I/O) 서브시스템, 및 다른 입력 또는 제어 디바이스들을 포함하지만 이로 제한되지 않는 다양한 컴포넌트들을 포함한다. 디바이스(100)는 하나 이상의 이미지 센서들(164), 하나 이상의 근접 센서들(166), 및 하나 이상의 가속도계들(168)을 포함할 수 있다. 디바이스(100)는 도 1에 도시되지 않은 컴포넌트들을 포함할 수 있다.

디바이스(100)는 전자 디바이스의 일례일 뿐이고, 디바이스(100)는 위에 열거된 것보다 더 많거나 더 적은 컴포넌트들을 가질 수 있으며, 이들 중 일부는 컴포넌트들로 조합될 수 있거나 상이한 구성 또는 배열을 가질 수 있다. 위에 열거된 디바이스(100)의 다양한 컴포넌트들은 하나 이상의 신호 프로세싱 및/또는 주문형 집적 회로(application specific integrated circuit, ASIC)들을 비롯한, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현된다.

도 2는 일 실시예에 따른, 디바이스(100) 내의 컴포넌트들을 도시하는 블록도이다. 디바이스(100)는 이미지 프로세싱을 포함하는 다양한 동작들을 수행할 수 있다. 이러한 목적 및 다른 목적들을 위해, 디바이스(100)는, 다른 컴포넌트들 중에서도, 이미지 센서(202), 시스템-온-칩(SOC) 컴포넌트(204), 시스템 메모리(230), 영구 저장소(예컨대, 플래시 메모리)(228), 배향 센서(234), 및 디스플레이(216)를 포함할 수 있다. 도 2에 도시된 바와 같은 컴포넌트들은 단지 예시적인 것이다. 예를 들어, 디바이스(100)는 도 2에 도시되지 않은 다른 컴포넌트들(예컨대, 스피커 또는 마이크로폰)을 포함할 수 있다. 또한, 일부 컴포넌트들(예컨대, 배향 센서(234))은 디바이스(100)로부터 생략될 수 있다.

이미지 센서(202)는 이미지 데이터를 캡처하기 위한 컴포넌트이며, 예를 들어, 상보형 금속 산화물 반도체(CMOS) 능동 픽셀 센서, 카메라, 비디오 카메라, 또는 다른 디바이스들로서 구현될 수 있다. 이미지 센서(202)는 추가 프로세싱을 위해 SOC 컴포넌트(204)로 전송되는 미가공 이미지 데이터를 생성한다. 일부 실시예들에서, SOC 컴포넌트(204)에 의해 프로세싱된 이미지 데이터는 디스플레이(216) 상에 디스플레이되거나, 시스템 메모리(230), 영구 저장소(228)에 저장되거나, 네트워크 접속을 통해 원격 컴퓨팅 디바이스로 전송된다. 이미지 센서(202)에 의해 생성된 미가공 이미지 데이터는 베이어 컬러 필터 어레이(Bayer color filter array, CFA) 패턴(이하, "베이어 패턴"으로도 지칭됨)일 수 있다.

모션 센서(234)는 디바이스(100)의 모션을 감지하기 위한 컴포넌트 또는 컴포넌트들의 세트이다. 모션 센서(234)는 디바이스(100)의 배향 및/또는 가속도를 나타내는 센서 신호들을 생성할 수 있다. 센서 신호들은 디바이스(100)를 턴온시키는 것 또는 디스플레이(216) 상에 디스플레이되는 이미지들을 회전시키는 것과 같은 다양한 동작들을 위해 SOC 컴포넌트(204)로 전송된다.

디스플레이(216)는 SOC 컴포넌트(204)에 의해 생성된 바와 같은 이미지들을 디스플레이하기 위한 컴포넌트이다. 디스플레이(216)는, 예를 들어, 액정 디스플레이(LCD) 디바이스 또는 유기 발광 다이오드(OLED) 디바이스를 포함할 수 있다. SOC 컴포넌트(204)로부터 수신된 데이터에 기초하여, 디스플레이(116)는 메뉴들, 선택된 동작 파라미터들, 이미지 센서(202)에 의해 캡처되고 SOC 컴포넌트(204)에 의해 프로세싱되는 이미지들, 및/또는 디바이스(100)의 사용자 인터페이스(도시되지 않음)로부터 수신된 다른 정보와 같은 다양한 이미지들을 디스플레이할 수 있다.

시스템 메모리(230)는 SOC 컴포넌트(204)에 의한 실행을 위한 명령어들을 저장하기 위한 그리고 SOC 컴포넌트(204)에 의해 프로세싱되는 데이터를 저장하기 위한 컴포넌트이다. 시스템 메모리(230)는, 예를 들어, 동적 랜덤 액세스 메모리(DRAM), 동기식 DRAM(SDRAM), 더블 데이터 레이트(DDR, DDR2, DDR3 등) RAMBUS DRAM(RDRAM), 정적 RAM(SRAM) 또는 이들의 조합을 포함하는 임의의 유형의 메모리로서 구현될 수 있다. 일부 실시예들에서, 시스템 메모리(230)는 픽셀 데이터 또는 기타 이미지 데이터 또는 통계치를 다양한 포맷으로 저장할 수 있다.

영구 저장소(228)는 데이터를 비휘발성 방식으로 저장하기 위한 컴포넌트이다. 영구 저장소(228)는 전력이 이용가능하지 않을 때에도 데이터를 유지한다. 영구 저장소(228)는 판독 전용 메모리(ROM), 플래시 메모리 또는 다른 비휘발성 랜덤 액세스 메모리 디바이스들로서 구현될 수 있다.

SOC 컴포넌트(204)는 하나 이상의 집적 회로(IC) 칩으로서 구현되고, 다양한 데이터 프로세싱 프로세스들을 수행한다. SOC 컴포넌트(204)는, 다른 서브컴포넌트들 중에서도, 이미지 신호 프로세서(ISP)(206), 중앙 프로세서 유닛(CPU)(208), 네트워크 인터페이스(210), 센서 인터페이스(212), 디스플레이 제어기(214), 그래픽 프로세서(GPU)(220), 메모리 제어기(222), 비디오 인코더(224), 저장소 제어기(226), 및 다양한 다른 입력/출력(I/O) 인터페이스들(218), 및 이들 서브컴포넌트를 연결하는 버스(232)를 포함할 수 있다. SOC 컴포넌트(204)는 도 2에 도시된 것보다 더 많거나 더 적은 서브컴포넌트들을 포함할 수 있다.

ISP(206)는 이미지 프로세싱 파이프라인의 다양한 스테이지들을 수행하는 하드웨어이다. 일부 실시예들에서, ISP(206)는 이미지 센서(202)로부터 미가공 이미지 데이터를 수신하고, 미가공 이미지 데이터를 SOC 컴포넌트(204)의 다른 서브컴포넌트들 또는 디바이스(100)의 컴포넌트들에 의해 사용가능한 형태로 프로세싱할 수 있다. ISP(206)는 이미지 변환 동작들, 수평 및 수직 스케일링, 색상 공간 변환 및/또는 이미지 안정화 변환들과 같은 다양한 이미지 조작 동작들을 수행할 수 있는데, 이는 도 3을 참조하여 아래에서 상세히 설명된 바와 같다.

CPU(208)는 임의의 적합한 명령어 세트 아키텍처를 사용하여 구현될 수 있으며, 그 명령어 세트 아키텍처 내에 정의된 명령어들을 실행하도록 구성될 수 있다. CPU(208)는 다양한 명령어 세트 아키텍처(ISA)들, 예컨대 x86, PowerPC, SPARC, RISC, ARM 또는 MIPS ISA들, 또는 임의의 다른 적합한 ISA 중 임의의 것을 사용하는 범용 또는 임베디드 프로세서들일 수 있다. 단일 CPU가 도 2에 도시되어 있지만, SOC 컴포넌트(204)는 다수의 CPU들을 포함할 수 있다. 멀티프로세서 시스템들에서, CPU들 각각은 보편적으로 동일한 ISA를 구현할 수 있지만 반드시 그러한 것은 아니다.

그래픽 프로세싱 유닛(GPU)(220)은 그래픽 데이터를 수행하기 위한 그래픽 프로세싱 회로부이다. 예를 들어, GPU(220)는 디스플레이될 객체들을 프레임 버퍼(예컨대, 전체 프레임에 대한 픽셀 데이터를 포함하는 것)로 렌더링할 수 있다. GPU(220)는 그래픽 동작의 일부 또는 전부를 수행하기 위한 그래픽 소프트웨어, 또는 소정 그래픽 동작들의 하드웨어 가속을 실행할 수 있는 하나 이상의 그래픽 프로세서들을 포함할 수 있다.

I/O 인터페이스들(218)은 디바이스(100) 내의 다양한 입력/출력 컴포넌트들과 인터페이스하기 위한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합이다. I/O 컴포넌트들은 키패드, 버튼, 오디오 디바이스, 및 글로벌 포지셔닝 시스템과 같은 센서들과 같은 디바이스들을 포함할 수 있다. I/O 인터페이스들(218)은 그러한 I/O 컴포넌트들에 데이터를 전송하기 위해 데이터를 프로세싱하거나, 또는 그러한 I/O 컴포넌트들로부터 수신된 데이터를 프로세싱한다.

네트워크 인터페이스(210)는 하나 이상의 네트워크들(예컨대, 캐리어 또는 에이전트 디바이스들)을 통해 데이터가 디바이스들(100)과 다른 디바이스들 사이에서 교환될 수 있게 하는 서브컴포넌트이다. 예를 들어, 비디오 또는 다른 이미지 데이터는 네트워크 인터페이스(210)를 통해 다른 디바이스들로부터 수신되어, 후속 프로세싱(예컨대, ISP(206)에 대한 백 엔드 인터페이스를 통해, 아래 도 3에서 논의되는 바와 같음) 및 디스플레이를 위하여 시스템 메모리(230)에 저장될 수 있다. 네트워크들은 로컬 영역 네트워크(LAN)들(예컨대, 이더넷(Ethernet) 또는 회사 네트워크(corporate network)) 및 광역 네트워크(WAN)들을 포함할 수 있지만, 이들로 제한되지 않는다. 네트워크 인터페이스(210)를 통해 수신된 이미지 데이터는 ISP(206)에 의해 이미지 프로세싱 프로세스들을 거칠 수 있다.

센서 인터페이스(212)는 모션 센서(234)와 인터페이싱하기 위한 회로부이다. 센서 인터페이스(212)는 모션 센서(234)로부터 센서 정보를 수신하고, 센서 정보를 프로세싱하여 디바이스(100)의 배향 또는 이동을 결정한다.

디스플레이 제어기(214)는 디스플레이(216) 상에 디스플레이될 이미지 데이터를 전송하기 위한 회로부이다. 디스플레이 제어기(214)는 ISP(206), CPU(208), 그래픽 프로세서, 또는 시스템 메모리(230)로부터 이미지 데이터를 수신하고, 이미지 데이터를 디스플레이(216) 상에 디스플레이하기에 적합한 포맷으로 프로세싱한다.

메모리 제어기(222)는 시스템 메모리(230)와 통신하기 위한 회로부이다. 메모리 제어기(222)는 ISP(206), CPU(208), GPU(220), 또는 SOC 컴포넌트(204)의 다른 서브컴포넌트들에 의한 프로세싱을 위해 시스템 메모리(230)로부터 데이터를 판독할 수 있다. 메모리 제어기(222)는 또한 SOC 컴포넌트(204)의 다양한 서브컴포넌트들로부터 수신되는 데이터를 시스템 메모리(230)에 기록할 수 있다.

비디오 인코더(224)는, 영구 저장소(128)에 저장하기에 적합한 포맷으로, 또는 네트워크를 통해 다른 디바이스로 전송하기 위해 데이터를 네트워크 인터페이스(w10)에 전달하기에 적합한 포맷으로 비디오 데이터를 인코딩하기 위한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합이다.

일부 실시예들에서, SOC 컴포넌트(204)의 하나 이상의 서브컴포넌트들 또는 이들 서브컴포넌트들의 일부 기능은 ISP(206), CPU(208), 또는 GPU(220) 상에서 실행되는 소프트웨어 컴포넌트들에 의해 수행될 수 있다. 그러한 소프트웨어 컴포넌트들은 시스템 메모리(230), 영구 저장소(228), 또는 네트워크 인터페이스(210)를 통해 디바이스(100)와 통신하는 다른 디바이스에 저장될 수 있다.

이미지 데이터 또는 비디오 데이터는 SOC 컴포넌트(204) 내의 다양한 데이터 경로들을 통해 흐를 수 있다. 일례에서, 미가공 이미지 데이터는 이미지 센서(202)로부터 생성되고 ISP(206)에 의해 프로세싱되고, 이어서 버스(232) 및 메모리 제어기(222)를 통해 시스템 메모리(230)로 전송될 수 있다. 이미지 데이터가 시스템 메모리(230)에 저장된 후, 그것은 디스플레이를 위해 디스플레이(116)에 의해 또는 인코딩을 위해 비디오 인코더(224)에 의해 버스(232)를 통해 액세스될 수 있다.

다른 예에서, 이미지 데이터는 이미지 센서(202) 이외의 소스들로부터 수신된다. 예를 들어, 비디오 데이터는 유선 또는 무선 네트워크를 통해 SOC 컴포넌트(204)에 스트리밍, 다운로드, 또는 달리 통신될 수 있다. 이미지 데이터는 네트워크 인터페이스(210)를 통해 수신되어 메모리 제어기(222)를 통해 시스템 메모리(230)에 기록될 수 있다. 이어서, 이미지 데이터는, 도 3을 참조하여 상세히 후술되는 바와 같이, ISP(206)에 의해 시스템 메모리(230)로부터 획득되고 하나 이상의 이미지 프로세싱 파이프라인 스테이지들을 통해 프로세싱될 수 있다. 이어서, 이미지 데이터는 시스템 메모리(230)에 반환될 수 있거나, 또는 비디오 인코더(224), (디스플레이(216) 상의 디스플레이를 위한) 디스플레이 제어기(214), 또는 영구 저장소(228)에서의 저장을 위한 저장소 제어기(226)로 전송될 수 있다.

예시적인 이미지 신호 프로세싱 파이프라인

도 3은 일 실시예들에 따른, ISP(206)를 사용하여 구현되는 이미지 프로세싱 파이프라인들을 도시하는 블록도이다. 도 3의 실시예에서, ISP(206)는 이미지 센서(202)에 결합되어 미가공 이미지 데이터를 수신한다. ISP(206)는 이미지 프로세싱 파이프라인을 구현하는데, 이미지 프로세싱 파이프라인은 생성, 캡처, 또는 수신부터 출력까지 이미지 정보를 프로세싱하는 스테이지들의 세트를 포함할 수 있다. ISP(206)는, 다른 컴포넌트들 중에서도, 센서 인터페이스(302), 중앙 제어부(320), 프론트 엔드 파이프라인 스테이지들(330), 백 엔드 파이프라인 스테이지들(340), 이미지 통계 모듈(304), 비전 모듈(322), 백 엔드 인터페이스(342), 및 출력 인터페이스(316)를 포함할 수 있다. ISP(206)는 도 3에 도시되지 않은 다른 컴포넌트들을 포함할 수 있거나, 도 3에 도시된 하나 이상의 컴포넌트들을 생략할 수 있다.

하나 이상의 실시예들에서, ISP(206)의 상이한 컴포넌트들은 상이한 레이트들로 이미지 데이터를 프로세싱한다. 도 3의 실시예에서, 프론트 엔드 파이프라인 스테이지들(330)(예컨대, 미가공 프로세싱 스테이지(306) 및 리샘플 프로세싱 스테이지(308))은 초기 레이트로 이미지 데이터를 프로세싱할 수 있다. 따라서, 다양한 상이한 기술들, 조정들, 수정들, 또는 다른 프로세싱 동작들은 초기 레이트로 이들 프론트 엔드 파이프라인 스테이지들(330)에 의해 수행된다. 예를 들어, 프론트 엔드 파이프라인 스테이지들(330)이 2 픽셀/클록 사이클로 프로세싱하는 경우, 미가공 프로세싱 스테이지(308) 동작들(예컨대, 블랙 레벨 보상, 하이라이트 회복 및 결함 픽셀 보정)은 한번에 2 픽셀의 이미지 데이터를 프로세싱할 수 있다. 대조적으로, 하나 이상의 백 엔드 파이프라인 스테이지들(340)은 초기 데이터 레이트보다 작은 상이한 레이트로 이미지 데이터를 프로세싱할 수 있다. 예를 들어, 도 3의 실시예에서, 백 엔드 파이프라인 스테이지들(340)(예컨대, 노이즈 프로세싱 스테이지(310), 색상 프로세싱 스테이지(312), 및 출력 리스케일(314))은 감소된 레이트(예컨대, 1 픽셀/클록 사이클)로 프로세싱될 수 있다.

센서 인터페이스(302)는 이미지 센서(202)로부터 미가공 이미지 데이터를 수신하고, 미가공 이미지 데이터를 파이프라인 내의 다른 스테이지들에 의해 프로세싱가능한 이미지 데이터로 프로세싱한다. 센서 인터페이스(302)는 이미지 데이터 크기를 감소시키기 위해 이미지 잘라내기, 비닝 또는 스케일링과 같은 다양한 프리프로세싱 동작들을 수행할 수 있다. 일부 실시예들에서, 픽셀들은 래스터 순서(raster order)로(즉, 수평으로, 라인별로) 이미지 센서(202)로부터 센서 인터페이스(302)로 전송된다. 파이프라인에서의 후속 프로세스들은 또한 래스터 순서로 수행될 수 있고, 결과는 또한 래스터 순서로 출력될 수 있다. 단일 이미지 센서 및 단일 센서 인터페이스(302)만이 도 3에 도시되어 있지만, 하나 초과의 이미지 센서가 디바이스(100) 내에 제공될 때, 대응하는 수의 센서 인터페이스들이 ISP(206) 내에 제공되어 각각의 이미지 센서로부터의 미가공 이미지 데이터를 프로세싱할 수 있다.

프론트 엔드 파이프라인 스테이지들(330)은 이미지 데이터를 미가공 도메인 또는 풀 컬러 도메인에서 프로세싱한다. 프론트 엔드 파이프라인 스테이지들(330)은 미가공 프로세싱 스테이지(306) 및 리샘플 프로세싱 스테이지(308)를 포함할 수 있지만, 이에 제한되지 않는다. 미가공 이미지 데이터는, 예를 들어 베이어 미가공 포맷일 수 있다. 베이어 미가공 이미지 포맷에서, (모든 컬러들 대신에) 특정 색상에 특정된 값들을 갖는 픽셀 데이터가 각각의 픽셀에 제공된다. 이미지 캡처 센서에서, 이미지 데이터는 전형적으로 베이어 패턴으로 제공된다. 미가공 프로세싱 스테이지(308)는 이미지 데이터를 베이어 미가공 포맷으로 프로세싱할 수 있다.

미가공 프로세싱 스테이지(308)에 의해 수행되는 동작들은 센서 선형화, 블랙 레벨 보상, 고정 패턴 노이즈 감소, 결함 픽셀 보정, 미가공 노이즈 필터링, 렌즈 음영 보정, 화이트 밸런스 이득, 및 하이라이트 회복을 포함하지만, 이에 제한되지 않는다. 센서 선형화는 비선형 이미지 데이터를 다른 프로세싱을 위해 선형 공간에 맵핑하는 것을 지칭한다. 블랙 레벨 보상은 이미지 데이터의 각각의 색상 성분(예컨대, Gr, R, B, Gb)에 대해 독립적으로 디지털 이득, 오프셋 및 클립을 제공하는 것을 지칭한다. 고정 패턴 노이즈 감소는 입력 이미지에서 어두운 프레임을 차감하고 상이한 이득들을 픽셀들에 곱함으로써 오프셋 고정 패턴 노이즈 및 이득 고정 패턴 노이즈를 제거하는 것을 지칭한다. 결함 픽셀 보정은 결함 픽셀들을 검출하는 것, 및 이어서 결함 픽셀 값들을 교체하는 것을 지칭한다. 미가공 노이즈 필터링은 밝기가 유사한 이웃 픽셀들을 평균함으로써 이미지 데이터의 노이즈를 감소시키는 것을 지칭한다. 하이라이트 회복은 다른 채널들로부터 클리핑된(또는 거의 클리핑된) 픽셀들에 대한 픽셀 값들을 추정하는 것을 지칭한다. 렌즈 음영 보정은 렌즈 광학 중심으로부터의 거리에 대략적으로 비례하는 세기의 감소를 보상하기 위하여 픽셀당 이득을 적용하는 것을 지칭한다. 화이트 밸런스 이득은 모든 색상 성분들(예컨대, 베이어 포맷의 Gr, R, B, Gb)에 대하여 독립적으로 화이트 밸런스, 오프셋 및 클립에 대한 디지털 이득들을 제공하는 것을 지칭한다. ISP(206)의 컴포넌트들은 미가공 이미지 데이터를 풀 컬러 도메인의 이미지 데이터로 변환할 수 있고, 따라서, 미가공 프로세싱 스테이지(308)는 미가공 이미지 데이터에 더하여 또는 그 대신에 풀 컬러 도메인의 이미지 데이터를 프로세싱할 수 있다.

리샘플 프로세싱 스테이지(308)는 미가공 프로세싱 스테이지(306)로부터 수신된 이미지 데이터를 변환, 리샘플링, 또는 스케일링하기 위한 다양한 동작들을 수행한다. 리샘플 프로세싱 스테이지(308)에 의해 수행되는 동작들은, 디모자이크 동작, 픽셀별 색상 보정 동작, 감마 맵핑 동작, 색상 공간 변환 및 다운스케일링 또는 서브-대역 분할을 포함할 수 있지만, 이에 제한되지 않는다. 디모자이크 동작은 (예컨대, 베이어 패턴의) 미가공 이미지 데이터로부터 누락된 색상 샘플들을 변환하거나 보간하여 이미지 데이터를 풀 컬러 도메인으로 출력하는 것을 지칭한다. 디모자이크 동작은 풀 컬러 픽셀들을 획득하기 위해 보간된 샘플들에 대한 저역 통과 지향성 필터링을 포함할 수 있다. 픽셀별 색상 보정 동작은 이미지 데이터에서의 노이즈를 증폭시키지 않으면서 색상을 보정하기 위해 각각의 색상 채널의 상대 노이즈 표준 편차에 관한 정보를 사용하여 픽셀 단위로 색상 보정을 수행하는 프로세스를 지칭한다. 감마 맵핑은 특수 이미지 효과들, 예컨대 흑백 변환, 세피아 톤 변환, 네거티브 변환, 또는 과대노출 변환을 수행하기 위하여 입력 이미지 데이터 값들로부터 출력 데이터 값들로 이미지 데이터를 변환하는 것을 지칭한다. 감마 맵핑의 목적을 위하여, 각각의 픽셀의 상이한 색상 성분들 또는 채널들에 대한 룩업 테이블들(또는 픽셀 값들을 다른 값에 연동시키는 기타 구조들)(예컨대, Y, Cb, 및 Cr 색상 성분들에 대한 별개의 룩업 테이블)이 사용될 수 있다. 색상 공간 변환은 입력 이미지 데이터의 색상 공간을 상이한 포맷으로 변환하는 것을 지칭한다. 일 실시예에서, 리샘플 프로세싱 스테이지(308)는 추가 프로세싱을 위해 RBD 포맷을 YCbCr 포맷으로 변환한다.

중앙 제어 모듈(320)은 ISP(206) 내의 다른 컴포넌트들의 전체 동작을 제어하고 조정할 수 있다. 중앙 제어 모듈(320)은 다양한 동작 파라미터들(예컨대, 로깅 클록 사이클들, 메모리 지연, 서비스의 품질, 및 상태 정보)을 모니터링하는 것, ISP(206)의 다른 컴포넌트들에 대한 제어 파라미터들을 업데이트하거나 관리하는 것, 및 센서 인터페이스(302)와 인터페이싱하여 ISP(206)의 다른 컴포넌트들의 시작 및 중단을 제어하는 것을 포함하지만 이로 제한되지 않는 동작들을 수행한다. 예를 들어, 중앙 제어 모듈(320)은 ISP(206) 내의 다른 컴포넌트들이 유휴 상태에 있는 동안 다른 컴포넌트들에 대한 프로그램가능 파라미터들을 업데이트할 수 있다. 프로그램가능 파라미터들을 업데이트한 후, 중앙 제어 모듈(320)은 하나 이상의 동작들 또는 태스크들을 수행하기 위해 ISP(206)의 이들 컴포넌트들을 실행 상태로 배치할 수 있다. 중앙 제어 모듈(320)은 또한 리샘플 프로세싱 스테이지(308) 이전에, 그 동안에, 또는 그 후에 ISP(206)의 다른 컴포넌트들로 하여금 (예를 들어, 도 2의 시스템 메모리(230)에 기록함으로써) 이미지 데이터를 저장할 것을 지시할 수 있다. 이러한 방식으로 미가공 도메인 포맷 또는 풀 컬러 도메인 포맷의 풀 해상도 이미지 데이터는, 리샘플 프로세싱 스테이지(308)로부터 출력된 이미지 데이터를 백 엔드 파이프라인 스테이지들(340)을 통해 프로세싱하는 것에 추가적으로 또는 그 대신에 저장될 수 있다.

이미지 통계 모듈(304)은 이미지 데이터와 연관된 통계적 정보를 수집하기 위해 다양한 동작들을 수행한다. 통계치 정보를 수집하기 위한 동작들은 센서 선형화, 패턴화된 결함 픽셀들을 마스킹하는 것, 미가공 이미지 데이터를 서브-샘플링하는 것, 비-패턴화된 결함 픽셀들을 검출하고 교체하는 것, 블랙 레벨 보상, 렌즈 음영 보정, 및 역 블랙 레벨 보상을 포함할 수 있지만, 이들로 제한되지 않는다. 그러한 동작들 중 하나 이상을 수행한 후, 통계치 정보, 예컨대 3A 통계치(자동 화이트 밸런스(AWB), 자동 노출(AE), 자동 초점(AF)), 히스토그램(예컨대, 2D 색상 또는 성분) 및 임의의 다른 이미지 데이터 정보가 수집되거나 또는 추적될 수 있다. 일부 실시예들에서, 소정 픽셀들의 값들, 또는 픽셀 값들의 소정 영역들은 선행 동작들이 클리핑된 픽셀들을 식별할 때 소정 통계치 데이터(예컨대, AF 통계치)의 수집으로부터 배제될 수 있다. 단일 통계 모듈(304)만이 도 3에 도시되어 있지만, 다수의 이미지 통계 모듈들이 ISP(206)에 포함될 수 있다. 이러한 실시예들에서, 각각의 통계 모듈은 중앙 제어 모듈(320)에 의해 프로그래밍되어 동일하거나 상이한 이미지 데이터에 대한 상이한 정보를 수집할 수 있다.

비전 모듈(322)은 이미지 데이터에서의 객체 검출과 같은 CPU(208)에서의 컴퓨터 비전 동작들을 용이하게 하기 위해 다양한 동작들을 수행한다. 비전 모듈(322)은 프리-프로세싱, 글로벌 톤-맵핑 및 감마 보정, 비전 노이즈 필터링, 크기조정, 키포인트 검출, 콘볼루션, 및 HOG(histogram-of-orientation gradients)의 생성을 포함하는 다양한 동작들을 수행할 수 있다. 프리-프로세싱은 입력 이미지 데이터가 YCrCb 포맷이 아닌 경우 휘도의 서브샘플링 또는 비닝 동작 및 계산을 포함할 수 있다. 글로벌 맵핑 및 감마 보정은 휘도 이미지에 대한 프리-프로세싱된 데이터에 대해 수행될 수 있다. 비전 노이즈 필터링은 픽셀 결함을 제거하고 이미지 데이터에 존재하는 노이즈를 감소시키기 위해 수행되며, 이에 의해 후속 컴퓨터 비전 알고리즘들의 품질 및 성능을 개선한다. 그러한 비전 노이즈 필터링은 도트들 또는 결함 픽셀들을 검출하고 교정하는 것, 및 유사한 밝기의 이웃 픽셀들을 평균함으로써 노이즈를 감소시키기 위해 양방향 필터링(bilateral filtering)을 수행하는 것을 포함할 수 있다. 다양한 비전 알고리즘들은 상이한 크기들 및 스케일들의 이미지들을 사용한다. 이미지의 크기조정은, 예를 들어, 비닝 또는 선형 보간 동작에 의해 수행된다. 키포인트들은 동일한 장면 또는 객체의 다른 이미지들에서의 매칭에 매우 적합한 이미지 패치들에 의해 둘러싸인 이미지 내의 위치들이다. 그러한 키포인트들은 이미지 정렬, 카메라 포즈 계산 및 객체 추적에 유용하다. 키포인트 검출은 이미지에서 그러한 키포인트들을 식별하는 프로세스를 지칭한다. 콘볼루션은 이미지/비디오 프로세싱 및 머신 비전(machine vision)에서 많이 사용되는 도구이다. 콘볼루션은, 예를 들어, 이미지들의 에지 맵들을 생성하거나 이미지들을 매끄럽게 하기 위해 수행될 수 있다. HOG는 이미지 분석 및 컴퓨터 비전에서의 태스크들에 대한 이미지 패치들의 기술(description)들을 제공한다. 예를 들어, HOG는 (i) 간단한 차이 필터를 사용하여 수평 및 수직 그래디언트들을 계산하는 것, (ii) 수평 및 수직 그래디언트들로부터 그래디언트 방향(orientation)들 및 크기들을 계산하는 것, 및 (iii) 그래디언트 방향들을 비닝하는 것에 의해 생성될 수 있다. 비전 모듈(322)의 추가 설명이 도 4에 기술되어 있다.

백 엔드 인터페이스(342)는 이미지 센서(102)와는 다른 이미지 소스들로부터 이미지 데이터를 수신하고 이를 프로세싱을 위해 ISP(206)의 다른 컴포넌트들로 포워딩한다. 예를 들어, 이미지 데이터는 네트워크 접속을 통해 수신될 수 있고 시스템 메모리(230)에 저장될 수 있다. 백 엔드 인터페이스(342)는 시스템 메모리(230)에 저장된 이미지 데이터를 검색하고, 프로세싱을 위해 그것을 백 엔드 파이프라인 스테이지들(340)에 제공한다. 백 엔드 인터페이스(342)에 의해 수행되는 많은 동작들 중 하나는 검색된 이미지 데이터를, 백 엔드 프로세싱 스테이지들(340)에 의해 활용될 수 있는 포맷으로 변환하는 것이다. 예컨대, 백 엔드 인터페이스(342)는 RGB, YCbCr 4:2:0, 또는 YCbCr 4:2:2 포맷 이미지 데이터를 YCbCr 4:4:4 색상 포맷으로 변환할 수 있다.

백 엔드 파이프라인 스테이지들(340)은 특정 풀 컬러 포맷(예컨대, YCbCr 4:4:4 또는 RGB)에 따라 이미지 데이터를 프로세싱한다. 일부 실시예들에서, 백 엔드 파이프라인 스테이지들(340)의 컴포넌트들은 이미지 데이터를 추가 프로세싱 전에 특정 풀 컬러 포맷으로 변환할 수 있다. 백 엔드 파이프라인 스테이지들(340)은, 다른 스테이지들 중에서도, 노이즈 프로세싱 스테이지(310) 및 색상 프로세싱 스테이지(312)를 포함할 수 있다. 백 엔드 파이프라인 스테이지들(340)은 도 3에 도시되지 않은 다른 스테이지들을 포함할 수 있다.

노이즈 프로세싱 스테이지(310)는 이미지 데이터에서의 노이즈를 감소시키기 위해 다양한 동작들을 수행한다. 노이즈 프로세싱 스테이지(310)에 의해 수행되는 동작들은 색상 공간 변환, 감마/디-감마 맵핑, 시간적 필터링, 노이즈 필터링, 루마 선명화, 및 채도 노이즈 감소를 포함하지만, 이들로 제한되지 않는다. 색상 공간 변환은 이미지 데이터를 하나의 색상 공간 포맷으로부터 다른 색상 공간 포맷으로 변환할 수 있다(예를 들어, YCbCr 포맷으로 변환된 RGB 포맷). 감마/디-감마 동작은 특수 이미지 효과들을 수행하기 위해 이미지 데이터를 입력 이미지 데이터 값들로부터 출력 데이터 값들로 변환한다. 시간적 필터링은 노이즈를 감소시키기 위해 이전에 필터링된 이미지 프레임을 사용하여 노이즈를 필터링한다. 예를 들어, 이전 이미지 프레임의 픽셀 값들은 현재 이미지 프레임의 픽셀 값들과 조합된다. 노이즈 필터링은 예를 들어, 공간적 노이즈 필터링을 포함할 수 있다. 루마 선명화는 픽셀 데이터의 루마 값들을 선명하게 할 수 있는 반면, 채도 억제는 채도를 회색으로(즉, 색상 없음) 감쇠시킬 수 있다. 일부 실시예들에서, 루마 선명화 및 채도 억제는 공간적 노이즈 필터링과 동시에 수행될 수 있다. 노이즈 필터링의 공격성은 이미지의 상이한 영역들에 대하여 상이하게 결정될 수 있다. 공간적 노이즈 필터링은 시간적 필터링을 구현하는 시간적 루프의 일부로서 포함될 수 있다. 예를 들어, 이전 이미지 프레임은 프로세싱될 다음 이미지 프레임에 대한 참조 프레임으로서 저장되기 전에 시간적 필터 및 공간적 노이즈 필터에 의해 프로세싱될 수 있다. 다른 실시예들에서, 공간적 노이즈 필터링은 시간적 필터링을 위한 시간적 루프의 일부로서 포함되지 않을 수 있다(예컨대, 공간적 노이즈 필터는 이미지 프레임이 참조 이미지 프레임으로서 저장된 이후에 이미지 프레임에 적용될 수 있다(따라서 이미지 프레임은 공간적으로 필터링된 참조 프레임이 아님).

색상 프로세싱 스테이지(312)는 이미지 데이터에서 색상 정보를 조정하는 것과 연관된 다양한 동작들을 수행할 수 있다. 색상 프로세싱 스테이지(312)에서 수행되는 동작들은 로컬 톤 맵핑, 이득/오프셋/클립, 색상 보정, 3차원 색상 룩업, 감마 변환, 및 색상 공간 변환을 포함하지만, 이에 제한되지 않는다. 로컬 톤 맵핑은, 이미지를 렌더링할 때 더 많은 제어를 제공하기 위하여 공간적으로 변하는 로컬 톤 곡선을 지칭한다. 예컨대, 2차원 그리드의 톤 곡선(중앙 제어 모듈(320)에 의해 프로그래밍될 수 있음)은 이중선형 보간되어(bi-linearly interpolated) 매끄럽게 변하는 톤 곡선이 이미지에 걸쳐 생성되도록 할 수 있다. 일부 실시예들에서, 로컬 톤 맵핑은 또한 공간적으로 변하고 세기가 변하는 색상 보정 매트릭스를 적용할 수 있고, 이는, 예를 들어, 이미지에서 하늘은 더 파랗게 만드는 반면 그림자 내의 청색은 더 낮추는 데 사용될 수 있다. 디지털 이득/오프셋/클립은 이미지 데이터의 각각의 색상 채널 또는 성분에 대하여 제공될 수 있다. 색상 보정이 색상 보정 변환 매트릭스를 이미지 데이터에 적용할 수 있다. 3D 색상 룩업은 색상 성분 출력 값들(예컨대, R, G, B)의 3차원 어레이를 이용하여, 개선된 톤 맵핑, 색상 공간 변환, 및 기타 색상 변환들을 수행할 수 있다. 예를 들어, 감마 보정, 톤 맵핑, 또는 히스토그램 매칭을 수행하기 위하여 입력 이미지 데이터 값들을 출력 데이터 값들에 맵핑함으로써, 감마 변환이 수행될 수 있다. 색상 공간 변환은 하나의 색상 공간에서 다른 색상 공간으로(예컨대, RGB에서 YCbCr로) 이미지 데이터를 변환하도록 구현될 수 있다. 다른 프로세싱 기술들이 또한 색상 프로세싱 스테이지(312)의 일부로서 수행되어 다른 특수 이미지 효과들, 예컨대 흑백 전환, 세피아 톤 변환, 네거티브 변환, 또는 과대노출 변환을 수행할 수 있다.

출력 리스케일 모듈(314)은, ISP(206)가 이미지 데이터를 프로세싱할 때 즉각적인 리샘플링, 변환 및 왜곡 보정을 할 수 있다. 출력 리스케일 모듈(314)은 각각의 픽셀에 대하여 프랙셔널 입력 좌표(fractional input coordinate)를 계산하고 이 프랙셔널 좌표를 사용하여 다상(polyphase) 리샘플링 필터를 통해 출력 픽셀을 보간할 수 있다. 프랙셔널 입력 좌표는 (예컨대, 단순한 수평 및 수직 스케일링 변환을 통한) 이미지의 크기조정 또는 잘라내기, (예컨대, 비가분성(non-separable) 매트릭스 변환을 통한) 이미지의 회전 및 전단, (예컨대, 추가적인 깊이 변환을 통한) 원근감 왜곡 및 이미지 데이터 캡처 시 (예컨대, 롤링 셔터에 의한) 이미지 센서의 변화를 고려하기 위하여 스트립 단위로 구분적으로 적용되는 픽셀별 원근 분리, 및 (예컨대, 보간된 반경 방향 이득 표를 색인하기 위하여 광학 중심으로부터 반경 거리를 계산하고, 반경 방향 렌즈 왜곡을 고려하기 위하여 좌표에 반경 방향 섭동(radial perturbance)을 적용하는 것을 통한) 기하학적 왜곡 보정과 같은 출력 좌표의 다양한 가능한 변환으로부터 생성될 수 있다.

출력 리스케일 모듈(314)은, 이미지 데이터가 출력 리스케일 모듈(314)에서 프로세싱될 때 이미지 데이터에 변환을 적용할 수 있다. 출력 리스케일 모듈(314)은 수평 및 수직 스케일링 컴포넌트들을 포함할 수 있다. 설계의 수직 부분은 수직 필터에 필요한 "지원"을 유지하기 위하여 일련의 이미지 데이터 라인 버퍼들을 구현할 수 있다. ISP(206)가 스트리밍 디바이스일 수 있기 때문에, 유한한 길이의 슬라이딩 윈도의 라인들 중 이미지 데이터의 라인들만이 필터가 사용 가능할 수 있다. 새로 유입되는 라인을 위한 공간을 만들기 위해 하나의 라인이 폐기되면, 라인은 이용불가능할 수 있다. 출력 리스케일 모듈(314)은 이전 라인들에 대하여 계산된 입력 Y 좌표를 통계적으로 모니터링하여, 그것을 이용하여 수직 지원 윈도에 유지하기 위한 최적의 라인들의 세트를 계산할 수 있다. 각각의 후속 라인에 대하여, 출력 리스케일 모듈(314)은 수직 지원 윈도의 중심에 대한 추측을 자동으로 생성할 수 있다. 일부 실시예들에서, 출력 리스케일 모듈(314)은 이미지 프레임의 캡처 시 센서 모션에 의해 야기되는 아티팩트 및 모션을 보정하기 위하여 입력 이미지 데이터와 출력 이미지 데이터 사이의 픽셀별 원근 변환을 수행하는 디지털 차이 분석기(DDA) 스텝퍼로서 인코딩된 조각별 원근 변환의 표를 구현할 수 있다. 출력 리스케일 모듈(314)은 출력 인터페이스(316)를 통해 시스템(100)의 다양한 다른 컴포넌트들에 이미지 데이터를 제공할 수 있고, 이는 도 1 및 도 2에 대하여 위에서 논의된 바와 같다.

다양한 실시예들에서, 컴포넌트들(302 내지 342)의 기능은 도 3에 예시된 이미지 프로세싱 파이프라인 내의 이들 기능 유닛들의 순서에 의해 암시되는 순서와 상이한 순서대로 수행될 수 있거나, 또는 도 3에 예시된 것들과 상이한 기능 컴포넌트들에 의해 수행될 수 있다. 또한, 도 3에 기술된 바와 같은 다양한 컴포넌트들은 하드웨어, 펌웨어 또는 소프트웨어의 다양한 조합으로 구현될 수 있다.

예시적인 비전 모듈 아키텍처

도 4는 일 실시예에 따른, 도 3의 이미지 프로세싱 파이프라인들의 비전 모듈(322)의 상세도를 도시하는 블록도이다. 비전 모듈(322)은 컴퓨터 비전 및/또는 컴퓨터 학습이 임의의 추가적인 이미지 프로세싱에 관계없이 하나 이상의 이미지들에 대해 수행될 수 있게 한다.

일 실시예에서, 비전 모듈(322)은 프론트 엔드 회로 부분(430) 및 백 엔드 회로 부분(440)을 포함한다. 프론트 엔드 회로 부분(430)은 미가공 프로세싱 스테이지(306), 백엔드 프로세싱 스테이지(340) 또는 SOC 컴포넌트(204)의 다른 부분들로부터 수신된 이미지 데이터(401)에 대해, 프리-프로세싱, 글로벌 톤-맵핑 및 감마 보정, 비전 노이즈 필터링, 및 크기조정과 같은 하나 이상의 동작들을 수행할 수 있다. 도 4의 실시예에서, 프론트 엔드 회로 부분(430)은 한 쌍의 이미지 신호 파이프라인들을 포함하는데, 여기서 각각의 이미지 신호 파이프라인은 하나 이상의 수신된 이미지 데이터(401)의 일부분을 프로세싱함으로써 업데이트된 휘도 이미지들(454A, 454B)을 생성한다. 이미지 신호 파이프라인들 각각에 의해 생성된 업데이트된 휘도 이미지들(454A, 454B)은 컴퓨터 비전 동작들을 수행하기 위해 백 엔드 회로 부분(440)에 별도로 제공될 수 있다. 그러한 아키텍처는 이미지 스케일링이, 동일한 이미지, 동일한 이미지의 상이한 부분들, 또는 상이한 이미지들에 대해 상이한 컴퓨터 비전 동작들과 병렬로 수행될 수 있게 한다. 도 4의 실시예의 프론트 엔드 회로 부분(430)에 2개의 파이프라인들만이 제공되지만, 프로세싱 속도 및/또는 이미지 데이터(401)의 크기에 따라, 단일 파이프라인 또는 2개 초과의 파이프라인들이 프론트 엔드 회로 부분(430)에 제공될 수 있다.

프론트 엔드 회로 부분(430) 내의 각각의 이미지 신호 파이프라인은 인터페이스 회로(402), 패턴 결함 픽셀(pattern defect pixel, PDP) 회로(404), 프리-프로세싱(pre-processing, PRE) 회로(406), 룩업 테이블(LUT)(408), 비전 노이즈 필터(vision noise filter, VNF)(410), 및 크기조정기(resizer, RES) 회로(412)를 포함할 수 있다. 인터페이스 회로(402)는 소스(예컨대, 영구 저장소(228), 시스템 메모리(230), 이미지 센서, 미가공 프로세싱 스테이지(306), 또는 백 엔드 회로 부분(440)의 출력)로부터 이미지 데이터(401)를 수신하도록 구성되고, 이미지 데이터(401)를 프론트 엔드 회로 부분(430)의 후속 스테이지로 포워딩한다. 인터페이스 회로(402)는 이미지 데이터(401)의 소스를 선택하기 위해 중앙 제어부(320)로부터의 제어 신호에 결합된 선택 입력(도시되지 않음)을 포함하는 멀티플렉서로서 구현될 수 있다.

PDP 회로(404)는 이미지 데이터(401) 전체에 걸쳐 주기적으로 배치된 패턴화된 결함 픽셀(예를 들어, 포커스 픽셀)을 보정한다. 이미지 데이터(401)가 패턴화된 결함 픽셀을 포함하지 않는 경우, PDP 회로(404)에서의 프로세싱은 바이패스되거나 생략될 수 있다. PDP 회로(404)는 또한 시스템 메모리(230) 또는 영구 저장소(228)로부터 판독될 수 있는 알려진 위치들을 갖는 결함들을 보정한다.

PRE 회로(406)는, 당업계에 잘 알려진 바와 같이, 다양한 픽셀 포맷의 이미지 데이터를 휘도 이미지 데이터(450)로 변환한다. 일 실시예에서, 휘도 이미지 데이터(450)는 VNF(410)에 포함된 라인 버퍼의 폭에 대응하는 최대 폭을 초과하지 않는 폭을 갖는다. PDP 회로(404)로부터 수신된 이미지 데이터가 VNF(410)에 포함된 라인 버퍼의 최대 폭을 초과할 때, PRE 회로(406)는 휘도 이미지 데이터(450)의 폭을 감소시키기 위해 비닝을 수행할 수 있다.

LUT(408)는 휘도 이미지 데이터(450)를 비선형 공간(예를 들어, 감마 보정됨)으로 변환하여 픽셀 값들이 최종 렌더링된 이미지들의 유사한 톤 곡선들을 따르도록 픽셀 값들을 수정하거나, 또는 원하는 경우 비선형 이미지를 다시 선형으로 이동시키는 데 사용될 수 있다.

VNF 회로(410)는 백 엔드 회로 부분(440)에 포함된 컴퓨터 비전 컴포넌트들의 품질 및 성능을 개선한다. VNF 회로(410)는 변환된 휘도 정보를 LUT(408)로부터 수신하고, 픽셀 결함들을 제거하고 이미지 데이터에서 노이즈를 감소시킨다. 픽셀 결함들은 노이즈 제거의 프로세스 동안 필터링되지 않을 노이즈 분포의 긴 테일(tail)에 기인하는 도트 결함들을 포함할 수 있다. 일 실시예에서, VNF 회로(410)는 도트 검출 및 보정을 수행하여 픽셀 그룹 단위로 임의의 도트들 또는 결함 픽셀들을 교정하는 하나 이상의 알고리즘들을 채용한다. 예를 들어, 하나의 알고리즘은 3×3 어레이와 같은 어레이로 배열된 픽셀들의 그룹들에서 이미지를 평가한다. 각각의 3×3 어레이에 대해, 알고리즘은 3×3 어레이 내의 중심 픽셀이 도트 또는 결함을 포함하는지 여부를 결정한다. 결정을 하기 위해, 알고리즘은 (1) 중심 픽셀의 픽셀 세기 값에서 임계 값을 뺀 것이 이웃 픽셀들의 최대 픽셀 세기 값보다 큰지 여부; 및 (2) 중심 픽셀의 픽셀 세기 값에서 임계 값을 더한 것이 이웃 픽셀들의 최소 픽셀 세기 값보다 작은지 여부를 결정한다. 임계 값은 1차원(1D) 룩업 테이블(LUT)을 룩업 세기로 보간함으로써 결정될 수 있다. 중심 픽셀이 도트 또는 결함 픽셀로서 식별되는 경우, VNF 회로(410)는 중심 픽셀을 최저 그래디언트 방향을 따라 교체한다. 그렇지 않으면, VNF 회로(410)는 중심 픽셀을 통과시킨다.

VNF 회로(410)는 3×3 어레이 내의 중심 픽셀과 유사한 밝기의 이웃 픽셀들을 평균함으로써 노이즈를 감소시키기 위해 양방향 필터링을 수행할 수 있다. 예를 들어, VNF 회로(410)는 중심 픽셀과 이웃 픽셀들 사이의 픽셀 차이가 임계치를 초과하지 않을 때 기하학적으로 그리고 광도측정적으로 중심 픽셀과 유사한 픽셀 값들의 가중 평균을 수행할 수 있다. 반면에, 중심 픽셀과 이웃 픽셀 사이의 픽셀 차이가 임계치를 초과할 때, 픽셀 값들의 가중 평균을 계산하는 그러한 동작은 수행되지 않는다. VNF 회로(410)의 출력은 멀티플렉서(424)를 통해 메모리 시스템(230)으로 또는 RES 회로(412)로 전송될 수 있다.

RES 회로(412)는 VNF 회로(410)로부터 수신된 휘도 출력을 특정된 스케일 비율로 크기조정하거나 스케일링한다. RES 회로(412)는 수평 방향 및 수직 방향의 크기조정을 개별적으로 수행한다. RES 회로(412)에 의해 생성된 크기조정된 출력은 멀티플렉서(424)를 통해 시스템 메모리(230)로 전송될 수 있거나, 추가 프로세싱을 위해 백 엔드 회로 부분(440)에 포함된 컴퓨터 비전 컴포넌트들에 제공될 수 있다. 일례에서, 백 엔드 회로 부분(440)에서의 추가 프로세싱은 백 엔드 회로 부분(440) 내에 위치된 추가적인 크기조정기를 사용하여 휘도 이미지를 가변 스케일 비율들로 반복적으로 크기조정함으로써 이미지 피라미드를 생성하는 것을 포함하며, 여기서 RES 회로(412)의 출력은 이미지 피라미드의 베이스에 대응하는 제1 레벨 해상도 휘도 이미지로서의 역할을 한다.

백 엔드 회로 부분(440)은 프론트 엔드 회로 부분(430)에 포함된 이미지 신호 파이프라인들에 의해 출력되는 스케일링된 휘도 이미지에 대해 다양한 컴퓨터 비전 알고리즘들을 수행하는 컴포넌트들을 포함한다. 백 엔드 회로 부분(440)에서 수행되는 예시적인 컴퓨터 비전 알고리즘들은, 특히, 키포인트 검출, HOG 데이터 생성, 및 콘볼루션을 포함할 수 있다. 다양한 컴퓨터 비전 알고리즘들 각각에 대응하는 별개의 컴퓨터 비전 프로세싱 경로들은 다수의 컴퓨터 비전 동작들을 병렬로 수행하도록 한 쌍의 이미지 신호 파이프라인들의 각각의 파이프라인의 출력을 수신할 수 있다.

키포인트 검출 프로세싱 경로는 RES 회로(412A)에 의해 출력되는 업데이트된 휘도 이미지(454A) 또는 RES 회로(412B)에 의해 출력되는 업데이트된 휘도 이미지(454B), 또는 메모리 시스템(230)으로부터 검색된 RES 회로(418A)에 의해 생성되는 업데이트된 스케일링된 휘도 이미지에 대해 키포인트 검출을 수행한다. 키포인트 검출 프로세싱 경로는 멀티플렉서(MUX)(414A), LUT(416), 키포인트(KEY)(420), 및 RES 회로(418A)를 포함한다. MUX(414A)는 제1 이미지 신호 파이프라인 내의 RES 회로(412A)의 출력을 수신하도록 결합된 제1 입력, 제2 이미지 신호 파이프라인 내의 RES 회로(412B)의 출력을 수신하도록 결합된 제2 입력, 및 데이터를 판독하기 위해 메모리 시스템(230)에 결합된 제3 입력을 포함한다. MUX(414A)는 키포인트 검출 및 크기조정의 추가 프로세싱을 위해 다운스트림으로 공급하기 위한 입력들을 선택한다.

MUX(414A)의 출력은 LUT(416)에 공급되며, LUT(416)는 예를 들어, LUT(416)가 또한 비트 변환(예컨대, 12 비트에서 8 비트로의 변환)을 수행할 수 있다는 점을 제외하고는 LUT(408)에서 수행되는 동작과 유사한 동작을 수행한다. KEY(420)는 LUT(416)의 출력을 수신하고, 수신된 이미지 내에서, 키포인트들로 지칭되는 관심 객체들을 식별한다. 하나 이상의 실시예들에서, LUT(416)는 생략될 수 있다. 일반적으로, 키포인트들은 동일한 장면 또는 객체의 다른 이미지들에서의 매칭에 매우 적합한 이미지 패치들로 둘러싸인 이미지 내의 위치들을 지칭한다. KEY(420)는 제1 기간에 RES 회로(412A)에 의해 출력되는 업데이트된 휘도 이미지(454A)를 수신한다. 제1 기간 동안, KEY(420)는 업데이트된 휘도 이미지(454A)에 대해 키포인트 검출을 수행할 수 있다. RES 회로(418A)는 RES 회로(412)와 동일한 방식으로 동작하고, RES 회로(412A 또는 412B)의 출력으로부터 업데이트된 스케일링된 휘도 이미지를 생성한다.

제1 기간에 RES 회로(418A)에 의해 생성된 스케일링된 휘도 이미지(456A)는 메모리 시스템(230)에 저장되고, 이어서 후속 제2 기간에, RES 회로(418A) 및 KEY(420)에서의 후속 프로세싱뿐만 아니라 RES 회로(418A)에서의 크기조정 동작을 위해 업데이트된 스케일링된 휘도 이미지로서(도 4에서 점선으로 도시된 바와 같음) MUX(414A)로 다시 전송된다. RES 회로(418A)는 업데이트된 스케일링된 휘도 이미지를 스케일링하는 반면, KEY(420)는 업데이트된 스케일링된 휘도 이미지에 대한 키포인트 검출을 병렬로 수행한다. 제2 기간에, 스케일링된 휘도 이미지(456B)가 RES 회로(418B)에 의해 생성되고, 메모리 시스템(230)에 저장되고, 이어서 후속의 제3 기간에 MUX(414A)로 다시 전송된다. 이러한 프로세스는 RES 회로(418A) 및 KEY(420)에 의해 반복되어, RES 회로(418A)에 의해 생성된 바와 같은, 이미지 피라미드의 연속적으로 스케일링된 휘도 이미지들에 대해 키포인트 검출을 수행할 수 있다.

일 실시예에서, KEY(420)는 입력 이미지의 크기를 감소시키기 위해 8-비트 휘도 이미지의 서브-샘플링을 수행할 수 있다. 예를 들어, KEY(420)는 매 1, 2, 4, 또는 8개의 픽셀마다, 수평 및 수직 둘 다로, 서브-샘플링할 수 있다. 서브-샘플링의 유형은 프로그래밍가능 레지스터를 사용하여 설정될 수 있다. KEY(420)는 또한 관심 키포인트의 유형 또는 특성에 따라 다양한 모드들에서 동작할 수 있다. 다양한 동작 모드들은 2D 매칭에 대한 제1 또는 표준 모드, 수직 에지들을 식별하기 위한 제2 모드, 및 수평 에지들을 식별하기 위한 제3 모드를 포함한다. KEY(420)는 다양한 모드들 중 하나에서 동작할 때 키포인트를 검출하기 위해 다단계 알고리즘을 채용한다. KEY(420)는 KEY(420)의 동작 모드에 따라 키포인트들을 식별하기 위해 당업계에 잘 알려진 하나 이상의 알고리즘들을 채용한다. KEY(420)의 출력은 ISP(206)에 의한 추가 프로세싱을 위해 메모리 시스템(230)에 기록하도록 결합될 수 있다.

HOG 프로세싱 경로는 각각의 연속적으로 스케일링된 휘도 이미지에서 HOG 데이터 또는 피라미드 이미지를 계산한다. HOG 프로세싱 경로는 MUX(414B), RES 회로(418B), 및 HOG(422)를 포함한다. MUX(414A)와 같이, MUX(414B)는 RES 회로(412A), RES 회로(412B) 또는 메모리 시스템(230)에 각각 결합된 3개의 입력들을 포함하고, HOG(422) 및 RES 회로(418B)로 다운스트림으로 전송될 입력들을 선택한다. 피라미드 이미지에 대한 HOG 데이터(460A, 460B)를 계산하기 위해, RES 회로(418B)의 출력은 메모리 시스템(230)에 결합되며, 메모리 시스템(230)은 MUX(414B)에 의해 액세스가능할 수 있다. 스케일링된 휘도 이미지(458A)는 업데이트된 휘도 이미지(454)에 기초하여 제1 시간 프레임에서 RES 회로(418B)의 출력으로서 생성되고, 업데이트된 스케일링된 휘도 이미지(458B)는 후속하는 제2 시간 프레임에서 스케일링된 휘도 이미지(458A)에 기초하여 RES 회로(418B)의 출력으로서 생성된다. MUX(414B)는 (점선으로 도시된 바와 같이) 이전 기간에 RES 회로(418B)에 의해 출력된 휘도 이미지를 검색하고, 휘도 이미지를 RES 회로(418B) 및 HOG(422)로 출력할 수 있다. RES 회로(418B)는 업데이트된 스케일링된 휘도 이미지를 스케일링하는 한편, HOG(422)는 업데이트된 스케일링된 휘도 이미지의 HOG 데이터를 병렬로 계산한다. HOG(422)는 그의 출력을 메모리 시스템(230)에 기록하는데, 이는 백 엔드 회로 부분(440)에 포함된 다른 컴퓨터 비전 컴포넌트들에 의해 추가로 프로세싱될 수 있다. 이러한 프로세스는 이미지 피라미드의 연속적으로 스케일링된 휘도 이미지들에 대해 HOG 특징부 검출을 수행하기 위해 RES 회로(418B) 및 HOG(422)에 의해 반복될 수 있다.

콘볼루션(CONV) 프로세싱 경로는, 프론트 엔드 회로 부분(430)으로부터의 업데이트된 휘도 이미지, HOG(422)로부터의 HOG 데이터(460A, 460B), 및 CONV 프로세싱 경로로부터 출력된 이미지 데이터에 대해 콘볼루션 알고리즘들을 수행하는 컴포넌트들을 포함한다. CONV 프로세싱 경로는 MUX(426) 및 CONV(428)를 포함한다. CONV 회로(428)는 당업계에 잘 알려진 알고리즘들을 사용하여 콘볼루션 동작을 수행한다. MUX(426)는 RES 회로(412A)의 출력에 결합된 제1 입력, RES 회로(412B)의 출력에 결합된 제2 입력, HOG(422)의 출력에 결합된 제3 입력, 및 (점선으로 도시된 바와 같이) 이전 기간에 획득된 CONV(428)의 출력을 수신하기 위해 메모리 시스템(230)에 결합된 제4 입력을 포함한다. MUX(426)는 CONV(428)로 전송될 입력들을 선택하며, CONV(428)는 이어서 MUX(426)로부터 수신된 입력 이미지 데이터에 대해 콘볼루션 동작을 수행한다.

CONV(428)는 KEY(420) 및 HOG(422)와 같은 다른 컴퓨터 비전 컴포넌트들과 병렬로 콘볼루션 동작을 수행할 수 있다. 일 실시예에서, CONV(428)는 제1 기간 동안 제1 HOG 데이터(460A)에 대해 콘볼루션 동작을 수행하여 제1 결과(462)를 생성한다. 후속하는 제2 기간 동안, CONV(428)는 HOG 데이터(460B)에 대해 콘볼루션 동작을 수행하여 제2 결과(464)를 생성한다.

백 엔드 회로 부분(440)에서 수행되는 동작들은 단지 예시적인 것이다. 백 엔드 회로 부분(440)은 키포인트 검출, HOG, 및 콘볼루션 동작들의 서브세트만을 수행하기 위한 회로들을 포함할 수 있다. 대안적으로, 백 엔드 회로 부분(440)은 추가적인 기술자(descriptor) 생성, 안면 검출 등과 같은 추가적인 컴퓨터 비전 동작들을 수행하기 위한 추가 회로들을 포함할 수 있다.

컴퓨터 비전 동작을 수행하는 예시적인 프로세스

도 5는 일 실시예에 따른, 이미지 스케일링과 병렬로 컴퓨터 비전 동작을 수행하기 위한 흐름도를 도시한다. 다른 실시예들에서, 도 5에 도시된 것들 이외의 단계들이 수행될 수 있다는 것에 유의한다.

일 실시예에서, 프론트 엔드 회로 부분(430)은 인터페이스 회로(402)를 통해 이미지 데이터를 수신한다(502). 수신된 이미지 데이터는 동일한 이미지 또는 상이한 이미지들의 상이한 부분들을 포함할 수 있다. 프론트 엔드 회로 부분(430)에 포함된 프리프로세서(406)는 수신된 이미지 데이터로부터 현재 휘도 이미지를 생성한다(504). RES 회로(412)는 제1 휘도 이미지에 기초하여 업데이트된 휘도 이미지를 생성한다(506). 업데이트된 휘도 이미지는 현재 휘도 이미지의 크기조정된 버전이다.

백 엔드 회로 부분(440)은 이미지 피라미드를 형성하는 연속적으로 스케일링된 휘도 이미지들을 생성할 수 있는 한편, 병렬로, 각각의 스케일링된 이미지에 대해 컴퓨터 비전 동작들을 수행할 수 있다. 예를 들어, 백 엔드 회로 부분(440)은, 제1 기간 동안, 프론트 엔드 회로 부분(430)에 의해 출력되는 업데이트된 휘도 이미지의 크기조정된 버전인 스케일링된 휘도 이미지를 생성하는(508) RES 회로(418)를 포함한다. RES 회로(418)는 추가 프로세싱을 위해 스케일링된 휘도 이미지를 메모리 시스템에 기록한다(512).

제1 기간 동안, 백 엔드 회로 부분(440)은 또한 업데이트된 휘도 이미지의 컴퓨터 비전 동작을 수행한다(510). 백 엔드 회로 부분(440)에 포함된 상이한 컴퓨터 비전 컴포넌트들은 각각의 스케일링된 휘도 이미지에 대해 상이한 컴퓨터 비전 동작들을 병렬로 수행할 수 있다. 예를 들어, KEY(420)는 업데이트된 휘도 이미지의 키포인트 검출을 수행할 수 있는 한편, HOG(422)는 동일한 업데이트된 휘도 이미지, 또는 상이한 수신된 이미지의 상이한 업데이트된 휘도 이미지 또는 동일한 수신된 이미지의 상이한 부분에 대한 HOG 동작들을 수행한다. 다른 예에서, KEY(420), HOG(422), 및 CONV(428) 중 하나 또는 그 조합은 RES 회로(412A) 및 RES 회로(412B)의 출력에 대응하는 이미지 신호 프로세싱 파이프라인들 중 하나 또는 그 조합에 의해 출력되는 업데이트된 휘도 데이터에 대해 그들의 각각의 컴퓨터 비전 동작들을 수행하도록 제1 기간 동안 병렬로 동작할 수 있다.

이어서, 백 엔드 회로 부분(440)은 스케일링된 휘도 이미지가 스케일링 한계를 초과하는지 여부를 결정한다(514). 일례에서, 스케일링된 휘도 이미지의 스케일링 한계는 32 픽셀-폭이다. 스케일링 한계에 도달되지 않으면, 업데이트된 스케일링된 휘도 이미지는 업데이트된 스케일링된 휘도 이미지로서 메모리 시스템으로부터 검색되고(516), 이는 RES 회로(418)에 의해 제2 기간 동안 재스케일링되고 단계들(508, 510, 512)에 따라 컴퓨터 비전 컴포넌트들에 의해 동작될 수 있다. 백 엔드 회로 부분(440)은, 스케일링 한계에 도달된다는 결정(514)이 이루어질 때까지 단계들(508, 510, 512)에 의해 형성된 루프를 반복한다. 스케일링 한계에 도달된 것으로 결정되면(514), 프로세스는 종료된다.

본 명세서에 사용된 표현은 주로 가독성 및 교육 목적들을 위해 선택되었고, 본 발명의 요지를 상세히 기술하거나 제한하기 위해 선택되지 않았을 수 있다. 따라서, 본 발명의 실시예들의 개시내용의 범주는 본 발명을 실시하기 위한 구체적인 내용에 의해서가 아니라, 오히려 본 명세서에 기초하여 출원에서 발행되는 임의의 청구범위에 의해 제한되는 것으로 의도된다. 그에 따라, 본 발명의 실시예들의 개시내용은 하기 청구범위에 기재된 본 발명의 범주를 예시하기 위한 것이지 제한하려는 것이 아니다.

Claims

이미지 신호 프로세서로서,
이미지를 수신하도록 구성된 인터페이스 회로;
프론트 엔드 회로 부분(front-end circuit portion) - 상기 프론트 엔드 회로 부분은,
상기 인터페이스 회로를 통해 상기 이미지를 수신하고, 상기 수신된 이미지에 기초하여 현재 휘도 이미지를 생성하고,
상기 현재 휘도 이미지의 크기조정된 버전(resized version)인, 업데이트된 휘도 이미지를 생성하도록 구성됨 -; 및
상기 프론트 엔드 회로의 출력에 결합된 백 엔드 회로 부분(back-end circuit portion)을 포함하며, 상기 백 엔드 회로는,
제1 기간 동안 상기 업데이트된 휘도 이미지의 크기조정된 버전인 스케일링된 휘도 이미지를 생성하도록 구성된 크기조정기 회로(resizer circuit) - 상기 크기조정기 회로는 상기 제1 기간 이후의 제2 기간 동안 상기 스케일링된 휘도 이미지를 크기조정함으로써, 업데이트된 스케일링된 휘도 이미지를 생성하도록 추가로 구성됨 -, 및
상기 제1 기간 동안 상기 스케일링된 휘도 이미지에 대해 컴퓨터 비전 동작(computer vision operation)을 수행하고 상기 제2 기간 동안 상기 업데이트된 스케일링된 휘도 이미지에 대해 상기 컴퓨터 비전 동작을 수행하도록 구성된 컴퓨터 비전 회로를 포함하는, 이미지 신호 프로세서.
제1항에 있어서, 상기 크기조정기 회로는 상기 제2 기간 이후의 제3 기간 동안 상기 업데이트된 스케일링된 휘도 이미지를 크기조정하도록 추가로 구성되는, 이미지 신호 프로세서.
제2항에 있어서, 상기 컴퓨터 비전 회로는 상기 제3 기간 동안 상기 업데이트된 스케일링된 휘도 이미지에 대해 상기 컴퓨터 비전 동작을 수행하도록 구성되는, 이미지 신호 프로세서.
제1항에 있어서, 상기 컴퓨터 비전 회로는 상기 크기조정기 회로에 결합된 HOG(histogram-of-oriented-gradients) 회로를 포함하고, 상기 HOG 회로는,
상기 제1 기간 동안 상기 업데이트된 휘도 이미지의 제1 HOG 데이터를 생성하고,
상기 제2 기간 동안 상기 스케일링된 휘도 이미지의 제2 HOG 데이터를 생성하도록 구성되는, 이미지 신호 프로세서.
제4항에 있어서, 상기 컴퓨터 비전 회로는 상기 HOG 회로에 결합된 콘볼루션 회로(convolution circuit)를 추가로 포함하며, 상기 콘볼루션 회로는 상기 제1 기간 동안 상기 제1 HOG 데이터에 대해 콘볼루션 동작을 수행하고, 상기 제2 기간 동안 상기 제2 HOG 데이터에 대해 상기 콘볼루션 동작을 수행하도록 구성되는, 이미지 신호 프로세서.
제1항에 있어서, 상기 컴퓨터 비전 회로는 상기 프론트 엔드 회로의 출력에 결합된 콘볼루션 회로를 추가로 포함하며, 상기 콘볼루션 회로는 상기 업데이트된 휘도 이미지를 수신하고 상기 제1 기간 동안 상기 업데이트된 휘도 이미지 데이터에 대해 콘볼루션 동작을 수행하도록 구성되는, 이미지 신호 프로세서.
제1항에 있어서, 상기 컴퓨터 비전 회로는 키포인트 검출 회로를 추가로 포함하며, 상기 키포인트 검출 회로는,
상기 제1 기간 동안 상기 업데이트된 휘도 이미지 내의 하나 이상의 이미지 위치들을 검출하고 - 상기 업데이트된 휘도 이미지 내의 상기 검출된 하나 이상의 이미지 위치들은 다른 이미지 내의 매칭하는 위치들에 대한 후보 위치들을 포함함 -; 그리고
상기 제2 기간 동안 상기 스케일링된 휘도 이미지 내의 하나 이상의 이미지 위치들을 검출하도록 결합되어 있으며, 상기 스케일링된 휘도 이미지 내의 상기 검출된 하나 이상의 이미지 위치들은 상기 다른 이미지 내의 매칭하는 위치들에 대한 후보 위치들을 포함하는, 이미지 신호 프로세서.
제1항에 있어서, 상기 프론트 엔드 회로 부분은 상기 업데이트된 휘도 이미지를 생성하기 위한 한 쌍의 이미지 신호 파이프라인들을 포함하고, 상기 이미지 신호 파이프라인들 각각은 상기 수신된 이미지의 일부분을 프로세싱하여 상기 업데이트된 휘도 이미지의 일부분을 생성하도록 구성되는, 이미지 신호 프로세서.
제8항에 있어서, 상기 이미지 신호 파이프라인들 각각은 상기 인터페이스 회로로부터의 이미지 데이터를 색상 보정된 휘도 데이터로 변환하도록 구성된 프리프로세서를 추가로 포함하는, 이미지 신호 프로세서.
제8항에 있어서, 상기 이미지 신호 파이프라인들 각각은 상기 현재 휘도 이미지의 상기 일부분의 크기를 감소시키기 위한 크기조정기 컴포넌트를 포함하는, 이미지 신호 프로세서.
제10항에 있어서, 상기 이미지 신호 파이프라인들 각각은 상기 현재 휘도 이미지의 상기 일부분의 미가공 휘도 이미지(raw luminance image)를 생성하도록 구성된 룩업 테이블을 추가로 포함하는, 이미지 신호 프로세서.
제11항에 있어서, 상기 이미지 신호 파이프라인들 각각은 상기 미가공 휘도 이미지에서의 노이즈를 필터링하기 위해 상기 룩업 테이블과 상기 크기조정기 컴포넌트 사이에 양방향 필터(bilateral filter)를 추가로 포함하는, 이미지 신호 프로세서.
제1항에 있어서, 상기 인터페이스 회로는 센서, 또는 상기 이미지 신호 프로세서의 미가공 프로세싱 스테이지에 결합되는, 이미지 신호 프로세서.
제13항에 있어서, 상기 인터페이스 회로는 멀티플렉서인, 이미지 신호 프로세서.
제14항에 있어서, 상기 멀티플렉서는 상기 제1 기간 후에 상기 스케일링된 휘도 이미지를 수신하고 상기 제2 기간 후에 상기 업데이트된 스케일링된 휘도 이미지를 수신하도록 구성되는, 이미지 신호 프로세서.
방법으로서,
인터페이스 회로를 통해 이미지 신호 프로세서의 프론트 엔드 회로 부분에서 이미지를 수신하는 단계;
상기 수신된 이미지에 대응하는 현재 휘도 이미지를 생성하는 단계;
상기 현재 휘도 이미지를 크기조정함으로써 업데이트된 휘도 이미지를 생성하는 단계;
제1 기간 동안 상기 업데이트된 휘도 이미지의 크기조정된 버전인 스케일링된 휘도 이미지를 생성하는 단계;
상기 제1 기간 동안 상기 업데이트된 휘도 이미지에 대해 컴퓨터 비전 동작을 수행하는 단계;
상기 제1 기간 이후의 제2 기간 동안 상기 스케일링된 휘도 이미지의 크기조정된 버전인 업데이트된 스케일링된 휘도 이미지를 생성하는 단계; 및
상기 제2 기간 동안 상기 스케일링된 휘도 이미지에 대해 상기 컴퓨터 비전 동작을 수행하는 단계를 포함하는, 방법.
제16항에 있어서,
상기 제1 기간 동안 상기 업데이트된 휘도 이미지의 제1 HOG 데이터를 생성하는 단계; 및
상기 제2 기간 동안 상기 스케일링된 휘도 이미지의 제2 HOG 데이터를 생성하는 단계를 추가로 포함하는, 방법.
제17항에 있어서,
상기 제1 기간 동안 상기 제1 HOG 데이터에 대해 콘볼루션 동작을 수행하는 단계; 및
상기 제2 기간 동안 상기 제2 HOG 데이터에 대해 상기 콘볼루션 동작을 수행하는 단계를 추가로 포함하는, 방법.
제16항에 있어서, 상기 컴퓨터 비전 동작을 수행하는 단계는,
상기 제1 기간 동안 상기 업데이트된 휘도 이미지 내의 하나 이상의 이미지 위치들을 검출하는 단계 - 상기 업데이트된 휘도 이미지 내의 상기 검출된 하나 이상의 이미지 위치들은 다른 이미지 내의 매칭하는 위치들에 대한 후보 위치들을 포함함 -; 및
상기 제2 기간 동안 상기 스케일링된 휘도 이미지 내의 하나 이상의 이미지 위치들을 검출하는 단계를 추가로 포함하며, 상기 스케일링된 휘도 이미지 내의 상기 검출된 하나 이상의 이미지 위치들은 상기 다른 이미지 내의 매칭하는 위치들에 대한 후보 위치들을 포함하는, 방법.
전자 디바이스로서,
이미지 센서;
상기 이미지 센서로부터 이미지를 수신하도록 구성된 인터페이스 회로;
프론트 엔드 회로 부분 - 상기 프론트 엔드 회로 부분은,
상기 인터페이스 회로를 통해 상기 이미지를 수신하고, 상기 수신된 이미지에 기초하여 현재 휘도 이미지를 생성하고,
상기 현재 휘도 이미지의 크기조정된 버전인, 업데이트된 휘도 이미지를 생성하도록 구성됨 -; 및
상기 프론트 엔드 회로의 출력에 결합된 백 엔드 회로 부분을 포함하며, 상기 백 엔드 회로는,
제1 기간 동안 상기 업데이트된 휘도 이미지의 크기조정된 버전인 스케일링된 휘도 이미지를 생성하도록 구성된 크기조정기 회로 - 상기 크기조정기 회로는 상기 제1 기간 이후의 제2 기간 동안 상기 스케일링된 휘도 이미지를 크기조정함으로써, 업데이트된 스케일링된 휘도 이미지를 생성하도록 추가로 구성됨 -, 및
상기 제1 기간 동안 상기 스케일링된 휘도 이미지에 대해 컴퓨터 비전 동작을 수행하고 상기 제2 기간 동안 상기 업데이트된 스케일링된 휘도 이미지에 대해 상기 컴퓨터 비전 동작을 수행하도록 구성된 컴퓨터 비전 회로를 포함하는, 전자 디바이스.