KR102585573B1

KR102585573B1 - 콘텐츠 기반 이미지 프로세싱

Info

Publication number: KR102585573B1
Application number: KR1020227038491A
Authority: KR
Inventors: 칭 이. 호; 디. 암논 실버스타인
Original assignee: 애플 인크.
Priority date: 2020-04-13
Filing date: 2021-03-19
Publication date: 2023-10-05
Also published as: US20210319536A1; JP7387917B2; DE112021002288T5; US11488285B2; JP2024037722A; CN115428009A; KR20230141956A; WO2021211257A1; CN118247173A; US12198306B2; US20230020964A1; KR20220151713A; JP2023511226A; CN115428009B

Abstract

일부 실시예들은 이미지 내의 콘텐츠에 기초하여 이미지의 세그먼트들을 상이하게 샤프닝하는 것에 관한 것이다. 콘텐츠 기반 샤프닝은 이미지의 휘도 값들 및 콘텐츠 맵을 수신하는 콘텐츠 이미지 프로세싱 회로에 의해 수행된다. 콘텐츠 맵은 이미지의 세그먼트들 내의 콘텐츠의 카테고리들을 식별한다. 콘텐츠의 식별된 카테고리들 중 하나 이상에 기초하여, 회로는 픽셀과 연관된 콘텐츠 인자를 결정한다. 콘텐츠 인자는 또한 텍스쳐 및/또는 크로마 값들에 기초할 수 있다. 텍스쳐 값은 콘텐츠의 카테고리의 우도를 나타내고, 이미지 내의 검출된 에지들에 기초한다. 크로마 값은 콘텐츠의 카테고리의 우도를 나타내고, 이미지의 컬러 정보에 기초한다. 회로는 콘텐츠 인자를 수신하고 이를 픽셀의 휘도 값의 일정 버전에 적용하여 휘도 값의 샤프닝된 버전을 생성한다.

Description

콘텐츠 기반 이미지 프로세싱

본 개시내용은 이미지들을 프로세싱하기 위한 회로에 관한 것으로, 더 구체적으로는 이미지 내의 콘텐츠에 기초하여 이미지의 세그먼트들을 상이하게 샤프닝(sharpening)하는 것에 관한 것이다.

이미지 센서에 의해 캡처되거나 다른 데이터 소스들로부터 수신된 이미지 데이터는, 종종, 추가 프로세싱 또는 소비 전에 이미지 프로세싱 파이프라인에서 프로세싱된다. 예를 들어, 미처리 이미지 데이터는 비디오 인코더와 같은 후속 컴포넌트들에 제공되기 전에 보정, 필터링, 또는 달리 수정될 수 있다. 캡처된 이미지 데이터에 대한 보정 또는 향상을 수행하기 위해, 다양한 컴포넌트들, 단위 스테이지들 또는 모듈들이 채용될 수 있다.

그러한 이미지 프로세싱 파이프라인은 캡처된 이미지 데이터에 대한 보정 또는 향상이 다른 시스템 리소스들을 소비함이 없는 편리한 방식으로 수행될 수 있도록 구조화될 수 있다. 중앙 프로세싱 유닛(CPU) 상에서 소프트웨어 프로그램들을 실행시킴으로써 많은 이미지 프로세싱 알고리즘들이 수행될 수 있지만, CPU 상에서의 그러한 프로그램들의 실행은 CPU 및 다른 주변기기 리소스들의 상당한 대역폭을 소비할 뿐만 아니라 전력 소비를 증가시킬 것이다. 따라서, 이미지 프로세싱 파이프라인들은, 종종, CPU와는 별개인 하드웨어 컴포넌트로서 구현되고, 하나 이상의 이미지 프로세싱 알고리즘들을 수행하는 데 전용된다.

이미지 프로세싱 파이프라인들은 종종 샤프닝 또는 스무딩(smoothing) 프로세스들을 포함한다. 이러한 프로세스들은 전체 이미지에 걸쳐 균일하게 적용되는 하나 이상의 튜닝 파라미터들을 사용하여 구현된다. 이로 인해, 이미지 내의 콘텐츠의 하나 이상의 세그먼트들은 최종 이미지의 외관에 부정적인 영향을 미치는 방식으로 스무딩되거나 샤프닝될 수 있다.

유사하게, 톤 맵핑, 화이트 밸런싱, 및 노이즈 감소와 같은 다른 이미지 프로세싱 프로세스들이 또한 전체 이미지에 걸쳐 대체적으로 균일하게 적용되는 하나 이상의 튜닝 파라미터들을 사용하여 구현된다. 이로 인해, 이미지 내의 콘텐츠의 하나 이상의 세그먼트들은 최종 이미지의 외관에 부정적인 영향을 미치는 방식으로 프로세싱될 수 있다.

일부 실시예들은 이미지의 세그먼트들 내의 콘텐츠의 카테고리들을 식별하는 콘텐츠 맵을 사용하여 콘텐츠 인자(factor)를 결정하는 콘텐츠 이미지 프로세싱 회로를 포함하는 이미지 프로세서에 관한 것이다. 콘텐츠 이미지 프로세싱 회로는 콘텐츠 인자 회로 및 콘텐츠 인자 회로에 결합된 콘텐츠 수정 회로를 포함한다. 콘텐츠 인자 회로는 이미지의 픽셀과 연관된 콘텐츠 인자를, 이미지 내의 콘텐츠의 식별된 카테고리들, 및 이미지 내의 픽셀들의 텍스쳐(texture) 값들 또는 이미지 내의 픽셀들의 크로마(chroma) 값들 중 적어도 하나에 따라, 결정한다. 텍스쳐 값은 이미지 내의 텍스쳐에 기초하여 픽셀과 연관된 콘텐츠의 카테고리의 우도(likelihood)를 나타낸다. 크로마 값은 이미지의 컬러 정보에 기초하여 픽셀과 연관된 콘텐츠의 카테고리의 우도를 나타낸다. 콘텐츠 수정 회로는 콘텐츠 인자 회로로부터 콘텐츠 인자를 수신한다. 콘텐츠 수정 회로는 픽셀의 휘도 픽셀 값의 일정 버전에 적어도 콘텐츠 인자를 적용함으로써 픽셀의 휘도 픽셀 값의 샤프닝된 버전을 생성한다.

일부 실시예들에서, 콘텐츠 맵은 콘텐츠 맵을 생성하기 위해 이미지의 일정 버전에 대해 기계 학습 동작을 수행하는 뉴럴(neural) 프로세서 회로에 의해 생성된다.

일부 실시예들에서, 콘텐츠 맵은 이미지에 대해 다운스케일링(downscaling)된다. 콘텐츠 인자 회로는 콘텐츠 맵을 업샘플링(upsampling)함으로써 콘텐츠 인자를 결정할 수 있다. 콘텐츠 맵은 (1) 콘텐츠 맵 내의 그리드(grid) 포인트들과 연관된 콘텐츠 인자들을 획득하는 것, 및 (2) 콘텐츠 맵이 이미지의 크기와 매칭하도록 확대될 때 픽셀을 둘러싸는 그리드 포인트들과 연관된 콘텐츠 인자들을 보간하는 것에 의해 업샘플링될 수 있다.

일부 실시예들에서, 콘텐츠 인자는 우도 값에 따라 가중된다. 우도 값은 이미지 내의 콘텐츠의 식별된 카테고리들 중 하나, 텍스쳐 값, 및 크로마 값에 기초한다.

일부 실시예들에서, 이미지의 휘도 버전이 제1 정보와 제1 성분의 주파수 성분들보다 낮은 주파수 성분들을 포함하는 제2 정보로 분할될 때 휘도 픽셀 값들은 이미지의 제1 정보에 포함된다.

일부 실시예들에서, 이미지 프로세서는 콘텐츠 이미지 프로세싱 회로에 결합된 양방향 필터(bilateral filter)를 포함한다. 양방향 필터는 휘도 픽셀 값의 일정 버전을 생성한다.

일부 실시예들에서, 콘텐츠 수정 회로는 콘텐츠 인자가 임계치를 초과할 때 콘텐츠 인자를 휘도 픽셀 값의 일정 버전과 승산함(multiplying)으로써 휘도 픽셀 값의 일정 버전에 콘텐츠 인자를 적용한다. 콘텐츠 수정 회로는 콘텐츠 인자가 임계치 미만인 것에 응답하여 콘텐츠 인자에 기초하여 휘도 픽셀 값의 일정 버전을 블렌딩함으로써 휘도 픽셀 값의 일정 버전에 콘텐츠 인자를 적용한다.

일부 실시예들에서, 콘텐츠 맵은 콘텐츠 맵 내의 그리드 포인트들에 대응하는 이미지의 픽셀들에 적용될 샤프닝의 양을 나타내는 히트 맵(heat map)이다.

도 1은 일 실시예에 따른 전자 디바이스의 고레벨 도면이다.
도 2는 일 실시예에 따른 전자 디바이스 내의 컴포넌트들을 예시하는 블록도이다.
도 3은 일 실시예에 따른, 이미지 신호 프로세서를 사용하여 구현된 이미지 프로세싱 파이프라인들을 도시한 블록도이다.
도 4는 일 실시예에 따른, 다중 대역 노이즈 감소 회로를 포함하는 이미지 프로세싱 파이프라인의 일부분을 도시하는 블록도이다.
도 5는 일 실시예에 따른, 이미지 신호 프로세서에 콘텐츠 맵을 제공하는 뉴럴 프로세서 회로를 도시하는 블록도이다.
도 6a는 일 실시예에 따른, 뉴럴 프로세서 회로에 대한 예시적인 입력 이미지이다.
도 6b는 일 실시예에 따른, 도 6a의 입력 이미지에 기초한 콘텐츠 맵이다.
도 7은 일 실시예에 따른, 제1 콘트라스트 향상 스테이지 회로의 컴포넌트들을 도시하는 블록도이다.
도 8은 일 실시예에 따른, 콘텐츠 이미지 프로세싱 회로의 컴포넌트들을 도시하는 블록도이다.
도 9는 일 실시예에 따른, 텍스쳐 모델을 도시하는 플롯이다.
도 10은 일 실시예에 따른, 크로마 모델을 도시하는 플롯이다.
도 11은 일 실시예에 따른, 콘텐츠 맵을 업샘플링하기 위한 방법을 도시하는 도면이다.
도 12는 일 실시예에 따른, 이미지의 세그먼트들 내의 콘텐츠에 기초하여 이미지의 하나 이상의 픽셀들을 샤프닝하는 방법을 도시하는 흐름도이다.
도면들은 오로지 예시의 목적을 위해 다양한 비제한적 실시예들을 도시하고 발명을 실시하기 위한 구체적인 내용은 오로지 예시의 목적을 위해 다양한 비제한적 실시예들을 설명한다.

이제, 실시예들이 상세하게 참조될 것이며, 그 실시예들의 예들이 첨부 도면들에 예시된다. 하기의 상세한 설명에서, 많은 구체적인 상세사항들이 다양하게 설명된 실시예들의 완전한 이해를 제공하기 위해 기재된다. 그러나, 설명된 실시예들은 이러한 구체적인 세부사항들 없이 실시될 수 있다. 다른 예시들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 상세히 설명되지 않았다.

본 개시내용의 실시예들은 이미지의 세그먼트들을, 콘텐츠 맵에 의해 표시된 바와 같은 세그먼트들 내의 콘텐츠에 기초하여, 샤프닝하는 것에 관한 것이다. 이미지의 픽셀 또는 세그먼트에 대한 콘텐츠 인자는 픽셀 또는 세그먼트와 연관된 콘텐츠의 식별된 카테고리들 중 하나 이상에 기초하여 결정된다. 콘텐츠 인자는 또한 텍스쳐 값들의 세트 및/또는 크로마 값들의 세트에 기초하여 조정될 수 있다. 텍스쳐 값은 콘텐츠의 식별된 카테고리들 중 하나의 카테고리의 우도를 나타내고, 이미지에서의 텍스쳐에 기초한다. 크로마 값은 콘텐츠의 식별된 카테고리들 중 하나의 카테고리의 우도를 나타내고, 이미지의 컬러 정보에 기초한다. 콘텐츠 인자는 휘도 값의 샤프닝된 버전을 생성하기 위해 픽셀 또는 세그먼트에 적용된다.

예시적인 전자 디바이스

전자 디바이스들, 그러한 디바이스들에 대한 사용자 인터페이스들, 및 그러한 디바이스들을 사용하기 위한 연관된 프로세스들의 실시예들이 설명된다. 일부 실시예들에서, 디바이스는 PDA(personal digital assistant) 및/또는 음악 재생기 기능들과 같은 다른 기능들을 또한 포함하는 휴대용 통신 디바이스, 예컨대 모바일 전화기이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아주 쿠퍼티노 소재의 Apple Inc.로부터의 iPhone®, iPod Touch®, Apple Watch®, 및 iPad® 디바이스들을 제한 없이 포함한다. 웨어러블(wearable)들, 랩톱들 또는 태블릿 컴퓨터들과 같은 다른 휴대용 전자 디바이스들이 선택적으로 사용된다. 일부 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라, 휴대용 용도를 위해 설계되지 않은 데스크톱 컴퓨터 또는 다른 컴퓨팅 디바이스이다. 일부 실시예들에서, 개시되는 전자 디바이스는 터치 감응형 표면(예컨대, 터치 스크린 디스플레이 및/또는 터치패드)을 포함할 수 있다. 도 1과 관련하여 아래에서 설명되는 예시적인 전자 디바이스(예컨대, 디바이스(100))는 사용자 입력을 수신하기 위한 터치 감응형 표면을 포함할 수 있다. 전자 디바이스는 또한 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 디바이스들을 포함할 수 있다.

도 1은 일 실시예에 따른 전자 디바이스(100)의 고레벨 도면이다. 디바이스(100)는 "홈" 또는 메뉴 버튼(104)과 같은 하나 이상의 물리적 버튼들을 포함할 수 있다. 메뉴 버튼(104)은, 예를 들어, 디바이스(100) 상에서 실행되는 애플리케이션들의 세트 내의 임의의 애플리케이션으로 내비게이팅하는 데 사용된다. 일부 실시예들에서, 메뉴 버튼(104)은 메뉴 버튼(104) 상의 지문을 식별하는 지문 센서를 포함한다. 지문 센서는 메뉴 버튼(104) 상의 손가락이 디바이스(100)를 잠금해제하기 위해 저장된 지문과 매칭하는 지문을 갖는지의 여부를 결정하는 데 사용될 수 있다. 대안적으로, 일부 실시예들에서, 메뉴 버튼(104)은 터치 스크린 상에 디스플레이된 그래픽 사용자 인터페이스(GUI)에서 소프트 키로서 구현된다.

일부 실시예들에서, 디바이스(100)는 터치 스크린(150), 메뉴 버튼(104), 디바이스로의 전력을 공급/차단하고 디바이스를 잠그기 위한 푸시 버튼(106), 볼륨 조절 버튼들(108), 가입자 식별 모듈(Subscriber Identity Module, SIM) 카드 슬롯(110), 헤드셋 잭(112), 및 도킹/충전 외부 포트(124)를 포함한다. 푸시 버튼(106)은, 버튼을 누르고 미리 정의된 시간 간격 동안 버튼을 누른 상태로 유지함으로써 디바이스 상에서 전원을 턴 온/오프시키고; 버튼을 누르고 미리정의된 시간 간격이 경과하기 전에 버튼을 누름해제함으로써 디바이스를 잠그고/잠그거나; 디바이스를 잠금해제하거나 잠금해제 프로세스를 개시하는 데 사용될 수 있다. 대안적인 실시예에서, 디바이스(100)는 또한 마이크로폰(113)을 통해 일부 기능들의 활성화 또는 비활성화를 위한 구두 입력을 수용한다. 디바이스(100)는, 메모리(이는 하나 이상의 컴퓨터 판독가능 저장 매체들을 포함할 수 있음), 메모리 제어기, 하나 이상의 중앙 프로세싱 유닛(CPU)들, 주변기기 인터페이스, RF 회로부, 오디오 회로부, 스피커(111), 마이크로폰(113), 입출력(I/O) 서브시스템, 및 다른 입력 또는 제어 디바이스들을 포함하지만 이들로 제한되지 않는 다양한 컴포넌트들을 포함한다. 디바이스(100)는 하나 이상의 이미지 센서들(164), 하나 이상의 근접 센서들(166), 및 하나 이상의 가속도계들(168)을 포함할 수 있다. 디바이스(100)는 하나 초과의 유형의 이미지 센서들(164)을 포함할 수 있다. 각각의 유형은 하나 초과의 이미지 센서(164)를 포함할 수 있다. 예를 들어, 하나의 유형의 이미지 센서들(164)은 카메라들일 수 있고, 다른 유형의 이미지 센서들(164)은 얼굴 인식을 위해 사용될 수 있는 적외선 센서들일 수 있다. 추가적으로 또는 대안적으로, 이미지 센서들(164)은 상이한 렌즈 구성과 연관될 수 있다. 예를 들어, 디바이스(100)는 후방 이미지 센서들 - 하나는 광각 렌즈를 갖고 다른 하나는 망원 렌즈로서 가짐 - 을 포함할 수 있다. 디바이스(100)는 주변 광 센서, 도트 프로젝터 및 플러드 조명기(flood illuminator)와 같은 도 1에 도시되지 않은 컴포넌트들을 포함할 수 있다.

디바이스(100)는 전자 디바이스의 일례일 뿐이고, 디바이스(100)는 위에 열거된 것보다 더 많거나 더 적은 컴포넌트들을 가질 수 있으며, 이들 중 일부는 컴포넌트로 조합될 수 있거나 상이한 구성 또는 배열을 가질 수 있다. 위에 열거된 디바이스(100)의 다양한 컴포넌트들은, 하나 이상의 신호 처리 및/또는 주문형 집적 회로(application specific integrated circuit, ASIC)들을 비롯한, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현된다. 도 1의 컴포넌트들이 일반적으로 터치 스크린(150)과 동일한 측 상에 위치된 것으로 도시되어 있지만, 하나 이상의 컴포넌트들이 또한 디바이스(100)의 대향 측 상에 위치될 수 있다. 예를 들어, 디바이스(100)의 전면은 얼굴 인식을 위한 적외선 이미지 센서(164) 및 디바이스(100)의 전방 카메라로서 다른 이미지 센서(164)를 포함할 수 있다. 디바이스(100)의 배면은 또한 디바이스(100)의 후방 카메라들로서 추가의 2개의 이미지 센서들(164)을 포함할 수 있다.

도 2는 일 실시예에 따른, 디바이스(100) 내의 컴포넌트들을 예시하는 블록도이다. 디바이스(100)는 이미지 프로세싱을 포함하는 다양한 동작들을 수행할 수 있다. 이러한 목적 및 다른 목적들을 위해, 디바이스(100)는, 다른 컴포넌트들 중에서도, 이미지 센서(202), SOC(system-on-a chip) 컴포넌트(204), 시스템 메모리(230), 영구적 저장소(예컨대, 플래시 메모리)(228), 배향 센서(234), 및 디스플레이(216)를 포함할 수 있다. 도 2에 예시된 바와 같은 컴포넌트들은 단지 예시적인 것이다. 예를 들어, 디바이스(100)는 도 2에 예시되지 않은 다른 컴포넌트들(예컨대, 스피커 또는 마이크로폰)을 포함할 수 있다. 또한, 일부 컴포넌트들(예컨대, 배향 센서(234))은 디바이스(100)로부터 생략될 수 있다.

이미지 센서들(202)은 이미지 데이터를 캡처하기 위한 컴포넌트들이다. 이미지 센서들(202)의 각각은 예를 들어, CMOS(complementary metal-oxide-semiconductor) 능동 픽셀 센서, 카메라, 비디오 카메라, 또는 다른 디바이스들로서 구체화될 수 있다. 이미지 센서들(202)은 추가 프로세싱을 위해 SOC 컴포넌트(204)로 전송되는 미처리 이미지 데이터를 생성한다. 일부 실시예들에서, SOC 컴포넌트(204)에 의해 프로세싱된 이미지 데이터는 디스플레이(216) 상에 디스플레이되거나, 시스템 메모리(230) 및 영구적 저장소(228)에 저장되거나, 네트워크 연결을 통해 원격 컴퓨팅 디바이스로 전송된다. 이미지 센서들(202)에 의해 생성된 미처리 이미지 데이터는 베이어(Bayer) CFA(color filter array) 패턴(이하, "베이어 패턴"으로도 지칭됨)으로 있을 수 있다. 이미지 센서(202)는 또한 이미지들을 캡처하기 위해 이미지 센싱 컴포넌트들(예컨대, 픽셀들)을 돕는 광학 및 기계적 컴포넌트들을 포함할 수 있다. 광학 및 기계적 컴포넌트들은 조리개, 렌즈 시스템, 및 이미지 센서(202)의 초점 거리를 제어하는 액추에이터를 포함할 수 있다.

모션 센서(234)는 디바이스(100)의 모션을 센싱하기 위한 컴포넌트 또는 컴포넌트들의 세트이다. 모션 센서(234)는 디바이스(100)의 배향 및/또는 가속도를 나타내는 센서 신호들을 생성할 수 있다. 센서 신호들은 디바이스(100)를 턴온시키는 것 또는 디스플레이(216) 상에 디스플레이된 이미지들을 회전시키는 것과 같은 다양한 동작들을 위해 SOC 컴포넌트(204)로 전송된다.

디스플레이(216)는 SOC 컴포넌트(204)에 의해 생성된 바와 같은 이미지들을 디스플레이하기 위한 컴포넌트이다. 디스플레이(216)는, 예를 들어, 액정 디스플레이(LCD) 디바이스 또는 유기 발광 다이오드(OLED) 디바이스를 포함할 수 있다. SOC 컴포넌트(204)로부터 수신된 데이터에 기초하여, 디스플레이(116)는 메뉴들, 선택된 동작 파라미터들, 이미지 센서(202)에 의해 캡처되고 SOC 컴포넌트(204)에 의해 프로세싱된 이미지들, 및/또는 디바이스(100)의 사용자 인터페이스로부터 수신된 다른 정보(도시되지 않음)와 같은 다양한 이미지들을 디스플레이할 수 있다.

시스템 메모리(230)는 SOC 컴포넌트(204)에 의한 실행을 위한 명령어들을 저장하기 위한 그리고 SOC 컴포넌트(204)에 의해 프로세싱되는 데이터를 저장하기 위한 컴포넌트이다. 시스템 메모리(230)는, 예를 들어, 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 이중 데이터 레이트(double data rate)(DDR, DDR2, DDR3 등), 램버스 DRAM(RAMBUS DRAM, RDRAM), 정적 RAM(static RAM, SRAM), 또는 이들의 조합을 포함하는 임의의 유형의 메모리로서 구체화될 수 있다. 일부 실시예들에서, 시스템 메모리(230)는 픽셀 데이터 또는 다른 이미지 데이터 또는 통계치를 다양한 포맷들로 저장할 수 있다.

영구적 저장소(228)는 데이터를 비휘발성 방식으로 저장하기 위한 컴포넌트이다. 영구적 저장소(228)는 전력이 이용가능하지 않을 때에도 데이터를 유지한다. 영구적 저장소(228)는 판독 전용 메모리(ROM), 플래시 메모리 또는 다른 비휘발성 랜덤 액세스 메모리 디바이스들로서 구체화될 수 있다. 영구적 저장소(228)는 디바이스(100)의 운영 체제 및 다양한 소프트웨어 애플리케이션들을 저장한다. 영구적 저장소(228)는 또한 회귀 모델들, 랜덤 포레스트 모델(random forest model)들과 같은 하나 이상의 기계 학습 모델들, 커널 SVM(support vector machine)들과 같은 SVM들, 및 콘볼루션 뉴럴 네트워크(CNN)들, 순환 뉴럴 네트워크(RNN)들과 같은 인공 뉴럴 네트워크(ANN)들, 자동인코더, 및 장단기 메모리(long short term memory, LSTM)를 저장할 수 있다. 기계 학습 모델은 뉴럴 프로세서 회로(218) 및 디바이스(100)의 다양한 소프트웨어 애플리케이션들 또는 센서들과 함께 작동하는 독립적인 모델일 수 있다. 기계 학습 모델은 또한 소프트웨어 애플리케이션의 일부일 수 있다. 기계 학습 모델들은 얼굴 인식, 이미지 분류, 객체, 개념, 및 정보 분류, 스피치 인식, 기계 변환, 음성 인식, 음성 명령 인식, 텍스트 인식, 텍스트 및 콘텍스트 분석, 다른 자연 언어 프로세싱, 예측, 및 추천과 같은 다양한 태스크(task)들을 수행할 수 있다.

디바이스(100)에 저장된 다양한 기계 학습 모델들은 완전히 훈련되거나, 훈련되지 않거나, 또는 부분적으로 훈련되어, 디바이스(100)가 사용됨에 따라, 디바이스(100)가 기계 학습 모델들을 보강하거나 계속해서 훈련하는 것을 허용할 수 있다. 기계 학습 모델들의 동작들은 모델들을 훈련시키고 모델들을 사용하여 런타임 내에 결과를 결정하는 데 사용되는 다양한 계산을 포함한다. 예를 들어, 하나의 사례에서, 디바이스(100)는 사용자의 얼굴 이미지들을 캡처하고 이미지들을 사용하여 디바이스(100)를 잠금 또는 잠금해제하는 데 사용되는 기계 학습 모델을 계속해서 개선한다.

SOC 컴포넌트(204)는 하나 이상의 집적 회로(IC) 칩으로서 구체화되고, 다양한 데이터 프로세싱 프로세스들을 수행한다. SOC 컴포넌트(204)는, 다른 서브컴포넌트들 중에서도, 이미지 신호 프로세서(image signal processor, ISP)(206), 중앙 프로세서 유닛(CPU)(208), 네트워크 인터페이스(210), 모션 센서 인터페이스(212), 디스플레이 제어기(214), 그래픽 프로세서(graphics processor, GPU)(220), 메모리 제어기(222), 비디오 인코더(224), 저장소 제어기(226), 뉴럴 프로세서 회로(218), 및 이러한 서브컴포넌트들을 연결시키는 버스(232)를 포함할 수 있다. SOC 컴포넌트(204)는 도 2에 도시된 것들보다 더 많거나 더 적은 서브컴포넌트들을 포함할 수 있다.

ISP(206)는 이미지 프로세싱 파이프라인의 다양한 스테이지들을 수행하는 회로이다. 일부 실시예들에서, ISP(206)는 이미지 센서(202)로부터 미처리 이미지 데이터를 수신할 수 있고, 미처리 이미지 데이터를, 디바이스(100)의 컴포넌트들 또는 SOC 컴포넌트(204)의 다른 서브컴포넌트들에 의해 사용가능한 형태로 프로세싱할 수 있다. ISP(206)는 이미지 변환 동작들, 수평 및 수직 스케일링, 컬러 공간 변환 및/또는 이미지 안정화 변환들과 같은 다양한 이미지 조작 동작들을 수행할 수 있는데, 이는 도 3을 참조하여 아래에서 상세히 기술되는 바와 같다.

CPU(208)는 임의의 적합한 명령어 세트 아키텍처(instruction set architecture, ISA)를 사용하여 구체화될 수 있고, 그 명령어 세트 아키텍처 내에 정의된 명령어들을 실행시키도록 구성될 수 있다. CPU(208)는 다양한 명령어 세트 아키텍처(ISA)들 중 임의의 것, 예컨대 x86, PowerPC, SPARC, RISC, ARM 또는 MIPS ISA들, 또는 임의의 다른 적합한 ISA를 사용하는 범용 또는 임베디드 프로세서(embedded processor)들일 수 있다. 도 2에 단일 CPU가 도시되어 있지만, SOC 컴포넌트(204)는 다수의 CPU들을 포함할 수 있다. 다중프로세서 시스템들에서, CPU들 각각은 보편적으로는 동일한 ISA를 구현할 수 있지만 반드시 그러한 것은 아니다.

그래픽 프로세싱 유닛(GPU)(220)은 그래픽 데이터에 대한 동작들을 수행하기 위한 그래픽 프로세싱 회로부이다. 예를 들어, GPU(220)는 프레임 버퍼(예컨대, 전체 프레임에 대한 픽셀 데이터를 포함하는 것) 내에 디스플레이될 객체들을 렌더링(rendering)할 수 있다. GPU(220)는 그래픽 동작의 일부 또는 전부, 또는 소정 그래픽 동작들의 하드웨어 가속을 수행하도록 그래픽 소프트웨어를 실행시킬 수 있는 하나 이상의 그래픽 프로세서들을 포함할 수 있다.

뉴럴 프로세서 회로(218)는 뉴럴 프로세서 회로(218)의 입력 데이터에 대해 기계 학습 동작들을 수행하는 프로그래밍가능 회로이다. 기계 학습 동작들은 기계 학습 모델의 훈련을 위한 그리고 훈련된 기계 학습 모델에 기초하여 추론 또는 예측을 수행하기 위한 상이한 계산들을 포함할 수 있다. 뉴럴 프로세서 회로(218)는 승산, 가산, 및 누산을 포함하는 계산에 기초하여 다양한 기계 학습 동작들을 수행하는 회로이다. 이러한 계산은 예를 들어, 입력 데이터와 커널 데이터의 텐서 곱(tensor product) 및 콘볼루션과 같은 다양한 유형들의 텐서 승산들을 수행하도록 배열될 수 있다. 뉴럴 프로세서 회로(218)는 CPU(208)로부터 뉴럴 네트워크 동작들과 연관된 자원-집약적 동작들을 완화시키면서 고속 및 전력-효율적인 방식으로 이들 동작들을 수행하는 구성가능 회로이다. 뉴럴 프로세서 회로(218)는 센서 인터페이스(212), 이미지 신호 프로세서(206), 영구적 저장소(228), 시스템 메모리(230), 또는 다른 소스들, 이를테면 네트워크 인터페이스(210) 또는 GPU(220)로부터 입력 데이터를 수신할 수 있다. 뉴럴 프로세서 회로(218)의 출력은, 다양한 동작들을 위해, 디바이스(100)의 다양한 컴포넌트들, 이를테면, 이미지 신호 프로세서(206), 시스템 메모리(230), 또는 CPU(208)에 제공될 수 있다.

네트워크 인터페이스(210)는 하나 이상의 네트워크들(예컨대, 캐리어 또는 에이전트 디바이스들)을 통해 데이터가 디바이스들(100)과 다른 디바이스들 사이에서 교환될 수 있게 하는 서브컴포넌트이다. 예를 들어, 비디오 또는 다른 이미지 데이터는 네트워크 인터페이스(210)를 통해 다른 디바이스들로부터 수신될 수 있고, (예컨대, 도 3에서 아래에서 논의되는 바와 같은, 이미지 신호 프로세서(206)에 대한 백엔드 인터페이스를 통한) 후속 프로세싱 및 디스플레이를 위해 시스템 메모리(230)에 저장될 수 있다. 네트워크들은 근거리 통신망(Local Area Network, LAN)들(예컨대, 이더넷(Ethernet) 또는 기업 네트워크(corporate network)) 및 광역 통신망(WAN)들을 포함할 수 있지만, 이들로 제한되지 않는다. 네트워크 인터페이스(210)를 통해 수신된 이미지 데이터는 ISP(206)에 의해 이미지 프로세싱 프로세스들을 겪을 수 있다.

모션 센서 인터페이스(212)는 모션 센서(234)와 인터페이싱하기 위한 회로부이다. 모션 센서 인터페이스(212)는 모션 센서(234)로부터 센서 정보를 수신하고, 센서 정보를 프로세싱하여 디바이스(100)의 배향 또는 이동을 결정한다.

디스플레이 제어기(214)는 디스플레이(216) 상에 디스플레이될 이미지 데이터를 전송하기 위한 회로부이다. 디스플레이 제어기(214)는 ISP(206), CPU(208), 그래픽 프로세서 또는 시스템 메모리(230)로부터 이미지 데이터를 수신하고, 이미지 데이터를 디스플레이(216) 상에 디스플레이하기에 적합한 포맷으로 프로세싱한다.

메모리 제어기(222)는 시스템 메모리(230)와 통신하기 위한 회로부이다. 메모리 제어기(222)는 ISP(206), CPU(208), GPU(220) 또는 SOC 컴포넌트(204)의 다른 서브컴포넌트들에 의한 프로세싱을 위해 시스템 메모리(230)로부터 데이터를 판독할 수 있다. 메모리 제어기(222)는, 또한, SOC 컴포넌트(204)의 다양한 서브컴포넌트들로부터 수신된 데이터를 시스템 메모리(230)에 기록할 수 있다.

비디오 인코더(224)는, 영구적 저장소(128)에 저장하기에 적합한 포맷으로 비디오 데이터를 인코딩하기 위한, 또는 네트워크를 통한 다른 디바이스로의 송신을 위해 데이터를 네트워크 인터페이스(w10)에 전달하기 위한 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합이다.

일부 실시예들에서, SOC 컴포넌트(204)의 하나 이상의 서브컴포넌트들 또는 이러한 서브컴포넌트들의 일부 기능은 뉴럴 프로세서 회로(218), ISP(206), CPU(208) 또는 GPU(220) 상에서 실행되는 소프트웨어 컴포넌트들에 의해 수행될 수 있다. 그러한 소프트웨어 컴포넌트들은 시스템 메모리(230), 영구적 저장소(228), 또는 네트워크 인터페이스(210)를 통해 디바이스(100)와 통신하는 다른 디바이스에 저장될 수 있다.

이미지 데이터 또는 비디오 데이터는 SOC 컴포넌트(204) 내의 다양한 데이터 경로들을 통해 흐를 수 있다. 일례에서, 미처리 이미지 데이터는 이미지 센서들(202)로부터 생성되어 ISP(206)에 의해 프로세싱될 수 있고, 이어서, 버스(232) 및 메모리 제어기(222)를 통해 시스템 메모리(230)로 전송될 수 있다. 이미지 데이터가 시스템 메모리(230)에 저장된 후에, 그것은 인코딩을 위해서는 비디오 인코더(224)에 의해 또는 디스플레이를 위해서는 디스플레이(116)에 의해, 버스(232)를 통해 액세스될 수 있다.

다른 예에서, 이미지 데이터는 이미지 센서들(202) 이외의 소스들로부터 수신된다. 예를 들어, 비디오 데이터는 유선 또는 무선 네트워크를 통해 SOC 컴포넌트(204)에 스트리밍, 다운로드, 또는 달리 통신될 수 있다. 이미지 데이터는 네트워크 인터페이스(210)를 통해 수신되어 메모리 제어기(222)를 통해 시스템 메모리(230)에 기록될 수 있다. 이미지 데이터는, 이어서, 도 3을 참조하여 아래에서 상세히 기술되는 바와 같이, ISP(206)에 의해 시스템 메모리(230)로부터 획득될 수 있고, 하나 이상의 이미지 프로세싱 파이프라인 스테이지들을 통해 프로세싱될 수 있다. 이미지 데이터는, 이어서, 시스템 메모리(230)로 반환될 수 있거나, 또는 비디오 인코더(224)로, (디스플레이(216) 상에서의 디스플레이를 위해) 디스플레이 제어기(214)로, 또는 영구적 저장소(228)에서의 저장을 위해 저장소 제어기(226)로 전송될 수 있다.

예시적인 이미지 신호 프로세싱 파이프라인들

도 3은 일 실시예에 따른, ISP(206)를 사용하여 구현된 이미지 프로세싱 파이프라인들을 도시한 블록도이다. 도 3의 실시예에서, ISP(206)는 미처리 이미지 데이터를 수신하기 위해 하나 이상의 이미지 센서들(202A 내지 202N)(이하에서 집합적으로 "이미지 센서들(202)"로 지칭되거나 또한 "이미지 센서(202)"로 개별적으로 지칭됨)을 포함하는 이미지 센서 시스템(201)에 결합된다. 이미지 센서 시스템(201)은 이미지 센서들(202)을 개별적으로 제어하는 하나 이상의 서브시스템들을 포함할 수 있다. 일부 경우들에, 각각의 이미지 센서(202)는 독립적으로 동작할 수 있는 반면, 다른 경우들에, 이미지 센서들(202)은 일부 컴포넌트들을 공유할 수 있다. 예를 들어, 일 실시예에서, 2개 이상의 이미지 센서들(202)이 이미지 센서들의 기계적 컴포넌트들(예컨대, 각각의 이미지 센서의 초점 거리들을 변화시키는 액추에이터들)을 제어하는 동일한 회로 보드를 공유할 수 있다. 이미지 센서(202)의 이미지 센싱 컴포넌트들은 상이한 형태들로 ISP(206)에 미처리 이미지 데이터를 제공할 수 있는 상이한 유형들의 이미지 센싱 컴포넌트들을 포함할 수 있다. 예를 들어, 일 실시예에서, 이미지 센싱 컴포넌트들은 오토포커싱을 위해 사용되는 복수의 포커스 픽셀들 및 이미지들을 캡처하는 데 사용되는 복수의 이미지 픽셀들을 포함할 수 있다. 다른 실시예에서, 이미지 센싱 픽셀들은 오토포커싱 및 이미지 캡처 목적들 둘 모두에 사용될 수 있다.

ISP(206)는 생성, 캡처, 또는 수신으로부터 출력까지 이미지 정보를 프로세싱하는 스테이지들의 세트를 포함할 수 있는 이미지 프로세싱 파이프라인을 구현한다. ISP(206)는, 다른 컴포넌트들 중에서도, 센서 인터페이스(302), 중앙 제어부(320), 프론트엔드 파이프라인 스테이지들(330), 백엔드 파이프라인 스테이지들(340), 이미지 통계 모듈(304), 스케일러(scaler)(322), 백엔드 인터페이스(342), 출력 인터페이스(316), 및 오토포커스 회로들(350A 내지 350N)(이하에서 집합적으로 "오토포커스 회로들(350)"로 지칭되거나 개별적으로 "오토포커스 회로들(350)"로 지칭됨)을 포함할 수 있다. ISP(206)는 도 3에 도시되지 않은 다른 컴포넌트들을 포함할 수 있거나, 또는 도 3에 도시된 하나 이상의 컴포넌트들을 생략할 수 있다.

하나 이상의 실시예들에서, ISP(206)의 상이한 컴포넌트들은 상이한 레이트들로 이미지 데이터를 프로세싱한다. 도 3의 실시예에서, 프론트엔드 파이프라인 스테이지들(330)(예컨대, 미처리 프로세싱 스테이지(306) 및 리샘플(resample) 프로세싱 스테이지(308))은 초기 레이트로 이미지 데이터를 프로세싱할 수 있다. 따라서, 다양한 상이한 기법들, 조정들, 수정들, 또는 다른 프로세싱 동작들이 이러한 프론트엔드 파이프라인 스테이지들(330)에 의해 초기 레이트로 수행된다. 예를 들어, 프론트엔드 파이프라인 스테이지들(330)이 2 픽셀/클록 사이클로 프로세싱하는 경우, 이후에 미처리 프로세싱 스테이지(306)의 동작들(예컨대, 블랙 레벨 보상(black level compensation), 하이라이트 복원, 및 결함 픽셀 보정)은 한 번에 2 픽셀의 이미지 데이터를 프로세싱할 수 있다. 대조적으로, 하나 이상의 백엔드 파이프라인 스테이지들(340)은 초기 데이터 레이트보다 작은 상이한 레이트로 이미지 데이터를 프로세싱할 수 있다. 예를 들어, 도 3의 실시예에서, 백엔드 파이프라인 스테이지들(340)(예컨대, 노이즈 프로세싱 스테이지(310), 컬러 프로세싱 스테이지(312), 및 출력 리스케일(output rescale)(314))은 감소된 레이트(예컨대, 1 픽셀/클록 사이클)로 프로세싱될 수 있다.

이미지 센서들(202)에 의해 캡처된 미처리 이미지 데이터는 상이한 방식들로 ISP(206)의 상이한 컴포넌트들로 전송될 수 있다. 일 실시예에서, 포커스 픽셀들에 대응하는 미처리 이미지 데이터가 오토포커스 회로들(350)로 전송될 수 있는 반면, 이미지 픽셀들에 대응하는 미처리 이미지 데이터는 센서 인터페이스(302)로 전송될 수 있다. 다른 실시예에서, 두 유형의 픽셀들에 대응하는 미처리 이미지 데이터는 오토포커스 회로들(350) 및 센서 인터페이스(302) 둘 모두로 동시에 전송될 수 있다.

오토포커스 회로들(350)은 각각의 이미지 센서(202)의 적절한 초점 거리를 결정하기 위해 미처리 이미지 데이터를 분석하는 하드웨어 회로를 포함할 수 있다. 일 실시예에서, 미처리 이미지 데이터는 이미지 포커싱에 특화되는 이미지 센싱 픽셀들로부터 송신되는 데이터를 포함할 수 있다, 다른 실시예에서, 이미지 캡처 픽셀들로부터의 미처리 이미지 데이터가 또한 오토포커싱 목적을 위해 사용될 수 있다. 오토포커스 회로(350)는 적절한 초점 거리를 결정하는 데이터를 생성하기 위해 다양한 이미지 프로세싱 동작들을 수행할 수 있다. 이미지 프로세싱 동작들은 오토포커싱 목적으로 사용되는 데이터를 생성하기 위해 크로핑(cropping), 비닝(binning), 이미지 보상, 스케일링(scaling)을 포함할 수 있다. 오토포커스 회로들(350)에 의해 생성된 오토포커싱 데이터는 이미지 센서 시스템(201)에 피드백되어 이미지 센서들(202)의 초점 거리들을 제어할 수 있다. 예를 들어, 이미지 센서(202)는 오토포커싱 데이터를 분석하여 이미지 센서의 렌즈 시스템과 연관된 액추에이터로 전송되는 커맨드 신호를 결정하여 이미지 센서의 초점 거리를 변화시키는 제어 회로를 포함할 수 있다. 오토포커스 회로들(350)에 의해 생성된 데이터는 또한 다른 이미지 프로세싱 목적들을 위해 ISP(206)의 다른 컴포넌트들로 전송될 수 있다. 예를 들어, 데이터의 일부는 이미지 통계(304)로 전송되어 오토익스포져에 관한 정보를 결정할 수 있다.

오토포커스 회로들(350)은 이미지 통계(304), 센서 인터페이스(302), 프론트엔드(330) 및 백엔드(340)와 같은 다른 컴포넌트들과는 별개인 개별 회로들일 수 있다. 이것은 ISP(206)가 다른 이미지 프로세싱 파이프라인들과는 독립적인 오토포커싱 분석을 수행할 수 있게 한다. 예를 들어, ISP(206)는 이미지 센서(202A)로부터의 미처리 이미지 데이터를 분석하여, 오토포커스 회로(350A)를 사용하여 이미지 센서(202A)의 초점 거리를 조정하면서, 동시에 이미지 센서(202B)로부터의 이미지 데이터의 다운스트림 이미지 프로세싱을 수행할 수 있다. 일 실시예에서, 오토포커스 회로들(350)의 수는 이미지 센서들(202)의 수에 대응할 수 있다. 다시 말하면, 각각의 이미지 센서(202)는 이미지 센서(202)의 오토포커싱에 전용되는 대응하는 오토포커스 회로를 가질 수 있다. 디바이스(100)는 하나 이상의 이미지 센서들(202)이 활성 사용 중이 아니더라도 상이한 이미지 센서들(202)에 대한 오토포커싱을 수행할 수 있다. 이는 디바이스(100)가 하나의 이미지 센서(202)로부터 다른 것으로 스위칭할 때 2 개의 이미지 센서들(202)사이의 이음매 없는 전환을 허용한다. 예를 들어, 일 실시예에서, 디바이스(100)는 광각 카메라 및 망원 카메라를 사진 및 이미지 프로세싱을 위한 듀얼 백 카메라 시스템으로서 포함할 수 있다. 디바이스(100)는 듀얼 카메라들 중 하나에 의해 캡처된 이미지들을 디스플레이할 수 있고, 때때로 2개의 카메라들 사이에서 스위칭할 수 있다. 2개 이상의 오토포커스 회로들(350)이 오토포커스 데이터를 이미지 센서 시스템(201)에 연속적으로 제공할 수 있기 때문에, 디스플레이된 이미지들은, 제2 이미지 센서(202)가 그의 초점 거리를 조정하기를 기다리지 않고 하나의 이미지 센서(202)에 의해 캡처된 이미지 데이터로부터 다른 이미지 센서에 의해 캡처된 이미지 데이터로 이음매 없는 전환을 할 수 있다.

상이한 이미지 센서들(202)에 의해 캡처된 미처리 이미지 데이터는 또한 센서 인터페이스(302)로 전송될 수 있다. 센서 인터페이스(302)는 이미지 센서(202)로부터 미처리 이미지 데이터를 수신하고, 그 미처리 이미지 데이터를 파이프라인 내의 다른 스테이지들에 의해 프로세싱가능한 이미지 데이터로 프로세싱한다. 센서 인터페이스(302)는 이미지 데이터 크기를 감소시키기 위해 이미지 크로핑, 비닝 또는 스케일링과 같은 다양한 사전프로세싱 동작들을 수행할 수 있다. 일부 실시예들에서, 픽셀들은 래스터 순서(raster order)로(즉, 수평으로, 라인별로) 이미지 센서(202)로부터 센서 인터페이스(302)로 전송된다. 파이프라인에서의 후속 프로세스들은 또한 래스터 순서로 수행될 수 있고, 그 결과도 또한 래스터 순서로 출력될 수 있다. 단일 이미지 센서 및 단일 센서 인터페이스(302)만이 도 3에 도시되어 있지만, 하나 초과의 이미지 센서가 디바이스(100)에 제공될 때, 대응하는 수의 센서 인터페이스들이 ISP(206)에 제공되어 각각의 이미지 센서로부터의 미처리 이미지 데이터를 프로세싱하게 할 수 있다.

프론트엔드 파이프라인 스테이지들(330)은 이미지 데이터를 미처리 또는 풀-컬러 도메인들에서 프로세싱한다. 프론트엔드 파이프라인 스테이지들(330)은 미처리 프로세싱 스테이지(306) 및 리샘플 프로세싱 스테이지(308)를 포함할 수 있지만, 이들로 제한되지 않는다. 미처리 이미지 데이터는, 예를 들어, 베이어 미처리 포맷으로 있을 수 있다. 베이어 미처리 이미지 포맷에서, (모든 컬러들 대신에) 특정 컬러에 특정적인 값들을 갖는 픽셀 데이터가 각각의 픽셀에 제공된다. 이미지 캡처 센서에서, 이미지 데이터는 전형적으로 베이어 패턴으로 제공된다. 미처리 프로세싱 스테이지(306)는 이미지 데이터를 베이어 미처리 포맷으로 프로세싱할 수 있다.

미처리 프로세싱 스테이지(306)에 의해 수행되는 동작들은 센서 선형화, 블랙 레벨 보상, 고정 패턴 노이즈 감소, 결함 픽셀 보정, 미처리 노이즈 필터링, 렌즈 셰이딩 보정(lens shading correction), 화이트 밸런스 이득, 및 하이라이트 복원을 포함하지만, 이들로 제한되지 않는다. 센서 선형화는 다른 프로세싱을 위해 비선형 이미지 데이터를 선형 공간에 맵핑하는 것을 지칭한다. 블랙 레벨 보상은 이미지 데이터의 각각의 컬러 컴포넌트(예컨대, Gr, R, B, Gb)에 대해 독립적으로 디지털 이득, 오프셋 및 클립을 제공하는 것을 지칭한다. 고정 패턴 노이즈 감소는, 입력 이미지로부터 다크 프레임을 감산하고 상이한 이득들을 픽셀들에 승산함으로써 오프셋 고정 패턴 노이즈 및 이득 고정 패턴 노이즈를 제거하는 것을 지칭한다. 결함 픽셀 보정은 결함 픽셀들을 검출하는 것, 및 이어서 결함 픽셀 값들을 대체시키는 것을 지칭한다. 미처리 노이즈 필터링은 밝기(brightness)가 유사한 이웃 픽셀들을 평균화함으로써 이미지 데이터의 노이즈를 감소시키는 것을 지칭한다. 하이라이트 복원은 다른 채널들로부터 클리핑된(또는 거의 클리핑된) 그러한 픽셀들에 대한 픽셀 값들을 추정하는 것을 지칭한다. 렌즈 셰이딩 보정은 렌즈 광학 중심으로부터의 거리에 대략적으로 비례하는 세기의 드롭오프(dropoff)를 보상하도록 픽셀별 이득을 적용하는 것을 지칭한다. 화이트 밸런스 이득은 모든 컬러 컴포넌트들(예컨대, 베이어 포맷의 Gr, R, B, Gb)에 대하여 독립적으로 화이트 밸런스, 오프셋 및 클립에 대한 디지털 이득들을 제공하는 것을 지칭한다. ISP(206)의 컴포넌트들은 미처리 이미지 데이터를 풀-컬러 도메인 내의 이미지 데이터로 변환할 수 있고, 따라서, 미처리 프로세싱 스테이지(306)는, 미처리 이미지 데이터에 더하여 또는 그 대신에, 풀-컬러 도메인 내의 이미지 데이터를 프로세싱할 수 있다.

리샘플 프로세싱 스테이지(308)는 미처리 프로세싱 스테이지(306)로부터 수신된 이미지 데이터를 변환, 리샘플링, 또는 스케일링하기 위한 다양한 동작들을 수행한다. 리샘플 프로세싱 스테이지(308)에 의해 수행되는 동작들은, 디모자이크(demosaic) 동작, 픽셀별 컬러 보정 동작, 감마 맵핑 동작, 컬러 공간 변환 및 다운스케일링 또는 서브-대역 분할을 포함할 수 있지만, 이들로 제한되지 않는다. 디모자이크 동작은 누락된 컬러 샘플들을 (예를 들어, 베이어 패턴의) 미처리 이미지 데이터로부터 풀-컬러 도메인 내로의 출력 이미지 데이터로 변환 또는 보간하는 것을 지칭한다. 디모자이크 동작은 풀-컬러 픽셀들을 획득하기 위한, 보간된 샘플들에 대한 저역 통과 지향성 필터링을 포함할 수 있다. 픽셀별 컬러 보정 동작은, 각각의 컬러 채널의 상대적 노이즈 표준 편차들에 관한 정보를 이용하여 픽셀 단위로 컬러 보정을 수행하여 이미지 데이터 내의 노이즈를 증폭시킴이 없이 컬러를 보정하는 프로세스를 지칭한다. 감마 맵핑은 감마 보정을 수행하기 위해 입력 이미지 데이터 값들로부터의 이미지 데이터를 출력 데이터 값들로 변환하는 것을 지칭한다. 감마 맵핑의 목적을 위해, 각각의 픽셀의 채널들 또는 상이한 컬러 컴포넌트들에 대한 룩업 테이블들(또는 픽셀 값들을 다른 값으로 인덱싱하는 다른 구조물들)(예컨대, R, G, 및 B 컬러 컴포넌트들에 대한 개별적인 룩업 테이블)이 사용될 수 있다. 컬러 공간 변환은 입력 이미지 데이터의 컬러 공간을 상이한 포맷으로 변환하는 것을 지칭한다. 일 실시예에서, 리샘플 프로세싱 스테이지(308)는 추가 프로세싱을 위해 RGG 포맷을 YCbCr 포맷으로 변환한다. 다른 실시예에서, 리샘플 프로세싱 스테이지(308)는 추가 프로세싱을 위해 RBD 포맷을 RGB 포맷으로 변환한다.

중앙 제어 모듈(320)은 ISP(206) 내의 다른 컴포넌트들의 전체 동작을 제어 및 조정할 수 있다. 중앙 제어 모듈(320)은, 다양한 동작 파라미터들(예컨대, 로깅 클록 사이클들, 메모리 레이턴시, 서비스 품질, 및 상태 정보)을 모니터링하는 것, ISP(206)의 다른 컴포넌트들에 대한 제어 파라미터들을 업데이트 또는 관리하는 것, 및 센서 인터페이스(302)와 인터페이싱하여 ISP(206)의 다른 컴포넌트들의 시작 및 중지를 제어하는 것을 포함하지만 이들로 제한되지 않는 동작들을 수행한다. 예를 들어, 중앙 제어 모듈(320)은 ISP(206) 내의 다른 컴포넌트들에 대한 프로그래밍가능 파라미터들을 업데이트할 수 있는 반면, 다른 컴포넌트들은 유휴 상태에 있다. 프로그래밍가능 파라미터들을 업데이트한 후, 중앙 제어 모듈(320)은 ISP(206)의 이러한 컴포넌트들을 실행 상태에 놓아서 하나 이상의 동작들 또는 태스크들을 수행할 수 있다. 중앙 제어 모듈(320)은, 또한, 리샘플 프로세싱 스테이지(308) 이전에, 그 동안에, 또는 그 이후에 (예컨대, 도 2에서의 시스템 메모리(230)에 기록함으로써) 이미지 데이터를 저장할 것을 ISP(206)의 다른 컴포넌트들에게 명령할 수 있다. 이러한 방식으로, 백-엔드 파이프라인 스테이지들(340)을 통해 리샘플 프로세싱 스테이지(308)로부터 출력된 이미지 데이터를 프로세싱하는 것에 더하여 또는 그 대신에, 미처리 또는 풀-컬러 도메인 포맷의 풀-해상도 이미지 데이터가 저장될 수 있다.

이미지 통계 모듈(304)은 이미지 데이터와 연관된 통계 정보를 수집하기 위해 다양한 동작들을 수행한다. 통계 정보를 수집하기 위한 동작들은 센서 선형화, 패턴화된 결함 픽셀들의 교체, 미처리 이미지 데이터의 서브샘플링, 패턴화되지 않은 결함 픽셀들의 검출 및 대체, 블랙 레벨 보상, 렌즈 셰이딩 보정, 및 블랙 레벨 역보상을 포함할 수 있지만, 이들로 제한되지 않는다. 그러한 동작들 중 하나 이상을 수행한 후, 3A 통계치(AWB(Auto white balance), AE(auto exposure)), 히스토그램들(예컨대, 2D 컬러 또는 성분) 및 임의의 다른 이미지 데이터 정보와 같은 통계 정보가 수집 또는 추적될 수 있다. 일부 실시예들에서, 특정 픽셀들의 값들, 또는 픽셀 값들의 영역들은 선행 동작들이 클리핑된 픽셀들을 식별할 때 특정 통계 데이터의 수집으로부터 배제될 수 있다. 단일 통계 모듈(304)만이 도 3에 도시되어 있지만, 다수의 이미지 통계 모듈들이 ISP(206)에 포함될 수 있다. 예를 들어, 각각의 이미지 센서(202)는 개별 이미지 통계 유닛(304)에 대응할 수 있다. 그러한 실시예들에서, 각각의 통계 모듈은 동일한 또는 상이한 이미지 데이터에 대한 상이한 정보를 수집하도록 중앙 제어 모듈(320)에 의해 프로그래밍될 수 있다.

스케일러(322)는 이미지 데이터를 수신하고, 이미지의 다운스케일링된 버전을 생성한다. 따라서, 스케일러(322)는 뉴럴 프로세서 회로(218)와 같은 다양한 컴포넌트들에 감소된 해상도 이미지들을 제공할 수 있다. 스케일러(322)가 도 3의 미처리 프로세싱 스테이지(306)에 결합되는 한편, 스케일러(322)는 이미지 신호 프로세서(206)의 다른 컴포넌트들로부터 입력 이미지를 수신하도록 결합될 수 있다.

백엔드 인터페이스(342)는 이미지 센서(102) 이외의 다른 이미지 소스들로부터 이미지 데이터를 수신하고, 이를, 프로세싱을 위해 ISP(206)의 다른 컴포넌트들로 전달한다. 예를 들어, 이미지 데이터는 네트워크 접속을 통해 수신될 수 있고 시스템 메모리(230)에 저장될 수 있다. 백엔드 인터페이스(342)는 시스템 메모리(230)에 저장된 이미지 데이터를 검색하고, 이를, 프로세싱을 위해, 백엔드 파이프라인 스테이지들(340)에 제공한다. 백엔드 인터페이스(342)에 의해 수행되는 많은 동작들 중 하나는 검색된 이미지 데이터를 백엔드 프로세싱 스테이지들(340)에 의해 활용될 수 있는 포맷으로 변환하는 것이다. 예컨대, 백엔드 인터페이스(342)는 RGB, YCbCr 4:2:0, 또는 YCbCr 4:2:2 포맷화된 이미지 데이터를 YCbCr 4:4:4 컬러 포맷으로 변환할 수 있다.

백엔드 파이프라인 스테이지들(340)은 특정 풀-컬러 포맷(예컨대, YCbCr 4:4:4 또는 RGB)에 따라 이미지 데이터를 프로세싱한다. 일부 실시예들에서, 백엔드 파이프라인 스테이지들(340)의 컴포넌트들은 추가 프로세싱 전에 이미지 데이터를 특정 풀-컬러 포맷으로 변환할 수 있다. 백엔드 파이프라인 스테이지들(340)은, 다른 스테이지들 중에서도, 노이즈 프로세싱 스테이지(310) 및 컬러 프로세싱 스테이지(312)를 포함할 수 있다. 백엔드 파이프라인 스테이지들(340)은 도 3에 도시되지 않은 다른 스테이지들을 포함할 수 있다.

노이즈 프로세싱 스테이지(310)는 이미지 데이터에서의 노이즈를 감소시키기 위해 다양한 동작들을 수행한다. 노이즈 프로세싱 스테이지(310)에 의해 수행되는 동작들은 컬러 공간 변환, 감마/디-감마 맵핑, 시간적 필터링, 노이즈 필터링, 루마 샤프닝, 및 크로마 노이즈 감소를 포함하지만, 이들로 제한되지 않는다. 컬러 공간 변환은 이미지 데이터를 하나의 컬러 공간 포맷으로부터 다른 컬러 공간 포맷으로 변환할 수 있다(예컨대, RGB 포맷이 YCbCr 포맷으로 변환됨). 감마/디-감마 동작은 이미지 데이터를 입력 이미지 데이터 값들로부터 출력 데이터 값들로 변환하여 감마 보정 또는 역 감마 보정을 수행한다. 시간적 필터링은 이전에 필터링된 이미지 프레임을 사용하여 노이즈를 필터링하여, 노이즈를 감소시킨다. 예를 들어, 이전 이미지 프레임의 픽셀 값들은 현재 이미지 프레임의 픽셀 값들과 조합된다. 노이즈 필터링은, 예를 들어, 공간 노이즈 필터링을 포함할 수 있다. 루마 샤프닝은 픽셀 데이터의 루마 값들을 샤프닝할 수 있는 반면, 크로마 억제는 크로마를 회색으로(예컨대 컬러 없이) 감쇠시킬 수 있다. 일부 실시예에서, 루마 샤프닝 및 크로마 억제는 공간 노이즈 필터링과 동시에 수행될 수 있다. 노이즈 필터링의 공격성(aggressiveness)은 이미지의 상이한 영역들에 대해 상이하게 결정될 수 있다. 공간적 노이즈 필터링은 시간적 필터링을 구현하는 시간적 루프의 일부로서 포함될 수 있다. 예를 들어, 이전 이미지 프레임은 다음 이미지 프레임이 프로세싱되도록 기준 프레임으로서 저장되기 전에 시간적 필터 및 공간적 노이즈 필터에 의해 프로세싱될 수 있다. 다른 실시예들에서, 공간적 노이즈 필터링은 시간적 필터링을 위한 시간적 루프의 일부로서 포함되지 않을 수 있다(예컨대, 공간적 노이즈 필터는 이미지 프레임이 기준 이미지 프레임으로서 저장된 이후에 그 이미지 프레임에 적용될 수 있고, 따라서, 기준 프레임은 공간적으로 필터링되지 않음).

컬러 프로세싱 스테이지(312)는 이미지 데이터에서 컬러 정보를 조정하는 것과 연관된 다양한 동작들을 수행할 수 있다. 컬러 프로세싱 스테이지(312)에서 수행되는 동작들은 로컬 톤 맵핑, 이득/오프셋/클립, 컬러 보정, 3차원 컬러 룩업, 감마 변환, 및 컬러 공간 변환을 포함하지만, 이들로 제한되지 않는다. 로컬 톤 맵핑은, 이미지를 렌더링할 때 더 많은 제어를 제공하기 위해 공간적으로 변하는 로컬 톤 곡선들을 지칭한다. 예컨대, 2차원 그리드의 톤 곡선들(중앙 제어 모듈(320)에 의해 프로그래밍될 수 있음)은 이중선형 보간되어(bi-linearly interpolated) 매끄럽게 변하는 톤 곡선들이 이미지에 걸쳐 생성되도록 할 수 있다. 일부 실시예들에서, 로컬 톤 맵핑은, 또한, 공간적으로 변화하고 세기가 변화하는 컬러 보정 매트릭스들을 적용할 수 있는데, 이는, 예를 들어, 이미지에서 하늘은 더 파랗게 만드는 반면 그림자 내의 청색은 더 낮추는 데 사용될 수 있다. 디지털 이득/오프셋/클립은 이미지 데이터의 각각의 컬러 채널 또는 컴포넌트에 대해 제공될 수 있다. 컬러 보정은 컬러 보정 변환 매트릭스를 이미지 데이터에 적용할 수 있다. 3D 컬러 룩업은 컬러 컴포넌트 출력 값들(예컨대, R, G, B)의 3차원 어레이를 활용하여, 향상된 톤 맵핑, 컬러 공간 변환들, 및 다른 컬러 변환들을 수행할 수 있다. 예를 들어 감마 보정, 톤 맵핑, 또는 히스토그램 매칭을 수행하기 위해 입력 이미지 데이터 값들을 출력 데이터 값들에 맵핑시킴으로써, 감마 변환이 수행될 수 있다. 컬러 공간 변환은 이미지 데이터를 하나의 컬러 공간으로부터 다른 컬러 공간으로(예컨대, RGB로부터 YCbCr로) 변환하도록 구현될 수 있다. 다른 프로세싱 기법들이, 또한, 흑백 변환(black and white conversion), 세피아 톤 변환(sepia tone conversion), 네거티브 변환, 또는 솔라리제이션 변환(solarize conversion)을 비롯한 다른 특수 이미지 효과들을 수행하기 위해 컬러 프로세싱 스테이지(312)의 일부로서 수행될 수 있다.

출력 리스케일 모듈(314)은 ISP(206)가 이미지 데이터를 프로세싱함에 따라 즉각적으로 왜곡을 보정하고, 변환하고, 리샘플할 수 있다. 출력 리스케일 모듈(314)은 각각의 픽셀에 대해 프랙셔널 입력 좌표(fractional input coordinate)를 계산할 수 있고, 이 프랙셔널 좌표를 사용하여, 다상(polyphase) 리샘플링 필터를 통해 출력 픽셀을 보간한다. 프랙셔널 입력 좌표는, (예컨대, 간단한 수평 및 수직 스케일링 변환을 통해) 이미지를 크기재조정 또는 크로핑하는 것, (예컨대, 비가분성(non-separable) 매트릭스 변환들을 통해) 이미지를 회전시키거나 전단(shearing)하는 것, (예컨대, 추가적인 깊이 변환을 통한) 원근 와핑(perspective warping) 및 (예컨대, 롤링 셔터로 인한) 이미지 데이터 캡처 동안 이미지 센서에서의 변화들을 고려하기 위해 스트립 구분 단위(piecewise in strips)로 적용되는 픽셀별 원근 분리(per-pixel perspective divide), 및 (예컨대, 보간된 반경 방향 이득 테이블을 인덱싱하기 위해 광학 중심으로부터의 반경 방향 거리를 계산하는 것, 및 반경 방향 렌즈 왜곡을 고려하기 위해 좌표에 반경 방향 섭동(radial perturbance)을 적용하는 것을 통한) 기하학적 왜곡 보정과 같은, 출력 좌표의 다양한 가능한 변환들로부터 생성될 수 있다.

출력 리스케일 모듈(314)은 이미지 데이터가 출력 리스케일 모듈(314)에서 프로세싱됨에 따라 그 이미지 데이터에 변환을 적용할 수 있다. 출력 리스케일 모듈(314)은 수평 및 수직 스케일링 컴포넌트들을 포함할 수 있다. 설계의 수직 부분은 수직 필터에 필요한 "지원"을 유지하기 위하여 일련의 이미지 데이터 라인 버퍼들을 구현할 수 있다. ISP(206)가 스트리밍 디바이스일 수 있기 때문에, 유한 길이 슬라이딩 윈도우의 라인들 중 이미지 데이터의 라인들만이 사용할 필터에 사용가능할 수 있다. 새로 유입되는 라인을 위한 공간을 만들기 위해 하나의 라인이 폐기되면, 라인은 이용불가능할 수 있다. 출력 리스케일 모듈(314)은 이전 라인들에 대하여 계산된 입력 Y 좌표를 통계적으로 모니터링하여, 그것을 이용하여 수직 지원 윈도우에 유지하기 위한 최적의 라인들의 세트를 계산할 수 있다. 각각의 후속 라인에 대하여, 출력 리스케일 모듈은 수직 지원 윈도우의 중심에 대한 추측을 자동으로 생성할 수 있다. 일부 실시예들에서, 출력 리스케일 모듈(314)은 이미지 프레임의 캡처 시 센서 모션에 의해 야기되는 아티팩트들 및 모션을 보정하기 위하여 입력 이미지 데이터와 출력 이미지 데이터 사이의 픽셀별 원근 변환을 수행하는 디지털 차이 분석기(DDA) 스텝퍼들로서 인코딩된 원근 변환 구분 단위(piecewise perspective transform)의 표를 구현할 수 있다. 도 1 및 도 2에 대하여 위에서 논의된 바와 같이, 출력 리스케일은 출력 인터페이스(316)를 통해 디바이스(100)의 다양한 다른 컴포넌트들에 이미지 데이터를 제공할 수 있다.

다양한 실시예들에서, 컴포넌트들(302 내지 350)의 기능은 도 3에 도시된 이미지 프로세싱 파이프라인 내의 그들 기능 유닛들의 순서에 의해 암시되는 순서와는 상이한 순서로 수행될 수 있거나, 또는 도 3에 도시된 것들과 상이한 기능 컴포넌트들에 의해 수행될 수 있다. 또한, 도 3에서 기술된 바와 같은 다양한 컴포넌트들은 하드웨어, 펌웨어 또는 소프트웨어의 다양한 조합들로 구체화될 수 있다.

다중 대역 노이즈 감소 회로와 연관된 예시적인 파이프라인

도 4는 일 실시예에 따른, 다중 대역 노이즈 감소(multiple band noise reduction, MBNR) 회로(420)를 포함하는 이미지 프로세싱 파이프라인의 일부분을 도시하는 블록도이다. 도 4의 실시예에서, MBNR 회로(420)는, 다른 컴포넌트들 중에서도, 스케일러(410) 및 부대역 분할기 회로(430)를 또한 포함하는 리샘플 프로세싱 스테이지(308)의 일부이다. 리샘플 프로세싱 스테이지(308)는 반복 방식으로 스케일링, 노이즈 감소, 및 부대역 분할을 수행한다.

반복 프로세싱의 결과로서, 리샘플 프로세싱 스테이지(308)는 오리지널 입력 이미지(402)로부터 유래된 일련의 고주파 성분 이미지 데이터 HF(N)과 저주파 성분 이미지 데이터 LF(N) - N은 오리지널 입력 이미지(402)에 대해 수행된 다운샘플링(downsampling)의 레벨들을 나타냄 - 를 출력한다. 예를 들어, HF(0) 및 LF(0)가 각각 오리지널 입력 이미지(402)로부터 분할된 고주파 성분 이미지 데이터와 저주파 성분 이미지 데이터를 나타내는 한편, HF(1) 및 LF(1)는 각각 입력 이미지(402)의 제1 다운스케일링된 버전으로부터 분할된 고주파 성분 이미지 데이터와 저주파 성분 이미지 데이터를 나타낸다.

MBNR 회로(420)는 입력 이미지(402)의 다수의 대역들에 대한 노이즈 감소를 수행하는 회로이다. 입력 이미지(402)는 먼저 노이즈 감소를 위해 멀티플렉서(414)를 통해 MBNR 회로(420)로 전달된다. 오리지널 입력 이미지(402)의 노이즈 감소된 버전(422)은 MBNR 회로(420)에 의해 생성되고 부대역 분할기(430)로 공급된다. 부대역 분할기(430)는 오리지널 입력 이미지(402)의 노이즈 감소된 버전(422)을 고주파 성분 이미지 데이터 HF(0)와 저주파 성분 이미지 데이터 LF(0)로 분할한다. 고주파 성분 이미지 데이터 HF(0)는 부대역 프로세싱 파이프라인(448)으로, 그리고 이어서 부대역 병합기(merger)(352)로 전달된다. 대조적으로, 저주파 성분 이미지 LF(0)는 디멀티플렉서(440)를 통과하고, 스케일러(410)에 의한 다운스케일링을 위해 리샘플 프로세싱 스테이지(308)로 피드백된다.

스케일러(410)는 스케일러(410)로 공급된 저주파 성분 이미지 LF(0)의 다운스케일링된 버전(412)을 생성하고, 이를 노이즈 감소를 위해 멀티플렉서(414)를 통해 MBNR 회로(420)로 전달한다. MBNR 회로(420)는 다운스케일링된 이미지(412)의 노이즈 감소된 버전(432)을 생성하기 위해 노이즈 감소를 수행하고 이를 부대역 분할기(430)로 전송하여 프로세싱된 저주파 이미지 데이터 LF(0)를 고주파 성분 이미지 데이터 HF(1)와 저주파 성분 이미지 데이터 LF(1)로 다시 분할한다. 고주파 성분 이미지 데이터 HF(1)가 부대역 프로세싱 파이프라인(448)으로 이어서 부대역 병합기(352)로 전송되는 반면 저주파 성분 이미지 데이터 LF(1)는 스케일러(410)로 다시 피드백되어 리샘플 프로세싱 스테이지(308) 내에서 프로세스가 반복된다. 고주파 성분 이미지 데이터 HF(N) 및 저주파 성분 이미지 데이터 LF(N)를 생성하는 프로세스는 대역 분할의 최종 레벨이 부대역 분할기(430)에 의해 수행될 때까지 반복된다. 대역 분할의 최종 레벨에 도달할 때, 저주파 성분 이미지 데이터 LF(N)는 디멀티플렉서(440) 및 멀티플렉서(446)를 통과하여 부대역 프로세싱 파이프라인(448) 및 부대역 병합기(352)로 전달된다.

전술된 바와 같이, MBNR 회로(420)는 입력 이미지(402)에 대한 노이즈 감소뿐만 아니라 입력 이미지(402)의 그것의 다운스케일링된 저주파 버전들에 대한 노이즈 감소를 수행한다. 이는 MBNR 회로(420)가 오리지널 입력 이미지(402)의 다수의 대역들에 대한 노이즈 감소를 수행하는 것을 가능하게 한다. 그러나, 부대역 분할 및 스케일링 없이 MBNR 회로(420)에 의해 입력 이미지(402)에 대해 노이즈 감소의 단일 통과만이 수행될 수 있다는 것에 유의하여야 한다.

부대역 병합기(352)는 프로세싱된 고주파 성분 이미지 데이터 HF(N)'과 프로세싱된 저주파 성분 이미지 데이터 LF(N)'을 병합하여 프로세싱된 LF(N-1)'을 생성한다. 이어서, 프로세싱된 LF(N-1)'은, 프로세싱된 LF(N-2)'을 생성하도록 프로세싱된 HF(N-1)'과 병합을 위해 디멀티플렉서(450) 및 멀티플렉서(446)를 통해 부대역 병합기(352)로 피드백된다. 프로세싱된 고주파 성분 이미지 데이터와 프로세싱된 저주파 성분 데이터를 조합하는 프로세스는 부대역 병합기(352)가 디멀티플렉서(450)를 통해 출력되는 입력 이미지의 프로세싱된 버전(454)을 생성할 때까지 반복된다.

제1 콘트라스트 향상 스테이지(450) 및 제2 콘트라스트 향상 스테이지(452)는 이미지의 세그먼트들과 연관된 콘텐츠에 기초하여 이미지 데이터의 세그먼트들에 대해 샤프닝 또는 스무딩 동작들을 수행한다. 제1 콘트라스트 향상 스테이지(450)는 부대역 프로세싱 파이프라인(448)의 컴포넌트이고, 입력 이미지(402)에 대해 다운스케일링되는 고주파 성분 이미지 데이터 HF(N)에 대해 샤프닝 동작을 수행한다. 다른 한편으로, 제2 콘트라스트 향상 스테이지(452)는 입력 이미지(402)와 동일한 공간 크기를 갖는 풀-해상도(full resolution) 이미지 데이터일 수 있는 부대역 병합기(352)의 출력에 대해 샤프닝을 수행한다. 제1 및 제2 콘트라스트 향상 스테이지들(450, 452)은 도 7을 참조하여 추가로 설명된다.

콘텐츠 맵과 연관된 예시적인 파이프라인

도 5는 일 실시예에 따른, 뉴럴 프로세서 회로(218)에 의한 콘텐츠 맵(504)(본 명세서에서 "분할 맵"으로 또한 지칭됨)을 이미지 신호 프로세서(206)로 제공하는 것을 도시하는 블록도이다. 이미지 신호 프로세서(206)는 입력 이미지(502)를 뉴럴 프로세서 회로(218)에 제공한다. 입력 이미지(502)는 오리지널 입력 이미지(402)와 비교하여 동일하거나 상이할 수 있다. 입력 이미지(502)에 기초하여, 뉴럴 프로세서 회로(218)는 콘텐츠 맵(504)을 생성하고, 콘텐츠 맵(504)을 이미지 신호 프로세서(206)에 제공한다. 예를 들어, 콘텐츠 맵(504)은 콘트라스트 향상 스테이지들(450, 452)로 전송된다.

도 2를 참조하여 전술된 바와 같이, 뉴럴 프로세서 회로(218)는 기계 학습될 수 있다. 따라서, 뉴럴 프로세서 회로(218)는 입력 이미지(502)에 대해 하나 이상의 기계 학습 동작들을 수행함으로써 콘텐츠 맵(504)을 결정할 수 있다. 일부 실시예들에서, 입력 이미지(502)는 오리지널 입력 이미지(402)와 비교하여 (예컨대, 스케일러(322)에 의해 제공된) 감소된 해상도 이미지이다. 이미지의 해상도를 감소시키는 것은 콘텐츠 맵(504)을 생성하기 위한 프로세싱 시간을 감소시킬 수 있다. 그러나, 콘텐츠 맵(504)의 해상도가 전형적으로는 입력 이미지(502)의 해상도와 동일하거나 유사하기 때문에, 콘텐츠 맵(504)은 오리지널 입력 이미지(402)에 대해 다운스케일링될 수 있다. 예시적인 입력 이미지(602)가 도 6a에 제공되고, 예시적인 콘텐츠 맵(604)은 도 6b에 제공된다. 콘텐츠 맵(604)은 이미지(602) 내에서 잔디(506)와 사람(508)을 식별한다.

콘텐츠의 각각의 세그먼트는 콘텐츠의 하나 이상의 미리결정된 카테고리들과 연관될 수 있다. 콘텐츠 맵(504)은 업스케일링(upscaling) 프로세스 동안 사용되는 복수의 그리드 포인트들을 갖는 그리드와 연관될 수 있다. 콘텐츠 맵(504)은 풀-스케일(full-scale) 이미지와 동일한 크기일 수 있다. 일부 실시예들에서, 다양한 프로세싱을 가능하게 하기 위해, 그리드 포인트들의 수는 샤프닝을 위한 풀-스케일 이미지 내의 픽셀들의 수보다 적다. 하나 이상의 실시예들에서, 맵의 각각의 그리드 포인트는 콘텐츠의 카테고리(본 명세서에서 "콘텐츠 카테고리"로 또한 지칭됨)와 연관될 수 있고, 풀-스케일 이미지 내의 인근 픽셀들에 대한 콘텐츠 인자를 결정하기 위해 사용될 수 있는데, 이는 도 11을 참조하여 아래에서 상세히 설명되는 바와 같다.

콘텐츠 맵(504) 내의 콘텐츠 카테고리들의 예들은 상이한 바람직한 콘텐츠 인자들을 갖는다. 상이한 콘텐츠 카테고리들에는 스킨, 나뭇잎, 잔디, 하늘이 포함될 수 있다. 대체적으로 다른 카테고리들(예컨대, 스킨)에 비해 소정 카테고리들(예컨대, 나뭇잎 및 잔디)을 샤프닝하는 것이 바람직하다. 하나 이상의 실시예들에서, 뉴럴 프로세서 회로(218)는 다양한 기계 학습 알고리즘을 사용하여 훈련되어 입력 이미지(502)의 상이한 세그먼트들을 분류하여 입력 이미지(502) 내의 콘텐츠에 대해 콘텐츠 카테고리들을 식별하고, 이는 이어서 이미지 신호 프로세서(206)에 의해, 상이한 세그먼트들에 적용될 샤프닝의 정도를 나타내는 상이한 콘텐츠 인자들로 입력 이미지(502)의 상이한 세그먼트들을 샤프닝하는 데 사용되는데, 이는 도 8을 참조하여 아래에서 상세히 설명되는 바와 같다.

다른 실시예들에서, 뉴럴 프로세서 회로(218)는 콘텐츠 맵(504)으로서 히트 맵을 생성하기 위해 다양한 기계 학습 알고리즘을 사용하여 훈련된다. 히트 맵은 상이한 세그먼트들과 연관된 콘텐츠 카테고리들을 나타내기보다는 입력 이미지(502)의 상이한 세그먼트들에서 바람직한 샤프닝의 정도를 직접적으로 나타낸다.

예시적인 콘트라스트 향상 스테이지 회로

도 7은 일 실시예에 따른, 제1 콘트라스트 향상 스테이지 회로(450)의 컴포넌트들을 도시하는 블록도이다. 제1 콘트라스트 향상 상태 회로(450)는 휘도 정보 Y에서 콘텐츠 기반 이미지 샤프닝 및 스무딩을 수행하여 휘도 정보의 샤프닝된 버전 Y'을 생성한다. 휘도 정보 Y는 입력 이미지(402)의 휘도 성분들만을 포함하는 이미지를 지칭하고, 샤프닝된 휘도 정보 Y'은 출력 이미지의 휘도 성분들만을 포함하는 이미지를 지칭한다. 제1 콘트라스트 향상 스테이지 회로(450)는, 다른 컴포넌트들 중에서도, 이미지 샤프너(sharpener)(702), 콘텐츠 이미지 프로세싱(704), 및 가산기 회로(706)를 포함할 수 있다. 제2 콘트라스트 향상 스테이지 회로(452)는, 휘도 이미지가 풀 입력 이미지(402)에 대해 다운스케일링되지 않은 것을 제외하고는 제1 콘트라스트 향상 스테이지 회로(450)와 실질적으로 동일한 구조를 갖고, 따라서, 그의 상세한 설명은 간결성을 위해 본 명세서에서 생략된다.

이미지 샤프너(702)는 휘도 정보 Y에 대해 콘트라스트 향상(예컨대, 샤프닝)을 수행하고 출력 델타(Delta) Y를 생성하는 회로이다. 델타 Y는 Y의 마스크를 나타낸다. 예를 들어, 델타 Y는 언샤프 마스킹(unsharp masking) 프로세스의 결과이다. 하나 이상의 실시예들에서, 이미지 샤프너(702)는 휘도 정보 Y에 대해 프로세싱을 수행하는 양방향 필터 또는 고역 통과 주파수 필터(high-pass frequency filter)로서 구현된다. 따라서, 예를 들어, 델타 Y는 이미지의 고주파 성분일 수 있다. 델타 Y는 제1 콘트라스트 향상 스테이지(450)의 하류 컴포넌트들에 의해 추가로 조정된다.

콘텐츠 이미지 프로세싱(704)은 콘텐츠 맵에 의해 식별되는 바와 같은 콘텐츠 카테고리들 및 이러한 분류의 우도에 기초하여 델타 Y를 조정하는 회로이다. 콘텐츠 이미지 프로세싱(704)은 휘도 정보 Y 및 콘텐츠 맵(504)을 수신하고, 콘텐츠 카테고리들에 기초하여 원하는 샤프닝 정도에 따라 델타 Y에 비해 증가 또는 감소된 조정된 델타 Y'을 생성하는데, 이는 도 8과 관련하여 추가로 설명되는 바와 같다.

일부 실시예들에서, 가산기 회로(706)는 콘텐츠 이미지 프로세싱(704)으로부터의 조정된 델타 Y'을 휘도 정보 Y에 가산하여, 샤프닝된 휘도 정보 Y'을 생성한다. 일부 실시예들에서, 가산기 회로(706)는 조정된 델타 Y'을 휘도 정보 Y의 저주파 성분들(예컨대, 저주파 성분들 = Y - 델타 Y)에 가산한다. 일부 픽셀들에 대해, 조정된 델타 Y'은 양수이고, 그에 의해 가산기 회로(706)에서의 가산은 이미지의 관련 세그먼트의 샤프닝을 야기한다. 음수인 조정된 델타 Y'을 갖는 픽셀들의 경우, 그에 의해, 가산기 회로(706)는 알파 블러링(alpha blurring)과 같은 블러링 동작을 수행한다. 하기에 추가로 설명되는 바와 같이, 델타 Y는 휘도 정보 Y의 저주파 성분으로 알파 블러링될 수 있다. 이는 블러링이 저주파 성분으로 제한되는 결과를 가져올 수 있다. 이는 델타 Y'이 큰 음수 값들을 포함하는 경우에 발생할 수 있는 이미지 아티팩트들을 방지할 수 있다.

예시적인 콘텐츠 이미지 프로세싱 회로

도 8은 일 실시예에 따른, 콘텐츠 이미지 프로세싱(704)의 컴포넌트들을 도시하는 블록도이다. 도 7을 참조하여 전술된 바와 같이, 콘텐츠 이미지 프로세싱(704)은 이미지 내의 콘텐츠에 기초하여 샤프닝 및 스무딩 동작들을 수행한다. 콘텐츠 이미지 프로세싱(704)은, 다른 컴포넌트들 중에서도, 텍스쳐 회로(802), 크로마 회로(804), 콘텐츠 인자 회로(806), 및 콘텐츠 수정 회로(810)를 포함할 수 있다.

콘텐츠 인자 회로(806)는 입력 이미지 내의 픽셀들에 대한 콘텐츠 인자들을 결정한다. 입력 이미지 내의 각각의 픽셀에 대해 콘텐츠 인자가 결정될 수 있다. 콘텐츠 인자는 콘텐츠 맵 내의 하나 이상의 값들에 기초하고, 픽셀에 적용될 샤프닝의 양을 나타낸다. 콘텐츠 인자는 또한, 텍스쳐 회로(802)로부터의 하나 이상의 텍스쳐 값들 및/또는 크로마 회로(804)로부터의 크로마 값들에 기초할 수 있다.

전술된 바와 같이, 콘텐츠 맵의 콘텐츠 카테고리들은 콘텐츠 인자들과 연관될 수 있다. 예를 들어, 콘텐츠 인자는 각각의 콘텐츠 카테고리에 대해 미리결정된다. 콘텐츠 맵이 이미지와 동일한 해상도를 갖는 경우, 픽셀에 대한 콘텐츠 인자는 콘텐츠 맵 내의 대응하는 위치에 대한 정보를 참조함으로써 획득될 수 있다. 콘텐츠 맵이 이미지와 비교하여 다운스케일링된 경우, 콘텐츠 맵은 콘텐츠 인자가 콘텐츠 맵의 업스케일링된 버전에서의 인근 픽셀들로부터 보간될 수 있도록 입력 이미지의 크기와 매칭하도록 업스케일링될 수 있다. 다수의 파지 포인트들을 갖는 그리드가 입력 이미지 상에 오버레이(overlay)될 수 있고, 그리드 포인트들과 연관된 정보는 보간에 의해 풀 이미지 내의 픽셀들에 대한 정보를 결정하는 데 사용될 수 있다. 예를 들어, 풀 이미지의 픽셀 위치가 콘텐츠 맵의 그리드 포인트와 일치하지 않는 (예컨대, 픽셀이 한 세트의 그리드 포인트들 사이에 위치되는) 경우, 픽셀에 대한 콘텐츠 인자는 픽셀에 근접한 (예컨대, 그를 둘러싸는) 그리드 포인트들의 콘텐츠 인자들을 보간함으로써 결정될 수 있다. 그리드 포인트들 사이의 픽셀에 대한 콘텐츠 인자를 결정하기 위해 콘텐츠 맵을 업샘플링하는 것이 도 11과 관련하여 추가로 설명된다.

일부 실시예들에서, 콘텐츠 인자가 우도 값에 따라 가중된다. 예를 들어, 픽셀에 대한 콘텐츠 인자 Q는 하기와 같이 초기 콘텐츠 인자 Q₀에 우도 값을 승산함으로써 결정된다:

Q = (Q₀)*(우도 값) (1)

여기서, 초기 콘텐츠 인자 Q₀는 소정 콘텐츠 카테고리와 연관된 콘텐츠 인자이다. 우도 값은 텍스쳐 회로(802) 및 크로마 회로(804)를 참조하여 아래에서 설명되는 바와 같은 픽셀의 텍스쳐 값 및/또는 크로마 값 및 픽셀의 콘텐츠 카테고리에 기초할 수 있다. 일부 실시예들에서, 우도 값은 하기와 같은 우도 모델에 의해 결정된다:

(우도 값) = C₁ + C₂*(텍스쳐 값) + C₃*(크로마 값) (2)

여기서, C₁, C₂, 및 C₃는 미리결정된 상수들(예컨대, 튜닝 파라미터들)이다. 미리결정된 상수들은 콘텐츠 맵에서의 콘텐츠 카테고리들에 기초한 값들을 가질 수 있다. 일부 실시예들에서, 우도 모델은 텍스쳐 및 크로마 값들의 다항식 함수이다. 우도 모델은 분류의 정확도에 대한 모델을 나타내고, 경험적으로 또는 기계 학습 프로세스에 의해 결정될 수 있다.

텍스쳐 회로(802)는 콘텐츠 맵(504)에 의해 식별된 바와 같은 콘텐츠 카테고리들이 텍스쳐 정보에 기초하여 정확하다는 우도를 나타내는 텍스쳐 값들을 결정하는 회로이다. 하나 이상의 실시예들에서, 입력 이미지에 하나 이상의 에지 검출 동작들을 적용함으로써 텍스쳐 값이 결정된다. 예를 들어, 소벨(Sobel) 필터 또는 고역 통과 주파수 필터와 같은 에지 검출 방법들이 입력 이미지의 픽셀 위치들에서 에지 값들을 획득하기 위해 휘도 입력 이미지에 적용된다. 에지 값들이 결정된 후, 그리드 포인트에 대한 텍스쳐 값은 텍스쳐 모델에 에지 값을 적용함으로써 결정될 수 있다. 텍스쳐 회로(802)는 상이한 콘텐츠 카테고리들에 대응하는 다수의 상이한 텍스쳐 모델들을 저장할 수 있다. 텍스쳐 모델들의 예들에는 나뭇잎 텍스쳐 모델, 하늘 텍스쳐 모델, 잔디 텍스쳐 모델, 및 스킨 텍스쳐 모델이 포함된다. 예시적인 나뭇잎 텍스쳐 모델이 도 9와 관련하여 이하에서 설명된다.

크로마 회로(804)는 콘텐츠 맵(504)에 의해 식별된 바와 같은 콘텐츠 카테고리들이 크로마 정보에 기초하여 정확하다는 우도를 나타내는 크로마 값들을 결정하는 회로이다. 크로마 값은 이미지의 컬러 정보(예컨대, Cb 값 및 Cr 값)에 기초한다. 크로마 회로(804)는 상이한 콘텐츠 카테고리들에 대해 상이한 크로마 모델들을 저장할 수 있다. 크로마 모델들의 예들에는 나뭇잎 크로마 모델, 하늘 크로마 모델, 잔디 크로마 모델 및 스킨 크로마 모델이 포함된다. 크로마 모델은 수동으로 결정될 수 있거나 기계 학습 기법에 의해 결정될 수 있다. 예시적인 하늘 크로마 모델이 도 10과 관련하여 설명된다.

콘텐츠 수정 회로(810)는 콘텐츠 인자 회로(806)로부터 콘텐츠 인자들을 그리고 이미지 샤프너(702)로부터의 델타 Y 값들을 수신한다. 콘텐츠 수정 회로(810)는 델타 Y 값들에 콘텐츠 인자들을 적용하여 델타 Y' 값들을 생성한다. 예를 들어, 픽셀에 대한 콘텐츠 인자가 미리결정된 임계치(예컨대, 0) 초과인 경우, 콘텐츠 수정 회로(810)는 픽셀의 콘텐츠 인자를 픽셀의 델타 Y 값에 승산하는 것과 같은 샤프닝 동작을 수행한다. 픽셀에 대한 콘텐츠 인자가 미리결정된 임계치 미만인 경우, 콘텐츠 수정 회로(810)는 콘텐츠 인자에 기초하여 델타 Y'을 블렌딩함으로써 스무딩 동작을 수행할 수 있다. 예를 들어, 알파 블렌딩은 하기에 따라 수행된다:

Y' = (1 - 알파)*Y + 알파*(Y - 델타 Y) (3)

및

Y' = Y + 델타 Y'. (4)

따라서,

델타 Y' = -(알파) * (델타 Y), (5)

여기서, 알파 = |Q| * 스케일이고, 알파는 0 내지 1의 값이다. 스케일은 미리결정된 양의 상수이다. |Q| * 스케일 > 1이도록 |Q|가 충분히 큰 경우, 알파는 1)과 동일하게 클리핑된(clipped)다는 점에 유의한다.

도 9는 일 실시예에 따른, 텍스쳐 모델을 도시하는 플롯이다. 픽셀(또는 그리드가 사용되는 경우, 그리드 포인트)이 콘텐츠 맵에 의해 "나뭇잎"으로 분류되면, 예를 들어, 텍스쳐 값은 픽셀(또는 그리드가 사용되는 경우, 그리드 포인트)의 에지 값을 도 9의 모델에 적용함으로써 결정될 수 있다. x-축은 입력 에지 값들을 나타내고, y-축은 출력 텍스쳐 값들을 나타낸다. 텍스쳐 값들은 0 내지 1의 범위이다. 픽셀의 에지 값이 높은 임계치 초과인 경우에 텍스쳐 값은 1이고, 에지 값이 낮은 임계치 미만인 경우에 텍스쳐 값은 0이다. 텍스쳐 값들은 낮은 임계치와 높은 임계치 사이의 에지 값들에 대해 0으로부터 1로 선형으로 증가한다. 낮은 임계치 및 높은 임계치의 값들은 경험적으로 결정될 수 있다. 예를 들어, 임계치들은 나뭇잎에 대해 전형적인 에지 값들에 따라 설정된다. 따라서, 에지 값이 높은 임계치 초과인 것은 픽셀 또는 그리드 포인트가 나뭇잎에 대응하는 높은 텍스쳐를 갖는 영역에 있다는 것을 나타낼 수 있다. 유사하게, 에지 값이 낮은 임계치보다 낮은 것은 픽셀 또는 그리드 포인트가 나뭇잎에 대응하지 않는 편평한 텍스쳐를 갖는 영역에 있다는 것을 나타낼 수 있다. 예를 들어, 식 2에 따르면, 높은 텍스쳐 값들은 (C₂가 양수인 것을 가정하면) 픽셀의 콘텐츠가 나뭇잎일 높은 우도를 나타낸다.

상이한 카테고리들에 대해, 대응하는 텍스쳐 모델은 상이한 텍스쳐 파라미터들(예컨대, 상이한 낮은 임계치, 상이한 높은 임계치, 및/또는 상이한 기울기, 및/또는 1과 0의 플립핑(flipping))에 의해 표현될 수 있다. "잔디"의 카테고리에 대해, 낮은 임계치 및 높은 임계치는 "나뭇잎"에 대한 카테고리의 임계치들보다 높을 수 있다 텍스쳐가 복잡한 경우보다는 텍스쳐가 편평한 경우에 일부 카테고리들이 정확할 가능성이 있다. 이러한 카테고리들의 경우, 텍스쳐 값에 대해 1과 0 값들이 플립핑될 수 있다. 예를 들어, "하늘"에 대한 텍스쳐 모델은 에지 값이 더 낮은 (예컨대, 낮은 임계치 미만인) 경우에 1 값을 가질 수 있고 에지 값이 더 높은 (예컨대, 높은 임계치 초과인) 경우에 0 값을 가질 수 있다. 즉, 텍스쳐가 편평한 입력 이미지의 영역에 픽셀이 있는 경우 픽셀은 "하늘"을 나타낼 가능성이 더 크다. 일부 실시예들에서, 1 및 0 값들을 플립핑하는 대신, 식 2의 미리결정된 상수들은 콘텐츠 카테고리에 기초하여 변한다. 예를 들어, "스킨" 또는 "하늘"과 같은 카테고리들의 경우, C₂는 높은 텍스쳐 값들이 픽셀의 콘텐츠가 "스킨" 또는 "하늘"일 낮은 우도를 나타내도록 음수일 수 있다

도 10은 일 실시예에 따른, 크로마 모델을 도시하는 플롯이다. 도 10의 크로마 모델은 "하늘"의 모델을 표현할 수 있다. 픽셀 또는 그리드 포인트가 콘텐츠 맵에 의해 "하늘"로 분류되는 경우, 크로마 회로(804)는 픽셀 또는 그리드 포인트들에 대한 Cb 값과 Cr 값들의 조합이 영역들(1010, 1020, 1030) 중 하나에 속하는지를 결정한다. x-축은 입력 Cb 값들을 나타내고, y-축은 입력 Cr 값들을 나타낸다. 타원은 "하늘"의 컬러 범위를 표현하는 플롯의 우측 상단 코너에 위치된다. 픽셀 또는 그리드 포인트의 Cb/Cr 값들이 영역(1010)인 내부 타원 내에 있는 경우, 크로마 값은 1이고, 이는 (예컨대, C₃가 양수인 경우의 식 2에 따라) 픽셀 또는 그리드 포인트가 "하늘"에 대응할 높은 우도를 나타낼 수 있다. Cb/Cr 값이 영역(1030)인 외부 타원 외측에 있는 경우, 크로마 값은 0이고, 이는 (예컨대, C₃가 양수인 경우의 식 2에 따라) 픽셀 또는 그리드 포인트가 "하늘"에 대응할 가능성이 없다는 것을 나타낸다. Cb/Cr 값들이 영역(1020)인 내부 타원과 외부 타원 사이에 있는 경우, 크로마 값은 0 내지 1일 수 있다(예컨대, 크로마 값들은 에지 내부 타원으로부터의 거리가 증가함에 따라 증가한다). 타원의 위치 및 크기는 경험적으로 또는 통계적 모델링을 통해 결정될 수 있다. 일부 실시예들에서, 정사각형, 삼각형, 또는 원형과 같은 다른 형상들이 타원 대신에 사용될 수 있다.

상이한 카테고리들의 경우, 대응하는 크로마 모델은 상이한 크로마 파라미터들(예컨대, 중심들, 반경, 각도들, 타원들의 기울기, 및 출력/내부 타원들의 비)에 의해 표현될 수 있다. 예를 들어, "나뭇잎"에 대한 크로마 모델은 대체적으로 녹색일 것이고, 그에 따라서 "나뭇잎" 카테고리에 대한 크로마 파라미터가 녹색 컬러에 대응하는 Cb/Cr 값들을 커버할 것인 반면, "하늘" 카테고리에 대한 크로마 파라미터는 청색 컬러에 대응하는 Cb/Cr 값들을 커버할 것이다. 다른 예에서, 크로마 파라미터들은, 대체적으로 카테고리와 연관되지 않은 컬러들에 따라 선택된다. 예를 들어, "나뭇잎"은 대체적으로 청색을 포함하지 않을 것이다. 따라서, Cb/Cr 값들이 청색에 대응하는 경우, 크로마 모델은 낮은 값을 출력하도록 구성될 수 있다.

그리드 포인트들을 사용한 예시적인 보간

도 11은 일 실시예에 따른, 콘텐츠 맵을 업샘플링하기 위한 방법을 도시하는 도면이다. 콘텐츠 맵이 입력 이미지보다 낮은 해상도를 갖는 경우, 이미지 내의 픽셀들 및 콘텐츠 맵 내의 픽셀들은 일대일 대응을 갖지 않는다. 따라서, 콘텐츠 맵의 업스케일링이 수행될 수 있다. 이러한 업스케일링을 수행하는 한 가지 방식은 입력 이미지(1102)의 상단에 오버레이된 다수의 그리드 포인트들을 갖는 그리드의 사용을 통하는 것이다. 그리드 포인트들은 입력 이미지(1102) 내의 픽셀들보다 더 희박할 수 있다. 이러한 경우, 그리드 포인트들에 대한 콘텐츠 인자들은 더 높은 해상도 입력 이미지(1102)에 대한 콘텐츠 인자들을 결정하는 데 사용될 수 있다.

입력 이미지(1102) 상에 오버레이된 그리드가 그리드 포인트들 1 내지 4를 갖고 입력 이미지(1102)가 그리드 포인트들 1 내지 4 사이에 위치된 픽셀(1104)을 포함하는 일 예를 들어보면, 픽셀(1104)에 대한 콘텐츠 인자 Q(픽셀)는 그리드 포인트들로부터 픽셀(1104)까지의 공간 거리를 고려하여 그리드 포인트들 1 내지 4와 연관된 콘텐츠 인자들 Q(1) 내지 Q(4)에 대해 이중선형 보간을 수행함으로써 결정될 수 있다.

하나 이상의 실시예들에서, 픽셀(1104)에 대한 Q(픽셀)를 결정하기 위한 콘텐츠 인자들 Q(1) 내지 Q(4)는 입력 이미지(1102)의 픽셀(1104)의 텍스쳐 파라미터들 및 크로마 파라미터들을 사용하여 결정된다. 콘텐츠 맵에 의해 표시된 바와 같은 그리드 포인트들 1 내지 4의 카테고리들이 사용되지만, 이러한 카테고리들에 대한 우도 값들(식 (2)를 참조하여 전술됨)은 그리드 포인트들의 것들보다는 픽셀(1104)의 Cb/Cr 값들 및 에지 값을 사용하여 결정된다. 예를 들어, 그리드 포인트 1이 "스킨"으로 분류되는 경우, 픽셀(1104)의 텍스쳐는 "스킨"에 대응하는 텍스쳐 파라미터들을 갖는 텍스쳐 모델에 적용되고, 픽셀(1104)의 Cb/Cr 값들은 "스킨"에 대응하는 크로마 파라미터들을 갖는 크로마 모델에 적용되어 식 (1)에 따라 Q(1)을 획득한다. 유사하게, 그리드 포인트 2가 "나뭇잎"으로 분류되는 경우, 픽셀(1104)의 에지 값은 "나뭇잎"에 대응하는 텍스쳐 파라미터들을 갖는 텍스쳐 모델에 적용되고, 픽셀(1104)의 Cb/Cr 값들은 "나뭇잎"에 대응하는 크로마 파라미터들을 갖는 크로마 모델에 적용되어 식 (1)에 따라 Q(2)를 획득한다. 그리드 포인트들 3 및 4에 대해 동일한 프로세스를 반복한 후, Q(픽셀)는 양측 보간(bilateral interpolation)에 의해 획득된다.

다른 실시예들에서, 콘텐츠 인자들 Q(1) 내지 Q(4)는 픽셀의 것들 대신에 그리드 포인트들의 텍스쳐 값들 및 Cb/Cr 값들을 사용함으로써 획득된다.

콘텐츠 기반 이미지 샤프닝의 예시적인 방법

도 12는 일 실시예에 따른, 이미지의 세그먼트들 내의 콘텐츠에 기초하여 이미지의 하나 이상의 픽셀들을 샤프닝하는 방법을 도시하는 흐름도이다. 본 방법의 단계들은 상이한 순서들로 수행될 수 있고, 본 방법은 상이하거나, 추가적이거나, 더 적은 단계들을 포함할 수 있다.

입력 이미지의 휘도 픽셀 값들이 수신된다(1202). 콘텐츠 맵이 수신된다(1204). 콘텐츠 맵은 이미지의 세그먼트들 내의 콘텐츠의 카테고리들을 식별한다. 콘텐츠 맵은 콘텐츠 맵을 생성하기 위해 이미지의 일정 버전에 대해 적어도 하나의 기계 학습 동작을 수행하는 뉴럴 프로세서 회로에 의해 생성될 수 있다. 콘텐츠 맵에 의해 식별된 카테고리들은 스킨, 나뭇잎, 잔디, 또는 하늘을 포함할 수 있다. 일부 실시예들에서, 콘텐츠 맵은 이미지의 픽셀들에 적용될 샤프닝의 양을 나타내는 히트 맵이다.

이미지 내의 픽셀과 연관된 콘텐츠 인자가 결정된다(1206). 콘텐츠 인자는 입력 이미지 내의 콘텐츠의 식별된 카테고리들, 및 이미지 내의 픽셀들의 텍스쳐 값들 또는 이미지 내의 픽셀들의 크로마 값들 중 적어도 하나에 따라 결정된다. 텍스쳐 값은 이미지 내의 텍스쳐에 기초하여 픽셀과 연관된 콘텐츠의 카테고리의 우도를 나타낸다. 크로마 값은 이미지의 컬러 정보에 기초하여 픽셀과 연관된 콘텐츠의 카테고리의 우도를 나타낸다.

일부 실시예들에서, 콘텐츠 맵은 입력 이미지에 대해 다운스케일링된다. 이러한 실시예들에서, 콘텐츠 인자는 콘텐츠 맵을 업샘플링함으로써 결정될 수 있다. 콘텐츠 맵은 콘텐츠 맵의 상단에 오버레이된 그리드 포인트들의 콘텐츠 인자들을 획득함으로써, 그리고 이어서, 그리드 포인트들의 콘텐츠 인자들을 보간하여 입력 이미지 내의 픽셀에 대한 콘텐츠 인자를 획득함으로써 업샘플링될 수 있다.

픽셀의 휘도 픽셀 값의 일정 버전에 적어도 콘텐츠 인자를 적용함으로써 픽셀의 휘도 픽셀 값의 샤프닝된 버전이 생성된다(1208). 휘도 픽셀 값들의 버전은 양방향 필터 또는 고역 통과 필터에 의해 생성될 수 있다. 일부 실시예들에서, 콘텐츠 인자는 콘텐츠 인자가 임계치를 초과하는 것에 응답하여 콘텐츠 인자를 휘도 픽셀 값의 일정 버전과 승산함으로써 휘도 픽셀 값의 일정 버전에 적용된다. 콘텐츠 인자가 임계치 미만인 경우, 콘텐츠 수정 회로는 음의 파라미터와 승산된 휘도 픽셀 값의 일정 버전을 적용한다.

본 명세서에 설명된 교시들은 이미지 내의 각각의 픽셀에 대한 콘텐츠 인자를 생성하는 것에 관한 것이다. 콘텐츠 인자는 콘텐츠 맵을 통해 식별된 이미지 내의 콘텐츠에 기초한다. 본 명세서에 설명된 교시들은 이미지 샤프닝의 상황에 있지만, 이는 편의를 위한 것이다. 본 명세서에 설명된 교시들을 또한 노이즈 감소, 톤 맵핑, 및 화이트 밸런싱 프로세스들과 같은 다른 이미지 프로세싱 프로세스들에 적용될 수 있다. 예를 들어, 노이즈 감소를 위해, 콘텐츠 인자는 노이즈 표준 편차에 적용될 (예컨대, 승산될) 수 있다.

특정 실시예들 및 애플리케이션들이 예시 및 설명되었지만, 본 발명은 본 명세서에서 개시되는 정확한 구성 및 컴포넌트들로 제한되지 않으며, 당업자에게 자명하게 될 다양한 수정들, 변경들, 및 변화들이, 본 개시내용의 사상 및 범주로부터 벗어나지 않으면서, 본 명세서에서 개시되는 방법 및 장치의 배열, 동작, 및 세부사항들에서 이루어질 수 있다는 것이 이해되어야 한다.

Claims

이미지 프로세싱을 위한 장치로서,
이미지의 휘도 픽셀 값들 및 상기 이미지의 세그먼트들 내의 콘텐츠의 카테고리들을 식별하는 콘텐츠 맵을 수신하도록 구성된 콘텐츠 이미지 프로세싱 회로를 포함하고, 상기 콘텐츠 이미지 프로세싱 회로는,
상기 이미지 내의 콘텐츠의 식별된 카테고리들, 및 상기 이미지의 픽셀의 텍스쳐(texture) 값 또는 상기 픽셀의 크로마(chroma) 값 중 적어도 하나에 따라 상기 픽셀과 연관된 콘텐츠 인자(factor)를 결정하도록 구성된 콘텐츠 인자 회로 - 상기 텍스쳐 값은 상기 이미지 내의 텍스쳐에 기초하여 상기 픽셀과 연관된 콘텐츠의 카테고리의 우도(likelihood)를 나타내고, 상기 크로마 값은 상기 이미지의 컬러 정보에 기초하여 상기 픽셀과 연관된 상기 콘텐츠의 카테고리의 우도를 나타냄 -; 및
상기 콘텐츠 인자를 수신하기 위해 상기 콘텐츠 인자 회로에 결합되고, 상기 픽셀의 휘도 픽셀 값의 일정 버전에 적어도 상기 콘텐츠 인자를 적용함으로써 상기 픽셀의 휘도 픽셀 값의 샤프닝된(sharpened) 버전을 생성하도록 구성된 콘텐츠 수정 회로 - 상기 콘텐츠 수정 회로는 (i) 상기 콘텐츠 인자가 임계치를 초과하는 것에 응답하여 샤프닝 동작을 수행함으로써, 그리고 (ii) 상기 콘텐츠 인자가 상기 임계치 미만인 것에 응답하여 스무딩(smoothing) 동작을 수행함으로써 상기 휘도 픽셀 값의 상기 일정 버전에 상기 콘텐츠 인자를 적용하도록 구성됨 - 를 포함하는, 장치.
제1항에 있어서, 상기 콘텐츠 맵은 상기 콘텐츠 맵을 생성하기 위해 상기 이미지의 일정 버전에 대해 기계 학습 동작을 수행하도록 구성된 뉴럴(neural) 프로세서 회로에 의해 생성되는, 장치.
제1항에 있어서, 상기 콘텐츠 맵은 상기 이미지에 대해 다운스케일링(downscaling)되는, 장치.
제3항에 있어서, 상기 콘텐츠 인자 회로는 상기 콘텐츠 맵을 업샘플링(upsampling)함으로써 상기 콘텐츠 인자를 결정하도록 구성되는, 장치.
제4항에 있어서, 상기 콘텐츠 맵은,
상기 콘텐츠 맵 내의 그리드(grid) 포인트들과 연관된 콘텐츠 인자들을 획득하는 것 - 상기 그리드 포인트들은 상기 콘텐츠 맵이 상기 이미지의 크기와 매칭하도록 확대될 때 상기 픽셀을 둘러쌈 -; 및
상기 픽셀과 연관된 상기 콘텐츠 인자를 획득하기 위해 상기 콘텐츠 인자들을 보간하는 것에 의해 업샘플링되는, 장치.
제1항에 있어서, 상기 콘텐츠 인자는 우도 값에 따라 가중되고, 상기 우도 값은 상기 이미지 내의 상기 콘텐츠의 식별된 카테고리들 중 하나, 상기 텍스쳐 값, 및 상기 크로마 값에 기초하는, 장치.
제1항에 있어서, 상기 휘도 픽셀 값들은 상기 이미지가 제1 정보와 제1 성분의 주파수 성분들보다 낮은 주파수 성분들을 포함하는 제2 정보로 분할될 때 상기 이미지의 제1 정보에 포함되는, 장치.
제1항에 있어서, 상기 콘텐츠 이미지 프로세싱 회로에 결합된 양방향 필터(bilateral filter)를 추가로 포함하고, 상기 양방향 필터는 상기 휘도 픽셀 값의 상기 일정 버전을 생성하도록 구성되는, 장치.
제1항에 있어서, 상기 샤프닝 동작은 상기 콘텐츠 인자를 상기 휘도 픽셀 값의 상기 일정 버전과 승산하는 것을 포함하고, 상기 스무딩 동작은 상기 콘텐츠 인자에 기초하여 상기 휘도 픽셀 값의 상기 일정 버전을 블렌딩하는 것을 포함하는, 장치.
제1항에 있어서, 상기 콘텐츠 맵은 상기 콘텐츠 맵 내의 그리드 포인트들에 대응하는 상기 이미지의 픽셀들에 적용될 샤프닝의 양을 나타내는 히트 맵(heat map)인, 장치.
이미지 프로세싱을 위한 장치에 의해 수행되는 방법으로서,
이미지의 휘도 픽셀 값들을 수신하는 단계;
상기 이미지의 세그먼트들 내의 콘텐츠의 카테고리들을 식별하는 콘텐츠 맵을 수신하는 단계;
상기 이미지 내의 픽셀과 연관된 콘텐츠 인자를, 상기 이미지 내의 콘텐츠의 식별된 카테고리들, 및 상기 픽셀의 텍스쳐 값 또는 상기 픽셀의 크로마 값 중 적어도 하나에 따라, 결정하는 단계 -
상기 텍스쳐 값은 상기 이미지 내의 텍스쳐에 기초하여 상기 픽셀과 연관된 콘텐츠의 카테고리의 우도를 나타내고,
상기 크로마 값은 상기 이미지의 컬러 정보에 기초하여 상기 픽셀과 연관된 상기 콘텐츠의 카테고리의 우도를 나타냄 -; 및
상기 픽셀의 휘도 픽셀 값의 일정 버전에 적어도 상기 콘텐츠 인자를 적용함으로써 상기 픽셀의 휘도 픽셀 값의 샤프닝된 버전을 생성하는 단계 - 상기 휘도 픽셀 값의 상기 일정 버전에 상기 콘텐츠 인자를 적용하는 것은 (i) 상기 콘텐츠 인자가 임계치를 초과하는 것에 응답하여 샤프닝 동작을 수행하는 것, 및 (ii) 상기 콘텐츠 인자가 상기 임계치 미만인 것에 응답하여 스무딩 동작을 수행하는 것을 포함함 - 를 포함하는, 방법.
제11항에 있어서, 뉴럴 프로세서 회로에 의해 상기 콘텐츠 맵을 생성하는 단계를 추가로 포함하고, 상기 뉴럴 프로세서 회로는 상기 콘텐츠 맵을 생성하기 위해 상기 이미지의 일정 버전에 대해 기계 학습 동작을 수행하는, 방법.
제11항에 있어서, 상기 콘텐츠 맵은 상기 이미지에 대해 다운스케일링되는, 방법.
제13항에 있어서, 상기 콘텐츠 인자를 결정하는 단계는 상기 콘텐츠 맵을 업샘플링하는 단계를 포함하는, 방법.
제14항에 있어서, 상기 콘텐츠 맵을 업샘플링하는 단계는,
상기 콘텐츠 맵 내의 그리드 포인트들과 연관된 콘텐츠 인자들을 획득하는 단계 - 상기 그리드 포인트들은 상기 콘텐츠 맵이 상기 이미지의 크기와 매칭하도록 확대될 때 상기 픽셀을 둘러쌈 -; 및
상기 픽셀과 연관된 상기 콘텐츠 인자를 획득하기 위해 상기 콘텐츠 인자들을 보간하는 단계를 포함하는, 방법.
전자 디바이스로서,
이미지에 대해 기계 학습 알고리즘을 수행함으로써 상기 이미지의 세그먼트들 내의 콘텐츠의 카테고리들을 식별하는 콘텐츠 맵을 생성하도록 구성된 뉴럴 프로세서 회로; 및
상기 뉴럴 프로세서 회로에 결합된 콘텐츠 이미지 프로세싱 회로를 포함하고, 상기 콘텐츠 이미지 프로세싱 회로는 상기 이미지의 휘도 픽셀 값들 및 상기 콘텐츠 맵을 수신하도록 구성되고, 상기 콘텐츠 이미지 프로세싱 회로는,
상기 이미지의 픽셀과 연관된 콘텐츠 인자를, 상기 이미지 내의 콘텐츠의 식별된 카테고리들, 및 상기 픽셀의 텍스쳐 값 또는 상기 픽셀의 크로마 값 중 적어도 하나에 따라, 결정하도록 구성된 콘텐츠 인자 회로 - 상기 텍스쳐 값은 상기 이미지 내의 텍스쳐에 기초하여 상기 픽셀과 연관된 콘텐츠의 카테고리의 우도를 나타내고, 상기 크로마 값은 상기 이미지의 컬러 정보에 기초하여 상기 픽셀과 연관된 상기 콘텐츠의 카테고리의 우도를 나타냄 -; 및
상기 콘텐츠 인자를 수신하기 위해 상기 콘텐츠 인자 회로에 결합되고, 상기 픽셀의 휘도 픽셀 값의 일정 버전에 적어도 상기 콘텐츠 인자를 적용함으로써 상기 픽셀의 휘도 픽셀 값의 샤프닝된 버전을 생성하도록 구성된 콘텐츠 수정 회로 - 상기 콘텐츠 수정 회로는 (i) 상기 콘텐츠 인자가 임계치를 초과하는 것에 응답하여 샤프닝 동작을 수행함으로써, 그리고 (ii) 상기 콘텐츠 인자가 상기 임계치 미만인 것에 응답하여 스무딩 동작을 수행함으로써 상기 휘도 픽셀 값의 상기 일정 버전에 상기 콘텐츠 인자를 적용하도록 구성됨 - 를 포함하는, 전자 디바이스.
제16항에 있어서, 상기 콘텐츠 맵은 상기 이미지에 대해 다운스케일링되는, 전자 디바이스.
제17항에 있어서, 상기 콘텐츠 인자 회로는 상기 콘텐츠 맵을 업샘플링함으로써 상기 콘텐츠 인자를 결정하도록 구성되는, 전자 디바이스.
제18항에 있어서, 상기 콘텐츠 맵은,
상기 콘텐츠 맵 내의 그리드 포인트들과 연관된 콘텐츠 인자들을 획득하는 것 - 상기 그리드 포인트들은 상기 콘텐츠 맵이 상기 이미지의 크기와 매칭하도록 확대될 때 상기 픽셀을 둘러쌈 -; 및
상기 픽셀과 연관된 상기 콘텐츠 인자를 획득하기 위해 상기 콘텐츠 인자들을 보간하는 것에 의해 업샘플링되는, 전자 디바이스.
제16항에 있어서, 상기 콘텐츠 이미지 프로세싱 회로에 결합된 양방향 필터를 추가로 포함하고, 상기 양방향 필터는 상기 휘도 픽셀 값의 상기 일정 버전을 생성하도록 구성되는, 전자 디바이스.