KR20220132301A

KR20220132301A - 신경망 처리 장치를 포함하는 애플리케이션 프로세서, 및 이의 동작 방법

Info

Publication number: KR20220132301A
Application number: KR1020210037440A
Authority: KR
Inventors: 이주현
Original assignee: 삼성전자주식회사
Priority date: 2021-03-23
Filing date: 2021-03-23
Publication date: 2022-09-30
Also published as: TW202244836A; CN115131191A; US20220309712A1

Abstract

본 개시의 예시적 실시예에 따른 애플리케이션 프로세서는, 신경망 네트워크를 이용하여 이미지 센서에서 제공되는 입력 이미지를 제1 패턴의 제1 이미지로 변환하고, 변환을 보상하기 위한 제2 이미지를 생성하는 신경망 처리 장치, 및 제1 패턴의 제1 이미지 및 제2 이미지를 각각 수신하여 이미지 신호 처리를 수행하는 복수의 파이프라인을 구비하는 이미지 신호 처리 장치를 포함한다.

Description

신경망 처리 장치를 포함하는 애플리케이션 프로세서, 및 이의 동작 방법{Application Processor including Neural Processing Unit and the Operating Method thereof}

본 개시의 기술적 사상은 애플리케이션 프로세서에 관한 것으로, 상세하게는 이미지 신호 처리의 최적화를 위한 구조를 갖는 애플리케이션 프로세서, 및 이의 동작 방법에 관한 것이다.

이미지 센서는 광학 렌즈를 통해 입사되는 광학 신호를 전기적인 이미지 신호로 변환할 수 있다. 최근 이미지 센서는 탑재되는 제품에 따라 구조가 변형되어 다양한 패턴의 이미지를 생성한다. 애플리케이션 프로세서는 이미지 센서에서 생성된 이미지를 RGB 형식의 이미지로 변환하는 처리 장치를 포함할 수 있다. 이미지 센서에서 생성되는 이미지의 패턴이 다양해짐에 따라, RGB 형식의 이미지로 변환함에 있어서 하드웨어 자원의 사용을 최적화하는 애플리케이션 프로세서의 구조가 요구되고 있다.

본 개시의 기술적 사상이 해결하려는 과제는 이미지 신호 처리의 최적화를 위한 구조를 갖는 애플리케이션 프로세서, 및 이의 동작 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상에 따른 애플리케이션 프로세서는, 신경망 네트워크를 이용하여 이미지 센서에서 제공되는 입력 이미지를 제1 패턴의 제1 이미지로 변환하고, 변환을 보상하기 위한 제2 이미지를 생성하는 신경망 처리 장치, 및 제1 패턴의 제1 이미지 및 제2 이미지를 각각 수신하여 이미지 신호 처리를 수행하는 복수의 파이프라인을 구비하는 이미지 신호 처리 장치를 포함한다.

본 개시의 기술적 사상에 따른 애플리케이션 프로세서는, 신경망 네트워크를 이용하여 이미지 센서에서 제공되는 입력 영상으로부터 각 프레임 별 디테일 정보를 나타내는 제1 이미지를 생성하는 신경망 처리 장치, 및 입력 영상을 구성하는 각 프레임 이미지를 베이어 패턴(Bayer Pattern)의 제2 이미지로 변환하고 상기 제1 이미지에 기초하여 상기 제2 이미지에 대한 이미지 신호 처리를 수행하는 이미지 신호 처리 장치를 포함한다.

본 개시의 기술적 사상에 따른 애플리케이션 프로세서의 동작 방법은, 입력 이미지를 수신하는 단계, 신경망 네트워크를 이용하여 입력 이미지를 베이어 패턴의 제1 이미지로 변환하는 단계, 신경망 네트워크를 이용하여 상기 변환을 보상하기 위한 제2 이미지를 생성하는 단계, 및 제2 이미지에 기초하여 제1 이미지에 대한 이미지 신호 처리를 수행하는 단계를 포함한다.

본 개시의 기술적 사상에 따른 애플리케이션 프로세서는, 입력 이미지를 제1 패턴의 제1 이미지로 변환하고, 변환을 보상하기 위한 제2 이미지를 생성하는 신경망 처리 장치를 포함할 수 있다. 신경망 처리 장치가 낮은 복잡도를 갖는 네트워크로 구성됨에 따라, 요구되는 연산량이 감소하고 전송 데이터의 대역폭이 향상되는 효과가 있다.

본 개시의 기술적 사상에 따른 애플리케이션 프로세서는, 입력 이미지의 패턴을 변환하는 동작이 신경망 처리 장치에 일임(offload) 됨에 따라, 이미지 신호 처리 장치는 하드웨어의 사용 및 레이아웃 면적을 최소화 할 수 있다. 또한, 이미지 신호 처리 장치는 제2 이미지에 기초하여 제1 이미지를 보정함으로써 변환으로 인해 생길 수 있는 데이터 손실 영역을 보상하고 이미지 품질을 향상시킬 수 있다.

본 개시의 기술적 사상에 따른 애플리케이션 프로세서는, 입력 데이터의 형식(예컨대, 이미지 또는 영상)에 따라 이미지 신호 처리 장치에 포함된 이미지 신호 처리 모듈의 온/오프를 제어함으로써 멀티미디어 신호 처리에 최적화된 구조를 제공할 수 있다.

도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 개략적으로 나타내는 블록도이다.
도 2은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 개략적으로 나타내는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서에서의 이미지 신호 처리를 개략적으로 나타내는 블록도이다.
도 4는 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서에서의 이미지 신호 처리를 개략적으로 나타내는 블록도이다.
도 5는 본 개시의 예시적 실시예에 따른 이미지 신호 처리 장치에서 이미지 신호 처리를 개략적으로 나타내는 블록도이다.
도 6은 본 개시의 예시적 실시예에 따른 신경망 처리 장치에서 신경망 네트워크를 학습시키는 방법을 나타내는 흐름도이다.
도 7은 본 개시의 예시적 실시예에 따른 신경망 네트워크의 구성을 나타내는 블록도이다.
도 8은 본 개시의 예시적 실시예에 따른 영상 처리 시스템을 나타낸다.
도 9는 본 개시의 예시적 실시예에 따른 영상 처리 시스템을 나타낸다.
도 10은 본 개시의 예시적 실시예가 적용될 수 있는 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.

이하, 첨부한 도면을 참조하여 본 개시의 실시예에 대해 상세히 설명한다.

도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 개략적으로 나타내는 블록도이다.

도 1을 참조하면, 이미지 신호 처리 시스템(10)은 이미지 센서(100), 및 이미지 센서(100)로부터 수신된 이미지를 처리하는 애플리케이션 프로세서(30, Application Processor; AP)를 포함할 수 있다.

이미지 센서(100)는 광학 렌즈를 통해 입사된 광학적 신호를 전기적 신호로 변환할 수 있다. 이미지 센서(100)는 행렬로 배치된 복수의 픽셀을 포함하는 픽셀 어레이(미도시)를 포함할 수 있고, 픽셀 어레이 상부에 배치되는 컬러 필터 어레이(미도시)를 포함할 수 있다. 광학 렌즈를 통해 입사된 광학 신호 중 컬러 필터 어레이를 투과한 특정한 파장 대역의 광학 신호가 픽셀 어레이로 입사됨으로써 색상 정보를 포함하는 이미지가 생성될 수 있다.

이미지 센서(100)는 이미지 또는 광 센싱 기능을 갖는 전자 기기에 탑재될 수 있다. 예를 들어, 이미지 센서(100)는 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)), 태블릿 PC(Personal Computer), PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation) 장치 등과 같은 전자 기기에 탑재될 수 있다. 또한 이미지 센서(100)는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 탑재될 수 있다.

이미지 센서(100)는 컬러 필터 어레이의 배치, 복수의 픽셀 사이의 노출 시간의 차이, 카메라 모듈의 위치(예컨대, 카메라 모듈이 디스플레이 하단에 위치하는 경우)등에 기인하여 다양한 패턴의 이미지를 생성할 수 있다. 이미지 센서(100)에서 생성된 다양한 패턴의 이미지는 애플리케이션 프로세서(30)에 입력 이미지(IMG_IN)로서 제공될 수 있다.

애플리케이션 프로세서(30)는 이미지 센서(100)에서 수신된 입력 이미지(IMG_IN)에 대한 이미지 신호 처리를 수행할 수 있다. 애플리케이션 프로세서(30)는 이미지 신호 처리의 전반적인 동작을 제어할 수 있으며, 입력 이미지(IMG_IN)를 변환 또는 가공하는 복수의 처리 장치를 포함할 수 있다. 복수의 처리 장치에서 변환 또는 가공된 이미지는 디스플레이 장치(미도시)로 제공될 수 있다. 예를 들어, 애플리케이션 프로세서(30)는 복수의 처리 장치가 하나의 칩에 탑재된 시스템 온 칩(System on Chip; SoC)으로 구현될 수 있다.

애플리케이션 프로세서(30)는 입력 이미지(IMG_IN)에 대한 변환을 수행하는 신경망 처리 장치(200)를 포함할 수 있다. 신경망 처리 장치(200)는 신경망 네트워크를 이용하여 입력 이미지(IMG_IN)를 제1 패턴의 제1 이미지(IMG_1)로 변환할 수 있다. 제1 패턴은 이미지 신호 처리 장치(300)가 처리하는 이미지의 패턴을 지칭할 수 있으며, 입력 이미지(IMG_IN)는 제1 패턴과 상이한 패턴의 이미지로서 제1 패턴으로의 변환이 요구될 수 있다.

신경망 처리 장치(200)는 신경망 네트워크를 이용하여 입력 이미지(IMG_IN)로부터 제2 이미지(IMG_2)를 생성할 수 있다. 제2 이미지(IMG_2)는 입력 이미지(IMG_IN)의 패턴을 변환함에 따라 생길 수 있는 데이터 손실 영역을 보상하기 위한 정보를 포함할 수 있다. 이미지 신호 처리 장치(300)는 제2 이미지(IMG_2)에 기초하여 제1 이미지(IMG_1)를 보정함으로써 입력 이미지(IMG_IN)와 유사한 품질을 갖는 이미지를 생성할 수 있다.

이미지 신호 처리 장치(300)는 신경망 처리 장치(200)로부터 제1 패턴의 제1 이미지(IMG_1)를 수신하여 다양한 이미지 처리들을 수행할 수 있다. 예를 들어, 이미지 신호 처리 장치(300)는 배드 픽셀 보정, 오프셋 보정, 렌즈 왜곡 보정, 자동 위상차 검출(phase detection auto focus), 동적 범위 압축(dynamic range compression), 컬러 게인(color gain) 보정, 쉐이딩(shading) 보정, 감마(gamma) 보정, 디노이징(Denoising), 샤프닝 중 적어도 하나의 이미지 처리를 수행할 수 있다.

일부 실시예들에서, 이미지 신호 처리 장치(300)는 복수의 파이프라인(320, 340)을 구비할 수 있다. 파이프라인은 이전 단계의 출력 데이터가 다음 단계의 입력 데이터로 사용되는 파이프 라인 방식이 적용될 수 있다. 파이프라인은 데이터를 처리하는 기능 모듈들이 연결된 구성을 지칭할 수 있다. 이미지 신호 처리 장치(300)는 제1 파이프라인(320) 및 제2 파이프라인(340)을 포함할 수 있다. 제1 파이프라인(320)은 제1 이미지(IMG_1)를 수신하고, 제2 파이프라인(340)은 제1 파이프라인(320)에서 출력된 이미지 및 제2 이미지(IMG_2)를 수신함으로써, 단계적으로 이미지 신호 처리를 수행할 수 있다.

본 개시의 예시적 실시예에 따르면, 입력 이미지(IMG_IN)의 패턴을 변환하는 동작이 신경망 처리 장치(200)에 일임(offload) 됨에 따라, 이미지 신호 처리 장치(300)는 하드웨어의 사용 및 레이아웃 면적이 최소화 될 수 있다. 또한, 이미지 신호 처리 장치(300)는 제2 이미지(IMG_2)에 기초하여 제1 이미지(IMG_1)를 보정함으로써 변환으로 인해 생길 수 있는 데이터 손실 영역을 보상하고 이미지 품질을 향상시킬 수 있다.

도 2은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 개략적으로 나타내는 블록도이다.

도 2를 참조하면, 이미지 처리 시스템(10a)은 신경망 처리 장치(200a)를 포함하는 이미지 센서 모듈(20a), 및 이미지 센서 모듈(20a)로부터 수신되는 이미지를 처리하는 애플리케이션 프로세서(30a)를 포함할 수 있다.

본 개시의 예시적 실시예에 따른 신경망 처리 장치(200a)는 이미지 센서(100a)로부터 제공된 입력 이미지(IMG_IN)를 제1 패턴의 제1 이미지(IMG_1)로 변환하고, 제2 이미지(IMG_2)를 생성하는 낮은 복잡도의 네트워크로 구성될 수 있다. 이에 따라, 신경망 처리 장치(200a)에서 요구되는 연산량이 감소하고 전송 데이터의 대역폭이 향상될 수 있다. 신경망 처리 장치(200a)의 경량화에 따라 신경망 처리 장치(200a)는 이미지 센서 모듈(20a)에 탑재되어 구현될 수 있다. 이미지 센서 모듈(20a)에 포함된 신경망 처리 장치(200a)는 뉴럴 프로세서, 뉴럴 엔진 등으로 다양하게 지칭될 수 있다.

신경망 처리 장치(200a)는 이미지 센서(100a)를 구성하는 센서 칩과 적층된 형태로 구현될 수 있다. 예를 들어, 이미지 센서(100a)는 첫번째 칩으로 구성되고, 신경망 처리 장치(200a)는 제어 로직과 함께 두번째 칩으로 구성되어 두 개의 칩이 적층된 형태로 구현될 수 있다. 그러나, 본 발명은 이에 제한되지 않으며, 이미지 센서(100a) 및 신경망 처리 장치(200a)는 서로 다른 반도체에 집적되어 연결 부재를 통해 전기적으로 연결되거나, 관통 비아(via)를 통해 서로 전기적으로 연결될 수 있다.

애플리케이션 프로세서(30a)는 이미지 센서 모듈(20a)로부터 제1 이미지(IMG_1) 및 제2 이미지(IMG_2)를 수신할 수 있다. 애플리케이션 프로세서(30a)는 이미지 전송 속도를 높이기 위해 메모리 장치(250a)를 더 포함할 수 있다. 예를 들어, 메모리 장치는 DDR SDRAM(Double Data Rate Synchronous Dynamic Random Access Memory), LPDDR(Low Power Double Data Rate) SDRAM, GDDR(Graphics Double Data Rate) SDRAM, RDRAM(Rambus Dynamic Random Access Memory) 등과 같은 동적 랜덤 억세스 메모리(DRAM)일 수 있다.

메모리 장치(250a)는 이미지 센서 모듈(20a)로부터 제1 이미지(IMG_1) 및 제2 이미지(IMG_2) 중 적어도 하나를 수신하여 저장할 수 있다. 메모리 장치(250a)는 애플리케이션 프로세서(30a)에서 생성되는 커맨드에 응답하여 이미지 신호 처리 장치(300a)로 제1 이미지(IMG_1) 및 제2 이미지(IMG_2) 중 적어도 하나를 제공할 수 있다. 일부 실시예들에서, 메모리 장치(250a)는 제1 이미지(IMG_1)를 제1 파이프라인(310)으로 제공하며, 제2 이미지(IMG_2)를 제2 파이프라인(330)으로 제공할 수 있다.

도 3은 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서에서의 이미지 신호 처리를 개략적으로 나타내는 블록도이다. 도 3은 도 1을 참조하여 후술될 것이다.

도 3을 참조하면, 이미지 센서(100)는 컬러 필터 어레이의 구조에 따라 다양한 패턴의 이미지를 생성할 수 있다. 이미지 센서(100)는 베이어 패턴(Bayer Pattern)의 컬러 필터 어레이를 포함할 수 있다. 베이어 패턴은, 2행 2열로 배치되며 레드 필터, 블루 필터, 및 2개의 그린 필터의 조합으로 구성된 패턴을 지칭할 수 있다.

한편, 이미지 센서(100)는 베이어 패턴으로부터 변형된 패턴을 갖는 컬러 필터 어레이를 포함할 수 있다. 예를 들어, 이미지 센서(100)는 베이어 패턴에서 그린 필터가 변형된 컬러 필터 어레이를 포함할 수 있다. 컬러 필터 어레이는 베이어 패턴에서 2개의 그린 필터 중 1개의 그린 필터가 화이트 필터로 변형됨에 따라 레드 필터, 블루 필터, 그린 필터, 및 화이트 필터의 조합으로 구성될 수 있다. 컬러 필터 어레이는 베이어 패턴에서 2개의 그린 필터가 각각 화이트 필터로 변형됨에 따라 레드 필터, 블루 필터, 및 2개의 화이트 필터의 조합으로 구성될 수 있다. 화이트 필터는 클리어 필터, 투명(transparent) 필터 등으로 다양하게 지칭될 수 있다.

이미지 센서(100)는 베이어 패턴에 포함된 컬러 필터들 중 적어도 하나가 시안(Cyan) 필터, 마젠타(Magenta) 필터, 및 옐로우(Yellow) 필터 중 하나로 변형된 컬러 필터 어레이를 포함할 수 있다. 예를 들어, 컬러 필터 어레이는 베이어 패턴에서 2개의 그린 필터가 각각 옐로우 필터로 변형됨에 따라 레드 필터, 블루 필터, 및 2개의 옐로우 필터의 조합으로 구성될 수 있다. 컬러 필터 어레이는 시안 필터, 마젠타 필터, 및 2개의 옐로우 필터의 조합으로 구성될 수 있다. 또한 컬러 필터 어레이는 시안 필터, 마젠타 필터, 그린 필터, 및 옐로우 필터로 구성될 수 있다. 이미지 센서(100)는 컬러 필터 어레이의 배치에 따라 다양한 패턴의 이미지를 생성할 수 있다.

일부 실시예들에서, 이미지 센서(100)는 복수의 픽셀을 구비하고, 복수의 픽셀은 동일한 색상에 대응하는 복수의 인접한 픽셀들로 구분될 수 있다. 이미지 센서(100)는 복수의 인접한 픽셀들 상부에 동일한 컬러 필터가 각각 배치되는 컬러 필터 어레이를 포함할 수 있다. 예를 들어, 이미지 센서(100)는 동일한 색상에 대응하는 2행 2열로 배치된 4개의 인접한 픽셀들로 구분되는 복수의 픽셀을 구비할 수 있다. 예를 들어, 이미지 센서(100)는 동일한 색상에 대응하는 3행 3열로 배치된 9개의 인접한 픽셀들로 구분되는 복수의 픽셀을 구비할 수 있다. 예를 들어, 이미지 센서(100)는 동일한 색상에 대응하는 4행 4열로 배치된 16개의 인접한 픽셀들로 구분되는 복수의 픽셀을 구비할 수 있다. 이미지 센서(100)는 복수의 픽셀의 행렬 배치에 따라 다양한 패턴의 이미지를 생성할 수 있다.

도 3에 도시된 바와 같이, 이미지 센서(100)는 행렬로 배치된 복수의 픽셀을 구비하고, 복수의 픽셀은 동일한 색상에 대응하는 2행 2열로 배치된 4개의 인접한 픽셀들로 구분될 수 있다. 예를 들어, 이미지 센서(100)는 2행 2열로 배치된 4개의 인접한 픽셀들의 상부에 동일한 컬러 필터가 각각 배치되는 구조를 가질 수 있다. 이미지 센서(100)는 컬러 필터 어레이의 구조에 기초하여 복수의 인접한 픽셀들이 동일한 색상 정보를 나타내는 이미지를 생성할 수 있다. 이미지 센서(100)에서 생성된 이미지는 신경망 처리 장치(200)에 입력 이미지(IMG_IN)로서 제공될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 입력 이미지(IMG_IN)는 컬러 필터 어레이의 배치에 따라 다양한 패턴을 가질 수 있다.

신경망 처리 장치(200)는 입력 이미지(IMG_IN)를 제1 패턴의 제1 이미지(IMG_1)로 변환할 수 있다. 일부 실시예들에서, 이미지 신호 처리 장치(300)가 베이어 패턴의 이미지를 처리함에 대응하여, 신경망 처리 장치(200)는 입력 이미지(IMG_IN)를 베이어 패턴의 제1 이미지(IMG_1)로 변환할 수 있다. 예를 들어, 입력 이미지(IMG_IN)에서 동일한 색상에 대응하는 4개의 인접한 픽셀들은 그린 픽셀(G), 레드 픽셀(R), 및 2개의 블루 픽셀(B)의 조합으로 변환될 수 있다. 그러나, 본 발명은 이에 제한되지 않으며, 신경망 처리 장치(200)는 이미지 신호 처리 장치(300)가 처리하는 다양한 패턴의 이미지로 입력 이미지(IMG_IN)를 변환할 수 있다.

신경망 처리 장치(200)는 입력 이미지(IMG_IN)로부터 제2 이미지(IMG_2)를 생성할 수 있다. 제2 이미지(IMG_2)는 입력 이미지(IMG_IN)를 베이어 패턴의 제1 이미지(IMG_1)로 변환함에 따라 생길 수 있는 데이터 손실 영역을 보상하는 정보를 포함할 수 있다. 예를 들어, 제2 이미지(IMG_2)는 입력 이미지(IMG_IN)에 대한 휘도(luminance) 정보를 나타낼 수 있다.

일부 실시예들에서, 이미지 신호 처리 장치(300)는 복수의 파이프라인을 구비할 수 있다. 제1 파이프라인(320)은 제1 이미지(IMG_1)을 수신하여 제1 이미지(IMG_1)에 대한 이미지 신호 처리를 수행할 수 있다. 제2 파이프라인(340)은 제2 이미지(IMG_2)를 수신하여 제1 이미지(IMG_1)를 보정할 수 있다. 예를 들어, 제2 파이프라인(340)은 제1 파이프라인(320)에서 출력된 이미지에 제2 이미지(IMG_2)의 휘도 정보에 기초한 필터링을 적용할 수 있다. 이에 따라, 이미지 신호 처리 장치(300)는 입력 이미지(IMG_IN)와 유사한 이미지 품질을 갖는 출력 이미지(IMG_OUT)를 생성할 수 있다. 본 개시의 예시적 실시예에 따른 이미지 신호 처리 장치(300)는 입력 이미지(IMG_IN)와 유사한 수치의 PSNR(Peak Signal-to-noise ratio) 또는 SSIM(Structural similarity)을 가진 출력 이미지(IMG_OUT)를 생성할 수 있다.

도 4는 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서에서의 이미지 신호 처리를 개략적으로 나타내는 블록도이다. 도 4는 도 1을 참조하여 후술될 것이다.

도 4를 참조하면, 이미지 센서(100)는 노출 시간(exposure time)이 다른 복수의 픽셀의 조합에 따라 다양한 패턴의 이미지를 생성할 수 있다. 예를 들어, 복수의 픽셀은 기준 시간보다 짧은 시간동안 광원에 노출되는 짧은 노출 시간(short exposure time)을 갖는 픽셀, 기준 시간보다 긴 시간동안 광원에 노출되는 긴 노출 시간(long exposure time)을 갖는 픽셀, 및 평균 시간동안 광원에 노출되는 중간 노출 시간(mid exposure time)을 갖는 픽셀들의 조합으로 구성될 수 있다.

도 4에 도시된 바와 같이, 4개의 인접한 픽셀들의 상부에 동일한 컬러 필터들이 각각 배치되고, 4개의 인접한 픽셀들에 서로 다른 노출 시간이 설정될 수 있다. 예를 들어, 4개의 인접한 픽셀들은 짧은 노출 시간을 갖는 1개의 픽셀(S), 중간 노출 시간을 갖는 2개의 픽셀들(M), 긴 노출 시간을 갖는 1개의 픽셀(L)로 구성될 수 있다. 이미지 센서(100)는 복수의 픽셀의 노출 시간에 따라 서로 다른 동적 범위를 포함한 이미지를 생성할 수 있다. 이미지 센서(100)에서 생성된 이미지는 신경망 처리 장치(200)에 입력 이미지(IMG_IN)로서 제공될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 입력 이미지(IMG_IN)는 복수의 픽셀 간의 노출 시간 차이에 따라 다양한 패턴을 가질 수 있다.

신경망 처리 장치(200)는 입력 이미지(IMG_IN)를 제1 패턴의 제1 이미지(IMG_1)로 변환할 수 있다. 일부 실시예들에서, 이미지 신호 처리 장치(300)가 베이어 패턴의 이미지를 처리함에 대응하여, 신경망 처리 장치(200)는 입력 이미지(IMG_IN)를 베이어 패턴의 제1 이미지(IMG_1)로 변환할 수 있다. 예를 들어, 입력 이미지(IMG_IN)에서 서로 다른 동적 범위를 가진 4개의 인접한 픽셀들은 그린(G), 레드(R) 및 2개의 블루(B) 픽셀의 조합으로 변환될 수 있다. 그러나, 본 발명은 이에 제한되지 않으며, 신경망 처리 장치(200)는 이미지 신호 처리 장치(300)가 처리하는 다른 패턴의 이미지로 입력 이미지(IMG_IN)를 변환할 수도 있다.

도 5는 본 개시의 예시적 실시예에 따른 이미지 신호 처리 장치에서 이미지 신호 처리를 개략적으로 나타내는 블록도이다.

도 5를 참조하면, 이미지 신호 처리 장치(300)는 복수의 파이프라인(320, 340)을 구비하며, 복수의 파이프라인(320, 340) 각각은 적어도 하나의 이미지 신호 처리 모듈을 포함할 수 있다.

일부 실시예들에서, 이미지 신호 처리 장치(300)는 멀티-셀-비닝부(Multi Cell Binning; MCB)를 포함할 수 있다. 멀티-셀-비닝부(MCB)는 이미지 신호 처리 장치(300)에 수신되는 입력 데이터의 형식(예컨대, 이미지 또는 영상)에 따라 이미지 신호 처리 장치(300)에 의해 온/오프가 제어될 수 있다. 예를 들어, 멀티-셀-비닝부(MCB)는 입력 데이터가 이미지인 경우 턴-오프되어 동작하지 않고, 입력 데이터가 영상인 경우 턴-온되어 동작할 수 있다.

이미지 신호 처리 장치(300)는 제1 파이프라인(320)을 포함할 수 있다. 제1 파이프라인(320)은 제1 이미지(IMG_1)를 수신하여 이미지 신호 처리를 수행할 수 있다. 예를 들어, 제1 파이프라인(320)은 배드 픽셀 보정부(BPC) 및 노이즈 제거부(NR)를 포함할 수 있다. 배드 픽셀 보정부(BPC)는 제1 이미지(IMG_1)에서 제조 공정으로 인해 존재하는 데드 픽셀이나 핫픽셀과 같은 결함 픽셀을 보정할 수 있다. 배드 픽셀 보정부(BPC)는 제1 이미지(IMG_1)에서 배드 픽셀에 해당하는 픽셀 값을 배드 픽셀에 인접한 픽셀들의 픽셀 값들로 보정할 수 있다. 노이즈 제거부(NR)는 노이즈 종류에 적합한 필터(예컨대, 가우시안 필터)를 사용하여 노이즈를 포함하는 픽셀에 해당하는 픽셀 값을 노이즈를 포함하는 픽셀에 인접한 픽셀들의 픽셀 값들로 보정할 수 있다.

이미지 신호 처리 장치(300)는 제2 파이프라인(340)을 더 포함할 수 있다. 제2 파이프라인(340)은 제1 파이프라인(320)의 후단에 연결되어 제1 파이프라인(320)에서 출력된 이미지에 대한 이미지 신호 처리를 수행할 수 있다. 예를 들어, 제2 파이프라인(340)은 RGB 변환부(DMSC) 및 화질 개선부(IE)를 포함할 수 있다. RGB 변환부(DMSC)는 제1 파이프라인(320)에서 출력된 이미지에서 인접한 픽셀 간 색상 보간(interpolation)을 수행함으로써, 복수의 픽셀 각각이 레드, 그린, 블루의 색상 정보를 모두 포함하는 RGB 이미지를 생성할 수 있다. 화질 개선부(IE)는 RGB 변환부(DMSC)에서 생성된 RGB 이미지에 제2 이미지(IMG_2)에 기초한 필터링을 적용할 수 있다. 예를 들어, 화질 개선부(IE)는 제2 이미지(IMG_2)가 나타내는 휘도 정보에 기초하여 RGB 이미지에 대해 샤프닝을 수행할 수 있다.

그러나, 본 발명은 이에 한정되지 않고, 제1 파이프라인(320) 및 제2 파이프라인(340)은 전술한 이미지 신호 처리 모듈 중 하나가 생략되어 구성될 수 있다. 또한, 제1 파이프라인(320) 및 제2 파이프라인(340)은 전술한 이미지 신호 처리 모듈에 추가적으로 다양한 이미지 신호 처리 모듈을 더 포함할 수도 있다.

도 6은 본 개시의 예시적 실시예에 따른 신경망 처리 장치에서 신경망 네트워크를 학습시키는 방법을 나타내는 흐름도이다.

도 6을 참조하면, 신경망 처리 장치는 복수의 파라미터들로 구성된 신경망 네트워크를 생성할 수 있다. 예를 들어, 신경망 네트워크는 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restricted Boltzmann Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network 등 다양한 종류의 네트워크들로 구성될 수 있다.

단계 S110에서, 신경망 처리 장치는 이미지 데이터(예컨대, 트레이닝 데이터)에 대한 전처리(pre-processing)를 수행할 수 있다. 신경망 처리 장치는 이미지 데이터에 포함된 임의의 위치에 존재하는 픽셀을 잘라내거나(crop), 이미지 데이터를 임의의 각도로 회전시키거나(rotate), 이미지 데이터를 뒤집음으로써(flip) 한정된 이미지 데이터의 양을 증가시킬 수 있다. 신경망 처리 장치는 이미지 데이터에 노이즈(예컨대, 가우시안 랜덤 노이즈)를 더함으로써 이미지 데이터를 다양하게 변화시킬 수 있다.

단계 S120에서, 신경망 처리 장치는 단계 S110에서 데이터 전처리를 통해 생성된 데이터 셋을 획득할 수 있다. 데이터 셋은 신경망 네트워크의 학습에 있어 참값(ground truth)을 나타내는 원본 이미지로 사용될 수 있다. 예를 들어, 데이터 셋으로부터 베이어 패턴의 원본 이미지, 휘도 정보를 나타내는 원본 이미지, 노이즈가 제거된 원본 이미지를 생성할 수 있다. 데이터 셋은 복수의 픽셀 각각이 레드, 그린, 블루의 색상 정보를 모두 포함하는 RGB 이미지일 수 있다. RGB 이미지에서 베이어 패턴의 형식에 대응하는 색상 정보를 샘플링함으로써 베이어 패턴의 원본 이미지를 생성할 수 있다. RGB 이미지에서 휘도 정보를 샘플링하는 연산을 수행함으로써 휘도 정보를 나타내는 원본 이미지를 생성할 수 있다. 그리고 RGB 이미지에 노이즈 제거 필터를 적용함으로써 노이즈가 제거된 원본 이미지를 생성할 수 있다.

단계 S130에서, 신경망 처리 장치는 데이터 셋을 입력받아 학습을 수행할 수 있다. 신경망 네트워크는 설정된 파라미터에 기초하여 전체 데이터 셋에 대해 한번의 학습을 완료할 수 있다.

단계 S140에서, 신경망 처리 장치는 손실 함수(L_JOINT)에 기초하여 단계 S130에서 수행된 신경망 네트워크의 학습을 평가할 수 있다. 손실 함수(L_JOINT)는 신경망 네트워크의 학습 과정에서 최적의 파라미터를 결정하기 위한 지표로 이용될 수 있다. 손실 함수(L_JOINT)가 최소값을 만족하지 않는 경우(S140-N), 신경망 네트워크의 파라미터들은 손실 함수(L_JOINT)가 감소하는 방향에 대응하여 업데이트될 수 있고, 단계 S130을 반복할 수 있다. 손실 함수(L_JOINT)가 최소값을 만족하는 경우(S140-Y), 신경망 네트워크의 최적의 파라미터가 결정되며 학습이 완료될 수 있다.

단계 S150에서, 신경망 처리 장치는 학습된 신경망 네트워크에 입력 이미지를 로드할 수 있다. 입력 이미지는 컬러 필터 어레이의 배치 변경 또는 복수의 픽셀 간의 노출 시간 차이에 기인하여 다양한 패턴의 이미지를 포함할 수 있다.

단계 S160에서, 학습된 신경망 네트워크는 다양한 패턴의 입력 이미지로부터 예측 이미지를 생성할 수 있다. 일부 실시예들에서, 신경망 네트워크는 입력 이미지를 베이어 패턴의 제1 이미지로 변환하고, 변환을 보상하기 위한 제2 이미지를 생성하는 간단한 네트워크로 구현될 수 있다.

도 7은 본 개시의 예시적 실시예에 따른 신경망 네트워크의 구성을 나타내는 블록도이다.

도 7을 참조하면, 신경망 네트워크는 복수의 서브 네트워크들로 구성될 수 있다. 서브 네트워크는, 손실 함수에 기초하여 입력 이미지와 서브 네트워크에서 출력된 예측 이미지 사이의 피쳐 맵(feature Map)을 학습함에 의해 입력 이미지로부터 피쳐 맵에 대응하는 이미지를 출력할 수 있다.

일부 실시예들에서, 신경망 네트워크는 제1 서브 네트워크(SN_1), 제2 서브 네트워크(SN_2) 및 제3 서브 네트워크(SN_3) 중 적어도 하나를 포함할 수 있다. 제1 서브 네트워크(SN_1)는 입력 이미지(IMG_IN)에서 노이즈 제거를 수행하도록 학습될 수 있다. 제1 서브 네트워크(SN_1)는 복수의 블록들(또는, 복수의 레이어들)을 포함할 수 있고, 복수의 블록들 각각은 이전 블록에서 출력된 데이터를 입력 데이터로 사용할 수 있다. 제1 서브 네트워크(SN_1)는 입력 이미지(IMG_IN)로부터 예측 이미지(P_NR)를 생성할 수 있다.

일부 실시예들에서, 제1 서브 네트워크(SN_1)는 제1 컨볼루션 블록(convolution block; CONV), 잔차 블록(Residual in Residual Dense Block; RRDB), 제2 컨볼루션 블록(CONV), 제3 컨볼루션 블록(CONV)을 포함할 수 있다. 제1 서브 네트워크(SN_1)는 스킵 커넥션(skip connection)으로 연결된 블록들을 포함할 수 있다. 예를 들어, 제1 컨볼루션 블록(CONV)에서 출력된 데이터는 잔차 블록(RRDB) 및 제2 컨볼루션 블록(CONV)를 거치지 않고 제3 컨볼루션 블록(CONV)의 입력 데이터로 사용될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 제1 서브 네트워크(SN_1)를 구성하는 복수의 블록들 중 일부가 생략될 수 있다. 또한, 제1 서브 네트워크(SN_1)는 컨볼루션 레이어(convolution layer), 풀링(pooling layer) 레이어, 활성 레이어(activation layer) 및 풀리 커넥티드 레이어(fully-connected layer) 등을 더 포함할 수도 있다. 제1 서브 네트워크(SN_1)는 아래 수학식 1과 같은 손실 함수(L_NR)에 기초하여 학습될 수 있다. 제1 서브 네트워크(SN_1)는 노이즈가 제거된 원본 이미지(RGB_gt)와 제1 서브 네트워크(SN_1)에서 생성된 예측 이미지(P_NR)와의 차이가 감소하는 방향으로 학습될 수 있다.

제2 서브 네트워크(SN_2)는 제1 서브 네트워크(SN_1)에서 출력된 이미지(P_NR)를 수신하여 베이어 패턴의 이미지로 변환하도록 학습될 수 있다. 예를 들어, 제2 서브 네트워크(SN_2)는 적어도 하나의 컨볼루션 블록을 포함할 수 있다. 제2 서브 네트워크(SN_2)는 제1 서브 네트워크(SN_1)에서 출력된 이미지(P_NR)로부터 예측 이미지(P_{IMG_1})를 생성할 수 있다. 제2 서브 네트워크(SN_2)는 아래 수학식 2와 같은 손실 함수(L_{IMG_1})에 기초하여 학습될 수 있다. 제2 서브 네트워크(SN_2)는 베이어 패턴의 원본 이미지(BAYER_gt)와 제2 서브 네트워크(SN_2)에서 생성된 예측 이미지(P_{IMG_1})와의 차이가 감소하는 방향으로 학습될 수 있다.

제3 서브 네트워크(SN_3)는 제1 서브 네트워크(SN_1)에서 출력된 이미지(P_NR)로부터 휘도 정보를 나타내는 이미지를 생성하도록 학습될 수 있다. 예를 들어, 제3 서브 네트워크(SN_3)는 적어도 하나의 컨볼루션 블록을 포함할 수 있다. 제3 서브 네트워크(SN_3)는 제1 서브 네트워크(SN_1)에서 생성된 이미지(P_NR)로부터 예측 이미지(P_{IMG_2})를 생성할 수 있다. 제3 서브 네트워크(SN_3)는 아래 수학식 3과 같은 손실 함수(L_{IMG_2})에 기초하여 학습될 수 있다. 제3 서브 네트워크(SN_3)는 휘도 정보를 나타내는 원본 이미지(luminance_gt)와 제3 서브 네트워크(SN_3)에서 생성된 예측 이미지(P_{IMG_2})와의 차이가 감소하는 방향으로 학습될 수 있다.

신경망 네트워크는 아래 수학식 4와 같이 제1 서브 네트워크(SN_1)의 손실 함수(L_NR), 제2 서브 네트워크(SN_2)의 손실 함수(L_{IMG_1}), 제3 서브 네트워크(SN_3)의 손실 함수(L_{IMG_2})로 구성된 손실 함수(L_JOINT)에 기초하여 학습될 수 있다. 신경망 처리 장치는 서브 네트워크에 따라 하이퍼 파라미터들(λ_NR 또는 λ_{IMG_2})을 조정함으로써 각 서브 네트워크에서 적용되는 손실 함수의 가중치를 조정할 수 있다.

도 8은 본 개시의 예시적 실시예에 따른 영상 처리 시스템을 나타낸다.

도 8을 참조하면, 영상 처리 시스템은 이미지 센서(100b), 및 이미지 센서(100b)로부터 수신된 영상을 처리하는 애플리케이션 프로세서(30b)를 포함할 수 있다. 애플리케이션 프로세서(30b)는 입력 데이터의 형식(예컨대, 이미지 또는 영상)에 따라 이미지 처리 모듈의 온/오프를 제어함으로써 동작 모드를 변경할 수 있다.

일부 실시예들에서, 이미지 센서(100b)는 영상을 구성하는 각 프레임 별 이미지를 생성할 수 있다. 이미지 센서(100b)에서 생성된 각 프레임 별 이미지는 입력 이미지(FR_IN)로서 애플리케이션 프로세서(30b)에 제공될 수 있다. 애플리케이션 프로세서(30b)는 이미지 센서(100b)로부터 제공된 입력 이미지(FR_IN)에 대한 이미지 신호 처리를 수행할 수 있다. 빠른 속도로 처리되어야 하는 영상의 특성에 기인하여, 애플리케이션 프로세서(30b)는 멀티-셀-비닝부(MCB)를 턴-온 시킬 수 있다.

이미지 신호 처리 장치(300b)에 포함된 멀티-셀-비닝부(MCB)는 입력 이미지(FR_IN)를 수신할 수 있다. 일부 실시예들에서, 멀티-셀-비닝부(MCB)는 동일한 색상에 대응하는 복수의 픽셀 신호들을 합산함으로써 입력 이미지(FR_IN)를 베이어 패턴의 제1 이미지(IMG_1)로 변환할 수 있다. 도 1 내지 도 6에서 전술한 신경망 처리 장치(200)가 신경망 네트워크에 기초하여 입력 이미지(IMG_IN)를 변환하는 동작과 비교할 때, 멀티-셀-비닝부(MCB)는 간단한 연산 과정을 수행함으로써 영상 처리의 딜레이가 감소할 수 있다.

신경망 처리 장치(200c)는 입력 이미지(FR_IN)를 수신하여 휘도 정보를 나타내는 제2 이미지(IMG_2)를 생성할 수 있다. 신경망 처리 장치(200c)에서 제2 이미지(IMG_2)를 생성하는 동작과 이미지 신호 처리 장치(300b)에서 입력 이미지(IMG_IN)를 베이어 패턴의 제1 이미지(IMG_1)로 변환하고, 제1 파이프라인(320b)에서 제1 이미지(IMG_1)에 대한 이미지 신호 처리를 수행하는 동작이 병렬적으로 수행될 수 있다. 이에 따라, 제2 이미지(IMG_2)는 제2 파이프라인(340b)의 동작 시점에 제2 파이프라인(340b)에 제공되어 영상 처리의 딜레이가 감소할 수 있다.

도 9는 본 개시의 예시적 실시예에 따른 영상 처리 시스템을 나타낸다.

도 9를 참조하면, 이미지 센서는 영상을 구성하는 각 프레임 별 이미지를 생성할 수 있다. 이미지 센서에서 생성된 각 프레임 별 이미지는 입력 이미지(FR_IN)로서 제공될 수 있다. 예를 들어, 이미지 센서는 컬러 필터 어레이의 구조에 대응하여 4개의 인접한 픽셀들이 동일한 색상 정보를 나타내는 이미지를 생성할 수 있다. 영상을 구성하는 복수의 프레임 이미지들은 순차적으로 신경망 처리 장치(200c) 및 이미지 신호 처리 장치(300b)로 제공될 수 있다.

일부 실시예들에서, 제1 프레임 이미지(FR_1)는 이미지 신호 처리 장치(300b)에 포함된 멀티-셀-비닝부(MCB)로 제공될 수 있다. 멀티-셀-비닝부(310b)는 제1 프레임 이미지(FR_1)에서 동일한 색상 정보에 대응하는 복수의 픽셀 신호들을 합산함으로써, 베이어 패턴의 제1 이미지(IMG_1)를 생성할 수 있다. 예를 들어, 제1 프레임 이미지(FR_1)에서 그린(G) 색상에 대응하는 4개의 픽셀들 에서 각각 출력된 픽셀 신호를 합산하여 베이어 패턴에 대응하는 그린 픽셀을 생성할 수 있다. 제1 프레임 이미지(FR_1)에서 레드(R) 색상에 대응하는 4개의 픽셀들 각각에서 출력된 픽셀 신호를 합산하여 베이어 패턴에 대응하는 레드 픽셀을 생성할 수 있다. 제1 프레임 이미지(FR_1)에서 블루(B) 색상에 대응하는 4개의 픽셀들 각각에서 출력된 픽셀 신호를 합산하여 베이어 패턴에 대응하는 블루 픽셀을 생성할 수 있다.

제1 프레임 이미지(FR_1)는 신경망 처리 장치(200c)로 제공될 수 있다. 신경망 처리 장치(200c)는 제1 프레임 이미지(FR_1)에 대한 휘도 정보를 나타내는 제2 이미지(IMG_2)를 생성할 수 있다. 신경망 처리 장치(200c)에서 제2 이미지(IMG_2)를 생성하는 동작과 제1 프레임 이미지(FR_1)를 베이어 패턴의 제1 이미지(IMG_1)로 변환하고, 제1 파이프라인(320b)에서 제1 이미지(IMG_1)에 대한 이미지 신호 처리를 수행하는 동작이 병렬적으로 수행될 수 있다.

제2 파이프라인(340b)은 제1 파이프라인(320b)에서 출력된 이미지에서 색상 보간을 수행함으로써 RGB 이미지를 생성할 수 있다. 제2 파이프라인(340b)은 생성된 RGB 이미지에 제2 이미지(IMG_2)에 기초한 필터링을 적용할 수 있다. 그러나 본 발명은 이에 한정되지 않으며, 제2 파이프라인(340b)은 일부 이미지 신호 처리를 수행하지 않을 수 있다. 또는, 제2 파이프라인(340b)은 인접한 프레임간의 정보에 기초하여 영상 복원을 더 수행하거나, RGB 이미지로부터 YUV 이미지로의 변환을 더 수행할 수 있다.

도 10은 본 개시의 예시적 실시예가 적용될 수 있는 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.

도 10을 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 스토리지(1400)를 포함할 수 있다.

카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 일부 실시예들에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하거나, n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수 있다.

이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.

이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.

카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 이에 제한되는 것은 아니다.

한편, 일부 실시예들에서, 하나의 서브 이미지 프로세서가 복수의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다. 이 때, 서브 이미지 프로세서(1212b)는 통합되지 않고, 카메라 모듈(1100b)로부터 이미지 데이터를 제공받을 수 있다.

또한, 일부 실시예들에서, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 그리고, 서브 이미지 프로세서(1212b)에서 처리된 이미지 데이터는 이미지 생성기(1214)에 바로 제공되나, 서브 이미지 프로세서(1212a)에서 처리된 이미지 데이터와 서브 이미지 프로세서 (1212c)에서 처리된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 어느 하나가 선택된 후, 이미지 생성기(1214)에 제공될 수 있다.

각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)는 카메라 모듈(1100a, 1100b, 1100c)로부터 제공된 이미지 데이터에 대해, 불량 픽셀 보정(bad pixel correction), 3A 조정(Auto-focus correction, Auto-white balance, Auto-exposure), 노이즈 제거(noise reduction), 샤프닝(sharpening), 감마 조정(gamma control), 리모자익(remosaic) 등의 이미지 처리를 수행할 수 있다.

일부 실시예들에서, 리모자익(remosaic) 신호 처리는 각각의 카메라 모듈(1100a, 1100b, 1100c)에서 수행된 후, 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수도 있다.

각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에서 처리된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공받은 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.

구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.

일부 실시예들에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 일부 실시예들에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.

이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 서브 이미지 프로세서(1212a)로부터 출력된 이미지 데이터와 서브 이미지 프로세서(1212c)로부터 출력된 이미지 데이터 중, 서브 이미지 프로세서(1212a)로부터 출력된 이미지 데이터와, 서브 이미지 프로세서(1212b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 서브 이미지 프로세서(1212a)로부터 출력된 이미지 데이터와 서브 이미지 프로세서(1212c)로부터 출력된 이미지 데이터 중, 서브 이미지 프로세서(1212c)로부터 출력된 이미지 데이터와, 서브 이미지 프로세서(1212b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 및 제2 신호와 다른 제3 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.

여기서, 디모자익(demosaic), 비디오/프리뷰(video/preview) 해상도 사이즈로 다운 스케일링(down scaling), 감마 보정, HDR(High Dynamic Range) 처리 등의 이미지 처리는 서브 이미지 프로세서(1212a, 1212b, 1212c)에서 미리 수행된 후, 처리된 이미지 데이터가 이미지 생성기(1214)에 전달된다. 따라서, 처리된 이미지 데이터가 선택부(1213)를 통해 하나의 신호 라인으로 이미지 생성기(1214)에 제공되어도 이미지 생성기(1214)의 이미지 병합 동작이 고속으로 수행될 수 있다.

일부 실시예들에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로써, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.

카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.

줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다.

일부 실시예들에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.

일부 실시예들에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.

애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예를 들어, 이미지 처리 장치(1210)의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 대응하는 서브 이미지 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.

PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.

PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.

이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

신경망 네트워크를 이용하여 이미지 센서에서 제공되는 입력 이미지를 제1 패턴의 제1 이미지로 변환하고, 상기 변환을 보상하기 위한 제2 이미지를 생성하는 신경망 처리 장치; 및
상기 제1 패턴의 제1 이미지 및 상기 제2 이미지를 각각 수신하여 이미지 신호 처리를 수행하는 복수의 파이프라인을 구비하는, 이미지 신호 처리 장치를 포함하는 애플리케이션 프로세서.
제1항에 있어서,
상기 제1 패턴은 베이어 패턴(Bayer Pattern)이고,
상기 입력 이미지는 상기 제1 패턴과 상이한 제2 패턴의 이미지인 것을 특징으로 하는 애플리케이션 프로세서.
제1항에 있어서,
상기 제2 이미지는, 상기 입력 이미지의 휘도(luminance) 정보를 나타내는 것을 특징으로 하는 애플리케이션 프로세서.
제1항에 있어서,
상기 복수의 파이프라인은,
상기 제1 이미지에 대한 이미지 신호 처리를 수행하는 제1 파이프라인; 및
상기 제1 파이프라인의 후단에 연결되며 상기 제1 파이프라인에서 출력된 이미지에서 색상 보간(interpolation)을 수행함으로써 RGB 형식을 갖는 제3 이미지를 생성하는, 제2 파이프라인을 포함하는 애플리케이션 프로세서.
제4항에 있어서,
상기 제2 파이프라인은,
상기 제3 이미지에 상기 제2 이미지에 기초한 필터링을 적용하는 것을 특징으로 하는 애플리케이션 프로세서.
제1항에 있어서,
상기 입력 이미지는,
동일한 색상에 대응하는 4개의 인접한 픽셀들로 구분되는, 복수의 픽셀을 구비한 상기 이미지 센서로부터 제공되는 것을 특징으로 하는 애플리케이션 프로세서.
제1항에 있어서,
상기 신경망 네트워크는 서브 네트워크를 포함하고,
상기 서브 네트워크는, 손실 함수에 기초하여 상기 입력 이미지와 상기 서브 네트워크에서 출력된 예측 이미지 사이의 피쳐 맵(feature Map)을 학습함에 의해, 상기 입력 이미지로부터 상기 피쳐 맵에 대응하는 이미지를 출력하는 것을 특징으로 하는 애플리케이션 프로세서.
제7항에 있어서,
상기 서브 네트워크는, 상기 제1 패턴의 원본 이미지와 상기 예측 이미지 사이의 차이값을 포함하는 손실 함수에 기초하여 학습되고,
상기 학습된 서브 네트워크는 상기 입력 이미지로부터 상기 제1 이미지를 출력하는 것을 특징으로 하는 애플리케이션 프로세서.
제7항에 있어서,
상기 서브 네트워크는, 휘도 정보를 나타내는 원본 이미지와 상기 예측 이미지 사이의 차이값을 포함하는 손실 함수에 기초하여 학습되고,
상기 학습된 서브 네트워크는 상기 입력 이미지로부터 상기 제2 이미지를 출력하는 것을 특징으로 하는 애플리케이션 프로세서.
제7항에 있어서,
상기 서브 네트워크는, 노이즈가 제거된 원본 이미지와 상기 예측 이미지 사이의 차이값을 포함하는 손실 함수에 기초하여 학습되고,
상기 학습된 서브 네트워크는 상기 입력 이미지로부터 노이즈가 제거된 이미지를 출력하는 것을 특징으로 하는 애플리케이션 프로세서.