KR20230069795A - Image signal processor, method of operating the image signal processor, and application processor including the image signal processor - Google Patents

Image signal processor, method of operating the image signal processor, and application processor including the image signal processor Download PDF

Info

Publication number
KR20230069795A
KR20230069795A KR1020220056873A KR20220056873A KR20230069795A KR 20230069795 A KR20230069795 A KR 20230069795A KR 1020220056873 A KR1020220056873 A KR 1020220056873A KR 20220056873 A KR20220056873 A KR 20220056873A KR 20230069795 A KR20230069795 A KR 20230069795A
Authority
KR
South Korea
Prior art keywords
image signal
image
signal
circuit
generating
Prior art date
Application number
KR1020220056873A
Other languages
Korean (ko)
Inventor
이주현
김일도
유두식
임석환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US17/970,272 priority Critical patent/US20230153948A1/en
Priority to JP2022172572A priority patent/JP2023072666A/en
Priority to TW111141700A priority patent/TW202335483A/en
Publication of KR20230069795A publication Critical patent/KR20230069795A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

본 개시는 이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 애플리케이션 프로세서를 개시한다. 소모 전력, data band-width 및 화질 저하를 최소화 하여 이미지 처리하는 이미지 신호 프로세서는, 분해 회로, 이미지 처리 엔진, 재구성 회로를 포함할 수 있다. 상기 분해 회로는 입력 이미지 신호를 제1 이미지 신호와 이미지 정보 신호로 분해한다. 제1 이미지 신호는 이후 이미지 처리, 스케일링등의 과정을 거친 후 상기 재구성 회로에 입력 되어 이미지 정보 신호와 재구성되고, 재구성 회로는 출력 이미지 신호를 생성한다. 상기 분해 회로가 생성하는 이미지 정보 신호는 스케일링 및 이미지 처리에서의 손상에 관한 정보를 최대한 포함할 수 있도록 상기 분해 회로 및 상기 재구성 회로에서 보상 및/또는 보정 될 수 있다.The present disclosure discloses an image signal processor, a method of operating the image signal processor, and an application processor including the image signal processor. An image signal processor that processes images while minimizing power consumption, data bandwidth, and image quality degradation may include a decomposition circuit, an image processing engine, and a reconstruction circuit. The decomposition circuit decomposes the input image signal into a first image signal and an image information signal. The first image signal is then input to the reconstructing circuit after going through processes such as image processing and scaling, and is reconstructed with the image information signal, and the reconstructing circuit generates an output image signal. The image information signal generated by the decomposition circuit may be compensated and/or corrected in the decomposition circuit and the reconstruction circuit so as to include information about damage in scaling and image processing as much as possible.

Figure P1020220056873
Figure P1020220056873

Description

이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 애플리케이션 프로세서{IMAGE SIGNAL PROCESSOR, METHOD OF OPERATING THE IMAGE SIGNAL PROCESSOR, AND APPLICATION PROCESSOR INCLUDING THE IMAGE SIGNAL PROCESSOR}An image signal processor, an operating method of the image signal processor, and an application processor including the image signal processor

본 개시의 기술적 사상은 이미지 신호 처리에 관한 것이며, 더욱 상세하게는, 이미지 센서로부터 수신되는 원시 이미지 데이터를 이미지 처리하는 이미지 신호 프로세서, 이미지 신호 프로세서의 동작 방법 및 이미지 신호 프로세서를 포함하는 애플리케이션 프로세서에 관한 것이다. The technical idea of the present disclosure relates to image signal processing, and more particularly, to an image signal processor that processes raw image data received from an image sensor, an operating method of the image signal processor, and an application processor including the image signal processor. it's about

카메라, 스마트 폰 등과 같은 촬상 장치에 구비되는 이미지 신호 프로세서는, 이미지 센서로부터 제공되는 원본 이미지를 이미지 처리하여 RGB 이미지 YUV 이미지 등의 변환된 이미지를 생성할 수 있다. 변환된 이미지는 JPEG, MPEG, H.264 등의 압축 기술을 기초로 압축되어 스토리지에 저장되거나 또는 디스플레이 장치에 표시 될 수 있다. 이미지 신호 프로세서는 외부로부터 수신되는 이미지 신호를 다양한 영상처리 프로세스에 따라 처리한다. 이미지 신호 프로세서의 기술 발전에 따라 다양한 기능의 추가 및 확장이 계속적으로 반영되고 있는 바, 이를 처리하기 위해 이미지 신호 프로세서에 요구되는 전력 및 data band-width가 증가하게 된다. An image signal processor provided in an imaging device such as a camera or smart phone may process an original image provided from an image sensor to generate a converted image such as an RGB image or a YUV image. The converted image may be compressed based on a compression technology such as JPEG, MPEG, H.264, or the like, and stored in storage or displayed on a display device. The image signal processor processes image signals received from the outside according to various image processing processes. As image signal processor technology develops, addition and expansion of various functions are continuously reflected, and power and data bandwidth required for image signal processors increase to process them.

본 개시의 기술적 사상이 해결하려는 과제는 입력 이미지 신호의 화질 저하를 최소화하면서, 소모 전력, data band-width를 최소화하는 이미지 처리를 수행하는 이미지 신호 프로세서, 이미지 신호 프로세서의 동작 방법 및 이미지 신호 프로세서를 포함하는 애플리케이션 프로세서를 제공하는 데 있다.The problem to be solved by the technical idea of the present disclosure is to provide an image signal processor, an operating method of the image signal processor, and an image signal processor that perform image processing that minimizes power consumption and data bandwidth while minimizing deterioration of the image quality of an input image signal. It is to provide an application processor that includes.

본 개시의 기술적 사상에 따른, 이미지 정보 신호를 이용하여 이미지 처리할 때 화질 열화(image quality loss)를 최소화하는 이미지 신호 프로세서는 입력 이미지 신호를 다운 스케일링하여 제1 이미지 신호를 생성하는 다운 스케일링 회로, 제1 이미지 신호에 대하여 복수의 이미지 처리를 수행하여 제2 이미지 신호를 생성하는 복수의 처리 모듈을 포함하는 이미지 처리 엔진, 제2 이미지 신호를 업 스케일링 하여 제3 이미지 신호를 생성하는 제1 업 스케일링 회로, 제1 이미지 신호를 업 스케일링하여 제4 이미지 신호를 생성하는 제2 업 스케일링 회로, 입력 이미지 신호와 제4 이미지 신호로부터 제3 이미지 신호의 화질 열화에 대한 정보를 추출하여 이미지 정보 신호를 생성하는 보정 정보 생성 회로 및 제3 이미지 신호와 이미지 정보 신호를 재구성하여 출력 이미지 신호를 생성하는 재구성 회로를 포함할 수 있다.According to the technical idea of the present disclosure, an image signal processor that minimizes image quality loss when image processing is performed using an image information signal includes a down-scaling circuit that generates a first image signal by down-scaling an input image signal; An image processing engine including a plurality of processing modules for generating a second image signal by performing a plurality of image processes on the first image signal, and a first upscaling unit for generating a third image signal by upscaling the second image signal circuit, a second up-scaling circuit for up-scaling the first image signal to generate a fourth image signal, extracting information on the image quality degradation of the third image signal from the input image signal and the fourth image signal to generate an image information signal It may include a correction information generation circuit and a reconstruction circuit for generating an output image signal by reconstructing the third image signal and the image information signal.

본 개시의 기술적 사상에 따른, 입력 이미지 신호를 이미지 처리하는 이미지 신호 프로세서의 동작 방법은, 입력 이미지 신호에 대해 다운 스케일링하여 제1 이미지 신호를 생성하는 단계, 제1 이미지 신호를 이미지 처리하여 제2 이미지 신호를 생성하는 단계, 제2 이미지 신호를 업 스케일링하여 제3 이미지 신호를 생성하는 단계, 제1 이미지 신호를 업 스케일링하여 제4 이미지 신호를 생성하는 단계, 입력 이미지 신호로부터 제3 이미지 신호의 화질 열화에 대한 정보를 추출하여 이미지 정보 신호를 생성하는 단계 및 제3 이미지 신호와 이미지 정보 신호를 재구성하여 출력 이미지 신호를 생성하는 단계를 포함할 수 있다.According to the technical idea of the present disclosure, a method of operating an image signal processor for image processing of an input image signal includes generating a first image signal by downscaling the input image signal, image processing the first image signal to obtain a second image signal, and performing image processing on the first image signal. Generating an image signal, generating a third image signal by up-scaling the second image signal, generating a fourth image signal by up-scaling the first image signal, generating a third image signal from an input image signal It may include generating an image information signal by extracting information about picture quality degradation and generating an output image signal by reconstructing the third image signal and the image information signal.

본 개시의 기술적 사상에 따른, 애플리케이션 프로세서는, 입력 이미지 신호를 기초로 입력 이미지 신호의 저주파 성분을 포함하는 제1 이미지 신호 및 고주파 신호를 포함하는 이미지 정보 신호를 생성하는 분해 회로, 제1 이미지 신호에 대하여 복수의 이미지 처리를 수행하여 제2 이미지 신호를 생성하는 복수의 이미지 처리 모듈을 포함하는 이미지 처리 엔진 및 제2 이미지 신호 및 이미지 정보 신호를 재구성하여 출력 이미지 신호를 생성하는 재구성 회로를 포함하는 이미지 신호 프로세서 및 이미지 정보 신호를 저장 및 재구성 회로에 전송할 수 있는 메모리를 포함할 수 있다.According to the technical idea of the present disclosure, the application processor includes a decomposition circuit for generating a first image signal including a low frequency component of the input image signal and an image information signal including a high frequency signal based on the input image signal, the first image signal An image processing engine including a plurality of image processing modules for performing a plurality of image processing to generate a second image signal and a reconstruction circuit for reconstructing the second image signal and the image information signal to generate an output image signal. It may include an image signal processor and a memory capable of transmitting image information signals to storage and reconstruction circuitry.

본 개시의 기술적 사상에 따른 이미지 신호 프로세서, 이미지 신호 프로세서의 동작 방법 및 이미지 신호 프로세서를 포함하는 애플리케이션 프로세서의 이미지 처리에 의하면, 입력 이미지 신호의 데이터량을 줄임으로써 이미지 처리에 소모되는 전력, data band-width 및 화질 열화(image quality loss)를 최소화 할 수 있다. 예를 들어, 입력 이미지 신호를 다운 스케일링하여 해상도가 줄어들면, 이미지 처리에 필요한 연산량이 감소되어 소모 전력과 data band-width가 감소하게 되지만, 이에 따른 화질 열화가 발생하게 된다. 본 개시에서는 입력 이미지 신호를 이용해 이미지 정보 신호를 생성하고 이미지 정보 신호와 이미지 처리된 신호를 재구성 함으로써 소모 전력, data band-width 및 출력 이미지 신호의 화질 열화를 최소화 할 수 있다.According to image processing of an application processor including an image signal processor, an operating method of the image signal processor, and an image signal processor according to the technical idea of the present disclosure, power consumed in image processing by reducing the amount of data of an input image signal, data band -Width and image quality loss can be minimized. For example, when the resolution is reduced by downscaling the input image signal, the amount of calculations required for image processing is reduced, and power consumption and data bandwidth are reduced, but picture quality is deteriorated accordingly. In the present disclosure, power consumption, data bandwidth, and image quality degradation of an output image signal can be minimized by generating an image information signal using an input image signal and reconstructing the image information signal and the image-processed signal.

도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다.
도 2는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 개략적으로 나타내는 도면이다.
도 3은 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 개략적으로 나타내는 도면이다.
도 4는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서의 분해 회로를 개략적으로 나타내는 블록도이다.
도 5는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서의 분해 회로를 개략적으로 나타내는 블록도이다.
도 6은 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서의 재구성 회로를 개략적으로 나타내는 블록도이다.
도 7은 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 개략적으로 나타내는 블록도이다.
도 8a 및 도8b는 본 개시의 예시적 실시예에 따른 원본 이미지 신호가 가질 수 있는 베이어 패턴(bayer pattern)을 나타낸다.
도 9는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 개략적으로 나타내는 블록도이다.
도 10은 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 개략적으로 나타내는 블록도이다.
도 11은 도 10의 이미지 신호 프로세서의 고주파 분해 회로를 개략적으로 나타내는 블록도이다.
도 12는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서의 동작 방법을 나타내는 흐름도이다.
도 13은 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서의 동작 방법을 나타내는 흐름도이다.
도 14는 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서를 나타내는 블록도이다.
도 15는 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서의 이미지 신호 프로세서 및 메모리를 나타내는 블록도이다.
도 16은 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 포함하는 이미지 센서를 나타내는 블록도이다.
도 17는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 포함하는 휴대용 단말기를 나타내는 블록도이다. 1 is a block diagram illustrating an image processing system according to an exemplary embodiment of the present disclosure.
2 is a diagram schematically illustrating an image signal processor according to an exemplary embodiment of the present disclosure.
3 is a diagram schematically illustrating an image signal processor according to an exemplary embodiment of the present disclosure.
Fig. 4 is a block diagram schematically illustrating a decomposition circuit of an image signal processor according to an exemplary embodiment of the present disclosure.
Fig. 5 is a block diagram schematically illustrating a decomposition circuit of an image signal processor according to an exemplary embodiment of the present disclosure.
Fig. 6 is a schematic block diagram of a reconstruction circuit of an image signal processor according to an exemplary embodiment of the present disclosure.
Fig. 7 is a schematic block diagram of an image signal processor according to an exemplary embodiment of the present disclosure.
8A and 8B show Bayer patterns that an original image signal may have according to exemplary embodiments of the present disclosure.
Fig. 9 is a schematic block diagram of an image signal processor according to an exemplary embodiment of the present disclosure.
Fig. 10 is a schematic block diagram of an image signal processor according to an exemplary embodiment of the present disclosure.
FIG. 11 is a block diagram schematically illustrating a high frequency decomposition circuit of the image signal processor of FIG. 10 .
12 is a flowchart illustrating an operating method of an image signal processor according to an exemplary embodiment of the present disclosure.
13 is a flowchart illustrating an operating method of an image signal processor according to an exemplary embodiment of the present disclosure.
Fig. 14 is a block diagram illustrating an application processor according to an exemplary embodiment of the present disclosure.
15 is a block diagram illustrating an image signal processor and a memory of an application processor according to an exemplary embodiment of the present disclosure.
16 is a block diagram illustrating an image sensor including an image signal processor according to an exemplary embodiment of the present disclosure.
17 is a block diagram illustrating a portable terminal including an image signal processor according to an exemplary embodiment of the present disclosure.

이하, 첨부한 도면을 참조하여 본 개시의 실시예에 대해 상세히 설명한다. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 본 개시의 예시적 실시예에 따른 이미지 처리 시스템을 나타내는 블록도이다. 1 is a block diagram illustrating an image processing system according to an exemplary embodiment of the present disclosure.

이미지 처리 시스템(100)은 전자 장치에 내장(embedded)되거나 또는 전자 장치로 구현될 수 있다. 전자 장치는 예를 들어, PC(personal computer), IoT(Internet of Things)장치, 또는 휴대용 전자 기기로 구현될 수 있다. 휴대용 전자 기기는, 랩탑 컴퓨터, 이동 전화기, 스마트폰, 태블릿 PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라, 디지털 비디오 카메라, 오디오 장치, PMP(portable multimedia player),PND(personal navigation device), MP3 플레이어, 휴대용 게임 콘솔(handheld game console), e-북(e-book), 웨어러블 기기 등일 수 있다. The image processing system 100 may be embedded in an electronic device or implemented as an electronic device. The electronic device may be implemented as, for example, a personal computer (PC), an Internet of Things (IoT) device, or a portable electronic device. Portable electronic devices include laptop computers, mobile phones, smart phones, tablet PCs, personal digital assistants (PDAs), enterprise digital assistants (EDAs), digital still cameras, digital video cameras, audio devices, portable multimedia players (PMPs), and PNDs. (personal navigation device), MP3 player, handheld game console, e-book, wearable device, and the like.

도1을 참조하면, 이미지 처리 시스템(100)은 이미지 센서(110), 이미지 신호 프로세서(120), 메모리(130) 및 디스플레이 장치(140)를 포함할 수 있다. Referring to FIG. 1 , an image processing system 100 may include an image sensor 110 , an image signal processor 120 , a memory 130 and a display device 140 .

이미지 센서(110)는 광학 렌즈(LS)를 통하여 입사된 피사체(OBJECT)의 광학적 신호를 전기적 신호 또는 이미지(즉, 이미지 데이터)로 변환할 수 있다. 이미지 센서(110)는 예를 들어, 2차원적으로 배열된 복수의 센싱 픽셀들을 포함하는 픽셀 어레이 및 센싱 회로를 포함할 수 있으며, 픽셀 어레이 및 센싱 회로는 하나의 반도체 칩에 집적될 수 있다. 픽셀 어레이는 수신되는 광 신호들을 전기적 신호들로 변환할 수 있다. 픽셀 어레이는 예를 들면, CCD(Charge Coupled Devices) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전 변환 소자로 구현 될 수 있으며 이외에도 다양한 종류의 광전 변환 소자로 구현될 수 있다. 센싱 회로는 픽셀 어레이로부터 제공되는 전기적 신호를 이미지로 변환하고, 변환된 이미지를 본 개시의 입력 이미지 신호(IIMG)로서 생성할 수 있다. 입력 이미지 신호(IIMG)는 이하의 설명에서 본 개시의 이미지 신호 프로세서(120)의 입력일 수 있다. The image sensor 110 may convert an optical signal of an object incident through the optical lens LS into an electrical signal or image (ie, image data). The image sensor 110 may include, for example, a pixel array including a plurality of sensing pixels arranged two-dimensionally and a sensing circuit, and the pixel array and sensing circuit may be integrated into a single semiconductor chip. The pixel array may convert received optical signals into electrical signals. The pixel array may be implemented with photoelectric conversion elements such as charge coupled devices (CCDs) or complementary metal oxide semiconductors (CMOS), and may be implemented with various types of photoelectric conversion elements. The sensing circuit may convert an electrical signal provided from the pixel array into an image, and generate the converted image as an input image signal IIMG according to the present disclosure. The input image signal IIMG may be an input of the image signal processor 120 of the present disclosure in the following description.

이미지 신호 프로세서(120)는 이미지 센서(110)으로부터 제공되는 입력 이미지 신호(IIMG)를 이미지 처리하여, 출력 이미지 신호(OIMG)를 생성할 수 있다. 예를 들어, 이미지 신호 프로세서(120)는 설정된 스케일링, 화이트 밸런스, 파라미터 등에 기초하여 입력 이미지 신호(IIMG)를 이미지 처리할 수 있다. 출력 이미지 신호(OIMG)는 RGB, YUV등과 같은 색 공간(color space) 이미지일 수 있다. 출력 이미지 신호(OIMG)의 사이즈, 예컨대 해상도는 입력 이미지 신호(IIMG)와 동일할 수 있다. 출력 이미지 신호(OIMG)는 메모리(130)에 저장될 수 있다. 메모리(130)는 DRAM(Dynamic Random Access Memory), SRAM(Static RAM)과 같은 휘발성 메모리 또는 PRAM(Phase Change RAM), ReRAM(Resistive RAM), 플레시 메모리와 같은 비휘발성 메모리일 수 있다. 메모리(130)에 저장된 출력 이미지 신호(OIMG)는 추후 이미지 처리 시스템(100)에서 사용되거나 또는 스토리지 장치에 저장될 수 있다.The image signal processor 120 may process the input image signal IIMG provided from the image sensor 110 to generate an output image signal OIMG. For example, the image signal processor 120 may process the input image signal IIMG based on set scaling, white balance, and parameters. The output image signal OIMG may be a color space image such as RGB or YUV. The output image signal OIMG may have the same size, eg, resolution, as the input image signal IIMG. The output image signal OIMG may be stored in the memory 130 . The memory 130 may be a volatile memory such as dynamic random access memory (DRAM) or static RAM (SRAM) or a non-volatile memory such as phase change RAM (PRAM), resistive RAM (ReRAM), or flash memory. The output image signal OIMG stored in the memory 130 may be later used in the image processing system 100 or stored in a storage device.

또한, 이미지 신호 프로세서(120)는 출력 이미지 신호(OIMG)의 사이즈를 감소시키거나 증가시킴으로써, 스케일링된 이미지를 생성할 수 있다. 예를 들어, 이미지 신호 프로세서(120)는 디스플레이 장치(140)의 해상도에 부합하도록 변환된 이미지 이미지의 사이즈, 즉 해상도를 스케일링 함으로써, 스케일링된 이미지를 생성할 수 있다. 이미지 신호 프로세서(120)는 스케일링된 이미지를 디스플레이 장치(140)에 제공할 수 있다.Also, the image signal processor 120 may generate a scaled image by reducing or increasing the size of the output image signal OIMG. For example, the image signal processor 120 may generate a scaled image by scaling the size, that is, the resolution, of the converted image to match the resolution of the display device 140 . The image signal processor 120 may provide the scaled image to the display device 140 .

이미지 신호 프로세서(120)에서는 이미지 센서(110)의 고화소 경향에 따라 이미지 처리에 소모되는 전력과, data band-width가 증가하게 된다. 따라서 이러한 문제점들을 해결하기 위해서 이미지 처리 전에 입력 이미지 신호(IIMG)의 사이즈, 즉 해상도를 감소시키는 방법을 사용할 수 있다. 하지만, 소모 전력 및 data band-width 감소를 위해 입력 이미지 신호(IIMG)의 데이터량을 줄이게 되면, 스케일링 과정에서 화질 열화(image quality loss)가 발생하게 되는 문제가 있다. In the image signal processor 120, as the image sensor 110 tends to have higher pixels, power consumed in image processing and data bandwidth increase. Therefore, in order to solve these problems, a method of reducing the size, that is, the resolution, of the input image signal IIMG before image processing may be used. However, when the amount of data of the input image signal IIMG is reduced to reduce power consumption and data bandwidth, there is a problem in that image quality loss occurs during the scaling process.

이와 같은 화질 열화를 최소화하기 위해 본 개시에서의 이미지 신호 프로세서(120), 이미지 신호 프로세서(120)의 동작 방법 및 이미지 신호 프로세서(120)를 포함하는 애플리케이션 프로세서(200)는 입력 이미지 신호(IIMG)의 데이터량을 줄이고 이미지 처리하는 과정 이외에 스케일링 및 이미지 처리에 의한 화질 열화에 대한 정보를 입력 이미지 신호(IIMG)로부터 추출하여 이미지 정보 신호(IMG_IF)를 생성하고, 이미지 정보 신호(IMG_IF)를 이용하여 출력 이미지 신호(OIMG)를 생성함으로써 출력 이미지 신호(OIMG)의 화질 저하를 최소화할 수 있다. 이를 통해 최종적으로 고화질의 입력 이미지 신호(IIMG)를 이미지 처리함에 있어서, 소모 전력 및 data band-width를 최소화하면서 화질 저하를 최소화 할 수 있다. In order to minimize such deterioration of image quality, the image signal processor 120 according to the present disclosure, an operation method of the image signal processor 120, and an application processor 200 including the image signal processor 120 are provided to generate an input image signal IIMG In addition to the process of reducing the amount of data and image processing, information on image quality degradation due to scaling and image processing is extracted from the input image signal (IIMG) to generate an image information signal (IMG_IF), and the image information signal (IMG_IF) is used to Deterioration of the image quality of the output image signal OIMG can be minimized by generating the output image signal OIMG. Through this, in image processing of the high-quality input image signal IIMG, it is possible to minimize picture quality deterioration while minimizing power consumption and data bandwidth.

도 2는 본 개시의 예시적 실시예에 따른 개략적인 이미지 신호 프로세서를 나타내는 도면이다. 2 is a diagram illustrating a schematic image signal processor according to an exemplary embodiment of the present disclosure.

도 2의 이미지 신호 프로세서(120)는 분해 회로(decomposition circuit, 121), 이미지 처리 엔진(image processing engine, 122), 재구성 회로(recomposition circuit, 124)를 포함할 수 있다. The image signal processor 120 of FIG. 2 may include a decomposition circuit 121 , an image processing engine 122 , and a recomposition circuit 124 .

도 2를 참조하면, 분해 회로(121)는 입력 이미지 신호(IIMG)를 다운 스케일링 및/또는 보정 정보 생성 과정을 통하여 제1 이미지 신호(IMG1) 및 이미지 정보 신호(IMG_IF)를 생성할 수 있다. 예를 들어, 제1 이미지 신호(IMG1)는 입력 이미지 신호(IIMG)를 다운 스케일링한 신호일 수 있다. 따라서 제1 이미지 신호(IMG1)의 데이터량은 입력 이미지 신호(IIMG)의 데이터량 보다 적을 수 있다. 또는 분해 회로(121)는 입력 이미지 신호(IIMG)를 주파수 대역(frequency band) 별로 구분하고, 로우 패스 필터(low pass filter)를 적용하여 저주파 성분을 갖는 제1 이미지 신호(IMG1)를 생성할 수 있다. 마찬가지로 제1 이미지 신호(IMG1)는 입력 이미지 신호(IIMG)보다 데이터량이 적을 수 있다. 이미지 정보 신호(IMG_IF)는 입력 이미지 신호(IIMG)의 고주파 성분를 추출하여 생성할 수 있다. 상기 고주파 성분은 스케일링 및 이미지 처리에 의한 화질 열화를 보정할 수 있는 보정 정보일 수 있다. Referring to FIG. 2 , the decomposition circuit 121 may generate a first image signal IMG1 and an image information signal IMG_IF by downscaling the input image signal IIMG and/or generating correction information. For example, the first image signal IMG1 may be a signal obtained by down-scaling the input image signal IIMG. Accordingly, the amount of data of the first image signal IMG1 may be less than that of the input image signal IIMG. Alternatively, the decomposition circuit 121 may divide the input image signal IIMG by frequency band and apply a low pass filter to generate the first image signal IMG1 having a low frequency component. there is. Similarly, the amount of data of the first image signal IMG1 may be smaller than that of the input image signal IIMG. The image information signal IMG_IF may be generated by extracting a high frequency component of the input image signal IIMG. The high frequency component may be correction information capable of correcting image quality deterioration due to scaling and image processing.

이미지 처리 엔진(122)은 제1 이미지 신호(IMG1)를 수신하고, 제1 이미지 신호(IMG1)에 대해 다양한 이미지 처리들을 수행하여 제2 이미지 신호(IMG2)를 생성할 수 있다. 이미지 처리 엔진(122)은 소모 전력과 연산량이 높은 복수의 이미지 모듈을 포함할 수 있다. The image processing engine 122 may receive the first image signal IMG1 and generate a second image signal IMG2 by performing various image processes on the first image signal IMG1. The image processing engine 122 may include a plurality of image modules with high power consumption and computational complexity.

전술한 바와 같이, 분해 회로(121)가 이미지 처리 엔진(122)에서 이미지 처리가 수행되기에 앞서, 입력 이미지 신호(IIMG)의 데이터량보다 적은 데이터량을 가지는 제1 이미지 신호(IMG1)를 생성한다. 그리고 이미지 처리 엔진(122)에서 제1 이미지 신호(IMG1)를 이미지 처리함으로써, 이미지 처리 엔진(122)에서 소모 전력 및 연산량이 감소될 수 있다. As described above, before image processing is performed in the image processing engine 122, the decomposition circuit 121 generates the first image signal IMG1 having a data amount smaller than that of the input image signal IIMG. do. In addition, by processing the first image signal IMG1 in the image processing engine 122 , power consumption and calculation amount may be reduced in the image processing engine 122 .

재구성 회로(124)는 이미지 처리 엔진(122)으로부터 출력되는 제2 이미지 신호(IMG2)와 이미지 정보 신호(IMG_IF)를 재구성하여 출력 이미지 신호(OIMG)를 생성할 수 있다. 제2 이미지 신호(IMG2)와 이미지 정보 신호(IMG_IF)를 재구성함으로써 화질 열화를 최소화할 수 있다. 전술한 바와 같이, 이미지 정보 신호(IMG_IF)는 고주파 신호일 수 있다. 예를 들어, 이미지 정보 신호(IMG_IF)는 입력 이미지 신호(IIMG)의 엣지(edge)에 관련된 정보를 포함할 수 있다. The reconstruction circuit 124 may reconstruct the second image signal IMG2 and the image information signal IMG_IF output from the image processing engine 122 to generate the output image signal OIMG. Image quality degradation can be minimized by reconstructing the second image signal IMG2 and the image information signal IMG_IF. As described above, the image information signal IMG_IF may be a high frequency signal. For example, the image information signal IMG_IF may include information related to an edge of the input image signal IIMG.

도 3은 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 개략적으로 나타내는 블록도이다.Fig. 3 is a schematic block diagram of an image signal processor according to an exemplary embodiment of the present disclosure.

도 3을 참조하면, 이미지 신호 프로세서(120)는 분해 회로(121), 이미지 처리 엔진(122), 제1 업 스케일링 회로(123) 및 재구성 회로(124)를 포함할 수 있다.Referring to FIG. 3 , the image signal processor 120 may include a decomposition circuit 121 , an image processing engine 122 , a first up-scaling circuit 123 and a reconstruction circuit 124 .

이미지 신호 프로세서(120)의 분해 회로(121)는 다운 스케일링 회로(125), 제2 업 스케일링 회로(126), 보정 정보 생성 회로(127)를 포함할 수 있다. 도 3에서는 제2 업 스케일링 회로(126)와 보정 정보 생성 회로(127)가 별개의 구성으로 도시되었으나, 이에 제한되는 것은 아니며 다른 실시예에 있어서 제2 업 스케일링 회로(126)는 보정 정보 생성 회로(127)에 포함될 수 있다. 또한, 도 3에는 재구성 회로(124)와 제1 업 스케일링 회로(123)와 별개의 구성으로 도시되었으나, 이에 제한되는 것은 아니며 제1 업 스케일링 회로(123)는 재구성 회로(124)에 포함될 수 있다. The decomposition circuit 121 of the image signal processor 120 may include a down scaling circuit 125 , a second up scaling circuit 126 , and a correction information generating circuit 127 . Although the second up-scaling circuit 126 and the correction information generation circuit 127 are shown as separate components in FIG. 3, it is not limited thereto, and in another embodiment, the second up-scaling circuit 126 is a correction information generation circuit. (127) can be included. In addition, although shown in FIG. 3 as a separate configuration from the reconstruction circuit 124 and the first upscaling circuit 123, it is not limited thereto and the first upscaling circuit 123 may be included in the reconstruction circuit 124. .

실시예에 있어서, 다운 스케일링 회로(125), 이미지 처리 엔진(122), 재구성 회로(124), 제1 업 스케일링 회로(123), 제2 업 스케일링 회로(126), 및 보정 정보 생성 회로(127)는 하드웨어로 구현될 수 있다. 그러나, 이에 제한되는 것은 아니며, 다운 스케일링 회로(125), 이미지 처리 엔진(122), 재구성 회로(124), 제1 업 스케일링 회로(123), 제2 업 스케일링 회로(126), 및 보정 정보 생성 회로(127)는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있다. In the embodiment, the downscaling circuit 125, the image processing engine 122, the reconstruction circuit 124, the first upscaling circuit 123, the second upscaling circuit 126, and the correction information generating circuit 127 ) may be implemented in hardware. However, it is not limited thereto, and the downscaling circuit 125, the image processing engine 122, the reconstruction circuit 124, the first upscaling circuit 123, the second upscaling circuit 126, and correction information generation Circuit 127 may be implemented in a combination of hardware and software.

입력 이미지 신호(IIMG)는 다운 스케일링 회로(125) 및 보정 정보 생성 회로(127)로 입력 될 수 있다. 다운 스케일링 회로(125)는 입력 이미지 신호(IIMG)를 다운 스케일링하여 제1 이미지 신호(IMG1)를 생성할 수 있다. 따라서 제1 이미지 신호(IMG1)의 해상도는 입력 이미지 신호(IIMG)의 해상도보다 작을 수 있다. 예를 들면, 제1 이미지 신호(IMG1)의 해상도는 640Х480일 수 있고, 입력 이미지 신호(IIMG)의 해상도는 800Х600일 수 있다. 다른 예로서, 다운 스케일링 회로(125)는 로우 패스 필터를 포함할 수 있으며, 이를 통해 입력 이미지 신호(IIMG)의 저주파 성분을 가지는 제1 이미지 신호(IMG1)가 생성될 수 있다. The input image signal IIMG may be input to the downscaling circuit 125 and the correction information generating circuit 127 . The down-scaling circuit 125 may generate the first image signal IMG1 by down-scaling the input image signal IIMG. Accordingly, the resolution of the first image signal IMG1 may be smaller than that of the input image signal IIMG. For example, the resolution of the first image signal IMG1 may be 640 Х 480, and the resolution of the input image signal IIMG may be 800 Х 600. As another example, the downscaling circuit 125 may include a low pass filter, through which the first image signal IMG1 having a low frequency component of the input image signal IIMG may be generated.

다운 스케일링 회로(125)를 통해 입력 이미지 신호(IIMG)의 해상도(resolution)를 줄이는 경우 소모 전력 및 band-width 이득이 가장 크기 때문에 스케일링을 통한 로우 패스 필터(low pass filter)를 본 발명의 예시적인 실시예로 기재하였지만, 본 발명은 스케일링 이외의 방법(예를 들어, 다운 스케일링 이외의 데이터량을 줄이는 방법)을 구현할 수 있는 로우 패스 필터에 의해 실시될 수 있다. When the resolution of the input image signal IIMG is reduced through the downscaling circuit 125, power consumption and bandwidth gain are the largest, so a low pass filter through scaling is an exemplary embodiment of the present invention. Although described as an example, the present invention can be implemented by a low pass filter capable of implementing a method other than scaling (eg, a method of reducing the amount of data other than downscaling).

제1 이미지 신호(IMG1)는 이미지 처리 엔진(122) 및 제2 업 스케일링 회로(126)에 입력 될 수 있다. 제2 업 스케일링 회로(126)는 제1 이미지 신호(IMG1)를 업 스케일링하여 제4 이미지 신호(IMG4)를 생성할 수 있다. 제4 이미지 신호(IMG4)의 해상도는 입력 이미지 신호(IIMG)의 해상도와 동일할 수 있다. 예를 들면, 제4 이미지 신호(IMG4)의 해상도와 입력 이미지 신호(IIMG)의 해상도는 800Х600일 수 있다. The first image signal IMG1 may be input to the image processing engine 122 and the second upscaling circuit 126 . The second up-scaling circuit 126 may generate a fourth image signal IMG4 by up-scaling the first image signal IMG1. The resolution of the fourth image signal IMG4 may be the same as that of the input image signal IIMG. For example, the resolution of the fourth image signal IMG4 and the resolution of the input image signal IIMG may be 800 Х 600.

제4 이미지 신호(IMG4) 및 입력 이미지 신호(IIMG)는 보정 정보 생성 회로(127)에 입력될 수 있다. 보정 정보 생성 회로(127)는 제4 이미지 신호(IMG4) 및 입력 이미지 신호(IIMG)로부터 스케일링 및 이미지 처리 엔진(122)에서의 이미지 처리에 의해 발생하는 화질 열화와 관련된 보정 정보를 추출하여 이미지 정보 신호(IMG_IF)를 생성할 수 있다. 이미지 정보 신호(IMG_IF)는 고주파 신호일 수 있다. 예를 들어, 이미지 처리 엔진(122) 에서의 이미지 처리 및 스케일링에 의한 손실(loss)을 보상하기 위한 정보를 포함하는 이미지 정보 신호(IMG_IF)는 입력 이미지 신호(IIMG)의 엣지(edge)와 관련된 고주파 정보를 포함하는 신호일 수 있다. 즉, 이미지 정보 신호(IMG_IF)는 입력 이미지 신호(IIMG)가 스케일링 및 이미지 처리 과정을 거치면서 발생하는 화질 열화와 관련되는 정보를 포함하고 있으므로, 재구성 회로(124)는 이미지 정보 신호(IMG_IF)를 이용해 출력 이미지 신호(OIMG)의 화질 저하를 최소화할 수 있다.The fourth image signal IMG4 and the input image signal IIMG may be input to the correction information generating circuit 127 . The correction information generation circuit 127 extracts correction information related to image quality degradation caused by scaling and image processing in the image processing engine 122 from the fourth image signal IMG4 and the input image signal IIMG to obtain image information. A signal (IMG_IF) can be generated. The image information signal IMG_IF may be a high frequency signal. For example, the image information signal IMG_IF including information for compensating for loss due to image processing and scaling in the image processing engine 122 is related to the edge of the input image signal IIMG. It may be a signal including high-frequency information. That is, since the image information signal IMG_IF includes information related to picture quality degradation that occurs while the input image signal IIMG undergoes scaling and image processing, the reconstruction circuit 124 converts the image information signal IMG_IF to Deterioration of the image quality of the output image signal OIMG can be minimized by using this.

이미지 처리 엔진(122)은 제1 이미지 신호(IMG1)에 대해 다양한 이미지 처리를 수행하여 제2 이미지 신호(IMG2)를 생성할 수 있다. 상기 이미지 처리 과정에서 화질 열화가 발생할 수 있으므로 제2 이미지 신호(IMG2)는 화질 저하된 이미지 신호일 수 있다. The image processing engine 122 may generate a second image signal IMG2 by performing various image processing on the first image signal IMG1. Since image quality degradation may occur during the image processing process, the second image signal IMG2 may be an image signal with a reduced quality.

제1 업 스케일링 회로(123)는 제2 이미지 신호(IMG2)를 업 스케일링하여 제3 이미지 신호(IMG3)를 생성할 수 있다. 따라서, 입력 이미지 신호(IIMG)와 제3 이미지 신호(IMG3)의 해상도는 동일할 수 있다. 예를 들면 입력 이미지 신호(IIMG)의 해상도와 제3 이미지 신호(IMG3)의 해상도는 800Х600일 수 있다. 이 과정에서도 스케일링에 의한 화질 열화가 발생할 수 있다. 따라서 제3 이미지 신호(IMG3)는 이미지 처리 및 스케일링에 의해 화질 저하된 이미지 신호일 수 있고, 제3 이미지 신호(IMG3)는 입력 이미지 신호(IIMG) 보다 낮은 화질을 가질 수 있다. The first up-scaling circuit 123 may generate a third image signal IMG3 by up-scaling the second image signal IMG2. Accordingly, resolutions of the input image signal IIMG and the third image signal IMG3 may be the same. For example, the resolution of the input image signal IIMG and the resolution of the third image signal IMG3 may be 800 Х 600. Even in this process, image quality deterioration due to scaling may occur. Accordingly, the third image signal IMG3 may be an image signal whose quality is deteriorated by image processing and scaling, and may have a lower quality than the input image signal IIMG.

재구성 회로(124)는 제3 이미지 신호(IMG3)와 이미지 정보 신호(IMG_IF)를 재구성하여 출력 이미지 신호(OIMG)를 생성할 수 있다. 전술한 바와 같이, 제3 이미지 신호(IMG3)는 화질 저하된 이미지 신호일 수 있고, 재구성 회로에서는 이미지 정보 신호(IMG_IF)가 포함하는 입력 이미지 신호(IIMG) 및 제4 이미지 신호(IMG4)로부터 추출한 보정 정보를 통해 제3 이미지 신호(IMG3)의 화질 저하를 최소화하는 보정을 수행할 수 있다. The reconstruction circuit 124 may generate an output image signal OIMG by reconstructing the third image signal IMG3 and the image information signal IMG_IF. As described above, the third image signal IMG3 may be an image signal with reduced quality, and the reconstruction circuit extracts corrections from the input image signal IIMG included in the image information signal IMG_IF and the fourth image signal IMG4. It is possible to perform correction to minimize deterioration of the image quality of the third image signal IMG3 through the information.

출력 이미지 신호(OIMG)는 이미지 신호 프로세서(120)를 포함하는 전자 기기 등의 디스플레이 장치(140)의 해상도에 맞게 다시 스케일링될 수 있다. The output image signal OIMG may be re-scaled to match the resolution of the display device 140 such as an electronic device including the image signal processor 120 .

도 4는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서의 분해 회로를 개략적으로 나타내는 블록도이다. Fig. 4 is a block diagram schematically illustrating a decomposition circuit of an image signal processor according to an exemplary embodiment of the present disclosure.

도 4를 참조하면, 분해 회로(121)는 다운 스케일링 회로(125), 제2 업 스케일링 회로(126), 보정 정보 생성 회로(127)를 포함할 수 있으며, 보정 정보 생성 회로(127)는, 적응형 필터(adaptive filter, 127-2), 노이즈 저감 필터(noise reduction filter, 127-4), 휘도 향상 회로(brightness enhancement circuit, 127-1), 선명도 향상 회로(sharp enhancement circuit, 127-3)중 적어도 하나를 포함할 수 있다. Referring to FIG. 4, the decomposition circuit 121 may include a down-scaling circuit 125, a second up-scaling circuit 126, and a correction information generation circuit 127, and the correction information generation circuit 127, Adaptive filter (127-2), noise reduction filter (127-4), brightness enhancement circuit (127-1), sharp enhancement circuit (127-3) may include at least one of them.

입력 이미지 신호(IIMG) 및 제4 이미지 신호(IMG4)는 휘도 향상 회로(127-1) 및 적응형 필터(127-2)를 통과할 수 있고, 적응형 필터(127-2)는 휘도 향상 회로(127-1)를 통과한 입력 이미지 신호(IIMG)와 제4 이미지 신호(IMG4)를 필터링하여 하나의 이미지 신호로 생성할 수 있지만, 본 발명은 이에 한정되지 않는다. The input image signal IIMG and the fourth image signal IMG4 may pass through the luminance enhancing circuit 127-1 and the adaptive filter 127-2, and the adaptive filter 127-2 may pass through the luminance enhancing circuit. Although the input image signal IIMG and the fourth image signal IMG4 passing through 127-1 may be filtered and generated as one image signal, the present invention is not limited thereto.

전술한 바와 같이, 보정 정보 생성 회로(127)는 이미지 처리 및 스케일링에서 발생하는 입력 이미지 신호(IIMG)의 화질 열화와 관련된 정보를 최대한 추출하기 위해 보정 정보 생성 과정을 수행하여 이미지 정보 신호(IMG_IF)를 생성한다. 보정 정보 생성 과정에서, 스케일링 및 이미지 처리 과정에서 발생할 수 있는 화질 열화는 주로 휘도 및/또는 선명도와 관련이 있을 수 있다. 따라서 본 개시의 다양한 예시적 실시예에서 보정 정보 생성 회로(127)는 휘도 향상 회로(127-1) 및/또는 선명도 향상 회로(127-3)를 포함할 수 있다.As described above, the correction information generation circuit 127 performs a correction information generation process in order to maximally extract information related to picture quality deterioration of the input image signal IIMG generated in image processing and scaling to generate the image information signal IMG_IF. generate In the process of generating correction information, image quality degradation that may occur in scaling and image processing may be mainly related to luminance and/or sharpness. Therefore, in various exemplary embodiments of the present disclosure, the correction information generation circuit 127 may include a luminance enhancement circuit 127-1 and/or a sharpness enhancement circuit 127-3.

도 5는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서의 분해 회로를 개략적으로 나타낸 블록도이다. Fig. 5 is a schematic block diagram of a decomposition circuit of an image signal processor according to an exemplary embodiment of the present disclosure.

도 5를 참조하면, 분해 회로(121)는 다운 스케일링 회로(125), 제2 업 스케일링 회로(126), 보정 정보 생성 회로(127)를 포함할 수 있다. 보정 정보 생성 회로(127)는 제1 휘도 향상 회로(127-11), 제2 휘도 향상 회로(127-12), 차분 회로(127-5)를 포함할 수 있다. Referring to FIG. 5 , the decomposition circuit 121 may include a down-scaling circuit 125 , a second up-scaling circuit 126 , and a correction information generation circuit 127 . The correction information generating circuit 127 may include a first luminance enhancing circuit 127-11, a second luminance enhancing circuit 127-12, and a difference circuit 127-5.

도 5는 입력 이미지 신호(IIMG) 및 제4 이미지 신호(IMG4)로부터 이미지 처리 및 스케일링에 의해 제3 이미지 신호(IMG3)가 갖고 있는 화질 열화에 대한 정보를 추출하여 이미지 정보 신호(IMG_IF)를 생성하는 하나의 실시예이다. 차분 회로(127-5)는 제1 휘도 향상 회로(127-11) 및 제2 휘도 향상 회로(127-12) 각각을 통과한 입력 이미지 신호(IIMG)와 제4 이미지 신호(IMG4)를 차분할 수 있고, 제1 휘도 향상 회로(127-11) 및 제2 휘도 향상 회로(127-12)를 통과한 입력 이미지 신호(IIMG)와 제4 이미지 신호(IMG4)를 차분한 신호는 선명도 향상 회로(127-3) 및 제2 휘도 향상 회로(127-12)를 통과한 입력 이미지 신호(IIMG)와 조합될 수 있다. 최종적으로 노이즈 저감 필터(127-4)를 통과할 수 있고, 보정 정보 생성 회로(127)는 이미지 정보 신호(IMG_IF)를 생성할 수 있다. 위와 같은 과정을 거쳐 보정 정보 생성 회로(127)가 생성하는 이미지 정보 신호(IMG_IF)는 고주파 신호일 수 있다. 예를 들어, 이미지 정보 신호(IMG_IF)는 입력 이미지 신호(IIMG)의 엣지(edge)와 관련된 정보를 포함하는 신호일 수 있다. FIG. 5 is an image information signal (IMG_IF) generated by extracting information on picture quality deterioration of a third image signal (IMG3) through image processing and scaling from an input image signal (IIMG) and a fourth image signal (IMG4). is one example of The difference circuit 127-5 differentiates the fourth image signal IMG4 from the input image signal IIMG that has passed through the first luminance enhancing circuit 127-11 and the second luminance enhancing circuit 127-12, respectively. The difference between the input image signal IIMG and the fourth image signal IMG4 passing through the first luminance enhancing circuit 127-11 and the second luminance enhancing circuit 127-12 is obtained by the sharpness enhancing circuit 127 -3) and the input image signal IIMG passed through the second luminance enhancing circuit 127-12. Finally, it may pass through the noise reduction filter 127-4, and the correction information generation circuit 127 may generate the image information signal IMG_IF. The image information signal IMG_IF generated by the correction information generation circuit 127 through the above process may be a high frequency signal. For example, the image information signal IMG_IF may be a signal including information related to an edge of the input image signal IIMG.

도 6은 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서의 재구성 회로를 개략적으로 나타낸 블록도이다.Fig. 6 is a schematic block diagram of a reconstruction circuit of an image signal processor according to an exemplary embodiment of the present disclosure.

도 6을 참조하면, 보정 정보 생성 회로(127)가 생성하는 이미지 정보 신호(IMG_IF)가 재구성 회로(124)에 입력된다. 재구성 회로(124)는 방사 보정 회로(radial correction circuit, 128), 이득 제어 회로(gain control circuit, 129) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 6 , the image information signal IMG_IF generated by the correction information generation circuit 127 is input to the reconstruction circuit 124 . The reconstruction circuit 124 may include at least one of a radial correction circuit 128 and a gain control circuit 129 .

재구성 회로(124)는 이미지 정보 신호(IMG_IF)를 보정하는 역할을 수행할 수 있으며, 방사 보정 회로(128)와 이득 제어 회로(129)는 하드웨어로 구현 될 수 있다. The reconstruction circuit 124 may serve to correct the image information signal IMG_IF, and the radiation compensation circuit 128 and the gain control circuit 129 may be implemented in hardware.

재구성 회로(124)는 이미지 정보 신호(IMG_IF)와 제3 이미지 신호(IMG3)를 재구성하여 출력 이미지 신호(OIMG)를 생성할 수 있다. 재구성 회로(124)는 출력 이미지 신호(OIMG)의 화질 저하를 최소화하기 위해 이미지 정보 신호(IMG_IF)에 대해 방사 보정(radial correction), 이득 제어(gain control) 중 적어도 하나의 기능을 수행할 수 있다. The reconstruction circuit 124 may generate an output image signal OIMG by reconstructing the image information signal IMG_IF and the third image signal IMG3. The reconstruction circuit 124 may perform at least one of radial correction and gain control on the image information signal IMG_IF in order to minimize deterioration of the image quality of the output image signal OIMG. .

이미지는 렌즈의 특성으로 인해 중심으로부터 주변으로 갈수록 노이즈가 많을 수 있다. 이러한 노이즈를 조정하기 위해 재구성 회로(124)는 방사 보정 회로(128)를 포함할 수 있다. 그리고 이득 제어 회로(129)를 통해 제3 이미지 신호(IMG3)의 화질 열화를 최소화 할 수 있도록 이미지 정보 신호(IMF_IF)의 세기를 조절할 수 있다. An image may have more noise from the center to the periphery due to the characteristics of the lens. To adjust for this noise, the reconstruction circuit 124 may include a radiation compensation circuit 128. In addition, the intensity of the image information signal IMF_IF may be adjusted through the gain control circuit 129 to minimize deterioration of the image quality of the third image signal IMG3.

도 6을 참조하면, 재구성 회로(124)는 제1 업 스케일링 회로(123)와 별도의 구성으로 도시되어 있지만, 본 개시를 통해 본 발명이 속하는 기술 분야의 통상의 기술자는 제1 업 스케일링 회로(123)는 재구성 회로(124)에 포함될 수 있다는 것을 용이하게 파악할 수 있을 것이다. 재구성 회로(124)에 제1 업 스케일링 회로(123)가 포함된 경우에도 제1 업 스케일링 회로(123)는 제2 이미지 신호(IMG2)를 업 스케일링하여 제3 이미지 신호(IMG3)를 생성할 수 있다. Referring to FIG. 6, the reconstruction circuit 124 is shown as a separate configuration from the first up-scaling circuit 123, but those skilled in the art to which the present invention pertains through the present disclosure to the first up-scaling circuit ( 123) may be included in the reconstruction circuit 124. Even when the first up-scaling circuit 123 is included in the reconstruction circuit 124, the first up-scaling circuit 123 may generate a third image signal IMG3 by up-scaling the second image signal IMG2. there is.

도 7은 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 개략적으로 나타낸 블록도이다. Fig. 7 is a schematic block diagram of an image signal processor according to an exemplary embodiment of the present disclosure.

도 7을 참조하면, 이미지 신호 프로세서(120)는 분해 회로(121), 이미지 처리 엔진(122), 제1 업 스케일링 회로(123), 재구성 회로(124), 데이터 변환부(150)를 포함할 수 있다. Referring to FIG. 7 , the image signal processor 120 includes a decomposition circuit 121, an image processing engine 122, a first up-scaling circuit 123, A reconstruction circuit 124 and a data converter 150 may be included.

데이터 변환부(150)는 이미지 센서(110)가 생성한 원본 이미지 신호(RIMG)를 데이터 변환하여 입력 이미지 신호(IIMG)를 생성할 수 있다. 데이터 변환부(150)에 의해 입력 이미지 신호(IIMG)의 해상도와 원본 이미지 신호(RIMG)의 해상도는 동일할 수 있고, 입력 이미지 신호(IIMG)의 데이터량은 원본 이미지 신호(RIMG)의 데이터량 보다 많을 수 있다. 또는 데이터 변환부(150)의 데이터 변환에 의해 원본 이미지 신호(RIMG)와 입력 이미지 신호(IIMG)의 색 공간(color space)이 다를 수 있다. 예를 들어, 원본 이미지 신호(RIMG)는 베이어 패턴(bayer pattern)일 수 있고, 입력 이미지 신호(IIMG)는 RGB, YUV 패턴일 수 있다. 베이어 패턴을 RGB 패턴으로 변환하는 경우 데이터량이 증가할 수 있다. The data converter 150 may convert the original image signal RIMG generated by the image sensor 110 into data to generate the input image signal IIMG. The resolution of the input image signal IIMG and the resolution of the original image signal RIMG may be the same by the data conversion unit 150, and the amount of data of the input image signal IIMG is the amount of data of the original image signal RIMG. There can be more. Alternatively, the original image signal RIMG and the input image signal IIMG may have different color spaces due to data conversion by the data converter 150 . For example, the original image signal RIMG may have a Bayer pattern, and the input image signal IIMG may have an RGB or YUV pattern. When converting a Bayer pattern into an RGB pattern, the amount of data may increase.

도 8a 및 도8b는 본 개시의 예시적 실시예에 따른 원본 이미지 신호가 가질 수 있는 베이어 패턴(bayer pattern)을 나타낸다.8A and 8B show Bayer patterns that an original image signal may have according to exemplary embodiments of the present disclosure.

도 8a 및 도 8b를 참조하면, 베이어 패턴은 인간의 시작 특성을 따라서 녹색이 50%, 적색과 청색이 각각 25%가 되도록 교차 배치된 패턴을 의미할 수 있다. Referring to FIGS. 8A and 8B , the Bayer pattern may refer to a pattern in which green is 50% and red and blue are 25%, respectively, according to human starting characteristics.

도 8a를 참조하면, 픽셀 그룹(PGa)은 2 X 2 베이어 패턴으로 구성될 수 있다. 픽셀 그룹(PGa)은 제1 그린 픽셀(Gr), 레드 픽셀(R), 제2 그린 픽셀(Gb), 및 블루 픽셀(B)을 포함할 수 있으며, 제1 그린 픽셀(Gr) 및 제2 그린 픽셀(Gb)이 대각선으로 방향으로 배치되고, 레드 픽셀(R) 및 블루 픽셀(B)이 대각선 방향으로 배치될 수 있다.Referring to FIG. 8A , the pixel group PGa may include a 2×2 Bayer pattern. The pixel group PGa may include a first green pixel Gr, a red pixel R, a second green pixel Gb, and a blue pixel B, and includes the first green pixel Gr and the second green pixel Gb. Green pixels Gb may be disposed in a diagonal direction, and red pixels R and blue pixels B may be disposed in a diagonal direction.

도 8b를 참조하면, 픽셀 그룹(PGb)은 4 X 4 베이어 패턴으로 구성될 수 있다. 픽셀 그룹(PGb)은 각각 4개씩의 제1 그린 픽셀(Gr), 레드 픽셀(R), 제2 그린 픽셀(Gb), 및 블루 픽셀(B)을 포함할 수 있다. 이 외에도, 픽셀 그룹은 다양한 사이즈의 베이어 패턴으로 구성될 수 있다.Referring to FIG. 8B , the pixel group PGb may be configured in a 4×4 Bayer pattern. The pixel group PGb may include four first green pixels Gr, red pixels R, second green pixels Gb, and four blue pixels B, respectively. In addition to this, the pixel groups may be composed of Bayer patterns of various sizes.

도 9는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 개략적으로 나타낸 블록도이다. Fig. 9 is a schematic block diagram of an image signal processor according to an exemplary embodiment of the present disclosure.

도 9를 참조하면, 이미지 신호 프로세서(120)는 분해 회로(121), 이미지 처리 엔진(122), 제1 업 스케일링 회로(123), 재구성 회로(124), 메모리(160)를 포함할 수 있다. Referring to FIG. 9 , the image signal processor 120 may include a decomposition circuit 121, an image processing engine 122, a first up-scaling circuit 123, a reconstruction circuit 124, and a memory 160. .

분해 회로(121)는 입력 이미지 신호(IIMG)로부터 제1 이미지 신호(IMG1) 및 이미지 정보 신호(IMG_IF)를 생성할 수 있다. 분해 회로(121)가 생성하는 이미지 정보 신호(IMG_IF)는 분해 회로(121)에 포함될 수 있는 보정 정보 생성 회로(127)의 휘도 향상 회로(brightness enhancement circuit, 127-1) 등을 통과한 후 생성될 수 있다. The decomposition circuit 121 may generate a first image signal IMG1 and an image information signal IMG_IF from the input image signal IIMG. The image information signal IMG_IF generated by the decomposition circuit 121 is generated after passing through a brightness enhancement circuit 127-1 of the correction information generating circuit 127 that may be included in the decomposition circuit 121. It can be.

이미지 정보 신호(IMG_IF)는 이미지 처리 및 스케일링에 의해 발생한 화질 열화를 최소화하기 위한 보정 정보를 포함하고, 재구성 회로(124)에 제3 이미지 신호(IMG3)와 함께 입력될 수 있다. 전술한 바와 같이, 이미지 정보 신호(IMG_IF)는 분해 회로(121)에서 재구성 회로(124)로 직접 전송될 수 있지만, 도 9에 도시된 것처럼 이미지 정보 신호(IMG_IF)는 이미지 신호 프로세서(120) 내부의 메모리(160)에 저장된 후 재구성 회로(124)에 전송될 수 있다. 이때 메모리(160)에서 전송되는 이미지 정보 신호(IMG_IF)와 제3 이미지 신호(IMG3)는 동시에 재구성 회로(124)에 입력될 수 있다. 하지만 본 발명의 실시예는 이에 한정되는 것이 아니고, 이미지 정보 신호(IMG_IF)와 제3 이미지 신호(IMG3)는 사용자가 의도하는 시간 간격으로 재구성 회로(124)에 입력될 수 있다. The image information signal IMG_IF includes correction information for minimizing image quality deterioration caused by image processing and scaling, and may be input to the reconstruction circuit 124 together with the third image signal IMG3. As described above, the image information signal IMG_IF can be directly transmitted from the decomposition circuit 121 to the reconstruction circuit 124, but as shown in FIG. 9, the image information signal IMG_IF is internal to the image signal processor 120. After being stored in the memory 160 of can be transmitted to the reconstruction circuit 124. At this time, the image information signal IMG_IF and the third image signal IMG3 transmitted from the memory 160 may be input to the reconstruction circuit 124 at the same time. However, the embodiment of the present invention is not limited thereto, and the image information signal IMG_IF and the third image signal IMG3 may be input to the reconstruction circuit 124 at time intervals intended by the user.

예를 들어, 메모리(160)는 DRAM(Dynamic Random Access Memory), SRAM(Static RAM)과 같은 휘발성 메모리 또는 PRAM(Phase Change RAM), ReRAM(Resistive RAM), 플레시 메모리와 같은 비휘발성 메모리일 수 있다.For example, the memory 160 may be a volatile memory such as dynamic random access memory (DRAM) or static RAM (SRAM) or a non-volatile memory such as phase change RAM (PRAM), resistive RAM (ReRAM), or flash memory. .

도 10는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 개략적으로 나타내는 블록도이고, 도 11은 도 10의 이미지 신호 프로세서의 고주파 분해 회로(high frequency decomposition circuit)를 개략적으로 나타낸 블록도이다.FIG. 10 is a schematic block diagram of an image signal processor according to an exemplary embodiment of the present disclosure, and FIG. 11 is a schematic block diagram of a high frequency decomposition circuit of the image signal processor of FIG. 10 .

도 10를 참조하면, 이미지 신호 프로세서(120)는 다운 스케일링 회로(125), 제1 감마 보정 회로(127-5), 제2 감마 보정 회로(127-6), 업 스케일링 회로(127-7), 이미지 처리 엔진(122), 고주파 분해 회로(127-80), 고주파 재구성 업 스케일링 회로(170)를 포함할 수 있다. Referring to FIG. 10, the image signal processor 120 includes a down-scaling circuit 125, a first gamma correction circuit 127-5, a second gamma correction circuit 127-6, and an up-scaling circuit 127-7. , an image processing engine 122, a high-frequency decomposition circuit 127-80, and a high-frequency reconstruction up-scaling circuit 170.

다운 스케일링 회로(125)는 입력 이미지 신호(IIMG)를 다운 스케일링하여 제1 이미지 신호(IMG1)를 생성할 수 있다. 제1 이미지 신호(IMG1)는 이미지 처리 엔진(122), 제1 감마(gamma) 보정 회로(127-5), 제2 감마(gamma) 보정 회로(127-6) 각각에 입력될 수 있다. 이미지 처리 엔진(122)은 제2 이미지 신호(IMG2)를 생성하며, 제1 감마 보정 회로(127-5)는 제5 이미지 신호(IMG5)를 생성하고, 제2 감마 보정 회로(127-6)는 제7 이미지 신호(IMG7)를 생성한다. 업 스케일링 회로(127-7)는 제5 이미지 신호(IMG5)를 업 스케일링하여 제6 이미지 신호(IMG6)를 생성할 수 있다. 고주파 분해 회로(127-80)는 제6 이미지 신호(IMG6)와 제7 이미지 신호(IMG7)를 가우시안 필터링(Gaussian filtering) 및 차분하여 이미지 정보 신호(IMG_IF)를 생성할 수 있다. 고주파 재구성 업 스케일링 회로(170)는 제2 이미지 신호(IMG2)와 이미지 정보 신호(IMG_IF)를 재구성 및 업 스케일링하여 출력 이미지 신호(OIMG)를 생성할 수 있다. 출력 이미지 신호(OIMG)의 해상도는 입력 이미지 신호(IIMG)의 해상도와 동일할 수 있으며, 출력 이미지 신호(OIMG)의 해상도는 디스플레이에 표시되기 위해 재구성 회로(124)를 통과한 이후 조절될 수 있다. 이미지 처리 엔진(122)은 사용자가 목적하는 이미지 처리를 수행할 수 있다. The down-scaling circuit 125 may generate the first image signal IMG1 by down-scaling the input image signal IIMG. The first image signal IMG1 may be input to the image processing engine 122, the first gamma correction circuit 127-5, and the second gamma correction circuit 127-6, respectively. The image processing engine 122 generates the second image signal IMG2, the first gamma correction circuit 127-5 generates the fifth image signal IMG5, and the second gamma correction circuit 127-6 generates a seventh image signal IMG7. The up-scaling circuit 127 - 7 may generate a sixth image signal IMG6 by up-scaling the fifth image signal IMG5 . The high frequency decomposition circuit 127 - 80 may generate the image information signal IMG_IF by performing Gaussian filtering and difference between the sixth image signal IMG6 and the seventh image signal IMG7 . The high frequency reconstruction up-scaling circuit 170 may generate an output image signal OIMG by reconstructing and up-scaling the second image signal IMG2 and the image information signal IMG_IF. The resolution of the output image signal OIMG may be the same as that of the input image signal IIMG, and the resolution of the output image signal OIMG may be adjusted after passing through the reconstruction circuit 124 to be displayed on the display. . The image processing engine 122 may perform image processing desired by the user.

제1 감마(gamma) 보정 회로(127-5) 및 제2 감마(gamma) 보정 회로(127-6)는 하드웨어의 비선형적인 특성을 완화하기 위해 영상의 전체적인 휘도(luminance)를 보정하는 역할을 수행할 수 있다. 즉, 제1 감마 보정 회로(127-5) 및 제2 감마 보정 회로(127-6)는 다운 스케일링 회로(125)에서 다운 스케일링에 의해 발생할 수 있는 제1 이미지 신호(IMG1)의 휘도에 관련된 손실을 보정할 수 있다. The first gamma correction circuit 127-5 and the second gamma correction circuit 127-6 serve to correct the overall luminance of the image in order to mitigate the nonlinear characteristics of the hardware. can do. That is, the first gamma correction circuit 127-5 and the second gamma correction circuit 127-6 cause loss related to the luminance of the first image signal IMG1 that may be caused by down-scaling in the down-scaling circuit 125. can be corrected.

업 스케일링 회로(127-7)가 생성하는 제6 이미지 신호(IMG6)의 해상도는 입력 이미지 신호(IIMG)의 해상도와 동일할 수 있다. The resolution of the sixth image signal IMG6 generated by the up-scaling circuit 127-7 may be the same as that of the input image signal IIMG.

도 11을 참조하면, 고주파 분해 회로(127-80)는 제1 가우시안 필터(First Gaussian filter, 127-81), 제2 가우시안 필터(Second Gaussian filter, 127-82) 및 복수의 차분 회로(127-83, 127-84, 127-85)를 포함할 수 있다. 가우시안 필터는 가우시안 분포 함수를 근사하여 생성한 필터 마스크를 사용하는 필터링 기법으로, 가우시안 분포는 정규 분포 모양일 수 있고, 가우시안 필터는 노이즈(noise)를 제거 역할을 할 수 있다. 제1 가우시안 필터(127-81)와 제2 가우시안 필터(127-82)의 크기는 다를 수 있다. 예를 들어, 제1 가우시안 필터(127-81)의 크기는 5Х5 이고, 제2 가우시안 필터(127-82)의 크기는 3Х3일 수 있다. Referring to FIG. 11, the high frequency decomposition circuit 127-80 includes a first Gaussian filter 127-81, a second Gaussian filter 127-82 and a plurality of difference circuits 127-81. 83, 127-84, 127-85). A Gaussian filter is a filtering technique using a filter mask generated by approximating a Gaussian distribution function. The Gaussian distribution may have a normal distribution shape, and the Gaussian filter may serve to remove noise. The size of the first Gaussian filter 127-81 and the second Gaussian filter 127-82 may be different. For example, the size of the first Gaussian filter 127-81 may be 5Х5, and the size of the second Gaussian filter 127-82 may be 3Х3.

고주파 분해 회로(127-80)는 제7 이미지 신호(IMG7)와 제1 가우시안 필터(127-81) 및 제2 가우시안 필터(127-82)를 통과한 제7 이미지 신호(IMG7)들을 차분 회로들(127-84, 127-85)에 의한 도 11에서와 같은 차분 과정을 통해 Medium HF, Fine HF 를 생성할 수 있다. 제6 이미지 신호(IMG6)와 제7 이미지 신호(IMG7)를 차분하여 Residual HF를 생성할 수 있고, Fine HF, Medium HF, Residual HF를 통해 보정 정보를 포함하는 고주파 성분(Merged HF)을 추출할 수 있다. The high-frequency decomposition circuit 127-80 converts the seventh image signal IMG7 and the seventh image signal IMG7 that has passed through the first Gaussian filter 127-81 and the second Gaussian filter 127-82 into difference circuits. Medium HF and Fine HF can be generated through the same difference process as in FIG. 11 by (127-84, 127-85). Residual HF can be generated by differentiating the 6th image signal IMG6 and the 7th image signal IMG7, and a high frequency component including correction information (Merged HF) can be extracted through Fine HF, Medium HF, and Residual HF. can

업 스케일링 회로(127-7), 다운 스케일링 회로(125)의 위치는 이미지 신호 프로세서(120), 이미지 신호 프로세서(120)의 동작 방법, 애플리케이션 프로세서(200)에서의 설계에 따라 달라질 수 있으며, 다운 스케일링 회로(125)의 위치도 달라질 수 있다.The positions of the up-scaling circuit 127-7 and the down-scaling circuit 125 may vary depending on the image signal processor 120, the operating method of the image signal processor 120, and the design of the application processor 200. The location of the scaling circuit 125 may also vary.

도 12은 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서의 동작 방법을 나타내는 흐름도이다. 12 is a flowchart illustrating an operating method of an image signal processor according to an exemplary embodiment of the present disclosure.

도 12을 참조하면, 이미지 신호 프로세서(도 1의 120)는 입력 이미지 신호(IIMG)를 수신할 수 있다(S10). 예를 들어, 이미지 센서(도 1의 110)는 입력 이미지 신호(IIMG)를 생성할 수 있고, 입력 이미지 신호(IIMG)는 이미지 신호 프로세서(120)에 입력 될 수 있다. Referring to FIG. 12 , the image signal processor ( 120 of FIG. 1 ) may receive the input image signal IIMG ( S10 ). For example, the image sensor ( 110 in FIG. 1 ) may generate an input image signal IIMG, and the input image signal IIMG may be input to the image signal processor 120 .

이미지 신호 프로세서(120)는 입력 이미지 신호(IIMG)를 다운 스케일링하여 제1 이미지 신호(IMG1)를 생성할 수 있다(S20). 예를 들어, 입력 이미지 신호(IIMG)를 다운 스케일링한 결과 제1 이미지 신호(IMG1)의 데이터량은 입력 이미지 신호(IIMG)의 데이터량보다 적을 수 있다. The image signal processor 120 may generate the first image signal IMG1 by downscaling the input image signal IIMG (S20). For example, as a result of down-scaling the input image signal IIMG, the data amount of the first image signal IMG1 may be less than that of the input image signal IIMG.

이미지 신호 프로세서(120)는 제1 이미지 신호(IMG1)를 이미지 처리하여 제2 이미지 신호를 생성할 수 있다(S30). 예를 들어, 제1 이미지 신호(IMG1)는 복수의 이미지 처리 모듈을 포함하고 있는 이미지 처리 엔진(122)에 의해 이미지 처리될 수 있다. The image signal processor 120 may process the first image signal IMG1 to generate a second image signal (S30). For example, the first image signal IMG1 may be image-processed by the image processing engine 122 including a plurality of image processing modules.

이미지 신호 프로세서(120)는 제2 이미지 신호(IMG2)를 업 스케일링 하여 제3 이미지 신호(IMG3)를 생성할 수 있다(S40). 예를 들어, 업 스케일링에 의해 제3 이미지 신호(IMG3)의 해상도는 제2 이미지 신호(IMG2)의 해상도보다 크고, 입력 이미지 신호(IIMG)의 해상도와 동일할 수 있다. The image signal processor 120 may generate a third image signal IMG3 by up-scaling the second image signal IMG2 (S40). For example, due to up-scaling, the resolution of the third image signal IMG3 may be greater than that of the second image signal IMG2 and may be equal to the resolution of the input image signal IIMG.

이미지 신호 프로세서(120)는 제1 이미지 신호(IMG1)를 업 스케일링 하여 제4 이미지 신호(IMG4)를 생성할 수 있다(S50). 예를 들어, 업 스케일링에 의해 입력 이미지 신호(IIMG)의 해상도와 제4 이미지 신호(IMG4)의 해상도는 동일할 수 있다. The image signal processor 120 may generate a fourth image signal IMG4 by up-scaling the first image signal IMG1 (S50). For example, the resolution of the input image signal IIMG and the resolution of the fourth image signal IMG4 may be the same by up-scaling.

이미지 신호 프로세서(120)는 입력 이미지 신호(IIMG)로부터 제3 이미지 신호(IMG3)의 화질 열화에 대한 정보를 추출하여 이미지 정보 신호(IMG_IF)를 생성할 수 있다(S60). 예를 들어, 제4 이미지 신호(IMG4) 및 입력 이미지 신호(IIMG)에 대해, 휘도 향상(brightness enhancement), 선명도 향상(sharp enhancement), 적응형 필터링(adaptive filtering), 노이즈 저감 필터링(noise reduction filtering) 중 적어도 하나의 처리를 수행함으로써 제3 이미지 신호(IMG3)의 화질 열화에 대한 정보를 추출하여 이미지 정보 신호(IMG_IF)를 생성할 수 있다. 제3 이미지 신호(IMG3)의 화질 열화에 대한 정보를 추출하여 이미지 정보 신호(IMG_IF)를 생성하는 단계는 상기 처리들에 한정되지 않고, 스케일링 및 이미지 처리 단계에서 다양한 이유로 발생하는 화질 열화와 관련된 이미지 정보를 추출하는 서로 다른 복수의 처리 단계들이 포함될 수 있다. 그리고 이미지 정보 신호(IMG_IF)에는 스케일링 및/또는 이미지 처리에 의해 발생한 화질 열화를 보정하기 위한 원본 이미지의 고주파 성분이 포함될 수 있다.The image signal processor 120 may generate the image information signal IMG_IF by extracting information about the quality degradation of the third image signal IMG3 from the input image signal IIMG (S60). For example, for the fourth image signal IMG4 and the input image signal IIMG, brightness enhancement, sharp enhancement, adaptive filtering, and noise reduction filtering are performed. ), it is possible to generate the image information signal IMG_IF by extracting information about picture quality deterioration of the third image signal IMG3. The step of generating the image information signal (IMG_IF) by extracting information on the deterioration in picture quality of the third image signal (IMG3) is not limited to the above processes, and images related to picture quality deterioration that occur for various reasons in the scaling and image processing steps. A plurality of different processing steps of extracting information may be included. Also, the image information signal IMG_IF may include a high frequency component of the original image for correcting image quality degradation caused by scaling and/or image processing.

이미지 신호 프로세서(120)는 제3 이미지 신호(IMG3)와 이미지 정보 신호(IMG_IF)를 재구성 하여 출력 이미지 신호(OIMG)를 생성할 수 있다(S70). 예를 들어, 출력 이미지 신호(OIMG)를 생성하는 단계는 이미지 정보 신호(IMG_IF)에 대해 방사 보정(radial correction), 이득 제어(gain control) 중 적어도 하나의 처리를 수행하는 단계를 포함할 수 있다. The image signal processor 120 may generate an output image signal OIMG by reconstructing the third image signal IMG3 and the image information signal IMG_IF (S70). For example, generating the output image signal OIMG may include performing at least one of radial correction and gain control on the image information signal IMG_IF. .

위와 같은 일련의 단계를 통해 전력 소모, data band-width, 화질 열화를 최소화하여 다양한 이미지 처리를 할 수 있다.Through the above series of steps, various image processing can be performed by minimizing power consumption, data bandwidth, and image quality degradation.

도 13은 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서의 동작 방법을 나타내는 흐름도이다. 13 is a flowchart illustrating an operating method of an image signal processor according to an exemplary embodiment of the present disclosure.

도 13을 참조하면, 이미지 신호 프로세서(도 1의 120)는 원본 이미지 신호(RIMG)를 수신할 수 있다(S11). 예를 들어, 이미지 센서(도 1의 110)는 원본 이미지 신호(RIMG)를 생성할 수 있고, 원본 이미지 신호(RIMG)는 이미지 신호 프로세서(120)에 입력 될 수 있다. Referring to FIG. 13 , the image signal processor ( 120 of FIG. 1 ) may receive the original image signal RIMG (S11). For example, the image sensor ( 110 in FIG. 1 ) may generate an original image signal RIMG, and the original image signal RIMG may be input to the image signal processor 120 .

이미지 신호 프로세서(120)는 원본 이미지 신호(RIMG)를 원본 이미지 신호(RIMG)의 색 공간(color space)과 다른 색 공간을 가지는 입력 이미지 신호(IIMG)로 변환할 수 있다(S12). 예를 들어, 변환에 의해 생성된 입력 이미지 신호(IIMG)는 원본 이미지 신호(RIMG)보다 많은 데이터량을 가질 수 있다. 그리고 원본 이미지 신호(RIMG)는 베이어 패턴(bayer pattern)일 수 있고, 입력 이미지 신호(IIMG)는 RGB 또는 YUV 패턴일 수 있다.The image signal processor 120 may convert the original image signal RIMG into an input image signal IIMG having a color space different from that of the original image signal RIMG (S12). For example, the input image signal IIMG generated by conversion may have a larger amount of data than the original image signal RIMG. Also, the original image signal RIMG may have a Bayer pattern, and the input image signal IIMG may have an RGB or YUV pattern.

이미지 신호 프로세서(120)는 입력 이미지 신호(IIMG)를 다운 스케일링하여 제1 이미지 신호(IMG1)를 생성할 수 있다(S20). 예를 들어, 입력 이미지 신호(IIMG)를 다운 스케일링한 결과, 제1 이미지 신호(IMG1)의 데이터량은 입력 이미지 신호(IIMG)의 데이터량보다 적을 수 있다. The image signal processor 120 may generate the first image signal IMG1 by downscaling the input image signal IIMG (S20). For example, as a result of down-scaling the input image signal IIMG, the data amount of the first image signal IMG1 may be less than that of the input image signal IIMG.

이미지 신호 프로세서(120)는 제1 이미지 신호(IMG1)를 이미지 처리하여 제2 이미지 신호를 생성할 수 있다(S30). 예를 들어, 제1 이미지 신호(IMG1)는 복수의 이미지 처리 모듈을 포함하고 있는 이미지 처리 엔진(122)에 의해 이미지 처리될 수 있다.The image signal processor 120 may process the first image signal IMG1 to generate a second image signal (S30). For example, the first image signal IMG1 may be image-processed by the image processing engine 122 including a plurality of image processing modules.

이미지 신호 프로세서(120)는 제2 이미지 신호(IMG2)를 업 스케일링 하여 제3 이미지 신호(IMG3)를 생성할 수 있다(S40). 예를 들어, 업 스케일링에 의해 제3 이미지 신호(IMG3)의 해상도는 제2 이미지 신호(IMG2)의 해상도보다 크고, 입력 이미지 신호(IIMG)의 해상도와 동일할 수 있다.The image signal processor 120 may generate a third image signal IMG3 by up-scaling the second image signal IMG2 (S40). For example, due to up-scaling, the resolution of the third image signal IMG3 may be greater than that of the second image signal IMG2 and may be equal to the resolution of the input image signal IIMG.

이미지 신호 프로세서(120)는 제1 이미지 신호(IMG1)를 업 스케일링 하여 제4 이미지 신호(IMG4)를 생성할 수 있다(S50). 예를 들어, 업 스케일링에 의해 입력 이미지 신호(IIMG)의 해상도와 제4 이미지 신호(IMG4)의 해상도는 동일할 수 있다.The image signal processor 120 may generate a fourth image signal IMG4 by up-scaling the first image signal IMG1 (S50). For example, the resolution of the input image signal IIMG and the resolution of the fourth image signal IMG4 may be the same by up-scaling.

이미지 신호 프로세서(120)는 제4 이미지 신호(IMG4)와 입력 이미지 신호(IIMG)로부터 제3 이미지 신호(IMG3)의 화질 열화에 대한 정보를 추출하여 이미지 정보 신호(IMG_IF)를 생성할 수 있다(S60). 예를 들어, 제4 이미지 신호(IMG4) 및 입력 이미지 신호(IIMG)에 대해, 휘도 향상(brightness enhancement), 선명도 향상(sharp enhancement), 적응형 필터링(adaptive filtering), 노이즈 저감 필터링(noise reduction filtering) 중 적어도 하나의 처리를 수행하여 제3 이미지 신호(IMG3)의 화질 열화에 대한 정보를 추출하여 이미지 정보 신호(IMG_IF)를 생성할 수 있다. 제3 이미지 신호(IMG3)의 화질 열화에 대한 정보를 추출하여 이미지 정보 신호(IMG_IF)를 생성하는 단계는 상기 처리들에 한정되지 않고, 이미지 처리 과정에서의 스케일링 및 이미지 처리 단계에서 다양한 이유로 발생하는 화질 열화와 관련된 이미지 정보를 추출하는 서로 다른 복수의 처리 단계들이 포함될 수 있다. 그리고 이미지 정보 신호(IMG_IF)에는 스케일링 및/또는 이미지 처리에 의해 발생한 화질 열화를 보정하기 위한 원본 이미지의 고주파 성분이 포함될 수 있다.The image signal processor 120 may generate the image information signal IMG_IF by extracting information on the quality degradation of the third image signal IMG3 from the fourth image signal IMG4 and the input image signal IIMG ( S60). For example, for the fourth image signal IMG4 and the input image signal IIMG, brightness enhancement, sharp enhancement, adaptive filtering, and noise reduction filtering are performed. ) may be performed to extract information about picture quality deterioration of the third image signal IMG3 to generate the image information signal IMG_IF. The step of generating the image information signal IMG_IF by extracting information on the degradation of the image quality of the third image signal IMG3 is not limited to the above processes, and may occur for various reasons in the scaling and image processing steps in the image processing process. A plurality of different processing steps for extracting image information related to image quality degradation may be included. Also, the image information signal IMG_IF may include a high frequency component of the original image for correcting image quality degradation caused by scaling and/or image processing.

이미지 신호 프로세서(120)는 제3 이미지 신호(IMG3)와 이미지 정보 신호(IMG_IF)를 재구성 처리 하여 출력 이미지 신호(OIMG)를 생성할 수 있다(S70). 예를 들어, 출력 이미지 신호(OIMG)를 생성하는 단계는 이미지 정보 신호(IMG_IF)에 대해 방사 보정(radial correction), 이득 제어(gain control) 중 적어도 하나의 처리를 포함할 수 있다. The image signal processor 120 may reconstruct and process the third image signal IMG3 and the image information signal IMG_IF to generate an output image signal OIMG (S70). For example, generating the output image signal OIMG may include processing at least one of radial correction and gain control on the image information signal IMG_IF.

위와 같은 일련의 단계를 통해 전력 소모, data band-width, 화질 열화를 최소화하여 다양한 이미지 처리를 할 수 있다. Through the above series of steps, various image processing can be performed by minimizing power consumption, data bandwidth, and image quality degradation.

도 14는 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서를 나타내는 블록도이다. Fig. 14 is a block diagram illustrating an application processor according to an exemplary embodiment of the present disclosure.

도 14를 참조하면, 애플리케이션 프로세서(200)는 메인 프로세서(210), RAM(Random Access Memory, 220), 압축 인코더(230), 이미지 신호 프로세서(120), 비휘발성 메모리 인터페이스(250), 카메라 인터페이스(260), 메모리 인터페이스(270) 및 디스플레이 인터페이스(280)를 포함할 수 있다. 애플리케이션 프로세서(200)의 각 구성(210, 220, 230, 120, 250, 260, 270, 280)은 버스(290)를 통해서 서로 데이터를 송수신할 수 있다. Referring to FIG. 14 , the application processor 200 includes a main processor 210, a random access memory (RAM) 220, a compression encoder 230, an image signal processor 120, a non-volatile memory interface 250, and a camera interface. 260 , a memory interface 270 and a display interface 280 . Each of the components 210 , 220 , 230 , 120 , 250 , 260 , 270 , and 280 of the application processor 200 may transmit and receive data through the bus 290 .

메인 프로세서(210)는 애플리케이션 프로세서(200)의 전반적인 동작을 제어할 수 있다. 메인 프로세서(210)는 예컨데 CPU, 마이크로 프로세서 등으로 구현될 수 있으며, 실시예에 따라서, 2개 이상의 독립적인 프로세서들(또는 코어들)을 갖는 하나의 컴퓨팅 컴포넌트(computing component), 즉 멀티-코어 프로세서(multi-core processor)로 구현될 수 있다. 메인 프로세서(210)는 RAM(220)(또는 ROM)에 저장된 프로그램들 및/또는 데이터 처리 또는 실행시킬 수 있다.The main processor 210 may control overall operations of the application processor 200 . The main processor 210 may be implemented with, for example, a CPU, a microprocessor, or the like, and according to an embodiment, one computing component having two or more independent processors (or cores), that is, a multi-core It may be implemented as a multi-core processor. The main processor 210 may process or execute programs and/or data stored in the RAM 220 (or ROM).

RAM(220)은 프로그램들, 데이터, 및/또는 명령들(instructions)을 일시적으로 저장할 수 있다. 실시예에 따라, RAM(220)은 DRAM(Dynamic RAM) 또는 SRAM(static RAM)으로 구현될 수 있다. RAM(220)은 인터페이스들(250, 260, 270 및 280)을 통해 입출력되거나, 이미지 신호 프로세서(120) 또는 메인 프로세서(210)가 생성하는 이미지를 일시적으로 저장할 수 있다. RAM 220 may temporarily store programs, data, and/or instructions. Depending on embodiments, the RAM 220 may be implemented as dynamic RAM (DRAM) or static RAM (SRAM). The RAM 220 may temporarily store images input/output through the interfaces 250 , 260 , 270 and 280 or generated by the image signal processor 120 or the main processor 210 .

실시예에 있어서, 애플리케이션 프로세서(200)는 ROM(Read Only Memory)를 더 구비할 수 있다. ROM은 지속적으로 사용되는 프로그램들 및/또는 데이터를 저장할 수 있다. ROM은 EPROM(erasable programmable ROM) 또는 EEPROM(electrically erasable programmable ROM)등으로 구현될 수 있다. In an embodiment, the application processor 200 may further include a read only memory (ROM). ROM may store continuously used programs and/or data. The ROM may be implemented as an erasable programmable ROM (EPROM) or an electrically erasable programmable ROM (EEPROM).

비휘발성 메모리 인터페이스(250)는 비휘발성 메모리 장치(255)로부터 입력 되는 데이터 또는 비휘발성 메모리로 출력되는 데이터를 인터페이싱할 수 있다. 비휘발성 메모리 장치(255)는 예컨데, 메모리 카드(MMC, eMMC, SD, micro SD)등으로 구현될 수 있다. The non-volatile memory interface 250 may interface data input from the non-volatile memory device 255 or data output to the non-volatile memory. The non-volatile memory device 255 may be implemented as, for example, a memory card (MMC, eMMC, SD, or micro SD).

카메라 인터페이스(260)는 애플리케이션 프로세서(200)의 외부에 위치한 카메라(265)로부터 입력되는 데이터(예컨데, 원본 이미지 신호(RIMG) or 입력 이미지 신호(IIMG))를 인터페이싱할 수 있다. 카메라(265)는 복수의 광 감지 소자들을 이용해 촬영한 이미지에 대한 데이터를 생성할 수 있다. 카메라 인터페이스(260)를 통해 수신되는 원본 이미지 신호(RIMG)는 이미지 신호 프로세서(120)에 제공되거나 또는 메모리 인터페이스(270)를 통해 메모리(130)에 저장될 수 있다.The camera interface 260 may interface data (eg, an original image signal RIMG or an input image signal IIMG) input from a camera 265 located outside the application processor 200 . The camera 265 may generate data about an image photographed using a plurality of light sensing elements. The original image signal RIMG received through the camera interface 260 may be provided to the image signal processor 120 or may be stored in the memory 130 through the memory interface 270 .

메모리 인터페이스(270)는 애플리케이션 프로세서(200)의 외부에 있는 메모리(130)로부터 입력되는 데이터 또는 메모리(130)로 출력되는 데이터를 인터페이싱할 수 있다. 실시예에 따라 메모리(130)는 DRAM이나 SRAM 등의 휘발성 메모리 또는 ReRAM, PRAM 또는 NAND flash 등의 비활성 메모리로 구현될 수 있다. The memory interface 270 may interface data input from the memory 130 external to the application processor 200 or data output to the memory 130 . Depending on embodiments, the memory 130 may be implemented as volatile memory such as DRAM or SRAM or inactive memory such as ReRAM, PRAM, or NAND flash.

디스플레이 인터페이스(280)는 디스플레이 장치(140)로 출력되는 데이터(예컨데, 출력 이미지 신호(OIMG))를 인터페이싱할 수 있다. 디스플레이 장치(140)는 이미지에 대한 데이터를 LCD(liquid-crystal display), AMOLED(active matrix organic light emitting diodes) 등의 디스플레이를 통해 출력할 수 있다. The display interface 280 may interface data (eg, an output image signal OIMG) output to the display device 140 . The display device 140 may output image data through a display such as a liquid-crystal display (LCD) or active matrix organic light emitting diodes (AMOLED).

압축 인코더(230)는 이미지를 인코딩하여 인코딩된 이미지 즉, 압축된 이미지를 출력할 수 있다. 압축 인코더(230)는 이미지 신호 프로세서(120)로부터 출력되는 변환된 이미지 또는 메모리(130)에 저장된 변환된 이미지를 인코딩할 수 있다. 실시예에 있어서, 압축 인코더(230)는 JPEG 모듈일 수 있으며, JPEG 모듈은 JPEG 포맷 이미지를 출력할 수 있다. JPEG 포맷 이미지는 비휘발성 메모리 장치(255)에 저장될 수 있다. The compression encoder 230 may encode an image and output an encoded image, that is, a compressed image. The compression encoder 230 may encode a converted image output from the image signal processor 120 or a converted image stored in the memory 130 . In an embodiment, the compression encoder 230 may be a JPEG module, and the JPEG module may output a JPEG format image. A JPEG format image may be stored in the non-volatile memory device 255 .

이미지 신호 프로세서(120)는 카메라(또는 이미지 센서(110))로부터 제공되는 이미지 예컨데 원본 이미지 신호(RIMG) 또는 입력 이미지 신호(IIMG)에 대하여 이미지 처리를 수행함으로써, 이미지 처리된 이미지 신호를 생성하고, 이미지 처리된 이미지를 메모리(130)에 저장하거나, 변환된 이미지를 스케일링하여 스케일링 된 이미지를 디스플레이 장치(140)에 제공할 수 있다. The image signal processor 120 performs image processing on an image provided from a camera (or image sensor 110), such as an original image signal RIMG or an input image signal IIMG, to generate an image-processed image signal, , the processed image may be stored in the memory 130, or the converted image may be scaled and the scaled image may be provided to the display device 140.

도 15는 본 개시의 예시적 실시예에 따른 애플리케이션 프로세서의 이미지 신호 프로세서 및 메모리를 나타내는 블록도이다. 15 is a block diagram illustrating an image signal processor and a memory of an application processor according to an exemplary embodiment of the present disclosure.

애플리케이션 프로세서(200)는 이미지 신호 프로세서(120) 및 메모리(160)를 포함할 수 있다. 이미지 신호 프로세서(120)는 분해 회로(121), 이미지 처리 엔진(122), 재구성 회로(124)를 포함할 수 있다. The application processor 200 may include an image signal processor 120 and a memory 160 . The image signal processor 120 may include a decomposition circuit 121 , an image processing engine 122 , and a reconstruction circuit 124 .

이미지 신호 프로세서(120)에 포함된 분해 회로(121)에서 생성된 이미지 정보 신호(IMG_IF)는 이미지 신호 프로세서(120) 외부에 위치한 메모리(160)에 정장 될 수 있고, 제2 이미지 신호(IMG2)가 재구성 회로(124)에 입력 되는 타이밍에 맞춰 재구성 회로(124)로 전송될 수 있다. The image information signal IMG_IF generated by the decomposition circuit 121 included in the image signal processor 120 may be stored in the memory 160 located outside the image signal processor 120, and the second image signal IMG2 may be transmitted to the reconstruction circuit 124 according to timing input to the reconstruction circuit 124.

예를 들어, 메모리(160)는 DRAM(Dynamic Random Access Memory), SRAM(Static RAM)과 같은 휘발성 메모리 또는 PRAM(Phase Change RAM), ReRAM(Resistive RAM), 플레시 메모리와 같은 비휘발성 메모리일 수 있다.For example, the memory 160 may be a volatile memory such as dynamic random access memory (DRAM) or static RAM (SRAM) or a non-volatile memory such as phase change RAM (PRAM), resistive RAM (ReRAM), or flash memory. .

도 16는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 포함하는 이미지 센서를 나타내는 블록도이다.16 is a block diagram illustrating an image sensor including an image signal processor according to an exemplary embodiment of the present disclosure.

이미지 센서(110)는 광학 렌즈(LS)를 통하여 입사된 오브젝트(object)의 광학적 신호를 이미지 데이터로 변환할 수 있다. 이미지 센서(110)는 이미지 또는 광센싱 기능을 낮는 전자 기기에 탑재될 수 있다. 예를 들어, 이미지 센서(110)는 디지털 스틸 카메라, 디지털 비디오 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Thing(IoT)) 기기, 태블릿 PC(personal computer), PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation) 장치 등과 같은 전자 기기에 탑재될 수 있다. 또한 이미지 센서(110)는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 탑재될 수 있다.The image sensor 110 may convert an optical signal of an object incident through the optical lens LS into image data. The image sensor 110 may be mounted in an electronic device having a low image or light sensing function. For example, the image sensor 110 may be a digital still camera, a digital video camera, a smartphone, a wearable device, an Internet of Thing (IoT) device, a tablet personal computer (PC), a personal digital assistant (PDA), It may be mounted on an electronic device such as a portable multimedia player (PMP), a navigation device, and the like. In addition, the image sensor 110 may be mounted on electronic devices provided as parts, such as vehicles, furniture, manufacturing facilities, doors, and various measuring devices.

도 16를 참조하면, 이미지 센서(110)는 픽셀 어레이(10), 리드아웃 회로(11) 및 이미지 신호 프로세서(120)를 포함할 수 있다. 실시예에 있어서, 픽셀 어레이(10), 리드아웃 회로(11) 및 이미지 신호 프로세서(120)는 하나의 반도체 칩 또는 반도체 모듈로서 구현될 수 있다. 실시예에 있어서, 픽셀 어레이(10) 및 리드아웃 회로(11)는 하나의 반도체 칩으로 구현되고, 이미지 신호 프로세서(120)는 다른 하나의 반도체 칩으로 구현될 수 있다. Referring to FIG. 16 , the image sensor 110 may include a pixel array 10 , a readout circuit 11 and an image signal processor 120 . In an embodiment, the pixel array 10, the readout circuit 11, and the image signal processor 120 may be implemented as a single semiconductor chip or semiconductor module. In an embodiment, the pixel array 10 and the readout circuit 11 may be implemented as one semiconductor chip, and the image signal processor 120 may be implemented as another semiconductor chip.

픽셀 어레이(10)는 예를 들면, CCD(Charge Coupled Devices) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전 변환 소자로 구현될 수 있으며 이외에도 다양한 종류의 광전 변환 소자로 구현될 수 있다. 픽셀 어레이(10)는 수신되는 광 신호(빛)를 전기적 신호로 변환하는 복수의 센싱 픽셀(PXs)을 포함하고, 복수의 센싱 픽셀(PXs)은 행열로 배열될 수 있다. 복수의 센싱 픽셀(PXs) 각각은 광 감지 소자를 포함한다. 예컨대, 광 감지 소자는 포토(photo) 다이오드, 유기 포토 다이오드, 포토 트랜지스터, 포트 게이트 또는 핀드 포토 다이오드(pinned photodiode) 등을 포함할 수 있다.The pixel array 10 may be implemented with photoelectric conversion elements such as charge coupled devices (CCDs) or complementary metal oxide semiconductors (CMOS), and other types of photoelectric conversion elements. The pixel array 10 includes a plurality of sensing pixels PXs that convert received optical signals (light) into electrical signals, and the plurality of sensing pixels PXs may be arranged in rows and columns. Each of the plurality of sensing pixels PXs includes a light sensing element. For example, the photo-sensing device may include a photo diode, an organic photo diode, a photo transistor, a port gate, or a pinned photo diode.

리드아웃 회로(11)는 픽셀 어레이(10)로부터 수신되는 전기적 신호들을 이미지 데이터로 변환할 수 있다. 리드아웃 회로(11)는 전기적 신호들을 증폭하고, 증폭된 전기적 신호들을 아날로그-디지털 변환할 수 있다. 리드아웃 회로(11)에서 생성되는 이미지 데이터는 픽셀 어레이(10)의 복수의 센싱 픽셀(PXs)에 대응하는 복수의 픽셀을 포함할 수 있다. 여기서, 픽셀 어레이(10)의 센싱 픽셀(PXs)은 수신되는 광에 따른 신호를 생성하는 물리적 구조물이고, 이미지 데이터에 구비되는 픽셀은 센싱 픽셀(PXs)에 대응하는 데이터를 나타낸다. 리드아웃 회로(11)는 픽셀 어레이(10)와 함께 센싱 코어를 구성할 수 있다. The readout circuit 11 may convert electrical signals received from the pixel array 10 into image data. The read-out circuit 11 may amplify electrical signals and perform analog-to-digital conversion of the amplified electrical signals. Image data generated by the readout circuit 11 may include a plurality of pixels corresponding to the plurality of sensing pixels PXs of the pixel array 10 . Here, the sensing pixels PXs of the pixel array 10 are physical structures that generate signals according to received light, and pixels included in image data represent data corresponding to the sensing pixels PXs. The readout circuit 11 may constitute a sensing core together with the pixel array 10 .

리드아웃 회로(11)와 이미지 신호 프로세서(120) 사이에 도7의 데이터 변환부(150)가 추가될 수 있다. 데이터 변환부(150)는 리드아웃 회로(11)로부터 출력되는 원본 이미지 신호(RIMG)를 원본 이미지 신호(RIMG)와 해상도는 동일하고 데이터량이 더 많은 입력 이미지 신호(IIMG)로 변환할 수 있다. 또는 데이터 변환부(150)에 의해 원본 이미지 신호(RIMG)와 색 공간(color space)이 다른 입력 이미지 신호(IIMG)로 변환할 수 있다. 예를 들어 원본 이미지 신호(RIMG)는 베이어 패턴(bayer pattern)이고, 입력 이미지 신호(IIMG)는 RGB, YUV 패턴일 수 있다.The data converter 150 of FIG. 7 may be added between the readout circuit 11 and the image signal processor 120 . The data conversion unit 150 may convert the original image signal RIMG output from the readout circuit 11 into an input image signal IIMG having the same resolution as the original image signal RIMG and a larger amount of data. Alternatively, the data conversion unit 150 may convert the original image signal RIMG into an input image signal IIMG having a different color space from that of the original image signal RIMG. For example, the original image signal RIMG may be a Bayer pattern, and the input image signal IIMG may be an RGB or YUV pattern.

이미지 신호 프로세서(120)는 리드아웃 회로(11)로부터 출력되는 이미지 데이터, 다시 말해서 원본 이미지 데이터(Raw image data)에 대하여 이미지 처리를 수행할 수 있다. 예를 들어, 이미지 신호 프로세서(120)는 이미지 데이터에 대하여 배드 픽셀 보정(bad pixel correction), 리모자익(remosaic), 노이즈 제거 등의 이미지 처리를 수행할 수 있다.The image signal processor 120 may perform image processing on image data output from the readout circuit 11, that is, raw image data. For example, the image signal processor 120 may perform image processing such as bad pixel correction, remosaic, and noise removal on image data.

상기 이미지 처리 과정에서 발생할 수 있는 스케일링 및 이미지 처리에 의한 화질 열화를 최소화하기 위해 이미지 신호 프로세서(120)는 도 2와 같이 분해 회로(121), 이미지 처리 엔진(122), 재구성 회로(124)를 포함할 수 있다. 분해 회로(121)는 도 7과 같이 다운 스케일링 회로(125), 제2 업 스케일링 회로(126), 보정 정보 생성 회로(127)를 포함할 수 있다. 보정 정보 생성 회로(127)는 화질 열화를 보정할 수 있는 정보를 포함하는 이미지 정보 신호(IMG_IF)를 생성할 수 있다. 재구성 회로(124)에서는 입력 이미지 신호(IIMG)보다 화질이 저하된 제3 이미지 신호(IMG3)를 이미지 정보 신호(IMG_IF)를 통해 재구성함으로써 화질 저하가 최소화된 출력 이미지 신호(OIMG)를 생성할 수 있다. In order to minimize image quality deterioration due to scaling and image processing that may occur during the image processing process, the image signal processor 120 includes a decomposition circuit 121, an image processing engine 122, and a reconstruction circuit 124 as shown in FIG. can include The decomposition circuit 121 may include a down-scaling circuit 125, a second up-scaling circuit 126, and a correction information generating circuit 127 as shown in FIG. 7 . The correction information generation circuit 127 may generate an image information signal IMG_IF including information capable of correcting deterioration in image quality. The reconstruction circuit 124 reconstructs the third image signal IMG3, the quality of which is lower than that of the input image signal IIMG, through the image information signal IMG_IF, thereby generating the output image signal OIMG with minimized quality degradation. there is.

도 17은 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서를 포함하는 휴대용 단말기를 나타내는 블록도이다. 17 is a block diagram illustrating a portable terminal including an image signal processor according to an exemplary embodiment of the present disclosure.

도 16을 참조하면, 본 개시의 예시적 실시예에 따른 휴대용 단말기(1000)는 이미지 처리 시스템(100), 무선 송수신부(1200), 오디오 처리부(1300), 비휘발성 메모리 장치(1500), 유저 인터페이스(1600) 및 컨트롤러(1700)를 포함할 수 있다. Referring to FIG. 16 , a portable terminal 1000 according to an exemplary embodiment of the present disclosure includes an image processing system 100, a wireless transceiver 1200, an audio processor 1300, a non-volatile memory device 1500, a user An interface 1600 and a controller 1700 may be included.

이미지 처리 시스템(100)은 렌즈(1110), 이미지 센서(110), 디스플레이 장치(140), 메모리(130) 및 이미지 신호 프로세서(120)를 포함할 수 있다. 실시예에 있어서 도시된 바와 같이 이미지 신호 프로세서(120)는 컨트롤러(1700)의 일부로서 구현될 수 있다. The image processing system 100 may include a lens 1110 , an image sensor 110 , a display device 140 , a memory 130 and an image signal processor 120 . As shown in the embodiment, the image signal processor 120 may be implemented as part of the controller 1700.

이미지 신호 프로세서(120)는 이미지 센서(110)로부터 제공되는 이미지 예컨데 입력 이미지 신호(IIMG) (또는 원본 이미지 신호(RIMG))에 대하여 이미지 처리를 수행함으로써, 변환된 이미지를 생성할 수 있으며, 이때 본 개시에 따른 이미지 신호 프로세서(120)에 의해 이미지 처리 과정에서의 소모 전력, data band width, 화질 저하를 최소화할 수 있다. 또 본 개시의 이미지 처리에 따른 변환된 이미지를 메모리(130)에 저장하거나, 변환된 이미지를 스케일링하여 스케일링된 이미지를 디스플레이 장치(140)에 제공할 수 있다. The image signal processor 120 may generate a converted image by performing image processing on an image provided from the image sensor 110, for example, an input image signal IIMG (or an original image signal RIMG). The image signal processor 120 according to the present disclosure can minimize power consumption, data band width, and deterioration of image quality during image processing. In addition, the converted image according to the image processing of the present disclosure may be stored in the memory 130 or the converted image may be scaled and the scaled image may be provided to the display device 140 .

무선 송수신부(1200)는 안테나(1210), 트랜시버(1220), 모뎀(1230)을 포함한다. 오디오 처리부(1300)는 오디오 프로세서(1310), 마이크(1320), 그리고 스피커(1330)를 포함할 수 있다. 비휘발성 메모리 장치(1500)는 메모리 카드(MMC, eMMC, SD, micro SD) 등으로 제공될 수 있다.The wireless transceiver 1200 includes an antenna 1210, a transceiver 1220, and a modem 1230. The audio processor 1300 may include an audio processor 1310, a microphone 1320, and a speaker 1330. The nonvolatile memory device 1500 may be provided as a memory card (MMC, eMMC, SD, micro SD) or the like.

유저 인터페이스는 키보드, 커튼 키 패널, 터지 패널, 지문 센서, 마이크 등 사용자 입력을 수신할 수 있는 다양한 장치들로 구현될 수 있다. 유저 인터페이스는 사용자 입력을 수신하고, 수신된 사용자 입력에 대응하는 신호를 컨트롤러(1700)에 제공할 수 있다. The user interface may be implemented with various devices capable of receiving user input, such as a keyboard, a curtain key panel, a touch panel, a fingerprint sensor, and a microphone. The user interface may receive a user input and provide a signal corresponding to the received user input to the controller 1700 .

컨트롤러(1700)는 휴대용 단말기(1000)의 전반적인 동작을 제어하며 응용 프로그램, 운영 체제 등을 구동하는 시스템 온 칩(SoC)으로 제공될 수 있다. 시스템 온 칩에서 구동되는 운영 체제의 커널(kernel)에는 입출력 스케줄러(I/O scheduler) 및 비휘발성 메모리 장치(1500)를 제어하기 위한 장치 브라이버(device driver)가 포함될 수 있다. The controller 1700 controls overall operations of the portable terminal 1000 and may be provided as a system-on-chip (SoC) that drives application programs and an operating system. A kernel of an operating system driven by the system-on-chip may include an I/O scheduler and a device driver for controlling the non-volatile memory device 1500 .

이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명하였으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허 청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. As above, exemplary embodiments have been disclosed in the drawings and specifications. In this specification, specific terms have been used to describe the embodiments, but these are only used for the purpose of explaining the technical idea of the present disclosure, and are not used to limit the scope of the present disclosure described in the claims. . Therefore, those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical scope of protection of the present disclosure should be determined by the technical spirit of the appended claims.

Claims (10)

입력 이미지 신호를 다운 스케일링하여 제1 이미지 신호를 생성하는 다운 스케일링 회로(Down scaling circuit);
상기 제1 이미지 신호에 대하여 복수의 이미지 처리들을 수행하여 제2 이미지 신호를 생성하는 복수의 처리 모듈들을 포함하는 이미지 처리 엔진(Image processing engine);
상기 제2 이미지 신호를 업 스케일링 하여 제3 이미지 신호를 생성하는 제1 업 스케일링 회로(First Up scaling circuit);
상기 제1 이미지 신호를 업 스케일링 하여 제4 이미지 신호를 생성하는 제2 업 스케일링 회로(Second up scaling circuit);
상기 입력 이미지 신호와 상기 제4 이미지 신호로부터 상기 제3 이미지 신호의 화질 열화(image quality loss)에 대한 정보를 추출하여 이미지 정보 신호를 생성하는 보정 정보 생성 회로; 및
상기 제3 이미지 신호와 상기 이미지 정보 신호를 재구성하여 출력 이미지 신호를 생성하는 재구성 회로(Recomposition circuit)를 포함하는 이미지 신호 프로세서(Image signal processor).a down scaling circuit for generating a first image signal by down-scaling an input image signal;
an image processing engine including a plurality of processing modules generating a second image signal by performing a plurality of image processes on the first image signal;
a first up scaling circuit generating a third image signal by up-scaling the second image signal;
a second up scaling circuit generating a fourth image signal by up-scaling the first image signal;
a correction information generating circuit extracting information about image quality loss of the third image signal from the input image signal and the fourth image signal and generating an image information signal; and
and a reconstruction circuit configured to reconstruct the third image signal and the image information signal to generate an output image signal. 제1 항에 있어서, 상기 보정 정보 생성 회로는,
상기 이미지 처리 엔진의 복수의 이미지 처리 모듈들 중 일부 처리 모듈을 포함하는 것을 특징으로 하는 이미지 신호 프로세서.The method of claim 1, wherein the correction information generation circuit,
Image signal processor characterized in that it comprises some of the plurality of image processing modules of the image processing engine. 제1 항에 있어서, 상기 보정 정보 생성 회로는,
적응형 필터(Adaptive filter), 노이즈 저감 필터(Noise reduction filter), 상기 이미지 처리 엔진에 의한 이미지 처리에 대응하는 휘도 향상 회로(Brightness enhancement circuit), 선명도 향상 회로(Sharp enhancement circuit) 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 신호 프로세서.The method of claim 1, wherein the correction information generation circuit,
At least one of an adaptive filter, a noise reduction filter, a brightness enhancement circuit corresponding to image processing by the image processing engine, and a sharp enhancement circuit Image signal processor characterized in that to do. 제1 항에 있어서, 상기 재구성 회로는,
상기 이미지 정보 신호를 보정하는 방사 보정 회로(Radial correction circuit), 이득 제어 회로(Gain control circuit) 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 신호 프로세서.The method of claim 1, wherein the reconstruction circuit,
and at least one of a radial correction circuit and a gain control circuit for correcting the image information signal. 제1 항에 있어서,
상기 이미지 정보 신호를 저장 및 상기 재구성 회로에 전송할 수 있는 메모리를 더 포함하는 이미지 신호 프로세서.According to claim 1,
The image signal processor further comprises a memory capable of storing the image information signal and transmitting it to the reconstruction circuit. 입력 이미지 신호를 이미지 처리하는 이미지 신호 프로세서의 동작 방법에 있어서,
입력 이미지 신호에 대해 다운 스케일링하여 제1 이미지 신호를 생성하는 단계;
상기 제1 이미지 신호를 이미지 처리하여 제2 이미지 신호를 생성하는 단계;
상기 제2 이미지 신호를 업 스케일링하여 제3 이미지 신호를 생성하는 단계;
상기 제1 이미지 신호를 업 스케일링하여 제4 이미지 신호를 생성하는 단계;
상기 입력 이미지 신호와 상기 제4 이미지 신호로부터 상기 제3 이미지 신호의 화질 열화(image quality loss)에 대한 정보를 추출하여 이미지 정보 신호를 생성하는 단계; 및
상기 제3 이미지 신호와 상기 이미지 정보 신호를 재구성하여 출력 이미지 신호를 생성하는 단계를 포함하는 방법.A method of operating an image signal processor for image processing of an input image signal,
generating a first image signal by down-scaling the input image signal;
processing the first image signal to generate a second image signal;
generating a third image signal by up-scaling the second image signal;
generating a fourth image signal by up-scaling the first image signal;
generating an image information signal by extracting information about image quality loss of the third image signal from the input image signal and the fourth image signal; and
and generating an output image signal by reconstructing the third image signal and the image information signal. 제12 항에 있어서, 상기 이미지 정보 신호를 생성하는 단계는,
상기 입력 이미지 신호 및 상기 제4 이미지 신호에 대해 휘도 향상(Brightness enhancement), 적응형 필터링(Adaptive filtering), 선명도 향상(Sharpness enhancement) 및 노이즈 저감(Noise reduction) 중 적어도 하나의 기능을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.13. The method of claim 12, wherein generating the image information signal comprises:
performing at least one function of brightness enhancement, adaptive filtering, sharpness enhancement, and noise reduction on the input image signal and the fourth image signal; A method characterized by comprising. 제12 항에 있어서, 상기 출력 이미지 신호를 생성하는 단계는,
상기 이미지 정보 신호에 대해 방사 보정(Radial correction), 이득 제어(Gain control) 중 적어도 하나의 기능을 수행한 후 상기 제3 이미지 신호와 재구성하여 출력 이미지 신호를 생성하는 것을 특징으로 하는 방법.13. The method of claim 12, wherein generating the output image signal comprises:
characterized in that generating an output image signal by performing at least one function of radial correction and gain control on the image information signal and then reconstructing the image information signal with the third image signal. 제12 항에 있어서, 상기 출력 이미지 신호를 생성하는 단계는,
상기 이미지 정보 신호를 메모리에 저장하는 단계;
상기 메모리가 상기 이미지 정보 신호를 출력하는 단계; 및
상기 메모리에서 출력된 상기 이미지 정보 신호와 제3 이미지 신호를 재구성하여 출력 이미지 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.13. The method of claim 12, wherein generating the output image signal comprises:
storing the image information signal in a memory;
outputting the image information signal by the memory; and
and generating an output image signal by reconstructing the image information signal and the third image signal output from the memory. 입력 이미지 신호를 기초로 입력 이미지 신호의 저주파 성분을 포함하는 제1 이미지 신호 및 고주파 신호를 포함하는 이미지 정보 신호를 생성하는 분해 회로(decomposition circuit);
상기 제1 이미지 신호에 대하여 복수의 이미지 처리를 수행하여 제2 이미지 신호를 생성하는 복수의 이미지 처리 모듈을 포함하는 이미지 처리 엔진(image processing engine); 및
상기 제2 이미지 신호 및 상기 이미지 정보 신호를 재구성하여 출력 이미지 신호를 생성하는 재구성 회로(recomposition circuit)를 포함하는 이미지 신호 프로세서(image signal processor); 및
상기 이미지 정보 신호를 저장 및 재구성 회로에 전송할 수 있는 메모리를 포함하는 것을 특징으로 하는 애플리케이션 프로세서(application processor).
a decomposition circuit for generating a first image signal including a low-frequency component of the input image signal and an image information signal including a high-frequency signal based on the input image signal;
an image processing engine including a plurality of image processing modules generating a second image signal by performing a plurality of image processes on the first image signal; and
an image signal processor including a recomposition circuit for reconstructing the second image signal and the image information signal to generate an output image signal; and
An application processor comprising a memory capable of transmitting the image information signal to a storage and reconstruction circuit.
KR1020220056873A 2021-11-12 2022-05-09 Image signal processor, method of operating the image signal processor, and application processor including the image signal processor KR20230069795A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/970,272 US20230153948A1 (en) 2021-11-12 2022-10-20 Image signal processor, operating method of the image signal processor, and application processor including the image signal processor
JP2022172572A JP2023072666A (en) 2021-11-12 2022-10-27 Image signal processor, image signal processor operation method, and application processor including image signal processor
TW111141700A TW202335483A (en) 2021-11-12 2022-11-02 Image signal processor, operating method of the image signal processor, and application processor including the image signal processor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210156060 2021-11-12
KR1020210156060 2021-11-12

Publications (1)

Publication Number Publication Date
KR20230069795A true KR20230069795A (en) 2023-05-19

Family

ID=86546630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220056873A KR20230069795A (en) 2021-11-12 2022-05-09 Image signal processor, method of operating the image signal processor, and application processor including the image signal processor

Country Status (1)

Country Link
KR (1) KR20230069795A (en)

Similar Documents

Publication Publication Date Title
US10992878B2 (en) Method of obtaining wide dynamic range image and image pickup device performing the same
US9392236B2 (en) Image processing method, image signal processor, and image processing system including the same
US20220084159A1 (en) Image signal processor, method of operating the image signal processor, and application processor including the image signal processor
KR20170046498A (en) Method for low-light image quality enhancement of image processing devices and method of operating an image processing system for performing the method
US20080012953A1 (en) Image Sensors
US20040257453A1 (en) Apparatus for and method of interfacing between an image sensor and an image processor
US10664960B1 (en) Image processing device and method to perform local contrast enhancement
JP2013146080A (en) Techniques to facilitate use of small line buffers for processing small or large images
US11741576B2 (en) Image system including image signal processor and operation method of image signal processor
US20070065022A1 (en) Image signal processing apparatus and method
US9774781B2 (en) Local tone mapping circuits and mobile computing devices including the same
US20060028564A1 (en) Camera with scalable resolution
KR20160102814A (en) Image sensor and image processing system including the same and mobile computing device including the same
KR20230069795A (en) Image signal processor, method of operating the image signal processor, and application processor including the image signal processor
US20220385841A1 (en) Image sensor including image signal processor and operating method of the image sensor
US20230153948A1 (en) Image signal processor, operating method of the image signal processor, and application processor including the image signal processor
KR20200141338A (en) Image signal processor, method of operating the image signal processor, and image processing system including the image signal processor
US11651476B2 (en) Noise removing circuit, image sensing device and operation method of the same
CN112261296B (en) Image enhancement method, image enhancement device and mobile terminal
CN115734091A (en) Image sensor, image processing method, terminal, and computer storage medium
US9979919B2 (en) Solid-state imaging device and imaging system
CN108366213B (en) Pixel, imaging method thereof and imaging device
KR102505725B1 (en) Thermal image system and method of processing the image
US20230011755A1 (en) Image signal processor, operation method of image signal processor, and image sensor device including image signal processor
TW202349335A (en) Image signal processor and method of operating the image signal processor