KR20210018381A - An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module - Google Patents

An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module Download PDF

Info

Publication number
KR20210018381A
KR20210018381A KR1020210014796A KR20210014796A KR20210018381A KR 20210018381 A KR20210018381 A KR 20210018381A KR 1020210014796 A KR1020210014796 A KR 1020210014796A KR 20210014796 A KR20210014796 A KR 20210014796A KR 20210018381 A KR20210018381 A KR 20210018381A
Authority
KR
South Korea
Prior art keywords
image
processor
image data
bayer pattern
image sensor
Prior art date
Application number
KR1020210014796A
Other languages
Korean (ko)
Inventor
박정아
김대훈
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020210014796A priority Critical patent/KR20210018381A/en
Publication of KR20210018381A publication Critical patent/KR20210018381A/en
Priority to KR1020220032775A priority patent/KR102494123B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H04N5/3454
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • H04N5/2253
    • H04N5/23212
    • H04N9/04515

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

According to one embodiment of the present invention, an image sensor capable of reducing a burden on AP may comprise: an image sensing unit generating a first Bayer pattern with a first resolution by receiving light; and a processor generating a third Bayer pattern with a resolution higher than that of a resolution of a second Bayer pattern based on the received second Bayer pattern after the second Bayer pattern, which is at least a part of the first Bayer pattern, is received from the image sensing unit.

Description

이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기{An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module}An optical device including an image sensor, a camera module, and a camera module {An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module}

본 발명은 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기에 관한 발명으로서, 보다 구체적으로는 이미지 센서에 포함되어 있는 별도의 프로세서를 이용하여 선 영상처리를 수행하는 기술에 관할 발명이다. The present invention relates to an optical device including an image sensor, a camera module, and a camera module. More specifically, the present invention relates to a technology for performing line image processing using a separate processor included in the image sensor.

기술이 발전함에 따라 카메라 장치의 소형화가 가능해지자, 소형 카메라 장치는 스마트폰을 비롯한 휴대폰이나 PDA 등 다양한 IT 기기에 적용되어 사용되고 있다. 이러한 카메라 장치는 CCD나 CMOS 등의 이미지 센서를 주요 부품으로 제작되고 있으며, 화상의 크기를 조절하기 위하여 초점 조정이 가능하도록 제조되고 있다.As technology advances, miniaturization of camera devices becomes possible, and small camera devices are applied and used in various IT devices such as mobile phones and PDAs, including smart phones. Such a camera device is manufactured with an image sensor such as a CCD or CMOS as a main component, and is manufactured to enable focus adjustment in order to adjust the size of an image.

이러한 카메라 장치는 복수의 렌즈와 액추에이터(Actuator)를 포함하여 구성이 되며, 액추에이터가 각각의 렌즈를 이동시켜 그 상대적인 거리를 변화시킴으로써 광학적인 초점 거리가 조절되는 방식으로 대상체에 대한 물체를 촬영할 수 있다.Such a camera device is composed of a plurality of lenses and an actuator, and the actuator moves each lens to change the relative distance so that the optical focal length can be adjusted to take an object to the object. .

구체적으로 카메라 장치는 외부에선 수신한 광 신호를 전기 신호로 변환하는 이미지 센서와 이미지 센서로 광을 집광시키는 렌즈와 IR(Infrared) 필터, 이들을 내부에 포함하는 하우징 및 이미지 센서의 신호를 처리하는 인쇄회로기판을 등을 포함하고 있으며, 액추에이터는 VCM(Voice Coil Motor) 액추에이터 또는 MEMS(Micro Electromechanical Systems) 액추에이터 등의 액추에이터에 의해 렌즈의 초점 거리가 조절된다.Specifically, the camera device includes an image sensor that converts an externally received optical signal into an electrical signal, a lens that condenses light with the image sensor, an IR (Infrared) filter, a housing including them, and a printing that processes the signal from the image sensor. A circuit board and the like are included, and the focal length of the lens is adjusted by an actuator such as a VCM (Voice Coil Motor) actuator or a MEMS (Micro Electromechanical Systems) actuator.

한편, 기술이 발전에 의해 해상도가 높은 이미지의 구현이 가능해짐에 따라, 멀리 있는 대상체를 촬영한 이미지를 고해상도로 구현할 수 있는 기술에 대한 요구 또한 늘어나고 있다.On the other hand, as technology advances and it becomes possible to implement a high-resolution image, there is also an increasing demand for a technology capable of realizing an image photographed of a distant object in high resolution.

일반적으로 카메라는 멀리 있는 대상체를 촬영하기 위해 줌(Zoom) 기능이 탑재되어 있는데, 줌 기능은 크게 카메라 내부의 실제 렌즈가 이동하여 대상체를 확대하는 광학줌과, 대상체를 촬영한 화상 데이터의 일부 화면을 디지털 처리 방식으로 확대 표시하여 줌 효과를 얻는 디지털 줌 방식으로 나뉘어진다.In general, a camera is equipped with a zoom function to capture a distant object.The zoom function is an optical zoom that enlarges the object by moving the actual lens inside the camera, and a partial screen of image data photographing the object. It is divided into a digital zoom method that obtains a zoom effect by displaying enlarged in a digital processing method.

렌즈의 이동을 이용하여 대상체에 대한 이미지를 얻는 광학 줌의 경우 비교적 높은 해상도를 가지는 이미지를 획득할 수 있으나, 이는 카메라 내부의 구조가 복잡해지고 부품 추가로 인해 비용이 증가하는 문제가 존재한다. 또한, 광학 줌을 이용하여 대상체를 확대할 수 있는 영역은 한계가 있어서, 이러한 부분에 대해서는 소프트웨어로 보정을 하는 기술 등이 개발되고 있다.In the case of optical zoom in which an image of an object is obtained by using the movement of a lens, an image having a relatively high resolution can be obtained, but this has a problem that the internal structure of the camera is complicated and the cost increases due to the addition of parts. In addition, since there is a limit to an area in which an object can be enlarged using optical zoom, a technology for correcting such a portion with software has been developed.

이러한 방법 이 외에도, 보이스 코일 모터(VCM, Voice Coil Motor) 또는 MEMS(Micro-Electro Mechanical Systems) 기술로 센서를 흔드는 센서 시프트(Shift) 기술, 렌즈를 VCM 등으로 흔들어서 픽셀 정보를 얻는 OIS(Optical Image Stabilizer) 기술, 센서와 렌즈 사이의 필터(Filter)를 흔드는 기술 등 카메라 내부의 부품을 움직이는 방식으로 픽셀 정보를 더 많이 생성하여 고해상도 이미지를 구현하는 기술들이 존재한다.In addition to these methods, sensor shift technology that shakes the sensor with Voice Coil Motor (VCM) or Micro-Electro Mechanical Systems (MEMS) technology, Optical Image (OIS) that obtains pixel information by shaking the lens with VCM, etc. There are technologies for realizing high-resolution images by generating more pixel information by moving parts inside the camera, such as a stabilizer technology and a technology that shakes a filter between a sensor and a lens.

그러나 이러한 기술들의 단점은 여러 시차의 데이터를 합성하기 때문에 움직이는 물체를 촬영한 경우, 모션 블러(Motion Blur)나, 아티팩트(Artifact)와 같은 현상들이 발생할 수 있어 이로 인해 이미지의 화질을 저하시키는 문제가 발생할 수 있다.However, the disadvantage of these technologies is that they synthesize data of various parallaxes, so phenomena such as motion blur and artifacts may occur when a moving object is photographed, thereby deteriorating the image quality. Can occur.

반면, TV에서 일반적으로 사용되고 있는 소프트웨어 알고리즘을 이용한 고해상도 구현 기술은 싱글 프레임 SR (Single-Frame Super Resolution) 또는 멀티 프레임 SR(Multi-frame Super Resolution) 기술 등이 존재한다.On the other hand, technologies for implementing high resolution using software algorithms commonly used in TV include single-frame SR (Single-Frame Super Resolution) or multi-frame SR (Multi-frame Super Resolution) technologies.

이러한 기술의 경우 아티팩트(Artifact) 문제는 발생하지는 않지만, 모바일, 차량, IoT 등 소형 카메라 장치가 적용될 수 있는 장치에는 적용하기 어려운 알고리즘이며, 또한 이러한 기술을 구현하기 위해서는 별도의 이미지 프로세서가 필요하다. In the case of such a technology, an artifact problem does not occur, but it is an algorithm that is difficult to apply to devices to which small camera devices such as mobile, vehicle, and IoT can be applied, and a separate image processor is required to implement this technology.

그러나 이러한 합성 알고리즘을 수행을 하기 위한 소프트웨어는 일반적으로 처리해야 하는 데이터의 양이 많기 때문에 AP(Application Processor)에서도 실시간으로 처리하기 어려운 문제점이 존재하였으며, 설사 AP가 이러한 기능을 수행할 수 있었어도 이러한 AP는 가격이 비싸 제조 단가가 증가하는 문제점이 존재하였다.However, since the software for performing this synthesis algorithm generally has a large amount of data to be processed, there is a problem that it is difficult to process in real time even in an application processor (AP). Even though the AP was able to perform these functions, the AP There was a problem in that the manufacturing cost increased due to the high price.

따라서, 본 발명은 전술한 바와 같이 종래 기술이 가지고 있던 문제점을 해결하기 위해 고안된 발명으로서, AP에서 처리하는 영상 처리의 적어도 일부분을 이미지 센서에 탑재되어 있는 별도의 프로세서를 이용하여 전처리를 수행함으로써, 고가의 AP를 탑재하지 않아도 동일한 기능을 수행할 수 있는 카메라 모듈 및 이를 포함하는 광학 기기를 제공하기 위함이다. Accordingly, the present invention is an invention devised to solve the problems of the prior art, as described above, by performing pre-processing at least a part of the image processing processed by the AP using a separate processor mounted on the image sensor, The aim is to provide a camera module capable of performing the same function without mounting an expensive AP and an optical device including the same.

또한, AP에서 영상 처리를 하기 전에 이미지 센서로부터 수신한 베이어 패턴에 대한 정보를 기초로 외부로 출력해야 하는 영상에 대한 전처리를 수행함으로써, AP가 처리해야 하는 부담을 줄일 수 있는 카메라 모듈 및 이를 포함하는 광학 기기를 제공하기 위함이다.In addition, by performing pre-processing on the image to be output to the outside based on information on the Bayer pattern received from the image sensor before processing the image in the AP, a camera module that can reduce the burden that the AP has to process, and the same are included. It is to provide an optical device.

일 실시예에 따른 이미지 센서는 광을 수신하여 제1해상도를 가지는 제1베이어 패턴(Bayer Pattern)을 생성하는 이미지 센싱부 및 상기 이미지 센싱부로부터 상기 제1베이어 패턴의 적어도 일부인 제2베이어 패턴을 수신한 후, 수신한 상기 제2베이어 패턴을 기초로 상기 제2 베이어 패턴보다 높은 해상도를 가지는 제3베이퍼 패턴을 생성하는 프로세서를 포함할 수 있다. The image sensor according to an embodiment includes an image sensing unit that receives light and generates a first Bayer pattern having a first resolution, and a second Bayer pattern that is at least a part of the first Bayer pattern from the image sensing unit. After receiving, a processor for generating a third vapor pattern having a higher resolution than the second Bayer pattern based on the received second Bayer pattern.

상기 이미지 센싱부로부터 상기 제1베이어 패턴을 수신한 후, 상기 제1베이어 패턴의 적어도 일부를 분해(Decomposition) 또는 재배열(Re-arrange)하여 상기 제2베이어 패턴을 생성하는 정렬부;를 포함하는 이미지 센서.After receiving the first bayer pattern from the image sensing unit, an alignment unit configured to generate the second bayer pattern by decomposition or re-arrangement of at least a portion of the first bayer pattern; Image sensor.

상기 프로세서는 상기 정렬부로부터 수신한 상기 제2베이어 패턴을 기초로 상기 제3베이어 패턴을 생성할 수 있다.The processor may generate the third bayer pattern based on the second bayer pattern received from the alignment unit.

상기 프로세서는, 상기 제1베이어 패턴에 대해 SR(Super Resolution) 또는 줌(Zoom)을 실시하여 상기 제2 베이어 패턴을 출력할 수 있다.The processor may output the second Bayer pattern by performing SR (Super Resolution) or zoom on the first Bayer pattern.

상기 프로세서는 딥 러닝(Deep-Learning)을 수행하여 획득된 알고리즘에 기초해 상기 제2 베이어 패턴에 대한 영상 처리를 실시하여 상기 제3 베이어 패턴을 출력할 수 있다.The processor may output the third Bayer pattern by performing image processing on the second Bayer pattern based on an algorithm obtained by performing deep-learning.

다른 실시예에 따른 카메라 모듈은 광을 수신하여 제1해상도를 가지는 제1베이어 패턴(Bayer Pattern)을 생성하는 이미지 센싱부 및 상기 이미지 센싱부로부터 상기 제1베이어 패턴의 적어도 일부인 제2베이어 패턴을 수신한 후, 수신한 상기 제2베이어 패턴을 기초로 상기 제2 베이어 패턴보다 높은 해상도를 가지는 제3베이퍼 패턴을 생성하는 프로세서를 포함할 수 있다. The camera module according to another embodiment includes an image sensing unit that receives light and generates a first Bayer pattern having a first resolution, and a second Bayer pattern that is at least a part of the first Bayer pattern from the image sensing unit. After receiving, a processor for generating a third vapor pattern having a higher resolution than the second Bayer pattern based on the received second Bayer pattern.

상기 카메라 모듈은 이미지 센싱부로부터 상기 제1베이어 패턴을 수신한 후, 상기 제1베이어 패턴의 적어도 일부를 분해(Decomposition) 또는 재배열(Re-arrange)하여 상기 제2베이어 패턴을 생성하는 정렬부를 포함할 수 있다.After receiving the first bayer pattern from the image sensing unit, the camera module decomposes or rearranges at least a part of the first bayer pattern to generate the second bayer pattern. Can include.

상기 프로세서는, 상기 정렬부로부터 수신한 상기 제2베이어 패턴을 기초로 상기 제3베이어 패턴을 생성할 수 있다.The processor may generate the third bayer pattern based on the second bayer pattern received from the alignment unit.

상기 프로세서는, 딥 러닝(Deep-Learning)을 수행하여 획득된 알고리즘에 기초해 상기 제2 베이어 패턴에 대한 영상 처리를 실시하여 상기 제3 베이어 패턴을 출력할 수 있다.The processor may output the third Bayer pattern by performing image processing on the second Bayer pattern based on an algorithm obtained by performing deep-learning.

또 다른 실시예에 따른 광학 기기는, 광을 수신하여 제1해상도를 가지는 제1베이어 패턴(Bayer Pattern)을 생성하는 이미지 센싱부,상기 이미지 센서로부터 출력되는 영상 정보를 수신하는 AP(Application Processor) 및 상기 제1베이어 패턴의 적어도 일부인 제2베이어 패턴을 기초로, 상기 제2 베이어 패턴보다 높은 해상도를 가지는 제3베이퍼 패턴을 생성하는 프로세서를 포함하고 상기 영상 정보는 상기 제3베이어 패턴에 대응되는 정보를 포함할 수 있다. An optical device according to another embodiment is an image sensing unit that receives light and generates a first Bayer pattern having a first resolution, an application processor (AP) that receives image information output from the image sensor And a processor for generating a third vapor pattern having a higher resolution than the second Bayer pattern, based on the second Bayer pattern, which is at least a part of the first Bayer pattern, wherein the image information corresponds to the third Bayer pattern. May contain information.

상기 프로세서는, 상기 AP로부터 상기 영상 정보를 수신한 후, 수신한 상기 영상 정보를 기초로 상기 제1베이어 패턴에서 상기 제2베이어 패턴으로 설정할 범위를 설정하고 설정된 범위를 기초로 상기 제3베이어 패턴을 생성할 수 있다.After receiving the image information from the AP, the processor sets a range to be set as the second bayer pattern in the first bayer pattern based on the received image information, and the third bayer pattern based on the set range Can be created.

상기 프로세서는, 상기 제3베이어 패턴을 상기 AP로 출력할 수 있다.The processor may output the third bayer pattern to the AP.

상기 영상 정보는 상기 제1베이어 패턴에 대한 줌(Zoom) 정보를 포함하고 상기 프로세서는, 상기 줌에 대한 정보에 기초로 상기 제2베이퍼 배턴의 범위를 설정할 수 있다.The image information includes zoom information on the first bayer pattern, and the processor may set a range of the second vapor baton based on the information on the zoom.

상기 광학 기긱는 외부로 영상을 표시하는 디스플레이를 더 포함하고 상기 제2베이퍼 패턴의 범위는 상기 디스플레이에 의해 표시되는 영역에 대응될 수 있다.The optical device may further include a display that displays an image to the outside, and a range of the second vapor pattern may correspond to an area displayed by the display.

상기 프로세서는 상기 AP와 별도로 카메라 모듈 내부에 독립적으로 실장될 수 있다.The processor may be independently mounted inside the camera module separately from the AP.

일 실시예에 따른 이미지 센서, 카메라 모듈 및 이를 포함하는 광학 기기는 AP에서 처리하는 영상 처리의 일부분을 이미지 센서에 탑재되어 있는 별도의 프로세서를 이용하여 수행함으로써, 고가의 AP를 장착하지 않아도 효율적으로 영상처리를 할 수 있는바 비교적 경제적으로 카메라 모듈 및 이를 포함하는 광학 기기를 제조할 수 있는 효과가 존재한다.An image sensor, a camera module, and an optical device including the same according to an exemplary embodiment perform part of the image processing processed by the AP using a separate processor mounted on the image sensor, so that it is not necessary to install an expensive AP. As image processing can be performed, there is an effect of relatively economically manufacturing a camera module and an optical device including the same.

또한, 네트워크 구성은 최적화시키는 방식으로 고해상도 이미지를 생성하므로 비교적 크기가 작은 소형 칩(Chip)으로 구현될 수 있으며, 본 기술이 적용된 칩을 카메라 장치에 탑재하는 방식으로 본 기술의 실시가 가능하므로, 줌 기능이 없는 카메라 장치 또는 특정 배율에 대한 고정 줌만 지원하는 카메라 장치에 본 기술을 적용시켜 연속 줌 기능을 사용할 수 있다.In addition, since the network configuration generates high-resolution images in a way that optimizes the network configuration, it can be implemented as a relatively small chip, and the implementation of the technology is possible by mounting a chip to which the technology is applied to a camera device. The continuous zoom function can be used by applying this technology to a camera device without a zoom function or a camera device that supports only fixed zoom for a specific magnification.

또한, 전처리를 수행하는 프로세서는 딥러닝 과정을 통해 최적으로 영상 처리를 수행할 수 있는 알고리즘을 이용하여 AP가 수행하는 일부 기능을 대신 수행할 수 있어, AP가 실시간으로 처리해야 하는 데이터의 양을 줄일 수 있고 이에 따라, AP의 소비전력을 낮추고, AP를 원활하게 작동시킬 수 있는 효과가 존재한다.In addition, the processor performing preprocessing can perform some functions performed by the AP using an algorithm that can optimally perform image processing through a deep learning process, so that the amount of data that the AP must process in real time can be determined. It can be reduced, and accordingly, there is an effect of lowering the power consumption of the AP and smoothly operating the AP.

도 1은 일 실시예에 따른 이미지 센서의 일부 구성 요소를 도시한 블록도이다.
도 2는 일 실시예에 따른 딥 러닝 트레이닝의 수행 과정을 도시한 도면이다.
도 3은 일 실시예에 따른 프로세서를 통과한 제3베이어 패턴을 가지고 있는 이미지를 도시한 도면이다.
도4는 다른 실시예에 따른 광학 기기의 일부 구성 요소를 도시한 블럭도이다.
도5는 다른 실시예에 따른 이미지 센서의 일부 구성 요소를 도시한 블록도이다.
도6은 다른 실시예에 따른 이미지 센서의 일부 구성 요소를 도시한 블럭도이다.
도 7은 일 실시예에 따른 광학 기기의 제어 방법을 도시한 순서도이다.
1 is a block diagram illustrating some components of an image sensor according to an exemplary embodiment.
2 is a diagram illustrating a process of performing deep learning training according to an embodiment.
3 is a diagram illustrating an image having a third Bayer pattern passing through a processor according to an exemplary embodiment.
4 is a block diagram showing some components of an optical device according to another embodiment.
5 is a block diagram illustrating some components of an image sensor according to another embodiment.
6 is a block diagram showing some components of an image sensor according to another embodiment.
7 is a flowchart illustrating a method of controlling an optical device according to an exemplary embodiment.

본 명세서에 기재된 실시 예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예이며, 본 출원의 출원 시점에 있어서 본 명세서의 실시 예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.The embodiments described in the present specification and the configurations shown in the drawings are preferred examples of the disclosed invention, and there may be various modifications that may replace the embodiments and drawings of the present specification at the time of filing of the present application.

또한, 본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. In addition, terms used in the present specification are used to describe embodiments and are not intended to limit and/or limit the disclosed invention. Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않으며, 본 명세서에서 사용한 "제 1", "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않는다. In the present specification, terms such as "comprise", "include" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or a combination thereof described in the specification. Or the presence or addition of other features, numbers, steps, actions, components, parts, or combinations thereof, or any other feature, or a number, steps, operations, components, parts, or combinations thereof, and includes ordinal numbers such as "first" and "second" used herein. The terms described above may be used to describe various components, but the components are not limited by the terms.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. In addition, in the drawings, parts not related to the description are omitted in order to clearly describe the present invention.

도 1은 일 실시예에 따른 이미지 센서(200)의 일부 구성 요소를 도시한 블럭도이다.1 is a block diagram illustrating some components of an image sensor 200 according to an exemplary embodiment.

도 1을 참조하면, 일 실시예에 다른 이미지 센서(200)는 외부 대상체에 대한 이미지를 획득하는 이미지 센싱부(210)와 이미지 센싱부(210)가 취득한 이미지를 정렬 또는 합성해서 새로운 이미지를 생성하는 정렬부(220) 및 정렬부(220)로부터 수신한 이미지를 기초로 딥 러닝을 수행하는 프로세서(230)를 포함할 수 있다.Referring to FIG. 1, an image sensor 200 according to an embodiment creates a new image by aligning or combining an image sensing unit 210 that acquires an image of an external object and an image acquired by the image sensing unit 210. It may include an alignment unit 220 to perform deep learning based on the image received from the alignment unit 220 and the processor 230.

이미지 센싱부(210)는 카메라 모듈(100)에 실장되어 있는 렌즈(120)를 통해 들어오는 빛을 전기 신호로 변화하는 장치를 포함할 수 있다. 구체적으로, 센싱부(210)는 CMOS(Complementary Metal Oxide Semiconductor) 또는 CCD(Charge Coupled Device)와 같은 여러 종류의 이미지 센서를 포함할 수 있다. The image sensing unit 210 may include a device that converts light entering through the lens 120 mounted on the camera module 100 into an electric signal. Specifically, the sensing unit 210 may include various types of image sensors such as Complementary Metal Oxide Semiconductor (CMOS) or Charge Coupled Device (CCD).

구체적으로 이미지 센싱부(210)는 렌즈(120)를 통해서 얻은 정보를 기초로 제1해상도를 가지는 제1 베이어 패턴(Bayer Pattern)을 생성하고 생성된 제1베이어 패턴을 정렬부(220)로 송신할 수 있다. Specifically, the image sensing unit 210 generates a first Bayer pattern having a first resolution based on the information obtained through the lens 120 and transmits the generated first Bayer pattern to the alignment unit 220 can do.

통상적인 카메라 장치 혹은 카메라 장치는 이미지 센서로부터 베이어 패턴을 전달받아 색을 입히는 과정(색 보간 과정, Color Interpolation 혹은 Demosaicing)을 거쳐 이미지 형태의 데이터를 출력할 수 있는데, 여기서 베이어 패턴이란 카메라 모듈(100) 또는 카메라 모듈(100)에 포함된 광 신호를 전기 신호로 변환하는 이미지 센싱부(210)가 출력하는 가공되지 않은 데이터(Raw Data)를 의미한다.A typical camera device or a camera device may output image data through a process (color interpolation, color interpolation, or demosaicing) that receives a Bayer pattern from an image sensor and colorizes it. Here, the Bayer pattern is a camera module 100 ) Or raw data output from the image sensing unit 210 that converts an optical signal included in the camera module 100 into an electrical signal.

이에 대해 구체적으로 설명하면, 카메라 모듈(100)에 포함된 렌즈(120)를 통해 전달되는 광 신호는 이미지 센서에 배치된 R, G, B 색상을 검출할 수 있는 화소를 통해 전기 신호로 변환될 수 있다. 예를 들어, 카메라 모듈(100)의 사양이 500만 화소라고 한다면, R, G, B 색상을 감지할 수 있는 화소가 500만개 포함된 이미지 센서가 포함되어 있다고 볼 수 있다. Specifically, the optical signal transmitted through the lens 120 included in the camera module 100 will be converted into an electrical signal through a pixel capable of detecting R, G, and B colors disposed on the image sensor. I can. For example, if the specification of the camera module 100 is 5 million pixels, it can be considered that an image sensor including 5 million pixels capable of detecting R, G, and B colors is included.

그리고 이미지 센서의 화소 수가 500만개인 경우 실제로 각각의 확소가 모든 색(color)을 감지하는 것이 아니라 흑백의 밝기만을 감지하는 단색(monochrome) 화소가 R, G, B 필터 중 어느 하나와 결합되어 있는 것으로 볼 수 있다. 즉, 이미지 센서는 화소수 만큼 배열된 단색 화소 셀들 위에 R, G, B 색상 필터들이 특정한 패턴을 가지고 배치되어 있다. In addition, if the number of pixels of the image sensor is 5 million, in fact, each expansion does not detect all colors, but a monochromatic pixel that detects only the brightness of black and white is combined with any one of R, G, and B filters. Can be seen as. That is, in the image sensor, R, G, and B color filters are arranged in a specific pattern on monochromatic pixel cells arranged by the number of pixels.

따라서, R, G, B 색상 패턴이 사용자(즉, 인간)의 시각 특성에 따라 교차하며 배치되는데 이를 베이어 패턴(Bayer Pattern)이라고 부른다.Accordingly, R, G, and B color patterns are intersected and arranged according to the visual characteristics of the user (ie, human), which is called a Bayer pattern.

일반적으로 베이어 패턴은 이미지 형태의 데이터 보다 데이터의 양이 작다. 따라서, 고사양의 프로세서를 가지고 있지 않은 카메라 장치가 장착된 장치라 하더라도 이미지 형태의 데이터보다 비교적 빠르게 베이어 패턴의 이미지 정보를 전송하고 수신할 수 있으며, 이를 기초로 다양한 해상도를 가지는 이미지로 변환시킬 수 있는 장점이 존재한다.In general, the Bayer pattern has a smaller amount of data than image data. Therefore, even a device equipped with a camera device that does not have a high-end processor can transmit and receive Bayer pattern image information relatively faster than image data, and convert it into images with various resolutions on the basis of this. There are advantages.

일 예로, 카메라 장치가 차량에 탑재되어, 카메라 장치가100Mbit/s 의 전이중(Full-duplex) 전송 속도를 가지는 저전압 차등 신호 방식(LVDS)이 이용되는 환경 내에서도 이미지 처리를 하는데 많은 프로세서가 필요하지 않아 과부하가 걸리지 않아 차량을 이용하는 운전자 또는 운전자의 안전에 위해가 되지 않을 수 있다.For example, since a camera device is mounted on a vehicle, a large number of processors are not required for image processing even in an environment in which the camera device uses a low voltage differential signaling method (LVDS) with a full-duplex transmission rate of 100 Mbit/s. As there is no overload, it may not be a hazard to the driver or the driver's safety.

또한, 차량 내 통신망에 의해 전달되는 데이터의 크기를 줄일 수 있어 자율 주행 차량에 적용하더라도 차량에 배치된 복수의 카메라의 작동에 따른 통신 방식, 통신 속도 등에 의해 발생하는 문제를 제거할 수 있는 효과가 존재한다. In addition, it is possible to reduce the size of the data transmitted by the communication network in the vehicle, so even if it is applied to an autonomous vehicle, it is possible to eliminate problems caused by the communication method and communication speed caused by the operation of a plurality of cameras arranged in the vehicle. exist.

다시 도1로 돌아와 이미지 센서(200)에 대해 설명하면 정렬부(220)는 이미지 센싱부(210)가 취득한 이미지를 정렬 또는 합성해서 새로운 이미지를 생성할 수 있다.Returning to FIG. 1 and describing the image sensor 200, the alignment unit 220 may generate a new image by aligning or combining the images acquired by the image sensing unit 210.

구체적으로 정렬부(220)는 이미지 센싱부(210)로부터 제1베이어 패턴을 수신한 후, 제1베이어 패턴의 전부 또는 일부를 분해(Decomposition) 또는 재배열(Re-arrange)하여 제2베이어 패턴을 생성하고 생성된 제2베이어 패턴을 프로세서(230)로 송신할 수 있다. 따라서, 제2베이어 패턴은 제1베이어 패턴과 동일하거나 그 보다 작은 사이즈를 가질 수 있다.Specifically, the alignment unit 220 receives the first bayer pattern from the image sensing unit 210 and then decompositions or re-arranges all or part of the first bayer pattern to provide a second bayer pattern. And transmits the generated second Bayer pattern to the processor 230. Accordingly, the second Bayer pattern may have a size equal to or smaller than the first Bayer pattern.

일반적으로 영상 처리를 하는 경우, 사용자가 원하지 않은 영역은 제외하고 사용자가 원하는 영역에 대해서만 영상 처리를 실시하는 것이 시스템의 과부하를 줄이고 효율적으로 영상처리를 수행할 수 있다.In general, when image processing is performed, image processing is performed only on an area desired by the user except for an area that the user does not want, thereby reducing system overload and performing image processing efficiently.

따라서, 정렬부(220)는 이미지 센싱부(210)로부터 수신한 제1베이어 패턴 중에서 영상 처리를 실시해야 하는 영역에 대해서만 프로세서(230)가 영상 처리를 실시할 수 있도록 제1베이어 패턴의 적어도 일부를 분해(Decomposition) 또는 재배열(Re-arrange)하여 제2베이어 패턴을 생성하고 생성된 제2베이어 패턴을 프로세서(230)로 송신할 수 있다. Therefore, the alignment unit 220 is at least a part of the first Bayer pattern so that the processor 230 can perform image processing only on an area in which image processing is to be performed among the first Bayer patterns received from the image sensing unit 210. A second Bayer pattern may be generated by decomposition or re-arrangement, and the generated second Bayer pattern may be transmitted to the processor 230.

그리고 정렬부(220)는 베이어 패턴의 해상도는 변하지 않으므로 일반적으로 제1베이어 패턴과 제2베이어 패턴의 해상도는 동일한 해상도를 가지고 있는 것으로 볼 수 있다.In addition, since the alignment unit 220 does not change the resolution of the Bayer pattern, it can be seen that the resolutions of the first Bayer pattern and the second Bayer pattern generally have the same resolution.

프로세서(230)는 이미지 센싱부(210)로부터 제1베이어 패턴의 적어도 일부인 제2베이어 패턴을 수신한 후, 수신한 제2베이어 패턴을 기초로 하여 상기 제2 베이어 패턴보다 높은 해상도를 가지는 제3베이어 패턴을 생성할 수 있다.The processor 230 receives a second Bayer pattern that is at least a part of the first Bayer pattern from the image sensing unit 210, and then, based on the received second Bayer pattern, the third Bayer pattern having a higher resolution than the second Bayer pattern. Bayer patterns can be created.

구체적으로, 프로세서(230)는 딥 러닝(Deep Learning) 트레이닝에 의해 생성된 알고리즘을 이용하여 이미지 센싱부(210)로부터 수신한 제1해상도를 가지는 제2베이어 패턴을 제1베이어 패턴보다 높은 해상도를 가지는 제3해상도 값을 가지는 제3베이어 패턴을 생성할 수 있으며, 제3베이어 패턴의 해상도의 값은 사용자의 목적에 따라 사용자가 자유롭게 설정 변경할 수 있다. Specifically, the processor 230 uses an algorithm generated by deep learning training to obtain a second Bayer pattern having a first resolution received from the image sensing unit 210 with a higher resolution than the first Bayer pattern. The branch can generate a third Bayer pattern having a third resolution value, and the resolution value of the third Bayer pattern can be freely set and changed by the user according to the user's purpose.

또한, 프로세서(230)는 수신한 제1베이어 패턴에 대해 SR(Super Resolution) 또는 줌(Zoom)을 실시하여 이에 기초한 제2 베이어 패턴을 생성할 수 도 있다.Also, the processor 230 may generate a second Bayer pattern based on the super resolution (SR) or zoom on the received first Bayer pattern.

따라서, 일 실시예에 따른 이미지 센서(200) 또는 카메라 모듈(100)은 도면에는 도시하지 않았으나 제3베이어 패턴에 대한 정보를 입력 받는 입력부를 더 포함할 수 있으며, 사용자는 이를 통해 원하는 해상도에 대한 정보를 이미지 센서(200) 또는 카메라 모듈(100)로 전송할 수 있다.Accordingly, the image sensor 200 or the camera module 100 according to an exemplary embodiment may further include an input unit for receiving information on the third bayer pattern, although not shown in the drawing. Information may be transmitted to the image sensor 200 or the camera module 100.

예를 들어, 사용자는 해상도가 높은 이미지를 얻고 싶은 경우, 제3해상도를 제1해상도와 차이가 많이 존재하는 해상도로 설정할 수 있으며, 비교적 빠른 시간 내에 새로운 이미지를 취득하고 싶은 경우, 제1해상도와 해상도의 차이가 많이 나지 않은 해상도로 제3해상도 값을 자유롭게 설정할 수 있다.For example, when a user wants to obtain an image with a high resolution, the third resolution can be set to a resolution that has a lot of difference from the first resolution. If a user wants to acquire a new image within a relatively short time, the first resolution and The third resolution value can be freely set at a resolution with little difference in resolution.

도 1에서는 정렬부(220)와 프로세서(230)를 별도의 구성 요소로 도시하였지만 이에 한정되는 것은 아니고 정렬부(220)가 하는 역할을 프로세서(230)가 동시에 수행할 수 도 있다.In FIG. 1, the alignment unit 220 and the processor 230 are illustrated as separate components, but are not limited thereto, and the processor 230 may simultaneously perform the role of the alignment unit 220.

또한, 프로세서(230)는 프로세서를 통해 실행되는 적어도 하나의 프로그램 명령이 저장된 메모리(Memory, 미도시)를 통해 구현될 수 있다.Also, the processor 230 may be implemented through a memory (not shown) in which at least one program command executed through the processor is stored.

구체적으로, 메모리는 S램, D랩 등의 휘발성 메모리를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 경우에 따라서 메모리는 플래시 메모리, 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read Only Memory: EEPROM) 등의 비휘발성 메모리를 포함할 수도 있다.Specifically, the memory may include a volatile memory such as S-RAM and D-lap. However, the present invention is not limited thereto, and in some cases, the memory is a ratio of flash memory, ROM (Read Only Memory), EPROM (Erasable Programmable Read Only Memory: EPROM), and EPROM (Electrically Erasable Programmable Read Only Memory: EEPROM). It may also include volatile memory.

지금까지 일 실시예에 따른 이미지 센서(200)의 일반적인 구성 요소에 대해 알아보았다. 이하 프로세서(230)에 적용되는 알고리즘의 생성 방법 및 특징에 대해 알아본다.So far, general components of the image sensor 200 according to an exemplary embodiment have been described. Hereinafter, a method and characteristic of an algorithm applied to the processor 230 will be described.

일 실시예에 따른 이미지 센서(200)의 프로세서(230)에 적용되는 알고리즘은, 입력된 이미지의 해상도보다 더 높은 해상도를 가지는 이미지를 생성하는 알고리즘으로서, 딥 러닝 트레이닝을 반복적으로 수행하여 생성된 최적의 알고리즘을 의미할 수 있다. The algorithm applied to the processor 230 of the image sensor 200 according to an embodiment is an algorithm that generates an image having a resolution higher than the resolution of the input image, and is an optimal generated by repeatedly performing deep learning training. Can mean the algorithm of.

딥 러닝이란, 심층 학습으로 표현되기도 하는데, 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계 학습(machine learning)에 관한 알고리즘의 집합을 의미한다. Deep learning, sometimes expressed as deep learning, is machine learning that attempts to achieve a high level of abstraction (summarizing key contents or functions in a large amount of data or complex data) through a combination of several nonlinear transformation methods. It refers to a set of algorithms for (machine learning).

구체적으로, 딥 러닝은 어떠한 학습 데이터를 컴퓨터가 이해할 수 있는 형태(예를 들어 이미지의 경우는 픽셀(Pixel)정보를 열 벡터로 표현하는 등)로 표현(Representation)하고 이를 학습에 적용하기 위해 많은 연구(어떻게 하면 더 좋은 표현기법을 만들고 또 어떻게 이것들을 학습할 모델을 만들지에 대한)에 대한 학습 기법으로, DNN(Deep Neural Networks) 및 DBN(Deep Belief Networks)등의 학습 기법을 포함할 수 있다.Specifically, deep learning represents some training data in a form that a computer can understand (for example, in the case of an image, pixel information is expressed as a column vector), and there are many to apply it to learning. As a learning technique for research (how to make a better representation technique and how to make a model to learn these), it can include learning techniques such as Deep Neural Networks (DNN) and Deep Belief Networks (DBN). .

일 예로, 딥 러닝은 먼저 주변 환경을 인지하고 현재 환경 상태를 프로세서에 전달할 수 있다. 프로세서는 이에 맞는 행동(Action)을 수행하고 환경은 다시 그 행동에 따른 보상치를 프로세서에게 알려준다. 그리고 프로세서는 보상치를 최대로 하는 행동을 택하게 된다. 이러한 과정에 통해 학습 과정이 반복적으로 진행될 수 있다.For example, deep learning may first recognize the surrounding environment and transmit the current environment state to the processor. The processor performs the corresponding action, and the environment again informs the processor of the reward for the action. And the processor chooses the action that maximizes the reward. Through this process, the learning process can be repeated.

앞서 설명한대로 딥 러닝을 수행 하면서 이용되는 학습 데이터는, 실제 해상도가 낮은 베이어 이미지를 해상도가 높은 베이어 이미지로 변환해 가면서 얻은 결과일 수도 있으며, 시뮬레이션을 통해 얻은 정보일 수도 있다.As described above, the training data used while performing deep learning may be a result obtained by converting a Bayer image with a low resolution into a Bayer image with a high resolution, or may be information obtained through simulation.

만약, 시뮬레이션 과정을 수행하는 경우 시뮬레이션의 환경에 맞추어(이미지의 배경, 색상의 종류 등) 조정함으로써 보다 빠르게 데이터를 획득할 수 있다. 이하 도 3과 도 4를 통해 일 실시예에 따른 프로세서(230)에 적용되는 알고리즘이 생성되는 방법에 대해 구체적으로 알아본다. If the simulation process is performed, data can be obtained more quickly by adjusting to the simulation environment (image background, color type, etc.). Hereinafter, a method of generating an algorithm applied to the processor 230 according to an embodiment will be described in detail through FIGS. 3 and 4.

도 3은 일 실시예에 따른 딥 러닝 트레이닝의 수행 과정을 도시한 도면이고, 도 4는 일 실시예에 따른 프로세서를 통과한 제3베이어 패턴을 가지고 있는 이미지를 도시한 도면이다.3 is a diagram illustrating a process of performing deep learning training according to an exemplary embodiment, and FIG. 4 is a diagram illustrating an image having a third Bayer pattern passing through a processor according to an exemplary embodiment.

도 3의 딥 러닝은 심층 신경망(Deep Neural Network, DNN) 알고리즘이 적용된 딥 러닝으로서, DNN 알고리즘이 적용됨에 따라 새로운 해상도를 가지는 이미지를 생성하는 과정을 도시한 도면이다.The deep learning of FIG. 3 is deep learning to which a deep neural network (DNN) algorithm is applied, and is a diagram illustrating a process of generating an image having a new resolution according to the application of the DNN algorithm.

심층 신경망(DNN)은 입력층(input layer)과 출력층(output layer) 사이에 다중의 은닉층(hidden layer)이 존재하는 심층(deep) 신경망, 동물의 시각 피질의 구조와 유사하게 뉴런 사이의 연결 패턴을 형성하는 컨볼루션(convolutional) 신경망, 시간에 따라 매순간마다 신경망을 쌓아 올리는 재귀(recurrent) 신경망으로 구체화될 수 있다.A deep neural network (DNN) is a deep neural network in which multiple hidden layers exist between an input layer and an output layer, and a connection pattern between neurons similar to the structure of an animal's visual cortex. It can be embodied as a convolutional neural network that forms a and a recurrent neural network that builds up the neural network every moment over time.

구체적으로 DNN은 컨볼루션(Convolution)과 서브 샘플링(Sub-Sampling)을 반복하여 데이터의 양을 줄이고, 왜곡시켜 신경망을 분류한다. 즉, DNN은 특징 추출과 분류 행위를 통해 부류 결과를 출력하는데, 주로 이미지를 분석하는데 사용되며, 컨볼루션은 영상 필터링을 의미한다.Specifically, DNN classifies neural networks by reducing and distorting the amount of data by repeating convolution and sub-sampling. In other words, DNN outputs class results through feature extraction and classification behavior, and is mainly used to analyze images, and convolution means image filtering.

도 3을 참조하여 DNN 알고리즘이 적용된 프로세서(230)가 수행하는 과정을 설명하면, 프로세서(230)는 제1해상도를 가지는 제1베이어 패턴(10)을 기초로 배율을 높이고자 하는 영역에 대해 컨볼루션과 서브 샘플링(Sub-Sampling)을 수행한다.Referring to FIG. 3, a process performed by the processor 230 to which the DNN algorithm is applied will be described. The processor 230 convolves the area to be increased magnification based on the first Bayer pattern 10 having the first resolution. Lution and sub-sampling are performed.

배율을 높인다는 것은, 이미지 센싱부(210)가 취득한 이미지 중에서 특정 부분만을 확대하는 것을 의미한다. 따라서, 사용자에 의해 선택되지 않은 부분은 사용자가 관심이 없어 하는 부분이므로 해상도를 높이는 과정을 수행할 필요가 없으므로 사용자에 의해 선택된 부분에 대해서만 컨볼루션과 서브 샘플링 과정을 수행할 수 있다.Increasing the magnification means magnifying only a specific part of the image acquired by the image sensing unit 210. Accordingly, since a portion not selected by the user is a portion that the user is not interested in, there is no need to perform a process of increasing the resolution, and thus the convolution and sub-sampling process can be performed only on the portion selected by the user.

서브 샘플링은 영상의 크기를 줄이는 과정을 의미한다. 일 예로 서브 샘플링은 맥스-풀(Max Pool) 방법을 사용할 수 있다. 맥스-풀은 해당 영역에서 최대치를 선택하는 기법인데 뉴런이 가장 큰 신호에 반응하는 것과 유사하다. 서브 샘플링은 노이즈를 감소시키고, 학습의 속도를 증가시킬 수 있는 장점이 존재한다.Sub-sampling refers to the process of reducing the size of an image. For example, for sub-sampling, a Max Pool method may be used. Max-Pull is a technique that selects the maximum in a given area, similar to how neurons respond to the largest signal. Sub-sampling has the advantage of reducing noise and increasing the speed of learning.

컨볼루션과 서브 샘플링이 수행되면, 도 3에 도시된 바와 같이 복수 개의 이미지(20)가 출력될 수 있다. 그 후 출력된 이미지들을 기초로 업 스케일(Up Scale) 방식으로 이용하여 서로 다른 특징을 가지는 복수 개의 이미지를 출력시킬 수 있다. 업 스케일 방식은 서로 다른 r^2개의 필터를 이용하여 이미지를 r*r 배로 스케일을 높이는 것을 의미한다. When convolution and sub-sampling are performed, a plurality of images 20 may be output as shown in FIG. 3. Thereafter, a plurality of images having different characteristics may be output using an up-scale method based on the output images. The upscale method means that the image is scaled up by r*r times by using different r^ 2 filters.

업 스케일에 따라 복수 개의 이미지가 도3에 도시된 바와 같이 출력되면(30), 프로세서(230)는 이러한 이미지들을 기초로 재조합을 하여 최종적으로 제2해상도를 가지는 제2베이어 이미지(40)를 출력할 수 있다.When a plurality of images according to the upscale are output as shown in FIG. 3 (30), the processor 230 recombines based on these images and finally outputs a second Bayer image 40 having a second resolution. can do.

따라서, 도 3에 도시된 바와 같이 제1해상도를 가지는 이미지(10)에서 사용자가 특정 영역을 선택한 경우, 그 영역에 대해서만 프로세서(230)는 앞서 설명한 딥 러닝을 수행할 수 있고, 수행한 결과 도 3에 도시된 바와 같이 제2해상도를 가지는 베이어 이미지(40)가 생성될 수 있다.Therefore, as shown in FIG. 3, when the user selects a specific area in the image 10 having the first resolution, the processor 230 can perform the above-described deep learning only for that area, and the result of the execution is also As shown in FIG. 3, a Bayer image 40 having a second resolution may be generated.

일반적으로, 딥 러닝을 할 수 있는 프로세서를 소형의 칩으로 구현하기 위해서는 딥 러닝의 프로세스와 메모리 게이트(gate) 수가 최소화가 되어야 하는데, 여기서 게이트 수에 가장 크게 영향을 주는 요소는 알고리즘 복잡도와 클럭(Clock) 당 처리되는 데이터 양이며, 프로세서가 처리하는 데이터의 양은 입력 해상도에 따라 달라진다. In general, in order to implement a deep learning processor with a small chip, the deep learning process and the number of memory gates must be minimized. Here, the factors that most affect the number of gates are algorithm complexity and clock ( It is the amount of data processed per clock), and the amount of data processed by the processor depends on the input resolution.

따라서, 일 실시예에 따른 프로세서(230)는 게이트의 수를 줄이기 위해 입력 해상도를 줄인 후에 나중에 업 스케일링(Up Scailing) 하는 방식으로 고배율의 이미지를 생성하므로 보다 빠르게 이미지를 생성할 수 있는 장점이 존재한다.Therefore, the processor 230 according to an embodiment generates an image with a high magnification by reducing the input resolution in order to reduce the number of gates and then up-scaling it later, so there is an advantage of generating an image faster. do.

예를 들어, 입력 해상도가 8Mp(Mega Pixel)인 이미지를 2배 줌을 해야 한다면 1/4 영역 (2Mp)을 기초로 가로와 세로를 각각 2배씩 업 스케일링(Up scailing) 하여 2배 줌을 한다. 그리고 1/4영역(2Mp)을 1/4 다운 스케일링(down scaling) 하여 해상도가 0.5Mp인 이미지를 딥 러닝 처리 입력 데이터로 사용한 후에, 생성된 이미지를 기초로 가로와 세로를 각각 4배씩 업 스케일링(Up scailing) 하는 방식으로 4배 줌을 하면 2배줌을 한 것과 동일한 영역의 줌 영상을 생성할 수 있다.For example, if you need to zoom 2x on an image with an input resolution of 8Mp (Mega Pixel), zoom 2x by upscaling the width and height by 2x each based on a 1/4 area (2Mp). . In addition, after using the image with a resolution of 0.5Mp as input data for deep learning processing by downscaling the 1/4 area (2Mp) by 1/4, the horizontal and vertical are respectively upscaled by 4 times based on the generated image. If you zoom 4x with the (Up scailing) method, you can create a zoomed image of the same area as the 2x zoom.

따라서, 일 실시예에 따른 프로세서(230)는 입력 해상도 손실에 따른 성능 저하를 방지하기 위해 딥 러닝이 해상도 손실에 대응되는 배율만큼 학습을 시켜서 이미지를 생성하므로, 성능 저하를 최소화할 수 있는 장점이 존재한다.Therefore, the processor 230 according to an embodiment generates an image by learning as much as a magnification corresponding to the resolution loss in deep learning to prevent performance degradation due to loss of input resolution, so that performance degradation can be minimized. exist.

또한, 고해상도의 이미지를 구현하기 위한 딥 러닝 기반의 알고리즘들은 일반적으로 프레임 버퍼(Frame Buffer)를 사용하는데, 프레임 버퍼의 경우 일반 PC 및 서버에서는 그 특성상 실시간 구동이 어려운 문제가 존재하나, 일 실시예에 따른 프로세서(230)는 딥 러닝을 통해 이미 생성되어 있는 알고리즘 적용하므로 저사양 카메라 장치 및 이를 포함하는 여러 장치 들에서 쉽게 적용이 가능하다. 또한, 일 실시예에 따른 프로세서(230)는 이러한 알고리즘을 구체적으로 적용함에 있어서 몇 개의 라인 버퍼(Line Buffer)만을 사용하는 방식으로 고해상도를 구현하므로, 비교적 크기가 작은 소형 칩(Chip)으로 프로세서를 구현할 수 있는 효과 또한 존재한다.In addition, deep learning-based algorithms for realizing high-resolution images generally use a frame buffer. In the case of a frame buffer, real-time operation is difficult due to its characteristics in general PCs and servers, but one embodiment According to the processor 230, since the algorithm already generated through deep learning is applied, it can be easily applied to a low-end camera device and various devices including the same. In addition, the processor 230 according to an embodiment implements high resolution in a manner that uses only a few line buffers when specifically applying such an algorithm, so that the processor is implemented with a relatively small chip. There are also effects that can be realized.

또한, 본 명세서에서 딥 러닝을 수행한다는 것은 앞서 도 3을 통하여 설명한 바와 같이 해상도를 높이기 위한 최적의 알고리즘을 생성하기 위해 추론 또는 반복적 학습을 통해 알고리즘을 생성하는 과정을 의미할 수 도 있지만, 동시에 이러한 과정에 의해 생성된 알고리즘을 실행하는 것 또한 딥 러닝을 수행한다고 볼 수 있다. In addition, performing deep learning in this specification may mean a process of generating an algorithm through inference or iterative learning in order to generate an optimal algorithm for increasing resolution, as described with reference to FIG. 3 above. Executing the algorithm generated by the process can also be regarded as performing deep learning.

도4는 다른 실시예에 따른 광학 기기(400)의 일부 구성 요소를 도시한 블럭도이다.4 is a block diagram showing some components of an optical device 400 according to another embodiment.

도 4를 참조하면, 일 실시예에 따른 광학 기기(400)는, 이미지 센서(200), 이미지 센서를 포함하는 카메라 모듈(100) 및 ISP(310)를 포함하고 있는 AP(300)를 포함할 수 있다.Referring to FIG. 4, an optical device 400 according to an embodiment includes an image sensor 200, a camera module 100 including an image sensor, and an AP 300 including an ISP 310. I can.

구체적으로, 카메라 모듈(100)은 필터(110), 렌즈(120), 액츄이에터(130), 드라이버 IC(140), 이미지 센서(200)를 포함할 수 있다.Specifically, the camera module 100 may include a filter 110, a lens 120, an actuator 130, a driver IC 140, and an image sensor 200.

이미지 센서(200)와 이미지 센서(200)가 포함하고 있는 이미지 센싱부(210), 정렬부(220) 및 프로세서(230)는 도 1에서 설명한 구성과 동일한 역할을 하는 구성 요소이므로 이에 대한 설명은 생략한다.The image sensor 200 and the image sensor 200 included in the image sensing unit 210, the alignment unit 220, and the processor 230 are components that play the same role as those described in FIG. Omit it.

카메라 모듈(100)의 필터(110)는 외부로부터 유입되는 빛을 선택적으로 차단하는 역할을 하며, 일반적으로 렌즈(120)의 상부에 위치할 수 있다.The filter 110 of the camera module 100 serves to selectively block light from the outside, and may generally be positioned above the lens 120.

렌즈(120)는 유리와 같이 투명한 물질의 면을 구면으로 곱게 갈아 물체로부터 오는 빛을 모으거나 발산시켜 광학적 상을 맺게 하는 장치로서, 카메라 모듈(100)에 사용되는 일반적인 렌즈(120)는 복수 개의 서로 다른 특징을 가지는 렌즈를 구비할 수 있다.The lens 120 is a device that finely grinds a surface of a transparent material such as glass into a spherical surface to collect or diverge light coming from an object to form an optical image, and a general lens 120 used in the camera module 100 includes a plurality of Lenses having different characteristics may be provided.

액츄에이터(130)는 렌즈(120) 또는 렌즈(120)를 포함하는 경통의 위치를 조절하여 초점을 조절할 수 있다. 예를 들어 액츄에이터(130)는 VCM(Voice Coil Motor) 방식일 수 있으며, 렌즈(120)는 가변 초점 렌즈를 포함할 수 있다.The actuator 130 may adjust the focus by adjusting the position of the lens 120 or the barrel including the lens 120. For example, the actuator 130 may be a VCM (Voice Coil Motor) type, and the lens 120 may include a variable focus lens.

액츄에이터(130)가 가변 초점 렌즈를 포함하는 경우 드라이버 IC(140)는 가변 초점 렌즈를 구동할 수 있다. When the actuator 130 includes a varifocal lens, the driver IC 140 may drive the varifocal lens.

드라이버 IC(140, Driver IC)는 화면에 문자나 영상 이미지가 표시되도록 패널에 구동 신호 및 데이터를 전기 신호로 제공하는 반도체(IC)를 의미할 수 있으며, 후술하겠지만 드라이버 IC(140)는 광학 기기(400)의 다양한 위치에 배치될 수 있다. 또한 드라이버 IC(140, Driver IC)는 액츄에이터(130)를 구동할 수 있다.The driver IC 140 may refer to a semiconductor (IC) that provides driving signals and data as electrical signals to the panel so that text or image images are displayed on the screen. As will be described later, the driver IC 140 is an optical device. It can be placed in various positions of 400. In addition, the driver IC 140 may drive the actuator 130.

AP(300, Application Processor)는 모바일용 메모리 칩으로 광학 기기(400)에서 각종 어플리케이션 작동과 그래픽 처리를 담당하는 핵심 반도체를 의미할 수 있다.An application processor (AP 300) is a mobile memory chip and may mean a core semiconductor that operates various applications and processes graphics in the optical device 400.

AP(300)는 컴퓨터의 중앙처리장치(CPU)의 기능과 메모리, 하드디스크, 그래픽 카드 등 기타 장비의 연결을 제어하는 칩셋의 기능을 모두 포함하고 있는 SoC(System on Chip) 형태로 구현될 수 있다. The AP 300 can be implemented in the form of a System on Chip (SoC) that includes all the functions of a computer's central processing unit (CPU) and a chipset that controls the connection of other equipment such as memory, hard disk, and graphics card. have.

영상 신호 처리부(ISP, Image Signal Processing, 310)는 MIPI(Mobile Industry Processor Interface) 통신을 이용하여 프로세서(230)가 생성한 제2베이어 이미지를 수신하고 영상 신호 처리 과정을 수행할 수 있다.The image signal processing unit (ISP) 310 may receive the second Bayer image generated by the processor 230 using Mobile Industry Processor Interface (MIPI) communication and perform an image signal processing process.

영상 신호 처리부(310)부는 영상 신호를 처리하면서 복수의 서브 과정을 포함할 수 있다. 예를 들어, 수신한 영상에 대해 감마값 보정(gamma correction)을 하거나, 색채 보정(color correction), 자동 노출(auto exposure correction), 자동 화이트값 보정(auto white balance) 과정 중에서 적어도 하나 이상을 수행할 수 있다.The image signal processing unit 310 may include a plurality of sub-processes while processing the image signal. For example, a gamma correction is performed on the received image, or at least one or more of a color correction, an auto exposure correction, and an auto white balance process may be performed. I can.

또한, 일 실시예에 따른 프로세서(230)는 이미지 센싱부(210)가 출력하여 AP(300)로 송신한 정보를 다시 AP(300)로 부터 수신한 후, 이러한 영상 정보를 기초로 제2 베이어 패턴보다 높은 해상도를 가지는 제3베이퍼 패턴을 생성할 수 있다. In addition, the processor 230 according to an embodiment receives the information output from the image sensing unit 210 and transmitted to the AP 300 again from the AP 300, and then, based on the image information, the second Bayer A third vapor pattern having a higher resolution than the pattern may be generated.

구체적으로, 프로세서(230)는, AP(300)로부터 영상 정보를 수신한 후, 수신한 상기 영상 정보를 기초로 상기 제1베이어 패턴에서 상기 제2베이어 패턴으로 설정한 범위를 설정하고 설정된 범위를 기초로 상기 제3베이어 패턴을 생성하고 생성한 제3베이어 패턴을 AP(300)로 송신할 수 있다. Specifically, after receiving the image information from the AP 300, the processor 230 sets a range set from the first Bayer pattern to the second Bayer pattern based on the received image information, and sets the set range. The third Bayer pattern may be generated as a basis and the generated third Bayer pattern may be transmitted to the AP 300.

그리고 영상 정보는 상기 제1베이어 패턴에 대한 줌(Zoom) 정보를 또는 포함하고, 외부로 영상을 표시하는 디스플레이(미도시)에 의해 표시되는 영역에 대한 정보를 포함할 수 있다. 즉, 줌에 대한 정보란 사용자가 더 높은 해상도로 보기 원하는 영역을 의미하며, 디스플레이에 의해 표시되는 영역이란 촬영한 이미지 중에서 디스플레이에 표시되는 일부 이미지를 의미한다. In addition, the image information may include or include zoom information on the first Bayer pattern, and may include information on an area displayed by a display (not shown) that displays an image to the outside. That is, the information on the zoom means an area that the user wants to view at a higher resolution, and the area displayed by the display means some of the images displayed on the display among captured images.

따라서, 일 실시예에 따른 프로세서(230)는 이러한 정보를 기초로 영상 처리를 할 필요가 없는 부분에 대해서는 영상 처리를 실시하지 않고 영상 처리를 해야 할 영역에 대해서만 선택적으로 영상 처리를 수행할 수 있어 효율성을 높일 수 있다.Therefore, the processor 230 according to an embodiment may selectively perform image processing only for an area to be image-processed without performing image processing on a portion that does not require image processing based on this information. It can increase efficiency.

예를 들어 8MP해상도를 가지는 이미지 센서에서 줌으로 인해 관심 영역이 이미지의 1/4에 해당하는 경우, 8MP사이즈를 갖는 이미지의 용량이 8MP로 들어오는 것과, 줌으로 인한 관심 영역(전체 이미지의 1/4)에 해당하는 2MP만 들어오는 것은 프르세서의 작동에 많은 영향을 준다. 즉, 관심 영역이 아닌 부분까지 영상 처리를 하는 것은 그 시간이 많이 소모되고 프로세서의 가동에 과부하를 줄 수 있기 때문이다. For example, in an image sensor with 8MP resolution, if the area of interest is 1/4 of the image due to zoom, the size of the image with 8MP size is 8MP, and the area of interest due to zoom (1/ Entering only 2MP corresponding to 4) greatly affects the operation of the processor. In other words, processing the image to a portion other than the region of interest is because it consumes a lot of time and may overload the operation of the processor.

그러나, 일 실시예에 따른 프로세서(230)는 AP(300)로부터 수신한 정보를 기초로 영상 처리를 할 필요가 없는 부분에 대해서는 영상 처리를 실시하지 않고 영상 처리를 해야 할 영역에 대해서만 선택적으로 영상 처리를 수행하므로 보다 효과적으로 영상 처리를 할 수 있는 효과가 존재한다. However, the processor 230 according to an embodiment does not perform image processing for portions that do not need to be image processed based on the information received from the AP 300, but selectively performs image processing only for areas to be imaged. Since processing is performed, there is an effect of more effective image processing.

또한, 일 실시예에 따른 이미지 센서(200)는 센서 내부에서 스스로 SR기능을 통합하여 수행하므로, 메모리의 사용 효율성을 높일 수 있고, 이미지 센서(200)의 3Stack구조의 DRAM사용을 통하여 실시간성 확보를 위한 별도의 중복 메모리 Stack구조를 피할 수 있는 효과가 존재한다..In addition, since the image sensor 200 according to an embodiment performs the SR function by integrating itself inside the sensor, it is possible to increase the efficiency of use of the memory, and secure real-time performance through the use of DRAM of the 3 stack structure of the image sensor 200 There is an effect of avoiding a separate redundant memory stack structure for ..

일반적으로 픽셀 정보를 더 많이 생성하여 고해상도 이미지를 구현하는 기술의 경우 싱글 프레임 SR (Single-Frame Super Resolution) 또는 멀티 프레임 SR(Multi-frame Super Resolution) 기술 등이 존재하는데, 이러한 기술의 경우 아티팩트(Artifact) 문제는 발생하지는 않지만, 모바일, 차량, IoT 등 소형 카메라 장치가 적용될 수 있는 장치에는 적용하기 어려운 알고리즘이며, 또한 이러한 기술을 구현하기 위해서는 별도의 이미지 프로세서가 필요하다. In general, in the case of a technology that implements a high-resolution image by generating more pixel information, a single-frame SR (Single-Frame Super Resolution) or a multi-frame SR (Multi-frame Super Resolution) technology exists.In such a technology, artifacts ( Artifact) problem does not occur, but it is an algorithm that is difficult to apply to devices to which small camera devices such as mobile, vehicle, IoT, etc. can be applied, and a separate image processor is required to implement this technology.

그러나 이러한 합성 알고리즘을 수행을 하기 위한 소프트웨어는 일반적으로 처리해야 하는 데이터의 양이 많기 때문에 AP(Application Processor)에서도 실시간으로 처리하기 어려운 문제점이 존재한다. 설사 AP가 이러한 기능을 수행할 수 있었어도 이러한 AP는 가격이 비싸 제조 단가가 증가하는 문제점이 존재하였다.However, software for executing such a synthesis algorithm generally has a problem in that it is difficult to process in real time even in an application processor (AP) because the amount of data to be processed is large. Even though the AP was able to perform this function, there was a problem in that the manufacturing cost of the AP was high because the AP was expensive.

그러나 일 실시예에 따른 카메라 모듈(100) 또는 광학 기기(400)는 도 4에 도시된 바와 같이, 이미지 센서(200)에 AP(300)에서 처리하는 영상 처리의 일부분을 수행할 수 있는 프로세서(230)가 포함되어 있으므로 고가의 AP를 장착하지 않아도 효율적으로 영상처리를 할 수 있는바 비교적 경제적으로 카메라 모듈 및 광학기기를 제조할 수 있는 효과가 존재한다.However, as shown in FIG. 4, the camera module 100 or the optical device 400 according to an embodiment may perform a part of the image processing processed by the AP 300 to the image sensor 200 ( 230) is included so that image processing can be efficiently performed without installing an expensive AP, so there is an effect of manufacturing a camera module and an optical device relatively economically.

또한, AP(300)에서 영상 처리를 하기 전에 이미지 센서(200)가 베이어 패턴에 대한 정보를 기초로 영상에 대한 전처리를 수행함으로써, AP(300)가 처리해야 하는 데이터의 양을 줄일 수 있는 효과가 존재한다. 따라서, 이러한 구조 및 순서에 의해 AP(300)의 소비전력을 낮추고, AP(300)를 보다 원활하게 작동시킬 수 있는 효과가 존재한다.In addition, the image sensor 200 performs pre-processing on the image based on information on the Bayer pattern before the AP 300 processes the image, thereby reducing the amount of data that the AP 300 needs to process. Exists. Accordingly, there is an effect of lowering the power consumption of the AP 300 and operating the AP 300 more smoothly by this structure and order.

즉, 종래 기술의 경우 이미지 센서와 프로세서 및 AP간의 통신 연결을 하기 위해서는 "이미지 센서 출력(MIPI tx) - 칩 입력(MIPI rx) - 칩 출력(MIPI tx) - AP 입력(MIPI rx)"구조가 필요하였으나, 일 실시예에 따른 광학 기기(400)는 이미지 센서(200) 내부에 전처리 기능을 수행하는 프로세서(230)를 가지고 있고 프로세서(230)에 의해 생성된 정보는 기존에 존재하였던 이미지 센서 출력(MIPI tx, 250)를 통해 출력할 수 있는바 설계를 비교적 간단하게 할 수 있는 효과가 존재한다.In other words, in the case of the prior art, in order to connect the image sensor to the processor and the AP, the structure "image sensor output (MIPI tx)-chip input (MIPI rx)-chip output (MIPI tx)-AP input (MIPI rx)" Although necessary, the optical device 400 according to an embodiment has a processor 230 that performs a pre-processing function inside the image sensor 200, and the information generated by the processor 230 is output from an existing image sensor. As it can be output through (MIPI tx, 250), there is an effect of making the design relatively simple.

따라서, 일 실시예에 따른 광학 기기(400)는 종래 "이미지 센서 출력(MIPI tx) - 칩 입력(MIPI rx) - 칩 출력(MIPI tx) - AP 입력(MIPI rx)"구조에서 "칩 입력(MIPI rx) - 칩 출력(MIPI tx)"부분이 삭제될 수 있다. 그리고 이러한 이미지 센서(200)와의 통합으로 인해 MIPI IP에 대한 비용이 절감되 수 있어 경제적으로 카메라 모듈 및 광학 기기를 제작할 수 있으며, 설계의 자유도 또한 증가시킬 수 있다. Accordingly, the optical device 400 according to an embodiment has a conventional “image sensor output (MIPI tx)-chip input (MIPI rx)-chip output (MIPI tx)-AP input (MIPI rx)” in a “chip input ( MIPI rx)-chip output (MIPI tx)" part can be deleted. In addition, due to the integration with the image sensor 200, the cost for MIPI IP can be reduced, so that a camera module and an optical device can be economically manufactured, and design freedom can also be increased.

또한, 이미지 센서(200) 내부에서 공유하던 여러 가지 데이터 정보들을 칩에서 함께 공유함으로 인해 AP(300)의 제어 신호도 단일화하여 통신할 수 있고, 이미지 센서에(200) 이미 있는 EEPROM이나 Flash memory등을 함께 사용함으로 메모리도 절약할 수 있다.In addition, by sharing various data information that was shared inside the image sensor 200 together on the chip, the control signal of the AP 300 can also be unified and communicated, and the EEPROM or Flash memory already in the image sensor 200 You can also save memory by using together.

또한, 이미지 센서(200)는 간단한 ISP 기능들 또한 포함되어 있는바, 이러한 기능들을 영상 데이터에 활용한다면 더 다양한 딥 러닝 영상 데이터 베이스를 생성할 수 있어서 최종 성능을 향상시킬 수 있는 효과도 존재한다.In addition, since the image sensor 200 also includes simple ISP functions, if these functions are used for image data, a more diverse deep learning image database can be created, thereby improving the final performance.

도6은 또 다른 실시예에 따른 이미지 센서(200)의 일부 구성 요소를 도시한 블럭도이다.6 is a block diagram showing some components of the image sensor 200 according to another embodiment.

도 6은 이미지 센서(200)의 도 1의 이미지 센서(200)를 더 구체화한 도면에 해당하는바, 도 1과 중복되는 설명은 생략하도록 한다.FIG. 6 corresponds to a more detailed view of the image sensor 200 of FIG. 1 of the image sensor 200, and a description overlapping with that of FIG. 1 will be omitted.

일반적으로 이미지 센싱부(210)부터 입력된 후 내부 블록 등을 통과하여 처리된 고용량의 이미지 로우 데이터를 AP(300)에 보내기 위해서는 고속의 MIPI 인더페이스를 활용해야 한다. 따라서, 도 5에서의 PLL(Phase Loop Locked, 253)은 이러한 기능을 하는 구성 요소로서, 수Gbps의 속도를 내기 위해 주파수 분주 및 체배의 역할을 수행할 수 있다.In general, in order to send high-capacity image raw data input from the image sensing unit 210 and then passed through an internal block or the like to the AP 300, a high-speed MIPI interface must be used. Accordingly, the PLL (Phase Loop Locked) 253 in FIG. 5 is a component that performs this function, and may perform the role of frequency division and multiplication in order to achieve a speed of several Gbps.

OTP(254)는 이미지 센싱부(210)와 SR 알고리즘의 특정 파라미터를 저장하기 위한 메모리 공간을 의미한다.The OTP 254 refers to a memory space for storing the image sensing unit 210 and specific parameters of the SR algorithm.

I2C(255)는 AP(300)로부터 카메라 모듈(100)의 사용자의 조작에 따른 명령을 출력하기 위해서 사용되는 인터페이스로, 일반적으로 2 Line(SCL, SDA)으로 연결되는 Bus구조를 가지고 있다.The I2C 255 is an interface used to output a command according to the user's manipulation of the camera module 100 from the AP 300, and generally has a bus structure connected by 2 lines (SCL, SDA).

Internal LDO(Low Drop Voltage Out)&POR(257)에서 Internal LDO는 이미지 센싱부(210)에 전원을 공급하는 역할을 할 수 있으며, POR의 경우 AP(300)의 동작 명령과 동시에 Power Saving Mode에서 원활한 동작을 위한 리셋 기능을 수행할 수 있다.In the Internal LDO (Low Drop Voltage Out) & POR (257), the internal LDO can serve to supply power to the image sensing unit 210, and in the case of POR, it is smooth in the Power Saving Mode at the same time as the operation command of the AP 300. You can perform a reset function for operation.

도 7은 일 실시예에 따른 광학 기기(400)의 제어 방법을 도시한 순서도이다.7 is a flowchart illustrating a method of controlling the optical device 400 according to an exemplary embodiment.

도 7을 참조하면, 광학 기기(400)는 외부로부터 수신한 대상체에 대한 정보를 기초로 제1베이어 패턴을 생성할 수 있다. (S10)Referring to FIG. 7, the optical device 400 may generate a first bayer pattern based on information on an object received from the outside. (S10)

그 후 AP로부터 영상 처리를 실시할 영역에 대한 정보를 수신한 후, 제1베이어 패턴 중 영상 처리를 실시할 적어도 일부 영역을 제2베이어 패턴으로 생성한다.(S20, S30)Thereafter, after receiving information on an area to be image-processed from the AP, at least a partial area to be image-processed among the first Bayer patterns is generated as a second Bayer pattern (S20, S30).

그 후, 딥 러닝을 수행하여 제2베이어 패턴의 해상보다 높은 해상도를 가지는 제3베이어 패턴을 생성한 후, 생성된 제3베이어 패턴을 AP로 송신할 수 있다.Thereafter, deep learning may be performed to generate a third Bayer pattern having a resolution higher than the resolution of the second Bayer pattern, and then the generated third Bayer pattern may be transmitted to the AP.

지금까지 도면을 통해 이미지 센서(200), 카메라 모듈(100) 및 카메라 모듈을 포함하는 광학 기기(400)에 대해 알아보았다.Until now, the image sensor 200, the camera module 100, and the optical device 400 including the camera module have been described through the drawings.

종래 기술에 따라 영상 처리를 위해 합성 알고리즘을 수행하기 위한 소프트웨어는 일반적으로 처리해야 하는 데이터의 양이 많기 때문에 AP(Application Processor)에서도 실시간으로 처리하기 어려운 문제점이 존재한다. 설사 AP가 이러한 기능을 수행할 수 있었어도 이러한 AP는 가격이 비싸 제조 단가가 증가하는 문제점이 존재하였다. According to the prior art, software for performing a synthesis algorithm for image processing generally has a problem in that it is difficult to process in real time even in an application processor (AP) because the amount of data to be processed is large. Even though the AP was able to perform this function, there was a problem in that the manufacturing cost of the AP was high because the AP was expensive.

그러나 일 실시예에 따른 카메라 모듈(100) 또는 광학 기기(400)는 이미지 센서(200)에 AP(300)에서 처리하는 영상 처리의 일부분을 수행할 수 있는 프로세서가 포함되어 있으므로 고가의 AP를 장착하지 않아도 효율적으로 영상처리를 할 수 있는바 비교적 경제적으로 카메라 모듈 및 광학 기기를 제조할 수 있는 효과가 존재한다.However, the camera module 100 or the optical device 400 according to an embodiment includes a processor capable of performing part of the image processing processed by the AP 300 in the image sensor 200, so an expensive AP is installed. There is an effect that can efficiently manufacture a camera module and an optical device relatively economically because image processing can be performed efficiently without the need for it.

즉, AP(300)에서 영상 처리를 하기 전에 이미지 센서(200)가 베이어 패턴에 대한 정보를 기초로 영싱에 대한 전처리를 수행함으로써, AP(300)가 처리해야 하는 데이터의 양을 줄일 수 있는 효과가 존재한다. 따라서, 이러한 구조 및 순서에 의해 AP(300)의 소비전력을 낮추고, AP(300)를 보다 원활하게 작동시킬 수 있는 효과가 존재한다.That is, the image sensor 200 performs pre-processing for youngsing based on information on the Bayer pattern before the AP 300 performs image processing, thereby reducing the amount of data that the AP 300 needs to process. Exists. Accordingly, there is an effect of lowering the power consumption of the AP 300 and operating the AP 300 more smoothly by this structure and order.

또한, 일 실시예에 따른 카메라 모듈(100)은 네트워크 구성을 최적화시키는 방식으로 고해상도 이미지를 생성하므로 비교적 크기가 작은 소형 칩(Chip)으로 구현될 수 있으며, 본 기술이 적용된 칩을 카메라 장치에 탑재하는 방식으로 본 기술의 실시가 가능하므로, 줌 기능이 없는 카메라 장치 또는 특정 배율에 대한 고정 줌만 지원하는 카메라 장치에 본 기술을 적용시켜 연속 줌 기능을 사용할 수 있다.In addition, the camera module 100 according to an embodiment generates a high-resolution image in a manner that optimizes the network configuration, so it can be implemented as a relatively small chip, and a chip to which the present technology is applied is mounted on the camera device. Since the present technology can be implemented in such a way that the continuous zoom function can be used by applying the present technology to a camera device without a zoom function or a camera device that supports only fixed zoom for a specific magnification.

지금까지 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 실시 예들 및 특허 청구 범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Although the embodiments have been described with reference to limited embodiments and drawings, various modifications and variations are possible from the above description to those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved. Therefore, other embodiments and claims and equivalents fall within the scope of the claims to be described later.

100: 카메라모듈
200: 이미지 센서
210: 이미지 센싱부
220: 정렬부
230: 프로세서
300: AP
310: ISP
400: 광학 기기
100: camera module
200: image sensor
210: image sensing unit
220: alignment unit
230: processor
300: AP
310: ISP
400: optical instrument

Claims (10)

광 신호를 제1 이미지 데이터로 변환하는 이미지 센싱부; 및
상기 제1 이미지 데이터로부터 베이어 포맷의 제2 이미지 데이터를 출력하는 프로세서를 포함하고,
상기 이미지 센싱부 및 상기 프로세서는 이미지 센서 내부에 형성되는 이미지 센서.
An image sensing unit converting the optical signal into first image data; And
And a processor that outputs second image data in Bayer format from the first image data,
The image sensing unit and the processor are image sensors formed inside the image sensor.
제1항에 있어서,
상기 프로세서는,
상기 제1 이미지 데이터로부터 상기 제2 이미지 데이터를 출력하도록 학습된 신경망을 처리하는 이미지 센서.
The method of claim 1,
The processor,
An image sensor that processes a trained neural network to output the second image data from the first image data.
제1항에 있어서,
상기 제2 이미지 데이터는 해상도가 증가된 베이어 포맷의 이미지 데이터를 포함하는 이미지 센서.
The method of claim 1,
The second image data is an image sensor including Bayer format image data with an increased resolution.
제1항에 있어서,
상기 제2 이미지 데이터를 외부의 프로세서로 송신하는 이미지 센서.
The method of claim 1,
An image sensor that transmits the second image data to an external processor.
제1항에 있어서,
상기 프로세서는,
상기 제1 이미지 데이터의 일부를 포함하는 제3 이미지 데이터를 수신하고, 상기 제3 이미지 데이터로부터 상기 제2 이미지 데이터를 출력하는 이미지 센서.
The method of claim 1,
The processor,
An image sensor that receives third image data including part of the first image data and outputs the second image data from the third image data.
렌즈;
상기 렌즈로부터 광 신호를 수신하여 제1 이미지 데이터로 변환하는 이미지 센서;
상기 제1 이미지 데이터로부터 베이어 포맷의 제2 이미지 데이터를 출력하는 제1 프로세서; 및
상기 제1 프로세서로부터 상기 제2 이미지 데이터를 수신하여 영상처리를 수행하는 응용 프로세서(Application Processor)를 포함하는 카메라 장치.
lens;
An image sensor that receives an optical signal from the lens and converts it into first image data;
A first processor to output second image data in Bayer format from the first image data; And
A camera apparatus including an application processor that receives the second image data from the first processor and performs image processing.
제6항에 있어서,
상기 제1 프로세서는 상기 이미지 센서 내부에 형성되는 카메라 장치.
The method of claim 6,
The first processor is a camera device formed inside the image sensor.
제6항에 있어서,
상기 제1 프로세서는,
상기 제1 이미지 데이터로부터 상기 제2 이미지 데이터를 출력하도록 학습된 신경망을 처리하는 카메라 장치.
The method of claim 6,
The first processor,
A camera device that processes a learned neural network to output the second image data from the first image data.
제6항에 있어서,
상기 제2 이미지 데이터는 해상도가 증가된 베이어 포맷의 이미지 데이터를 포함하는 카메라 장치.
The method of claim 6,
The second image data includes image data of Bayer format with an increased resolution.
광 신호를 제1 이미지 데이터로 변환하는 이미지 센싱부; 및
상기 제1 이미지 데이터로부터 베이어 포맷의 제2 이미지 데이터를 출력하는 프로세서를 포함하는 이미지 센서.

An image sensing unit converting the optical signal into first image data; And
And a processor that outputs second image data in Bayer format from the first image data.

KR1020210014796A 2021-02-02 2021-02-02 An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module KR20210018381A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210014796A KR20210018381A (en) 2021-02-02 2021-02-02 An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module
KR1020220032775A KR102494123B1 (en) 2021-02-02 2022-03-16 An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210014796A KR20210018381A (en) 2021-02-02 2021-02-02 An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190097830A Division KR102213765B1 (en) 2019-08-09 2019-08-09 An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220032775A Division KR102494123B1 (en) 2021-02-02 2022-03-16 An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module

Publications (1)

Publication Number Publication Date
KR20210018381A true KR20210018381A (en) 2021-02-17

Family

ID=74731674

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210014796A KR20210018381A (en) 2021-02-02 2021-02-02 An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module
KR1020220032775A KR102494123B1 (en) 2021-02-02 2022-03-16 An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220032775A KR102494123B1 (en) 2021-02-02 2022-03-16 An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module

Country Status (1)

Country Link
KR (2) KR20210018381A (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085501A1 (en) * 2022-10-18 2024-04-25 삼성전자 주식회사 Learning-based image quality improvement method using image from image sensor and electronic device supporting same
WO2024162660A1 (en) * 2023-01-31 2024-08-08 삼성전자 주식회사 Electronic device for acquiring image through image sensor and method for operating same

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1520580A (en) * 2000-07-06 2004-08-11 ŦԼ�и��ױ��Ǵ�ѧ�йܻ� Method and appts. for enhancing data resolution
KR100636969B1 (en) * 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 image sensor with built-in ISP and dual camera system
KR102186383B1 (en) * 2013-03-13 2020-12-03 삼성전자주식회사 Electronic device and method for processing image
KR101791573B1 (en) * 2016-10-21 2017-10-31 서강대학교산학협력단 Super resolution system and method with convolution neural network
JP6236731B1 (en) * 2017-03-10 2017-11-29 株式会社ツバサファクトリー Super-resolution processing apparatus, super-resolution processing method, and computer program
RU2652722C1 (en) * 2017-05-03 2018-04-28 Самсунг Электроникс Ко., Лтд. Data processing for super-resolution
KR102326165B1 (en) * 2017-08-23 2021-11-16 엘지디스플레이 주식회사 Image processing method and display device using the same
KR102548732B1 (en) * 2017-09-11 2023-06-29 삼성전자주식회사 Apparatus and Method for learning a neural network
KR102385188B1 (en) * 2017-09-29 2022-04-12 삼성전자주식회사 Electronic device and method for processing image data in the electronic device

Also Published As

Publication number Publication date
KR102494123B1 (en) 2023-02-06
KR20220038638A (en) 2022-03-29

Similar Documents

Publication Publication Date Title
CN109951638B (en) Camera anti-shake system, camera anti-shake method, electronic device, and computer-readable storage medium
KR102494123B1 (en) An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module
JP5917054B2 (en) Imaging apparatus, image data processing method, and program
US20200005425A1 (en) Image processing device and imaging device
EP4199496A1 (en) Image stabilization method and electronic device therefor
US20240119561A1 (en) Image processing device and image processing method
KR102242939B1 (en) Camera Device and Image Generation Method Of Camera Device
CN109089048B (en) Multi-lens panoramic linkage device and method
KR102213765B1 (en) An Image Sensor, A Camera Module And Optical Device Comprising A Camera Module
US11825214B2 (en) Camera device and image generation method of camera device
CN114270799B (en) Camera device and image generation method for camera device
US11917295B2 (en) Method for correcting shaking at high magnification and electronic device therefor
KR102371944B1 (en) Camera Device and Image Generation Method Of Camera Device
KR20210044648A (en) Image processing apparatus and optical apparatus including the same
TWI850401B (en) Camera device and image generation method of camera device
US20210235020A1 (en) Tracking objects using sensor rotation
US11363209B1 (en) Systems and methods for camera zoom
CN113079313B (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
US20230396884A1 (en) Electronic device for improving image quality, and operation method of same
JP2006319406A (en) Camera module
WO2012081400A1 (en) Image processing method, image processing device, and image capture device
KR20220049354A (en) Method for correcting image distortion and Electronic device thereof
CN115314607A (en) Image pickup apparatus
KR20120049669A (en) A fixed focus camera module built-in auto focusing function

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination