KR20220159852A - 이미지 처리 모듈 - Google Patents

Abstract

본 발명의 일 실시예에 따른 이미지 처리 모듈은 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터를 입력받는 입력부 및 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하는 딥러닝 신경망을 포함하고, 상기 제2 이미지 데이터는, 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거된 이미지 데이터이다.

Description

이미지 처리 모듈{Image processing module}

본 발명은 이미지 처리 모듈에 관한 것으로, 보다 구체적으로 디스플레이 패널을 투과한 광을 이용하여 생성되는 이미지 데이터에서 화질저하 현상을 개선하는 이미지 처리 모듈, 카메라 모듈, 이미지 처리 방법에 관한 발명이다.

스마트폰으로 개인 방송을 하거나, TV 시청이나 다양한 콘텐츠 시청을 위해 시안성과 집중도 있는 영상 시청을 하기 위해서 카메라를 디스플레이 안으로 숨기고 full display로 전면을 디자인하고 있다. 이렇게 카메라가 디스플레이 안으로 들어가는 카메라를 under display camera 라고 하며 UDC로 통칭한다. 디스플레이 패널로 인한 영상의 화질이 열하되며 이를 개선하기 위한 시도를 하고 있다. 디스플레이 패널로 인한 카메라 영상 화질 저하는 다양한 문제로 나타난다.

대표적으로 광량이 급격히 떨어지고 이를 높은 gain 값으로 사용하려다 보면 노이즈가 발생하여 이를 제거하기 위해 SW나 AP의 ISP로 처리하면 영상이 흐려진다. 또한, 디스플레이 패널의 패턴으로 인해 기존에 일반 카메라보다 심한 Blur, Haze (Diffraction Ghost), Reflection Ghost, Flare 등 다양한 문제를 발생시킨다.

이러한 영상 화질을 일반 카메라 수준으로 개선하기 위해서 다양하게 기술을 개발하고 있다. 최종 스마트폰 단에서 ISP로 처리하는 것은 기본적인 광량과 Yellowish 한 현상은 개선이 가능하지만, 이외의 현상을 개선하기는 쉽지 않고, 빠른 처리가 어려워 화상 통화, 개인 방송 등 실시간성이 필수인 카메라 모드에서 이미지 처리가 늦어지는 문제가 있다.

또한, 스마트폰 카메라를 이용하여 현실감 넘치는 영상을 촬영하고 이 영상을 디스플레이함에 있어서, 디스플레이 기술이 발달하면서 해상도가 점점 커지고 있으며, 자연스럽게 초고해상도와 화질 개선에 대한 요구가 늘어나고 있다. 이 요구 사항에 맞추어 센서를 만드는 업체에서는 DSLR의 다양한 센서 기술들을 모바일로 가져와서 48M까지의 고해상도를 구현하고 있으며, TV에서는 생생한 화질을 위해 SW 알고리즘으로 슈퍼레졸루션(super resolution)을 구현하는 시도를 하고 있다. 또한, 화각이 넓어지고 더 멀리 있는 물체를 자세히 촬영하기 위한 줌 기능을 개발하고 있다.

하드웨어로 광학줌을 하는 방법도 있지만, 이는 하드웨어 구조가 복잡해지고 이러한 부품 추가로 인하여 가격 상승은 불가피하다. 또한, 광학을 이용해서는 줌을 할 수 있는 영역이 한계가 있어서 이러한 부분에 대해서는 소프트웨어로 처리하는 개발이 이루어지고 있다. 추가로 동일한 센서를 가지고 고해상도의 영상을 만들기 위하여 다양한 시도를 하고 있다.

VCM이나 MEMS 기술로 센서를 흔드는 sensor shift 기술, 렌즈를 VCM 등으로 흔들어서 픽셀 정보를 얻는 OIS 기술, 센서와 렌즈 사이의 filer를 흔드는 기술 등 HW의 부품을 움직여서 픽셀 정보를 더 많이 생성하여 고해상도를 만드는 기술이 있다.

이 기술의 단점은 여러 시차의 데이터를 합성하기 때문에 움직이는 물체를 촬영한 경우, motion blur와 같은 artifact가 발생하고, 이는 영상 화질을 저하시키는 치명적인 문제점이다. 또한, 이를 구현하기 위한 복잡한 HW 구조가 들어감으로써 카메라 모듈의 크기가 커지게 되고, 부품을 흔드는 방법이므로 차량 카메라에서는 사용하기 힘들고, 고정적인 환경에서 사용이 가능한 제한적인 기술인 한계가 있다.

또한, 인공지능 기술이 발전되면서, 인공지능 기술을 이미지 처리에 이용하려는 연구가 이루어지고 있으나, 아직 카메라와 같이 특정 제품에 최적화되어 있지도 않고, 매우 고가의 AP이므로 스마트폰 중에서도 프리미엄 급 모델에만 적용 가능하다.

프리미엄 급 외의 모델에 적용하기 위해서는 저가의 AP를 사용해야 하고, 그에 따른 SW 처리도 단순화 되어야 하기 때문에 아무리 좋은 카메라를 사용해도 AP에서 이 고사양의 카메라 데이터를 받아서 다양한 처리를 하기는 어렵다. 카메라 센서와 별도로 전처리 기능의 chip을 추가한다면 센서 의존도는 낮출 수 있지만, MIPI 인터페이스가 두번 들어감으로 인해서 전체 센서 및 칩 면에서 가격과 사이즈가 증가하는 문제점이 있다.

본 발명이 해결하고자 하는 기술적 과제는, 디스플레이 패널을 투과한 광을 이용하여 생성되는 이미지 데이터에서 화질저하 현상을 개선하는 이미지 처리 모듈, 카메라 모듈, 이미지 처리 방법을 제공하는 것이다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 이미지 처리 모듈은 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터를 입력받는 입력부; 및 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하는 딥러닝 신경망을 포함하고, 상기 제2 이미지 데이터는, 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거된 이미지 데이터인 것을 특징으로 한다.

또한, 상기 노이즈는 low intensity, Blur, Haze (Diffraction Ghost), Reflection Ghost, Color separation, Flare, Fringe pattern, yellowish 중 적어도 하나를 포함할 수 있다.

또한, 상기 입력부는, 디스플레이 패널의 하부에 배치되는 이미지 센서로부터 상기 제1 이미지 데이터를 입력받을 수 있다.

또한, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터는 노이즈 레벨이 상이할 수 있다.

또한, 상기 딥러닝 신경망의 트레이닝 세트는, 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터 및 디스플레이 패널을 투과하지 않은 광을 이용하여 생성되는 제2 이미지 데이터를 포함할 수 있다.

또한, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 중 적어도 하나는 베이어 이미지 데이터일 수 있다.

또한, 상기 제2 이미지 데이터를 Image Signal Processor로 출력할 수 있다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 이미지 처리 모듈은 적어도 하나의 프로세서; 및 상기 프로세서에서 처리되는 명령어를 저장하는 메모리를 포함하고, 상기 프로세서는, 상기 메모리에 저장된 명령어에 따라, 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터를 입력받고, 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하고, 상기 제2 이미지 데이터는, 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거된 이미지 데이터인 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 카메라 모듈은 디스플레이 패널을 투과한 광을 이용하여 제1 이미지 데이터를 생성하는 이미지 센서; 상기 이미지 센서를 제어하는 드라이버 IC; 및 상기 본 발명의 실시예에 따른 이미지 처리 모듈을 포함하고, 디스플레이 패널의 하부에 배치되는 것을 특징으로 한다.

또한, 상기 이미지 처리 모듈은 상기 드라이버 IC와 하나의 칩으로 형성될 수 있다.

또한, 상기 이미지 처리 모듈은 상기 드라이버 IC와 별도의 칩으로 형성될 수 있다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 이미지 처리 방법은 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터를 입력받는 단계; 및 학습된 딥러닝 신경망을 이용하여 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하는 단계를 포함하고, 상기 제2 이미지 데이터는, 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거된 이미지 데이터인 것을 특징으로 한다.

또한, 상기 딥러닝 신경망의 트레이닝 세트는, 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터 및 디스플레이 패널을 투과하지 않은 광을 이용하여 생성되는 제2 이미지 데이터를 포함할 수 있다.

또한, 디스플레이 패널의 하부에 배치되는 이미지 센서로부터 상기 제1 이미지 데이터를 입력받고, 상기 제2 이미지 데이터를 Image Signal Processor로 출력할 수 있다.

본 발명의 실시예들에 따르면, 디스플레이 패널을 투과한 광을 이용하여 생성되는 이미지 데이터에서 화질저하 현상을 개선할 수 있다. 또한, HW accelerator 를 이용하여 실시간 구동을 하면서도 낮은 소모 전력으로 처리할 수 있어, ISP 이전의 전처리를 통해 낮은 소모 전력과 빠른 처리가 가능하다. 대부분이 곱하기 연산 (multiplexing) HW로 deep learning 기반 기술로 HW accelerator 로 최적화하기 용이하다. 또한, 몇 개의 라인버퍼 만을 사용하고, 네트워크 구성은 최적화하여 소형 chip으로 만들 수 있다. 이를 통해, 탑재되는 장치의 사용 목적에 따라 다양한 위치에 다양한 방식으로 탑재될 수 있어, 설계의 자유도가 증가할 수 있다. 또한, 기존의 딥 러닝 방식의 알고리즘을 수행하기 위해 고가의 프로세서가 필요하지 않아 보다 경제적으로 고해상도 이미지를 생성할 수 있다. 최적화된 파라미터는 외부에서 칩으로 보내주어 업데이트도 가능하고, 칩 내부에 저장하여 외부에서 알 수 없도록 Black-box 화도 가능하다. 베이어 데이터로 처리함으로써 데이터 처리양과 베이어 데이터의 선형적인 특성을 활용하여 최적화 시킬 수 있다.

또한, 카메라(CIS, Camera Image Sensor)과 AP사이 연결부에 브리지(Bridge) 형태로 들어가게 하여 카메라와 AP의 사이즈 이슈나 설계 이슈를 줄일 수 있고, 카메라와 AP의 발열 이슈도 줄일 수 있다. 카메라 내부에는 사이즈로 인해 칩 설계 제약이 있지만 AP 주변에는 상대적으로 공간 여유가 있으므로 연결부에 추가할 경우 칩 사이즈 제약도 줄어들어 칩 설계 제약도 감소하게 된다. 또한, 카메라와 분리를 하게 되면 카메라 제조사에서도 불량을 따로 관리하게 되므로 f-cost를 줄일 수 있게 된다.

또한, 센서와의 통합으로 인해 MIPI IP에 대한 비용이 절감되기 때문에 모듈 전체 가격이 감소하고 그만큼 고객에게 저가로 모듈 공급이 가능해진다. 또한, 센서 내부에서 공유하던 여러 가지 데이터 정보들을 칩에서 함께 공유함으로 인해 AP control 신호도 단일화하여 통신할 수 있고, 센서에 이미 있던 EEPROM이나 Flash memory등을 함께 사용함으로 메모리도 절약할 수 있다. 센서 내부에도 간단한 ISP 기능들이 포함되어 있는데, 이 기능들을 아날로그적으로 컨트롤하여 영상데이터에 활용한다면 더 다양한 딥러닝 영상 데이터 베이스를 생성할 수 있어서 최종 성능을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 이미지 처리 모듈의 블록도이다.
도 2 내지 도 6은 본 발명의 실시예에 따른 이미지 처리 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 이미지 처리 모듈의 블록도이다.
도 8은 본 발명의 일 실시예에 따른 카메라 모듈의 블록도이다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 카메라 모듈의 블록도이다.
도 11은 본 발명의 또 다른 실시예에 따른 이미지 처리 모듈의 블록도이다.
도 12 및 도 13은 도 11의 실시예에 따른 이미지 처리 모듈을 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 카메라 장치의 블록도이다.
도 15은 본 발명의 일 실시예에 따른 이미지 센서의 블록도이다.
도 16은 본 발명의 실시예에 따른 이미지 센서를 설명하기 위한 도면이다.
도 17 및 도 18은 본 발명의 다른 실시예에 따른 이미지 센서의 블록도이다.
도 16은 본 발명의 다른 실시예에 따른 이미지 센서를 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 21 및 도 22는 본 발명의 다른 실시예에 따른 이미지 처리 방법의 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합 또는 치환하여 사용할 수 있다.

또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.

또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.

또한, 본 발명의 실시 예의 구성 요소를 설명하는데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.

그리고, 어떤 구성 요소가 다른 구성 요소에 '연결', '결합', 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 '연결', '결합', 또는 '접속'되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합', 또는 '접속'되는 경우도 포함할 수 있다.

또한, 각 구성 요소의 "상(위)" 또는 "하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, "상(위)" 또는 "하(아래)"는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라, 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위)" 또는 "하(아래)"로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함될 수 있다.

도 1은 본 발명의 일 실시예에 따른 이미지 처리 모듈(100)을 도시한 것이다.

본 발명의 실시예에 따른 이미지 처리 모듈(100)은 입력부(110) 및 딥러닝 신경망(120)으로 구성되고, 메모리, 프로세서, 통신부를 포함할 수 있다.

입력부(110)는 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터를 입력받는다.

보다 구체적으로, 입력부(110)는 딥러닝 신경망(120)을 통해 이미지 처리를 수행하고자 하는 제1 이미지 데이터를 입력받는다. 여기서, 제1 이미지 데이터는 디스플레이 패널을 투과한 광을 이용하여 생성되는 이미지 데이터로, 디스플레이 패널 하부에 배치되는 이미지 센서(211)로부터 상기 제1 이미지 데이터를 입력받을 수 있다. 이미지 센서(211)가 디스플레이 패널 하부에 배치되는 카메라를 언더 디스플레이 카메라 UDC(Under Display Camera)라 한다.

언더 디스플레이 카메라 UDC에 있어서, 이미지 센서(211)는 도 2와 같이, 디스플레이 패널(230)의 하부에 배치될 수 있다. 디스플레이 패널(230)의 하부에 위치하는 기판(240)상에 배치되어, 디스플레이 패널 외부에서 디스플레이 패널를 투과하는 광(250)을 수신하여 제1 이미지 데이터를 생성한다. 여기서, 이미지 센서(211)는 디스플레이 패널(230) 하부에 배치되는 카메라 모듈의 렌즈를 통해 들어오는 빛을 전기 신호로 변화하는 CMOS(Complementary Metal Oxide Semiconductor) 또는 CCD(Charge Coupled Device)와 같은 이미지 센서를 포함할 수 있다.

여기서, 제1 이미지 데이터는 베이어 데이터일 수 있다. 여기서, 베이어(bayer) 데이터는 수신하는 광 신호를 전기 신호로 변환하는 이미지 센서(211)가 출력하는 가공되지 않은 데이터(Raw Data)를 포함할 수 있다.

이에 대해 구체적으로 설명하면, 카메라 모듈의 렌즈를 통해 전달되는 광 신호는 R, G, B 색상을 검출할 수 있는 이미지 센서(211)에 포함된 픽셀 어레이에 배치된 각 화소를 통해 전기 신호로 변환될 수 있다. 만약 카메라 모듈의 사양이 500만 화소라고 한다면, R, G, B 색상을 감지할 수 있는 화소가 500만개 포함된 이미지 센서가 포함되어 있다고 생각할 수 있다. 화소 수가 500만개이지만, 실제로 각각의 색(color)을 감지하는 것이 아니라 흑백의 밝기만을 감지하는 단색(monochrome) 화소가 R, G, B 필터 중 어느 하나와 결합된 형태로 볼 수 있다.

즉, 이미지 센서(211)는 화소수 만큼 배열된 단색 화소 셀들 위에 R, G, B 색상 필터들이 특정한 패턴을 가지고 배치되어 있다. 따라서, R, G, B 색상 패턴이 사용자(즉, 인간)의 시각 특성에 따라 교차하며 배치되는데 이를 베이어 패턴(Bayer Pattern)이라고 부른다.

딥러닝 신경망(120)은 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력한다.

보다 구체적으로, 딥러닝 신경망(120)은 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하도록 학습된 딥러닝 신경망으로, 입력부(110)가 제1 이미지 데이터를 입력받으면, 제1 이미지 데이터로부터 제2 이미지 데이터를 출력한다. 여기서, 제2 이미지 데이터는 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거된 이미지 데이터이다.

이미지 센서(211)가 디스플레이 패널 하부에 배치되어, 이미지 센서(211)가 수신하는 광이 디스플레이 패널을 투과하게 되고, 이로 인해, 광이 디스플레이 패널을 투과시 화질 저하 현상이 발생한다. 광이 디스플레이 패널을 투과하면서, 광량이 급격히 떨어지고 이를 높은 이득(gain) 값으로 사용하려다 보면 노이즈가 발생하여 이를 제거하기 위해 소프트웨어(SW)나 AP의 ISP로 처리하면 이미지에 블러가 발생한다. 또한, 디스플레이 패널의 패턴으로 인해 디스플레이 패널을 투과하지 않는 경우에 비해 화질 저하 현상이 발생하고, 도 3과 같이, 다양한 노이즈가 포함된다.

여기서, 노이즈는 low intensity, Blur, Haze (Diffraction Ghost), Reflection Ghost, Color separation, Flare, Fringe pattern, yellowish 중 적어도 하나를 포함할 수 있다. Low intensity는 저감도로, 광량이 떨어져 화질이 저하되는 현상이고, Blur(블러)는 이미지 초점이 탈초점되는 현상이고, Haze(혼탁)는 Diffraction Ghost(회절 환영)으로, 난시처럼 환영 이미지가 생기는 현상을 의미한다. Reflection Ghost는 디스플레이 패널의 패턴이 반사되어 환영 이미지가 생기는 현상이고, Color separation는 RGB 색상이 분리되는 현상이고, Flare(플레어)는 내부 반사나 난반사에 의해 과다하게 나타나는 밝은 영역이 발생하는 현상이고, Fringe pattern은 간섭에 의해 발생하는 패턴을 의미하고, yellowish는 영상이 노란색을 띄는 현상이다. 이외에 다양한 노이즈를 포함할 수 있다.

이와 같은, 노이즈를 포함하는 이미지를 개선하기 위해선 개선효과뿐만 아니라 실시간 성이 중요하다. 특히, 사용자 단말에 있어서, 후면 카메라보다 전면 카메라는 실시간 성이 매우 중요하다. 후면 카메라는 보통 다른 곳을 촬영하는 것으로 동영상보다는 일반 사진 촬영 화질이 가장 중요하고, 사용 빈도도 사진 모드가 가장 높다. 하지만, 전면 카메라는 사진 촬영보다는 화상 통화, 개인 방송 등 실시간성이 필수인 카메라 모드가 사용 빈도가 높으므로 낮은 소모 전력으로 빠른 처리 속도가 필수적이나, 고해상도의 모바일 이미지 데이터를 낮은 소모 전력과 빠른 처리를 하기에는 SW로는 한계가 있다.

딥러닝 신경망(120)은 노이즈가 포함된 제1 이미지 데이터로부터 노이즈 중 적어도 일부가 제거된 제2 이미지 데이터를 출력하도록 학습된 딥러닝 신경망을 이용하여 빠르게 제1 이미지 데이터에 포함된 노이즈를 개선할 수 있다.

딥러닝 신경망(120)을 통해 출력되는 제2 이미지 데이터는 제1 이미지 데이터와 노이즈 레벨이 상이할 수 있다. 학습하지 못한 노이즈를 포함하는 경우와 같이, 딥러닝 신경망(120)을 통해 제1 이미지 데이터에 포함된 모든 노이즈를 제거하지 못하더라도, 노이즈의 적어도 일부를 제거함으로써 노이즈 레벨을 낮출 수 있다.

딥러닝 신경망(120)은 딥 러닝(Deep learning)을 통해 학습된다. 딥 러닝이란, 심층 학습으로 표현되기도 하는데, 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계 학습(machine learning)에 관한 알고리즘의 집합을 의미한다.

구체적으로, 딥 러닝은 어떠한 학습 데이터를 컴퓨터가 이해할 수 있는 형태(예를 들어 이미지의 경우는 픽셀(Pixel)정보를 열 벡터로 표현하는 등)로 표현(Representation)하고 이를 학습에 적용하기 위해 많은 연구(어떻게 하면 더 좋은 표현기법을 만들고 또 어떻게 이것들을 학습할 모델을 만들지에 대한)에 대한 학습 기법으로, DNN(Deep Neural Networks) 및 DBN(Deep Belief Networks)등의 학습 기법을 포함할 수 있다.

일 예로, 딥 러닝은 먼저 주변 환경을 인지하고 현재 환경 상태를 프로세서에 전달할 수 있다. 프로세서는 이에 맞는 행동(Action)을 수행하고 환경은 다시 그 행동에 따른 보상치를 프로세서에게 알려준다. 그리고 프로세서는 보상치를 최대로 하는 행동을 택하게 된다. 이러한 과정에 통해 학습 과정이 반복적으로 진행될 수 있다. 앞서 설명한대로 딥 러닝을 수행 하면서 이용되는 학습 데이터는, 실제 해상도가 낮은 베이어 이미지를 해상도가 높은 베이어 이미지로 변환해 가면서 얻은 결과일 수도 있으며, 시뮬레이션을 통해 얻은 정보일 수도 있다. 만약, 시뮬레이션 과정을 수행하는 경우 시뮬레이션의 환경에 맞추어(이미지의 배경, 색상의 종류 등) 조정함으로써 보다 빠르게 데이터를 획득할 수 있다.

딥 러닝은 심층 신경망(Deep Neural Network, DNN)을 포함하며, 심층 신경망(DNN)은 입력층(input layer)과 출력층(output layer) 사이에 다중의 은닉층(hidden layer)이 존재하는 심층(deep) 신경망, 동물의 시각 피질의 구조와 유사하게 뉴런 사이의 연결 패턴을 형성하는 콘볼루션(convolutional) 신경망, 시간에 따라 매순간마다 신경망을 쌓아 올리는 재귀(recurrent) 신경망으로 구체화될 수 있다. 콘볼루션 신경망은 FCN(Fully Convolutional Network), U-Net, MobileNet, RDN(Residual Dense Network), 및 RCAN(Residual Channel Attention Network) 중 적어도 하나의 모델일 수 있다. 이외에도 다양한 모델을 이용할 수 있음은 당연하다.

딥러닝 신경망(120)의 트레이닝은 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터 및 디스플레이 패널을 투과하지 않은 광을 이용하여 생성되는 제2 이미지 데이터를 포함하는 트레이닝 세트를 기반으로 수행된다. 딥러닝 신경망(120)은 제1 이미지 데이터를 기반으로 제2 이미지 데이터를 출력하도록 학습된다. 딥러닝 트레이닝은 도 4와 같은 과정을 통해 수행될 수 있다.

딥러닝 신경망(120)에 대한 트레이닝은 도 4와 같이 반복적인 트레이닝을 통해 수행될 수 있다. 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터 및 디스플레이 패널을 투과하지 않은 광을 이용하여 생성되는 제2 이미지 데이터를 트레이닝을 수행한다. 여기서, 제1 이미지 데이터는 입력 데이터(X)로 딥러닝 신경망에 입력되고, 제2 이미지 데이터는 GT(Ground Truth,Z)로 딥러닝 신경망에서 출력되는 출력 데이터(Y)를 비교하는 역할을 한다. GT(Ground Truth)는 트레이닝시 딥러닝 신경망에서 생성할 수 있는 가장 이상적인 데이터를 의미한다. 딥러닝 신경망은 출력 데이터(Y)가 GT(Z)에 가까워지도록 반복 트레이닝 된다.

여기서, 제1 이미지 데이터는 디스플레이 패널을 적용하여 이미지 센서가 특정 객체에 촬영함으로써 생성하는 이미지 데이터일 수 있고, 제2 이미지 데이터는 디스플레이 패널을 적용하지 않을 때, 이미지 센서가 동일 객체를 촬영함으로써 생성하는 이미지 데이터일 수 있다. 이때, 동일한 장면에 대한 베이어 데이터를 생성하기 위하여, 이미지 센서를 포함하는 카메라 장치에 삼각대(tripod)와 같이 고정할 수 있는 장치를 이용할 수 있다. 두 개의 이미지 데이터를 트레이닝 세트로 하여 미리 설정된 시간 이상, 미리 설정된 수 이상의 트레이닝 세트에 대해 반복 트레이닝 된다.

트레이닝은 손실함수(Loss function) 및 최적화(optimizer)를 이용하여 수행될 수 있다. 입력 데이터(X)를 입력받아, 딥러닝 신경망이 출력한 출력 데이터(Y)와 GT(Z)를 비교분석하여 손실함수 및 최적화를 이용하여 파리미터를 조정해가며 출력 데이터(Y)가 GT(Z)와 가까워지도록 반복 트레이닝한다.

입력 데이터(X1) 및 노이즈 레벨(X2)의 입력에 따라 출력되는 출력 데이터(Y)와 GT(Z)를 비교하고 분석하여 두 데이터 간 차이를 산출하고, 두 데이터 간 차이를 줄이는 방향으로 콘볼루션 필터의 파라미터에 피드백을 줄 수 있다. 이때, 두 데이터 간 차이는 손실 함수 중 하나인 평균 제곱 오차인 MSE(Mean Squared Error) 방식을 통해 산출될 수 있다. 이외에 CEE(Cross Entropy Error) 등 다양한 손실함수를 이용할 수 있다. 출력 데이터에 영향을 주는 파라미터를 분석한 후, 파리미터를 변경하거나 삭제 또는 새로운 파라미터를 생성하는 방식으로 피드백을 주어 GT(Z)와 실제 출력 데이터인 출력 데이터(Y)의 차이가 없도록 할 수 있다.

도 4에 도시된 바와 같이, 예를 들어, 콘볼루션 레이어가 총 3개이고(L1, L2, L3) 각각의 콘볼루션 레이어에 총 8개의 파라미터(P11, P12, P13, P21, P22, P31, P32)가 존재한다고 가정할 수 있다. 이러한 경우, P22 파라미터의 값을 증가시키는 방향으로 파라미터를 변경하였더니 출력 데이터(Y)와 GT(Z)의 차이가 증가한다면, 피드백은 P22 파라미터를 감소시키는 방향으로 학습된다. 이와 반대로, P33 파라미터의 값을 증가시키는 방향으로 파라미터를 변경하였더니 출력 데이터(Y)와 GT(Z)의 차이가 감소하였다면, 피드백은 P33 파라미터를 증가시키는 방향으로 학습된다.

딥 러닝 트레이닝은 도 4와 같이, 출력 결과와 비교 대상이 존재하고, 비교 대상과의 비교를 통해 학습을 수행하는 경우뿐만 아니라, 보상치를 이용하여 트레이닝을 수행할 수도 있다. 이 경우, 먼저 주변 환경을 인지하고 현재 환경 상태를 딥 러닝 트레이닝을 수행하는 프로세서에 전달할 수 있다. 프로세서는 이에 맞는 행동(Action)을 수행하고 환경은 다시 그 행동에 따른 보상치를 프로세서에게 알려준다. 그리고 프로세서는 보상치를 최대로 하는 행동을 택하게 된다. 이러한 과정에 통해 학습을 반복적으로 진행함으로써 트레이닝을 수행할 수 있다. 이외에도 다양한 딥 러닝 트레이닝 방법을 이용하여 딥 러닝 트레이닝을 수행할 수 있다.

상기와 같이, 트레이닝을 통해 도출되는 각 콘볼루션 레이어의 파라미터들을 도 5와 같이, 딥러닝 신경망(120)에 적용하여 제1 이미지 데이터로부터 제2 이미지 데이터를 출력한다. 각 콘볼루션 레이어에 적용되는 파라미터는 트레이닝을 통해 도출된 고정된 고정 파라미터일 수 있고, 트레이닝을 통해 업데이트되거나 기타 다른 조건이나 명령에 따라 가변되는 가변 파라미터일 수 있다. 파라미터 값은 메모리에 저장되어 있거나, AP 또는 딥러닝 트레이닝을 수행하는 장치나 서버 등 외부에 저장되어 있는 파라미터를 동작시 또는 턴온시 수신하여 이용할 수 있다.

노이즈가 개선된 이미지 데이터를 구현하기 위한 딥 러닝 기반의 알고리즘들은 일반적으로 프레임 버퍼(Frame Buffer)를 사용하는데, 프레임 버퍼의 경우 일반 PC 및 서버에서는 그 특성상 실시간 구동이 어려울 수 있다.

그러나, 딥러닝 신경망(120)은 딥 러닝 트레이닝을 통해 이미 생성되어 있는 딥러닝 신경망 및 파라미터를 적용하므로 저사양 카메라 모듈 및 이를 포함하는 여러 장치 들에서 쉽게 적용이 가능하며, 이러한 딥러닝 신경망을 구체적으로 적용함에 있어서 몇 개의 라인 버퍼(Line Buffer)만을 사용하는 방식으로 고해상도를 구현하므로, 비교적 크기가 작은 소형 칩(Chip)으로 프로세서를 구현할 수 있는 효과 또한 존재한다.

도 6을 참조하면, 딥러닝 신경망(120)은 제1 이미지 데이터를 수신하는 복수 개의 라인 버퍼(11), 라인 버퍼를 통해 출력된 제1 이미지 데이터를 파장대역 별로 배열하는 제1 배열 데이터를 생성하는 제1 데이터 정렬부(221), 학습된 딥러닝 신경망을 통해 이미지를 처리하는 딥러닝 신경망(120), 딥러닝 신경망(120)를 통해 출력된 제2 배열 데이터를 베이어 패턴으로 배열하여 제2 이미지 데이터를 생성하는 제2 데이터 정렬부(192) 및 제2 데이터 정렬부(192)를 통해 출력된 제2 이미지 데이터를 출력하는 복수 개의 라인 버퍼(12)를 포함할 수 있다.

제1 이미지 데이터는 앞서 설명한 베이어 패턴을 포함하고 있는 정보로서, 베이어 데이터 또는 RGB 이미지로 정의될 수도 있다. 또한, 제1 데이터 정렬부(191)와 제2 데이터 정렬부(192)를 편의상 별개의 구성요소로 도시하였지만 이에 한정되는 것은 아니고, 딥러닝 신경망(120)가 제1 데이터 정렬부(191)와 제2 데이터 정렬부(192)가 수행하는 기능을 같이 수행할 수도 있다.

이미지 센서(211)에 의해 수신된 제1 이미지 데이터는 사용자에 의해 선택된 영역에 대한 이미지 정보를 (n+1)개의 라인 버퍼(11a, 11b, ~ 11n. 11n+1)로 전송될 수 있다. 앞서 설명한 바와 같이 사용자에 의해 선택된 영역에 대해서만 제2 이미지 데이터를 생성하므로 사용자에 의해 선택되지 않은 영역에 대한 이미지 정보는 라인 버퍼(11)로 송신되지 않는다.

구체적으로, 제1 이미지 데이터는 복수개의 행 데이터를 포함하고 있고, 이러한 복수 개의 행 데이터는 복수 개의 라인 버퍼(11)를 통해 제1 데이터 정렬부(191)로 송신될 수 있다.

예를 들어, 딥러닝 신경망(120)에 의해 딥 러닝을 수행해야 하는 영역이 3 X 3 영역이라면 총 3개의 라인이 제1 데이터 정렬부(191) 또는 딥러닝 신경망(120)으로 동시에 송신이 되어야 딥 러닝을 수행할 수 있다. 따라서, 3개의 라인 중 첫 번째 라인에 대한 정보는 제1라인버퍼(11a)로 송신된 후, 제1라인버퍼(11a) 저장되며, 3개의 라인 중 두 번째 라인에 대한 정보는 제2라인버퍼(11b)로 송신된 후, 제2라인버퍼(11b) 저장될 수 있다.

그 후 세 번째 라인의 경우, 이후로 수신되는 라인에 대한 정보가 없으므로 라인 버퍼(11)에 저장되지 않고 바로 딥러닝 신경망(120) 또는 제1 데이터 정렬부(191)로 송신될 수 있다. 이 때 제1 데이터 정렬부(191) 또는 딥러닝 신경망(120)은 3개의 라인에 대한 정보를 동시에 수신해야 하므로 제1라인 버퍼(11a)와 제2라인 버퍼(11b)에 저장되어 있는 첫 번째 라인에 대한 정보와 두 번째 라인에 대한 정보도 동시에 딥러닝 신경망(120) 또는 제1 데이터 정렬부(191)로 송신될 수 있다.

이와 반대로, 딥러닝 신경망(120)에 의해 딥 러닝을 수행해야 하는 영역이 (N+1) x (N+1) 영역이라면 총 (N+1)개의 라인이 제1 데이터 정렬부(191) 또는 딥러닝 신경망(120)으로 동시에 송신이 되어야 딥 러닝을 수행할 수 있다. 따라서, (N+1)개의 라인 중 첫 번째 라인에 대한 정보는 제1라인버퍼(11a)로 송신된 후, 제1라인버퍼(11a) 저장되며, (N+1) 개의 라인 중 두 번째 라인에 대한 정보는 제2라인버퍼(11b)로 송신된 후, 제2라인버퍼(11b) 저장될 수 있으며, (N+1) 개의 라인 중 N 번째 라인에 대한 정보는 제N라인버퍼(11n)로 송신된 후, 제N라인버퍼(11n) 저장될 수 있다.

그 후 (N+1) 번째 라인의 경우, 이후로 수신되는 라인에 대한 정보가 없으므로 라인 버퍼(11)에 저장되지 않고 바로 딥러닝 신경망(120) 또는 제1 데이터 정렬부(191)로 송신될 수 있으며, 앞서 설명한 바와 같이 이 때 제1 데이터 정렬부(191) 또는 딥러닝 신경망(120)은 N+1개의 라인에 대한 정보를 동시에 수신해야 하므로 라인 버퍼(11a~11n)에 저장되어 있는 첫 번째 라인부터 n번째 라인에 대한 정보도 동시에 딥러닝 신경망(120) 또는 제1이미지 정렬부(219)로 송신될 수 있다.

제1이미지 정렬부(219)는 라인 버퍼(11)로부터 베이어 데이터를 수신한 후 베이어 데이터를 파장대역 별로 배열하여 제1 배열 데이터를 생성한 후, 생성된 제1 배열 데이터를 딥러닝 신경망(120)으로 송신할 수 있다.제 1이미지 정렬부(219)는 수신한 정보를 특정 파장 또는 특정 색상별(Red, Green, Blue)로 분류하여 배열한 제1 배열 데이터를 생성할 수 도 있다.

그 후, 딥러닝 신경망(120)는 제1이미지 정렬부(219)를 통해 수신한 제1 배열 데이터를 기초로 제2 배열 데이터를 생성할 수 있다. 딥러닝 신경망(120)은 제1 데이터 정렬부(191)를 통해 수신한 제1 배열 데이터를 기초로 딥 러닝을 수행하여 제2 배열 데이터를 생성할 수 있다.

예를 들어, 앞서 설명한 바와 같이 3 x 3 영역에 대해 제1 배열 데이터를 수신하였으면 3 x 3 영역에 대해서 이미지 처리를 수행하고, (n+1) x (n+1) 영역에 대해 제1 배열 데이터를 수신하였으면 (n+1) x (n+1) 영역에 대해서 이미지 처리를 수행할 수 있다.

그 후, 딥러닝 신경망(120)에 의해 생성된 제2 배열 데이터는 제2 데이터 정렬부(192)로 송신되며, 제2 데이터 정렬부(192)는 제2 배열 데이터를 제2 이미지 데이터로 변환시킬 수 있다. 그 후 변환된 제2 이미지 데이터는 복수 개의 라인 버퍼(12a)를 통해 외부로 출력될 수 있다.

상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 중 적어도 하나는 베이어 이미지 데이터일 수 있다. 제1 이미지 데이터 및 제2 이미지 데이터 모두 베이어 데이터이거나, 제1 이미지 데이터는 베이어 데이터 및 제2 이미지 데이터는 RGB 데이터이거나, 제1 이미지 데이터 및 제2 이미지 데이터 모두 RGB 데이터일 수 있다.

베이어 데이터는 앞서 설명한 바와 같이 로우 데이터로, RGB와 같은 이미지 형태의 데이터 보다 데이터의 양이 작다. 따라서, 고사양의 프로세서를 가지고 있지 않은 카메라 모듈이 장착된 장치라 하더라도 이미지 형태의 데이터보다 비교적 빠르게 베이어 패턴의 이미지 정보를 전송하고 수신할 수 있으며, 이를 기초로 다양한 해상도를 가지는 이미지로 변환시킬 수 있는 장점이 존재한다. 일 예로, 카메라 모듈이 차량에 탑재되어, 카메라 모듈이 100Mbit/s 의 전이중(Full-duplex) 전송 속도를 가지는 저전압 차등 신호 방식(LVDS)이 이용되는 환경 내에서도 이미지 처리를 하는데 많은 프로세서가 필요하지 않아 과부하가 걸리지 않아 차량을 이용하는 운전자 또는 운전자의 안전에 위해가 되지 않을 수 있다. 또한, 차량 내 통신망에 의해 전달되는 데이터의 크기를 줄일 수 있어 자율 주행 차량에 적용하더라도 차량에 배치된 복수의 카메라의 작동에 따른 통신 방식, 통신 속도 등에 의해 발생하는 문제를 제거할 수 있는 효과가 존재한다.

상기 제2 이미지 데이터는 Image Signal Processor(ISP, 221)로 출력할 수 있다. Image Signal Processor(221)는 MIPI(Mobile Industry Processor Interface) 통신을 이용하여 딥러닝 신경망(120)에서 출력되는 제2 이미지 데이터를 수신하고 영상 신호 처리 과정을 수행할 수 있다. ISP(221)는 영상 신호를 처리하면서 복수의 서브 과정을 포함할 수 있다. 예를 들어, 수신한 영상에 대해 감마값 보정(gamma correction), 색채 보정(color correction), 자동 노출(auto exposure correction), 자동 화이트값 보정(auto white balance) 과정 중에서 하나 이상을 포함할 수 있다.

ISP(221)는 AP 모듈(220)에 포함될 수 있다. AP 모듈(application processor, 220)은 모바일용 메모리 칩으로 이동 단말에서 각종 어플리케이션 작동과 그래픽 처리를 담당하는 핵심 반도체를 의미한다. AP 모듈(220)은 컴퓨터의 중앙처리장치(CPU)의 기능과 메모리, 하드디스크, 그래픽 카드 등 기타 장비의 연결을 제어하는 칩셋의 기능을 모두 포함하고 있는 SoC(System on Chip) 형태로 구현될 수 있다.

본 발명의 실시예에 따른 이미지 처리 모듈(100)은 도 7과 같이, 적어도 하나의 프로세서(140) 및 프로세서(140)에서 처리되는 명령어를 저장하는 메모리(130)를 포함할 수 있다. 도 7의 이미지 처리 모듈(100)에 대한 상세한 설명은 도 1 내지 도 6의 이미지 처리 모듈에 대한 상세한 설명에 대응하는바, 이하 중복되는 설명은 생략하도록 한다. 프로세서(140)는 메모리(130)에 저장된 명령어에 따라, 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터를 입력받고, 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력한다. 여기서, 상기 제2 이미지 데이터는, 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거된 이미지 데이터이다. 상기 프로세서(140)는 딥러닝 신경망을 포함하고, 상기 딥러닝 신경망의 트레이닝 세트는, 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터 및 디스플레이 패널을 투과하지 않은 광을 이용하여 생성되는 제2 이미지 데이터를 포함할 수 있다.

본 발명의 일 실시예에 따른 이미지 센서 모듈(210)은 이미지 센서(211), 드라이버 IC(215), 및 이미지 처리 모듈(100)을 포함하고, 필터(212), 렌즈(213), 액추에이터(214)를 포함할 수 있다. 본 발명의 실시예에 따른 이미지 센서 모듈(210)은 디스플레이 패널의 하부에 배치되는 카메라 모듈일 수 있다. 본 발명의 시예에 따른 이미지 센서 모듈(210)의 각 구성에 대한 상세한 설명은 도 1 내지 도 7의 이미지 처리 모듈의 각 대응하는 구성에 대한 상세한 설명에 대응하는바, 이하 중복되는 설명은 생략하도록 한다.

필터(212)는 외부로부터 유입되는 빛을 선택적으로 차단하는 역할을 하며, 일반적으로 렌즈(213)의 상부에 위치할 수 있다. 렌즈(213)는 유리와 같이 투명한 물질의 면을 구면으로 곱게 갈아 물체로부터 오는 빛을 모으거나 발산시켜 광학적 상을 맺게 하는 장치로서, 이미지 센서 모듈(210)에 사용되는 일반적인 렌즈는 복수 개의 서로 다른 특징을 가지는 렌즈를 구비할 수 있다.

드라이버 IC(Driver IC, 215)는 화면에 문자나 영상 이미지가 표시되도록 패널에 구동신호 및 데이터를 전기신호로 제공하는 반도체(IC)를 의미하며, 후술하겠지만 드라이버 IC는 다양한 위치에 배치될 수 있다. 또한 드라이버 IC(215)는 액추에이터(214)를 구동할 수 있다.

액추에이터(214)는 렌즈 또는 렌즈를 포함하는 경통의 위치를 조절하여 초점을 조절할 수 있다. 예를 들어, 액추에이터(214)는 VCM(Voice Coil Motor) 방식일 수 있다. 렌즈(213)는 가변 초점 렌즈를 포함할 수도 있다. 가변 초점 렌즈를 포함하는 경우 드라이버 IC(215)는 가변 초점 렌즈를 구동할 수 있다. 예를 들어, 렌즈(213)는 액체를 포함하는 액체 렌즈를 포함할 수 있으며 이 경우 드라이버 IC(215)는 액체 렌즈의 액체를 조절하여 초점을 조절 할 수 있다.

이미지 처리 모듈(100)은 드라이버 IC(215)와 하나의 칩으로 형성되거나, 별도의 칩으로 형성될 수 있다. 또는 이미지 센서 모듈(210)과 별개의 모듈로 형성될 수 있다.

먼저, 도 8과 같이, 이미지 처리 모듈(100)은 드라이버 IC(215)와 하나의 칩(216)으로 one-package로 형성될 수 있다. 이미지 센서 모듈(210)에 기본으로 포함되는 드라이버 IC와 하나의 칩(216)으로 형성함으로써 드라이버 IC의 기능 및 이미지 처리 모듈의 기능을 동시에 수행할 수 있어, 경제적이다.

또는, 도 9와 같이, 이미지 처리 모듈(100)은 이미지 센서 모듈(210) 내부에 형성하되, 드라이버 IC(215)와 별도의 칩으로 two -package로 형성할 수 있다. 이미지 센서 모듈(210)의 구조의 변경없이 이미지 처리 모듈(100)만을 추가 배치하여 이용할 수 있다. 이를 통해, 드라이버 IC와 하나의 칩으로 형성할 때 설계의 자유도가 떨어지는 것을 방지할 수 있고, 칩을 생성하는 공정도 하나의 칩으로 형성하는 경우에 비해 작업이 용이해질 수 있다.

또는, 도 10과 같이, 이미지 처리 모듈(100)은 이미지 센서 모듈(210) 외부에 형성할 수 있다. 이미지 센서 모듈(210)에 대한 변경없이 이미지 처리 모듈(100)만을 이미지 센서 모듈(210)과 AP 모듈(220) 사이에 배치하여 설계의 자유도를 높일 수 있다. 또는, 이미지 처리 모듈(100)을 이미지 센서 모듈(210)이 아닌 AP 모듈(220)에 배치할 수도 있다.

상기와 같이, 딥러닝 신경망(120)을 포함하는 이미지 처리 모듈(100)을 통해 낮은 소모 전력과 빠른 처리가 가능하다. SW 알고리즘으로 적용하는 것이 아닌 HW accelerator 를 이용하여 실시간 구동을 하면서도 낮은 소모 전력으로 처리할 수 있다. 대부분이 곱하기 연산 (multiplexing) HW로 딥러닝 기반 기술로 HW accelerator 로 최적화하기 용이하다.

대부분의 딥러닝 기반 알고리즘들은 frame buffer를 사용하여 일반 PC 및 서버에서는 실시간 구동이 어려울 수 있지만, 본 발명에서는 몇 개의 라인버퍼 만을 사용하고, 네트워크 구성은 최적화하여 소형 칩(chip)으로 만들 수 있다.

소형 모듈화가 가능한바, 이미지 센서 모듈에 대해 다양한 배치로 형성할 수 있다.

디스플레이 패널 하부에 배치되어 생성되어 화질저하 현상의 노이지를 포함하는 제1 이미지 데이터로부터 패널로 인한 화질 저하 현상을 제거하기 위한 딥러닝 트레이닝을 학습시키고, 학습으로 추출된 최적화 파라미터들을 이용하여 실시간으로 동작하게 할 수 있다. 최적화된 파라미터는 외부에서 모듈로보내주어 업데이트도 가능하고, 모듈 내부에 저장하여 외부에서 알 수 없도록 Black-box 화도 가능하다. 입력 영상은 ISP를 처리 하기 전 베이어 데이터 형태이고, 출력 영상 또한 베이어 데이터 형태로 출력할 수 있다. 베이어 데이터로 처리함으로써 데이터 처리양과 베이어 데이터의 선형 적인 특성을 활용하여 이미지 처리 과정을 최적화 시킬 수 있다.

도 11은 본 발명의 또 다른 실시예에 따른 이미지 처리 모듈의 블록도이다.

본 발명의 다른 실시예에 따른 이미지 처리 모듈(1100)은 제1 커넥터(150), 딥러닝 신경망(120), 및 제2 커넥터(160)를 포함한다. 도 11의 딥러닝 신경망(120)에 대한 상세한 설명은 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하는 과정에 대해서 도 1 내지 도 10의 딥러닝 신경망(120)에 대한 상세한 설명에 대응하는바, 이하 중복되는 설명은 생략하도록 한다.

제1 커넥터(150)는 이미지 센서 모듈(210)과 연결되어 제1 이미지 데이터를 입력받고, 제1 커넥터(150)를 통해 입력받는 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하는 딥러닝 신경망(120) 및 AP(Application processor) 모듈(220)과 연결되어 상기 제2 이미지 데이터를 출력하는 제2 커넥터(160)를 포함한다.

이미지 처리 모듈(1100)이 이미지 센서 모듈(210) 또는 AP 모듈(220) 내부에 배치되는 경우, 이미지 센서 모듈(210) 또는 AP 모듈(220) 사이즈를 증가시킬 수 있고, 이미지 처리 모듈(1100)에서 발생하는 열이 이미지 센서 모듈(210) 또는 AP 모듈(220)로 전달되어 이미지 센서 모듈(210) 또는 AP 모듈(220)에 영향을 미칠 수 있다. 도 11과 같이, 이미지 처리 모듈(1100)가 각각 제1 커넥터(150) 및 제2 커넥터(160)를 통해 이미지 센서 모듈(210) 및 AP 모듈(220)과 연결됨으로써 사이즈 증가 내지 발열을 방지할 수 있다.

제1 커넥터(150) 및 제2 커넥터(160)는 각각 이미지 센서 모듈(210) 및 AP 모듈(220)과 각각 연결되어 상기 이미지 센서 모듈과 상기 AP 모듈 사이에 브리지를 구성한다. 제1 커넥터(150) 및 제2 커넥터(160)는 물리적인 커넥터를 의미하고, 데이터를 송수신하기 위한 통신규격에 맞는 포트가 형성될 수 있다. 각 커넥터는 MIPI 통신을 위한 통신 커넥터일 수 있다. 커넥터(150, 160)는 리지드(rigid)기판 또는 유연(flexible)기판으로 구현될 수 있다.

이미지 처리 모듈(1100)은 상기 이미지 센서 모듈(210) 및 상기 AP 모듈(220) 중 적어도 하나와 동일 기판 상에 배치될 수 있다. 이때, 상기 이미지 센서 모듈 또는 상기 AP 모듈과 이격되어 배치될 수 있다.

도 13과 같이, 이미지 처리 모듈(1100)은 이미지 센서 모듈(210)과 동일한 기판(240) 상에 이미지 센서 모듈(210)의 커넥터(300)와 브리지 형태로 연결될 수 있다. 이미지 센서 모듈(210) 및 AP 모듈(220) 사이의 연결부에 브리지(Bridge) 형태로 배치됨으로써 이미지 센서 모듈(210) 및 AP 모듈(220)의 사이즈 이슈나 설계 이슈를 줄일 수 있고, 이미지 센서 모듈(210) 및 AP 모듈(220)의 발열 이슈도 줄일 수 있다. 이미지 센서 모듈(210)을 포함하는 카메라 내부에는 사이즈로 인해 칩 설계 제약이 있지만 기판 상 AP 모듈(220) 주변에는 상대적으로 공간 여유가 있으므로 브리지 형태로 추가할 경우 칩 사이즈 제약도 줄어들어 칩 설계 제약도 감소하게 된다. 또한, 이미지 센서 모듈(210)과 분리를 하게 되면 카메라 제조사에서도 불량을 따로 관리하게 되므로 f-cost를 줄일 수 있게 된다.

이미지 센서 모듈(210)은 디스플레이 패널의 하부에 배치될 수 있다. 이때, 상기 제1 이미지 데이터는 디스플레이 패널을 투과한 광을 이용하여 생성되는 이미지 데이터이고, 상기 제2 이미지 데이터는 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거된 이미지 데이터일 수 있다. 여기서, 상기 노이즈는 low intensity, Blur, Haze (Diffraction Ghost), Reflection Ghost, Color separation, Flare, Fringe pattern, yellowish 중 적어도 하나를 포함할 수 있다.

이때, 상기 딥러닝 신경망의 트레이닝 세트는, 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터 및 디스플레이 패널을 투과하지 않은 광을 이용하여 생성되는 제2 이미지 데이터를 포함할 수 있다.

또한, 상기 제1 이미지 데이터는 제1 해상도를 가지는 이미지 데이터이고, 상기 제2 이미지 데이터는 제2 해상도를 가지는 이미지 데이터일 수 있다. 이때, 이미지 센서 모듈(210)의 딥러닝 신경망(120)은 제1 해상도를 가지는 제1 이미지 데이터로부터 제2 해상도를 가지는 제2 이미지 데이터를 출력하도록 학습될 수 있다. 여기서, 상기 제1 해상도는 상기 제2 해상도보다 높을 수 있다. 반대로, 제1 해상도는 상기 제2 해상도보다 낮을 수 있다. 이때, 상기 딥러닝 신경망의 트레이닝 세트는, 제1 해상도를 가지는 제1 이미지 데이터 및 제2 해상도를 가지는 제2 이미지 데이터를 포함할 수 있다. 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 중 적어도 하나는 베이어 이미지 데이터인 이미지 처리 모듈.

도 14는 본 발명의 실시예에 따른 카메라 장치의 블록도이다.

본 발명의 실시예에 따른 카메라 장치(1000)은 제1 이미지 데이터를 생성하는 이미지 센서 모듈(210), 상기 이미지 센서로부터 제1 이미지 데이터를 입력받고, 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하는 딥러닝 신경망을 포함하는 이미지 처리 모듈(1100), 및 상기 딥러닝 신경망으로부터 제2 이미지 데이터를 입력받고, 상기 제2 이미지 데이터로부터 이미지를 생성하는 AP(Application processor) 모듈(220)을 포함하고, 이미지 처리 모듈(1100)은 상기 이미지 센서와 연결되는 제1 커넥터와 상기 AP 모듈과 연결되는 제2 커넥터를 포함하여 상기 이미지 센서 및 상기 AP 모듈 사이를 연결하고, 상기 이미지 센서 및 상기 AP 모듈 중 적어도 하나와 동일 기판 상에 이격되어 배치된다. 도 14의 본 발명의 실시예에 따른 카메라 장치(1000)의 각 구성에 대한 상세한 설명은 도 1 내지 도 13의 각 대응하는 구성에 대한 상세한 설명에 대응되는바, 이하 중복되는 설명은 생략하도록 한다.

도 15은 본 발명의 일 실시예에 따른 이미지 센서의 블록도이고, 도 17 및 도 18은 본 발명의 다른 실시예에 따른 이미지 센서의 블록도이다. 도 15, 도 17 및 도 18의 각 구성에 대한 상세한 설명은 도 1 내지 도 14의 각 대응되는 구성에 대한 상세한 설명에 대응되는바, 이하 중복되는 설명은 생략하도록 한다.

본 발명의 일 실시예에 따른 이미지 센서(1500)는 디스플레이 패널을 통과한 광을 이용하여 제1 이미지 데이터를 생성하는 이미지 센싱부(170), 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하는 딥러닝 신경망(120) 및 상기 제2 이미지 데이터를 외부로 송신하는 출력부(180)를 포함하고, 상기 딥러닝 신경망은 상기 출력부의 출력 포맷에 따른 제2 이미지 데이터를 출력한다.

이미지 센싱부(170)는 디스플레이 패널의 하부에 배치되어, 디스플레이 패널을 통과한 광을 이용하여 제1 이미지 데이터를 생성할 수 있다. 딥러닝 신경망(120)은 제1 이미지 데이터로부터 제2 이미지 데이터를 생성한다. 여기서, 상기 제2 이미지 데이터는 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거된 이미지 데이터일 수 있고, 상기 노이즈는 low intensity, Blur, Haze (Diffraction Ghost), Reflection Ghost, Color separation, Flare, Fringe pattern, yellowish 중 적어도 하나를 포함할 수 있다. 상기 딥러닝 신경망의 트레이닝 세트는, 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터 및 디스플레이 패널을 투과하지 않은 광을 이용하여 생성되는 제2 이미지 데이터를 포함할 수 있고, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 중 적어도 하나는 베이어 이미지 데이터일 수 있다.

출력부(180)는 제2 이미지 데이터를 외부로 송신하되, 외부와의 통신규격에 따라 출력 포맷에 맞는 데이터를 송신한다. 따라서, 딥러닝 신경망(120)은 제2 이미지 데이터를 출력함에 있어서, 출력부(180)의 출력 포맷에 따른 제2 이미지 데이터를 출력한다. 여기서, 제2 이미지 데이터를 송신하는 대상은 ISP(221)일 수 있다. ISP(221)는 AP 모듈(220)에 배치되며, 이미지 센서(1500)와 미리 설정된 통신규격 중 하나로 데이터를 송수신할 수 있다. 예를 들어, MIPI를 통해 데이터를 송수신할 수 있고, 딥러닝 신경망(120)은 MIPI 규격에 맞게 제2 이미지 데이터를 출력할 수 있다. 이외에 다른 통신규격을 이용하는 경우, 그에 따라 출력 포맷에 맞는 데이터를 출력할 수 있다.

딥러닝 신경망(120)을 이미지 센서(211)와 별도로 형성하는 경우, 딥러닝 신경망(120)을 포함하는 프로세서를 이미지 센서(211) 및 ISP 사이의 통신을 연결하기 위하여, 도 16과 같이, 이미지 센서 출력(MIPI tx)과 AP 입력(MIPI rx) 사이에 칩 입력(MIPI rx) 및 칩 출력(MIPI tx)' 구조가 추가로 필요하다.

하지만, 이미지 센서(1500) 내에 딥러닝 신경망(120)을 구현하는 경우, 딥러닝 신경망(120)에서 생성되는 제2 이미지 데이터를 칩 출력이 아닌 이미지 센서 출력을 이용할 수 있어, 설계를 비교적 간단하게 할 수 있는 효과가 존재한다.

즉, 도 15의 이미지 센서(1500)는 "이미지 센서 출력(MIPI tx) - 칩 입력(MIPI rx) - 칩 출력(MIPI tx) - AP 입력(MIPI rx)"구조에서 "칩 입력(MIPI rx) - 칩 출력(MIPI tx)"부분이 삭제될 수 있다. 그리고 이러한 이미지 센서(200)와의 통합으로 인해 MIPI IP에 대한 비용이 절감될 수 있어 경제적으로 제작할 수 있으며, 설계의 자유도 또한 증가시킬 수 있다.

또한, 이미지 센서(1500) 내부에서 공유하던 여러 가지 데이터 정보들을 칩에서 함께 공유함으로 인해 AP 모듈(220)의 제어 신호도 단일화하여 통신할 수 있고, 이미지 센서(1500)의 EEPROM이나 Flash memory등을 함께 사용함으로 메모리도 절약할 수 있다.

또한, 이미지 센서(1500)는 간단한 ISP 기능들 또한 포함되어 있는바, 이러한 기능들을 영상 데이터에 활용한다면 더 다양한 딥 러닝 영상 데이터 베이스를 생성할 수 있어서 최종 성능을 향상시킬 수 있는 효과도 존재한다.

정렬부(190)는 상기 제1 이미지 데이터의 적어도 일부를 분해 또는 재배열하여 제3 이미지 데이터를 출력하고, 이때, 딥러닝 신경망(120)은 상기 제3 이미지 데이터로부터 상기 제2 이미지 데이터를 출력할 수 있다. 정렬부(190)는 이미지 센싱부(170)에서 출력되는 데이터가 딥러닝 신경망(120)에서 효율적으로 처리하기 위하여, 제1 이미지 데이터의 적어도 일부를 분해 또는 재배열하여 딥러닝 신경망(120)에 적합한 데이터 형태인 제3 이미지 데이터를 출력할 수 있다. 정렬부(190)는 제1 이미지 데이터 중 제2 이미지 데이터를 생성하는데 필요한 배열만을 제3 이미지 데이터로 출력할 수 있다. 정렬부(190)는 라인버퍼의 역할을 수행할 수 있다.

또한, 정렬부(190)는 상기 출력부의 출력 포맷에 따라 상기 제3 이미지 데이터를 출력할 수 있다. 출력부(180)는 출력 포맷에 따라 제2 이미지 데이터를 출력해야 하는바, 제1 이미지 데이터를 미리 출력 포맷에 따라 제3 이미지 데이터로 변환하여 딥러닝 신경망(120)에 출력할 수 있다. 딥러닝 신경망(120)은 별도로 출력 포맷에 맞춰 제2 이미지 데이터를 생성할 필요없이 바로 출력이 가능하다.

본 발명의 다른 실시예에 따른 이미지 센서(1500)는 도 18과 같이, 디스플레이 패널을 통과한 광을 수신하는 픽셀 어레이(171), 제1 프로세서(141)와 제2 프로세서(142) 및 상기 제1 프로세서(141) 또는 상기 제2 프로세서(142)에서 처리되는 명령어를 저장하는 메모리(130)를 포함하고, 상기 제1 프로세서(141)는, 상기 메모리(130)에 저장된 명령어에 따라, 상기 픽셀 어레이(171)의 출력을 이용하여 제1 이미지 데이터를 생성하고, 상기 제2 프로세서(142)는, 상기 메모리(130)에 저장된 명령어에 따라, 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하고, 상기 제2 이미지 데이터는, 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거되고, 출력 포맷에 따라 출력되는 이미지 데이터일 수 있다.

픽셀 어레이(171)는 이미지 센서로 수신되는 광이 필터를 통해 각 픽셀별로 필터 값을 출력한다. 이때, 픽셀 어레이(171)에서 출력되는 신호는 도 19와 같이, 행렬의 각각의 디코더를 통해 디코딩되고, 아날로그-디지털 컨버터를 통해 디지털 신호로 변환된다. 이후, 제1 프로세서(141)가 디지털 신호로 변환된 신호로부터 제1 이미지 데이터를 생성한다. 딥러닝 신경망을 포함하는 제2 프로세서(142)는 제1 이미지 데이터로부터 제2 이미지 데이터를 생성하고, 출력부(180)를 통해 출력 포맷에 따라 제2 이미지 데이터를 출력한다.

이외에 이미지 센서(1500)는 PLL, OTP, I2C, Internal LDO 등을 포함할 수 있다. 이미지 센싱부(171)부터 입력된 후 내부 블록 등을 통과하여 처리된 고용량의 이미지 로우 데이터를 AP에 보내기 위해서는 고속의 MIPI 인더페이스를 활용해야 한다. 이를 위하여, 이미지 센서(1500)는 수Gbps의 속도를 내기 위해 주파수 분주 및 체배의 역할을 수행하는 PLL(Phase Loop Locked)을 더 포함할 수 있다. OTP는 이미지 센싱부(171)와 SR 알고리즘의 특정 파라미터를 저장하기 위한 메모리 공간을 의미하고, I2C는 AP(300)로부터 카메라 모듈(100)의 사용자의 조작에 따른 명령을 출력하기 위해서 사용되는 인터페이스로, 일반적으로 2 Line(SCL, SDA)으로 연결되는 Bus구조를 가지고 있다. Internal LDO(Low Drop Voltage Out)&POR에서 Internal LDO는 이미지 센싱부(171)에 전원을 공급하는 역할을 할 수 있으며, POR의 경우 AP의 동작 명령과 동시에 Power Saving Mode에서 원활한 동작을 위한 리셋 기능을 수행할 수 있다.

도 20은 본 발명의 일 실시예에 따른 이미지 처리 방법의 흐름도이고, 도 21 및 도 22는 본 발명의 다른 실시예에 따른 이미지 처리 방법의 흐름도이다. 도 20 내지 도 22의 각 단계에서 대한 상세한 설명은 도 1 내지 도 19의 이미지 처리 모듈, 카메라 모듈, 이미지 센서에 대한 상세한 설명에 대응하는바, 이하 중복되는 설명은 생략하도록 한다.

디스플레이 패널을 통과한 광을 이용하여 생성되는 이미지에서 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거하기 위하여, 이미지 처리 모듈(100)은 먼저, S11 단계에서 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터를 입력받고, S12 단계에서 학습된 딥러닝 신경망을 이용하여 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력한다. 여기서, 상기 제2 이미지 데이터는, 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거된 이미지 데이터이다. 상기 딥러닝 신경망의 트레이닝 세트는, 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터 및 디스플레이 패널을 투과하지 않은 광을 이용하여 생성되는 제2 이미지 데이터를 포함할 수 있다.

디스플레이 패널의 하부에 배치되는 이미지 센서로부터 상기 제1 이미지 데이터를 입력받고, 상기 제2 이미지 데이터를 Image Signal Processor로 출력할 수 있다.

디스플레이 패널을 통과한 광을 이용하여 생성되는 이미지에서 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거하기 위하여, 이미지 센서(211)는 S21 단계에서 디스플레이 패널을 통과한 광을 이용하여 제1 이미지 데이터를 생성하고, S22 단계에서 학습된 딥러닝 신경망을 이용하여 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력한다. 여기서, 상기 제2 이미지 데이터는, 상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거되고, 통신 포맷에 따라 출력되는 이미지 데이터이다.

S21 단계 이후, S31 단계에서 상기 제1 이미지 데이터의 적어도 일부를 분해 또는 재배열하여 제3 이미지 데이터를 출력할 수 있고, 이때, 상기 제2 이미지 데이터를 출력하는 S22 단계는 상기 제3 이미지 데이터로부터 상기 제2 이미지 데이터를 출력하는 S32 단계로 구현될 수 있다. 상기 제2 이미지 데이터는 Image Signal Processor로 출력할 수 있다.

한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (15)

1. 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터를 입력받는 입력부; 및
   상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하는 딥러닝 신경망을 포함하고,
   상기 제2 이미지 데이터는,
   상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거된 이미지 데이터인 이미지 처리 모듈.
2. 제1항에 있어서,
   상기 노이즈는 low intensity, Blur, Haze (Diffraction Ghost), Reflection Ghost, Color separation, Flare, Fringe pattern, yellowish 중 적어도 하나를 포함하는 이미지 처리 모듈.
3. 제1항에 있어서,
   상기 입력부는,
   디스플레이 패널의 하부에 배치되는 이미지 센서로부터 상기 제1 이미지 데이터를 입력받는 이미지 처리 모듈.
4. 제1항에 있어서,
   상기 제1 이미지 데이터 및 상기 제2 이미지 데이터는 노이즈 레벨이 상이한 이미지 처리 모듈.
5. 제1항에 있어서,
   상기 딥러닝 신경망의 트레이닝 세트는,
   디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터 및 디스플레이 패널을 투과하지 않은 광을 이용하여 생성되는 제2 이미지 데이터를 포함하는 이미지 처리 모듈.
6. 제1항에 있어서,
   상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 중 적어도 하나는 베이어 이미지 데이터인 이미지 처리 모듈.
7. 제1항에 있어서,
   상기 제2 이미지 데이터를 Image Signal Processor로 출력하는 이미지 처리 모듈.
8. 디스플레이 패널을 투과한 광을 이용하여 제1 이미지 데이터를 생성하는 이미지 센서;
   상기 이미지 센서를 제어하는 드라이버 IC; 및
   제1항 내지 제7항 중 어느 한 항의 이미지 처리 모듈을 포함하고,
   디스플레이 패널의 하부에 배치되는 카메라 모듈.
9. 제8항에 있어서,
   상기 이미지 처리 모듈은 상기 드라이버 IC와 하나의 칩으로 형성되는 카메라 모듈.
10. 제8항에 있어서,
    상기 이미지 처리 모듈은 상기 드라이버 IC와 별도의 칩으로 형성되는 카메라 모듈.
11. 적어도 하나의 프로세서; 및
    상기 프로세서에서 처리되는 명령어를 저장하는 메모리를 포함하고,
    상기 프로세서는,
    상기 메모리에 저장된 명령어에 따라, 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터를 입력받고, 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하고,
    상기 제2 이미지 데이터는,
    상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거된 이미지 데이터인 이미지 처리 모듈.
12. 제11항에 있어서,
    상기 프로세서는 딥러닝 신경망을 포함하고,
    상기 딥러닝 신경망의 트레이닝 세트는,
    디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터 및 디스플레이 패널을 투과하지 않은 광을 이용하여 생성되는 제2 이미지 데이터를 포함하는 이미지 처리 모듈.
13. 디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터를 입력받는 단계; 및
    학습된 딥러닝 신경망을 이용하여 상기 제1 이미지 데이터로부터 제2 이미지 데이터를 출력하는 단계를 포함하고,
    상기 제2 이미지 데이터는,
    상기 광이 디스플레이 패널을 투과시 발생하는 화질 저하 현상인 노이즈가 적어도 일부 제거된 이미지 데이터인 이미지 처리 방법.
14. 제13항에 있어서,
    상기 딥러닝 신경망의 트레이닝 세트는,
    디스플레이 패널을 투과한 광을 이용하여 생성되는 제1 이미지 데이터 및 디스플레이 패널을 투과하지 않은 광을 이용하여 생성되는 제2 이미지 데이터를 포함하는 이미지 처리 방법.
15. 제13항에 있어서,
    디스플레이 패널의 하부에 배치되는 이미지 센서로부터 상기 제1 이미지 데이터를 입력받고,
    상기 제2 이미지 데이터를 Image Signal Processor로 출력하는 이미지 처리 방법.

Images