KR20240002093A - 카메라 모듈 - Google Patents

카메라 모듈 Download PDF

Info

Publication number
KR20240002093A
KR20240002093A KR1020220079309A KR20220079309A KR20240002093A KR 20240002093 A KR20240002093 A KR 20240002093A KR 1020220079309 A KR1020220079309 A KR 1020220079309A KR 20220079309 A KR20220079309 A KR 20220079309A KR 20240002093 A KR20240002093 A KR 20240002093A
Authority
KR
South Korea
Prior art keywords
raw data
data
illuminance
neural network
exposure time
Prior art date
Application number
KR1020220079309A
Other languages
English (en)
Inventor
이승원
김민규
최종민
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020220079309A priority Critical patent/KR20240002093A/ko
Publication of KR20240002093A publication Critical patent/KR20240002093A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예에 따른 카메라 모듈은 제1 조도를 가지는 제1 로우 데이터를 출력하는 이미지 센서 및 상기 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력하는 신경망(neural network)을 포함한다.

Description

카메라 모듈{Camera module}
본 발명은 카메라 모듈에 관한 것으로, 보다 구체적으로 AI 기반 전처리가 가능한 카메라 모듈 및 이미지 데이터 처리 방법에 관한 발명이다.
차량과 관련된 안전 기능과 편의 요구가 확대됨에 따라 전/후방 카메라를 이용한 외부 상황뿐만 아니라 차량 내부 카메라를 이용한 운전자/탑승자 모니터링 시스템 등 차량에 탑재되는 카메라 모듈이 점점 증가하고 있다. 차량에 탑재되는 센서가 증가하는 상황에서 여러 가지 센서 데이터를 효율적으로 처리하기 위한 기술과 함께 최근에는 전기자동차 비중이 확대됨에 따라 배터리 소모 전력을 줄이기 위한 기술이 더욱 요구되고 있다.
안전한 주행 환경과 편의 확보를 위해 차량 내부에 별도의 카메라를 탑재함으로써 운전자의 위치, 시선, 졸음여부 등을 종합적으로 판단하여 알람을 주거나 제스처 제어, 활동 예측 등 운전자/탑승자 모니터링 시스템이 확대되고 있다.
차량 내부 어두운 환경에서의 조도 확보를 위해 통해 두 개 이상의 적외선 LED 를 같이 사용하고 있다. 차량에 탑재되는 적외선 LED 로 인해 배터리 소모 전력이 증가할 뿐만 아니라 이를 제어하기 위한 전원/제어부에 대한 케이블이 추가되면서 차량 내부적으로도 회로 구성이 복잡해진다. 또한, 카메라 모듈로부터 받은 영상 밝기 개선 기능을 실시간으로 처리하기 위해서는 고사양의 ECU (AP) 가 필요하지만 차량에 탑재되는 센서가 다양해지고 점차 증가함에 따라 리소스 부담으로 이어지는 문제가 있다.
등록특허공보 제 10-2284128호
본 발명이 해결하고자 하는 기술적 과제는, AI 기반 전처리가 가능한 카메라 모듈 및 이미지 데이터 처리 방법을 제공하는 것이다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 카메라 모듈은, 제1 조도를 가지는 제1 로우 데이터를 출력하는 이미지 센서; 및 상기 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력하는 신경망(neural network)을 포함한다.
또한, 상기 제2 조도는 상기 제1 조도보다 조도가 높을 수 있다.
또한, 상기 제2 로우 데이터를 외부의 ECU 모듈로 전송하는 통신부를 포함할 수 있다.
또한, 상기 제1 압축률은 상기 통신부의 통신채널의 대역폭에 따라 설정될 수 있다.
또한, 상기 통신부는 시리얼라이저(Serializer)를 포함할 수 있다.
또한, 상기 신경망은, 제1 조도를 가지는 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력하도록 학습되고, 상기 신경망의 트레이닝 세트는, 제1 조도환경 및 제1 노출시간에서 생성되는 로우 데이터인 입력 데이터, 및 상기 제1 조도환경 및 제2 노출시간에서 생성되어 제1 비트 단위로 압축되는 로우 데이터인 GT(Ground Truth) 데이터를 포함하고, 상기 제2 노출시간은 상기 제1 노출시간보다 길 수 있다.
또한, 상기 제1 로우 데이터는 20/24 bit 데이터이고, 상기 제2 로우 데이터는 12/16 bit 데이터일 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 실시예에 따른 카메라 모듈은, 제1 조도를 가지는 제1 로우 데이터를 출력하는 이미지 센서; 상기 제1 로우 데이터로부터 제2 조도를 가지는 제2 로우 데이터를 출력하는 신경망(neural network); 및 상기 제2 로우 데이터를 제1 비트 단위로 압축하는 압축부를 포함한다.
또한, 상기 신경망은, 제1 조도를 가지는 제1 로우 데이터로부터 제1 비트 단위로 압축되고 제2 조도를 가지는 제2 로우 데이터를 출력하도록 학습되고, 상기 신경망의 트레이닝 세트는, 제1 조도환경 및 제1 노출시간에서 생성되는 로우 데이터인 입력 데이터, 및 상기 제1 조도환경 및 제2 노출시간에서 생성되는 로우 데이터인 GT(Ground Truth) 데이터를 포함하고, 상기 제2 노출시간은 상기 제1 노출시간보다 길 수 있다.
또한, 상기 제2 로우 데이터를 외부의 ECU 모듈로 전송하는 시리얼라이저(Serializer)를 포함할 수 있다.
또한, 상기 제1 압축률은 상기 시리얼라이저의 통신채널의 대역폭에 따라 설정될 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 이미지 데이터 처리 방법은, 광을 수신하여 제1 조도를 가지는 제1 로우 데이터를 출력하는 단계; 및 신경망(neural network)을 이용하여 상기 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력하는 단계를 포함하고, 상기 신경망은 제1 조도를 가지는 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력하도록 학습된다.
또한, 상기 제2 로우 데이터를 외부의 ECU 모듈로 전송하는 단계를 포함하고, 상기 제1 비트 단위는 상기 제2 로우 데이터를 외부로 전송하는 통신채널의 대역폭에 따라 설정될 수 있다.
또한, 상기 신경망의 트레이닝 세트는, 제1 조도환경 및 제1 노출시간에서 생성되는 로우 데이터인 입력 데이터, 및 상기 제1 조도환경 및 제2 노출시간에서 생성되어 제1 비트 단위로 압축되는 로우 데이터인 GT(Ground Truth) 데이터를 포함하고, 상기 제2 노출시간은 상기 제1 노출시간보다 길 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 실시예에 따른 이미지 데이터 처리 방법은, 광을 수신하여 제1 조도를 가지는 제1 로우 데이터를 출력하는 단계; 신경망(neural network)을 이용하여 상기 제1 로우 데이터로부터 제2 조도를 가지는 제2 로우 데이터를 출력하는 단계; 및 상기 제2 로우 데이터를 제1 비트 단위로 압축하는 단계를 포함하고, 상기 신경망은 제1 조도를 가지는 제1 로우 데이터로부터 제2 조도를 가지는 제2 로우 데이터를 출력하도록 학습된다.
또한, 상기 신경망의 트레이닝 세트는, 제1 조도환경 및 제1 노출시간에서 생성되는 로우 데이터인 입력 데이터, 및 상기 제1 조도환경 및 제2 노출시간에서 생성되는 로우 데이터인 GT(Ground Truth) 데이터를 포함하고, 상기 제2 노출시간은 상기 제1 노출시간보다 길 수 있다.
본 발명의 실시예들에 따르면, 이미지 센서로부터 출력된 영상 밝기를 4배 이상 개선하여 기존에 사용하는 적외선 LED 개수 및 세기를 ¼배로 감소시킴으로써 전력 소비량과 발열량을 줄일 수 있고, 적외선 LED 제어를 위한 전원케이블과 IC 개수도 함께 줄기 때문에 차량 내부적인 복잡도와 비용을 줄일 수 있다. 또한, 차량 내부 운전자/탑승자가 적외선 LED 에 지속적으로 노출되면 안구에 부담이 갈 수 있지만 chip 을 이용한 영상 밝기 개선 기능을 통해 적외선 LED 개수를 줄이게 되면 eye safety 에 대한 안전성을 더욱 확보할 수 있다.
저조도 밝기 개선 기술과 함께 ECU (ISP) 에서 처리하는 일부 영상처리 기능들을 카메라 모듈 내부 chip 에서 처리함으로써 ECU (AP) 에서 처리하는 것 대비 실시간성 확보에 용이하고, ECU 리소스 부담을 줄이거나 상대적으로 낮은 퍼포먼스의 ECU 를 사용해도 고품질의 영상을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 모듈의 블록도이다.
도 2는 본 발명의 실시예에 따른 카메라 모듈의 블록도이다.
도 3 내지 도 8은 본 발명의 실시예에 따른 카메라 모듈을 설명하기 위한 도면이다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 카메라 모듈의 블록도이다.
도 11 내지 도 13은 본 발명의 다른 실시예에 따른 카메라 모듈을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 이미지 데이터 처리 방법의 흐름도이다.
도 15는 본 발명의 실시예에 따른 이미지 데이터 처리 방법의 흐름도이다.
도 16은 본 발명의 다른 실시예에 따른 이미지 데이터 처리 방법의 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합 또는 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성 요소에 '연결', '결합', 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 '연결', '결합', 또는 '접속'되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합', 또는 '접속'되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위)" 또는 "하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, "상(위)" 또는 "하(아래)"는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라, 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위)" 또는 "하(아래)"로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함될 수 있다.
본 실시예에 따른 변형례는 각 실시예 중 일부 구성과 다른 실시예 중 일부 구성을 함께 포함할 수 있다. 즉, 변형례는 다양한 실시예 중 하나 실시예를 포함하되 일부 구성이 생략되고 대응하는 다른 실시예의 일부 구성을 포함할 수 있다. 또는, 반대일 수 있다. 실시예들에 설명할 특징, 구조, 효과 등은 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 실시예의 범위에 포함되는 것으로 해석되어야 할 것이다
도 1은 본 발명의 일 실시예에 따른 카메라 모듈의 블록도이고, 도 2는 본 발명의 실시예에 따른 카메라 모듈의 블록도이다. 도 3 내지 도 8은 본 발명의 실시예에 따른 카메라 모듈을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 카메라 모듈(100)은 이미지 센서(110) 및 신경망(120)으로 구성되고, AP(Application processor)와 통신하는 통신부(130), 광원(미도시), 저장부(미도시)를 포함할 수 있다. 본 발명의 실시예에 따른 카메라 모듈(100)은 차량용 카메라 모듈일 수 있다. 차량 내부 또는 외부에 장착되는 카메라 모듈로, 차량의 AP인 ECU(300)와 별도의 모듈로 구성될 수 있다. 차량용 카메라 모듈로 한정되지 아니하고, 다른 종류의 카메라 모듈일 수 있음은 당연하다.
이미지 센서(110)는 제1 조도를 가지는 제1 로우 데이터를 출력한다. 이미지 센서(110)는 렌즈를 통해 수신되는 광으로부터 로우(raw) 데이터를 생성한다. 객체(200)로부터 반사되는 빛 또는 외부로부터 입사되는 빛을 수신하여 이미지 데이터를 생성할 수 있다. 이미지 센서(110)는 일정한 촬상각도를 가지고 외부로부터 광을 수신하여 전기 신호로 변환하고, 컬러 필터를 통해 베이어 패턴(bayer pattern)을 가지는 로우 데이터를 생성할 수 있다. 여기서, 제1 로우 데이터는 베이어 데이터일 수 있다. 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor) 또는 CCD(Charge Coupled Device) 등의 이미지 센서를 포함할 수 있다. 여기서, CMOS 이미지 센서는 CIS라 한다.
차량 내부에 장착되어 차량 내부를 촬영하는 카메라 모듈의 경우, 차량 내부가 저조도 환경으로, 조도가 상당히 낮기 때문에, 조도를 높이기 위하여, 자연광뿐만 아니라 광원에서 방사되어 객체(200)에 반사되어 렌즈로 수신되는 반사광을 이용하여 이미지 센서(110)가 제1 로우 데이터를 출력할 수 있다. 여기서, 광원은 LED광원, 가시광 광원 등 다양한 종류의 파장을 방출하는 광원을 포함할 수 있다. 예를 들어, 적외선 LED 광원을 이용하여 촬영하고자 하는 방향으로 빛을 조사하고, 객체(200)로부터 반사되는 광으로 제1 로우 데이터를 생성할 수 있다. 이때, 적외선 LED 광원 등을 차량 탑승자에게 조사하는 경우, 눈에 영향을 미칠 수 있어, 눈보호(eye safety)에 대한 안전성이 해칠 수 있어, 조도를 높이기 위해 너무 강한 빛을 조사하는 것에 어려움이 있다.
차량 외부에 장착되어 차량 외부를 촬영하는 카메라 모듈의 경우, 밝은 주간에는 조도가 낮지 않으나, 날씨가 흐리거나, 야간에는 조도가 상당히 낮아 저조도 환경에서 촬상이 이루어지기 때문에, 조도를 높일 필요가 있다.
신경망(120)은 상기 제1 로우 데이터로부터 제2 로우 데이터를 출력한다. 신경망(120)은 제1 로우 데이터로부터 제1 비트 단위이고, 제2 조도를 가지는 제2 로우 데이터를 출력하도록 학습된 신경망을 포함하는 프로세서(processor)로, 학습된 신경망에 따라 제1 로우 데이터로부터 제2 로우 데이터를 생성할 수 있다. 신경망(120)은 제1 로우 데이터로부터 제2 로우 데이터를 생성하기 위한 파라미터 내지 가중치(weight)를 저장할 수 있다. 또는, 카메라 모듈 내부에 위치하거나 외부에 위치하는 저장부에 저장된 파리미터 내지 가중치를 독출 내지 수신하여 이용할 수 있다.
신경망(neural network)이란 뇌 속 뉴런의 망형 구조를 닮은 다층형 구조의 딥러닝 엔진으로, 여기에는 서로 연결된 처리 소자, 일명 '뉴런'을 포함하고, 이들이 서로 협력하여 출력 함수를 도출하는 네트워크이다. 신경망(120)은 계층형 신경망(Feed-Forward Neural Network, FNN), 순환 신경망(Recurrent Neural Network, RNN), 콘볼루션 신경망(Convolutional Neural Network, ConvNet 또는 CNN)을 포함할 수 있다. 콘볼루션 신경망을 포함하는 경우, FCN(Fully Convolutional Network), U-Net, MobileNet, RDN(Residual Dense Network), 및 RCAN(Residual Channel Attention Network) 중 적어도 하나의 모델을 포함할 수 있다. 이외에도 다양한 모델을 이용할 수 있음은 당연하다.
신경망(120)은 반복적인 트레이닝을 통해 제1 로우 데이터로부터 제2 로우 데이터를 출력하도록 학습될 수 있다. 도 4와 같이, 먼저, 입력 데이터와 GT(Ground Truth)를 이용하여 반복 학습(Training) 과정을 통해, 제1 로우 데이터로부터 제2 로우 데이터를 생성하는 파라미터(parameter) 내지 가중치(weight)를 도출하게 되고, 해당 파리미터가 적용된 딥러닝 엔진(Deep-Learning Engine)을 이용하여 제1 로우 데이터로부터 제2 로우 데이터를 생성하여 출력할 수 있다.
신경망(120)은 콘볼루션 신경망일 수 있고, 신경망(120)에 대한 트레이닝은 도 5와 같이 반복적인 트레이닝을 통해 수행될 수 있다. 입력 데이터(X) 및 입력 데이터(X)로부터 생성하고자 하는 학습목표인 GT(Ground Truth,Z)를 이용한다. 여기서, 입력 데이터(X)는 콘볼루션 신경망에 입력되고, GT(Z)는 콘볼루션 신경망에서 출력되는 출력 데이터(Y)를 비교하는 역할을 한다. GT(Ground Truth)는 트레이닝시 콘볼루션 신경망에서 생성할 수 있는 가장 이상적인 데이터를 의미한다. 콘볼루션 신경망은 출력 데이터(Y)가 GT(Z)에 가까워지도록 반복 트레이닝 된다.
트레이닝은 손실함수(Loss function) 및 최적화(optimizer)를 이용하여 수행될 수 있다.
입력 데이터(X)를 입력받아, 콘볼루션 신경망이 출력한 출력 데이터(Y)와 GT(Z)를 비교분석하여 손실함수 및 최적화를 이용하여 파리미터를 조정해가며 출력 데이터(Y)가 GT(Z)와 가까워지도록 반복 트레이닝한다. 입력 데이터(X)의 입력에 따라 출력되는 출력 데이터(Y)와 GT(Z)를 비교하고 분석하여 두 데이터 간 차이를 산출하고, 두 데이터 간 차이를 줄이는 방향으로 콘볼루션 필터의 파라미터에 피드백을 줄 수 있다. 이때, 두 데이터 간 차이는 손실 함수 중 하나인 평균 제곱 오차인 MSE(Mean Squared Error) 방식을 통해 산출될 수 있다. 이외에 CEE(Cross Entropy Error) 등 다양한 손실함수를 이용할 수 있다. 출력 데이터에 영향을 주는 파라미터를 분석한 후, 파리미터를 변경하거나 삭제 또는 새로운 파라미터를 생성하는 방식으로 피드백을 주어 GT(Z)와 실제 출력 데이터인 출력 데이터(Y)의 차이가 없도록 할 수 있다.
도 5에 도시된 바와 같이, 예를 들어, 콘볼루션 레이어가 총 3개이고(L1, L2, L3) 각각의 콘볼루션 레이어에 총 8개의 파라미터(P11, P12, P13, P21, P22, P31, P32)가 존재한다고 가정할 수 있다. 이러한 경우, P22 파라미터의 값을 증가시키는 방향으로 파라미터를 변경하였더니 출력 데이터(Y)와 GT(Z)의 차이가 증가한다면, 피드백은 P22 파라미터를 감소시키는 방향으로 학습된다. 이와 반대로, P33 파라미터의 값을 증가시키는 방향으로 파라미터를 변경하였더니 출력 데이터(Y)와 GT(Z)의 차이가 감소하였다면, 피드백은 P33 파라미터를 증가시키는 방향으로 학습된다.
딥 러닝 트레이닝은 출력 결과와 비교 대상이 존재하고, 비교 대상과의 비교를 통해 학습을 수행하는 경우뿐만 아니라, 보상치를 이용하여 트레이닝을 수행할 수도 있다. 이 경우, 먼저 주변 환경을 인지하고 현재 환경 상태를 딥 러닝 트레이닝을 수행하는 프로세서에 전달할 수 있다. 프로세서는 이에 맞는 행동(Action)을 수행하고 환경은 다시 그 행동에 따른 보상치를 프로세서에게 알려준다. 그리고 프로세서는 보상치를 최대로 하는 행동을 택하게 된다. 이러한 과정에 통해 학습을 반복적으로 진행함으로써 트레이닝을 수행할 수 있다. 이외에도 다양한 딥 러닝 트레이닝 방법을 이용하여 딥 러닝 트레이닝을 수행할 수 있다.
반복적인 학습을 통해 도출된 파리미터는 도 6과 같이, 각 콘볼루션 레이어의 파라미터로 적용되고,
신경망(120)은 적어도 하나의 축소 패스(Contracting path)와 확대 패스(Expanding path)를 포함할 수 있다. 여기서, 축소 패스는 콘볼루션(conv), ReLU, Pooling 중 어느 하나 이상을 포함하고, 확대 패스는 공간정보와 특징을 이용하거나, 고해상도 특징과의 접합(concatenation) 등을 통해 수행될 수 있다.
신경망(120)은 학습된 필터(filter)를 이용할 수 있다. 각 필터는 학습된 파라미터로 구성될 수 있다. 학습된 파라미터를 이용하여 콘볼루션을 수행할 수 있다. 신경망(120)은 각 콘볼루션 레이어에서 콘볼루션을 수행시, 노이즈 레벨에 따라 파라미터가 가변될 수도 있다. 예를 들어, 도 6와 같이 신경망(120)은 복수의 콘볼루션 레이어(141, 143)을 포함하고, 각 콘볼루션 레이어마다 학습된 필터를 이용할 수 있다. 여기서, 필터(142, 144)는 고정된 파리미터를 이용하는 고정 필터 또는 가변 파라미터를 이용하는 가변 필터를 포함할 수 있다.
신경망(120)은 제1 조도를 가지는 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력할 수 있다. 여기서, 상기 제2 조도는 상기 제1 조도보다 조도가 높을 수 있다. 즉, 저조도인 제1 조도를 가지는 제1 로우 데이터의 밝기가 개선되어 제2 조도를 가지며, 제1 비트 단위의 데이터인 제2 로우 데이터를 출력한다. 제1 로우 데이터 및 제2 로우 데이터는 동일한 데이터 형식의 이미지 데이터일 수 있다. 예를 들어, 제1 로우 데이터 및 제2 로우 데이터 모두 베이어 데이터일 수 있다. 즉, 데이터의 형식은 유지하되, 조도가 개선되고, 제1 비트 단위로 형성되는 제2 로우 데이터를 출력할 수 있다. 어두운 저조도 환경에서 촬상되어 이미지 센서(110)로부터 출력되는 제1 로우 데이터는 객체를 검출하거나 이미지를 분석하는데 충분한 밝기값을 가지고 있지 않기 때문에, 저조도를 개선하기 위한 처리가 필요하다. 이러한 저조도 개선을 위한 이미지 처리 과정이 차량의 ECU(Electronic Control Unit, 300)의 ISP(Image Signal Processor)가 처리하는 경우, 리소스가 많이 소모되는 문제가 있다. 하지만, 신경망(120)이 ECU가 아닌 카메라 모듈(100)에 위치하여, ECU(300)로 전송되기 전에 저조도 밝기 개선이 이루어지는바, 전처리 과정이 분산되어 ECU(300)의 리소스 부담을 줄일 수 있다.
앞서 설명한 바와 같이, 차량 내부에 장착되는 카메라 모듈(100)은 차량 내부의 저조도 환경에 의해 적외선 LED 등의 광원이 필요할 수 있고, 광원에 의해 모듈의 크기와 연결 선 등의 추가로 인해 복잡도와 비용이 높아진다. 하지만, 신경망(120)을 통해 조도를 개선할 수 있는바, 조도를 높이기 위해 많은 수의 광원을 이용하지 않고, 적은 수의 광원을 이용하여 저조도 환경에서도 카메라 모듈을 이용할 수 있다. 즉, 적은 수의 광원을 이용하여 조도가 낮더라도 신경망(120)을 통해 많은 수의 광원을 이용하는 것과 같은 조도로 높일 수 있다. 예를 들어, 필요로 하는 적외선 LED 광원의 개수 및 세기를 1/4 배로 감소시킴으로써 전력 소비량과 발열량을 줄일 수 있고, 적외선 LED 제어를 위한 전원케이블과 IC 개수도 함께 줄일 수 있기 때문에 차량 내부적인 복잡도와 비용을 줄일 수 있다.
저조도 밝기 개선 기술과 함께 ECU (ISP) 에서 처리하는 일부 영상처리 기능들을 카메라 모듈 내부 chip 에서 처리함으로써 ECU 리소스 부담을 줄이거나 상대적으로 낮은 퍼포먼스의 ECU 를 사용해도 고품질의 영상을 생성할 수 있다.
신경망(120)이 출력하는 제2 로우 데이터는 제1 비트 단위의 데이터일 수 있다. 여기서, 제1 비트 단위는 고정된 비트(bit) 수를 가지는 비트 단위일 수 있다. 제1 로우 데이터의 조도를 제1 조도에서 제2 조도로 변환함과 동시에 제1 비트 단위를 가지도록 제2 로우 데이터를 생성하여 출력할 수 있다. 예를 들어, 제1 로우 데이터는 20/24 비트 데이터이고, 상기 제2 로우 데이터는 12/16 비트 데이터일 수 있다. 제1 로우 데이터는 압축되지 않은 20/24 비트의 무압축 데이터일 수 있고, 제2 로우 데이터는 20/24 비트 에서 12/16 비트로 압축되는 압축 데이터일 수 있다. 이미지 센서(110)는 20/24 비트의 제1 로우 데이터를 출력하거나, 12/16 비트로 압축하여 12/16 비트의 제1 로우 데이터를 출력할 수 있다. 이미지 센서(110)가 제1 로우 데이터를 12/16 bit로 출력하는 경우에는 제1 로우 데이터로부터 압축없이 제2 로우 데이터도 동일한 12/16 bit 데이터로 출력될 수 있다.
신경망(120)에서 출력되는 제2 로우 데이터는 통신부(130)를 통해 외부의 ECU(300)로 전송될 수 있다. 여기서, 통신부(130)는 시리얼라이저(Serializer)를 포함할 수 있다. 시리얼라이저는 모듈간 데이터를 송수신함에 있어서, 병렬 데이터를 직렬 데이터로 변환한다. 시리얼라이저는 변환된 데이터를 전송하는 송신기 역할을 한다. ECU(300)는 시리얼라이저에 대응하여 디시리얼라이저(Deserializer)를 포함할 수 있다. 디시리얼라이저는 병렬 데이터를 직렬 데이터로 변환하는 시리얼라이저에 대응하여 수신한 직렬 데이터를 병렬 데이터로 변환한다. 디시리얼라이저는 데이터를 수신하는 수신기 역할을 한다.
통신부(130)는 ECU(300)와 저전압 차등 시그널링(LVDS)으로 통신을 수행할 수 있다. 여기서, LVDS 는 'Low Voltage Differential Signaling'의 약자로, 1995년에 ANSI/TIA/EIA-644로 표준 규격화된 serial interface를 위한 물리계층이다. 시리얼 데이터를 낮은 전압과 적은 전위차로 전송해 데이터 송수신 속도를 향상하고 노이즈에 강하게 하고 전력 소모를 적게 하기 위한 통신방법이다.
이때, 통신채널의 대역폭(bandwidth)의 제약에 따라 이미지 센서(110)로부터 출력되는 제1 로우 데이터의 비트 크기가 통신채널의 대역폭보다 큰 경우, 압축없이 전송하기 어렵다. 도 3과 같이, 모듈 내부에서는 MIPI CSI(Mobile Industry Processor Interface Camera Serial Interface)를 통해 데이터 전송이 이루어지고, 제어신호(control)는 I2C를 통해 송수신된다. 여기서, 이미지 센서(110)에서 20/24 비트의 제1 로우 데이터가 출력되는 경우, ECU(300)로 전송하기 위해선 12/16 비트로의 압축이 필요하기 때문에, 조도를 높임과 동시에 통신채널에 맞는 비트 단위로 제2 로우 데이터를 생성하여 출력할 수 있다. 이를 통해, 조도 개선과 압축을 별도의 과정으로 처리하지 않고 한번에 처리함으로써 압축을 위한 별도의 압축기 등이 필요하지 않는다.
신경망(120)은 도 7과 같이, 제1 로우 데이터로부터 제2 로우 데이터를 출력하도록 학습되되, 상기 신경망(120)의 트레이닝 세트는, 제1 조도환경 및 제1 노출시간에서 생성되는 로우 데이터인 입력 데이터, 및 상기 제1 조도환경 및 제2 노출시간에서 생성되어 제1 비트 단위로 압축되는 로우 데이터인 GT(Ground Truth) 데이터를 포함하고, 여기서, 상기 제2 노출시간은 상기 제1 노출시간보다 길 수 있다. 노출시간을 다르게 하여 제1 조도환경에서 제1 조도를 가지는 입력 데이터와 제2 조도를 가지는 GT를 생성할 수 있다. 또한, GT는 제1 비트 단위를 가지도록 압축할 수 있다. 이를 통해, 통신채널의 대역폭에 맞는 비트 단위를 가지고 조도가 개선되는 제2 로우 데이터를 출력하도록 학습될 수 있다.
이와 같이, 로우 데이터의 조도(luminous intensity)를 높이고, 제1 비트 단위를 가지도록 학습된 신경망은 도 8과 같이, 밝기가 개선함과 동시에, 조도를 나타내는 정보의 세부단위를 줄일 수 있다. 도 8과 같이, 영상의 밝기가 밝아지는 것을 알 수 있고, 조도에 따른 값의 세부단위의 크기가 커지고, 어두움(Dark)부터 밝음(Bright)까지의 세부단위 크기 또한 커지는 것을 확인할 수 있다.
상기와 같이, 조도를 개선함으로써 이미지 센서(110)로부터 출력된 이미지 데이터의 밝기를 4배 이상 개선하여 적외선 LED 개수 및 세기를 ¼배로 감소시킴으로써 전력 소비량과 발열량을 줄일 수 있고, 적외선 LED 제어를 위한 전원케이블과 IC 개수도 함께 줄기 때문에 차량 내부적인 복잡도와 비용을 줄일 수 있다. 이를 통해 적외선 LED 개수를 줄이게 되면 eye safety 에 대한 안전성을 더욱 확보할 수 있다. 나아가, 저조도 밝기 개선 기술과 함께 ECU(300) 에서 처리하는 일부 영상처리 기능들을 카메라 모듈 내부 칩에서 처리함으로써 ECU(300)에서 처리하는 것 대비 실시간성 확보에 용이하고, ECU(300) 리소스 부담을 줄이거나 상대적으로 낮은 성능의 ECU를 사용해도 고품질의 영상을 생성할 수 있다.
도 9 및 도 10은 본 발명의 다른 실시예에 따른 카메라 모듈의 블록도이고, 도 11 내지 도 13은 본 발명의 다른 실시예에 따른 카메라 모듈을 설명하기 위한 도면이다. 도 9 내지 도 13을 참조하여 설명하는 본 발명의 실시예에 따른 카메라 모듈에 대한 상세한 설명은 도 1 내지 도 8의 카메라 모듈에 대한 상세한 설명에 대응되는바, 이하 중복되는 설명은 간략히 설명하도록 한다.
본 발명의 실시예에 따른 카메라 모듈(900)은 이미지 센서(910), 신경망(neural network, 920), 압축부(940)로 구성되고, AP(Application processor)와 통신하는 통신부(930), 광원(미도시), 저장부(미도시)를 포함할 수 있다. 본 발명의 실시예에 따른 카메라 모듈(900)은 차량용 카메라 모듈일 수 있다. 차량 내부 또는 외부에 장착되는 카메라 모듈로, 차량의 AP인 ECU(300)와 별도의 모듈로 구성될 수 있다. 차량용 카메라 모듈로 한정되지 아니하고, 다른 종류의 카메라 모듈일 수 있음은 당연하다.
이미지 센서(910)는 제1 조도를 가지는 제1 로우 데이터를 출력한다. 이미지 센서(910)는 렌즈를 통해 수신되는 광으로부터 로우(raw) 데이터를 생성한다. 객체(200)로부터 반사되는 빛 또는 외부로부터 입사되는 빛을 수신하여 이미지 데이터를 생성할 수 있다. 여기서, 제1 로우 데이터는 베이어 데이터일 수 있다. 이미지 센서(910)는 CMOS(Complementary Metal Oxide Semiconductor) 또는 CCD(Charge Coupled Device) 등의 이미지 센서를 포함할 수 있다.
차량 내부에 장착되어 차량 내부를 촬영하는 카메라 모듈의 경우, 차량 내부가 저조도 환경으로, 조도가 상당히 낮기 때문에, 조도를 높이기 위하여, 자연광뿐만 아니라 광원에서 방사되어 객체(200)에 반사되어 렌즈로 수신되는 반사광을 이용하여 이미지 센서(910)가 제1 로우 데이터를 출력할 수 있다. 여기서, 광원은 LED광원, 가시광 광원 등 다양한 종류의 파장을 방출하는 광원을 포함할 수 있다. 예를 들어, 적외선 LED 광원을 이용하여 촬영하고자 하는 방향으로 빛을 조사하고, 객체(200)로부터 반사되는 광으로 제1 로우 데이터를 생성할 수 있다.
신경망(920)은 상기 제1 로우 데이터로부터 제2 로우 데이터를 출력한다. 신경망(920)은 제1 로우 데이터로부터 제2 조도를 가지는 제2 로우 데이터를 출력하도록 학습된 신경망을 포함하는 프로세서(processor)로, 학습된 신경망에 따라 제1 로우 데이터로부터 제2 로우 데이터를 생성할 수 있다. 신경망(920)은 제1 로우 데이터로부터 제2 로우 데이터를 생성하기 위한 파라미터 내지 가중치(weight)를 저장할 수 있다. 또는, 카메라 모듈 내부에 위치하거나 외부에 위치하는 저장부에 저장된 파리미터 내지 가중치를 독출 내지 수신하여 이용할 수 있다.
신경망(920)은 계층형 신경망(Feed-Forward Neural Network, FNN), 순환 신경망(Recurrent Neural Network, RNN), 콘볼루션 신경망(Convolutional Neural Network, ConvNet 또는 CNN)을 포함할 수 있다. 콘볼루션 신경망을 포함하는 경우, FCN(Fully Convolutional Network), U-Net, MobileNet, RDN(Residual Dense Network), 및 RCAN(Residual Channel Attention Network) 중 적어도 하나의 모델을 포함할 수 있다. 이외에도 다양한 모델을 이용할 수 있음은 당연하다.
신경망(920)은 반복적인 트레이닝을 통해 제1 로우 데이터로부터 제2 로우 데이터를 출력하도록 학습될 수 있다. 입력 데이터와 GT(Ground Truth)를 이용하여 반복 학습(Training) 과정을 통해, 제1 로우 데이터로부터 제2 로우 데이터를 생성하는 파라미터(parameter) 내지 가중치(weight)를 도출하게 되고, 해당 파리미터가 적용된 딥러닝 엔진(Deep-Learning Engine)을 이용하여 제1 로우 데이터로부터 제2 로우 데이터를 생성하여 출력할 수 있다.
신경망(920)은 콘볼루션 신경망일 수 있고, 신경망(120)에 대한 트레이닝은 도 5와 같이 반복적인 트레이닝을 통해 수행될 수 있다. 입력 데이터(X)를 입력받아, 콘볼루션 신경망이 출력한 출력 데이터(Y)와 GT(Z)를 비교분석하여 손실함수 및 최적화를 이용하여 파리미터를 조정해가며 출력 데이터(Y)가 GT(Z)와 가까워지도록 반복 트레이닝할 수 있다.
신경망(920)은 적어도 하나의 축소 패스(Contracting path)와 확대 패스(Expanding path)를 포함할 수 있고, 학습된 필터(filter)를 이용할 수 있다. 각 필터는 학습된 파라미터로 구성될 수 있다. 학습된 파라미터를 이용하여 콘볼루션을 수행할 수 있다. 신경망(920)은 각 콘볼루션 레이어에서 콘볼루션을 수행시, 노이즈 레벨에 따라 파라미터가 가변될 수도 있다.
신경망(920)은 제1 조도를 가지는 제1 로우 데이터로부터 제2 조도를 가지는 제2 로우 데이터를 출력할 수 있다. 여기서, 상기 제2 조도는 상기 제1 조도보다 조도가 높을 수 있다. 즉, 저조도인 제1 조도를 가지는 제1 로우 데이터의 밝기가 개선되어 제2 조도를 가지는 제2 로우 데이터를 출력한다. 제1 로우 데이터 및 제2 로우 데이터는 동일한 데이터 형식의 이미지 데이터일 수 있다. 예를 들어, 제1 로우 데이터 및 제2 로우 데이터 모두 베이어 데이터일 수 있다. 즉, 데이터의 형식은 유지하되, 조도가 개선되는 제2 로우 데이터를 출력할 수 있다. 어두운 저조도 환경에서 촬상되어 이미지 센서(910)로부터 출력되는 제1 로우 데이터는 객체를 검출하거나 이미지를 분석하는데 충분한 밝기값을 가지고 있지 않기 때문에, 저조도를 개선하기 위한 처리가 필요하다. 이러한 저조도 개선을 위한 이미지 처리 과정이 차량의 ECU(Electronic Control Unit, 300)의 ISP(Image Signal Processor)가 처리하는 경우, 리소스가 많이 소모되는 문제가 있다. 하지만, 신경망(920)이 ECU가 아닌 카메라 모듈(900)에 위치하여, ECU(300)로 전송되기 전에 저조도 밝기 개선이 이루어지는바, 전처리 과정이 분산되어 ECU(300)의 리소스 부담을 줄일 수 있다.
앞서 설명한 바와 같이, 차량 내부에 장착되는 카메라 모듈(900)은 차량 내부의 저조도 환경에 의해 적외선 LED 등의 광원이 필요할 수 있고, 광원에 의해 모듈의 크기와 연결 선 등의 추가로 인해 복잡도와 비용이 높아진다. 하지만, 신경망(920)을 통해 조도를 개선할 수 있는바, 조도를 높이기 위해 많은 수의 광원을 이용하지 않고, 적은 수의 광원을 이용하여 저조도 환경에서도 카메라 모듈을 이용할 수 있다. 즉, 적은 수의 광원을 이용하여 조도가 낮더라도 신경망(920)을 통해 많은 수의 광원을 이용하는 것과 같은 조도로 높일 수 있다. 예를 들어, 필요로 하는 적외선 LED 광원의 개수 및 세기를 1/4 배로 감소시킴으로써 전력 소비량과 발열량을 줄일 수 있고, 적외선 LED 제어를 위한 전원케이블과 IC 개수도 함께 줄일 수 있기 때문에 차량 내부적인 복잡도와 비용을 줄일 수 있다.
저조도 밝기 개선 기술과 함께 ECU (ISP) 에서 처리하는 일부 영상처리 기능들을 카메라 모듈 내부 chip 에서 처리함으로써 ECU 리소스 부담을 줄이거나 상대적으로 낮은 퍼포먼스의 ECU 를 사용해도 고품질의 영상을 생성할 수 있다.
압축부(940)는 제2 로우 데이터를 제1 비트 단위로 압축한다. 신경망(120)이 출력하는 제2 로우 데이터를 제1 비트 단위의 데이터로 압축할 수 있다. 여기서, 제1 비트 단위는 고정된 비트(bit) 수를 가지는 비트 단위일 수 있다. 신경망(920)이 제1 로우 데이터의 조도를 제1 조도에서 제2 조도로 변환한 이후, 압축부(940)가 제2 로우 데이터가 제1 비트 단위를 가지도록 제2 로우 데이터를 압축할 수 있다. 예를 들어, 제2 로우 데이터는 20/24 비트 데이터이고, 압축부(940)는 상기 제2 로우 데이터를 12/16 비트 데이터로 압축할 수 있다.
압축부(940)에서 압축되는 제2 로우 데이터는 통신부(940)를 통해 외부의 ECU(300)로 전송될 수 있다. 여기서, 통신부(940)는 시리얼라이저(Serializer)를 포함할 수 있다. ECU(300)는 시리얼라이저에 대응하여 디시리얼라이저(Deserializer)를 포함할 수 있다.
통신부(940)는 ECU(300)와 저전압 차등 시그널링(LVDS)으로 통신을 수행할 수 있다. 이때, 통신채널의 대역폭(bandwidth)의 제약에 따라 신경망(920)으로부터 출력되는 제2 로우 데이터의 비트 크기가 통신채널의 대역폭보다 큰 경우, 압축없이 전송하기 어렵다. 즉, 도 11과 같이, 신경망(920)에서 20/24 비트의 제2 로우 데이터가 출력되는 경우, ECU(300)로 전송하기 위해선 12/16 비트로의 압축이 필요하기 때문에, 통신채널에 맞는 비트 단위로 제2 로우 데이터를 압축할 수 있다. 이를 통해, 조도 개선 후 압축을 통해 통신이 원활이 이루어지도록 할 수 있다.
신경망(920)은 도 12와 같이, 제1 로우 데이터로부터 제2 로우 데이터를 출력하도록 학습되되, 상기 신경망(920)의 트레이닝 세트는, 제1 조도환경 및 제1 노출시간에서 생성되는 로우 데이터인 입력 데이터, 및 상기 제1 조도환경 및 제2 노출시간에서 생성되는 로우 데이터인 GT(Ground Truth) 데이터를 포함하고, 여기서, 상기 제2 노출시간은 상기 제1 노출시간보다 길 수 있다. 노출시간을 다르게 하여 제1 조도환경에서 제1 조도를 가지는 입력 데이터와 제2 조도를 가지는 GT를 생성할 수 있다. 이를 통해, 조도가 개선되는 제2 로우 데이터를 출력하도록 학습될 수 있다.
이와 같이, 로우 데이터의 조도(luminous intensity)를 개선하도록 학습된 신경망은 도 13과 같이, 밝기를 개선할 수 있다. 도 13과 같이, 신경망(920)을 통해 영상의 밝기가 개선된 이후, 압축부(930)에서의 압축을 통해 조도에 따른 값의 세부단위의 크기가 커지고, 어두움(Dark)부터 밝음(Bright)까지의 세부단위 크기 또한 커지는 것을 확인할 수 있다.
상기와 같이, 조도를 개선함으로써 이미지 센서(110)로부터 출력된 이미지 데이터의 밝기를 4배 이상 개선하여 적외선 LED 개수 및 세기를 1/4배로 감소시킴으로써 전력 소비량과 발열량을 줄일 수 있고, 적외선 LED 제어를 위한 전원케이블과 IC 개수도 함께 줄기 때문에 차량 내부적인 복잡도와 비용을 줄일 수 있다. 이를 통해 적외선 LED 개수를 줄이게 되면 eye safety 에 대한 안전성을 더욱 확보할 수 있다. 나아가, 저조도 밝기 개선 기술과 함께 ECU(300) 에서 처리하는 일부 영상처리 기능들을 카메라 모듈 내부 칩에서 처리함으로써 ECU(300)에서 처리하는 것 대비 실시간성 확보에 용이하고, ECU(300) 리소스 부담을 줄이거나 상대적으로 낮은 성능의 ECU를 사용해도 고품질의 영상을 생성할 수 있다.
본 발명의 실시예에 따른 이미지 센서는 제1 조도를 가지는 제1 로우 데이터를 생성하는 로우 데이터 생성부 및 상기 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력하는 신경망(neural network)을 포함할 수 있다. 여기서, 제1 로우 데이터를 생성하고, 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력하는 신경망(neural network)은 이미지 센서 내부에 형성될 수 있다. 여기서, 신경망은 이미지 센서 내부에 칩 형태로 형성되고, 이에 대한 상세한 설명은 도 1 내지 도 13을 참조하여 설명한 신경망에 대한 상세한 설명에 대응되는바, 중복되는 설명은 생략하도록 한다.
도 14는 본 발명의 일 실시예에 따른 이미지 데이터 처리 방법의 흐름도이고, 도 15는 본 발명의 실시예에 따른 이미지 데이터 처리 방법의 흐름도이다. 도 14 및 도 15의 각 단계에 대한 상세한 설명은 도 1 내지 도 8의 카메라 모듈에 대한 상세한 설명에 대응하는바, 이하 중복되는 설명은 생략하도록 한다.
S11 단계에서 광을 수신하여 제1 조도를 가지는 제1 로우 데이터를 출력되면, S12 단계에서 신경망(neural network)을 이용하여 상기 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력한다. 여기서, 상기 신경망은 제1 조도를 가지는 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력하도록 학습된다. 상기 신경망의 트레이닝 세트는, 제1 조도환경 및 제1 노출시간에서 생성되는 로우 데이터인 입력 데이터, 및 상기 제1 조도환경 및 제2 노출시간에서 생성되어 제1 비트 단위로 압축되는 로우 데이터인 GT(Ground Truth) 데이터를 포함하고, 상기 제2 노출시간은 상기 제1 노출시간보다 길 수 있다.
제2 로우 데이터가 출력된 이후, S21 단계에서 상기 제2 로우 데이터를 외부의 ECU 모듈로 전송할 수 있다. 여기서, 상기 제1 비트 단위는 상기 제2 로우 데이터를 외부로 전송하는 통신채널의 대역폭에 따라 설정될 수 있다.
도 16은 본 발명의 다른 실시예에 따른 이미지 데이터 처리 방법의 흐름도이다. 도 16의 각 단계에 대한 상세한 설명은 도 9 내지 도 13의 카메라 모듈에 대한 상세한 설명에 대응하는바, 이하 중복되는 설명은 생략하도록 한다.
S31 단계에서 광을 수신하여 제1 조도를 가지는 제1 로우 데이터를 출력하면, S32 단계에서 신경망(neural network)을 이용하여 상기 제1 로우 데이터로부터 제2 조도를 가지는 제2 로우 데이터를 출력하고, S33 단계에서 상기 제2 로우 데이터를 제1 비트 단위로 압축한다. 여기서, 상기 신경망은 제1 조도를 가지는 제1 로우 데이터로부터 제2 조도를 가지는 제2 로우 데이터를 출력하도록 학습된다. 상기 신경망의 트레이닝 세트는, 제1 조도환경 및 제1 노출시간에서 생성되는 로우 데이터인 입력 데이터, 및 상기 제1 조도환경 및 제2 노출시간에서 생성되는 로우 데이터인 GT(Ground Truth) 데이터를 포함하고, 상기 제2 노출시간은 상기 제1 노출시간보다 길 수 있다. 제2 로우 데이터는 외부의 ECU 모듈로 전송될 수 있다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (16)

  1. 제1 조도를 가지는 제1 로우 데이터를 출력하는 이미지 센서; 및
    상기 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력하는 신경망(neural network)을 포함하는 카메라 모듈.
  2. 제1항에 있어서,
    상기 제2 조도는 상기 제1 조도보다 조도가 높은 카메라 모듈.
  3. 제1항에 있어서,
    상기 제2 로우 데이터를 외부의 ECU 모듈로 전송하는 통신부를 포함하는 카메라 모듈.
  4. 제3항에 있어서,
    상기 제1 비트 단위는 상기 통신부의 통신채널의 대역폭에 따라 설정되는 카메라 모듈.
  5. 제3항에 있어서,
    상기 통신부는 시리얼라이저(Serializer)를 포함하는 카메라 모듈.
  6. 제1항에 있어서,
    상기 신경망은,
    제1 조도를 가지는 제1 로우 데이터로부터 제2 조도를 가지는 제2 로우 데이터를 출력하도록 학습되고,
    상기 신경망의 트레이닝 세트는,
    제1 조도환경 및 제1 노출시간에서 생성되는 로우 데이터인 입력 데이터, 및 상기 제1 조도환경 및 제2 노출시간에서 생성되어 제1 비트 단위로 압축되는 로우 데이터인 GT(Ground Truth) 데이터를 포함하고,
    상기 제2 노출시간은 상기 제1 노출시간보다 긴 카메라 모듈.
  7. 제1항에 있어서,
    상기 제1 로우 데이터는 12/16 비트 또는 20/24 비트 데이터이고, 상기 제2 로우 데이터는 12/16 비트 데이터인 카메라 모듈.
  8. 제1 조도를 가지는 제1 로우 데이터를 출력하는 이미지 센서;
    상기 제1 로우 데이터로부터 제2 조도를 가지는 제2 로우 데이터를 출력하는 신경망(neural network); 및
    상기 제2 로우 데이터를 제1 비트 단위로 압축하는 압축부를 포함하는 카메라 모듈.
  9. 제8항에 있어서,
    상기 신경망은,
    제1 조도를 가지는 제1 로우 데이터로부터 제2 조도를 가지는 제2 로우 데이터를 출력하도록 학습되고,
    상기 신경망의 트레이닝 세트는,
    제1 조도환경 및 제1 노출시간에서 생성되는 로우 데이터인 입력 데이터, 및 상기 제1 조도환경 및 제2 노출시간에서 생성되는 로우 데이터인 GT(Ground Truth) 데이터를 포함하고,
    상기 제2 노출시간은 상기 제1 노출시간보다 긴 카메라 모듈.
  10. 제8항에 있어서,
    상기 제2 로우 데이터를 외부의 ECU 모듈로 전송하는 시리얼라이저(Serializer)를 포함하는 카메라 모듈.
  11. 제10항에 있어서,
    상기 제1 비트 단위는 상기 시리얼라이저의 통신채널의 대역폭에 따라 설정되는 카메라 모듈.
  12. 광을 수신하여 제1 조도를 가지는 제1 로우 데이터를 출력하는 단계; 및
    신경망(neural network)을 이용하여 상기 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력하는 단계를 포함하고,
    상기 신경망은 제1 조도를 가지는 제1 로우 데이터로부터 제2 조도를 가지고 제1 비트 단위인 제2 로우 데이터를 출력하도록 학습된 이미지 데이터 처리 방법.
  13. 제12항에 있어서,
    상기 제2 로우 데이터를 외부의 ECU 모듈로 전송하는 단계를 포함하고,
    상기 제1 비트 단위는 상기 제2 로우 데이터를 외부로 전송하는 통신채널의 대역폭에 따라 설정되는 이미지 데이터 처리 방법.
  14. 제12항에 있어서,
    상기 신경망의 트레이닝 세트는,
    제1 조도환경 및 제1 노출시간에서 생성되는 로우 데이터인 입력 데이터, 및 상기 제1 조도환경 및 제2 노출시간에서 생성되어 제1 비트 단위로 압축되는 로우 데이터인 GT(Ground Truth) 데이터를 포함하고,
    상기 제2 노출시간은 상기 제1 노출시간보다 긴 이미지 데이터 처리 방법.
  15. 광을 수신하여 제1 조도를 가지는 제1 로우 데이터를 출력하는 단계;
    신경망(neural network)을 이용하여 상기 제1 로우 데이터로부터 제2 조도를 가지는 제2 로우 데이터를 출력하는 단계; 및
    상기 제2 로우 데이터를 제1 비트 단위로 압축하는 단계를 포함하고,
    상기 신경망은 제1 조도를 가지는 제1 로우 데이터로부터 제2 조도를 가지는 제2 로우 데이터를 출력하도록 학습된 이미지 데이터 처리 방법.
  16. 제15항에 있어서,
    상기 신경망의 트레이닝 세트는,
    제1 조도환경 및 제1 노출시간에서 생성되는 로우 데이터인 입력 데이터, 및 상기 제1 조도환경 및 제2 노출시간에서 생성되는 로우 데이터인 GT(Ground Truth) 데이터를 포함하고,
    상기 제2 노출시간은 상기 제1 노출시간보다 긴 이미지 데이터 처리 방법.
KR1020220079309A 2022-06-28 2022-06-28 카메라 모듈 KR20240002093A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220079309A KR20240002093A (ko) 2022-06-28 2022-06-28 카메라 모듈

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220079309A KR20240002093A (ko) 2022-06-28 2022-06-28 카메라 모듈

Publications (1)

Publication Number Publication Date
KR20240002093A true KR20240002093A (ko) 2024-01-04

Family

ID=89542732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220079309A KR20240002093A (ko) 2022-06-28 2022-06-28 카메라 모듈

Country Status (1)

Country Link
KR (1) KR20240002093A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102284128B1 (ko) 2020-03-23 2021-07-30 삼성전기주식회사 차량용 카메라

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102284128B1 (ko) 2020-03-23 2021-07-30 삼성전기주식회사 차량용 카메라

Similar Documents

Publication Publication Date Title
JP7311423B2 (ja) 固体撮像素子
CN113542529B (zh) 用于dms和oms的940nm led闪光同步
JP7151234B2 (ja) カメラシステムおよびイベント記録システム
US20210218913A1 (en) Dynamic Vision Sensor
CN113538401B (zh) 一种复杂场景下结合跨模态信息的人群计数方法及系统
CN111028187B (zh) 一种光线自适应的机载双光图像侦察装置及方法
Jurado-Verdu et al. Convolutional autoencoder for exposure effects equalization and noise mitigation in optical camera communication
CN113281738A (zh) 一种多传感器融合的目标检测系统及检测方法
CN116309116A (zh) 一种基于raw图像的低弱光图像增强方法与装置
KR20240002093A (ko) 카메라 모듈
CN104917938A (zh) 用于移动通信设备的深度摄像装置
KR20220156905A (ko) 이미지 데이터에 대한 분석을 수행하기 위한 방법 및 장치
CN115214497A (zh) 具有驾驶员行为识别功能的车顶控制系统
CN113724162B (zh) 一种零补光实时全彩夜视成像方法及系统
CN115334250A (zh) 一种图像处理方法、装置及电子设备
US20160373710A1 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
CN112017128B (zh) 一种图像自适应去雾方法
CN112019808A (zh) 一种基于MPSoC的车载实时视频信息智能识别装置
Latinović et al. Implementation challenge and analysis of thermal image degradation on R-CNN face detection
KR101522720B1 (ko) 가시광 통신 시스템 및 그 방법
KR102633937B1 (ko) 전자 장치 및 이를 이용한 오브젝트와 관련된 속성정보 획득 방법
CN117319591B (zh) 一种视频传输方法、装置、计算机可读存储介质及设备
WO2023149174A1 (ja) 情報処理装置、情報処理方法及びプログラム
EP4084464A1 (en) Image processing for on-chip inference
KR102486110B1 (ko) 조도변화에 적응하는 초저조도 카메라