KR20230076658A - 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 장치 및 그 방법 - Google Patents

복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20230076658A
KR20230076658A KR1020210163792A KR20210163792A KR20230076658A KR 20230076658 A KR20230076658 A KR 20230076658A KR 1020210163792 A KR1020210163792 A KR 1020210163792A KR 20210163792 A KR20210163792 A KR 20210163792A KR 20230076658 A KR20230076658 A KR 20230076658A
Authority
KR
South Korea
Prior art keywords
image
sensor
correction
color temperature
images
Prior art date
Application number
KR1020210163792A
Other languages
English (en)
Other versions
KR102584573B1 (ko
Inventor
박준영
김지혜
Original Assignee
주식회사 유엑스팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유엑스팩토리 filed Critical 주식회사 유엑스팩토리
Priority to KR1020210163792A priority Critical patent/KR102584573B1/ko
Publication of KR20230076658A publication Critical patent/KR20230076658A/ko
Application granted granted Critical
Publication of KR102584573B1 publication Critical patent/KR102584573B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 통합 영상 처리 장치는 이미지 센서, ToF 센서, 및 열 감지 센서를 포함하는 복합 센서들 각각으로부터, 대응된 감지신호를 입력으로 받는 입력부; 미리 설정된 인공신경망(ANN) 알고리즘에 의거하여 상기 이미지 센서를 통해 감지된 이미지를 보정한 후, 상기 보정된 이미지, 상기 ToF 센서에서 출력되는 3차원 거리 정보, 및 상기 열 감지 센서에서 출력되는 저해상도 열화상 이미지를 결합하여 출력하는 다중 영상신호 처리부; 및 사전에 생성된 적어도 하나의 클래스별 데이터 셋을 학습하여 기준 데이터를 생성한 후 미리 저장하고, 상기 기준 데이터 및 미리 설정된 인공지능 알고리즘에 의거하여, 상기 다중 영상신호 처리부에서 생성된 이미지를 인식하는 AI 가속기를 포함함으로써, 인공신경망(ANN, Artificial Neural Network) 기반의 영상 인식 기술을 적용하되, 엣지단에서 처리하도록 함으로써, 서버와의 통신을 위한 전력 소모를 줄이고, 신속하게 영상을 처리하되, 사람의 눈으로 인식하는 수준과 비슷한 수준으로 이미지를 처리하여 출력할 수 있는 장점이 있다.

Description

복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 장치 및 그 방법{INTEGRATED IMAGE PROCESSING APPARATUS AND METHOD FOR IMPROVING IMAGE QUALITY USING COMPLEX SENSOR INFORMATION}
본 발명은 영상 처리 기술에 관한 것으로서, 보다 상세하게는, 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 장치 및 그 방법에 관한 것이다.
복합 신호를 기반으로 한 영상 처리 기술은 스마트폰을 비롯한 다양한 전자기기/제품, 그리고 미래 자율주행 자동차, 로봇, 드론, HMD 등 다수의 센서가 필요한 시스템에 핵심부품으로서 사용될 수 있다.
이러한 종래 기술의 예로서, 한국 공개특허 제 10-2018-0128168 호에는, 듀얼 이미지 센서 시스템을 지원하는 전자장치의 이미지 처리 방법에 있어서, 상기 전자장치에 배치되는 제1 센서와 제2 센서를 통해 데이터를 감지하는 단계; 상기 제1 센서를 통해 감지된 데이터와 상기 제2 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 단계를 포함하고, 상기 제1 센서와 상기 제2 센서는 컬러 센서이며, 상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량보다 큰 것을 특징으로 하는 전자장치의 이미지 처리 방법이 개시되어 있다.
상기 특허에 의하면, 이미지 센서를 통해 취득되는 광량이 종래의 RGB 센서에 비해 증가함으로써, 저조도 환경에서 이미지의 SN 특성이 좋아지고, 두 개의 컬러 이미지 센서를 통해 이미지를 취득함으로써, 이미지 depth 정보의 정밀성을 향상시킬 수 있는 특징이 있다.
하지만, 상기와 같은 종래의 기술은 역광 보정, 및 색 온도 보정 등의 영상 처리에 있어서, 정밀도가 떨어짐으로써, 실제 눈으로 보는 것과 같은 결과를 얻기 어려운 문제가 있다. 또한, 상기의 종래 기술은 복수의 이미지 센서만을 이용함으로써, 입체화된 이미지를 처리하는 데에 한계가 있다.
따라서 최근에는 듀얼/트리플 이미징 센서, Depth 센서 등 다양한 복합 센서를 탑재하는 제품 개발이 선도 그룹들을 중심으로 적극적으로 추진되고 있다(예컨대, 애플사의 아이폰 등).
그런데, 이러한 최근의 기술들은 센서별 처리 엔진(Processing Engine)이 별도로 탑재되고, 기능적으로도 서로 융합되지 않으므로, 전력 및 면적면에서 비효율적이다. 이로 인해, 상기와 같은 최근의 기술 또한, 복합 신호 센서들의 데이터 접근 지연 없이 대용량의 데이터를 처리할 수 없음으로써, 실시간 서비스를 지원할 수 없는 문제가 있다.
한국 공개특허 제 10-2018-0128168 호
따라서 본 발명은 복합 센서의 신호들을 하나의 프로세서에서 통합 처리함으로써, 전력 및 면적을 효율적으로 활용하고, 이로 인해, 처리 속도를 향상시킴으로써, 데이터 접근 지연 없이 대용량의 데이터를 실시간으로 처리할 수 있는 통합 영상 처리 장치 및 그 방법을 제공하고자 한다.
또한, 본 발명은 복합 센서 정보를 이용함으로써, 극 저조도, 연기, 안개, 혹은 화재로 인한 고열 등 다양한 환경에서 단독 이미지 센서에 의존하는 시스템의 한계를 극복할 수 있고, 이로 인해, 공장 등 실내 근로자, 화재 현장의 소방관, 작전 중인 군인 등 다양한 응용 분야에서 감지 정보 보조 수단으로 활용할 수 있어서, 활용 분야를 확장시킬 수 있는 통합 영상 처리 장치 및 그 방법을 제공하고자 한다.
또한, 본 발명은 인공신경망(ANN, Artificial Neural Network) 기반의 영상 인식 기술을 적용하되, 사전에 생성된 클래스별 데이터 셋을 이용하여 학습된 데이터를 엣지단에 구현하고, 상기 학습된 데이터를 이용하여 엣지단에서 영상을 처리함으로써, 서버와의 통신을 위한 전력 소모를 줄이고, 신속하게 영상을 처리하되, 사람의 눈으로 인식하는 수준과 비슷한 수준으로 이미지를 처리하여 출력할 수 있는 통합 영상 처리 방치 및 그 방법을 제공하고자 한다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 통합 영상 처리 장치는 이미지 센서, ToF 센서, 및 열 감지 센서를 포함하는 복합 센서들 각각으로부터, 대응된 감지신호를 입력으로 받는 입력부; 미리 설정된 인공신경망(ANN) 알고리즘에 의거하여 상기 이미지 센서를 통해 감지된 이미지를 보정한 후, 상기 보정된 이미지, 상기 ToF 센서에서 출력되는 3차원 거리 정보, 및 상기 열 감지 센서에서 출력되는 저해상도 열화상 이미지를 결합하여 출력하는 다중 영상신호 처리부; 및 사전에 생성된 적어도 하나의 클래스별 데이터 셋을 학습하여 기준 데이터를 생성한 후 미리 저장하고, 상기 기준 데이터 및 미리 설정된 인공지능 알고리즘에 의거하여, 상기 다중 영상신호 처리부에서 생성된 이미지를 인식하는 AI 가속기를 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 통합 영상 처리 방법은 이미지 센서, ToF 센서, 및 열 감지 센서를 포함하는 복합 센서를 구비한 통합 영상 처리 장치가 상기 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 방법에 있어서, 사전에 생성된 적어도 하나의 클래스별 데이터셋을 학습하여 이미지 감지를 위한 기준 데이터를 생성하여 저장하는 학습단계; 상기 이미지 센서, ToF 센서, 및 열 감지 센서를 포함하는 복합 센서들 각각으로부터, 대응된 감지신호를 입력으로 받는 입력단계; 미리 설정된 인공신경망(ANN) 알고리즘에 의거하여 상기 이미지 센서를 통해 감지된 이미지를 보정하는 보정단계; 상기 보정된 이미지, 상기 ToF 센서에서 출력되는 3차원 거리 정보, 및 상기 열 감지 센서에서 출력되는 저해상도 열화상 이미지를 결합하는 결합단계; 및 상기 기준 데이터 및 상기 결합된 이미지를 미리 설정된 인공지능 알고리즘에 적용하여, 이미지를 인식하는 인식단계를 포함하는 것을 특징으로 한다.
상기한 바와 같은 본 발명의 통합 영상 처리 장치 및 그 방법은 복합 센서의 신호들을 하나의 프로세서에서 통합 처리함으로써, 전력 및 면적을 효율적으로 활용하고, 이로 인해, 처리 속도를 향상시킴으로써, 데이터 접근 지연 없이 대용량의 데이터를 실시간으로 처리할 수 있는 효과가 있다.
또한, 본 발명의 통합 영상 처리 장치 및 그 방법은 복합 센서 정보를 이용함으로써, 극 저조도, 연기, 안개, 혹은 화재로 인한 고열 등 다양한 환경에서 단독 이미지 센서에 의존하는 시스템의 한계를 극복할 수 있고, 이로 인해, 공장 등 실내 근로자, 화재 현장의 소방관, 작전 중인 군인 등 다양한 응용 분야에서 감지 정보 보조 수단으로 활용함으로써, 활용 분야를 확장시킬 수 있는 효과가 있다.
또한, 본 발명의 통합 영상 처리 장치 및 그 방법은 인공신경망(ANN, Artificial Neural Network) 기반의 영상 인식 기술을 적용하되, 사전에 생성된 클래스별 데이터 셋을 이용하여 학습된 데이터를 엣지단에 구현하고, 상기 학습된 데이터를 이용하여 엣지단에서 영상을 처리함으로써, 서버와의 통신을 위한 전력 소모를 줄이고, 신속하게 영상을 처리하되, 사람의 눈으로 인식하는 수준과 비슷한 수준으로 이미지를 처리하여 출력할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 통합 영상 처리 장치에 대한 개략적인 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 다중 영상신호 처리부에 대한 개략적인 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 보정부에 대한 개략적인 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 통합 영상 처리 방법에 대한 개략적인 처리 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 이미지 보정 단계에 대한 개략적인 처리 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 역광 보정의 효과를 종래와 비교하여 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 자동 색 온도 보정의 효과를 종래와 비교하여 설명하기 위한 도면들이다.
도 8은 본 발명의 일 실시 예에 따른 노이즈 제거 및 선명도 보정의 효과를 종래와 비교하여 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 설명하되, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 한편 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술 분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시 예에 따른 통합 영상 처리 장치에 대한 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 통합 영상 처리 장치(100)는 복합센서부(110), 입력부(120), 다중 영상신호 처리부(130), AI 가속기(140), 기준데이터 관리 DB(150)를 포함한다.
복합 센서부(110)는 다양한 종류의 데이터를 수집하는 적어도 하나의 센서들을 포함하되, ToF 센서(111), 이미지 센서(112) 및 열 감지 센서(113)를 포함할 수 있다.
입력부(120)는 복합 센서부(110)에 포함된 적어도 하나의 센서들(예컨대, ToF 센서(111), 이미지 센서(112) 및 열 감지 센서(113)) 각각으로부터, 대응된 감지신호를 입력으로 받는다. 이 때, 입력부(120)는 하나의 커넥터로 구성되며, 상기 적어도 하나의 센서들(예컨대, ToF 센서(111), 이미지 센서(112) 및 열 감지 센서(113)) 각각의 신호를 상기 하나의 커넥터로 입력받는다.
다중 영상신호 처리부(130)는 입력부(120)를 통해 입력된 다수의 신호들을 결합하여 하나의 신호로 출력한다. 이를 위해, 다중 영상신호 처리부(130)는 미리 설정된 인공신경망(ANN) 알고리즘에 의거하여 이미지 센서(112)를 통해 감지된 이미지를 보정하는 과정을 먼저 수행한 후, 상기 보정된 이미지를, ToF 센서(111)에서 출력되는 3차원 거리 정보, 및 열 감지 센서(113)에서 출력되는 저해상도 열화상 이미지와 결합하여 출력한다.
AI 가속기(140)는 미리 설정된 인공지능 알고리즘(예컨대, 이미지 인식 알고리즘)에 의거하여, 다중 영상신호 처리부(130)에서 생성된 이미지를 인식한다. 이를 위해, AI 가속기(140)는 사전에 생성된 적어도 하나의 클래스별 데이터셋(예컨대, 연기, 깊이, 온도들 각각에 대한 소정 개 이상의 이미지들을 취합하여 생성한 데이터셋)을 학습하여 기준 데이터를 생성한 후 미리 저장하고, 상기 기준 데이터 및 미리 설정된 인공지능 알고리즘에 의거하여, 다중 영상신호 처리부(130)에서 생성된 이미지를 인식한다. 즉, AI 가속기(140)는, 복합 센서부(110)를 통해 수집된 후 다중 영상신호 처리부(130)를 거쳐 보정된 이미지를 상기 인공지능 알고리즘에 적용하여, 사전에 학습된 기준 이미지들 중 어느 하나로 인식할 수 있다.
이 때, 상기 기준 데이터는 AI 가속기(140)에 미리 저장될 수도 있고, AI 가속기(140)에 의해 접근 가능한 별도의 데이터베이스부(예컨대, 기준 데이터 관리 DB(150))로 구현될 수도 있다.
또한, AI 가속기(140)는 병렬 구조를 갖는 프로세서로서, 각각의 신호 처리 결과값을 병렬로 받아 데이터 접근 지연 없이 대용량의 데이터를 실시간으로 처리할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 다중 영상신호 처리부에 대한 개략적인 블록도이다. 도 1 및 도 2를 참조하면, 다중 영상신호 처리부(130)는 보정부(131), 및 이미지 결합부(132)를 포함한다.
보정부(131)는 이미지 센서(112)를 통해 감지된 이미지를 보정하는 보정하되, 후술될, 도 3에 예시된 바와 같이, 해상도 보정부(10), 역광 보정부(20), 자동 색온도 보정부(30), 및 노이즈 제거/선명도 보정부(40)를 포함한다.
이미지 결합부(132)는 보정부(131)에서 보정된 이미지, ToF 센서(111)에서 출력되는 3차원 거리 정보, 및 열 감지 센서(113)에서 출력되는 저해상도 열화상 이미지를 결합한다. 이 때, 상기 보정된 이미지를 상기 3차원 거리정보, 및 저해상도 열화상 이미지와 결합하는 방법은, 공지된 다양한 이미지 결합 방식을 이용할 수 있다. 예를 들어, RGB카메라의 영상 데이터 또는 열화상 영상 데이터와 ToF 센서에서 받은 포인트 클라우드 데이터(PCD)인 거리(깊이)정보를 합성하는 방법과 ToF신호와 2대 이상의 카메라인 RGB카메라, 열화상 카메라를 사용하여 좌, 우 시차 영상을 입력으로 받아 각 시차 영상의 주요 특징을 추출하는 특징 추출부와 추출된 특징을 이용하여 시차 정보를 학습하는 깊이 학습부로 구성된 학습 모델인 GC-Net, PSMNet 등을 이용하여 전체 깊이 영상을 생성하는 방법을 통하여 상기 이미지들을 결합할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 보정부에 대한 개략적인 블록도로서, 도 3을 참조하면, 상기 보정부(131)는 해상도 보정부(10), 역광 보정부(20), 자동 색온도 보정부(30), 및 노이즈 제거/선명도 보정부(40)를 포함한다.
해상도 보정부(10)는 이미지 센서(112)에서 감지된 저화질 이미지를 고화질 이미지로 변환한다.
역광 보정부(20)는 해상도 보정부(10)로부터 노출 시간을 달리한 3이상의 이미지를 전달받고, 상기 3이상의 이미지를 미리 설정된 역광 보정 신경망(WDR NN) 알고리즘에 적용하여 하나의 이미지로 결합함으로써 역광을 보정한다.
자동 색 온도 보정부(30)는 역광 보정부(20)에서 역광 보정된 이미지의 색온도를 자동으로 보정한다. 이를 위해, 자동 색 온도 보정부(30)는 상기 역광 보정된 이미지에 포함된 객체별로 플랭크 화이트(Planck White) 곡선을 도출하고, 상기 객체별 플랭크 화이트 곡선을 미리 설정된 색 보정 신경망(AWB NN)에 적용하여 객체별 색 온도를 판단함으로써, 상기 객체별 색 온도를 자동으로 보정한다.
노이즈 제거/선명도 보정부(40)는 자동 색 온도 보정부(30)로부터 전달된 색 온도 보정 이미지를, 미리 설정된 노이즈 제거/선명도 인공신경망(NR/Sharp NN)에 적용하여, 상기 색 온도 보정된 이미지에 포함된 경계선을 유지한 채 노이즈만을 제거한다.
도 4는 본 발명의 일 실시 예에 따른 통합 영상 처리 방법에 대한 개략적인 처리 흐름도이고, 도 5는 본 발명의 일 실시 예에 따른 이미지 보정 단계에 대한 개략적인 처리 흐름도이다. 도 1 내지 도 5를 참조하여, 본 발명의 일 실시 예에 따른 통합 영상 처리 방법(즉, 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 방법)은 다음과 같다.
먼저, 단계 S110에서는, AI 가속기(140)가 사전에 생성된 적어도 하나의 클래스별 데이터셋(예컨대, 연기, 깊이, 온도들 각각에 대한 소정 개 이상의 이미지들을 취합하여 생성한 데이터셋)을 학습하여 이미지 감지를 위한 기준 데이터를 생성하고, 그 결과를 저장한다. 이 때, AI 가속기(140)는 상기 기준 데이터를 별도의 데이터 베이스(예컨대, 기준 데이터 관리 DB(150))에 저장하거나, AI 가속기(140) 내에 자체적으로 저장할 수 있다.
단계 S120에서는, 입력부(120)가 복합 센서부(110)에 포함된 ToF 센서(111), 이미지 센서(112), 및 열 감지 센서(113)들 각각으로부터, 대응된 감지신호를 입력받는다.
단계 S130에서는, 다중 영상신호 처리부(130)가, 미리 설정된 인공신경망(ANN, Artificial Neural Network) 알고리즘에 의거하여, 이미지 센서(112)를 통해 감지된 이미지를 보정한다.
즉, 단계 S131에서는 해상도 보정부(10)가 상기 이미지의 해상도를 보정한다. 이를 위해, 해상도 보정부(10)는 저화질의 이미지를 고화질로 향상시키기 위해 개발된 SR(Super Resolution) 알고리즘을 이용하되, 인공신경망에 기반한 SR 알고리즘을 이용함으로써, 해상도를 보다 효과적으로 높일 수 있도록 하였다.
기존의 전통적인 초해상화 기법(SR 알고리즘)들은 고해상도 영상을 복원하는 과정에서 디테일한 부분의 화질 저화 및 열화가 존재하며, 바이큐빅 보간법(Bicubic Interpolation)과 같은 다항식 기반의 보간법 혹은 선형 매핑을 사용함으로써, 복잡하고 비선형적인 저해상도-고해상도 모델을 구현하기 어려운 문제가 있었다. 따라서, 본 발명의 단계 S131에서는, 이를 해결하기 위해 여러 겹으로 쌓은 다층 네트워크를 사용하여 저해상도 입력과 고해상도 출력 간의 복잡한 비선형적 관계를 정밀하게 분석하여 보다 정확하게 변환할 수 있는 합성곱 필터 파라미터를 학습하고, 이를 통해 최적화된 고해상도 이미지를 생성할 수 있도록 하였다.
단계 S132에서는, 역광 보정부(20)가 상기 단계 S131에서 고화질로 보정된 이미지에 포함된 역광을 보정한다. 이 때, 역광 보정부(20)는 밝은 영역에서의 고속도 셔터와, 어두운 영역에서의 저속도 셔터를 하나로 모아 형상화시킴으로써, 역광의 문제를 해결하고 영상 인식률을 높이도록 한다. 이를 위해, 역광 보정부(20)는, 다양한 조명환경에서도 높은 퀄리티의 이미지를 얻을 수 있도록 하기 위해 개발된 WDR(Wide Dynamic Range) 알고리즘을 이용하되, 인공신경망에 기반한 WDR(Wide Dynamic Range) 알고리즘(WDR NN, WDR Neural Network)을 이용함으로써, 더욱 효과적으로 역광을 보정할 수 있도록 하였다.
특히, 단계 S132에서, 역광 보정부(20)는 해상도 보정부(10)에서 고화질로 보정된 이미지들 중 노출 시간을 달리한 3 이상의 이미지를 상기 WDR NN 알고리즘에 적용하여 하나의 이미지로 결합함으로써, 다수의 이미지들을 하나로 합치는 과정에서 부자연스러운 이미지가 나타나는 현상을 해소하였다. 이 때, 노출 시간을 달리한 이미지를 많이 선택할수록, 더욱 자연스러운 이미지를 생성할 수 있다. 따라서 역광 보정부(20)는 연산 시간과 자연스러운 정도를 함께 고려하여 최적의 결과를 얻을 수 있도록 상기 노출 시간을 달리한 이미지의 장수를 결정할 수 있다.
한편, 사람의 눈은 카메라와 비교하여 밝은 영역보다 어두운 영역에 더 민감한 특징이 있다. 이는 두 배의 빛이 조사된 카메라의 센서는 선형적으로 두 배의 광량으로 인식하지만, 사람의 눈은 비선형적으로 일부만 밝은 것으로 인식하기 때문이다. 따라서 사진 보정시 밝은 부분과 어두운 부분을 정확히 대비시켜야 하는데, 이를 위해, 단계 S132에서, 역광 보정부(20)는 역광 인공신경망에 기반한 WDR(Wide Dynamic Range) 알고리즘(WDR NN, WDR Neural Network)을 적용함으로써 이러한 문제를 해결하였다. 즉, 단계 S132에서, 역광 보정부(20)는 보정 대상 이미지들을 바탕으로 최적화된 Contrast Gain Curve를 생성해 내어 대비 보정(Contrast Correction)을 정확히 함으로써, 기존 이미지 대비 어두운 영역을 개선하였다.
도 6은 이러한 본 발명의 역광 보정의 효과를 종래와 비교하여 설명하기 위한 도면으로서, 도 6의 (a)는 역광 보정을 위해 선택된, 노출 시간을 달리한 2장의 이미지들을 나타내고, 도 6의 (b)는 종래의 WDR 진행 과정(20a)의 예를 나타내고, 도 6의 (c)는 도 6의 (a)에 예시된 이미지들을 도 6의 (b)에 예시된 방식으로 처리한 결과로 도출된 이미지의 예를 나타내고, 도 6의 (d)는 본 발명의 일 실시 예에 따른 인공신경망(ANN) 기반의 WDR 진행 과정(20b)의 예를 나타내고, 도 6의 (e)는 도 6의 (a)에 예시된 이미지들을 도 6의 (d)에 예시된 방식으로 처리한 결과로 도출된 이미지의 예를 나타낸다.
도 6의 (b)를 참조하면, 종래의 WDR 진행 과정(20a)은 도 6의 (a)에 예시된 이미지들(즉, 노출 시간을 달리한 이미지들)을 수집하는 과정(Long/Short Fusion)(21a), 상기 이미지들을 톤 매핑(Tone Mapping)하여 합치는 과정(22a), 및 톤 매핑(Tone Mapping) 결과에 대한 대비 보정(Contrast Correction) 과정(23a)을 포함한다.
한편, 도 6의 (d)를 참조하면, 본 발명의 일 실시 예에 따른 인공신경망(ANN) 기반의 WDR 진행 과정(20b)은 도 6의 (a)에 예시된 이미지들(즉, 노출 시간을 달리한 이미지들)을 수집하는 과정(Long/Short Fusion)(21b), 상기 이미지들을 톤 매핑(Tone Mapping)하여 합치는 과정(22b), 및 톤 매핑(Tone Mapping) 결과에 대한 대비 보정(Contrast Correction)(23b)과정을 포함하되, 상기 이미지 수집 과정(21b)을 위해 역광 보정 신경망(WDR NN)(24b)을 적용하고, 역광 보정 신경망(WDR NN)(24b)에 의해 보정 이득 커브(Contrast Gain Curve)를 생성(25b)한 후, 이를 대비보정 과정(23b)에 반영한다. 이는, 밝은 영역의 픽셀 이미지와 어두운 영역의 픽셀 이미지의 비율을 결정하기 위함이다.
이로 인해, 도 6의 (c) 및 도 6의 (e)에 예시된 바와 같이, 본 발명의 일 실시 예에 따른 인공신경망(ANN) 기반의 WDR 진행 결과(e)가, 종래의 WDR 진행 결과(c) 보다 자연스러운 것을 알 수 있다.
단계 S133에서는, 자동 색온도 보정부(30)가 상기 역광 보정된 이미지에 포함된 객체별로 색온도를 자동으로 보정한다. 즉, 단계 S133에서, 자동 색온도 보정부(30)는 역광 보정부(20)에서 출력된 이미지를 인공신경망에 인가하여 상기 객체별 색온도를 자동으로 보정한다. 이를 위해, 자동 색온도 보정부(30)는, 색온도를 적합하게 유지시켜줌으로써 화질을 개선시키고 영상 인식률을 증대시키도록 하기 위해 개발된 AWB(Auto White Balance) 알고리즘을 이용하되, 인공신경망에 기반한 AWB 알고리즘을 이용함으로써, 더욱 효과적으로 색온도를 보정할 수 있도록 하였다.
특히, 단계 S133에서, 자동 색온도 보정부(30)는 상기 역광 보정된 이미지로부터, 객체별 플랭크 화이트(Planck White) 곡선을 도출하여 색온도를 판단하고, 상기 객체별 플랭크 화이트 곡선을 미리 설정된 색 보정 신경망(AWB NN)에 적용하여 객체별 색 온도를 보정하는 일련의 과정을 수행한다. 예를 들어, 입력 영상에 포함된 임의의 객체에 대한 색온도가 낮으면, 붉은색을 띄므로, 차가운 색인 파란색 계열 필터를 사용하여 색 보정을 실시할 수 있다.
도 7a 및 도 7b는 이러한 자동 색 온도 보정의 효과를 종래와 비교하여 설명하기 위한 도면들로서, 도 7a는 종래의 AWB 진행과정 및 그 결과를 예시하고, 도 7b는 본 발명의 일 실시 예에 따라 인공신경망에 기반한 AWB 진행과정 및 그 결과를 예시한다.
이 때, 도 7a의 (a)는 풍경을 촬영한 원본사진으로서, 하늘객체(A)와 땅객체(B)를 포함하는 풍경사진의 예를 나타내고, 도 7a의 (b)는 도 7a의 (a)에 예시된 원본사진에 대한 객체별(A, B) 플랭크 화이트 곡선을 예시하고, 도 7a의 (c) 및 (d)는 종래의 AWB를 수행한 결과, 즉, 종래의 AWB로 보정된 결과로서, 도 7a의 (c)는 하늘색에 맞추어 파란색 필터가 적용된 예를 나타내고, 도 7a의 (d)는 땅 색에 맞추어 붉은색 필터가 적용된 예를 나타낸다.
도 7a의 (c) 및 (d)를 참조하면, 종래의 자동 색온도 보정 시, 하늘색에 맞추어 파란색 필터를 적용한 경우 땅도 같이 파란색을 띄고, 땅 색에 맞추어 붉은색 필터를 적용한 경우 하늘도 붉은색을 띄게 되어, 원본 사진과 유사도가 떨어짐을 알 수 있다.
한편, 도 7b의 (a)는 도 7a의 (a)와 같이, 하늘객체(A)와 땅객체(B)를 포함하는 풍경사진의 예를 나타내고, 도 7b의 (b)는 도 7b의 (a)에 예시된 원본사진에 대한 객체별(A, B)로 플랭크 화이트 곡선을 도출한 후, 이를, 색 보정 인공신경망에 기반한 AWB(즉, AWB NN)에 적용하는 과정을 예시하고, 도 7b의 (c)는 ANN 기반 AWB를 수행한 결과, 즉, ANN 기반 AWB로 보정된 결과로서, 객체별 색온도 판단 결과에 따라 서로 다른 필터가 적용된 예를 나타낸다. 즉, 도 7b의 (c)는 하늘객체(A)와 땅객체(B) 각각에 서로 다른 필터를 적용하여 색온도를 보정한 예를 나타낸다.
단계 S134에서는, 노이즈 제거/선명도 보정부(40)가 상기 자동 색온도 보정된 이미지에 포함된 노이즈를 제거하되, 선명도를 유지하면서 노이즈를 제거한다. 즉, 단계 S134에서, 노이즈 제거/선명도 보정부(40)는 영상에 노이즈가 많은 저조도 상태와 노이즈가 적은 야외 상태를 동시에 파악하여 서로 다른 노이즈 제거와 선명도 조절을 통해 저조도/고조도 이미지 양쪽을 만족하는 결과를 얻을 수 있도록 한다. 이를 위해, 단계 S134에서, 노이즈 제거/선명도 보정부(40)는 상기 자동 색온도 보정된 이미지를 노이즈 제거/선명도 인공신경망(NR/Shart NN)에 적용하되, 상기 색 온도가 보정된 이미지에 포함된 경계선의 세부적인 부분을 유지한 채 노이즈를 줄이는 다양한 필터(filter)들 중 하나를 선택 적용함으로써, 상기 이미지의 선명도를 유지하면서 노이즈를 제거할 수 있다.
예를 들어, 단계 S132의 역광 보정 과정 중, 가장 밝은 노출 컷에서도 최소한의 밝기가 제공되지 못하는 부분은 거친 노이즈값으로 채워지게 되며, 톤 매핑(Tone Mapping) 과정에서 노이즈가 더욱 증가하게 되는데, 이러한 노이즈를 감소 또는 제거하는 처리만 수행할 경우, 이미지는 전체적으로 부드러워지지만 선명도가 낮아져서 윤곽이 흐려질 수 있다. 따라서, 단계 S134에서는, 노이즈 제거/선명도 보정부(40)가 상기 NR/Shart NN을 적용하여 상기 이미지를 보정함으로써, 선명도를 유지하면서 노이즈를 제거할 수 있도록 한다.
도 8은 이러한 본 발명의 노이즈 제거 및 선명도 보정의 효과를 종래와 비교하여 설명하기 위한 도면으로서, 도 8의 (a)는 노이즈 제거 및 선명도 보정을 위해 선택된 2장의 이미지(즉, 고주파 이미지와 저주파 이미지)의 예를 나타내고, 도 8의 (b)는 종래의 노이즈 제거 및 선명도 보정 과정(40a)의 예를 나타내고, 도 8의 (c)는 도 8의 (a)에 예시된 이미지들을 도 8의 (b)에 예시된 방식으로 처리한 결과로 도출된 이미지의 예를 나타내고, 도 8의 (d)는 본 발명의 일 실시 예에 따른 인공신경망(ANN) 기반의 노이즈 제거 및 선명도 보정 과정(40b)의 예를 나타내고, 도 8의 (e)는 도 8의 (a)에 예시된 이미지들을 도 8의 (d)에 예시된 방식으로 처리한 결과로 도출된 이미지의 예를 나타낸다.
도 8의 (b)를 참조하면, 종래의 노이즈 제거 및 선명도 보정 과정(40a)은 도 8의 (a)에 예시된 이미지들(즉, 고주파 이미지와 저주파 이미지)로부터 노이즈를 제거하는 과정(Noise Reduction)(41a), 선명도 보정과정(Sharpness)(42a), 및 상기 과정들(41a, 42a)의 강도를 제어하는 과정(Strength control)(43a)을 포함한다.
한편, 도 8의 (d)를 참조하면, 본 발명의 일 실시 예에 따른 인공신경망(ANN) 기반의 노이즈 제거 및 선명도 보정과정(40b)은 도 8의 (a)에 예시된 이미지들(즉, 고주파 이미지와 저주파 이미지)로부터 노이즈를 제거하는 과정(Noise Reduction)(41b), 선명도 보정과정(Sharpness)(42b), 및 상기 과정들(41b, 42b)의 동작을 제어하기 위한 필터 선택 과정(Filter Selection)(46a)을 포함하되, 상기 NR/Shart NN을 적용한 Scene Detection, 및 강도 제어(Strength control) 과정들(43b, 44b, 45b)을 더 포함할 수 있다. 이는 노이즈 제거와, 선명도 보정의 경계를 정확히 결정하기 위함이다.
이와 같이 도 5에 예시된 일련의 과정들(S131 내지 S134)을 통해, 이미지가 보정되면, 단계 S140에서, 다중 영상신호 처리부(130)는, 상기 보정된 이미지, ToF 센서(111)에서 출력되는 3차원 거리 정보, 및 열 감지 센서(113)에서 출력되는 저해상도 열화상 이미지를 결합한다. 이 때, 상기 이미지들을 결합하기 위한 구체적인 처리 과정은 공지의 기술들을 이용할 수 있다.
단계 S150에서는, AI 가속기(140)가, 미리 저장된 기준 데이터, 및 단계 S140에서 결합된 이미지를 미리 설정된 인공지능 알고리즘에 적용하여, 이미지를 인식한다.
이와 같이 함으로써, 본 발명은 복합 센서의 신호들을 하나의 프로세서에서 통합 처리함으로써, 전력 및 면적을 효율적으로 활용하고, 이로 인해, 처리 속도를 향상시킴으로써, 데이터 접근 지연 없이 대용량의 데이터를 실시간으로 처리할 수 있는 특징이 있다.
또한, 본 발명은 복합 센서 정보를 이용함으로써, 단독 이미지 센서에 의존하는 시스템의 한계를 극복할 수 있고, 이로 인해, 공장 등 실내 근로자, 화재 현장의 소방관, 작전 중인 군인 등 다양한 응용 분야에서 감지 정보 보조 수단으로 활용할 수 있어서, 활용 분야를 확장시킬 수 있다.
이상에서는 본 발명의 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명이 실시 예로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 용이하게 변경되어 균등한 것으로 인정되는 범위의 모든 변경 및 수정을 포함한다.
100: 통합 영상 처리 장치 110: 복합센서부
111: ToF 센서 112: 이미지 센서
113: 열감지 센서 120: 입력부
130: 다중 영상신호 처리부 131: 보정부
10: 해상도 보정부 20: 역광 보정부
30: 자동 색온도 보정부 40: 노이즈 제거/선명도 보정부
132: 이미지 결합부 140: AI 가속기
150: 기준 데이터 관리 DB

Claims (7)

  1. 이미지 센서, ToF 센서, 및 열 감지 센서를 포함하는 복합 센서들 각각으로부터, 대응된 감지신호를 입력으로 받는 입력부;
    미리 설정된 인공신경망(ANN) 알고리즘에 의거하여 상기 이미지 센서를 통해 감지된 이미지를 보정한 후, 상기 보정된 이미지, 상기 ToF 센서에서 출력되는 3차원 거리 정보, 및 상기 열 감지 센서에서 출력되는 저해상도 열화상 이미지를 결합하여 출력하는 다중 영상신호 처리부; 및
    사전에 생성된 적어도 하나의 클래스별 데이터 셋을 학습하여 기준 데이터를 생성한 후 미리 저장하고, 상기 기준 데이터 및 미리 설정된 인공지능 알고리즘에 의거하여, 상기 다중 영상신호 처리부에서 생성된 이미지를 인식하는 AI 가속기를 포함하는 것을 특징으로 하는 통합 영상 처리 장치.
  2. 제1항에 있어서, 상기 다중 영상신호 처리부는
    상기 이미지 센서를 통해 감지된 이미지를 보정하는 보정부; 및
    상기 보정된 이미지, 상기 ToF 센서에서 출력되는 3차원 거리 정보, 및 상기 열 감지 센서에서 출력되는 저해상도 열화상 이미지를 결합하는 이미지 결합부를 포함하는 것을 특징으로 하는 통합 영상 처리 장치.
  3. 제2항에 있어서, 상기 보정부는
    저화질 이미지를 고화질 이미지로 변환하는 해상도 보정부;
    상기 해상도 보정부로부터 노출 시간을 달리한 3이상의 이미지를 전달받고, 상기 3이상의 이미지를 미리 설정된 역광 보정 신경망(WDR NN) 알고리즘에 적용하여 하나의 이미지로 결합함으로써 역광을 보정하는 역광 보정부; 및
    상기 역광 보정된 이미지에 포함된 객체별로 플랭크 화이트(Planck White) 곡선을 도출하고, 상기 객체별 플랭크 화이트 곡선을 미리 설정된 색 보정 신경망(AWB NN)에 적용하여 객체별 색 온도를 판단함으로써, 상기 객체별 색 온도를 자동으로 보정하는 자동 색 온도 보정부를 포함하는 것을 특징으로 하는 통합 영상 처리 장치.
  4. 제3항에 있어서, 상기 보정부는
    상기 자동 색 온도 보정부로부터 전달된 색 온도 보정 이미지를, 미리 설정된 노이즈 제거/선명도 인공신경망(NR/Sharp NN)에 적용하여, 상기 색 온도 보정 이미지에 포함된 경계선을 유지한 채 노이즈를 제거하는 노이즈 제거/선명도 보정부를 더 포함하는 것을 특징으로 하는 통합 영상 처리 장치.
  5. 이미지 센서, ToF 센서, 및 열 감지 센서를 포함하는 복합 센서를 구비한 통합 영상 처리 장치가 상기 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 방법에 있어서,
    사전에 생성된 적어도 하나의 클래스별 데이터셋을 학습하여 이미지 감지를 위한 기준 데이터를 생성하여 저장하는 학습단계;
    상기 이미지 센서, ToF 센서, 및 열 감지 센서를 포함하는 복합 센서들 각각으로부터, 대응된 감지신호를 입력으로 받는 입력단계;
    미리 설정된 인공신경망(ANN) 알고리즘에 의거하여 상기 이미지 센서를 통해 감지된 이미지를 보정하는 보정단계;
    상기 보정된 이미지, 상기 ToF 센서에서 출력되는 3차원 거리 정보, 및 상기 열 감지 센서에서 출력되는 저해상도 열화상 이미지를 결합하는 결합단계; 및
    상기 기준 데이터 및 상기 결합된 이미지를 미리 설정된 인공지능 알고리즘에 적용하여, 이미지를 인식하는 인식단계를 포함하는 것을 특징으로 하는 통합 영상 처리 방법.
  6. 제5항에 있어서, 상기 보정단계는
    저화질 이미지를 고화질 이미지로 변환하는 해상도 보정단계;
    상기 해상도 보정단계를 거친 이미지들 중 노출 시간을 달리한 3이상의 이미지를 전달받고, 상기 3이상의 이미지를 미리 설정된 역광 보정 신경망(WDR NN) 알고리즘에 적용하여 하나의 이미지로 결합함으로써 역광을 보정하는 역광 보정단계; 및
    상기 역광 보정된 이미지에 포함된 객체별로 플랭크 화이트(Planck White) 곡선을 도출하고, 상기 객체별 플랭크 화이트 곡선을 미리 설정된 색 보정 신경망(AWB NN)에 적용하여 객체별 색 온도를 판단함으로써, 상기 객체별 색 온도를 자동으로 보정하는 자동 색 온도 보정단계를 포함하는 것을 특징으로 하는 통합 영상 처리 방법.
  7. 제6항에 있어서, 상기 보정단계는
    상기 자동 색 온도 보정단계에서 색 온도가 보정된 이미지를, 미리 설정된 노이즈 제거/선명도 인공신경망(NR/Sharp NN)에 적용하여, 상기 색 온도가 보정된 이미지에 포함된 경계선을 유지한 채 노이즈를 제거하는 노이즈 제거/선명도 보정단계를 더 포함하는 것을 특징으로 하는 통합 영상 처리 방법.
KR1020210163792A 2021-11-24 2021-11-24 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 장치 및 그 방법 KR102584573B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210163792A KR102584573B1 (ko) 2021-11-24 2021-11-24 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210163792A KR102584573B1 (ko) 2021-11-24 2021-11-24 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230076658A true KR20230076658A (ko) 2023-05-31
KR102584573B1 KR102584573B1 (ko) 2023-10-04

Family

ID=86543082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210163792A KR102584573B1 (ko) 2021-11-24 2021-11-24 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102584573B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180128168A (ko) 2017-05-23 2018-12-03 삼성전자주식회사 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치
KR20200027789A (ko) * 2018-09-05 2020-03-13 주식회사 옵트론텍 이미지 통합 장치 및 이를 포함하는 운전 보조 시스템
KR20210077617A (ko) * 2019-12-17 2021-06-25 모셔널 에이디 엘엘씨 융합된 카메라/LiDAR 데이터 포인트를 사용한 자동화된 대상체 주석 달기
KR20210127591A (ko) * 2020-04-14 2021-10-22 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 방법
US20210360214A1 (en) * 2020-05-18 2021-11-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180128168A (ko) 2017-05-23 2018-12-03 삼성전자주식회사 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치
KR20200027789A (ko) * 2018-09-05 2020-03-13 주식회사 옵트론텍 이미지 통합 장치 및 이를 포함하는 운전 보조 시스템
KR20210077617A (ko) * 2019-12-17 2021-06-25 모셔널 에이디 엘엘씨 융합된 카메라/LiDAR 데이터 포인트를 사용한 자동화된 대상체 주석 달기
KR20210127591A (ko) * 2020-04-14 2021-10-22 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 방법
US20210360214A1 (en) * 2020-05-18 2021-11-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Also Published As

Publication number Publication date
KR102584573B1 (ko) 2023-10-04

Similar Documents

Publication Publication Date Title
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
US8072503B2 (en) Methods, apparatuses, systems, and computer program products for real-time high dynamic range imaging
CN106713755A (zh) 全景图像的处理方法及装置
CN106851122A (zh) 基于双摄像头系统的自动曝光参数的标定方法和装置
CN107465866A (zh) 图像处理设备及方法、摄像设备和计算机可读存储介质
CN101527860A (zh) 白平衡控制设备及其控制方法和摄像设备
CN108616700B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US10109063B2 (en) Image processing in a multi-channel camera
CN104023177A (zh) 摄像机控制方法、装置及摄像机
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN115223004A (zh) 基于改进的多尺度融合生成对抗网络图像增强方法
WO2021184029A1 (en) Systems and methods for fusing color image and near-infrared image
CN104184935A (zh) 影像拍摄设备及方法
CN102959942A (zh) 立体观看用图像拍摄装置及其控制方法
CN109559353A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN105791793A (zh) 图像处理方法及其电子装置
CN106412421A (zh) 一种快速生成大尺寸重对焦图像的系统与方法
CN108322726A (zh) 一种基于双摄像头的自动对焦方法
CN113298177B (zh) 夜间图像着色方法、装置、介质和设备
CN111028187A (zh) 一种光线自适应的机载双光图像侦察装置及方法
CN104794680B (zh) 基于同一卫星平台的多相机图像镶嵌方法及装置
KR102584573B1 (ko) 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 장치 및 그 방법
CN116437198B (zh) 图像处理方法与电子设备
TW201531744A (zh) 影像處理裝置
CN106960421A (zh) 基于统计特性和亮度估计的夜晚图像去雾方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant