KR102662711B1 - 편광 이미지 합성 장치 및 방법 - Google Patents

편광 이미지 합성 장치 및 방법 Download PDF

Info

Publication number
KR102662711B1
KR102662711B1 KR1020220109971A KR20220109971A KR102662711B1 KR 102662711 B1 KR102662711 B1 KR 102662711B1 KR 1020220109971 A KR1020220109971 A KR 1020220109971A KR 20220109971 A KR20220109971 A KR 20220109971A KR 102662711 B1 KR102662711 B1 KR 102662711B1
Authority
KR
South Korea
Prior art keywords
image
polarization
dolp
backlight
polarized
Prior art date
Application number
KR1020220109971A
Other languages
English (en)
Other versions
KR20240030648A (ko
Inventor
박태형
하민호
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020220109971A priority Critical patent/KR102662711B1/ko
Publication of KR20240030648A publication Critical patent/KR20240030648A/ko
Application granted granted Critical
Publication of KR102662711B1 publication Critical patent/KR102662711B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

편광 이미지 합성 장치 및 방법을 개시한다.
편광 필터를 포함하는 카메라를 이용하여 촬영된 편광이미지(polarized image)를 수집하는 편광이미지 수집부(polarized image collection unit); 상기 편광이미지를 기초로, 역광판단 알고리즘(backlight determination algorithm)을 이용하여 역광(backlight)인지 여부를 판단하는 역광판단부(backlight determination unit); 역광이 아니라고 판단된 경우, 상기 편광이미지를 편광 각도별로 분할하는 편광이미지 분할부(polarized image division unit); 분할된 편광이미지 각각에 대한 스토크스(stokes) 벡터 이미지를 기초로 DoLP(Degree of Linear Polarization) 이미지를 생성하는 DoLP 이미지 생성부(DoLP image generation unit); 및 상기 DoLP 이미지를 기 설정된 개수의 영역으로 분할하고, 분할된 영역 각각에 부합하는 최적의 편광이미지를 이용하여 하나의 이미지로 합성하는 편광이미지 합성부(polarized image fusion unit)를 포함하는, 편광이미지 합성장치를 개시한다.

Description

편광 이미지 합성 장치 및 방법 {Method And Apparatus for Polarized Image Fusion}
본 개시는 편광 이미지 합성 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 개시에 대한 배경정보를 제공할 뿐 종래기술을 구성하는 것이 아니다.
자율주행(autonomous driving) 기술의 일부로서, 카메라(camera), 레이더(radar), 라이다(lidar) 및 초음파(ultrasonic) 센서 등을 이용하여 차량 주변의 물체를 감지할 수 있다.
카메라 센서는 전방 카메라, 후방 카메라, 측면 카메라 및 SVM 카메라 등을 포함한다. 카메라 센서를 이용하여 물체를 감지하는 경우, 물체의 형상(shape), 질감(texture) 및 색상(color) 등을 감지할 수 있는 장점이 있으나, 역광(backlight), 비(rain), 눈(snow) 및 먼지(dust) 등 외부 환경에 취약하다는 단점이 있다. 예컨대, 역광에서는, 물체에서 반사되는 빛으로 인하여, 카메라를 이용하여 촬영된 물체를 감지하지 못할 수 있다. 이 경우, 감지되지 못한 물체로 인하여, 차량과 물체가 충돌할 위험성이 있다.
종래기술은 카메라의 조리개(aperture)를 조절하여 빛의 양을 조절함으로써 촬영된 이미지 내의 물체를 식별하도록 할 수 있으나, 적은 빛을 이용하여 이미지를 촬영함으로 인해 이미지 자체를 식별하기 어려운 문제점이 있다.
본 개시의 일 실시예에 따른 편광이미지 합성장치는 적어도 하나의 편광이미지를 기초로 역광인지 여부를 판단할 수 있다.
본 개시의 일 실시예에 따른 편광이미지 합성장치는 적어도 하나의 편광이미지를 기초로 DoLP(Degree of Linear Polarization) 이미지를 생성할 수 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에 따르면, 편광 필터를 포함하는 카메라를 이용하여 촬영된 편광이미지(polarized image)를 수집하는 편광이미지 수집부(polarized image collection unit); 상기 편광이미지를 기초로, 역광판단 알고리즘(backlight determination algorithm)을 이용하여 역광(backlight)인지 여부를 판단하는 역광판단부(backlight determination unit); 역광이 아니라고 판단된 경우, 상기 편광이미지를 편광 각도별로 분할하는 편광이미지 분할부(polarized image division unit); 분할된 편광이미지 각각에 대한 스토크스(stokes) 벡터 이미지를 기초로 DoLP(Degree of Linear Polarization) 이미지를 생성하는 DoLP 이미지 생성부(DoLP image generation unit); 및 상기 DoLP 이미지를 기 설정된 개수의 영역으로 분할하고, 분할된 영역 각각에 부합하는 최적의 편광이미지를 이용하여 하나의 이미지로 합성하는 편광이미지 합성부(polarized image fusion unit)를 포함하는, 편광이미지 합성장치를 제공한다.
본 개시의 일 실시예에 따르면, 편광 필터를 포함하는 카메라를 이용하여 촬영된 편광이미지(polarized image)를 수집하는 편광이미지 수집 과정; 상기 편광이미지를 기초로, 역광판단 알고리즘(backlight determination algorithm)을 이용하여 역광(backlight)인지 여부를 판단하는 역광판단 과정; 역광이 아니라고 판단된 경우, 상기 편광이미지를 편광 각도별로 분할하는 편광이미지 분할 과정; 분할된 편광 이미지 각각에 대한 스토크스(stokes) 벡터 이미지를 기초로 DoLP(Degree of Linear Polarization) 이미지를 생성하는 DoLP 이미지 생성 과정; 및 상기 DoLP 이미지를 기 설정된 개수의 영역으로 분할하고, 분할된 영역 각각에 부합하는 최적의 편광이미지를 이용하여 하나의 이미지로 합성하는 편광이미지 합성 과정을 포함하는, 편광이미지 합성방법을 제공한다.
일 실시예에 의하면, 편광이미지 합성장치는 편광이미지를 기초로 역광인지 여부를 판단함으로써, 역광이라고 판단된 경우 카메라의 조리개를 실시간으로 조절할 수 있다.
일 실시예에 의하면, 이미지 합성장치는 DoLP 이미지를 기초로 DoLP 이미지의 영역별 DoLP 값에 따라 최적의 편광이미지를 합성할 수 있다.
본 개시의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 상기의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 편광이미지 합성장치의 구성블록도이다.
도 2는 본 개시의 일 실시예에 따른 편광이미지 합성방법의 순서도이다.
도 3은 본 개시의 일 실시예에 따라 역광 또는 우천 시에 카메라를 이용하여 촬영한 이미지 내의 물체를 식별하기 어려운 상황을 도시한 예시도이다.
도 4는 본 개시의 일 실시예에 따른 편광이미지를 도시한 예시도이다.
도 5는 본 개시의 일 실시예에 따라 역광이라고 판단된 경우, 편광이미지 합성장치가 카메라의 조리개를 조절하는 과정을 도시한 예시도이다.
도 6은 본 개시의 일 실시예에 따른 DoLP 이미지를 도시한 예시도이다.
도 7은 본 개시의 일 실시예에 따른 편광이미지들을 하나로 합성하기 위하여, 영역을 분할하는 과정을 도시한 예시도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 개시에 따른 실시예의 구성요소를 설명하는 데 있어서, 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 부호에 의해 해당 구성요소의 본질 또는 차례나 순서 등이 한정되지 않는다. 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시의 일 실시예에 따른 편광이미지 합성장치의 구성블록도이다.
도 1을 참조하면, 편광이미지 합성장치는 편광이미지 수집부(polarized image collection unit, 100), 조리개 조절부(aperture control unit, 102), 역광판단부(backlight determination unit, 104), 편광이미지 분할부(polarized image division unit, 106), DoLP 이미지 생성부(DoLP image generation unit, 108) 및 편광이미지 합성부(polarized image fusion unit, 110)를 전부 또는 일부 포함한다.
편광이미지 수집부(100)는, 편광 필름을 포함하는 카메라를 이용하여 촬영한 편광이미지를 수집한다.
조리개 조절부(102)는, 카메라의 조리개를 조절하여 빛의 양을 조절할 수 있다.
역광판단부(104)는 편광이미지를 기초로 역광판단 알고리즘(backlight determination algorithm)을 이용하여 역광인지 여부를 판단할 수 있다. 역광판단부(104)는 편광이미지의 평균 밝기값 및 엣지(edge) 수를 고려하여 역광인지 여부를 판단할 수 있다. 여기서 엣지란 이미지에 포함된 물체의 경계를 의미한다. 예컨대, 편광이미지의 평균 밝기값이 200 이상이고, 엣지 수가 전체 이미지의 50 % 미만인 경우, 역광판단부(104)는 이 편광이미지는 역광 상황에서 촬영된 이미지라고 판단할 수 있다.
역광판단 알고리즘에 입력된 편광이미지가 역광 상태에서 촬영된 이미지라고 역광판단부(104)가 판단한 경우, 조리개 조절부(102)는 카메라의 조리개를 조절하여 빛의 양을 감소시킨다. 편광이미지 수집부(100)는 조리개가 조절된 상태에서 촬영된, 개선된 편광이미지를 수집한다. 역광판단부(104)는 개선된 편광이미지를 기초로 역광인지 여부를 다시 판단하며, 역광이 아니라고 판단될 때까지 조리개 조절부(102)는 카메라의 조리개를 조절하고, 편광이미지 수집부(100)는 조리개가 조절된 상태의 개선된 편광이미지를 새롭게 수집한다.
역광이 아니라고 판단된 경우, 편광이미지 분할부(106)는 편광이미지를 편광 각도별 이미지로 분할한다. 예컨대, 편광 필터에 적용된 편광 각도가 0도, 45도, 90도 및 135도인 경우, 편광이미지는 4개의 편광이미지로 분할된다.
DoLP 이미지 생성부(108)는, 분할된 편광이미지를 기초로 스토크스(stokes) 벡터 이미지를 생성한다. 0도 편광이미지() 내지 135도 편광이미지()에 대하여 스토크스 벡터를 연산한 뒤, 이 스토크스 벡터를 기초로 차연산을 이용하여 선형편광 정도(DoLP: Degree of Linear Polarization)를 연산할 수 있다. 스토크스 벡터 및 DoLP는 수학식을 이용하여 연산할 수 있다.
[수학식 1]
여기서 S는 스토크스 벡터이다.
[수학식 2]
편광이미지 합성부(110)는, DoLP 이미지를 기 설정된 개수의 영역으로 분할하고, 분할된 영역 각각에 부합하는 최적의 편광이미지를 이용하여 하나의 이미지로 합성할 수 있다. 여기서 기 설정된 개수의 영역이란, DoLP 이미지의 특성을 기초로 설정자가 임의로 설정할 수 있다. 예컨대, 편광이미지 합성부(110)는, DoLP 이미지를 3개의 이미지 영역을 분할할 수 있다. 제1 영역은 하늘과 도로가 만나는 경계선을 기준으로 이 경계선 위의 영역이고, 제2 영역은 이 경계선의 아래 영역이다. 제3 영역은 차량의 보닛(bonnet)과 도로가 만나는 경계선을 기준으로 이 경계선의 아래 영역에 해당한다.
최적의 편광이미지를 이용하는 방법 중 하나로서, 편광이미지 합성부(110)는, 분할된 영역 각각에 대하여, DoLP 값이 0인 영역은 기본 이미지의 픽셀값을 이용하고, DoLP 값이 1인 영역은 편광이미지들의 평균 밝기값을 이용하여 하나의 이미지로 합성할 수 있다. 최적의 편광이미지를 이용하는 방식 중 하나로서, 편광이미지 합성부(110)는, 분할된 영역 각각에 대하여, DoLP 값이 0인 영역은 기본 이미지의 픽셀값을 이용하고, DoLP 값이 1인 영역은 편광이미지들의 평균 밝기값을 이용하여 하나의 이미지로 합성할 수 있다.
편광이미지 합성부(110)가 합성한 이미지는 밝기값을 일정 수준으로 유지하면서 물체 간의 경계가 뚜렷하다는 효과가 있다. 또한, 합성된 이미지는 기초로 일반 딥러닝 네트워크에 사용될 수 있다.
이상에서는, 역광 상황에 대하여 기술하였으나, 악천후 판단 알고리즘 등 통상의 기술자가 용이하게 도출해낼 수 있는 알고리즘을 활용하여, 편광이미지 합성장치는 다양한 외부환경에 대응할 수 있는 합성이미지를 생성할 수 있다.
도 2는 본 개시의 일 실시예에 따른 편광이미지 합성방법의 순서도이다.
도 2를 참조하면, 편광이미지 수집부(100)는 편광 필터를 포함하는 카메라를 이용하여 촬영한 편광이미지를 수집한다(S200).
역광판단부(104)는, 역광판단 알고리즘을 이용하여 편광이미지가 역광 상황에서 촬영된 이미지인지 여부를 판단한다(S202).
편광이미지가 역광 상황에서 촬영된 이미지라고 판단된 경우, 조리개 조절부(102)는 실시간으로 카메라의 조리개의 노출 시간을 조절한다(S204). 편광이미지 수집부(100)는 조리개가 조절된 상태의 개선된 편광이미지를 새롭게 수집하고, 역광판단부(104)는 개선된 편광이미지가 역광 상황에서 촬영된 이미지인지 여부를 판단한다. 역광판단부(104)가 역광이 아니라고 판단할 때까지 단계 S200 내지 단계 S204는 반복적으로 수행될 수 있다.
역광이 아니라고 판단된 경우, 편광이미지 분할부(106)는 편광이미지를 편광 각도별로 분할한다(S206).
DoLP 이미지 생성부(108)는 분할된 편광 이미지 각각에 대한 스토크스 벡터 이미지를 기초로 DoLP 이미지를 생성한다(S208).
편광이미지 합성부(110)는, DoLP 이미지를 기 설정된 개수의 영역으로 분할하고, 분할된 영역 각각에 부합하는 최적의 편광이미지를 이용하여 하나의 이미지로 합성한다(S210). 여기서 기 설정된 개수의 영역이란, DoLP 이미지의 특성을 기초로 설정자가 임의로 설정할 수 있다. 예컨대, 편광이미지 합성부(110)는, DoLP 이미지를 3개의 이미지 영역을 분할할 수 있다. 제1 영역은 하늘과 도로가 만나는 경계선을 기준으로 이 경계선 위의 영역이고, 제2 영역은 이 경계선의 아래 영역이다. 제3 영역은 차량의 보닛(bonnet)과 도로가 만나는 경계선을 기준으로 이 경계선의 아래 영역에 해당한다. 최적의 편광이미지를 이용하는 방법 중 하나로서, 편광이미지 합성부(110)는, 분할된 영역 각각에 대하여, DoLP 값이 0인 영역은 기본 이미지의 픽셀값을 이용하고, DoLP 값이 1인 영역은 편광이미지들의 평균 밝기값을 이용하여 하나의 이미지로 합성할 수 있다.
도 3은 본 개시의 일 실시예에 따라 역광 또는 우천 시에 카메라를 이용하여 촬영한 이미지 내의 물체를 식별하기 어려운 상황을 도시한 예시도이다.
도 3의 (a)는 역광 상황에서, 카메라를 이용하여 촬영한 이미지이며, 도 3의 (b)는 비가 오는 상황에서, 카메라를 이용하여 촬영한 이미지를 도시한다. 도 3의 (a) 및 (b)를 참조하면, 역광 또는 빗물에 의해 반사된 광으로 인하여 물체 간의 경계가 흐려지는 문제점이 있는 것을 알 수 있다. 이 경우, 편광이미지 합성장치는 카메라의 조리개를 조절하여 개선된 편광이미지를 수집하고, 수집된 편광이미지들을 하나의 이미지로 합성함으로써 이 문제점을 해결할 수 있다.
도 4는 본 개시의 일 실시예에 따른 편광이미지를 도시한 예시도이다.
도 4를 참조하면, 편광이미지 수집부(100)는 적어도 하나의 편광필터를 이용하여 편광이미지를 수집할 수 있다. 예컨대, 적어도 하나의 편광필터는 4개의 편광필터일 수 있으며, 각각의 편광필터는 0도, 45도, 90도 및 135도의 편광필터일 수 있다. 0도 편광이미지(400)는 정반사(regular reflection)되는 광을 제거한 이미지로서, 기본이미지(main image)이다.
도 5는 본 개시의 일 실시예에 따라 역광이라고 판단된 경우, 편광이미지 합성장치가 카메라의 조리개를 조절하는 과정을 도시한 예시도이다.
도 5를 참조하면, 역광 상태에서 촬영한 제1 이미지(500), 카메라의 조리개를 조절 중인 과정에서 촬영한 제2 이미지(502) 및 조리개 조절이 완료된 상태에서 촬영한 제3 이미지(504)가 있다.
제1 이미지(500)는 평균 밝기값이 가장 높아 물체 간의 경계선이 흐리며, 검출되는 엣지 수가 가장 적은 것을 확인할 수 있다. 역광판단부(104)가 제1 이미지(500)가 역광 상황에서 촬영된 이미지라고 판단한 경우, 조리개 조절부(102)는 카메라의 조리개를 조절한다. 편광이미지 수집부(100)는 조리개가 조절된 제2 이미지(502)를 수집한다. 제1 이미지(500)에 비하여, 제2 이미지(502)는 물체 간의 경계선이 뚜렷해지고, 검출되는 엣지 수가 늘어난 것을 확인할 수 있다. 역광판단부(104)가 제2 이미지(502)가 역광 상황에서 촬영된 이미지라고 판단한 경우, 조리개 조절부(102)는 카메라의 조리개를 조절한다. 편광이미지 수집부(100)는 조리개가 더 조절된 제3 이미지(504)를 수집한다. 제3 이미지(504)는 평균 밝기값이 가장 낮으며, 검출되는 엣지 수가 가장 많다. 즉, 조리개를 조절하여 빛의 양이 적게 포함되도록 이미지를 촬영할수록 이미지에 포함된 물체 간의 경계선이 뚜렷해지고 검출되는 엣지 수가 많아지지만, 이미지의 평균 밝기값이 낮아지므로 이미지 자체가 흐려지는 것을 확인할 수 있다.
도 6은 본 개시의 일 실시예에 따른 DoLP 이미지를 도시한 예시도이다.
도 6을 참조하면, DoLP 이미지에 포함된 흰색 부분은 DoLP 값이 0이며, 편광이 되지 않은 부분을 의미한다. 즉, DoLP 값이 0인 부분은 광원(light source)일 수 있다. DoLP 이미지에 포함된 검정색 부분은 DoLP 값이 1이며, 0도 내지 135도의 편광이미지 중 적어도 하나의 이미지에서 편광되었음을 의미한다.
도 7은 본 개시의 일 실시예에 따른 편광이미지들을 하나로 합성하기 위하여, 영역을 분할하는 과정을 도시한 예시도이다.
도 7을 참조하면, 편광이미지 합성부(110)는, 이미지의 영역을 기 설정된 개수로 분할할 수 있다. 예컨대, 편광이미지 합성부(110)는, 제1 영역(700), 제2 영역(710) 및 제3 영역(720)으로 이미지 영역을 분할할 수 있다. 여기서, 제1 영역(700)은 하늘과 도로가 만나는 경계선을 기준으로 이 경계선 위의 영역이고, 제2 영역(710)은 이 경계선의 아래 영역이다. 제3 영역(720)은 차량의 보닛(bonnet)과 도로가 만나는 경계선을 기준으로 이 경계선의 아래 영역에 해당한다.
편광이미지 합성부(110)는, 각각의 영역별 DoLP 값을 기초로 편광이미지들을 합성할 수 있다. 예컨대, 편광이미지 합성부(1100는, DoLP 값이 0인 영역은 기본 이미지(0도 편광이미지)의 픽셀값을 이용하고, DoLP 값이 1인 영역은 편광이미지들의 평균 밝기값을 이용하여 이미지를 합성할 수 있다.
본 발명에 따른 장치 또는 방법의 각 구성요소는 하드웨어 또는 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 각 구성요소의 기능이 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행 가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는 기록매체"에 저장된다.
컴퓨터가 읽을 수 있는 기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비일시적인(non-transitory) 매체일 수 있으며, 또한 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.
본 명세서의 흐름도/타이밍도에서는 각 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 흐름도/타이밍도에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 흐름도/타이밍도는 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 편광이미지 수집부
102: 조리개 조절부
104: 역광판단부
106: 편광이미지 분할부
108: DoLP 이미지 생성부
110: 편광이미지 합성부

Claims (6)

  1. 편광 필터를 포함하는 카메라를 이용하여 촬영된 편광이미지(polarized image)를 수집하는 편광이미지 수집부(polarized image collection unit);
    상기 편광이미지의 평균 밝기값 및 엣지(edge)의 수를 기초로, 역광판단 알고리즘(backlight determination algorithm)을 이용하여 역광(backlight)인지 여부를 판단하는 역광판단부(backlight determination unit);
    역광이 아니라고 판단된 경우, 상기 편광이미지를 편광 각도별로 분할하는 편광이미지 분할부(polarized image division unit);
    분할된 편광이미지 각각에 대한 스토크스(stokes) 벡터 이미지를 기초로 DoLP(Degree of Linear Polarization) 이미지를 생성하는 DoLP 이미지 생성부(DoLP image generation unit); 및
    상기 DoLP 이미지를 기 설정된 개수의 영역으로 분할하고, 분할된 영역 각각에 대하여 DoLP 값이 0인 영역은 기본이미지의 픽셀값을 이용하고, DoLP 값이 1인 영역은 편광 각도별로 분할된 편광이미지들의 평균 밝기값을 이용하여 하나의 이미지로 합성하는 편광이미지 합성부(polarized image fusion unit)
    를 포함하는, 편광이미지 합성장치.
  2. 제1항에 있어서,
    역광이라고 판단된 경우, 상기 카메라의 조리개의 노출 시간을 실시간으로 조절하는 조리개 조절부(aperture control unit)를 더 포함하되,
    상기 편광이미지 수집부는 상기 조리개가 조절된 상태의 개선된 편광이미지를 새롭게 수집하고,
    상기 역광판단부는 상기 개선된 편광이미지를 기초로 상기 역광판단 알고리즘을 이용하여 역광인지 여부를 판단하며,
    상기 DoLP 이미지 생성부는, 편광 각도별로 분할된 편광이미지들 간의 차연산을 기초로 상기 DoLP 이미지를 생성하는, 편광이미지 합성장치.
  3. 삭제
  4. 편광 필터를 포함하는 카메라를 이용하여 촬영된 편광이미지(polarized image)를 수집하는 편광이미지 수집 과정;
    상기 편광이미지의 평균 밝기값 및 엣지(edge)의 수를 기초로, 역광판단 알고리즘(backlight determination algorithm)을 이용하여 역광(backlight)인지 여부를 판단하는 역광판단 과정;
    역광이 아니라고 판단된 경우, 상기 편광이미지를 편광 각도별로 분할하는 편광이미지 분할 과정;
    분할된 편광 이미지 각각에 대한 스토크스(stokes) 벡터 이미지를 기초로 DoLP(Degree of Linear Polarization) 이미지를 생성하는 DoLP 이미지 생성 과정; 및
    상기 DoLP 이미지를 기 설정된 개수의 영역으로 분할하고, 분할된 영역 각각에 부합하는 최적의 편광이미지를 이용하여 하나의 이미지로 합성하는 편광이미지 합성 과정
    을 포함하는, 편광이미지 합성방법.
  5. 제4항에 있어서,
    역광이라고 판단된 경우, 상기 카메라의 조리개의 노출 시간을 실시간으로 조절하는 조리개 조절 과정을 더 포함하되,
    상기 편광이미지 수집 과정은 상기 조리개가 조절된 상태의 개선된 편광이미지를 새롭게 수집하고,
    상기 역광판단 과정은 상기 개선된 편광이미지를 기초로 상기 역광판단 알고리즘을 이용하여 역광인지 여부를 판단하며,
    상기 DoLP 이미지 생성 과정은, 편광 각도별로 분할된 편광이미지들 간의 차연산을 기초로 상기 DoLP 이미지를 생성하는, 편광이미지 합성방법.
  6. 삭제
KR1020220109971A 2022-08-31 2022-08-31 편광 이미지 합성 장치 및 방법 KR102662711B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220109971A KR102662711B1 (ko) 2022-08-31 2022-08-31 편광 이미지 합성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220109971A KR102662711B1 (ko) 2022-08-31 2022-08-31 편광 이미지 합성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20240030648A KR20240030648A (ko) 2024-03-07
KR102662711B1 true KR102662711B1 (ko) 2024-04-30

Family

ID=90272518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220109971A KR102662711B1 (ko) 2022-08-31 2022-08-31 편광 이미지 합성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102662711B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191267A (ja) * 2011-03-08 2012-10-04 Ricoh Co Ltd 物体の像を取得する装置、物体の像を取得する方法、プログラム、及び記録媒体
JP2021097348A (ja) * 2019-12-18 2021-06-24 キヤノン株式会社 撮像装置、制御方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191267A (ja) * 2011-03-08 2012-10-04 Ricoh Co Ltd 物体の像を取得する装置、物体の像を取得する方法、プログラム、及び記録媒体
JP2021097348A (ja) * 2019-12-18 2021-06-24 キヤノン株式会社 撮像装置、制御方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Md Nazrul Islam ET AL: "Hybrid Fusion-Based Background Segmentation in Multispectral Polarimetric Imagery", Remote Sens., 1 June 2020(2020.06.01.) 1부.*

Also Published As

Publication number Publication date
KR20240030648A (ko) 2024-03-07

Similar Documents

Publication Publication Date Title
US9767545B2 (en) Depth sensor data with real-time processing of scene sensor data
US9398235B2 (en) Apparatus and method for fusing images
US11430103B2 (en) Method for image processing, non-transitory computer readable storage medium, and electronic device
CN107977940B (zh) 背景虚化处理方法、装置及设备
US9361680B2 (en) Image processing apparatus, image processing method, and imaging apparatus
US9424462B2 (en) Object detection device and object detection method
US9710715B2 (en) Image processing system, image processing device, and image processing method
US9200895B2 (en) Image input device and image processing device
JP4308319B2 (ja) 画像処理装置および画像処理方法
KR101470831B1 (ko) 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치
KR101204556B1 (ko) 노이즈 제거 방법 및 이를 이용한 나이트 비젼 시스템
US8520953B2 (en) Apparatus and method for extracting edges of image
KR101816449B1 (ko) 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법
WO2019105254A1 (zh) 背景虚化处理方法、装置及设备
EP3199914B1 (en) Imaging device
KR101341243B1 (ko) 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법
KR101949968B1 (ko) 안개 성분이 포함된 이미지의 시정거리를 결정하는 장치 및 방법
KR101522757B1 (ko) 영상의 노이즈 제거 방법
KR102662711B1 (ko) 편광 이미지 합성 장치 및 방법
KR101877741B1 (ko) 영상 블러를 고려한 윤곽선 검출 장치
JP4668863B2 (ja) 撮像装置
KR20210143031A (ko) 편광 이미지를 이용한 이미지 내 안개 제거 방법 및 시스템
US11842570B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
CN110830728A (zh) 曝光调整方法及装置
JP5921596B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant