KR101736468B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101736468B1
KR101736468B1 KR1020120152490A KR20120152490A KR101736468B1 KR 101736468 B1 KR101736468 B1 KR 101736468B1 KR 1020120152490 A KR1020120152490 A KR 1020120152490A KR 20120152490 A KR20120152490 A KR 20120152490A KR 101736468 B1 KR101736468 B1 KR 101736468B1
Authority
KR
South Korea
Prior art keywords
image
value
pixel
block
fog
Prior art date
Application number
KR1020120152490A
Other languages
English (en)
Other versions
KR20140091094A (ko
Inventor
박두복
고한석
전창원
Original Assignee
한화테크윈 주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사, 고려대학교 산학협력단 filed Critical 한화테크윈 주식회사
Priority to KR1020120152490A priority Critical patent/KR101736468B1/ko
Priority to US13/738,543 priority patent/US8934711B2/en
Publication of KR20140091094A publication Critical patent/KR20140091094A/ko
Application granted granted Critical
Publication of KR101736468B1 publication Critical patent/KR101736468B1/ko

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 발명은 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 안개 영상으로부터 안개가 존재하지 않을 때의 영상을 복원하는 영상 처리 장치 및 방법에 관한 것이다. 영상 처리 방법은 안개가 포함된 영상으로부터 RGB 채널간 차이를 이용하여 픽셀 깊이를 추정하는 단계, 픽셀 깊이가 추정된 영상을 필터링하여 정련하는 단계, 픽셀 깊이가 정련된 영상으로부터 전역 대기 광원을 추정하는 단계, 그레이 스케일 변환된 영상으로부터 대기 산란광 지수를 연산하는 단계 및 안개가 포함된 영상, 정련된 픽셀 깊이, 전역 대기 광원 및 대기 산란광 지수를 이용하여 안개가 존재하지 않는 영상을 복원하는 단계를 포함하는 것을 특징으로 한다.

Description

영상 처리 장치 및 방법{Apparatus and method for processing image}
본 발명은 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 안개 영상으로부터 안개가 존재하지 않을 때의 영상을 복원하는 영상 처리 장치 및 방법에 관한 것이다.
일반적으로 야외에 설치된 카메라의 경우, 비와 눈, 안개 등과 같은 날씨 변화는 카메라를 통해 획득한 영상의 화질에 영향을 끼친다. 비와 눈은 그 입자가 크고, 산발적으로 발생하여 영상 촬영 시 움직임이 빠르게 변한다. 반면에 안개는 영상 전반에 걸쳐 발생하여 그로 인한 화질 저하가 비교적 균일하고 지속적으로 유지되는 특성이 있다.
안개는 대기 중 수증기가 응결하여 지표 가까이에 작은 입자 형태로 떠 있는 자연 현상이다. 안개로 인한 가시성 저하는 대기 중의 안개 입자가 전달되는 빛과 충돌하여 산란을 일으키는데 그 원인이 있다. 산란에 의해 발생하는 빛을 산란광(air-light)이라 한다. 안개가 낀 날씨에 영상 촬영 시, 산란광에 의해 피사체들이 뿌옇게 보인다. 산란광에 의해 가시성이 감쇄된 영상은 명암이 뚜렷하지 않고 채도가 낮은 특징을 가진다. 이러한 특징은 영상의 대조비와 채도의 저하로 설명될 수 있다.
일본 공개특허 공보 제2004-289276호
본 발명이 해결하고자 하는 기술적인 과제는 안개로 인해 품질이 열화된 영상을 복원함으로써 영상의 대조비나 색감을 향상시키기 위한 영상 처리 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 처리 방법은 안개가 포함된 영상으로부터 RGB 채널간 차이를 이용하여 픽셀 깊이를 추정하는 단계; 상기 픽셀 깊이가 추정된 영상을 필터링하여 정련하는 단계; 상기 픽셀 깊이가 정련된 영상으로부터 전역 대기 광원을 추정하는 단계; 상기 그레이 스케일 변환된 영상으로부터 대기 산란광 지수를 연산하는 단계; 및 상기 안개가 포함된 영상, 상기 정련된 픽셀 깊이, 상기 전역 대기 광원및 상기 대기 산란광 지수를 이용하여 안개가 존재하지 않는 영상을 복원하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 안개가 포함된 영상을 그레이 스케일 변환하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 픽셀 깊이를 추정하는 단계는, 상기 안개가 포함된 영상 내의 임의의 픽셀을 중심 블록으로 하는 N×N 블록을 설정하는 단계; 상기 N×N 블록에 포함되는 각 블록에 대해 상기 RGB 채널간 차이값을 구하는 단계; 가장 큰 RGB 채널간 차이값을 상기 N×N 블록의 중심 블록값으로 변환시키는 단계; 및 상기 중심 블록의 RGB 채널간 차이값을 픽셀 깊이로 추정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정련하는 단계는, 상기 그레이 스케일 변환된 영상 및 상기 픽셀 깊이가 추정된 영상으로부터 제1 필터 계수를 구하는 단계; 상기 그레이 스케일 변환된 영상, 상기 픽셀 깊이가 추정된 영상 및 상기 제1 필터 계수를 이용하여 제2 필터 계수를 구하는 단계; 및 상기 제1 필터 계수 및 상기 그레이 스케일 변환된 영상의 곱과 상기 제2 필터 계수를 합산한 결과로 정련하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 필터 계수를 구하는 단계는, 상기 그레이 스케일 변환된 영상내의 임의의 픽셀을 중심 블록으로 하는 M×M 블록 중, 임의의 블록에서의 그레이 스케일 값과 픽셀 깊이 값을 곱하고, M×M 블록의 개수로 나눈 제1-1 값을 연산하는 단계; 상기 그레이 스케일 변환된 영상 내의 M×M 블록에서의 픽셀 평균값 및 픽셀 깊이 영상 내의 M×M 블록에서의 픽셀 평균값을 곱한 제1-2 값을 연산하는 단계; 상기 그레이 스케일 변환된 영상 내의 M×M 블록에서의 분산값과 정규화 변수를 가산한 제1-3 값을 연산하는 단계; 및 상기 제1-1 값 및 상기 제1-2 값의 감산 결과를 상기 제1-3 값으로 나눈 제1 필터 계수를 구하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 필터 계수를 구하는 단계는, 상기 픽셀 깊이 영상 내의 M×M 블록에서 픽셀 평균값을 제2-1 값으로 연산하는 단계; 상기 제1 필터 계수 및 그레이 스케일 변환된 영상 내의 M×M 블록에서 픽셀 평균값의 곱을 제2-2 값으로 연산하는 단계; 및 상기 제2-1 값에서 상기 제2-2 값을 감산한 제2 필터 계수를 구하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 전역 대기 광원을 추정하는 단계는, 상기 픽셀 깊이가 정련된 영상으로부터 상위 소정%에 해당하는 픽셀값을 추출하는 단계; 및 상기 추출된 픽셀값들 중 가장 높은 픽셀값을 상기 안개가 포함된 영상에서의 전역 대기 광원으로 추정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 대기 산란광 지수를 연산하는 단계는, 제1 자연수에서 그레이 스케일 변환된 영상의 표준 편차를 감산한 값을 대기 산란광 지수로 연산하는 단계;인 것을 특징으로 한다.
본 발명에 있어서, 상기 안개가 존재하지 않는 영상을 복원하는 단계에서, 상기 안개가 존재하지 않는 영상(J(x))은 하기 수학식
Figure 112012107386631-pat00001
에 의해 복원 되고, 상기 수학식에서 A는 전역 대기 광원을, I(x)는 안개를 포함하고 있는 영상을, β는 대기 산란광 지수를, d(x)는 정련된 픽셀 깊이를 나타내는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 처리 장치는 안개가 포함된 영상으로부터 RGB 채널간 차이를 이용하여 픽셀 깊이를 추정하는 제1 추정부; 상기 픽셀 깊이가 추정된 영상을 필터링하여 정련하는 정련부; 상기 픽셀 깊이가 정련된 영상으로부터 대기 산란광을 추정하는 제2 추정부; 상기 그레이 스케일 변환된 영상으로부터 대기 산란광 지수를 연산하는 연산부; 및 상기 안개가 포함된 영상, 상기 정련된 픽셀 깊이, 상기 전역 대기 광원 및 상기 대기 산란광 지수를 이용하여 안개가 존재하지 않는 영상을 복원하는 복원부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 안개가 포함된 영상을 그레이 스케일 변환하는 변환부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 추정부는, 상기 안개가 포함된 영상 내의 임의의 픽셀을 중심 블록으로 하는 N×N 블록을 설정하고, 상기 N×N 블록에 포함되는 각 블록에 대해 상기 RGB 채널간 차이값을 구하고, 가장 큰 RGB 채널간 차이값을 상기 N×N 블록의 중심 블록값으로 변환시킨 후, 상기 중심 블록의 RGB 채널간 차이값을 픽셀 깊이로 추정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정련부는, 상기 그레이 스케일 변환된 영상 및 상기 픽셀 깊이가 추정된 영상으로부터 제1 및 제2 필터 계수를 구하고, 상기 제1 필터 계수 및 상기 그레이 스케일 변환된 영상의 곱과 상기 제2 필터 계수를 합산한 결과로 정련하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정련부는, 상기 제1 필터 계수를 구할 때, 상기 그레이 스케일 변환된 영상내의 임의의 픽셀을 중심 블록으로 하는 M×M 블록 중, 임의의 블록에서의 그레이 스케일 값과 픽셀 깊이 값을 곱하고, M×M 블록의 개수로 나눈 제1-1 값을 연산하고, 상기 그레이 스케일 변환된 영상 내의 M×M 블록에서의 픽셀 평균값 및 픽셀 깊이 영상 내의 M×M 블록에서의 픽셀 평균값을 곱한 제1-2 값을 연산하고, 상기 그레이 스케일 변환된 영상 내의 M×M 블록에서의 분산값과 정규화 변수를 가산한 제1-3 값을 연산하고, 상기 제1-1 값 및 상기 제1-2 값의 감산 결과를 상기 제1-3 값으로 나눈 제1 필터 계수를 구하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정련부는, 상기 제2 필터 계수를 구할 때, 상기 픽셀 깊이 영상 내의 M×M 블록에서 픽셀 평균값을 제2-1 값으로 연산하고, 상기 제1 필터 계수 및 그레이 스케일 변환된 영상 내의 M×M 블록에서 픽셀 평균값의 곱을 제2-2 값으로 연산하고, 상기 제2-1 값에서 상기 제2-2 값을 감산한 제2 필터 계수를 구하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 추정부는, 상기 픽셀 깊이가 정련된 영상으로부터 상위 소정%에 해당하는 픽셀값을 추출하고, 상기 추출된 픽셀값들 중 가장 높은 픽셀값을 상기 안개가 포함된 영상에서의 전역 대기 광원으로 추정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 연산부는, 제1 자연수에서 그레이 스케일 변환된 영상의 표준 편차를 감산한 값을 대기 산란광 지수로 연산하는 것을 특징으로 한다.
본 발명에 있어서, 상기 복원부는, 상기 안개가 존재하지 않는 영상(J(x))을 하기 수학식
Figure 112012107386631-pat00002
으로 복원하고, 상기 수학식에서 A는 전역 대기 광원을, I(x)는 안개를 포함하고 있는 영상을, β는 대기 산란광 지수를, d(x)는 정련된 픽셀 깊이를 나타내는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 안개로 인해 품질이 열화된 영상을 복원함으로써 영상의 대조비나 색감을 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보이는 블록도 이다.
도 2A 및 도 2B는 안개 농도에 따른 RGB 채널의 특성을 보이는 도면이다.
도 3A 내지 도 3C는 안개 영상에 대한 깊이(depth)와 RGB 채널 간의 관계를 보이는 도면이다.
도 4A 내지 도 4D는 각각 안개 영상, 깊이 영상, 정련 영상 및 복원 영상을 보이는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 영상 처리 방법의 동작을 보이는 흐름도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
대기 중에 존재하는 안개를 포함하는 영상은 아래 수학식 1과 같은 물리학적 모델로 표현 할 수 있다.
Figure 112012107386631-pat00003
Figure 112012107386631-pat00004
Figure 112012107386631-pat00005
수학식 1에서 I(x)는 카메라(100)로 입력되는 안개가 포함된 영상을 나타내고, Id(x)는 대기에 안개나 비, 눈 등에 대한 노이즈가 없을 경우 카메라(100)로 입력되는 영상을 나타내고, Ia(x)는 빛의 산란에 의해 왜곡되는 영상을 나타낸다. 또한 J(x)는 안개가 존재하지 않을 때의 영상을 나타내고, β는 대기 산란광 지수로서, 한 영상 내에서는 동일한 값을 가지며 안개의 농도가 높을수록 그 값이 높다. d(x)는 영상 내에서 정련된 픽셀의 깊이를 나타내고, A는 전역 대기 광원을 나타낸다.
이와 같이 안개를 포함하고 있는 영상의 물리학적 모델을 이용하여 안개가 존재하지 않을 때의 영상을 복원하기 위한 최종 수학식은 하기 수학식 2와 같이 표현할 수 있다.
Figure 112012107386631-pat00006
본 실시 예에서는 안개를 포함하고 있는 영상 I(x), 대기 산란광 지수 β, 정련된 픽셀 깊이 d(x) 및 전역 대기 광원 A를 상기 수학식 2에 대입함으로써 안개가 존재하지 않을 때의 영상(J(x))을 복원할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보이는 블록도 이다.
도 1을 참조하면, 영상 처리 장치(10)는 카메라(100), 깊이 추정부(200), 그레이 스케일 변환부(300), 정련부(400), 전역 대기 광원 추정부(500), 대기 산란광 계수 연산부(600) 및 복원부(700)를 포함한다.
카메라(100)는 안개가 포함된 영상(I(x))를 촬영한다. 카메라(100)는, 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 영상을 촬영하며, 입력되는 영상(또는 동영상)은 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환하여 출력한다. 또한 카메라(100)는 상하좌우 회전이 가능한 팬/틸트 구동 장치에 전동 줌 렌즈가 장착된 PTZ(pan, tilt zoom) 카메라일 수 있다. 도 4a에는 카메라(100)에 의해 촬영된 안개가 포함된 영상(I(x))을 보이고 있다.
깊이 추정부(200)는 카메라(100)로부터 수신한 안개가 포함된 영상 (I(x))에 대해, 주변 화소를 이용하여 배치 기반으로 픽셀의 깊이(
Figure 112012107386631-pat00007
)를 추정한다.
일반적으로 안개를 포함하고 있는 영상에서 가까운 곳에 존재하는 물체에 비해 거리가 먼 곳의 물체일수록 안개가 심해지기 때문에 더 뿌옇게 되는 특성을 가진다. 즉, 가까운 곳에 있는 물체에 비해 멀리 떨어진 물체일수록 RGB 각 채널의 차이는 줄어들게 된다. 도 2A 및 도 2B는 안개 농도에 따른 RGB 채널의 특성을 보이는 도면이다. 도 2A는 안개가 존재하지 않은 영상의 RGB 채널의 특성을 보이고 있고, 도 2B는 안개가 포함된 영상의 RGB 채널의 특성을 보이고 있다. 도 2A 및 도 2B를 비교해보면, 도 2B의 RGB 채널 차이가 도 2A의 RGB 채널 차이보다 작음을 알 수 있다. 이로부터 안개가 짙어질수록 RGB 채널의 차이가 줄어들게 됨을 알 수 있다.
도 3A 내지 도 3C는 안개 영상에 대한 깊이(depth)와 RGB 채널 간의 관계를 보이는 도면이다. 도 3A는 안개가 포함된 영상을 나타내고, 도 3B는 실제 영상의 상대적인 깊이 영상이고, 도 3C는 도 3A에 대해 RGB 채널간 차이를 나타내는 영상이다.
도 3C의 경우 픽셀을 기반으로 깊이가 추정되기 때문에 동일한 거리에 있는 물체임에도 불구하고 깊이 값의 차이가 발생할 수 있다. 이렇게 되면 복원 시 영상에 왜곡이 발생할 수 있다.
따라서, 이러한 문제점을 해결하기 위해 수학식 3을 이용하여, 깊이 추정부(200)는 안개를 포함하고 있는 영상 (I(x))에서 주변 화소를 이용하여 배치 기반으로 픽셀의 깊이(
Figure 112012107386631-pat00008
)를 추정한다.
Figure 112012107386631-pat00009
Figure 112012107386631-pat00010
수학식 3에서,
Figure 112012107386631-pat00011
는 픽셀의 깊이
Figure 112012107386631-pat00012
를 0-1 사이의 값으로 재조정하기 위한 노말라이즈 팩터(normalize factor) 즉, 상수를 나타낸다. 또한
Figure 112012107386631-pat00013
는 영상 내에서 임의의 픽셀(x)를 중심으로 하는 주변 N×N 블록을 나타내며, 예를 들어 3×3 블록일 수 있으며 이에 한정되는 것은 아니다. y는 N×N 블록 중 어느 한 블록의 좌표를 나타내며, 예를 들어 3×3 블록일 경우, y는 9개 블록 중 어느 한 블록의 좌표를 나타낸다.
Figure 112012107386631-pat00014
는 넓은 의미로 RGB 채널 차이를 나타낸다.
Figure 112012107386631-pat00015
는 임의의 픽셀(x)를 중심으로 하는 N×N 블록 중 RGB 채널 차이값이 가장 큰 픽셀 값을 나타낸다. 수학식 3으로부터 RGB 채널 차이값이 작을수록 픽셀이 깊이(
Figure 112012107386631-pat00016
)가 커지고, RGB 채널 차이값이 클수록 픽셀이 깊이(
Figure 112012107386631-pat00017
)가 작아짐을 알 수 있다.
수학식 3을 이용하여 깊이 추정부(200)를 더욱 상세히 설명하면, 깊이 추정부(200)는 안개를 포함하고 있는 영상 (I(x))에서 임의의 픽셀(x)를 중심 블록으로 하는 N×N 블록을 설정한다. N×N 블록 설정 후, N×N 블록에 포함되는 각 블록에 대하여 RGB 채널간 차이값을 구한다. 이 중 가장 큰 RGB 채널 차이값을 N×N 블록의 중심 블록값으로 변환시킨 후, 중심 블록의 RGB 채널 차이값을 픽셀 깊이(
Figure 112012107386631-pat00018
)로 추정한다. 예를 들어, 3×3 블록에서, 각 블록 (1,1), (1,2), (1,3), (2,1), (2,2), (2,3), (3,1), (3,2), (3,3)에 대한 RGB 채널 차이값을 구하고, 이 중 가장 큰 RGB 채널 차이값을 (2,2)의 값으로 변환시키고 이를 픽셀 깊이(
Figure 112012107386631-pat00019
)로 추정한다. 이와 같은 방식으로 깊이 추정부(200)는 안개를 포함하고 있는 영상 (I(x)) 내에서 N×N 블록을 픽셀 단위로 시프트 해가면서, 전체 영상에서 픽셀의 깊이(
Figure 112012107386631-pat00020
)를 추정할 수 있게 된다. 도 4b는 도 4a 영상에 대한 픽셀 깊이(
Figure 112012107386631-pat00021
) 영상을 보이고 있다.
그레이 스케일 변환부(300)는 카메라(100)로부터 수신한 안개가 포함된 영상 (I(x))을 그레이 스케일 영상(G(x))로 변환한다. 그레이 스케일 변환부(300)는 안개가 포함된 3차원 영상을 1차원 영상으로 변환한다고 할 수 있다.
정련부(400)는 그레이 스케일 변환된 안개 영상(G(x)) 및 픽셀 깊이(
Figure 112012107386631-pat00022
) 영상을 가이디드(guided) 필터링하여 픽셀 깊이(
Figure 112012107386631-pat00023
) 영상을 정련한다. 주변 화소를 이용하여 배치 기반으로 추정된 픽셀의 깊이(
Figure 112012107386631-pat00024
) 영상의 경우, 에지 부근에서 블록 아티팩트(artifact) 현상이 발생할 수 있기 때문에, 정련부(400)는 가이디드 필터링을 통하여 픽셀 깊이(
Figure 112012107386631-pat00025
) 영상의 에지를 원 영상의 에지와 유사하게 보존하면서 그 외의 부분을 부드럽게 처리(smoothing)한다.
가이디드 필터링을 이용하여 픽셀 깊이(
Figure 112012107386631-pat00026
) 영상의 정련은 하기 수학식 4와 같이 표현할 수 있다.
Figure 112012107386631-pat00027
Figure 112012107386631-pat00028
Figure 112012107386631-pat00029
수학식 4에서,
Figure 112012107386631-pat00030
는 픽셀 깊이(
Figure 112012107386631-pat00031
) 영상의 정련 결과를 나타내고,
Figure 112012107386631-pat00032
는 임의의 픽셀(k)를 중심으로 하는 M×M 블록을 나타내며, 예를 들어 3×3 블록일 수 있으며 이에 한정되는 것은 아니다.
Figure 112012107386631-pat00033
는 M×M 블록에서의 전체 픽셀 개수를 나타내며, 예를 들어, 3×3 블록일 경우,
Figure 112012107386631-pat00034
는 9이다. k는 M×M 블록의 픽셀 좌표를 나타내며, 예를 들어, 3×3 블록인 경우, k는 (1,1), (1,2), (1,3), (2,1), (2,2), (2,3), (3,1), (3,2), (3,3)이다. i는 연산하고자 하는 픽셀 좌표를 나타내며, 예를 들어, 3×3 블록에서 (2,2)일 수 있다.
Figure 112012107386631-pat00035
는 연산 하고자 하는 픽셀 좌표 i에서의 그레이 스케일 값을 나타내고,
Figure 112012107386631-pat00036
및
Figure 112012107386631-pat00037
는 가이디드 필터 계수를 나타낸다.
Figure 112012107386631-pat00038
는 연산 하고자 하는 픽셀 좌표 i에서의 픽셀 깊이 값을 나타낸다.
Figure 112012107386631-pat00039
는 그레이 스케일 변환된 영상에서 M×M 블록의 픽셀 평균값을 나타내고,
Figure 112012107386631-pat00040
는 픽셀 깊이 영상에서 M×M 블록의 픽셀 평균값을 나타낸다.
Figure 112012107386631-pat00041
는 그레이 스케일 변환된 영상에서 M×M 블록의 분산값을 나타내고,
Figure 112012107386631-pat00042
는
Figure 112012107386631-pat00043
가 0으로 나누어 지거나 너무 커지는 것을 방지하기 위한 정규화 변수로 예를 들어,
Figure 112012107386631-pat00044
로 설정될 수 있다.
가이디드 필터 계수
Figure 112012107386631-pat00045
는 첫째, 그레이 스케일 변환된 영상내의 임의의 픽셀(k)을 중심 블록으로 하는 M×M 블록에서, 연산 하고자 하는 임의의 블록 좌표 i에서의 그레이 스케일 값과 픽셀 깊이 값을 곱하여 M×M 블록에서의 전체 픽셀 개수로 나눈 제1 값을 연산한다. 둘째, 그레이 스케일 변환된 영상 내의 M×M 블록에서 픽셀 평균값 및 픽셀 깊이 영상 내의 M×M 블록에서 픽셀 평균값을 곱한 제2 값을 연산한다. 셋째, 그레이 스케일 변환된 영상 내의 M×M 블록에서의 분산값과 정규화 변수를 가산한 제3 값을 연산한다. 최종적으로, 가이디드 필터 계수
Figure 112012107386631-pat00046
는 제1 값 및 제2 값의 감산 결과를 제3 값으로 나눈 값이 된다.
가이디드 필터 계수
Figure 112012107386631-pat00047
는 픽셀 깊이 영상의 M×M 블록에서 픽셀 평균값에서, 가이디드 필터 계수
Figure 112012107386631-pat00048
및 그레이 스케일 변환된 영상의 M×M 블록에서 픽셀 평균값의 곱을 감산한 값이다.
결론적으로, 정련부(400)는 그레이 스케일 변환된 영상의 M×M 블록 내 임의의 좌표 i에서 가이디드 필터 계수
Figure 112012107386631-pat00049
및 그레이 스케일 변환된 영상
Figure 112012107386631-pat00050
의 곱에 가이디드 필터 계수
Figure 112012107386631-pat00051
를 합한 값을, M×M 블록에서의 전체 픽셀 개수로 나누어 정련 결과로 출력한다. 도 4c는 정련 결과(
Figure 112012107386631-pat00052
) 영상을 보이고 있다.
본 실시 예에서는 정련부(400)가 가이디드 필터를 이용하고 있으나, 이에 국한되지 않고, WLS(weighted least square) 필터 또는 에지 보존 스무딩 필터 등을 사용할 수도 있다.
전역 대기 광원 추정부(500)는 정련 결과(
Figure 112012107386631-pat00053
) 영상으로부터 전역 대기 광원(A)을 추정한다. 전역 대기 광원(A)은 안개가 포함된 영상에서 깊이가 무한대인 영역의 픽셀값을 나타낸다. 전역 대기 광원 추정부(500)는 정련 결과(
Figure 112012107386631-pat00054
) 영상으로부터 상위 5%의 픽셀값을 갖는 픽셀들을 추출하고, 이 픽셀들 중 가장 높은 픽셀값을 안개가 포함된 영상에서의 전역 대기 광원(A)으로 추정한다.
대기 산란광 지수 연산부(600)는 그레이 스케일 변환된 영상의 표준 편차를 이용하여 대기 산란광 지수(β)를 연산한다. 대기 산란광 지수(β)는 안개의 농도를 나타내는 척도 값으로서, 대기 산란광 지수(β) 값이 클수록 안개 농도가 짙고, 대기 산란광 지수(β) 값이 작을수록 안개 농도가 옅다고 할 수 있다. 일반적으로 안개가 짙은 영상의 경우 대조비가 낮기 때문에 영상의 표준 편차가 낮은 경향을 보인다. 따라서 수학식 5와 같이 그레이 스케일 변환된 영상의 표준 편차를 이용하여 대기 산란광 지수(β)를 구할 수 있다.
Figure 112012107386631-pat00055
수학식 5에서
Figure 112012107386631-pat00056
는 그레이 스케일 변환된 영상의 표준 편차를 나타낸다. 수학식 5를 참조하면, 대기 산란광 지수 연산부(600)는 제1 자연수, 예를 들여 1에서 그레이 스케일 변환된 영상의 표준 편차를 감산한 값을 대기 산란광 지수(β)로 연산한다.
복원부(700)는 카메라(100)에서 촬영한 안개가 포함된 영상(I(x)), 정련부(400)에서 정련된 픽셀 깊이(d(x)), 대기 산란광 추정부(500)에서 추정한 대기 산란광(A) 및 대기 산란광 지수 연산부(600)에서 연산한 대기 산란광 지수(β)를 상기 수학식 2에 대입하여 안개가 존재하지 않을 때의 영상(J(x))를 복원한다.
이와 같이 안개로 인해 품질이 열화된 영상을 복원함으로써 영상의 대조비나 색감을 향상시킬 수 있다.
도 5는 본 발명의 일 실시 예에 따른 영상 처리 방법의 동작을 보이는 흐름도 이다. 이하의 설명에서, 도 1 내지 도 4에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 5를 참조하면, 영상 처리 장치(10)는 카메라를 통하여 안개가 포함된 영상을 획득하는 단계(S10)를 수행한다.
안개가 포함된 영상이 획득되면, 영상 처리 장치(10)는 안개가 포함된 영상으로부터 RGB 채널간 차이를 이용하여 픽셀 깊이를 추정하는 단계(S20)를 수행한다. 픽셀의 깊이 추정 시에 영상 처리 장치(10)는 안개가 포함된 영상 내의 임의의 픽셀을 중심 블록으로 하는 N×N 블록을 설정하고, N×N 블록에 포함되는 각 블록에 대해 RGB 채널간 차이값을 구한다. 이후, 가장 큰 RGB 채널간 차이값을 N×N 블록의 중심 블록값으로 변환시키고, 중심 블록의 RGB 채널간 차이값을 픽셀 깊이로 추정한다.
픽셀 깊이 추정이 완료되면 영상 처리 장치(10)는 픽셀 깊이가 추정된 영상을 필터링하여 정련하는 단계(S30)를 수행한다. 여기서 영상 처리 장치(10)는 안개가 포함된 영상을 그레이 스케일 변환하는 단계를 더 포함할 수 있다. 영상 처리 장치(10)는 먼저, 그레이 스케일 변환된 영상 및 픽셀 깊이가 추정된 영상으로부터 제1 필터 계수를 한다. 다음에, 그레이 스케일 변환된 영상, 픽셀 깊이가 추정된 영상 및 제1 필터 계수를 이용하여 제2 필터 계수를 구한다. 마지막으로, 제1 필터 계수 및 그레이 스케일 변환된 영상의 곱과 제2 필터 계수를 합산한 결과값이 정련 결과가 된다. 제1 필터 계수를 구할 때, 영상 처리 장치(10)는 그레이 스케일 변환된 영상내의 임의의 픽셀을 중심 블록으로 하는 M×M 블록 중, 임의의 블록에서의 그레이 스케일 값과 픽셀 깊이 값을 곱하고, M×M 블록의 개수로 나눈 제1-1 값을 연산한다. 다음에, 그레이 스케일 변환된 영상 내의 M×M 블록에서의 픽셀 평균값 및 픽셀 깊이 영상 내의 M×M 블록에서의 픽셀 평균값을 곱한 제1-2 값을 연산한다. 다음에, 그레이 스케일 변환된 영상 내의 M×M 블록에서의 분산값과 정규화 변수를 가산한 제1-3 값을 연산한다. 최종적으로 영상 처리 장치(10)는 제1-1 값 및 제1-2 값의 감산 결과를 제1-3 값으로 나눈 값을 제1 필터 계수로 구한다. 또한 제2 필터 계수를 구할 때, 영상 처리 장치(10)는 픽셀 깊이 영상 내의 M×M 블록에서 픽셀 평균값을 제2-1 값으로 연산한다. 다음에, 제1 필터 계수 및 그레이 스케일 변환된 영상 내의 M×M 블록에서 픽셀 평균값의 곱을 제2-2 값으로 연산한다. 최종적으로 영상 처리 장치(10)는 제2-1 값에서 제2-2 값을 감산한 결과를 제2 필터 계수로 구한다.
픽셀 깊이가 추정된 영상의 정련이 완료되면, 영상 처리 장치(10)는 픽셀 깊이가 정련된 영상으로부터 전역 대기 광원을 추정하는 단계(S40)를 수행한다. 전역 대기 광원 추정 시에, 영상 처리 장치(10)는 픽셀 깊이가 정련된 영상으로부터 상위 5%에 해당하는 픽셀값을 추출하고, 추출된 픽셀값들 중 가장 높은 픽셀값을 안개가 포함된 영상에서의 전역 대기 광원으로 추정한다.
대기 산란광 추정이 완료되면, 영상 처리 장치(10)는 그레이 스케일 변환된 영상으로부터 대기 산란광 지수를 연산하는 단계(S50)를 수행한다. 영상 처리 장치(10)는 1에서 그레이 스케일 변환된 영상의 표준 편차를 감산한 값을 대기 산란광 지수로 연산한다.
대기 산란광 지수 연산이 완료되면, 영상 처리 장치(10)는 안개가 포함된 영상, 정련된 픽셀 깊이, 대기 산란광 및 대기 산란광 지수를 수학식 2에 적용하여 안개가 존재하지 않는 영상을 복원하는 단계(S60)를 수행한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
10: 영상 처리 장치
100: 카메라
200: 깊이 추정부
300: 그레이 스케일 변환부
400: 정련부
500: 전역 대기 광원 추정부
600: 대기 산란광 지수 연산부
700: 복원부

Claims (19)

  1. 안개가 포함된 영상으로부터 RGB 채널간 차이를 이용하여 픽셀 깊이를 추정하는 단계;
    상기 안개가 포함된 영상을 그레이 스케일 영상으로 변환하는 단계;
    상기 픽셀 깊이를 추정한 영상 및 상기 그레이 스케일 영상을 필터링하여 정련하는 단계;
    상기 정련 결과 영상으로부터 전역 대기 광원을 추정하는 단계;
    상기 그레이 스케일 영상으로부터 대기 산란광 지수를 연산하는 단계; 및
    상기 안개가 포함된 영상, 상기 정련 결과 영상에 대응하는 픽셀 깊이, 상기 전역 대기 광원 및 상기 대기 산란광 지수를 이용하여 안개가 존재하지 않는 영상을 복원하는 단계;를 포함하고,
    상기 전역 대기 광원을 추정하는 단계는,
    상기 정련 결과 영상으로부터 상위 소정%에 해당하는 픽셀값을 추출하는 단계; 및
    상기 추출된 픽셀값들 중 가장 높은 픽셀값을 상기 안개가 포함된 영상에서의 전역 대기 광원으로 추정하는 단계;를 포함하고,
    상기 대기 산란광 지수를 연산하는 단계는,
    제1 자연수에서 상기 그레이 스케일 영상의 표준 편차를 감산한 값을 대기 산란광 지수로 연산하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
  2. 제 1항에 있어서, 상기 픽셀 깊이를 추정하는 단계는,
    상기 안개가 포함된 영상 내의 임의의 픽셀을 중심 블록으로 하는 N×N 블록을 설정하는 단계;
    상기 N×N 블록에 포함되는 각 블록에 대해 상기 RGB 채널간 차이값을 구하는 단계;
    가장 큰 RGB 채널간 차이값을 상기 N×N 블록의 중심 블록값으로 변환시키는 단계; 및
    상기 중심 블록의 RGB 채널간 차이값을 픽셀 깊이로 추정하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
  3. 삭제
  4. 제 2항에 있어서, 상기 정련하는 단계는,
    상기 그레이 스케일 영상 및 상기 픽셀 깊이를 추정한 영상으로부터 제1 필터 계수를 구하는 단계;
    상기 그레이 스케일 영상, 상기 픽셀 깊이를 추정한 영상 및 상기 제1 필터 계수를 이용하여 제2 필터 계수를 구하는 단계; 및
    상기 제1 필터 계수 및 상기 그레이 스케일 영상의 곱과 상기 제2 필터 계수를 합산한 결과로 정련하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제 1항에 있어서, 상기 안개가 존재하지 않는 영상을 복원하는 단계에서,
    상기 안개가 존재하지 않는 영상(J(x))은 하기 수학식
    Figure 112016114796560-pat00057

    에 의해 복원 되고, 상기 수학식에서 A는 전역 대기 광원을, I(x)는 안개를 포함하고 있는 영상을, β는 대기 산란광 지수를, d(x)는 정련 결과 영상에 대응하는 픽셀 깊이를 나타내는 것을 특징으로 하는 영상 처리 방법.
  10. 안개가 포함된 영상으로부터 RGB 채널간 차이를 이용하여 픽셀 깊이를 추정하는 제1 추정부;
    상기 안개가 포함된 영상을 그레이 스케일 영상으로 변환하는 변환부;
    상기 픽셀 깊이를 추정한 영상 및 상기 그레이 스케일 영상을 필터링하여 정련하는 정련부;
    상기 정련 결과 영상으로부터 전역 대기 광원을 추정하는 제2 추정부;
    상기 그레이 스케일 영상으로부터 대기 산란광 지수를 연산하는 연산부; 및
    상기 안개가 포함된 영상, 상기 정련 결과 영상에 대응하는 픽셀 깊이, 상기 전역 대기 광원 및 상기 대기 산란광 지수를 이용하여 안개가 존재하지 않는 영상을 복원하는 복원부;를 포함하고,
    상기 제2 추정부는,
    상기 정련 결과 영상으로부터 상위 소정%에 해당하는 픽셀값을 추출하고, 상기 추출된 픽셀값들 중 가장 높은 픽셀값을 상기 안개가 포함된 영상에서의 전역 대기 광원으로 추정하고,
    상기 연산부는,
    제1 자연수에서 상기 그레이 스케일 영상의 표준 편차를 감산한 값을 대기 산란광 지수로 연산하는 것을 특징으로 하는 영상 처리 장치.
  11. 제 10항에 있어서, 상기 제1 추정부는,
    상기 안개가 포함된 영상 내의 임의의 픽셀을 중심 블록으로 하는 N×N 블록을 설정하고, 상기 N×N 블록에 포함되는 각 블록에 대해 상기 RGB 채널간 차이값을 구하고, 가장 큰 RGB 채널간 차이값을 상기 N×N 블록의 중심 블록값으로 변환시킨 후, 상기 중심 블록의 RGB 채널간 차이값을 픽셀 깊이로 추정하는 것을 특징으로 하는 영상 처리 장치.
  12. 삭제
  13. 제 10항에 있어서, 상기 정련부는,
    상기 그레이 스케일 영상 및 상기 픽셀 깊이를 추정한 영상으로부터 제1 및 제2 필터 계수를 구하고, 상기 제1 필터 계수 및 상기 그레이 스케일 영상의 곱과 상기 제2 필터 계수를 합산한 결과로 정련하는 것을 특징으로 하는 영상 처리 장치.
  14. 제 13항에 있어서, 상기 정련부는,
    상기 제1 필터 계수를 구할 때, 상기 그레이 스케일 영상 내의 임의의 픽셀을 중심 블록으로 하는 M×M 블록 중, 임의의 블록에서의 그레이 스케일 값과 픽셀 깊이 값을 곱하고, M×M 블록의 개수로 나눈 제1-1 값을 연산하고,
    상기 그레이 스케일 영상 내의 M×M 블록에서의 픽셀 평균값 및 픽셀 깊이 영상 내의 M×M 블록에서의 픽셀 평균값을 곱한 제1-2 값을 연산하고,
    상기 그레이 스케일 영상 내의 M×M 블록에서의 분산값과 정규화 변수를 가산한 제1-3 값을 연산하고,
    상기 제1-1 값 및 상기 제1-2 값의 감산 결과를 상기 제1-3 값으로 나눈 제1 필터 계수를 구하는 것을 특징으로 하고,
    상기 정련부는,
    상기 제2 필터 계수를 구할 때, 상기 픽셀 깊이 영상 내의 M×M 블록에서 픽셀 평균값을 제2-1 값으로 연산하고,
    상기 제1 필터 계수 및 상기 그레이 스케일 영상 내의 M×M 블록에서 픽셀 평균값의 곱을 제2-2 값으로 연산하고,
    상기 제2-1 값에서 상기 제2-2 값을 감산한 제2 필터 계수를 구하는 것을 특징으로 하는 영상 처리 장치.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
KR1020120152490A 2012-12-24 2012-12-24 영상 처리 장치 및 방법 KR101736468B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120152490A KR101736468B1 (ko) 2012-12-24 2012-12-24 영상 처리 장치 및 방법
US13/738,543 US8934711B2 (en) 2012-12-24 2013-01-10 Apparatus and method of processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120152490A KR101736468B1 (ko) 2012-12-24 2012-12-24 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140091094A KR20140091094A (ko) 2014-07-21
KR101736468B1 true KR101736468B1 (ko) 2017-05-29

Family

ID=50974746

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120152490A KR101736468B1 (ko) 2012-12-24 2012-12-24 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US8934711B2 (ko)
KR (1) KR101736468B1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058657B2 (en) 2011-04-28 2015-06-16 Technologies Holdings Corp. System and method for filtering data captured by a 3D camera
WO2013018101A1 (en) * 2011-08-03 2013-02-07 Indian Institute Of Technology, Kharagpur Method and system for removal of fog, mist or haze from images and videos
EP3156968B1 (en) 2014-06-12 2019-02-27 EIZO Corporation Haze removal device and image generation method
CN105096311A (zh) * 2014-07-01 2015-11-25 中国科学院科学传播研究中心 基于gpu的深度图修复和虚实场景结合技术
CN105847749A (zh) * 2016-04-13 2016-08-10 青岛智慧城市产业发展有限公司 一种复杂环境下的视频监控图像处理技术
CN106131412B (zh) * 2016-07-12 2019-04-30 浙江宇视科技有限公司 一种图像处理方法、系统及电子设备
CN106709901B (zh) * 2016-11-10 2019-10-11 西安电子科技大学 基于深度先验的模拟雾图生成方法
US10528842B2 (en) * 2017-02-06 2020-01-07 Mediatek Inc. Image processing method and image processing system
CN107295261B (zh) * 2017-07-27 2020-05-26 Oppo广东移动通信有限公司 图像去雾处理方法、装置、存储介质和移动终端
CN107341782B (zh) * 2017-07-27 2020-01-10 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
US10752158B2 (en) * 2018-02-07 2020-08-25 Massachusetts Institute Of Technology Methods and apparatus for imaging through fog
CN108335275B (zh) * 2018-02-13 2019-12-13 腾讯科技（深圳）有限公司 图像增强方法、装置、计算设备及存储介质
CN109242821A (zh) * 2018-07-17 2019-01-18 深圳大学 基于图像质量评价的空气质量评价方法、系统、设备及存储介质
WO2020014863A1 (zh) * 2018-07-17 2020-01-23 深圳大学 基于图像质量评价的空气质量评价方法、系统、设备及存储介质
JP6971933B2 (ja) * 2018-08-07 2021-11-24 株式会社東芝 画像処理装置及び撮像装置
CN109460755A (zh) * 2018-10-29 2019-03-12 北京航天宏图信息技术股份有限公司 一种绿光估计模型训练方法及装置、影像合成方法及装置
CN113840123A (zh) * 2020-06-24 2021-12-24 上海赫千电子科技有限公司 一种车载图像的图像处理装置、汽车
KR102417617B1 (ko) * 2020-12-18 2022-07-05 주식회사 평강비아이엠 지능형 야간 탐색 시스템
CN113076997B (zh) * 2021-03-31 2023-01-03 南昌欧菲光电技术有限公司 镜头带雾识别方法、摄像模组及终端设备
US11803942B2 (en) * 2021-11-19 2023-10-31 Stmicroelectronics (Research & Development) Limited Blended gray image enhancement

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310509A (ja) 2007-06-13 2008-12-25 Hokkaido Univ 画像処理装置，運転支援装置
JP2010287183A (ja) * 2009-06-15 2010-12-24 Denso Corp 霧画像復元装置及び運転支援システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7034828B1 (en) * 2000-08-23 2006-04-25 Nintendo Co., Ltd. Recirculating shade tree blender for a graphics system
JP2004289276A (ja) 2003-03-19 2004-10-14 Hitachi Kokusai Electric Inc テレビジョンカメラ
JP5594711B2 (ja) * 2008-02-26 2014-09-24 ギブン イメージング リミテッド 生体内画像コントラストを強化するための方法
KR101518722B1 (ko) 2008-08-18 2015-05-15 삼성테크윈 주식회사 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치
US8396324B2 (en) * 2008-08-18 2013-03-12 Samsung Techwin Co., Ltd. Image processing method and apparatus for correcting distortion caused by air particles as in fog
AU2009344148B2 (en) * 2009-04-09 2015-10-22 Commonwealth Scientific And Industrial Research Organisation Enhancing image data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008310509A (ja) 2007-06-13 2008-12-25 Hokkaido Univ 画像処理装置，運転支援装置
JP2010287183A (ja) * 2009-06-15 2010-12-24 Denso Corp 霧画像復元装置及び運転支援システム

Also Published As

Publication number Publication date
US8934711B2 (en) 2015-01-13
US20140177960A1 (en) 2014-06-26
KR20140091094A (ko) 2014-07-21

Similar Documents

Publication Publication Date Title
KR101736468B1 (ko) 영상 처리 장치 및 방법
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
KR102104403B1 (ko) 단일영상 내의 안개 제거 방법 및 장치
Gibson et al. Fast single image fog removal using the adaptive Wiener filter
Park et al. Single image dehazing with image entropy and information fidelity
KR101298642B1 (ko) 영상 잡음 제거 방법 및 장치
KR101108435B1 (ko) 의사윤곽 제거 방법 및 이 방법이 적용되는 디스플레이장치
US9135683B2 (en) System and method for temporal video image enhancement
US20100135575A1 (en) Apparatus and method for reducing artifacts in images
Shiau et al. VLSI design of an efficient flicker-free video defogging method for real-time applications
KR20140017776A (ko) 영상 처리 장치 및 영상 내의 안개 제거 방법
KR101788660B1 (ko) 단일 영상 내의 안개 제거 장치 및 방법
CN110796615A (zh) 一种图像去噪方法、装置以及存储介质
KR101001676B1 (ko) 화소 분류를 이용한 에지보존 디블로킹 필터
Dai et al. Film grain noise removal and synthesis in video coding
Kim et al. A novel framework for extremely low-light video enhancement
Mathur et al. Enhancement of nonuniformly illuminated underwater images
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
Pandey et al. A fast and effective vision enhancement method for single foggy image
KR101394361B1 (ko) 알파매트 추정과 영상 합성을 이용한 단일 영상의 안개 제거 장치 및 방법
CN114140481A (zh) 一种基于红外图像的边缘检测方法、装置
CN112825189B (zh) 一种图像去雾方法及相关设备
Ghazal et al. Structure-oriented multidirectional wiener filter for denoising of image and video signals
Kim et al. Robust Pixel-wise Dehazing Algorithm based on Advanced Haze-Relevant Features.
Kim Edge-preserving and adaptive transmission estimation for effective single image haze removal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant