KR102058775B1 - 화상 처리 장치, 화상 처리 방법 및 기억 매체 - Google Patents

화상 처리 장치, 화상 처리 방법 및 기억 매체 Download PDF

Info

Publication number
KR102058775B1
KR102058775B1 KR1020160111492A KR20160111492A KR102058775B1 KR 102058775 B1 KR102058775 B1 KR 102058775B1 KR 1020160111492 A KR1020160111492 A KR 1020160111492A KR 20160111492 A KR20160111492 A KR 20160111492A KR 102058775 B1 KR102058775 B1 KR 102058775B1
Authority
KR
South Korea
Prior art keywords
luminance
image
average value
unit
transmittance
Prior art date
Application number
KR1020160111492A
Other languages
English (en)
Other versions
KR20170027301A (ko
Inventor
히사토 세키네
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20170027301A publication Critical patent/KR20170027301A/ko
Application granted granted Critical
Publication of KR102058775B1 publication Critical patent/KR102058775B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H04N5/2351—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H04N5/2353—
    • H04N5/243—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

콘트라스트 보정이 각각의 국소 영역에 대해 수행된 화상의 밝기를 조정할 수 있다. 산란광 성분을 제거하기 위한 콘트라스트 보정이 각각의 국소 영역에 대해 수행된 처리 화상의 밝기를 조정하는 화상 처리 장치는, 콘트라스트 보정이 각각의 국소 영역에 대해 수행되기 전의 입력 화상의 휘도 및 휘도에 대응하는 투과율에 기초하여, 처리 화상의 휘도를 추정하도록 구성된 추정 유닛, 입력 화상의 휘도 및 추정 유닛에 의해 추정된 처리 화상의 휘도에 기초하여 노출 보정 파라미터를 산출하도록 구성된 파라미터 산출 유닛, 및 노출 보정 파라미터를 사용하여 처리 화상에 대한 노출 보정을 수행하도록 구성된 노출 보정 유닛을 포함한다.

Description

화상 처리 장치, 화상 처리 방법 및 기억 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM}
본 발명은 미립자에 의한 산란광의 영향을 저감하는 화상 처리에 관한 것이다.
감시 카메라 등의 분야에서, 카메라와 피사체 사이에 존재하는 미립자(예를 들어, 티끌, 먼지, 안개)로 인한 촬상 화상의 화질 저하가 문제되고 있다. 화질 저하는 광이 공기를 통과하는 동안 미립자에 의해 산란되고 그 결과, 촬영된 화상의 콘트라스트가 저하되는 것에 의해 발생된다. 광의 산란 정도는 피사체까지의 거리에 의해 변한다. 이로 인해, 피사체까지의 상이한 거리가 혼합하여 존재하는 씬(scene)이 촬영되는 경우, 콘트라스트의 저하 정도가 화상 영역마다 상이한 화상이 취득될 가능성이 있다. 이렇게 콘트라스트가 저하된 화상에 대한 일반적인 콘트라스트 보정 기술로서, 촬영된 화상으로부터 히스토그램을 산출하고 히스토그램에 기초하여 화상을 보정하는 기술이 있다(일본 특허 제3614692호 참조). 그러나, 일본 특허 제3614692호에 기재된 방법에 의해서는, 콘트라스트 저하 정도가 영역마다 상이한 화상을 충분히 보정하는 것이 불가능하다. 따라서, 각각의 영역에 대해 콘트라스트 저하를 보정하는 기술로서, 다크 채널 프라이어(dark channel prior)를 사용하는 기술이 있다(미국 특허 제8340461호 참조). 이 기술에서, 촬영된 화상의 국소 영역에서의 RGB 최소값(다크 채널)으로부터, 미립자에 의한 광의 산란 정도가 추정되고 각각의 국소 영역에 대해 콘트라스트 보정이 수행된다.
그러나, 미국 특허 제8340461호에 기재된 방법을 사용하여 각각의 국소 영역에 대한 콘트라스트 보정이 수행되는 경우, 전체 화상의 밝기를 보장할 수 없고, 따라서 전체 화상의 밝기가 적정 밝기에 비해 밝아지거나 어두워질 가능성이 있다.
이로 인해, 본 발명의 목적은 각각의 국소 영역에 대해 콘트라스트 보정이 수행된 화상의 밝기를 적정 밝기로 조정하는 것이다.
본 발명에 따르는 화상 처리 장치는 산란광 성분을 제거하기 위한 콘트라스트 보정이 각각의 국소 영역에 대해 수행된 처리 화상의 밝기를 조정하는 화상 처리 장치이며, 콘트라스트 보정이 각각의 국소 영역에 대해 수행되기 전의 입력 화상의 휘도 및 휘도에 대응하는 투과율에 기초하여, 처리 화상의 휘도를 추정하도록 구성된 추정 유닛, 입력 화상의 휘도 및 추정 유닛에 의해 추정된 처리 화상의 휘도에 기초하여 노출 보정 파라미터를 산출하도록 구성된 파라미터 산출 유닛, 및 노출 보정 파라미터를 사용하여 처리 화상에 대한 노출 보정을 수행하도록 구성된 노출 보정 유닛을 포함한다.
본 발명의 추가 특징은 (첨부 도면을 참조하여) 예시적인 실시예의 이하의 상세한 설명으로부터 명백해질 것이다.
도 1은 제1 실시예의 화상 처리 장치의 하드웨어 구성을 도시하는 블록도.
도 2는 제1 실시예의 화상 처리 장치의 소프트웨어 구성을 도시하는 블록도.
도 3은 제1 실시예의 화상 처리 장치의 처리를 도시하는 흐름도.
도 4는 산란광 제거 처리 유닛의 내부 구성을 도시하는 블록도.
도 5는 산란광 제거 처리 유닛의 처리를 도시하는 흐름도.
도 6은 다크 채널 추출 유닛이 소정의 관심 화소에 대응하는 다크 채널을 도출하는 처리를 도시하는 개략도.
도 7은 기준 강도 산출 유닛의 처리를 도시하는 흐름도.
도 8a 내지 도 8d는 참조 화소값의 추출 방법을 설명하기 위한 설명도.
도 9는 제1 실시예의 노출 보정 파라미터 산출 유닛의 내부 구성을 도시하는 블록도.
도 10은 제1 실시예의 노출 보정 파라미터 산출 유닛의 처리를 도시하는 흐름도.
도 11a 내지 도 11b는 평균 휘도에 대응하는 투과율을 탐색하는 처리를 설명하기 위한 설명도.
도 12a 내지 도 12d는 제1 실시예의 효과를 설명하기 위한 설명도.
도 13은 제2 실시예의 노출 보정 파라미터 산출 유닛의 내부 구성을 도시하는 블록도.
도 14는 제2 실시예의 노출 보정 파라미터 산출 유닛의 처리를 도시하는 흐름도.
[제1 실시예]
도 1은 제1 실시예에의 화상 처리 장치(101)의 하드웨어 구성을 도시하는 블록도이다. 도 1에서, 본 실시예의 화상 처리 장치(101)를 구비한 촬상 장치가 도시된다. 도 1에 도시된 촬상 장치는 화상 처리 장치(101)에 추가로, 외부 메모리(110), 촬상 유닛(111), 및 표시 유닛을 포함한다. 외부 메모리(110)는 촬상 장치로부터 제거 가능하게 구성될 수 있다. 즉, 촬상 장치는 외부 메모리(110)를 포함하지 않을 수 있다.
화상 처리 장치(101)는 CPU(102), RAM(103), ROM(104), HDD I/F(105), HDD(106), 입력 I/F(107), 출력 I/F(108), 및 시스템 버스(109)를 포함한다.
CPU(102)는 화상 처리 장치(101)의 각각의 구성요소를 통괄적으로 제어하는 프로세서이다.
RAM(103)은 CPU(102)의 주 메모리 또는 CPU(102)의 작업 영역으로서 기능하는 메모리이다.
ROM(104)은 화상 처리 장치(101)에서 수행되는 처리를 담당하는 프로그램을 저장하는 메모리이다.
HDD I/F(105)는 시리얼 ATA(SATA) 등의 인터페이스이다. HDD I/F(105)는 2차 기억 장치인 HDD(106)를 시스템 버스(109)에 접속한다. CPU(102)는 HDD I/F(105)를 개재하여 HDD(106)로부터 데이터를 판독하고 및 HDD(106)에 데이터를 기입할 수 있다. 또한, CPU(102)는 HDD(106)에 저장된 데이터를 RAM(103)에 전개하고 RAM(103)에 전개된 데이터를 HDD(106)에 저장할 수도 있다. 본 실시예에서, CPU(102)는 ROM(104) 또는 HDD(106)에 저장된 프로그램, 예를 들어 각각의 구성요소를 통괄적으로 제어하기 위한 프로그램을 RAM(103)에 전개하고 프로그램을 실행한다.
HDD(106)는 하드디스크 드라이브(HDD) 등의 2차 기억 장치이다. HDD(106)는 HDD 외에, 광디스크 드라이브 등의 기억 장치일 수 있다.
입력 I/F(107)는 USB 및 IEEE1394 등의 시리얼 버스 인터페이스이다. 화상 처리 장치(101)는 입력 I/F(107)를 개재하여 외부 메모리(110) 및 촬상 유닛(111)에 접속된다. CPU(102)는 입력 I/F(107)를 개재하여 외부 메모리(110) 및 촬상 유닛(111)으로부터 데이터를 취득할 수 있다.
출력 I/F(108)는 DVI(Digital Visual Interface) 및 HDMI(등록 상표)(High-Definition Multimedia Interface) 등의 영상 출력 인터페이스이다. 화상 처리 장치(101)는 출력 I/F(108)를 개재하여 표시 유닛(112)에 접속된다.
시스템 버스(109)는 각종 데이터의 전송 경로이다. 화상 처리 장치(101)의 각각의 구성요소는 시스템 버스(109)를 개재하여 서로 접속된다.
외부 메모리(110)는 하드 디스크, 메모리 카드, CF 카드, SD 카드, 및 USB 메모리 등의 기억 매체다. 외부 메모리(110)는 화상 처리 장치(101)에 의해 처리된 화상 데이터 등을 저장한다.
촬상 유닛(111)은 피사체의 광 정보를 수신하고 화상을 취득한다. 촬상 유닛(111)은 취득된 화상을 디지털 데이터로서 출력한다. 이하, 촬상 유닛(111)에 의해 출력된 디지털 데이터는 화상 데이터로 지칭된다.
표시 유닛(112)은 디스플레이 등의 표시 장치이다. 본 실시예에서, CPU(102)는 출력 I/F(108)를 개재하여 표시 유닛(112)에 화상 데이터를 출력하고 표시 유닛(112)은 입력 화상 데이터에 의해 나타나는 화상을 표시한다.
상술된 바와 같이, 촬상 유닛(111)과 피사체 사이에 먼지 등의 미립자가 존재하는 경우, 촬상 유닛(111)에 의해 취득되는 화상의 콘트라스트는 광 산란에 의해 저하된다. 따라서, 본 실시예에서, 화상 처리 장치(101)는 촬상 유닛(111)에 의해 출력되는 화상 데이터에 처리를 수행함으로써 산란광의 영향이 저감된 화상 데이터를 생성한다.
[전체 처리의 흐름]
도 2는 제1 실시예의 화상 처리 장치(101)의 소프트웨어 구성을 도시하는 블록도이다. 도 2에 도시된 바와 같이, 화상 처리 장치(101)는 촬영 실행 유닛(1011), 현상 처리 유닛(1012), 산란광 제거 처리 유닛(1013), 노출 보정 파라미터 산출 유닛(1014), 노출 보정 유닛(1015), 감마 보정 유닛(1016), 및 화상 출력 유닛(1017)을 포함한다.
이하, 도 3을 사용하여, 본 실시예의 화상 처리 장치(101)에서의 처리의 흐름이 설명된다.
도 3은 제1 실시예의 화상 처리 장치(101)의 처리를 도시하는 흐름도이다. 본 실시예에서, 도 3에 도시된 처리를 담당하는 프로그램은 ROM(104) 또는 HDD(106)에 저장되고, 도 2에 도시된 각각의 구성요소는 CPU(102)에 의해 관련 프로그램을 로딩 및 실행함으로써 기능한다.
먼저, 단계(S201)에서, 촬영 실행 유닛(1011)은 피사체를 촬영하는데 적합한 촬영 조건을 촬상 유닛(111)에 설정한다. 촬영 실행 유닛(1011)은 일반적인 자동 노출 제어 등을 수행함으로써 최적의 촬영 조건을 설정한다.
단계(S202)에서, 촬영 실행 유닛(1011)은 단계(S201)의 처리에서 설정된 촬영 조건에 기초하여 촬상 유닛(111)을 구동시키고 촬영을 수행한다.
단계(S203)에서, 현상 처리 유닛(1012)은 단계(S202)의 처리에서 촬상 유닛(111)로부터 출력된 화상 데이터에 대해 현상 처리를 수행한다. 현상 처리에서, 화이트 밸런스, 디모자이킹(demosaicking), 색변환, 노이즈 저감, 및 에지 강조 처리 등의 일반적인 현상 처리가 수행된다. 그리고, 각각의 화소에 대해 R, G, 및 B의 색을 갖는 화상이 생성된다.
단계(S204)에서, 산란광 제거 처리 유닛(1013)은 단계(S203)의 처리에서 현상 처리가 수행된 화상 데이터에 대해 각각의 국소 영역에 대한 콘트라스트 보정을 수행한다. 본 실시예에서, 산란광 제거 처리 유닛(1013)은 각각의 국소 영역에 대한 콘트라스트 보정으로서, 후술되는 산란광 제거 처리를 수행한다.
단계(S205)에서, 노출 보정 파라미터 산출 유닛(1014)은 단계(S204)에서의 처리에서 각각의 국소 영역에 대해 콘트라스트 보정이 수행된 화상 데이터로부터 노출 보정 파라미터(α)를 산출한다. 노출 보정 파라미터(α)의 산출 처리는 후술될 것이다.
단계(S206)에서, 노출 보정 유닛(1015)은 단계(S205)의 처리에서 산출된 노출 보정 파라미터(α)를 사용하여 다음 식(1)에 따라서 노출 보정을 수행한다.
Figure 112016084798816-pat00001
... (식 1)
여기서, O는 노출 보정 후 화상 데이터를 나타내고, j'는 산란광 제거 처리 이후 화상 데이터를 나타내고, c는 컬러 플레인(color plane)을 나타낸다.
단계(S207)에서, 감마 보정 유닛(1016)은 단계(S206)의 처리에서 노출 보정이 수행된 화상 데이터(이하, 노출 보정후 화상 데이터로 지칭됨)에 대해 감마 보정을 수행한다.
마지막으로, 단계(S208)에서, 화상 출력 유닛(1017)은 단계(S207)의 처리에서 감마 보정이 수행된 화상 데이터를 HDD I/F(105)를 개재하여 HDD(106)에 출력한다. 또한, 화상 출력 유닛(1017)은 화상 데이터를 다른 기록 매체에 저장할 수 있다. 예를 들어, 화상 출력 유닛(1017)은 화상 데이터를 입력 I/F(107)를 개재하여 외부 메모리(110)에 출력할 수도 있다.
[산란광 제거 처리]
이하, 단계(S204)의 산란광 제거 처리가 설명된다.
도 4는 산란광 제거 처리 유닛(1013)의 내부 구성을 도시하는 블록도이다. 도 14에 도시한 바와 같이, 산란광 제거 처리 유닛(1013)은 입력 화상 취득 유닛(301), 다크 채널 추출 유닛(302), 기준 강도 산출 유닛(기준 강도 도출 유닛으로도 지칭됨)(303), 필터 처리 유닛(304), 투과율 산출 유닛(305), 산란광 제거 유닛(306), 산란광 제거 화상 출력 유닛(307), 투과율 화상 출력 유닛(308), 및 기준 강도 출력 유닛(309)을 포함한다.
도 5는 산란광 제거 처리 유닛(1013)의 처리를 도시하는 흐름도이다. 본 실시예에서, 도 5에 도시된 처리를 담당하는 프로그램은 ROM(104) 또는 HDD(106)에 저장되고, 도 4에 도시된 각각의 구성요소는 CPU(102)에 의해 관련 프로그램을 로딩 및 실행함으로써 기능한다. 도 4에 도시된 모든 구성요소는 산란광 제거 처리 유닛(1013)에 포함되지 않을 수 있고, 각각의 구성요소에 대응하는 처리 회로가 화상 처리 장치(101) 내에 새로 구비될 수 있다.
먼저, 단계(S401)에서, 입력 화상 취득 유닛(301)은 단계(S203)의 처리에서 현상된 화상 데이터를 취득한다. 이하, 화상 데이터에 의해 나타나는 화상은 입력 화상 또는 촬영된 화상으로 지칭된다. 입력 화상 취득 유닛(301)은 취득된 화상 데이터를 다크 채널 추출 유닛(302), 기준 강도 산출 유닛(303) 및 산란광 제거 유닛(306)에 출력한다. 또한, 입력 화상 취득 유닛(301)은 입력 화상 데이터를 HDD I/F(105)를 개재하여 HDD(106)에 출력한다. 또한, 입력 화상 취득 유닛(301)은 입력 화상 데이터를 다른 저장 매체에 저장할 수도 있다. 예를 들어, 입력 화상 취득 유닛(301)은 입력 화상 데이터를 입력 I/F(107)를 개재하여 외부 메모리(110)에 출력할 수 있다.
단계(S402)에서, 다크 채널 추출 유닛(302)은 입력 화상 취득 유닛(301)로부터 출력된 화상 데이터로부터 각각의 화소 위치에 대해 다크 채널을 추출한다. 다크 채널 추출 유닛(302)은 추출된 다크 채널을 나란히 배열하여 구성된 화상 데이터를 기준 강도 산출 유닛(303)에 출력한다. 이하, 이 화상 데이터는 다크 채널 화상 데이터로 지칭된다. 또한, 다크 채널 화상 데이터에 의해 나타나는 화상은 다크 채널 화상으로 지칭된다.
여기서, 다크 채널은 소정의 화소에서, R, G, 및 B의 각각의 채널의 화소값 중에서 가장 작은 화소값을 갖는 채널이다. R, G, 및 B의 각각의 채널의 화소값 중 가장 작은 화소값에서, 산란광에서 유래되는 성분의 비율이 크다. 따라서, 다크 채널 화상은 컬러 화상보다 더욱 산란광 성분의 강도를 반영한 화상이다.
도 6은 다크 채널 추출 유닛(302)이 소정의 관심 화소에 대응하는 다크 채널을 도출하는 처리를 도시하는 개략도이다. 도 6의 좌측 도면에 도시된 바와 같이, 입력 화상의 관심 화소(T)의 화소값은 (R0, G0, B0)이라고 상정된다. 이때, 화소값의 절댓값이 R0 > G0 > B0의 순서인 경우, 도 6의 우측 도면에 도시된 바와 같이, 관심 화소(T)의 다크 채널은 B0이다. 이후, 다크 채널 추출 유닛(302)은 이 처리를 모든 화소에 대하여 적용함으로써 다크 채널 화상 데이터를 생성한다.
단계(S403)에서, 기준 강도 산출 유닛(303)은 다크 채널 추출 유닛(302)으로부터 출력된 다크 채널 화상 데이터 및 입력 화상 취득 유닛(301)으로부터 출력된 입력 화상 데이터를 사용하여, 산란광의 각각의 색 성분의 기준 강도를 산출한다. 기준 강도 산출 유닛(303)은 산출된 기준 강도를 투과율 산출 유닛(305), 산란광 제거 유닛(306) 및 기준 강도 출력 유닛(309)에 출력한다. 여기서, 기준 강도는 화상 데이터의 각각의 화소 위치에서의 산란광의 각각의 색 성분의 크기가 결정되는 경우 기준으로서 취해지는 값이다. 기준 강도는 산란광 성분이 지배적이며 안개 등에 의해 희게 흐릿한 하늘의 화소와 같은 화소의 화소값에 기초하여 결정된다. 이 처리의 상세가 후술될 것이다.
단계(S404)에서, 기준 강도 출력 유닛(309)은 단계(S403)의 처리에서 산출된 기준 강도를 RAM(103)에 출력한다.
단계(S405)에서, 필터 처리 유닛(304)은 다크 채널 추출 유닛(302)으로부터 출력된 다크 채널 화상 데이터에 대해 최소값 필터 처리를 수행한다. 그리고, 필터 처리 유닛(304)은 최소값 필터 처리가 수행된 다크 채널 화상 데이터를 투과율 산출 유닛(305)에 출력한다. 여기서, 최소값 필터 처리는 화상 내의 국소적 구조 또는 노이즈가 산란광으로부터 유래된 것으로서 오인할 가능성을 저감하기 위한 처리이다.
단계(S406)에서, 투과율 산출 유닛(305)은 필터 처리 유닛(304)으로부터 출력된 최소값 필터 처리 이후의 다크 채널 화상 데이터, 및 기준 강도 산출 유닛(303)으로부터 출력된, 산란광의 기준 강도에 기초하여, 입력 화상의 화소 위치(x, y)에서의 투과율(t (x, y))을 결정한다. 여기서, t(x, y)은 이하의 식(2)에 의해 표현된다.
Figure 112016084798816-pat00002
...(식 2)
여기서, D는 단계(S405)의 처리에서 출력된 최소값 필터 처리 이후의 다크 채널 화상이다. A는 단계(S403)에서 산출된 산란광의 기준 강도이고 ω는 산란광의 기준 강도를 산출하는데 사용된 화소에서의 투과율을 상정한 계수이다. 본 실시예에서, ω는 0.9라고 상정된다. 또한, 산란광 제거 처리 이후의 화상 데이터에 의해 나타나는 화상이 바람직한 화상이 되도록 ω의 값을 조정할 수 있다.
투과율 산출 유닛(305)은 취득된 값을 식(2)의 각각의 변수에 대해 대입함으로써, 각각의 화소에서의 투과율을 산출한다. 투과율 산출 유닛(305)은 산출된 투과율을 산란광 제거 유닛(306) 및 투과율 화상 출력 유닛(308)에 출력한다. 또한, 식(2)에 기초하여 투과율을 결정하는 대신, 예를 들어 스테레오 카메라 등을 사용하여 취득된 피사체까지의 거리에 기초하여 투과율을 결정할 수 있다.
단계(S407)에서, 투과율 화상 출력 유닛(308)은 단계(S406)의 처리에서 산출된 투과율(t (x, y))을 투과율 화상 데이터로서 취득하고, 투과율 화상 데이터를 RAM(103)에 출력한다. 이하, 투과율 화상 데이터에 의해 나타나는 화상은 투과율 화상으로 지칭된다.
단계(S408)에서, 산란광 제거 유닛(306)은 투과율 산출 유닛(305)으로부터 출력된 투과율, 입력 화상 취득 유닛(301)로부터 출력된 입력 화상 데이터, 및 기준 강도 산출 유닛(303)으로부터 출력된 산란광의 기준 강도를 사용하여 입력 화상의 산란광 제거 처리를 수행한다. 산란광 제거 처리는 이하의 식(3)을 사용하여 수행된다.
Figure 112016084798816-pat00003
...(식 3)
여기서, J(x, y, c)은 산란광 제거 처리 이후의 화상 화소값을 나타낸다. I(x, y, c)는 입력 화상의 화소값을 나타내고, c는 컬러 플레인을 나타내고, t0는 J의 값을 조정하기 위한 계수이다. 본 실시예에서, 예를 들어, t0는 0.1로 설정된다. 여기서, t0는 t (x, y, c)이 0에 무한대로 근접하는 경우, I의 값의 약간의 차이로 인해 J의 값이 상당히 변하는 것을 방지하도록 제공되는 상수이다. 또한, 더 바람직한 화상을 획득하도록 t0을 0.1 이외의 값으로 설정할 수 있다.
산란광 제거 유닛(306)은 취득된 값을 식(3)의 각각의 파라미터에 대해 대입함으로써 각각의 화소에서의 J를 산출한다. 산란광 제거 유닛(306)은 산출된 J를 산란광 제거 처리 이후의 화상 데이터로서 산란광 제거 화상 출력 유닛(307)에 출력한다. 이하, 산란광 제거 처리 이후의 화상 데이터에 의해 나타나는 화상은 산란광 제거 화상 또는 처리 화상으로 지칭된다.
단계(S409)에서, 산란광 제거 화상 출력 유닛(307)은 산란광 제거 유닛(306)으로부터 출력된 산란광 제거 처리 이후의 화상 데이터를 취득하고, HDD I/F(105)를 개재하여 화상 데이터를 HDD(106)에 출력한다.
[기준 강도의 산출]
이하, 단계(S403)의 기준 강도 산출 처리가 설명된다. 도 7은 기준 강도 산출 유닛(303)의 처리를 도시하는 흐름도이다.
단계(S601)에서, 기준 강도 산출 유닛(303)은 다크 채널 추출 유닛(302)으로부터 출력된 다크 채널 화상 데이터를 취득한다.
단계(S602)에서, 기준 강도 산출 유닛(303)은 단계(S601)에서 취득된 다크 채널 화상 데이터에 기초하여, 기준 강도 산출에 사용되는 화소(이하, 참조 화소로 지칭됨)를 결정한다. 본 실시예에서, 화소값이 다크 채널 화상의 화소 중 가장 큰 값으로부터 모든 화소값의 1% 내인 화소가 참조 화소로서 취해진다. 다크 채널 화상은 산란광의 강도가 화소값에 반영된 화상이며, 따라서 다크 채널 화상에서 큰 화소값을 갖는 화소는 산란광 성분이 지배적인 화소라고 고려될 수 있다.
여기서, 화소값이 가장 큰 화소값으로부터 모든 화소값이 1% 내인 화소가 참조 화소로서 선택되지만, 비율은 1%로 한정되지 않는다. 예를 들어, 비율은 촬영된 씬에 따라서 설정될 수 있다. 또한, 기준 강도 산출 유닛(303)은 다크 채널 화상의 화소 중 화소값이 임계값 이상이 되는 화소를 선택할 수도 있다. 기준 강도 산출 유닛(303)이 임계값을 사용하여 참조 화소를 선택하는 경우, 촬영된 씬에 따라서 설정된 임계값을 사용할 수도 있다.
단계(S603)에서, 기준 강도 산출 유닛(303)은 입력 화상 취득 유닛(301)으로부터 출력된 입력 화상 데이터를 취득한다.
단계(S604)에서, 기준 강도 산출 유닛(303)은 단계(S603)의 처리에서 취득된 입력 화상 데이터 및 단계(S602)에서 결정된 참조 화소에 기초하여, 기준 강도의 산출에 사용되는 참조 화소값을 추출한다.
여기서, 참조 화소값 추출 방법이 도 8a 내지 도 8d를 사용하여 설명된다. 도 8a 내지 도 8d는 참조 화소값 추출 방법을 설명하기 위한 설명도이다.
도 8a는 다크 채널 화상의 예를 도시한다. 여기서, 도 8a에 도시된 5×5 화소의 다크 채널 화상으로부터 참조 화소값이 추출되는 경우가 예로서 취해진다. 도 8a 내지 도 8d에서, 각각의 화소에 대해 좌측 상부 화소로부터 우측 하부 화소까지(도 8a 내지 도 8d의 좌측 상부로부터 우측 하부까지) 순서대로 1 내지 25의 번호가 할당된다. 다크 채널 화상의 각각의 화소에 대해, 입력 화상의 각각의 화소의 화소값(Rk, Gk, Bk)[k=1 내지 25] 중 화소값이 가장 작은 색의 화소값이 할당된다. 도 8a 내지 도 8d에 도시된 원은 원이 부착된 화소가 참조 화소로서 선택된 화소라는 점을 나타낸다. 단계(S604)에서, 입력 화상의 R 화상, G 화상, 및 B 화상의 참조 화소에 대응하는 화소의 화소값이 참조 화소값으로서 추출된다. 즉, 도 8a에 도시된 바와 같이, 다크 채널 화상에서 화소 3, 12, 13, 및 18이 참조 화소로서 선택된 경우, 도 8b 내지 도 8d에 도시된 바와 같이, R 화상, G 화상, 및 B 화상의 화소 3, 12, 13, 및 18의 화소값이 각각 참조 화소값으로서 추출된다. 상술된 바와 같이, 본 실시예에서, 기준 강도 산출 유닛(303)은 산란광이 각각의 색에 대해 지배적인 화소라고 판정된 화소의 화소값을 추출하여 기준 강도를 산출하고, 따라서, 산란광의 파장 의존성을 반영한 기준 강도를 산출할 수 있다.
단계(S605)에서, 기준 강도 산출 유닛(303)은 단계(S604)의 처리에서 추출된 참조 화소값에 기초하여, R, G, 및 B의 각각의 채널에 대응하는 산란광의 기준 강도(A)를 산출한다. 단계(S604)의 처리에서 R 화상, G 화상, 및 B 화상에 대해서 추출된 참조 화소값이 각각 Rs, Gs, 및 Bs로 취해지고, 추출된 참조 화소값의 평균이 각각 AR, AG, AB로 취해지는 경우, 기준 강도(A)는 이하의 식(4)에 의해 표현된다.
AR = ∑ Rs / n
AG = ∑ Gs / n
AB = ∑ Bs / n
A = (AR + AG + AB) / 3 ...(식 4)
여기서, n은 각각의 화상에서의 참조 화소의 수이다. 기준 강도 산출 유닛(303)은 단계(S604)의 처리에서 추출된 참조 화소값을 식(4)에 대입하여 기준 강도(A)를 산출한다.
단계(S606)에서, 기준 강도 산출 유닛(303)은 단계(S605)의 처리에서 산출된 산란광의 기준 강도(A)를 투과율 산출 유닛(305), 산란광 제거 유닛(306), 및 기준 강도 출력 유닛(309)에 출력한다.
이상이 본 실시예에서의 산란광의 기준 강도 산출 처리이다. 이 처리에서, 다크 채널 화상에 기초하여 기준 강도 산출에 사용되는 화소가 결정되고, 따라서 기준 강도를 정확히 구할 수 있다.
[노출 보정 파라미터의 산출]
이하, 단계(S205)의 노출 보정 파라미터 산출 처리가 설명된다.
도 9는 제1 실시예의 노출 보정 파라미터 산출 유닛(1014)의 내부 구성을 도시하는 블록도이다. 도 9에 도시된 바와 같이, 노출 보정 파라미터 산출 유닛(1014)은 입력 화상 취득 유닛(801), 투과율 화상 취득 유닛(802), 휘도 신호 산출 유닛(803), 평균 휘도 산출 유닛(804), 평균 휘도 투과율 탐색 유닛(805), 기준 강도 취득 유닛(806), 파라미터 산출 유닛(807), 및 파라미터 출력 유닛(808)을 포함한다.
도 10은 제1 실시예의 노출 보정 파라미터 산출 유닛(1014)의 처리를 도시하는 흐름도이다. 본 실시예에서, 도 10에 도시된 처리를 담당하는 프로그램이 ROM(104) 또는 HDD(106)에 저장되고 도 9에 도시된 각각의 구성요소는 관련 프로그램을 CPU(102)에 의해 로딩 및 실행함으로써 가능한다. 도 9에 도시된 모든 구성요소는 노출 보정 파라미터 산출 유닛(1014)에 포함되지 않을 수 있고 각각의 구성요소에 대응하는 처리 회로가 화상 처리 장치(101) 내에 새로 구비될 수 있다.
먼저, 단계(S901)에서, 입력 화상 취득 유닛(801)은 단계(S401)의 처리에서 HDD(106)에 저장된 입력 화상 데이터를 HDD(106)로부터 취득한다.
단계(S902)에서, 휘도 신호 산출 유닛(803)은 단계(S901)의 처리에서 취득된 입력 화상 데이터로부터 휘도 신호를 생성하고, 휘도 화상 데이터로서 평균 휘도 산출 유닛(804) 및 평균 휘도 투과율 탐색 유닛(805)에 출력한다. 본 실시예에서, 휘도 신호 산출 유닛(803)은 이하에 나타낸 바와 같은 휘도 신호의 일반적인 생성식을 사용하여 휘도 신호를 생성한다.
Y = 0.257 × R + 0.504 × G + 0.098 × B (식 5)
상기 식(5)은 입력 화상 데이터의 RGB값으로부터 휘도(Y)를 생성하는 식이다. 휘도 신호의 생성식은 이에 한정되지 않고, 식(5) 이외의 식이 용인될 수 있다.
단계(S903)에서, 평균 휘도 산출 유닛(804)은 휘도 신호 산출 유닛(803)으로부터 출력된 휘도 화상 데이터로부터 전체 화상의 평균 휘도를 산출한다. 그리고, 평균 휘도 산출 유닛(804)은 산출된 평균 휘도를 평균 휘도 투과율 탐색 유닛(805) 및 파라미터 산출 유닛(807)에 출력한다.
단계(S904)에서, 투과율 화상 취득 유닛(802)은 도 3에 도시된 단계(S204), 구체적으로는, 도 5에 도시된 단계(S407)의 처리에서 RAM(103)에 저장된 투과율 화상 데이터를 취득하고, 투과율 화상 데이터를 평균 휘도 투과율 탐색 유닛(805)에 출력한다.
단계(S905)에서, 평균 휘도 투과율 탐색 유닛(805)은 평균 휘도, 휘도 화상 데이터, 및 투과율 화상 데이터를 사용하여 평균 휘도에 대응하는 투과율을 탐색한다. 그리고, 평균 휘도 투과율 탐색 유닛(805)은 평균 휘도에 대응하는 투과율을 파라미터 산출 유닛(807)에 출력한다.
여기서, 평균 휘도에 대응하는 투과율의 탐색 처리가 도 11a 내지 도 11b를 사용하여 설명된다. 도 11a 내지 도 11b는 평균 휘도에 대응하는 투과율의 탐색 처리를 설명하기 위한 설명도이다. 도 11a 내지 도 11b에서, 삼각의 물체를 촬영하여 획득된 입력 화상의, 휘도를 나타내는 휘도 화상(도 11a) 및 투과율을 나타내는 투과율 화상(도 11b)이 각각 도시된다. 여기서, 평균 휘도 투과율 탐색 유닛(805)에 의해 입력된 평균 휘도는 Y0으로 한다. 평균 휘도 투과율 탐색 유닛(805)은 도 11a에 도시된 휘도 화상 내에서 Y0과 동일한 휘도를 나타내는 하나 또는 복수의 화소를 포함한 영역을 탐색한다. 도 11a에서 해칭 표시된 영역은 Y0과 동일한 휘도를 나타내는 영역을 나타낸다. 계속해서, 평균 휘도 투과율 탐색 유닛(805)은 투과율 화상 내에서 Y0과 동일한 휘도를 나타내는 영역에 대응하는 영역(도 11b에서 해칭 표시된 영역)을 탐색한다. 마지막으로, 평균 휘도 투과율 탐색 유닛(805)은 도 11b에서 해칭 표시된 영역의 각각의 화소 위치에서의 투과율을 취득하고 그 평균값을 평균 휘도에 대응하는 투과율(t0)로서 산출한다. 여기서, 평균 휘도 투과율 탐색 유닛(805)은 Y0과 동일한 휘도를 나타내는 영역을 탐색하지만, 평균 휘도 투과율 탐색 유닛(805)은 Y0에 대응하는 휘도를 나타내는 영역을 탐색할 수도 있다. 예를 들어, Y0이 소수점을 포함하는 값인 경우, 평균 휘도 투과율 탐색 유닛(805)은 Y0을 반올림하여 정수화한 값과 동일한 휘도를 나타내는 영역을 탐색할 수도 있다. 또한, 예를 들어, 평균 휘도 투과율 탐색 유닛(805)은 미리 정해진 임계값 이하만큼 Y0과 상이한 휘도를 나타내는 영역을 탐색할 수도 있다.
단계(S906)에서, 기준 강도 취득 유닛(806)은 도 3에 도시된 단계(S204), 구체적으로, 도 5에 도시된 단계(S404)의 처리에서 RAM(103)에 저장된 기준 강도를 취득하고 기준 강도를 파라미터 산출 유닛(807)에 출력한다.
단계(S907)에서, 파라미터 산출 유닛(807)은 단계(S903)의 처리에서 산출된 평균 휘도, 단계(S905)의 처리에서 산출된, 평균 휘도에 대응하는 투과율, 및 단계(S906)의 처리에서 취득된 기준 강도를 사용하여, 다음 식(6) 및 (7)에 의해 노출 보정 파라미터(α)를 산출한다.
Figure 112016084798816-pat00004
... (식 6)
Figure 112016084798816-pat00005
... (식 7)
먼저, 파라미터 산출 유닛(807)은 식(6)을 사용하여, 산란광 제거 화상의 평균 휘도, 즉 산란광 성분이 제거된 경우의 평균 휘도(Y')를 추정한다. Y0은 단계(S903)의 처리에서 산출된 평균 휘도이다. A는 단계(S605)의 처리에서 산출된 산란광의 기준 강도이다. 계속해서, 파라미터 산출 유닛(807)은 식(7)에 의해, 즉 Y0을 Y'으로 제산함으로써, 노출 보정 파라미터(α)를 산출한다. 단계(S908)에서, 파라미터 출력 유닛(808)은 단계(S907)의 처리에서 산출된 노출 보정 파라미터(α)를 노출 보정 유닛(1015)에 출력한다.
이상이 본 실시예에서의 노출 보정 파라미터의 산출 방법이다.
여기서, 본 실시예의 효과가 도 12a 내지 도 12d를 사용하여 설명된다. 도 12a 내지 도 12d는 제1 실시예의 효과를 설명하기 위한 설명도이다.
도 12a 및 도 12b에서, 입력 화상으로부터 획득된 휘도 화상 및 투과율 화상의 예가 도시된다. 도 12a 및 도 12b에서, 평균 휘도(Y0)(도 12a에 도시된 각각의 화소 위치의 휘도로부터 산출된 평균값 182.88 ≒ 183)에 대응하는 휘도를 갖는 화소 위치가 해칭에 의해 도시된다. 도 12b로부터, 평균 휘도에 대응하는 투과율(t0)은 0.22인 점을 알 수 있다.
도 12c에서, 산란광 제거 화상(상술된 입력 화상에 대해 산란광 제거 처리를 수행하여 획득된 화상)으로부터 획득된 휘도 화상이 도시되며, 이 휘도 화상은 노출 보정 전의 휘도 화상이다. 도 12c의 평균 휘도는 157.96 ≒ 158이고, 따라서 입력 화상의 평균 휘도(Y0)와 차이가 있는 점을 알 수 있다. 즉, 도 12c에 의해 도시된 노출 보정 이전의 화상의 밝기는 적정 밝기라고 할 수 없다.
여기서, 산란광의 기준 강도(A)는 190이다. 이 값은 입력 화상으로부터 획득된, R 화상, G 화상, 및 B 화상(미도시)에 대하여 상술된 단계(S403)의 기준 강도 산출 처리를 적용함으로써 획득된 값이다. 그리고, 식(6)으로부터, Y'이 이하와 같이 추정된다.
Y'= (Y0 - A) / t0 + A = 157.64
산출된 Y'는 도 12c에서의 평균 휘도(=157.96)에 가까운 값이 되는 점으로부터 명백해진 바와 같이, 식(6)을 사용함으로써, 산란광 제거 화상의 평균 휘도를 정확하게 추정할 수 있다.
그리고, Y0을 추정된 Y'로 제산함으로써, α는 다음과 같이 산출된다.
α = Y0 / Y' = 182.88 / 157.64 ≒ 1.16
도 12d에서, 산란광 제거 화상(상술된 입력 화상에 대해 산란광 제거 처리를 수행하여 획득된 화상)으로부터 획득된 휘도 화상이 도시되며, 이 휘도 화상은 산출된 α를 사용하여 노출 보정을 수행한 이후의 휘도 화상이다. 도 12d에서의 평균 휘도는 183.6 ≒ 184이고, 이 값은 도 12a에서의 평균 휘도 Y0 ≒ 183에 가까운 점을 알 수 있다. 즉, 산란광 제거 처리 이후의 화상에 대해, 본 실시예에서의 노출 보정을 적용함으로써, 산란광 제거 처리 이후의 화상 밝기를 적정 밝기로 조정할 수 있다.
상술된 바와 같이, 본 실시예에서, 입력 화상의 적정 노출값(본 실시예에서 평균 휘도에 대응) 및 적정 노출값에 대응하는 투과율(본 실시예에서 평균 휘도에 대응하는 투과율에 대응)을 사용하여, 식(6)으로부터 입력 화상의 적정 노출값이 변하는 방법이 추정된다. 따라서, 화상의 히스토그램 등을 산출하고 히스토그램으로부터 히스토그램의 확장 등을 사용하여 노출 보정을 수행하는 일반적 기술에 비해, 본 실시예에서는 히스토그램 등을 산출하는 필요없이 더욱 간단히 노출 보정을 수행할 수 있다. 또한, 이러한 추정에 기초하여 노출 보정을 수행함으로써, 도 12d에 도시된 바와 같이, 산란광 제거 처리 이후 화상의 밝기를 적정 밝기로 조정할 수 있다.
본 실시예에서, 적정 노출값을 나타내는 지표로서, 평균 휘도가 예로서 취해지지만, 평균 휘도 이외의 파라미터, 예를 들어, 촬상 장치에 통합된 노출계로부터 획득되는 촬영된 씬의 대략적인 휘도를, 적정 노출값으로서 사용할 수도 있다. 이러한 양태에 따르면, 입력 화상의 적정 노출값이 변하는 방법을 더욱 간단히 추정할 수 있다.
[제2 실시예]
제1 실시예에서, 평균 휘도를 산출하고 산출된 평균 휘도에 대응하는 투과율을 탐색함으로써 노출 보정 파라미터가 산출되는 경우가 예로서 취해진다. 본 실시예에서, 먼저, 평균 투과율이 산출되고 이후 평균 투과율에 대응하는 휘도를 탐색함으로써, 노출 보정 파라미터가 산출된다.
본 실시예에서의 화상 처리 장치는 노출 보정 파라미터 산출 유닛(1014) 대신 노출 보정 파라미터 산출 유닛(2014)을 포함한다. 화상 처리 장치의 기타 구성 및 화상 처리 장치의 전체 처리의 흐름은 제1 실시예의 것과 마찬가지이다. 따라서, 이하에서는, 본 실시예에서의 노출 보정 파라미터 산출 처리만이 설명된다.
도 13은 제2 실시예에서의 노출 보정 파라미터 산출 유닛(2014)의 내부 구성을 도시하는 블록도이다. 도 13에 도시된 바와 같이, 제2 실시예의 노출 보정 파라미터 산출 유닛(2014)은 입력 화상 취득 유닛(801), 투과율 화상 취득 유닛(802), 휘도 신호 산출 유닛(803), 평균 투과율 산출 유닛(1101), 평균 투과율 휘도 탐색 유닛(1102), 기준 강도 취득 유닛(806), 파라미터 산출 유닛(807), 및 파라미터 출력 유닛(808)을 포함한다.
도 14는 제2 실시예에서의 노출 보정 파라미터 산출 유닛(2014)의 처리를 나타내는 흐름도이다. 본 실시예에서, 도 14에 도시된 처리를 담당하는 프로그램이 ROM(104) 또는 HDD(106)에 저장되고 도 13에 도시된 각각의 구성요소는 CPU(102)에 의해 관련 프로그램을 로딩 및 실행함으로써 기능한다. 도 13에 도시된 모든 구성요소가 노출 보정 파라미터 산출 유닛에 포함되지 않을 수 있고 각각의 블록에 대응하는 처리 회로가 화상 처리 장치 내에 새로 구비될 수 있다.
먼저, 단계(S1201)에서, 입력 화상 취득 유닛(801)은 단계(S401)의 처리에서 HDD(106)에 저장된 입력 화상 데이터를 HDD(106)로부터 취득한다.
단계(S1202)에서, 휘도 신호 산출 유닛(803)은 단계(S901)의 처리에서 취득된 입력 화상 데이터로부터 휘도 신호를 생성하고, 휘도 화상 데이터로서, 휘도 신호를 평균 투과율 휘도 탐색 유닛(1102)에 출력한다. 휘도 신호를 생성하는 처리는 단계(S902)의 처리와 마찬가지이다.
단계(S1203)에서, 투과율 화상 취득 유닛(802)은 도 3에 도시된 단계(S204), 구체적으로, 도 5에 도시된 단계(S407)의 처리에서, RAM(103)에 저장된 투과율 화상 데이터를 취득하고, 투과율 화상 데이터를 평균 투과율 산출 유닛(1101)에 출력한다.
단계(S1204)에서, 평균 투과율 산출 유닛(1101)은 단계(S1203)의 처리에서 취득된 투과율 화상 데이터로부터 전체 화상의 평균 투과율을 산출한다. 그리고, 평균 투과율 산출 유닛(1101)은 산출된 평균 투과율을 평균 투과율 휘도 탐색 유닛(1102)에 출력한다.
단계(S1205)에서, 평균 투과율 휘도 탐색 유닛(1102)은 평균 투과율, 휘도 화상 데이터, 및 투과율 화상 데이터를 사용하여 평균 투과율에 대응하는 휘도를 탐색한다. 그리고, 평균 투과율 휘도 탐색 유닛(1102)은 평균 투과율에 대응하는 휘도를 파라미터 산출 유닛(807)에 출력한다. 평균 투과율에 대응하는 휘도의 탐색 처리는 단계(S905)에서의 평균 휘도에 대응하는 투과율의 탐색 처리가 수행되는 것과 동일한 방식으로 수행된다. 간단한 설명이 제공된다. 먼저, 평균 투과율 휘도 탐색 유닛(1102)은 투과율 화상 데이터를 사용하여, 입력된 평균 투과율에 대응하는 투과율을 나타내는 화소 위치를 탐색한다. 계속해서, 평균 투과율 휘도 탐색 유닛(1102)은 탐색된 각각의 화소 위치에서의 휘도를 휘도 화상 데이터로부터 취득한다. 그리고, 평균 투과율 휘도 탐색 유닛(1102)은 취득된 휘도의 평균값을 평균 투과율에 대응하는 휘도로서 산출한다.
단계(S1206)에서, 기준 강도 취득 유닛(806)은 도 3에 도시된 단계(S204), 구체적으로, 도 5에 도시된 단계(S404)의 처리에서 RAM(103)에 저장된 기준 강도를 취득하고, 기준 강도를 파라미터 산출 유닛(807)에 출력한다.
단계(S1207)에서, 파라미터 산출 유닛(807)은 단계(S1204)의 처리에서 산출된 평균 투과율, 단계(S1205)의 처리에서 산출된 평균 투과율에 대응하는 휘도, 및 단계(S1206)에서 취득된 기준 강도를 사용하여, 식(6) 및 식(7)에 의해 노출 보정 파라미터(α)를 산출한다. 이때, 식(6)의 Y0으로서, 평균 휘도 대신, 단계(S1205)의 처리에서 산출된 평균 투과율에 대응하는 휘도가 설정된다. 또한, 식(6)의 t0으로서, 평균 휘도에 대응하는 투과율 대신, 단계(S1204)의 처리에서 산출된 평균 투과율이 설정된다. 단계(S1208)에서, 파라미터 출력 유닛(808)은 단계(S1207)의 처리에서 산출된 노출 보정 파라미터(α)를 노출 보정 유닛(1015)에 출력한다.
이상이 본 실시예에서의 노출 보정 파라미터의 산출 방법이다.
상술된 바와 같이, 본 실시예에서, 입력 화상의 적정 노출값(본 실시예의 평균 투과율에 대응하는 휘도에 대응) 및 적정 노출값에 대응하는 투과율(본 실시예의 평균 투과율에 대응)을 사용하여, 식(6)에 의해, 입력 화상의 적정 노출값이 변하는 방법이 추정된다. 이러한 양태에 의해, 제1 실시예에서와 같이, 히스토그램 등을 산출할 필요없이 더욱 간단히 노출 보정을 수행할 수 있다. 또한, 이러한 추정에 기초하여 노출 보정을 수행함으로써, 산란광 제거 처리 후의 화상의 밝기를 적정 밝기로 조정할 수 있다.
상술된 실시예에서, 기준 강도를 출력하는 처리 및 투과율 화상을 출력하는 처리까지 수행되는 예가 설명되었으나, 이러한 처리는 필요에 따라서 건너뛸 수 있고, 적어도 산란광 제거 화상을 출력할 수 있는 것만이 요구된다.
[다른 실시예]
본 발명의 실시예(들)는 또한 상술된 실시예(들) 중 하나 이상의 기능들을 수행하도록 기억 매체(더욱 완전하게는 '비-일시적 컴퓨터 판독가능 기억 매체'로도 지칭될 수 있음)에 기록된 컴퓨터 실행가능 명령어(예를 들어, 하나 이상의 프로그램)를 판독하여 실행하는 그리고/또는 상술된 실시예(들) 중 하나 이상의 기능들을 수행하기 위한 하나 이상의 회로(예를 들어, 주문형 집적 회로(ASIC))를 포함하는 시스템 또는 장치의 컴퓨터에 의해, 그리고 예를 들어, 상술된 실시예(들) 중 하나 이상의 기능들을 수행하도록 기억 매체로부터의 컴퓨터 실행가능 명령어를 판독하여 실행함으로써 그리고/또는 상술된 실시예(들) 중 하나 이상의 기능들을 수행하도록 하나 이상의 회로를 제어함으로써 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 실현될 수 있다. 컴퓨터는 하나 이상의 프로세서(예를 들어, 중앙 처리 장치(CPU), 마이크로 처리 장치(MPU))를 포함할 수 있고 컴퓨터 실행가능 명령어들을 판독하여 실행하는 별도의 컴퓨터 또는 별도의 프로세서의 네트워크를 포함할 수 있다. 컴퓨터 실행가능 명령어는 예를 들어, 네트워크 또는 기억 매체로부터 컴퓨터에 제공될 수 있다. 기억 매체는 예를 들어, 하드 디스크, 랜덤-액세스 메모리(RAM), 리드 온리 메모리(ROM), 분산 컴퓨팅 시스템의 저장 장치, 광학 디스크(예를 들어, 컴팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루 레이 디스크(BD)™), 플래시 메모리 디바이스, 메모리 카드 등의 하나 이상을 포함할 수 있다.
(기타의 실시예)
본 발명은 상기의 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실현가능하다.
또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
본 발명에 따르면, 콘트라스트 보정이 각각의 국소 영역에 대해 수행된 화상이 밝기를 적정 밝기로 조정할 수 있다.
본 발명이 예시적인 실시예를 참조하여 설명되었지만, 본 발명은 개시된 예시적인 실시예에 제한되지 않는다는 점이 이해되어야 한다. 이하의 청구항의 범위는 그러한 변경예 및 등가적 구조예 및 기능예 모두를 포함하도록 가장 광의의 해석에 따라야 한다.

Claims (8)

  1. 산란광 성분을 제거하기 위한 콘트라스트 보정이 각각의 국소 영역에 대해 수행된 처리 화상의 밝기를 조정하는 화상 처리 장치이며,
    상기 콘트라스트 보정이 각각의 국소 영역에 대해 수행되기 전의 입력 화상의 휘도의 평균값을 취득하도록 구성된 취득 유닛과,
    상기 입력 화상의 휘도에 기초하여, 상기 처리 화상의 휘도의 평균값을 추정하도록 구성된 추정 유닛과,
    상기 입력 화상의 휘도의 평균값 및 상기 추정 유닛에 의해 추정된 상기 처리 화상의 휘도의 평균값에 기초하여, 노출 보정 파라미터를 산출하도록 구성된 파라미터 산출 유닛, 및
    상기 노출 보정 파라미터를 사용하여 상기 처리 화상에 대한 노출 보정을 수행하도록 구성된 노출 보정 유닛을 포함하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 입력 화상으로부터 상기 산란광의 기준 강도를 도출하도록 구성된 기준 강도 도출 유닛, 및
    상기 입력 화상에서 상기 입력 화상의 휘도의 평균값에 대응하는 휘도를 갖는 하나 또는 복수의 화소 위치에서의 투과율의 평균값을 산출하도록 구성된 투과율 산출 유닛을 포함하고,
    상기 추정 유닛은, 상기 입력 화상의 휘도의 평균값, 상기 투과율 산출 유닛에 의해 산출된 투과율의 평균값, 및 상기 기준 강도 도출 유닛에 의해 도출된 산란광의 기준 강도에 기초하여, 상기 처리 화상의 휘도의 평균값을 추정하는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 입력 화상으로부터 상기 산란광의 기준 강도를 도출하도록 구성된 기준 강도 도출 유닛, 및
    상기 입력 화상의 투과율의 평균값을 산출하도록 구성된 투과율 산출 유닛을 포함하고,
    상기 추정 유닛은, 상기 입력 화상의 휘도의 평균값, 상기 투과율 산출 유닛에 의해 산출된 투과율의 평균값, 및 상기 기준 강도 도출 유닛에 의해 도출된 산란광의 기준 강도에 기초하여, 상기 처리 화상의 휘도의 평균값을 추정하는, 화상 처리 장치.
  4. 제2항에 있어서,
    상기 파라미터 산출 유닛은 상기 입력 화상의 휘도의 평균값을 상기 추정 유닛에 의해 추정된 상기 휘도의 평균값으로 제산함으로써 노출 보정 파라미터를 산출하는, 화상 처리 장치.
  5. 제1항에 있어서,
    상기 취득 유닛은, 상기 입력 화상의 휘도의 평균값으로서, 촬상 장치에 내장된 노출계로부터 획득되는 휘도를 취득하는, 화상 처리 장치.
  6. 화상 처리 장치이며,
    촬상을 수행함으로써 획득된 촬상 화상을 취득하도록 구성된 제1 취득 유닛과,
    취득된 상기 촬상 화상에 대한 각각의 화소 위치에 대해, 화소값에 포함된 산란광 성분을 제거하는 콘트라스트 보정을 수행함으로써 처리 화상을 생성하도록 구성된 생성 유닛과,
    상기 촬상 화상의 휘도의 평균값을 취득하도록 구성된 제2 취득 유닛과,
    상기 촬상 화상의 휘도 및 상기 휘도에 대응하는 투과율에 기초하여, 상기 처리 화상의 휘도의 평균값을 추정하도록 구성된 추정 유닛과,
    상기 촬상 화상의 휘도의 평균값 및 상기 추정 유닛에 의해 추정된 상기 처리 화상의 휘도의 평균값에 기초하여, 노출 보정 파라미터를 산출하도록 구성된 파라미터 산출 유닛, 및
    상기 노출 보정 파라미터를 사용하여 상기 처리 화상에 대한 노출 보정을 수행하도록 구성된 노출 보정 유닛을 포함하는, 화상 처리 장치.
  7. 산란광 성분을 제거하기 위한 콘트라스트 보정이 각각의 국소 영역에 대해 수행된 처리 화상의 밝기를 조정하는 화상 처리 방법이며,
    상기 콘트라스트 보정이 각각의 국소 영역에 대해 수행되기 전의 입력 화상의 휘도의 평균값을 취득하는 단계와,
    상기 입력 화상의 휘도에 기초하여, 상기 처리 화상의 휘도의 평균값을 추정하는 단계와,
    상기 입력 화상의 휘도의 평균값 및 상기 추정하는 단계에서 추정된 상기 처리 화상의 휘도의 평균값에 기초하여, 노출 보정 파라미터를 산출하는 단계, 및
    상기 노출 보정 파라미터를 사용하여 상기 처리 화상에 대한 노출 보정을 수행하는 단계를 포함하는, 화상 처리 방법.
  8. 산란광 성분을 제거하기 위한 콘트라스트 보정이 각각의 국소 영역에 대해 수행된 처리 화상의 밝기를 조정하는 화상 처리 방법을, 컴퓨터가 수행하게 하는 프로그램을 저장한 컴퓨터 판독가능 기억 매체이며,
    상기 화상 처리 방법은,
    상기 콘트라스트 보정이 각각의 국소 영역에 대해 수행되기 전의 입력 화상의 휘도의 평균값을 취득하는 단계와,
    상기 입력 화상의 휘도에 기초하여, 상기 처리 화상의 휘도의 평균값을 추정하는 단계와,
    상기 입력 화상의 휘도의 평균값 및 상기 추정하는 단계에서 추정된 상기 처리 화상의 휘도의 평균값에 기초하여, 노출 보정 파라미터를 산출하는 단계, 및
    상기 노출 보정 파라미터를 사용하여 상기 처리 화상에 대한 노출 보정을 수행하는 단계를 포함하는, 컴퓨터 판독가능 기억 매체.
KR1020160111492A 2015-09-01 2016-08-31 화상 처리 장치, 화상 처리 방법 및 기억 매체 KR102058775B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2015-172088 2015-09-01
JP2015172088A JP6579868B2 (ja) 2015-09-01 2015-09-01 画像処理装置、撮像装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
KR20170027301A KR20170027301A (ko) 2017-03-09
KR102058775B1 true KR102058775B1 (ko) 2019-12-23

Family

ID=56740748

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160111492A KR102058775B1 (ko) 2015-09-01 2016-08-31 화상 처리 장치, 화상 처리 방법 및 기억 매체

Country Status (5)

Country Link
US (1) US10027897B2 (ko)
EP (1) EP3139343B1 (ko)
JP (1) JP6579868B2 (ko)
KR (1) KR102058775B1 (ko)
CN (1) CN106485670A (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6635799B2 (ja) * 2016-01-20 2020-01-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN107292853B (zh) * 2017-07-27 2019-12-27 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端
TWI674804B (zh) * 2018-03-15 2019-10-11 國立交通大學 視訊除霧處理裝置及方法
JP7281897B2 (ja) 2018-12-12 2023-05-26 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム
JP7227785B2 (ja) * 2019-02-18 2023-02-22 キヤノン株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
CN109919879B (zh) * 2019-03-13 2022-11-25 重庆邮电大学 一种基于暗通道先验与亮通道先验的图像去雾方法
JP7427398B2 (ja) * 2019-09-19 2024-02-05 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム
US11983853B1 (en) * 2019-10-31 2024-05-14 Meta Plattforms, Inc. Techniques for generating training data for machine learning enabled image enhancement
CN112257729B (zh) * 2020-11-13 2023-10-03 腾讯科技（深圳）有限公司 图像识别方法、装置、设备及存储介质
CN114401372B (zh) * 2022-02-28 2024-08-06 维沃移动通信有限公司 对焦方法、装置、电子设备和可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015103167A (ja) * 2013-11-27 2015-06-04 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298794A (ja) * 1998-03-02 1999-10-29 Newcore Technol Inc 電子撮像装置
JP3614692B2 (ja) 1999-01-07 2005-01-26 シャープ株式会社 画像補正方法
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
US8014602B2 (en) * 2006-03-29 2011-09-06 Seiko Epson Corporation Backlight image determining apparatus, backlight image determining method, backlight image correction apparatus, and backlight image correction method
JP4264553B2 (ja) * 2006-06-12 2009-05-20 ソニー株式会社 画像処理装置、撮像装置、画像出力装置、これらの装置における方法およびプログラム
KR101431185B1 (ko) * 2007-06-22 2014-08-27 삼성전자 주식회사 영상 향상 방법 및 장치, 이를 이용한 영상 처리 시스템
JP5082776B2 (ja) * 2007-10-31 2012-11-28 オムロン株式会社 画像処理装置
US8340461B2 (en) 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
JP5136664B2 (ja) * 2010-07-09 2013-02-06 カシオ計算機株式会社 画像処理装置、及びプログラム
US8554011B2 (en) * 2011-06-07 2013-10-08 Microsoft Corporation Automatic exposure correction of images
KR101582478B1 (ko) * 2012-05-03 2016-01-19 에스케이 텔레콤주식회사 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
KR101582479B1 (ko) * 2012-05-15 2016-01-19 에스케이 텔레콤주식회사 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
US9456746B2 (en) * 2013-03-15 2016-10-04 Carl Zeiss Meditec, Inc. Systems and methods for broad line fundus imaging
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
JP6249638B2 (ja) * 2013-05-28 2017-12-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN103604367B (zh) * 2013-11-14 2016-10-12 上海交通大学 一种用于激光三角测量系统的校准装置和方法
JP2015156600A (ja) * 2014-02-21 2015-08-27 株式会社 日立産業制御ソリューションズ 画像信号処理装置，画像信号処理方法，および撮像装置
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015103167A (ja) * 2013-11-27 2015-06-04 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。

Also Published As

Publication number Publication date
US20170064177A1 (en) 2017-03-02
EP3139343B1 (en) 2019-07-31
CN106485670A (zh) 2017-03-08
KR20170027301A (ko) 2017-03-09
JP6579868B2 (ja) 2019-09-25
US10027897B2 (en) 2018-07-17
JP2017050683A (ja) 2017-03-09
EP3139343A1 (en) 2017-03-08

Similar Documents

Publication Publication Date Title
KR102058775B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
JP6282095B2 (ja) 画像処理装置、画像処理方法およびプログラム。
US10210643B2 (en) Image processing apparatus, image processing method, and storage medium storing a program that generates an image from a captured image in which an influence of fine particles in an atmosphere has been reduced
US10115186B2 (en) Image processing apparatus, imaging apparatus, depth measuring apparatus and image processing method
US9886744B2 (en) Image processing apparatus, image processing method, and storage medium with image quality improvement processing
KR102211592B1 (ko) 전자 장치 및 이의 영상 처리 방법
US10145790B2 (en) Image processing apparatus, image processing method, image capturing device and storage medium
US9538074B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US10063779B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US11074742B2 (en) Image processing apparatus, image processing method, and storage medium
US10708555B2 (en) Image processing apparatus, image processing method, and storage medium
US20230274398A1 (en) Image processing apparatus for reducing influence of fine particle in an image, control method of same, and non-transitory computer-readable storage medium
JP2015149618A (ja) 画像処理装置、画像処理方法およびプログラム
KR20190109242A (ko) 이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치
JP6494817B2 (ja) 画像処理装置、画像処理方法およびプログラム。
JP2015156189A (ja) 画像評価装置、および画像評価プログラム
JP6324192B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2022245234A1 (en) Determining depth maps from images
JP2017116606A (ja) 焦点調節装置、撮像装置およびプログラム
JP2015032990A (ja) ノイズ低減装置、画像処理装置、撮像装置、およびノイズ低減プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160831

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180228

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160831

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190320

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190923

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191217

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191217

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20221123

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20231128

Start annual number: 5

End annual number: 5