KR20060071893A - 화상 처리 장치, 화상 처리 방법, 촬상 장치, 프로그램, 및기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법, 촬상 장치, 프로그램, 및기록 매체 Download PDF

Info

Publication number
KR20060071893A
KR20060071893A KR1020050126685A KR20050126685A KR20060071893A KR 20060071893 A KR20060071893 A KR 20060071893A KR 1020050126685 A KR1020050126685 A KR 1020050126685A KR 20050126685 A KR20050126685 A KR 20050126685A KR 20060071893 A KR20060071893 A KR 20060071893A
Authority
KR
South Korea
Prior art keywords
image
light image
visible light
pass filter
low pass
Prior art date
Application number
KR1020050126685A
Other languages
English (en)
Other versions
KR101220002B1 (ko
Inventor
하지메 호사까
마사노리 가사이
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20060071893A publication Critical patent/KR20060071893A/ko
Application granted granted Critical
Publication of KR101220002B1 publication Critical patent/KR101220002B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

화상에 영향을 미치는 조명 기구를 사용하지 않고, 자연광 하에서 촬상된 화상의 노이즈를 저감한다. 촬상부(2)에서 가시광 화상 Visible과 적외광 화상 Infr을 촬상한다. 이들 화상을 촬상할 때, 특별한 조명 기구는 사용하지 않고, 자연광 하에서 촬상한다. 로우 패스 필터(33)는 가시광 화상 Visible의 노이즈를 제거하고, 하이 패스 필터(34)는 적외광 화상 Infr의 엣지를 추출한다. 로우 패스 필터(33)로부터의 출력 화상 Base는, 화상의 색미가 올바르다고 하는 장점과, 엣지나 상세 부분이 선명하지 않다고 하는 단점이 있다. 하이 패스 필터(34)로부터의 출력 화상 Edge는 적외광 화상 Infr의 엣지나 상세 부분이 보존되어 있다. 화상 합성부(35)에서 화상 Base와 화상 Edge를 합성함으로써 이들 화상의 장점을 합친 출력 화상 OUT이 얻어진다.
로우 패스 필터, 하이 패스 필터, 화상 합성부, 가시광 화상, 적외광 화상, 노이즈

Description

화상 처리 장치, 화상 처리 방법, 촬상 장치, 프로그램, 및 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, IMAGE PICKUP APPARATUS, COMPUTER PROGRAM, AND RECORDING MEDIUM}
도 1은 촬상 소자의 구성을 도시하는 블록도.
도 2는 화상 처리부의 구성을 도시하는 블록도.
도 3은 로우 패스 필터의 구성을 도시하는 블록도.
도 4는 로우 패스 필터의 동작을 도시하는 플로우차트.
도 5는 X 방향의 레벨 1 필터의 동작을 도시하는 플로우차트.
도 6은 하이 패스 필터의 구성을 도시하는 블록도.
도 7은 화상 처리부의 제1 변형예를 도시하는 블록도.
도 8은 화상 처리부의 제2 변형예를 도시하는 블록도.
도 9는 수차 보정부의 구성을 도시하는 블록도.
도 10은 수차 보정부의 동작을 도시하는 플로우차트.
도 11은 수차 보정부에서의 스케일값의 산출 처리를 도시하는 플로우차트.
도 12는 종래의 화상 처리 장치의 구성을 도시하는 블록도.
<도면의 주요 부분에 대한 부호의 설명>
1 : 촬상 장치
2 : 촬상부
21 : 촬상 소자
22 : 렌즈
23 : 모터
24 : 드라이버
3 : 화상 처리부
32 : 수차 보정부
31 : 게인 조정부
33 : 로우 패스 필터
34 : 하이 패스 필터
35 : 화상 합성부
[비특허 문헌 1] Georg Petschnigg Et al, Digital Photography with Flash and No-Flash Image pairs, acm Transaction on Graphics, Vol.23, Number 3, pp. 664∼672, August 2004
본 발명은, 화상의 엣지를 보존하면서 노이즈를 제거하는 화상 처리 장치, 화상 처리 방법, 촬상 장치, 프로그램, 및 기록 매체에 관한 것이다.
카메라로 화상을 촬상할 때, 화상의 색미는 라이팅에 크게 의존한다. 예를 들면, 납촉광에 비추인 피사체를 촬상하면, 오렌지색을 띄게 된 색미의 화상으로 되고, 월광에 비추인 피사체를 촬상하면, 청색을 띄게 된 색미의 화상으로 된다. 동일한 장소이어도 촬상 시의 라이팅에 의해 전혀 다른 화상이 촬상된다.
화상을 촬상할 때에는, 플래시 등의 특별한 조명 기구를 사용하지 않고, 자연의 빛(이하, 자연광이라고 함)을 이용하는 쪽이 올바른 색미를 재현할 수 있는데, 옥내나 야간에 촬상하면, 노광이 적어 화상에 노이즈가 포함된다고 하는 문제가 생긴다. 한편, 플래시를 사용하면, 노광량이 증가하여 엣지나 상세 부분이 선명하게 촬상되지만, 색미가 올바르지 않게 된다거나, 실제로는 존재하지 않는 그림자나 하이라이트가 발생한다거나 하게 된다고 하는 문제가 발생한다.
종래, 이러한 문제를 해결하기 위해, 도 12에 도시하는 바와 같은 화상 처리 장치(11)가 제안되어 있다. 화상 처리 장치(11)는, 2개의 로우 패스 필터(12, 13)와, 1개의 하이 패스 필터(14)와, 2개의 화상 합성부(15, 17)와, 1개의 음영 추출부(16)를 구비한다.
로우 패스 필터(13)는 크로스 바이래터럴 필터로서, 플래시를 사용한 화상(이하, 플래시 화상이라고 함)으로부터 엣지를 검출해서, 플래시를 사용하지 않은 화상(이하, 자연광 화상이라고 함)의 노이즈를 제거한다. 하이 패스 필터(14)는 플래시 화상의 엣지를 추출한다. 엣지의 추출에는, 자연광 화상의 각 화소값을 플래시 화상으로 제산한다고 하는 처리를 행한다.
화상 합성부(15)는 로우 패스 필터(13)에 의해 노이즈를 제거한 자연광 화상 과 하이 패스 필터(14)에 의해 엣지를 추출한 플래시 화상을 합성하여, 합성 화상 Comp를 생성한다. 화상의 합성에는, 로우 패스 필터(13)의 화소값에 하이 패스 필터(14)의 출력 화상의 화소값을 곱한다고 하는 처리를 행한다. 합성 화상 Comp는 플래시 화상과 자연광 화상의 장점을 갖추고 있어, 색미가 올바르고 노이즈가 적게 되어 있다.
로우 패스 필터(12)는 자연광 화상의 노이즈를 제거한다. 로우 패스 필터(12)로서는 바이래터럴 필터를 이용한다. 바이래터럴 필터는 1매의 화상을 이용하여 그 화상의 엣지 검출과 노이즈 제거를 행하는 필터이다.
음영 추출부(16)는 플래시 화상과 자연광 화상의 2매의 화상의 차이를 추출해서, 하이라이트나 그림자에 의해 화상이 변화된 확률을 평가한다. 화상 합성부(17)는, 음영 추출부(16)의 평가 결과에 기초하여, 로우 패스 필터(12)로부터의 출력 화상과 화상 합성부(15)의 출력 화상 Comp의 가중 가산을 행한다. 화상 합성부(17)는, 플래시의 유무에 따라 그림자나 하이라이트가 생겨 있을 가능성이 높은 부분에서는 화상의 중요도를 높게 하고, 가능성이 낮은 부분에서는 화상의 중요도를 낮게 한다. 화상 합성부(17)는 합성 화상 Comp로부터 불필요한 그림자나 하이라이트를 제거하고, 출력 화상 Out을 생성한다.
이와 같이, 종래의 화상 처리 장치(11)에서는, 플래시 화상의 엣지를 합성한 화상과, 플래시 화상의 엣지를 참조하지 않고서 노이즈를 제거한 화상의 2매의 화상을 생성하고, 플래시에 의해 그림자나 하이라이트가 발생하였을 가능성이 높은 화소에서는 하이 패스 필터(12)의 출력 화상의 계수를 높게 하고, 플래시에 의해 그림자나 하이라이트가 발생하였을 가능성이 낮은 화소에서는 화상 합성부(17)의 출력 화상 Comp의 계수를 높게 함으로써, 플래시 화상의 엣지와 자연광 화상의 색미를 최적으로 블렌드한 화상을 얻을 수 있다(예를 들면, 비특허 문헌 1).
상술한 바와 같이, 플래시를 사용하면, 화상의 엣지나 상세 부분이 선명하게 되지만, 자연광에서는 존재하지 않는 그림자나 하이라이트가 발생하는 경우가 있다. 화상 처리 장치(11)에서는, 그림자나 하이라이트는 제거하면서, 엣지나 상세 부분만을 남기고자 하지만, 이들을 구별하는 것은 용이하지 않아서 상당한 연산 코스트를 요한다.
또한, 화상 처리 장치(11)에서는 플래시 화상과 자연광 화상의 2매의 화상이 필요하다. 플래시 화상과 자연광 화상을 동시에 촬상하는 것은 불가능하기 때문에, 동화상이나 움직이는 피사체에 적용할 수 없다고 하는 문제가 있다. 또한, 플래시의 사용이 금지된 장소에서는 플래시 화상을 취득할 수 없다고 하는 문제도 있다.
본 발명은 상술한 과제를 감안하여 이루어진 것으로, 화상에 영향을 미치는 조명 기구를 사용하지 않고, 자연광 하에서 촬상한 화상의 노이즈를 저감하는 화상 처리 장치, 화상 처리 방법, 촬상 장치, 프로그램, 및 기록 매체를 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위해, 본 발명을 적용한 화상 처리 장치는, 가시광 화상과, 가시광 화상과 동일한 피사체를 촬상한 불가시광 화상을 취득하는 화상 취득 수단과, 불가시광 화상을 이용하여 가시광 화상의 노이즈를 저감하는 노이즈 저감 수단을 구비한다.
본 발명을 적용한 촬상 장치는, 주로 가시광 화상에 대하여 감도가 있는 제1 분광 특성에 기초하여 가시광 화상을 촬상하는 가시광 화상 촬상 수단과, 주로 불가시광 화상에 대하여 감도가 있는 제2 분광 특성에 기초하여 불가시광 화상을 촬상하는 불가시광 화상 촬상 수단과, 가시광 화상과 불가시광 화상의 수차를 보정하는 수차 보정 수단과, 불가시광 화상을 이용하여 가시광 화상의 노이즈를 저감하는 노이즈 저감 수단을 구비한다.
본 발명을 적용한 화상 처리 방법은, 가시광 화상과, 가시광 화상과 동일한 피사체를 촬상한 불가시광 화상을 취득하는 화상 취득 공정과, 불가시광 화상을 이용하여 가시광 화상의 노이즈를 저감하는 노이즈 저감 공정을 포함한다.
본 발명을 적용한 프로그램은, 소정의 처리를 컴퓨터에 실행시키는 프로그램에 있어서, 가시광 화상과, 가시광 화상에 대응하고 또한 가시광 화상과 동일한 화소 수로 촬상한 불가시광 화상을 취득하는 화상 취득 공정과, 불가시광 화상을 이용하여 가시광 화상의 노이즈를 저감하는 노이즈 저감 공정을 포함한다.
본 발명을 적용한 기록 매체는, 소정의 처리를 컴퓨터에 실행시키는 프로그램이 기록된 기록 매체에 있어서, 가시광 화상과, 가시광 화상에 대응하고 또한 가시광 화상과 동일한 화소 수로 촬상한 불가시광 화상을 취득하는 화상 취득 공정과, 불가시광 화상을 이용하여 가시광 화상의 노이즈를 저감하는 노이즈 저감 공정 을 포함하는 프로그램이 기록되어 있다.
<실시예>
이하, 도면을 참조하여 본 발명을 적용한 촬상 장치에 대하여 설명한다. 도 1에 촬상 장치(1)의 구성을 도시한다. 촬상 장치(1)는, 가시광 화상 Visible과 적외광 화상 Infr의 양쪽을 촬상하는 촬상부(2)와, 가시광 화상 Visible의 노이즈를 제거하는 화상 처리부(3)와, 화상이나 데이터의 기억 영역인 메모리(4)와, LCD(Liquid Crystal Display)(5)에의 화상 출력, 시리얼 인터페이스(6)나 USB(Universal Serial Bus)(7) 등의 인터페이스를 통하여 외부 기록 장치(10)와의 데이터 송수신을 행하는 시스템 컨트롤부(8)와, 촬상 소자(21)로부터 입력된 화상에 AGC(Automatic Gain Control) 및 CDS(Correlated Double Sampling)를 실시해서 화상 처리부(3)에 출력하는 신호 처리부(9)를 구비한다.
촬상부(2)는 가시광 화상 Visible과 적외광 화상 Infr의 RGB 화상을 출력한다. 촬상부(2)는, 예를 들면, CCD(Charge Coupled Device)나 CMOS(Complementary Metal-0xide Semiconductor)를 구성하는 촬상 소자(21)와, 렌즈(22)의 초점 맞춤이나 셔터 절환을 행하는 모터(23)와, 모터(23)를 제어하는 드라이버(24)를 구비한다.
촬상 소자(21)에는, 적외선 화상 Infr을 촬상하기 위한 촬상 소자(21)와, 가시광 화상 Visible을 촬상하기 위한 촬상 소자(21)가 있다. 적외광 화상 Infr을 촬상하는 촬상 소자(21)와 가시광 화상 Visible을 촬상하는 촬상 소자(21)는 동일 화소 수, 동일 화면 각도이고, 동일한 시각에 동일한 시간만큼 노광된다. 또한, 촬상 소자(21)는 가시광용과 적외광용으로 따로따로이어도 되고, 1개의 촬상 소자(21)의 출력을 분광하도록 하여도 된다.
화상 처리부(3)는, 가시광 화상 Visible의 엣지를 보존하면서 노이즈를 제거한 출력 화상 Out을 생성한다. 도 2에 화상 처리부(3)의 구성을 도시한다. 화상 처리부(3)는, 가시광 화상 Visible의 게인을 조정하는 게인 조정부(31)와, 가시광 화상 Visible의 노이즈를 제거하는 로우 패스 필터(33)와, 적외광 화상 Infr의 엣지 및 상세 부분을 추출하는 하이 패스 필터(34)와, 로우 패스 필터(33)의 출력 화상인 기초 화상 Base와 하이 패스 필터(34)의 출력 화상인 상세 화상 Edge를 합성하는 화상 합성부(35)로 구성된다.
게인 조정부(31)는, 게인을 조정함으로써, 노출 부족으로 어둡게 촬상된 가시광 화상 Visible의 화소값을 증대하여, 적정 노출로 촬상된 화상에 가까운 화소값으로 한다. 게인의 조정 방법으로서는, 가시광 화상의 화소값을 상수배하는 방법이나 지수 함수에 기초한 감마 보정, 다항식 함수 등에 기초한 임의의 게인 조정 방법 등이 있다. 조정 후의 화소값의 최대값은 제한되어 있다.
도 3에 로우 패스 필터(33)의 구성을 도시한다. 로우 패스 필터(33)는, 적외광 화상 Infr의 X 방향(폭 방향)의 엣지를 검출하는 X 엣지 검출부(41)와, 적외광 화상 Infr의 Y 방향(높이 방향)의 엣지를 검출하는 Y 엣지 검출부(42)와, X 방향의 엣지 평가치를 저장하는 X 평가치 저장부(43)와, Y 방향의 엣지 평가치를 저장하는 Y 평가치 저장부(44)와, X 방향의 엣지를 제거하는 3개의 X 로우 패스 필터(45a, 45b, 45c)와, Y 방향의 엣지를 제거하는 3개의 Y 로우 패스 필터(46a, 46b, 46c)와, X 엣지 평가치와 임계치를 비교하는 3개의 X 비교부(47a, 47b, 47c)와, Y 엣지 평가치와 임계치를 비교하는 3개의 Y 비교부(48a, 48b, 48c)를 구비한다.
X 로우 패스 필터는 X 방향의 5×1 탭 FIR 로우 패스 필터이다. X 로우 패스 필터에 의해서 가시광 화상의 X 방향의 노이즈가 제거된다. Y 로우 패스 필터는 Y 방향의 1×5 탭 FIR 로우 패스 필터이다. Y 로우 패스 필터에 의해서 가시광 화상의 Y 방향의 노이즈가 제거된다.
X 엣지 검출부(41)는 X 방향의 엣지를 검출하는 4×4 FIR 필터이고, Y 엣지 검출부(42)는 Y 방향의 엣지를 검출하는 4×4 FIR 필터이다. X 평가치 저장부(43)는 X 엣지 검출부(42)의 필터 결과에 대하여 절대값 연산을 적용해서 엣지 평가치를 산출하고, 이 값을 X 엣지 화상으로서 저장한다. Y 평가치 저장부(44)는 Y 엣지 검출부(42)의 필터 결과에 대하여 절대값 연산을 적용해서 엣지 평가치를 산출하고, 이 값을 Y 엣지 화상으로서 저장한다.
X 비교부(47) 및 Y 비교부(48)는 엣지 평가치와 소정의 임계치의 비교를 행한다. 임계치 n은 엣지 평가치의 최대값의 1/2이다. X 비교부(47a)는 X 방향의 엣지 평가치와 임계치 n을 비교하고, X 비교부(47b)는 X 방향의 엣지 평가치와 임계치 n/2을 비교하며, X 비교부(47c)는 X 방향의 엣지 평가치와 임계치 n/4을 비교한다. Y 비교부(48a)는 Y 방향의 엣지 평가치와 임계치 n을 비교하고, Y 비교부(48b)는 Y 방향의 엣지 평가치와 임계치 n/2을 비교하며, Y 비교부(48c)는 Y 방향의 엣지 평가치와 임계치 n/4을 비교한다.
로우 패스 필터(33)는 레벨 1 필터(49a), 레벨 2 필터(49b), 레벨 3 필터 (49c)의 3 단계로 구성된다. 로우 패스 필터(33)의 레벨은 X 비교부(47) 및 Y 비교부(48)에서의 임계치의 대소에 따른다. 임계치 n의 로우 패스 필터를 레벨 1 필터(49a), 임계치 n/2의 로우 패스 필터를 레벨 2 필터(49b), 임계치 n/4의 로우 패스 필터(49c)를 레벨 3 필터라고 칭한다.
가시광 화상 Visible은, 우선, X 비교부(47a)에 출력된다. X 비교부(47a)는 X 평가치 저장부(43)에 저장된 X 방향의 엣지 평가치와 임계치 n을 비교한다. X 비교부(47a)는, 엣지 평가치가 임계치 n보다 작은 경우에는 가시광 화상 Visible을 X 로우 패스 필터(45a)에 출력하고, 엣지 평가치가 임계치 n 이상인 경우에는 가시광 화상 Visible을 Y 비교부(48a)에 출력한다. 비교부(48b)는 Y 평가치 저장부(44)에 저장된 Y 방향의 엣지 평가치와 임계치 n을 비교한다. 비교부(48b)는, 엣지 평가치가 임계치 n보다 작은 경우에는 가시광 화상 Visible을 Y 로우 패스 필터(46a)에 출력하고, 엣지 평가치가 임계치 n 이상인 경우에는 가시광 화상 Visible을 다음 X 비교부(47b)에 출력한다.
마찬가지로, X 비교부(47b), Y 비교부(46b), X 비교부(47c), Y 비교부(48c)에서 엣지 평가치와 임계치를 비교해서, 임계치보다 작은 경우에는 후단의 로우 패스 필터에 가시광 화상 Visible을 출력하고, 임계치 이상인 경우에는 가시광 화상 Visible을 다음 비교부에 출력한다.
도 4에 로우 패스 필터(33)의 동작을 도시한다. 로우 패스 필터(33)는, 우선, 적외광 화상 Infr을 입력받는다(단계 S1). X 엣지 검출부(41)는 적외광 화상 Infr에 존재하는 X 방향의 엣지를 검출한다. X 평가치 저장부(43)는 X 방향의 엣 지에 소정의 절대값 연산을 적용하여 X 방향의 엣지 평가치를 산출하고, 산출한 엣지 평가치를 X 엣지 화상으로서 저장한다(단계 S2). Y 엣지 검출부(42)는 적외광 화상 Infr에 존재하는 Y 방향의 엣지를 검출한다. Y 평가 저장부(44)는 Y 방향의 엣지에 소정의 절대값 연산을 적용한 Y 방향의 엣지 평가치를 산출하고, 산출한 엣지 평가치를 Y 엣지 화상으로서 저장한다(단계 S3).
로우 패스 필터(33)는 게인 조정부(31)로부터 가시광 화상 Visible을 입력받으면(단계 S4), 입력받은 가시광 화상 Visible을 레벨 1 필터(49a)에 적용하여, X 방향의 처리를 행한다(단계 S5).
도 5에 레벨 1 필터(49a)의 X 방향의 처리를 도시한다. 레벨 1 필터(49a)의 X 방향의 처리에서는, 우선, Y 방향의 좌표 Y를 0으로 초기화하고(단계 S11), X 방향의 좌표 X를 0으로 초기화한다(단계 S12). X 비교부(47a)는 X 평가치 저장부(43)로부터 X 평가치 화상을 입력받는다. X 비교부(47a)는 X 평가치 화상의 좌표(X, Y)에서의 X 방향의 엣지 평가치와 임계치 n을 비교한다. 좌표(X, Y)의 엣지 평가치가 임계치 n보다 작은 경우(단계 S13; "예"), 좌표(X, Y)의 가시광 화상에 X 로우 패스 필터(45a)를 적용한다(단계 S14). 한편, 좌표(X, Y)의 엣지 평가치가 임계치 n보다 큰 경우(단계 S13; "아니오"), 단계 S15로 처리를 이행한다. 단계 S15에서는, X 좌표를 1 인크리먼트한다(단계 S15). X 좌표의 값과 가시광 화상 Visible의 폭을 비교하고, 좌표 X가 가시광 화상 Visible의 폭보다 작으면(단계 S16; "예"), 단계 S13으로 처리를 이행한다. 한편, 좌표 X가 가시광 화상 Visible의 폭보다 크면(단계 S16; "아니오"), 좌표 Y를 1 인크리먼트한다(단계 S17). 단 계 S18에서는 Y 좌표의 값과 가시광 화상 Visible의 높이를 비교한다. Y 좌표가 가시광 화상 Visible의 높이보다 작으면(단계 S18; "예"), 단계 S12로 처리를 이행한다. 한편, Y 좌표가 가시광 화상 Visible의 높이보다 크면(단계 S18; "아니오"), 레벨 1 필터의 X 방향의 처리를 종료한다. 레벨 1 필터는 가시광 화상을 구성하는 각 화소의 엣지 평가치와 임계치 n을 비교해서, 엣지 평가치가 임계치 n보다 작으면, X 로우 패스 필터(45a)를 적용하여 X 방향의 노이즈를 제거한다.
레벨 1 필터에서는, X 방향의 레벨 1 필터(49a)에 의한 처리가 완료되면, Y 방향의 레벨 1 필터(49a)에 의한 처리를 행한다. 여기서는, 도 5에 도시하는 X 방향의 레벨 1 필터(49a)와 대략 동일한 처리를 행한다. Y 방향의 레벨 1 필터(49a)에서는 엣지 평가 화상으로서 X 엣지 화상 대신에 Y 엣지 화상을 사용하고, 로우 패스 필터로서 X 로우 패스 필터(45a) 대신에 Y 로우 패스 필터(46a)를 사용한다(단계 S6).
레벨 1 필터(49a)는, 자신의 처리가 완료되면, 가시광 화상 Visible을 레벨 2 필터(49b)에 출력한다. 레벨 2 필터(49b)는, 우선, X 방향의 처리를 행한다(단계 S7). X 방향의 처리가 완료되면, Y 방향의 처리를 행한다(단계 S8). 레벨 3 필터(49c)는 레벨 2 필터(49b)의 출력 화상을 입력받으면 X 방향의 처리를 행하고(단계 S9), X 방향의 처리를 완료하면 Y 방향의 처리를 행한다(단계 S10). 레벨 2 필터와 레벨 3 필터는 임계치가 서로 다른 것을 제외하고 동일한 처리를 행한다.
로우 패스 필터(33)에서는, 엣지 평가치가 낮은 화소일수록 필터링되는 횟수가 많게 되고, 엣지 평가치가 높은 화소일수록 필터링되는 횟수가 적게 된다. 즉, 엣지 평가치가 높은 화소는 필터링 횟수가 적기 때문에 엣지가 보존되고, 엣지 평가치가 낮은 화소는 필터링 횟수가 많기 때문에 노이즈가 제거된다. 이러한 기능을 갖는 필터를 엣지 보존 필터라고 부른다. 엣지 보존 필터의 종류는 도 3에 도시되어 있지만, 그 외에, 바이래터럴 필터나 크로스 바이래터럴 필터 등이 있다. 로우 패스 필터(33)로서 이들 필터를 사용하여도 된다.
로우 패스 필터(33)는 가시광 화상 Visible의 노이즈를 제거한 화상을 출력한다. 이 화상을 기초 화상 Base라고 칭한다. 기초 화상 Base는 화상의 색미가 올바르다고 하는 장점과, 엣지나 상세 부분이 선명하지 않고 흐릿해졌다는 인상을 준다고 하는 단점이 있다.
하이 패스 필터(34)는 적외광 화상 Infr의 엣지 부분을 추출한다. 도 6에 하이 패스 필터(34)의 일례를 도시한다. 도 6의 하이 패스 필터(34)는 2차원 FIR 필터이다. 하이 패스 필터(34)는 로우 패스 필터(71)와 제산부(72)로 구성된다. 로우 패스 필터(71)는, 예를 들면, 엣지 보존형 로우 패스 필터이다. 로우 패스 필터(71)는 가시광 화상 Visible의 노이즈를 제거하고, 이 화상을 제산부(72)에 출력한다. 제산부(72)는 적외광 화상 Irfr로부터 로우 패스 필터(71)의 출력을 제산하여, 적외광 화상 Infr의 하이 패스 성분을 추출한다. 하이 패스 필터(34)로부터 출력된 화상에는, 적외광 화상 Infr의 엣지나 상세 부분이 보존되어 있다. 이 화상을 상세 화상 Edge라고 칭한다.
화상 합성부(35)는 기초 화상 Base와 상세 화상 Edge를 승산한 합성 화상을 생성한다. 이 화상이 화상 처리부(3)의 출력 화상 OUT이다. 출력 화상 OUT은 기 초 화상 Base와 상세 화상 Edge의 2개의 화상의 장점을 합친 화상으로, 색이 올바르고 상세 부분이 선명하다고 하는 특징이 있다.
이상 설명한 바와 같이, 본 발명을 적용한 촬상 장치(1)에서는, 가시광 화상 Visible의 노이즈를 제거한 기초 화상 Base와, 적외광 화상 Infr의 엣지나 상세 부분을 추출한 상세 화상 Edge를 합성함으로써, 가시광 화상 Visible의 노이즈를 제거하면서, 노이즈 제거에 의해 감쇠된 엣지 부분이나 상세 부분을 포함하는 출력 화상 OUT을 얻을 수 있다.
또한, 적외광 화상 Infr은 가시광 화상 Visible과 동시에 촬상할 수 있기 때문에, 촬상 시각의 어긋남이 발생하지 않아, 동화상이나 움직이는 피사체의 처리도 가능하다.
종래의 화상 처리 장치에서는, 플래시 화상에서 엣지를 추출하고 있었기 때문에, 조명 조건의 차이에 의해 발생하는 그림자나 하이라이트를 제거하기 위한 연산 코스트가 증대하고 있었지만, 적외광 화상 Infr은 가시광 화상 Visible과 동일한 조명 조건에서 촬상할 수 있기 때문에, 조명 조건의 차이를 보정하지 않아도 된다.
또한, 종래의 화상 처리 장치에서는, 상세 부분이나 엣지를 그림자나 하이라이트로 오판별한 경우에는, 상세 부분의 화소가 파기되게 된다고 하는 과제가 있었다. 적외광 화상 Infr은 가시광 화상 Visible과 동일한 조명 조건에서 촬상할 수 있으므로, 조명 조건의 차이에 의한 그림자나 하이라이트가 발생하지 않아, 필요한 화소가 파기되게 될 우려가 없다.
다음으로, 도 7을 참조하여 화상 처리부(3)의 제1 변형예에 대하여 설명한다. 이 화상 처리부(50)는 가시광 화상 Visible의 휘도를 이용하여 엣지 검출을 행한다. 휘도는 변수가 1개이기 때문에, RGB의 3개 변수로부터 엣지 검출을 행하는 것보다 연산 코스트가 적게 된다. 인간은, 일반적으로 휘도에 대하여 감도가 높고, 색 성분에 대해서는 감도가 높지 않기 때문에, 휘도에서의 엣지 검출로도 충분한 효과가 있다.
도 7에 화상 처리부(50)의 구성을 도시한다. 화상 처리부(50)는, 게인 조정부(52)와, 매트릭스부(53)와, 색용 로우 패스 필터(54)와, 휘도용 로우 패스 필터(55)와, 하이 패스 필터(56)와, 화상 합성부(57)와, 역매트릭스부(58)를 구비한다.
게인 조정부(52)는, 게인을 조정함으로써, 노출 부족으로 어둡게 촬상된 가시광 화상의 화소값을 증대하여, 적정 노출로 촬상된 화상에 가까운 화소값으로 한다. 게인의 조정 방법으로서는, 가시광 화상의 화소값을 상수배하는 방법이나 지수 함수에 기초한 감마 보정, 다항식 함수 등에 기초한 임의의 게인 조정 방법 등이 있다. 조정 후의 화소값의 최대값은 제한되어 있다.
매트릭스부(53)는 RGB 화상에 매트릭스 변환을 적용하여, 색 화상 Cb, Cr과 휘도 화상 Yd로 변환한다. 색용 로우 패스 필터(54)는 색 화상 Cb, Cr의 노이즈를 제거한다. 색용 로우 패스 필터(54)로서는, 예를 들면 바이래터럴 필터를 사용한다. 바이래터럴 필터는 1매의 화상으로부터 엣지 검출과 노이즈 제거를 행하는 필터이다.
휘도용 로우 패스 필터(55)는 휘도 화상 Yd의 노이즈를 제거한다. 휘도용 로우 패스 필터(55)로서는, 예를 들면 크로스 바이래터럴 필터를 사용한다. 크로스 바이래터럴 필터란, 엣지 검출용 화상으로부터 검출한 엣지를 보존하면서 필터 대상 화상의 노이즈를 제거하는 필터이다. 여기서는, 적외광 화상 Infr로부터 엣지를 검출해서, 휘도 화상 Yd의 노이즈를 제거한다. 휘도용 로우 패스 필터(55)로부터 출력되는 화상을 기초 화상 Base라고 칭한다. 기초 화상 Base는, 화상의 휘도가 올바르다고 하는 장점과, 엣지나 상세 부분이 선명하지 않고 흐릿해졌다는 인상을 준다고 하는 단점이 있다.
하이 패스 필터(56)는 적외광 화상 Infr의 엣지 부분을 추출한다. 하이 패스 필터(56)로부터 출력된 화상에는, 적외광 화상 Infr의 엣지나 상세 부분이 보존되어 있다. 이 화상을 상세 화상 Edge라고 칭한다.
화상 합성부(57)는, 기초 화상 Base와 상세 화상 Edge를 승산한 합성 화상을 생성한다. 이 합성 화상은 기초 화상 Base와 상세 화상 Edge의 장점을 합친 화상으로서, 휘도가 올바르고 상세 부분이나 엣지가 선명하다. 역 매트릭스부(58)는 합성 화상에 역매트릭스 변환을 적용하여 휘도 화상을 RGB 화상으로 변환한다. 이 화상이 화상 처리부의 출력 화상 OUT이다.
화상 처리부(50)는 RGB 화상을 색 화상 Cb, Cr과 휘도 화상 Yd로 분리하고, 휘도 화상 Yd에 대해서만 엣지 검출을 행한다. 인간은, 일반적으로 휘도에 대하여 감도가 높고, 색 성분에 대하여 감도가 높지 않다. RGB의 3개의 변수가 아니라, 휘도에만 필터를 적용함으로써 연산 코스트를 감소시킬 수 있다.
다음으로, 화상 처리부(3)의 제2 변형예에 대하여 설명한다. 이 화상 처리 부(3)는, 도 8에 도시하는 바와 같이, 적외광 화상의 수차를 보정하는 수차 보정부(32)를 구비한다. 수차 보정부(32) 이외의 구성은 화상 처리부(3)와 동일하다. 화상 처리부(3)와 동일한 구성 요소에는 동일 부호를 붙여 놓는다. 이들 구성 요소의 설명은 생략한다.
수차 보정부(32)는 적외광과 가시광의 파장의 차에 의해 생기는 수차를 보정한다. 도 9에 수차 보정부(32)의 구성을 도시한다. 수차 보정부(32)는, 매트릭스부(61)와, 오차 산출용 바이리니어 스케일러(62)와, 수차 보정용 바이리니어 스케일러(63)와, 파라미터 산출부(64)와, 오차 산출부(65)를 구비한다.
매트릭스부(61)는 입력된 가시광 화상 Visible의 휘도 화상 Yd를 생성한다. 오차 산출용 바이리니어 스케일러(62)는, 파라미터 산출부(64)로부터 출력된 스케일값 및 디스토션값에 기초하여, 5 가지의 스케일 변환 화상 및 디스토션 변환 화상을 생성한다.
오차 산출부(65)는 스케일 변환 화상과 적외광 화상 및 디스토션 변환 화상과 적외광 화상을 비교해서 이들 화상의 오차값을 산출한다. 이 오차갑은 PSNR값(노이즈 혼입량; Peak Signal To Noise Ratio)이다. 파라미터 산출부(64)는 오차 산출부(65)에서 산출된 PSNR값을 참조하여 스케일값과 디스토션값을 최적화한다. 수차 보정용 바이리니어 스케일러(63)는, 파라미터 산출부(64)가 최적화한 스케일값과 디스토션값을 이용하여, 가시광 화상 Visible의 수차를 보정한다.
도 10에 수차 보정부(32)의 동작을 도시한다. 수차 보정부(32)는 가시광 화상 Visible과 적외광 화상 Infr을 입력받는다. 이 가시광 화상 Visible은 RGB 화 상이다(단계 S21). 매트릭스부(61)는 가시광 화상 Visible에 매트릭스을 곱하여 휘도 화상 Yd를 생성한다(단계 S22). 파라미터 산출부(64)는 스케일값의 최대값, 현재값, 최소값, 및 디스토션값의 최대값, 현재값, 최소값을 초기화한다(단계 S23).
파라미터 산출부(64)는 오차 산출부(65)로부터 PSNR값을 입력받고, PSNR값을 최대로 하는 스케일값을 구한다(단계 S24).
도 11에 스케일값의 산출 수순을 도시한다. 파라미터 산출부(64)는 스케일값의 최대값 S1, 최대값과 현재값의 중간값 S2, 현재값 S3, 최소값과 현재값의 중간값 S4, 최소값 S5의 5 가지의 파라미터를 준비한다. 오차 검출용 바이리너어 스케일러(62)는 이들 5 가지의 스케일값 각각을 사용하여 휘도 화상 Yd의 스케일 변환을 행한다. 이에 의해, 5 가지의 파라미터에 대응하는 5매의 휘도 화상 Yd1∼Yd5가 생성된다(단계 S31).
오차 산출부(65)는 휘도 화상 Yd1∼Yd5와 적외광 화상 Infr을 비교하여 PSNR값을 구한다. 각 휘도 화상과 적외광 화상 Yd1∼Yd5를 비교하면, 5 가지의 PSNR값이 산출된다(단계 S32). 최대값 S1에서 스케일 변환된 휘도 화상 Yd1과 적외광 화상 Infr의 PSNR값이 최대인 경우(단계 S33; "예"), 파라미터 산출부(64)는 현재값 S3를 최대값 S1으로 바꾸고, 최대값 S1을 최대값 S1의 2배의 값에서 최소값 S5를 뺀 값으로 바꾼다(단계 S34).
최대값 S1과 현재값 S3의 중간값에서 PSNR값이 최대인 경우(단계 S35; "예"), 파라미터 산출부(64)는 최소값 S5를 현재값 S3로 바꾸고, 현재값 S3로서 최대값 S1과 현재값 S3의 중간값으로 바꾼다(단계 S36).
현재값 S3에서 PSNR값이 최대인 경우(단계 S37; "예"), 파라미터 산출부(64)는 최대값 S1을 현재값 S3로 바꾸고, 현재값 S3를 현재값 S3와 최소값 S5의 중간값으로 바꾼다(단계 S38).
최소값 S5와 현재값 S3의 중간에서 PSNR값이 최대인 경우(단계 S39; "예"), 파라미터 산출부(64)는 현재값 S3를 최소값 S5로 바꾸고, 최소값 S5를 최소값 S5의 2배로부터 최대값 S1을 뺀 값으로 바꾼다(단계 S40).
최소값 S5에서 PSNR값이 최대인 경우(단계 S33, 단계 S35, 단계 S37, 단계 S39; "아니오"), 파라미터 산출부(64)는 현재값 S3를 최소값 S5로 바꾸고, 최소값 S5를 최소값 S5의 2배로부터 최대값 S1을 바꾼다(단계 S41). 이와 같이, 스케일값의 최적화가 완료된다.
다음으로, 파라미터 산출부(64)는 디스토션값의 최적화를 행한다. 디스토션값의 최적화는 스케일값의 최적화 처리와 동일한 처리이다. 디스토션값의 최적화에서는 파라미터가 스케일값으로부터 디스토션값으로 변화된다(단계 S25). 스케일값과 디스토션값의 최적화가 완료되면, 파라미터 산출부(64)는 PSNR값의 개선량을 소정의 임계치와 비교한다. PSNR값의 개선량이 소정의 임계치보다 낮은 경우에는(단계 S26; "아니오"), 단계 S25로 처리를 이행하여, 다시, 스케일값 및 디스토션값의 최적화를 행한다.
한편, PSNR값의 개선량이 소정의 임계치보다 높은 경우에는(단계 S26; "예"), 파라미터 산출부(64)는 현재의 스케일값과 디스토션값을 수차 보정용 바이리니어 스케일러(63)에 출력한다. 수차 보정용 바이리니어 스케일러(63)는 현재의 스케일값과 디스토션값을 이용하여 가시광 화상 Visible의 수차 보정을 행하고(단계 S27), 보정된 화상을 하이 패스 필터(56)에 출력한다(단계 S28).
수차 보정부(32)를 마련함으로써, 가시광과 적외광의 파장의 차에 의해 생기는 수차의 차이를 보정할 수 있다. 이에 의해, 가시광 화상 Visible에 촬상된 상과 적외광 화상 Infr에 촬상된 상이 일치한다.
일반적으로, 적외광의 굴절율이 높아 약간 확대된다. 가시광 화상 Visible을 보정하면, 큰 화상이 얻어지지만 변형도 크게 된다. 화상의 크기와 변형의 크기는 트레이드 오프의 관계에 있기 때문에, 어느 쪽을 우선시킬지에 따라 보정하는 화상은 다르다.
화상 처리부(3)에서의 필터링 처리 및 수차 보정 처리는 제어 프로그램에 기초하여 실행하여도 된다. 이러한 제어 프로그램은, 촬상 장치(1)의 펌웨어에 기록되어 있다. 또한, 제어 프로그램은, 외부 기록 장치(9)가 판독 가능한 형식으로 기록된 기록 매체를 통하여 취득하여도 된다. 제어 프로그램을 기록하는 기록 매체로서는, 자기 판독 방식의 기록 매체(예를 들면, 자기 테이프, 플렉시블 디스크, 자기 카드), 광학 판독 방식의 기록 매체(예를 들면, CD- ROM, MO, CD-R, DVD), 반도체 메모리(메모리 카드, IC 카드) 등이 생각된다. 또한, 제어 프로그램은, 소위 인터넷 등을 통하여 취득하여도 된다.
본 발명에 따르면, 가시광 화상을 이용하여 불가시광 화상의 노이즈를 저감시키기 때문에, 화상에 영향을 미치는 조명 기구를 사용하지 않고, 자연광 하에서 촬상한 화상의 노이즈를 저감시킬 수 있다.

Claims (17)

  1. 가시광 화상과, 상기 가시광 화상에 대응하는 불가시광 화상을 취득하는 화상 취득 수단과,
    상기 불가시광 화상을 이용하여 상기 가시광 화상의 노이즈를 저감하는 노이즈 저감 수단
    을 포함하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 노이즈 저감 수단은,
    상기 가시광 화상에 로우 패스 필터를 적용하는 제1 필터링 수단과,
    상기 불가시광 화상에 하이 패스 필터를 적용하는 제2 필터링 수단과,
    상기 로우 패스 필터 및 상기 하이 패스 필터의 출력을 합성하는 합성 수단
    을 구비하는 것을 특징으로 하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 불가시광 화상이란, 적외광 화상인 것을 특징으로 하는 화상 처리 장치.
  4. 제1항에 있어서,
    상기 불가시광 화상이란, 자외광 화상인 것을 특징으로 하는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 로우 패스 필터는 엣지 보존 로우 패스 필터인 것을 특징으로 하는 화상 처리 장치.
  6. 제5항에 있어서,
    상기 엣지 보존 로우 패스 필터는, 상기 불가시광 화상으로부터 검출된 엣지를 보존하면서 상기 가시광 화상의 노이즈를 제거하는 것을 특징으로 하는 화상 처리 장치.
  7. 제6항에 있어서,
    상기 가시광 화상의 노이즈 제거는, 복수 레벨의 로우 패스 필터를 사용하여 행해지는 것을 특징으로 하는 화상 처리 장치.
  8. 제7항에 있어서,
    상기 가시광 화상의 노이즈 제거는, 상기 불가시광 화상으로부터 검출된 엣지의 평가치에 따라서, 상기 복수 레벨 중 어느 레벨의 로우 패스 필터를 사용할지를 결정하는 것을 특징으로 하는 화상 처리 장치.
  9. 제8항에 있어서,
    상기 로우 패스 필터의 레벨은, 화상의 X 방향 및 Y 방향에 대하여 독립하여 결정하는 것을 특징으로 하는 화상 처리 장치.
  10. 제2항에 있어서,
    상기 가시광 화상을 색 화상과 휘도 화상으로 변환함과 함께, 변환된 상기 색 화상과 휘도 화상의 각각에 필터를 적용하는 것을 특징으로 하는 화상 처리 장치.
  11. 제10항에 있어서,
    상기 필터로서, 상기 색 화상에는 바이래터럴 필터를, 상기 휘도 화상에는 크로스 바이래터럴 필터를 사용하는 것을 특징으로 하는 화상 처리 장치.
  12. 제1항에 있어서,
    상기 가시광 화상과 상기 불가시광 화상의 수차를 보정하는 수차 보정 수단
    을 포함하는 것을 특징으로 하는 화상 처리 장치.
  13. 제12항에 있어서,
    상기 수차 보정 수단은, 상기 가시광 화상을 변환한 휘도 화상과 상기 불가 시광 화상의 오차를 이용하여 수차 보정을 행하는 것을 특징으로 하는 화상 처리 장치.
  14. 주로 가시광에 대하여 감도가 있는 제1 분광 특성에 기초하여 가시광 화상을 촬상하는 가시광 화상 촬상 수단과,
    주로 불가시광에 대하여 감도가 있는 제2 분광 특성에 기초하여 불가시광 화상을 촬상하는 불가시광 화상 촬상 수단과,
    상기 가시광 화상과 불가시광 화상과의 수차를 보정하는 수차 보정 수단과,
    상기 불가시광 화상을 이용하여 가시광 화상의 노이즈를 저감하는 노이즈 저감 수단
    을 포함하는 것을 특징으로 하는 촬상 장치.
  15. 가시광 화상과, 상기 가시광 화상에 대응하고 또한 상기 가시광 화상과 동일한 화소 수로 촬상한 불가시광 화상을 취득하는 화상 취득 공정과,
    상기 불가시광 화상을 이용하여 상기 가시광 화상의 노이즈를 저감하는 노이즈 저감 공정
    을 포함하는 것을 특징으로 하는 화상 처리 방법.
  16. 소정의 처리를 컴퓨터에 실행시키는 프로그램에 있어서,
    가시광 화상과, 상기 가시광 화상에 대응하고 또한 상기 가시광 화상과 동일 한 화소 수로 촬상한 불가시광 화상을 취득하는 화상 취득 공정과,
    상기 불가시광 화상을 이용하여 상기 가시광 화상의 노이즈를 저감하는 노이즈 저감 공정
    을 포함하는 것을 특징으로 하는 프로그램.
  17. 소정의 처리를 컴퓨터에 실행시키는 프로그램이 기록된 기록 매체에 있어서,
    가시광 화상과, 상기 가시광 화상에 대응하고 또한 상기 가시광 화상과 동일한 화소 수로 촬상한 불가시광 화상을 취득하는 화상 취득 공정과,
    상기 불가시광 화상을 이용하여 상기 가시광 화상의 노이즈를 저감하는 노이즈 저감 공정
    을 포함하는 프로그램이 기록된 것을 특징으로 하는 기록 매체.
KR1020050126685A 2004-12-22 2005-12-21 화상 처리 장치, 화상 처리 방법, 촬상 장치 및 기록 매체 KR101220002B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00371985 2004-12-22
JP2004371985A JP4534756B2 (ja) 2004-12-22 2004-12-22 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
KR20060071893A true KR20060071893A (ko) 2006-06-27
KR101220002B1 KR101220002B1 (ko) 2013-01-08

Family

ID=36071991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050126685A KR101220002B1 (ko) 2004-12-22 2005-12-21 화상 처리 장치, 화상 처리 방법, 촬상 장치 및 기록 매체

Country Status (5)

Country Link
US (1) US7589771B2 (ko)
EP (1) EP1675384A3 (ko)
JP (1) JP4534756B2 (ko)
KR (1) KR101220002B1 (ko)
CN (1) CN100442816C (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100928292B1 (ko) * 2008-01-18 2009-11-25 동국대학교 산학협력단 합성 영상 생성 장치 및 그 방법
US20100124373A1 (en) * 2008-11-17 2010-05-20 Young-Jin Yoo Apparatus and method for processing image
US10249032B2 (en) 2010-04-23 2019-04-02 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
KR20190047040A (ko) * 2016-09-19 2019-05-07 항조우 힉비젼 디지털 테크놀로지 컴퍼니 리미티드 분광-융합의 이미지 수집 기기
KR102257752B1 (ko) * 2020-05-14 2021-05-31 인천대학교 산학협력단 인공지능 기반 적외선 이미지와 가시광선 이미지를 융합하는 영상 융합 장치 및 방법

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US8531562B2 (en) 2004-12-03 2013-09-10 Fluke Corporation Visible light and IR combined image camera with a laser pointer
US8385671B1 (en) * 2006-02-24 2013-02-26 Texas Instruments Incorporated Digital camera and method
US7767967B2 (en) * 2006-11-01 2010-08-03 Sony Corporation Capturing motion using quantum nanodot sensors
SE531942C2 (sv) * 2007-02-01 2009-09-15 Flir Systems Ab Metod för bildbehandling av IR-bilder innefattande kontrastförhöjande filtrering
JP2008233381A (ja) * 2007-03-19 2008-10-02 Fujifilm Corp 撮像装置
JP4316629B2 (ja) * 2007-03-29 2009-08-19 株式会社東芝 画像処理システム、画像取得方法及びプログラム
JP4757221B2 (ja) * 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法
JP2008271024A (ja) * 2007-04-18 2008-11-06 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP4341695B2 (ja) 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
JP2008306512A (ja) * 2007-06-08 2008-12-18 Nec Corp 情報提供システム
JP5144202B2 (ja) * 2007-10-05 2013-02-13 オリンパス株式会社 画像処理装置およびプログラム
DE102008009263B3 (de) * 2008-02-15 2009-06-10 Siemens Aktiengesellschaft Verfahren zum automatischen Erkennen, insbesondere bei der Verkehrsüberwachung, von Fahrzeugen oder von Fahrzeugkennzeichen
JP4492724B2 (ja) * 2008-03-25 2010-06-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5175783B2 (ja) * 2008-04-09 2013-04-03 富士フイルム株式会社 撮像装置及び撮像装置の駆動方法
US8730371B2 (en) 2008-12-10 2014-05-20 Canon Kabushiki Kaisha Image processing apparatus and image processing method, and data processing apparatus and data processing method
WO2010081010A2 (en) * 2009-01-09 2010-07-15 New York University Methods, computer-accessible medium and systems for facilitating dark flash photography
CN102334333B (zh) * 2009-01-16 2016-05-11 双光圈国际株式会社 改善成像系统的景深
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
WO2012170949A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9635285B2 (en) * 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US8174611B2 (en) * 2009-03-26 2012-05-08 Texas Instruments Incorporated Digital image segmentation using flash
DE102009021721A1 (de) * 2009-05-18 2010-11-25 Osram Opto Semiconductors Gmbh Optisches Aufzeichnungsgerät zur Aufzeichnung eines Bildes
CN101902558B (zh) * 2009-06-01 2012-06-13 联咏科技股份有限公司 图像处理电路及其图像处理方法
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9716843B2 (en) * 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
JP5152114B2 (ja) * 2009-06-30 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム
EP2472847A4 (en) * 2009-08-24 2013-10-23 Nec Corp SYSTEM, METHOD AND PROGRAM FOR COMPRESSING DYNAMIC IMAGE RANGE
EP2309449B1 (en) * 2009-10-09 2016-04-20 EPFL Ecole Polytechnique Fédérale de Lausanne Method to produce a full-color smoothed image
KR101618298B1 (ko) * 2009-10-23 2016-05-09 삼성전자주식회사 고감도 영상 생성 장치 및 방법
US8339508B2 (en) * 2010-02-22 2012-12-25 Csr Technology Inc. Method and apparatus for low-light imaging enhancement
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
JP5545016B2 (ja) * 2010-05-12 2014-07-09 ソニー株式会社 撮像装置
JP5141733B2 (ja) * 2010-08-18 2013-02-13 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
US8570433B1 (en) 2010-08-25 2013-10-29 CSR Technology, Inc. Coloration artifact reduction
KR101101441B1 (ko) * 2010-09-07 2012-01-02 삼성전기주식회사 노이즈 저감장치 및 방법
CN102749601B (zh) * 2011-04-22 2016-02-10 株式会社东芝 图像处理装置、图像处理方法、以及磁共振成像装置
KR101248808B1 (ko) * 2011-06-03 2013-04-01 주식회사 동부하이텍 경계 영역의 잡음 제거 장치 및 방법
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
EP2719166B1 (en) 2011-06-10 2018-03-28 Flir Systems, Inc. Line based image processing and flexible memory system
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
CN103748867B (zh) 2011-06-10 2019-01-18 菲力尔系统公司 低功耗和小形状因子红外成像
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
KR20130008304A (ko) * 2011-07-12 2013-01-22 삼성전자주식회사 색 왜곡 보정 방법 및 장치
JP5385350B2 (ja) * 2011-08-16 2014-01-08 富士フイルム株式会社 画像表示方法および装置
CN102521912B (zh) * 2011-12-19 2015-11-18 山东新北洋信息技术股份有限公司 图像处理方法及装置
US9143704B2 (en) * 2012-01-20 2015-09-22 Htc Corporation Image capturing device and method thereof
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
JP2014110592A (ja) * 2012-12-04 2014-06-12 Toshiba Corp 画像処理装置
CN103067661B (zh) 2013-01-07 2017-12-05 华为终端有限公司 图像处理方法、装置和拍摄终端
CN104125442A (zh) * 2013-04-26 2014-10-29 索尼公司 图像处理方法、装置以及电子设备
KR20150021353A (ko) * 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US9691211B2 (en) * 2014-07-03 2017-06-27 Seiko Epson Corporation Image processing apparatus, image processing method, and program
CN104079908B (zh) * 2014-07-11 2015-12-02 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置
WO2016084608A1 (ja) * 2014-11-25 2016-06-02 ソニー株式会社 内視鏡システム、および内視鏡システムの動作方法、並びにプログラム
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
CN107534734B (zh) 2015-04-27 2020-03-10 菲力尔系统公司 具有热成像能力的湿度测量装置及相关方法
JP6614824B2 (ja) * 2015-06-26 2019-12-04 キヤノン株式会社 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
CN105303529A (zh) * 2015-09-23 2016-02-03 成都融创智谷科技有限公司 一种基于直方图均衡化的数字图像去雾方法
JP6356925B2 (ja) * 2015-10-27 2018-07-11 富士フイルム株式会社 撮像システム、並びにオブジェクト検出装置及びその作動方法
US10070111B2 (en) * 2015-12-22 2018-09-04 Adobe Systems Incorporated Local white balance under mixed illumination using flash photography
JP2017157902A (ja) * 2016-02-29 2017-09-07 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
KR101770977B1 (ko) 2016-03-25 2017-08-24 연세대학교 산학협력단 고해상도 컬러 영상 생성 장치 및 방법
CN107918929B (zh) * 2016-10-08 2019-06-21 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及系统
WO2018070100A1 (ja) * 2016-10-14 2018-04-19 三菱電機株式会社 画像処理装置、画像処理方法、及び撮影装置
CN106534704A (zh) * 2016-12-28 2017-03-22 上海与德信息技术有限公司 一种基于红外技术的终端设备的拍摄方法及装置
CN108429887A (zh) * 2017-02-13 2018-08-21 中兴通讯股份有限公司 一种图像处理方法和装置
JP6798616B2 (ja) * 2017-06-01 2020-12-09 日本電気株式会社 画像生成装置、画像生成方法およびプログラム
TWI698010B (zh) * 2018-08-09 2020-07-01 大陸商廈門星宸科技有限公司 用以控制影像擷取裝置的電路及相關的控制方法
JP7155737B2 (ja) * 2018-08-10 2022-10-19 株式会社リコー 画像処理装置、画像処理システム、プログラムおよび画像処理方法
KR102592605B1 (ko) * 2018-12-06 2023-10-24 삼성전자주식회사 이미지 신호 처리기, 이미지 신호 처리기의 동작 방법, 및 이미지 신호 처리기를 포함하는 전자 장치
JP7308030B2 (ja) * 2018-12-28 2023-07-13 株式会社プリマジェスト 画像処理装置
JP7204499B2 (ja) 2019-01-21 2023-01-16 キヤノン株式会社 画像処理装置、画像処理方法、および、プログラム
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
WO2021225030A1 (ja) * 2020-05-08 2021-11-11 ソニーセミコンダクタソリューションズ株式会社 電子機器及び撮像装置
WO2023181558A1 (ja) * 2022-03-24 2023-09-28 株式会社日立国際電気 撮像装置
JP7426438B2 (ja) 2022-06-09 2024-02-01 維沃移動通信有限公司 画像処理方法、装置、電子機器および読み取り可能記憶媒体

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4249797A (en) * 1979-05-24 1981-02-10 Steve Sendecki Dual image viewer with mirror adjusting means
JPH01296785A (ja) * 1988-05-24 1989-11-30 Fujitsu Ltd 画像重畳装置
US4910593A (en) * 1989-04-14 1990-03-20 Entech Engineering, Inc. System for geological defect detection utilizing composite video-infrared thermography
JP3411978B2 (ja) * 1991-06-24 2003-06-03 キヤノン株式会社 画像信号処理装置
JP3592436B2 (ja) * 1996-05-02 2004-11-24 パイオニア株式会社 移動距離導出方法及び装置
EP0858208A1 (en) * 1997-02-07 1998-08-12 Eastman Kodak Company Method of producing digital images with improved performance characteristic
US6882364B1 (en) * 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
US6075590A (en) * 1998-03-02 2000-06-13 Applied Science Fiction, Inc. Reflection infrared surface defect correction
US6393160B1 (en) * 1998-03-13 2002-05-21 Applied Science Fiction Image defect correction in transform space
TW423252B (en) * 1998-07-30 2001-02-21 Intel Corp Infrared correction system
JP2000115465A (ja) * 1998-10-05 2000-04-21 Canon Inc 画像読取装置及び画像読取方法及び記憶媒体
JP2000199947A (ja) * 1998-10-29 2000-07-18 Konica Corp 画像形成方法及び画像読み取り装置
JP3545979B2 (ja) * 1999-11-30 2004-07-21 シャープ株式会社 輪郭補正装置
JP2002300403A (ja) * 2001-03-30 2002-10-11 Fuji Photo Film Co Ltd 画像処理装置
US7082218B2 (en) * 2001-07-27 2006-07-25 Hewlett-Packard Development Company, L.P. Color correction of images
EP1289267A3 (en) * 2001-08-28 2004-10-06 Fuji Photo Film Co., Ltd. Image reader and image reading method
JP2003284084A (ja) * 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
IL153967A (en) * 2003-01-15 2014-01-30 Elbit Systems Ltd Multifunctional camera for changing vision conditions
US7317484B2 (en) * 2003-02-26 2008-01-08 Digital Imaging Systems Gmbh CMOS APS readout scheme that combines reset drain current and the source follower output
US7218792B2 (en) * 2003-03-19 2007-05-15 Mitsubishi Electric Research Laboratories, Inc. Stylized imaging using variable controlled illumination
JP2004318425A (ja) * 2003-04-15 2004-11-11 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及びプログラム
US7409083B2 (en) * 2003-07-18 2008-08-05 Canon Kabushiki Kaisha Image processing method and apparatus
CN1273937C (zh) * 2003-11-27 2006-09-06 上海交通大学 红外与可见光图像融合方法
EP1812968B1 (en) * 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
US7684095B2 (en) * 2004-09-27 2010-03-23 Lexmark International, Inc. Scanning apparatus having an ultraviolet light source

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100928292B1 (ko) * 2008-01-18 2009-11-25 동국대학교 산학협력단 합성 영상 생성 장치 및 그 방법
US20100124373A1 (en) * 2008-11-17 2010-05-20 Young-Jin Yoo Apparatus and method for processing image
US8463069B2 (en) 2008-11-17 2013-06-11 Samsung Electronics Co., Ltd. Apparatus and method for processing image
US10249032B2 (en) 2010-04-23 2019-04-02 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
US11514563B2 (en) 2010-04-23 2022-11-29 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
KR20190047040A (ko) * 2016-09-19 2019-05-07 항조우 힉비젼 디지털 테크놀로지 컴퍼니 리미티드 분광-융합의 이미지 수집 기기
US11328397B2 (en) 2016-09-19 2022-05-10 Hangzhou Hikvision Digital Technology Co., Ltd. Light-splitting combined image collection device
KR102257752B1 (ko) * 2020-05-14 2021-05-31 인천대학교 산학협력단 인공지능 기반 적외선 이미지와 가시광선 이미지를 융합하는 영상 융합 장치 및 방법

Also Published As

Publication number Publication date
CN100442816C (zh) 2008-12-10
KR101220002B1 (ko) 2013-01-08
US7589771B2 (en) 2009-09-15
JP4534756B2 (ja) 2010-09-01
EP1675384A2 (en) 2006-06-28
JP2006180269A (ja) 2006-07-06
CN1794783A (zh) 2006-06-28
EP1675384A3 (en) 2011-11-30
US20060132642A1 (en) 2006-06-22

Similar Documents

Publication Publication Date Title
KR101220002B1 (ko) 화상 처리 장치, 화상 처리 방법, 촬상 장치 및 기록 매체
JP4501855B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP4898761B2 (ja) オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置および方法
JP5047048B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
JP4977395B2 (ja) 画像処理装置及び方法
US20130278799A1 (en) Visual processing apparatus and visual processing method
US8154629B2 (en) Noise canceling circuit, noise canceling method, and solid-state imaging device
KR101579736B1 (ko) 노이즈 저감 장치, 노이즈 저감 방법 및 컴퓨터 판독가능 저장매체
CN103685968A (zh) 图像处理装置及图像处理方法
KR20120008068A (ko) 화상처리방법 및 화상처리장치
JP7297406B2 (ja) 制御装置、撮像装置、制御方法およびプログラム
JP4877402B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
US10051200B2 (en) Imaging apparatus and control method thereof
JP5274697B2 (ja) 画像処理装置及び画像処理方法
JP2011041143A (ja) 画像処理装置
KR102183518B1 (ko) 이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치
JP4389671B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
KR100968375B1 (ko) 최적 영상 선택 방법 및 장치
JP2018198456A (ja) 画像処理プログラム、画像処理装置および撮像装置
KR101613616B1 (ko) 적응적으로 최적의 미백 효과를 설정해주는 디지털 카메라 및 그 제어방법
JP6232808B2 (ja) 画像処理プログラム、画像処理装置および撮像装置
JP6390779B2 (ja) 画像処理プログラム、画像処理装置および撮像装置
JP5290734B2 (ja) ノイズ低減装置及びノイズ低減方法
KR101299250B1 (ko) 디지털 영상 처리 장치 및 그 제어 방법
JP6331363B2 (ja) 被写体特定装置、撮像装置およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151228

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161223

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171222

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181220

Year of fee payment: 7