KR101102150B1 - 화상 처리 방법, 및 화상 처리 장치 - Google Patents

화상 처리 방법, 및 화상 처리 장치 Download PDF

Info

Publication number
KR101102150B1
KR101102150B1 KR1020050005748A KR20050005748A KR101102150B1 KR 101102150 B1 KR101102150 B1 KR 101102150B1 KR 1020050005748 A KR1020050005748 A KR 1020050005748A KR 20050005748 A KR20050005748 A KR 20050005748A KR 101102150 B1 KR101102150 B1 KR 101102150B1
Authority
KR
South Korea
Prior art keywords
image
flash
adjustment
value
white balance
Prior art date
Application number
KR1020050005748A
Other languages
English (en)
Other versions
KR20050076824A (ko
Inventor
야마다루이
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20050076824A publication Critical patent/KR20050076824A/ko
Application granted granted Critical
Publication of KR101102150B1 publication Critical patent/KR101102150B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B65/00—Locks or fastenings for special use
    • E05B65/52—Other locks for chests, boxes, trunks, baskets, travelling bags, or the like
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B37/00—Permutation or combination locks; Puzzle locks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

플래시 광을 발광시켜 촬영한 화상과, 비발광으로 촬영한 화상에 기초한 화상 보정에서 플래시 광 강도의 가상적인 조정 처리에 의해 고품질인 화상을 생성한다. 플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하고, 플래시 성분 화상의 강도 조정을 실행하여 생성한 강도 조정 플래시 성분 화상을 적용하여 최종 조정 화상을 생성한다. 본 구성에 의해, 감마 보정 등의 비선형 변환 화상에서의 포화 화소, 즉 흰색 날림(overexposed highlights) 현상을 삭감시킨 고품질인 화상을 생성하는 것이 가능하게 된다.
Figure R1020050005748
메모리, CPU, 프레임 메모리, 움직임 검출부

Description

화상 처리 방법, 및 화상 처리 장치{IMAGE PROCESSING METHOD AND APPARATUS, AND COMPUTER PROGRAM}
도 1은 본 발명의 화상 처리 장치의 구성을 도시하는 도면.
도 2는 본 발명의 화상 처리 방법의 수순을 설명하는 흐름도.
도 3은 본 발명의 화상 처리 방법에서의 복수의 화상 데이터에 기초한 화이트 밸런스 조정 처리의 수순을 설명하는 흐름도.
도 4는 본 발명의 화상 처리 방법에서의 강도 조정 플래시 성분 화상의 생성 처리 수순을 설명하는 흐름도.
도 5는 본 발명의 화상 처리에서의 강도 조정 플래시 성분 화상의 생성 처리의 상세에 대하여 설명하는 도면.
도 6은 본 발명의 화상 처리에서의 강도 조정 플래시 성분 화상의 생성 처리의 상세에 대하여 설명하는 도면.
도 7은 본 발명의 화상 처리에서의 강도 조정 플래시 성분 화상의 생성 처리의 상세에 대하여 설명하는 도면.
도 8은 본 발명의 화상 처리에서의 복수의 화상 데이터에 기초한 화소값 조정 처리를 실행하는 기구를 설명하는 도면.
<도면의 주요 부분에 대한 부호의 설명>
101 : 렌즈
102 : 조리개
103 : 고체 촬상 소자
104 : 상관 2중 샘플링 회로
105 : A/D 컨버터
106 : DSP 블록
107 : 타이밍 제너레이터
108 : D/A 컨버터
109 : 비디오 인코더
110 : 비디오 모니터
111 : 코덱(CODEC)
112 : 메모리
113 : CPU
114 : 입력 디바이스
115 : 플래시 제어 장치
116 : 플래시 발광 장치
301, 302, 303 : 프레임 메모리
304 : 차분 화상 산출부
305 : 화이트 밸런스 조정부
306 : 외광 성분 추정부
307 : 화이트 밸런스 조정부
308 : 화소값 가산부
309 : 움직임 검출부
310 : 움직임 부분 보정 화소값 산출부
311 : 화이트 밸런스 조정부
312 : 출력 전환부
321 : 강도 조정값(게인) 산출부
322 : 강도 조정 플래시 성분 화상 산출부
330 : 플래시 성분 화상 산출부
본 발명은, 화상 처리 방법, 및 화상 처리 장치, 및 컴퓨터 프로그램에 관한 것이다. 더 상세하게는, 플래시 광을 발광하여 촬영한 화상과, 발광시키지 않고 촬영한 화상을 이용한 화소값 보정 처리를 실행함과 함께 최적의 플래시 강도를 추정하여, 추정 결과에 기초를 둔 보정을 행함으로써 고품질인 화상의 생성을 가능하게 한 화상 처리 방법, 및 화상 처리 장치, 및 컴퓨터 프로그램에 관한 것이다.
플래시(electrical flash, strobe)는, 카메라 촬영 시에 보조 광원으로서 이용된다. 최근 DSC(Digital Still Camera)가 급속히 보급되고 있지만, DSC에서도, 종종 플래시 촬영이 행해진다. 플래시를 사용함으로써, 필인 라이트(인물의 얼굴 에 그림자가 심하게 졌을 때 등에 그림자를 약하게 하는 기법), 역광 보정(태양을 배경으로 하여 인물을 촬영한 경우 등에 얼굴이 검게 찍히는 것을 방지하는 기법), 캐치 라이트(눈의 눈동자에 빛나는 「광의 점」을 넣어, 눈동자를 아름답게 촬영하는 기법), 혹은 낮 싱크로(데이라이트 싱크로, 대낮이나 저녁에 보조 광선으로서 사용하는 테크닉) 등, 여러가지 사진 촬영을 행할 수 있다. 한편, 플래시 촬영을 행하면, 색 밸런스가 무너지거나, 흰색 날림 현상이 발생하기도 하는 경우가 있다. 본 발명은, 이러한 플래시 촬영에서 발생하는 좋지 않은 현상을 보정 가능할 수 있는 적절한 수단을 제공하는 것을 하나의 목적으로 한다.
일반적으로, 디지털 카메라에서는, 흰 피사체가 희게 촬영되도록 화이트 밸런스(WB) 조정이 행해진다. 예를 들면 자연광, 조명광, 플래시(스트로브) 등의 피사체에 대하여 조사되는 광의 색 온도가 높아서 블루(B)의 광이 강한 광 성분 환경에서 촬영하는 경우에는, 블루의 광에 대한 감도를 억제하고, 레드(R)의 광에 대한 감도를 상대적으로 높게 하고, 반대로 피사체에 대하여 조사되는 광의 색 온도가 낮아서 레드(R)의 광이 강한 광 성분 환경에서 촬영하는 경우에는, 레드의 광에 대한 감도를 억제하고, 블루(B)의 광에 대한 감도를 상대적으로 높게 하는 등의 화이트 밸런스 조정이 행해진다.
화이트 밸런스 조정은, 통상적으로, 촬영 시에 이용하는 광원에 따른 조정 파라미터를 설정한 조정 처리가 실행된다. 예를 들면 플래시 촬영을 행하는 경우에는, 적용하는 플래시 광이 갖는 광 성분에 따른 파라미터에 따라서 화이트 밸런스 조정이 행해진다.
그러나, 플래시 광 이외의 외광이 있는 상태에서, 플래시 촬영을 행하면, 플래시 광, 외광의 2 종류의 광이 피사체에 조사되어 그 반사광이 카메라의 촬상 소자에 도달하여, 촬영이 행해지게 된다. 이러한 촬영이 행해지는 경우, 화이트 밸런스 조정을 플래시 광에 맞추어서 실시하면, 플래시 광이 많이 닿아 있는 피사체 부분은 자연스러운 색으로 조정되지만, 플래시 광이 닿지 않고 외광만의 반사광으로서 촬영되는 영역, 예를 들면 배경 화상 영역 등은, 플래시 광의 광 성분에 맞춘 파라미터 설정에 따른 화이트 밸런스 조정을 행하면, 적절한 화이트 밸런스 조정이 실행되지 않고 부자연스러운 색을 갖는 영역으로서 출력되게 된다.
반대로, 배경 부분에 맞춘 화이트 밸런스 조정, 즉 외광에 의해서만 촬영된 것으로서, 촬영 화상 전체의 화이트 밸런스 조정을 실행하면 플래시 광이 많이 닿은 부분이 부자연스러운 색으로 조정되게 된다.
이러한 문제에 대처하기 위한 구성이 몇몇 제안되고 있다. 예를 들면 특허 문헌 1은, 플래시를 발광하지 않고 촬영한 화상과, 플래시를 발광시킨 촬영 화상을 취득하고, 이 촬영된 2개의 화상을 블록으로 분할하여, 각 블록마다 휘도값의 비교를 행하고, 휘도값의 비교 결과에 기초하여, 플래시를 발광하여 촬영한 화상에 대하여 각 블록마다 서로 다른 화이트 밸런스 조정을 행하는 구성을 나타내고 있다.
화이트 밸런스 조정은, 각 블록마다 플래시 광에 맞춘 화이트 밸런스 조정, 또는 플래시 광과 외광의 중간에 맞춘 화이트 밸런스 조정, 또는 외광에 맞춘 화이트 밸런스 조정 중 어느 하나를 선택하여 실행한다. 그러나, 이러한 구성에서는, 처리를 블록 단위로 행하는 것이 필요해져서, 블록 왜곡이 생기는 문제나 피사체가 움직인 경우 등에는 올바른 처리를 할 수 없는 등의 문제가 있다.
또한, 특허 문헌 2에는, 이하의 처리 구성을 개시하고 있다. 즉, 우선 조리개를 개방하여 노출 시간을 짧게 한 뒤에 플래시를 발광시켜 촬영하고, 그 후 본래 의도한 노광 조건에서 플래시를 발광하지 않고 촬영을 행한다. 여기서, 전자를 제1 화상, 후자를 제2 화상으로 한다. 또한 제1 화상에서 소정의 레벨 이상의 화소를 주요 피사체 영역, 그 이외를 배경 영역으로서 등록한다. 그 후, 제1 화상을 플래시에 맞추어서 화이트 밸런스 조정, 제2 화상을 외광에 맞추어서 화이트 밸런스 조정하고, 제1 화상의 주요 피사체 영역과 제2 화상의 배경 영역을 조합하여 최종적인 기록 화상으로 하는 구성이다.
그러나, 본 구성에서는, 외광과 플래시 광의 양쪽이 닿는 피사체의 화이트 밸런스 조정은 정확하게 행할 수 없다.
또한, 특허 문헌 3은, 전술한 특허 문헌 2의 구성 외에, 상 흔들림 검출 수단을 부가한 구성을 개시하고 있다. 흔들림이 있다고 판단된 경우에는, 전술한 제1 화상을 그대로 기록 화상으로 하고, 제1 화상과 제2 화상의 조합 처리를 실행하지 않은 구성으로 하고 있다. 따라서 흔들림이 검출된 경우에는, 플래시 광과 외광의 색 온도의 차이에 기인한 부자연스러움이 해소되지 않게 된다.
또한, 특허 문헌 4는, 플래시를 발광시켜 촬영한 화상과, 플래시 발광없이 촬영한 화상의 대응 화소의 휘도값을 나누어서, 플래시 광의 기여율을 구하고, 이 기여율에 기초하여, 플래시를 발광시켜 촬영한 화상에 대하여 화이트 밸런스 조정을 행하는 구성을 개시하고 있다.
그러나, 본 구성에서는, 플래시 광, 외광으로부터의 반사광이 혼합되어 촬상된 화상에 대하여, 플래시의 기여율에 기초하여 플래시 광과 외광용 화이트 밸런스 파라미터를, 단순하게 보간하여, 최종적인 화상을 생성한다. 그러나, 물리적인 광의 반사 모델을 고려한 경우, 플래시 광에 의한 성분과 외광에 의한 성분은 독립적으로 처리되어, 플래시 광, 외광으로부터의 반사광이 혼합되어 촬상된 화상을 처리하는 것만으로는, 최적의 결과 화상을 생성할 수는 없다.
특허 문헌 1 : 일본 특개평 8-51632호 공보
특허 문헌 2 : 일본 특개 2000-308068호 공보
특허 문헌 3 : 일본 특개 2000-307940호 공보
특허 문헌 4 : 일본 특개평8-340542호 공보
본 발명은, 전술한 종래 기술의 문제점을 감안하여 이루어진 것으로, 외광과 플래시 광이 혼재하는 환경 하에서 촬영한 화상의 최적의 화이트 밸런스 조정을 가능하게 하고, 또한 플래시 광의 강도가 지나치게 강하거나, 혹은 지나치게 약한 경우에 최적의 플래시 광의 강도를 추정하고, 추정한 최적의 플래시 광 강도에 대응한 조정 화상에 기초한 보정을 행함으로써, 고품질인 화상을 생성하는 것을 가능하게 한 화상 처리 방법, 및 화상 처리 장치, 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 제1 측면은,
플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하는 플래시 성분 화상 산출 단계와,
상기 플래시 성분 화상의 강도 조정값을 산출하는 강도 조정값 산출 단계와,
상기 강도 조정값을 적용하여, 강도 조정 플래시 성분 화상을 산출하는 강도 조정 플래시 성분 화상 산출 단계와,
상기 제1 화상과 상기 강도 조정 플래시 성분 화상에 기초하여 최종 조정 화상을 생성하는 최종 조정 화상 생성 단계
를 포함하는 것을 특징으로 하는 화상 처리 방법에 있다.
또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 플래시 성분 화상 산출 단계는, 상기 제1 화상과 제2 화상과의 차분 화상 데이터를 산출하는 단계와, 상기 차분 화상 데이터에 대하여, 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행하는 단계를 포함하고, 상기 강도 조정값 산출 단계는, 상기 화이트 밸런스 조정 처리가 이루어진 플래시 성분 화상의 강도 조정값을 산출하는 단계인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 최종 조정 화상 생성 단계는,
(a) 상기 제1 화상에 대하여, 외광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 화이트 밸런스 조정 완료된 제1 화상과,
(b) 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상에 대하여 강도 조정을 실행한 강도 조정 플래시 성분 화상과,
상기 (a) 및 (b)의 2 화상에 기초하여 최종 조정 화상의 생성 처리를 실행하는 단계인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 강도 조정값 산출 단계는, 외광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 상기 제1 화상과, 플래시 광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상과의 합성 화상에 기초하여 생성하는 비선형 변환 처리 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 비선형 변환 처리는, 감마 보정이고, 상기 강도 조정값 산출 단계는, 감마 보정 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 강도 조정값 산출 단계는, 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상으로부터 미리 정한 임계값 이상의 화소값을 갖는 화소에 의해서 구성되는 플래시 마스크 Mf를 생성하는 플래시 마스크 생성 단계와,
하기 산출식,
g={T-1(max-k×stdrslt)-avg1}÷avgF
단, T-1은 비선형 변환 T의 역 변환,
max는 최대 출력 화소값,
k는 미리 정한 스칼라값,
avg1은 상기 제1 화상에 대한 화이트 밸런스 조정 화상 I1'의 플래시 마스크 Mf 부분의 휘도값의 평균값,
avgF는 상기 플래시 성분 화상의 화이트 밸런스 조정 화상 F'의 플래시 마스크 Mf 부분의 휘도값의 평균값,
stdrslt는 비선형 변환 화상 T(F'+I1')의 플래시 마스크 Mf 부분을 구성하는 화소의 화소값 막대그래프에서의 표준 편차에 의해서 강도 조정값으로서의 게인 g를 산출하는 단계
를 포함하는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 강도 조정 플래시 성분 화상 산출 단계는, 강도 조정값으로서, 상기 게인 g를 적용하여, 강도 조정 플래시 성분 화상 F"를, 하기 식,
F"=gF'
에 의해서 산출하고,
상기 최종 조정 화상 생성 단계는,
최종 조정 화상 R을, 하기 식,
R=I1+F"
에 의해서 산출하는 단계인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 화상 처리 방법은, 또한 상기 제1 화상과, 플래시를 발광시키지 않고 촬영한 제3 화상에 기초한 움직임 검출을 실행하는 움직임 검출 단계와, 상기 움직임 검출 단계에서 검출한 움직임 부분의 화소값 보정을 실행하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 양태에서, 상기 화상 처리 방법은, 또한 플래시의 발광을 제어하여, 상기 제1 화상과, 상기 제2 화상을 포함하는 복수 화상의 촬영을 실행하는 촬영 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 제2 측면은,
화상 처리 장치로서,
플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하는 플래시 성분 화상 산출부와,
상기 플래시 성분 화상의 강도 조정값을 산출하는 강도 조정값 산출부와,
상기 강도 조정값을 적용하여, 강도 조정 플래시 성분 화상을 산출하는 강도 조정 플래시 성분 화상 산출부와,
상기 제1 화상과 상기 강도 조정 플래시 성분 화상에 기초하여 최종 조정 화상을 생성하는 최종 조정 화상 생성부
를 갖는 것을 특징으로 하는 화상 처리 장치에 있다.
또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 플래시 성분 화상 산출부는, 상기 제1 화상과 제2 화상과의 차분 화상 데이터를 산출하는 차분 화상 산출부와, 상기 차분 화상 데이터에 대하여, 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행하는 화이트 밸런스 조정부를 포함하고, 상기 강도 조정값 산출부는, 상기 화이트 밸런스 조정 처리가 이루어진 플래시 성분 화상의 강도 조정값을 산출하는 구성인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 최종 조정 화상 생성부는,
(a) 상기 제1 화상에 대하여, 외광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 화이트 밸런스 조정 완료된 제1 화상과,
(b) 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상에 대하여 강도 조정을 실행한 강도 조정 플래시 성분 화상과,
상기 (a) 및 (b)의 2 화상에 기초하여 최종 조정 화상의 생성 처리를 실행하는 구성인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 강도 조정값 산출부는, 외광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 상기 제1 화상과, 플래시 광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상의 합성 화상에 기초하여 생성하는 비선형 변환 처리 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값 을 산출하는 구성인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 비선형 변환 처리는, 감마 보정이고, 상기 강도 조정값 산출부는, 감마 보정 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 구성인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 강도 조정값 산출부는, 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상으로부터 미리 정한 임계값 이상의 화소값을 갖는 화소에 의해서 구성되는 플래시 마스크 Mf를 생성하고,
하기 산출식,
g={T-1(max-k×stdrslt)-avg1}÷avgF
단, T-1은 비선형 변환 T의 역 변환,
max는, 최대 출력 화소값,
k는 미리 정한 스칼라값,
avg1은 상기 제1 화상에 대한 화이트 밸런스 조정 화상 I1'의 플래시 마스크 Mf 부분의 휘도값의 평균값,
avgF는 상기 플래시 성분 화상의 화이트 밸런스 조정 화상 F'의 플래시 마스 크 Mf 부분의 휘도값의 평균값,
stdrslt는 비선형 변환 화상 T(F'+I1')의 플래시 마스크 Mf 부분을 구성하는 화소의 화소값 막대그래프에서의 표준 편차에 의해서 강도 조정값으로서의 게인 g를 산출하는 구성을 갖는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 강도 조정 플래시 성분 화상 산출부는, 강도 조정값으로서, 상기 게인 g를 적용하여, 강도 조정 플래시 성분 화상 F"를, 하기 식,
F"=gF'
에 의해서 산출하고,
상기 최종 조정 화상 생성부는,
최종 조정 화상 R을, 하기 식,
R=I1+F"
에 의해서 산출하는 구성인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 화상 처리 장치는, 또한 상기 제1 화상과, 플래시를 발광시키지 않고 촬영한 제3 화상에 기초한 움직임 검출을 실행하는 움직임 검출부와, 상기 움직임 검출부에서 검출한 움직임 부분의 화소값 보정을 실행하는 화이트 밸런스 조정부를 갖는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 장치의 일 실시 양태에서, 상기 화상 처리 장치는, 또한 플래시의 발광을 제어하여, 상기 제1 화상과, 상기 제2 화상을 포함하는 복수 화상의 촬영을 실행하는 촬상부를 갖는 것을 특징으로 한다.
또한, 본 발명의 제3 측면은,
화상 처리를 실행하는 컴퓨터 프로그램으로서,
플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하는 플래시 성분 화상 산출 단계와,
상기 플래시 성분 화상의 강도 조정값을 산출하는 강도 조정값 산출 단계와,
상기 강도 조정값을 적용하여, 강도 조정 플래시 성분 화상을 산출하는 강도 조정 플래시 성분 화상 산출 단계와,
상기 제1 화상과 상기 강도 조정 플래시 성분 화상에 기초하여 최종 조정 화상을 생성하는 최종 조정 화상 생성 단계
를 포함하는 것을 특징으로 하는 컴퓨터 프로그램에 있다.
또한, 본 발명의 컴퓨터 프로그램은, 예를 들면 여러가지 프로그램 코드를 실행 가능한 범용 컴퓨터 시스템에 대하여, 컴퓨터 판독 가능한 형식으로 제공하는 기억 매체, 통신 매체, 예를 들면 CD나 FD, MO 등의 기억 매체, 혹은 네트워크 등의 통신 매체에 의해서 제공 가능한 컴퓨터 프로그램이다. 이러한 프로그램을 컴퓨터 판독 가능한 형식으로 제공함으로써, 컴퓨터 시스템 상에서 프로그램에 따른 처리가 실현된다.
본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 기초한, 보다 상세한 설명에 의해서 명확해질 것이다. 또, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이고, 각 구성의 장치가 동일 케이스 내에 있는 것에는 한하지 않는다.
<실시 형태>
이하, 도면을 참조하여, 본 발명의 상세에 대하여 설명한다. 도 1은 본 발명에 따른 화상 처리 장치의 일 구성예를 도시하는 것으로, 촬상부를 구비한 화상 처리 장치 예를 나타내고 있다.
도 1에 도시한 화상 처리 장치는, 렌즈(101), 조리개(102), 고체 촬상 소자(103), 상관 2중 샘플링 회로(104), A/D 컨버터(105), DSP 블록(106), 타이밍 제너레이터(107), D/A 컨버터(108), 비디오 인코더(109), 비디오 모니터(110), 코덱(CODEC)(111), 메모리(112), CPU(113), 입력 디바이스(114), 플래시 제어 장치(115), 플래시 발광 장치(116)로 구성된다.
입력 디바이스(114)는 카메라 본체에 있는 녹화 버튼 등의 조작 버튼류를 포함한다. 또한, DSP 블록(106)은 신호 처리용 프로세서와 화상용 RAM을 갖는 블록으로, 신호 처리용 프로세서가 화상용 RAM에 저장된 화상 데이터에 대하여 미리 프로그램된 화상 처리를 행할 수 있게 되고 있다. 이하 DSP 블록을 단순히 DSP라고 한다.
본 실시예의 전체적인 동작을 이하에 설명한다.
광학계를 통과하여 고체 촬상 소자(103)에 도달한 입사광은, 우선 촬상면 위의 각 수광 소자에 도달하여, 수광 소자에서의 광전 변환에 의해서 전기 신호로 변환되고, 상관 2중 샘플링 회로(104)에 의해서 노이즈 제거되어, A/D 컨버터(105)에 의해서 디지털 신호로 변환된 후, 디지털 신호 처리부(DSP)(106) 중 화상 메모리에 일시 저장된다. 또한, 필요하면, 촬영 시에, 플래시 제어 장치(115)를 통하여, 플래시 발광 장치(116)를 발광시킬 수 있다.
촬상 중의 상태에서는, 일정한 프레임 레이트에 의한 화상 취입을 유지하도록 타이밍 제너레이터(107)가 신호 처리계를 제어한다. 디지털 신호 처리부(DSP)(106)에도 일정한 레이트로 화소의 스트림이 보내지고, 거기서 적절한 화상 처리가 행해진 후, 화상 데이터는 D/A 컨버터(108) 혹은 코덱(CODEC)(111) 혹은 그 양쪽으로 보내진다. D/A 컨버터(108)는 디지털 신호 처리부(DSP)(106)로부터 보내지는 화상 데이터를 아날로그 신호로 변환하고, 그것을 비디오 인코더(109)가 비디오 신호로 변환하고, 그 비디오 신호를 비디오 모니터(110)로 모니터할 수 있게 되어 있고, 이 비디오 모니터(110)는 본 실시예에서 카메라의 파인더의 역할을 담당한다. 또한, 코덱(CODEC)(111)은 디지털 신호 처리부(DSP)(106)로부터 보내지는 화상 데이터에 대한 부호화를 행하고, 부호화된 화상 데이터는 메모리(112)에 기록된다. 여기서, 메모리(112)는 반도체, 자기 기록 매체, 광 자기 기록 매체, 광 기록 매체 등을 이용한 기록 장치 등이어도 된다.
이상이 본 실시예의 디지털 비디오 카메라의 시스템 전체의 설명이다. 촬영 화상의 화상 보정 처리는, 주로 디지털 신호 처리부(DSP)(106)에서 실행된다. 이하, 이 화상 처리의 상세에 대하여 설명한다.
화상 처리는, 디지털 신호 처리부(DSP)(106)에 입력된 화상 신호 스트림에 대하여, 소정의 프로그램 코드에 기술된 처리를 순차 실행함으로써 행해진다. 이후의 설명에서는, 프로그램 중 각 처리의 실행 시퀀스에 대하여, 흐름도를 참조하 여 설명한다. 또한, 본 발명은 이하에서 설명하는 프로그램 처리 형태에 한하지 않고, 이하에 설명하는 처리 시퀀스를 실행하는 기능을 갖는 하드웨어 구성에 의해서 실현하는 것도 가능하다.
도 2는 디지털 신호 처리부(DSP)(106) 내부에서, 입력된 화상 신호의 스트림에 대하여 실행하는 화이트 밸런스(WB) 조정 처리를 포함하는 화소값 보정 처리의 수순을 설명하는 흐름도이다.
단계 S101에서는, 사전에 설정된 조리개, 셔터 스피드를 이용하여, 플래시 발광없이 촬영하고, 단계 S102에서 이 플래시 발광없이 촬영한 촬영 화상을 화상 데이터 I1로서 메모리에 저장한다. 단계 S103에서는, 단계 S101과 마찬가지로 사전에 설정된 조리개, 셔터 스피드를 이용하여, 플래시 발광을 행하여 촬영하고, 단계 S104에서 이 플래시 발광하여 촬영한 촬영 화상을 화상 데이터 I2로서 메모리에 저장한다.
다음으로 단계 S105에서는, 단계 S101과 마찬가지로 사전에 설정된 조리개, 셔터 스피드를 이용하여, 플래시 발광없이, 재차 촬영하고, 단계 S106에서 이 플래시 발광없이 촬영한 촬영 화상을 화상 데이터 I3으로서 메모리에 저장한다.
또한, 단계 S101, S103, S105의 촬영은, 연속한 촬영, 예를 들면 약 1/100초 간격의 연속 촬영으로서 실행된다. 각각의 촬영 단계로부터 얻어진 복수의 화상을 이용하여, 화이트 밸런스(WB)의 조정 처리 등의 화소값 보정을 행하고, 최종적인 화소값 보정 화상으로서의 최종 조정 화상을 생성한다.
또한, 단계 S102, S104, S106에서 메모리에 저장되는 화상 데이터 I1, I2, I3은 손 떨림 보정이 행해진 화상으로 한다. 즉, 3매의 화상 I1, I2, I3 의 촬영 시에 손 떨림이 발생한 경우에는, 이들을 미리 보정하고나서 메모리에 저장한다. 즉, 촬영 화상이 손 떨림이 발생한 화상인 경우에는, 단계 S101과 S102 사이에, 단계 S103과 S104 사이에, 그리고 단계 S105와 S106 사이에서, 손 떨림 보정을 실행하여 보정 후의 화상을 메모리에 저장한다. 따라서 메모리에 저장되는 화상 데이터 I1, I2, I3은 삼각으로 카메라를 고정한 상태에서 연속 촬영한 것 같은 화상으로 된다.
또 손 떨림 보정 처리는, 종래부터 알려진 처리가 적용 가능하다. 예를 들면, 가속도 센서를 이용하여 어긋남을 검출하고, 렌즈를 비키어 놓는 방법, 또는 목적의 해상도보다 큰 해상도의 화상을 촬상 소자를 이용하여 촬영하여 어긋남이 발생하지 않도록 적절한 부분을 읽어내는 방법, 또한 센서를 이용하지 않고 화상 처리만으로 손 떨림을 보정하는 방법 등, 종래로부터 널리 이용되고 있는 방법이 적용된다.
다음으로 단계 S107에서, 단계 S101, S103, S105의 3매의 화상의 촬영의 사이에, 피사체 자체의 움직임에 기인한 상 흔들림이 있었는지의 여부를 검출한다. 이 피사체 자체의 움직임에 기인한 상 흔들림이 있었는지의 여부의 검출 처리는, 3매의 화상으로부터 2개의 화상을 비교하여 행해진다. 예를 들면, 화상 I1과 화상 I3을 이용하여, 움직임 부분을 검출할 수 있다. 일례로서, 화상 I1과 화상 I3 의 각 화소에 관하여 차분을 취하고, 임의의 임계값 이상인 경우에는, 움직임이 있었던 부분으로서 등록하는 방법이 있다. 피사체 자체의 움직임에 기인한 상 흔들림이 있었다고 판정한 경우(단계 S108: No)는, 단계 S112로 진행한다. 움직임이 검출된 경우(단계 S108: Yes)는, 단계 S109로 진행한다.
단계 S109에서, 단계 S107에서 검출된 움직임 부분에 관하여, 적절한 화이트 밸런스(WB) 조정을 행하기 위한 보정 처리가 가능한지의 여부의 판정을 행한다. 이 판정 처리는 예를 들면, 단계 S107에서 움직임 부분으로서 등록된 화소수의 화상 전체의 화소수에 대한 비율에 기초하여 행하는 방법이 적용된다. 예를 들면, 움직임 부분으로서 등록된 화소수의 화상 전체의 화소수에 대한 비율 [ratioA]이, 미리 정한 어느 일정한 임계값 [Threshold] 이상인 경우에는 보정이 불가능이라고 판정하고, 임계값 미만인 경우에는 보정 가능이라고 판정한다.
단계 S109에서, 보정 불가능이라고 판정된 경우, 단계 S113으로 진행하고, 보정 가능이라고 판정된 경우에는, 단계 S110으로 진행한다.
단계 S113에서는, 플래시 발광하여 촬영한 촬영 화상 데이터 I2에 대하여, 화이트 밸런스(WB) 조정을 행하여, 출력 화상 R을 생성하고, 처리를 종료한다. 화이트 밸런스 조정에 사용하는 파라미터값으로서는, 외광 성분에 맞추어 설정된 파라미터, 플래시 광 성분에 맞추어서 설정된 파라미터, 또는 외광과 플래시 광의 중간 성분에 기초하여 설정되는 파라미터 중 어느 하나이고, 이들 파라미터를 설정한 화이트 밸런스(WB) 조정을 실행한다. 또한, 이 화이트 밸런스 조정법은, 종래부터 행해지고 있는 방법으로, 그 상세 설명은 생략한다. 또한, 적용하는 파라미터는 3×3행렬에 의해서 나타내는 파라미터이고, 각 화소의 색을 구성하는 색 성분의 변환에 적용하는 행렬이다. 3×3행렬은 대각 성분 이외를 0으로서 설정한 행렬이 적용된다.
단계 S110에서는, 복수 화상 데이터에 기초한 화이트 밸런스 조정 처리를 포함하는 화소값 보정이 실행된다. 또한, 단계 S110에서는, 단계 S107의 움직임 부분 검출 처리에서 검출된 움직임 부분을 제외한 화소의 화소값의 보정만이 실행되고, 움직임 부분의 화소값 보정 처리는, 단계 S111에서 실행한다. 혹은, 단계 S110에서 모든 화소에 대하여 화이트 밸런스 조정 처리를 포함하는 화소값 보정을 실행하고, 단계 S111에서, 움직임 부분 화소에 대해서만, 재차 보정을 실행해도 된다.
또한, 단계 S111에서 실행하는 움직임 부분의 화소값 보정 처리는, 예를 들면 방사 규정 함수(Radial Basis Function)를 적용한 처리나, 평활화 필터를 적용한 처리 등에 따라서 실행된다. 또한, 이들의 처리의 상세에 대해서는, 본 발명과 동일 출원인의 특허 출원인 일본 특원 2003-312630에 기재되어 있다.
다음으로, 단계 S110 및 단계 S112에서의 복수 화상 데이터에 기초한 화이트 밸런스(WB) 조정 처리에 대하여 설명한다. 단계 S110 및 단계 S112에서의 처리는, 동일한 처리이다. 즉, 단계 S112에서는, 단계 S107의 움직임 부분 검출 처리에서 움직임이 검출되지 않은 경우에 화상 전부에 대하여 화소값 보정이 실행되고, 단계 S110에서는, 단계 S107의 움직임 부분 검출 처리에서 검출된 움직임 부분을 제외한 화소의 화소값 보정, 혹은 모든 화소에 대한 화소값 보정이 동일한 처리 시퀀스에 의해서 실행된다. 이 처리의 상세에 대하여, 도 3을 참조하여 설명한다.
단계 S201에서, 플래시 광이 있는 촬영 화상 데이터 I2의 성분과 플래시 광이 없는 촬영 화상 I1의 화소의 각 색 성분(예를 들면 RGB 각 채널마다)의 차를 취하고, 차분 화상 F=I2-I1을, 플래시 성분 화상으로서 생성하여 메모리에 저장한다. 플래시 광이 없는 촬영을 행한 단계 S101와 플래시 광이 있는 촬영을 행한 단계 S103 사이에, 피사체가 움직이지 않았다고 한다면, 차분 화상 F=I2-I1은, 외광이 전혀 없는 상태에서 플래시 광만을 조사하여 플래시 광만이 피사체에 반사하여, 카메라의 고체 촬상 소자에 입사하여 촬상되는 화상, 즉 플래시 성분 화상과 등가인 것으로 된다.
다음으로 단계 S202에 있어서, 차분 화상 F에 대하여, 플래시 광의 색 온도에 맞춘 화이트 밸런스(WB) 조정을 실행한다. 즉, 플래시 성분 화상인 차분 화상 데이터 F를 플래시 광 성분에 맞추어서 설정한 파라미터에 기초하여 화이트 밸런스(WB) 조정을 실행한다. 또한 플래시 광이 지나치게 밝거나 또는 지나치게 어두운 경우에, 화상의 밝기가 최적이 되도록 레벨 조정하여, 보정된 플래시 성분 화상으로서의 보정 차분 화상 F'를 생성한다.
다음으로 단계 S203에서, 플래시 광없이 촬영한 촬영 화상 데이터 I1에 대하여, 외광에 맞춘 화이트 밸런스(WB) 조정을 실행한다. 즉, 플래시 광이 없는 촬영 화상 데이터 I1을 외광 성분에 대응하는 파라미터에 기초하여 화이트 밸런스(WB) 조정을 실행하여, 보정 화상 I1'를 생성한다.
이것은 종래부터 널리 알려져 있는 화이트 밸런스(WB) 조정에 의해서 실행된다. 예를 들면, 일본 특개 2001-78202에 설명되어 있는 기술을 적용할 수 있다. 일본 특개 2001-78202에서는, 플래시 발광을 하여 촬영한 화상 I2와 플래시 발광을 하지 않고 촬영한 화상 I1의 차분 화상 F와 기지의 플래시의 분광 특성으로부터, 물체 색 성분 데이터 및 외광의 분광 분포를 조명 성분 데이터로서 구한다. 이 조명 성분 데이터를 이용하여, 플래시 광 없이 촬영한 화상 I1의 화이트 밸런스(WB) 조정을 실행하여, 보정 화상 I'를 생성한다.
다음으로 단계 S204에서, 또한 플래시 광이 지나치게 밝거나 또는 지나치게 어두운 경우에, 최종의 결과 화상의 밝기를 최적으로 하도록 보정된 플래시 성분 화상인 보정 차분 화상 F'의 강도(게인)를 조정하여, 게인 조정 차분 화상으로서의 강도 조정 플래시 성분 화상 F"를 생성한다.
강도 조정 플래시 성분 화상 F"의 생성 처리의 개요는, 이하와 같다. 즉, 보정 차분 화상 F'과 보정 화상 I1'와 이들의 화상의 화소값에 기초한 막대그래프 등의 통계량과, 합성 화상 [F'+I1']에 감마 보정 등 비선형 변환을 실시한 화상에 관한 통계량을 이용하여, 보정 차분 화상 F'의 최적의 게인을 구하여, 밝기를 조절한 게인 조정 차분 화상으로서의 강도 조정 플래시 성분 화상 F"를 생성하는 것이 다.
이하, 단계 S204에서 실행하는 강도 조정 플래시 성분 화상 F"(게인 조정 차분 화상)의 생성 처리의 상세에 대하여, 도 4에 도시한 플로우를 참조하여 설명한다.
우선, 단계 S301에서, 화이트 밸런스 조정이 이루어진 플래시 성분 화상인 보정 차분 화상 F'에 기초하여, 어느 정도의 광량의 플래시 광이 닿고 있는 물체가 촬상되어 있다고 생각되는 화상 중의 부분을 나타내는 플래시 마스크 Mf를 구한다. 플래시 마스크 Mf를 구하는 구체적 방법의 일례를, 이하에 설명한다.
우선, 보정 차분 화상 F'에 대하여, 휘도가 미리 정한 임의의 임계값(Th1) 이상인 화소를 검출한다. 임계값(Th1) 이상의 휘도값을 갖는 추출 화소의 휘도의 평균값을 산출한다. 보정 차분 화상 F'을 구성하는 화소 각각의 휘도가, 산출한 평균값 이상인 경우에는, 플래시 광이 비교적 크고, 외광과 플래시 광을 합성한 최종 화상에의 영향이 큰 부분이라고 할 수 있다.
또한, 도 2를 참조하여 설명한 단계 S107에서 검출한 피사체 자체의 움직임 부분에 상당하는 화소에 관해서는, 움직임이 플래시 성분으로서 나타나고 있는 가능성이 있는 것으로, 플래시 마스크 설정 대상 화소로부터는 제외한다. 움직임 부분의 화소값 보정 처리는, 도면의 처리 플로우에서의 단계 S111에서 실행한다.
즉,
(a) 보정 차분 화상 F'에 대하여, 휘도가 미리 정한 임의의 임계값 이상인 화소
(b) 피사체 자체의 움직임 부분에 상당하지 않은 화소
(a), (b)의 2개의 조건에 해당하는 화소 영역에 의해서 구성되는 마스크를 플래시 마스크 Mf로서 생성한다.
단계 S302 이하에서는, 상기 (a), (b) 양 조건을 만족하는 화소로 구성되는 플래시 마스크 Mf 부분의 화상의 해석 처리를 실행하여, 최적의 보정 차분 화상 F'의 게인 g를 산출하여, 게인 조정 차분 화상으로서의,
F"=gF'를 구한다.
단계 S302 이하의 처리에 대하여, 도 5, 도 6, 및 도 7을 참조하여 설명한다.
단계 S302에서는, 보정 차분 화상 F'와, 보정 화상 I1'의 플래시 마스크 Mf 부분의 휘도 평균값을 산출한다.
도 5의 (1)은, 보정 화상 I1'의 플래시 마스크 Mf 부분의 휘도(화소값)의 도수 분포도로서의 막대그래프를 나타내고 있다. 횡축이 화소값, 종축이 도수를 나타내고 있다. 화소값은, 예를 들면 0(min)∼255(max)의 휘도값을 나타내고 있다. 또한, 여기서는 설명을 간결히 하기 위해서, 1개의 막대그래프를 적용하여 설명하지만, RGB 컬러 화상인 경우는, 각 화소의 각 채널, 예를 들면 RGB 각 채널의 막대그래프를 각각 생성하여, 각 채널마다 이하에 설명하는 처리를 실행한다.
보정 화상 I1'의 플래시 마스크 Mf 부분을 구성하는 화소의 휘도(화소값)는, 최소값(min), 예를 들면 화소값=0 내지 최대값(max), 예를 들면 화소값=255의 사이에 분포하고 있으며, 보정 화상 I1'의 플래시 마스크 Mf 부분의 휘도값의 평균값(avg1이라고 부른다)을 평균값(avg1)으로서 나타내고 있는 화소값이다.
도 5의 (2)는, 보정 차분 화상 F'의 플래시 마스크 Mf 부분의 휘도(화소값)의 도수 분포도로서의 막대그래프를 나타내고 있다. 보정 차분 화상 F'의 플래시 마스크 Mf 부분을 구성하는 화소의 휘도(화소값)의 평균값은, 평균값(avgF)으로서 나타내고 있는 화소값이 된다.
도 4에 도시한 플로우의 단계 S302에서는, 도 5의 (1)과 (2)에 도시한 막대그래프를 생성하여, 각각의 막대그래프에서의 평균값, 즉,
보정 화상 I1'의 플래시 마스크 Mf 부분의 휘도(화소값)의 평균값 [avg1]
보정 차분 화상 F'의 플래시 마스크 Mf 부분의 휘도(화소값)의 평균값 [avgF]
을 산출한다.
다음으로 단계 S303에서, 보정 화상 I1'와, 보정 차분 화상 F'의 합성 화상 Rtmp=I1'+F'를 생성한다. 이것은, 보정 화상 I1'의 각 화소의 화소값에 대하여 보정 차분 화상 F'의 대응 화소의 화소값을 가산하여 생성한다.
도 5의 (3)에 도시한 막대그래프는, 보정 화상 I1'와, 보정 차분 화상 F'의 합성 화상 Rtmp=I1'+F'의 플래시 마스크 Mf 부분의 휘도(화소값)의 도수 분포도로서의 막대그래프를 나타내고 있다. 합성 화상 Rtmp=I1'+F'의 플래시 마스크 Mf 부분을 구성하는 화소의 휘도(화소값)는 전체적으로 최대 화소값(max)측으로 어긋난 막대그래프로서 설정되며, 합성 화상 Rtmp=I1'+F'의 플래시 마스크 Mf 부분의 휘도값의 평균값은, 평균값(avg1+F)으로서 나타내고 있는 화소값으로 된다.
고체 촬상 소자로부터 출력되는 화상을 구성하는 각 화소의 휘도는, 고체 촬상 소자에 입사하는 광의 량과 선형의 관계에 있다. 한편, 일반적인 디지털 스틸카메라 등이 최종 화상으로서 출력하는 화상은, 고체 촬상 소자로부터 출력되는 화상에 대하여, 감마 보정 등의 비선형 변환을 실시한 것이다. 감마 보정은, 화상의 밝기나 색의 채도를 정확하게 표시하기 위한 보정 처리이고, 디지털 스틸 카메라가 촬상하여 얻은 화소값을, 그대로 출력하면, 사람의 눈에 의해 관찰된 경우에, 부자연스럽게 되는 경우가 있다. 이것을 해결하기 위해서, 입력 화소값과 출력 화소값을 소정의 γ 곡선을 이용하여 비선형 변환 처리를 실시하며, 이것을 감마 보정이라고 부른다.
여기서는, 이 비선형 변환을 T라고 표기한다. 단계 S304에서, 보정 화상 I1'와, 보정 차분 화상 F'의 합성 화상 Rtmp=I1'+F'에 대하여, 비선형 변환 T를 실시 한 화상을,
비선형 변환 화상 Rtmp'=T(F'+I1')
을 생성한다.
여기서, 비선형 변환 화상 Rtmp'=T(F'+I1')은, 합성 화상 Rtmp=(F'+I1 ')의 각 화소의 각 채널, 예를 들면 RGB 각 채널의 화소값에 대하여 각각 비선형 변환 T를 실시하여 얻어지는 비선형 변환 화상을 나타낸다.
도 6은, 도 5의 (3)에 도시한 보정 화상 I1'와, 보정 차분 화상 F'의 합성 화상 (F'+I1')의 각 화소의 각 채널의 화소값에 대하여 각각 비선형 변환 T를 실시하여 얻어지는 비선형 변환 화상 T(F'+I1')에 대한 플래시 마스크 Mf 부분의 휘도(화소값)의 도수 분포도로서의 막대그래프를 나타내고 있다. 선형 변환 화상 T(F'+I1')의 플래시 마스크 Mf 부분을 구성하는 화소의 휘도(화소값)는 전체적으로 최대 화소값(max)측으로 어긋난 막대그래프로서 설정된다.
단계 S305에서, 도 6에 도시한 막대그래프로부터 표준 편차를 산출한다. 선형 변환 화상 T(F'+I1')의 플래시 마스크 Mf 부분을 구성하는 화소의 화소값 평균값은, 도 6에 도시한 바와 같이, [avgrslt]이다. 또한, 표준 편차는 [stdrslt]로서 구한다.
도 6에 도시한 바와 같이, 선형 변환 화상 T(F'+I1')의 플래시 마스크 Mf 부 분을 구성하는 화소의 화소값에 의해서 구성되는 막대그래프는, 최대값(max), 예를 들면 화소값=255 부근에 많은 화소가 분포하고 있어, 흰색 날림 현상이 일어나고 있는 것을 알 수 있다. 흰색 날림 화소는, 도 6에 도시한 흰색 날림 부분(201)에 존재할 화소이다. 즉, 감마 보정에 의해서 많은 화소의 화소값이 최대값(최대 휘도값)으로 설정, 즉 포화 화소값으로 설정되어 있다. 이 상태는, 본래의 화소 레벨의 차이를 표현할 수 없는 소위 흰색 날림 현상이라고 한다.
이상적인 화상은, 충분히 밝고, 또한 흰색 날림 현상이 일어나고 있지 않은 화상이다. 감마 보정에 의해서, 도 6에 도시한 바와 같은 포화 화소값을 많이 갖는 화상은, 이상적인 화상으로서의 특징을 구비하고 있지 않은 것이다.
따라서, 본 발명에 있어서는, 외광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 보정 화상 I1'와, 플래시 광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상인 보정 차분 화상 F'과의 합성 화상에 기초하여 생성하는 비선형 변환 처리 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 강도 조정값, 즉 게인(g)을 산출하여, 이 게인을 적용하여, 보정 차분 화상 F'을 보정하여 강도 조정 플래시 성분 화상을 생성한다.
이와 같이, 본 발명에 있어서는, 보정 차분 화상 F'의 게인(g라고 함)을 조절함으로써 가상적으로 플래시 광의 강도를 조절한 뒤에, 최종적인 결과 화상(최종 조정 화상)을 생성한다.
단계 S306에서, 밝고 또한 흰색 날림 현상이 일어나고 있지 않는 화상을 최 종 조정 화상으로서 생성하기 위해서,
도 5의 (1)에 도시한 보정 화상 I1'의 플래시 마스크 Mf 부분의 휘도값의 평균값(avg1),
도 5의 (2)에 도시한 보정 차분 화상 F'의 플래시 마스크 Mf 부분의 휘도값의 평균값(avgF), 또한
도 6에 도시한 선형 변환 화상 T(F'+I1')의 플래시 마스크 Mf 부분을 구성하는 화소의 화소값 막대그래프에서의 표준 편차 [stdrslt]
등을 이용하여, 최적의 보정 차분 화상 F'의 게인 g를 산출하고, 단계 S307에서, 게인 g를 보정 차분 화상 F'의 각 화소의 각 채널의 값에 승산하여, 강도 조정 플래시 성분 화상 F"를 구한다. 즉,
F"=gF'
로서 강도 조정 플래시 성분 화상 F"를 구한다.
일반적으로, 측정 화소값이 정규 분포에 따라 분포하고 있는 경우에는, 「평균값」±「표준 편차」의 범위에 측정 화소의 약 68%, 「평균값」±「표준 편차의 2배」의 범위에 측정 화소의 약 95%가 존재한다. 화소값 분포가 엄밀히 정규 분포에 따르지 않은 경우에도, 비슷한 경향이 있다고 생각된다.
따라서, 도 6에 도시한 선형 변환 화상 T(F'+I1')의 플래시 마스크 Mf 부분을 구성하는 화소의 화소값 막대그래프와 같이, 많은 흰색 날림 현상이 발생하는 경우, 플래시 마스크 Mf 부분의 휘도의 [평균값]+[표준 편차], 즉 도 6에 도시한 점 [A]가 화소값 최대값(max)보다 커지는 경우가 많다.
따라서, 단계 S306에서의 보정 차분 화상 F'에 대한 게인 g의 산출 처리에서는, 선형 변환 화상 T(F'+I1')의 플래시 마스크 Mf 부분을 구성하는 화소의 화소값 막대그래프로부터 구해지는 「평균값」±「표준 편차의 k배」(k는 미리 정해진 고정의 스칼라값, 예를 들면 1, 1.5, 2 등)의 범위가,
화소값 최대값(max)보다 큰 범위를 취하지 않으며, 또한
충분히 밝도록 하는
범위에 설정되도록 게인 g를 설정한다.
흰색 날림 현상이 없거나, 혹은 적은 이상적인 화상의 막대그래프로서는, 예를 들면 도 7에 도시한 바와 같은 막대그래프가 생각된다.
게인 조정 비선형 변환 화상 T(gF'+I1')의 플래시 마스크 Mf 부분의 휘도의 막대그래프를 도 7에 도시한 바와 같은 막대그래프로서 설정하고, 이 게인 조정 비선형 변환 화상을 바탕으로 최종 출력 화상을 생성하면, 충분히 밝고, 또한 흰색 날림 현상이 일어나고 있지 않은 이상적인 화상을 얻을 수 있다.
도 7에 도시한 막대그래프의 평균값은, 도 7에 도시한 바와 같이, [avg'rslt], 표준 편차는 [std'rslt]이다.
여기서, [평균값]+[표준 편차]에 의해서 나타내는 점 [A]는, 도 7에 도시한 최대값(max)보다도 작고, 또한 평균값 [avg'rslt]은 충분히 밝은 화소값으로 되어 있다. 예를 들면 중간 화소값 [(min+max)/2]보다 큰 충분한 화소 레벨(휘도값)를 갖는 값으로 되어 있다.
여기서, 도 7에 도시한 바와 같은 막대그래프를 게인 조정 비선형 변환 화상 T(gF'+I1')의 플래시 마스크 Mf 부분의 휘도 막대그래프라고 한다.
본 실시예에서는, 게인 조정 비선형 변환 화상 T(gF'+I1')의 플래시 마스크 Mf 부분은 흰색 날림 현상이 적고 또한 충분히 밝은 화상으로 하기 위해서, 게인 조정 비선형 변환 화상 T(gF'+I1')의 플래시 마스크 Mf 부분의 휘도 막대그래프(도 7)의 평균값 [avg'rslt]이, 휘도 최대값(max)으로부터 표준 편차 [std'rslt]의 k배를 제산한 값과 동등으로 되도록 게인 g를 조정한다.
이러한 게인 g를 적용하여 생성한 게인 조정 비선형 변환 화상 T(gF'+I1')의 플래시 마스크 Mf 부분은 흰색 날림 현상이 적고 또한 충분히 밝은 화상으로 된다.
이러한 최적의 결과 화상을 생성하는 게인 g이 산출된 경우, 게인 g가 극단적으로 크거나 또는 작은 값이 아닌 경우에는, 비선형 변환 화상 T(F'+I1')과, 게인 조정 비선형 변환 화상 T(gF'+I1')의 플래시 마스크 Mf 부분의 휘도의 표준 편차는 큰 차가 없다고 생각되기 때문에, 도 7에 도시한 막대그래프, 즉 게인 조정 비선형 변환 화상 T(gF'+I1')의 플래시 마스크 Mf 부분의 휘도 막대그래프에서의 표준 편차 [std'rslt]는, 도 6에 도시한 막대그래프, 즉 게인 조정전의 비선형 변환 화상 T(F'+I1')의 플래시 마스크 Mf 부분의 휘도 막대그래프에서의 표준 편차 [stdrslt ]와 동일한 크기라고 가정한다. 즉,
std'rslt=stdrslt
이다.
또한, 도 5의 (1)에 도시한 보정 화상 I1'의 막대그래프의 평균값 [avg1]과, 게인 g를 실시한 보정 차분 화상 F'의 플래시 마스크 Mf 부분의 휘도의 평균값 [g×avgF]과의 가산치 [avg1+g×avgF]에 대하여 비선형 변환 T를 실시하여 산출하는 스칼라값,
T(avg1+g×avgF)
는, 최종적인 게인 조정 비선형 변환 화상 T(gF'+I1')의 플래시 마스크 Mf 부분의 휘도의 평균값 [avg'rslt](도 7 참조)과 동등해진다고 가정한다. 즉,
avg'rslt=T(avg1+g×avgF)
로 가정한다.
즉, 구하고자 하는 최종의 게인 조정 비선형 변환 화상 T(gF'+I1')의 평균값 [avg'rslt]는, T(avg1+g×avgF)과 같아진다. 그리고, 이 값이 (max-k×std rslt)와 동 일한 값으로 되면, 도 7에 도시한 막대그래프에 대응하는 화상이 설정되고, 결과적으로 흰색 날림 현상이 적고 또한 충분히 밝은 화상에 대응하는 막대그래프로 된다.
즉,
Figure 112005003556930-pat00001
상기 수학식 1을 만족하는 게인 [g]를 산출하면 된다. 게인 [g]의 산출식은, 상기 수학식 1을 변형한 하기의 수학식 2를 적용한다.
Figure 112005003556930-pat00002
여기서, T-1은 비선형 변환 T의 역 변환을 나타내고 있다.
도 4에 도시한 흐름도의 단계 S306에서는, 상기 수학식 2에 기초하여, 플래시 성분 화상(보정 차분 화상 F')의 강도 조정값으로서의 게인 g를 산출한다. 상기 수학식 2로부터 알 수 있듯이,
게인 [g]는,
a) 도 5의 (1)에 도시한 보정 화상 I1'의 플래시 마스크 Mf 부분의 휘도값의 평균값(avg1),
b) 도 5의 (2)에 도시한 보정 차분 화상 F'의 플래시 마스크 Mf 부분의 휘도 값의 평균값(avgF), 또한,
c) 도 6에 도시한 비선형 변환 화상 T(F'+I1')의 플래시 마스크 Mf 부분을 구성하는 화소의 화소값 막대그래프에서의 표준 편차 [stdrslt]
d) 고정의 스칼라값 [k]
의 각 값에 기초해서도 산출된다.
또한, 고정의 스칼라값 [k]는, k=1 혹은 k=1.5 등의 고정값으로, 미리 설정되는 값이다.
단계 S307에서, 보정 차분 화상 F'의 각 화소의 각 채널의 값을 g로 승산하여 강도 조정 플래시 성분 화상 F"를,
F"=gF'
로서 산출하고, 이 강도 조정 플래시 성분 화상 F"를, 최종 조정 화상의 생성에 적용하는 플래시 성분 화상으로서 설정한다.
이상의 처리가, 도 3에 도시한 단계 S204의 처리이다. 또 여기서는, 게인 g를 자동으로 산출하는 방법을 진술했지만, 게인 g은 사용자가 자유롭게 설정하고, 원하는 플래시의 강도로 조절하는 것도 가능하다.
단계 S204가 종료한 후, 다음으로 단계 S205에 있어서, 플래시 성분 화상으로서 설정한 강도 조정 플래시 성분 화상 F"과 화상 I1'를 합성하여, 최종 조정 화상으로서의 화이트 밸런스 조정 화상 R을 생성한다. 즉,
R=I1'+F"
로서, 화이트 밸런스 조정 화상 R을 생성한다.
이상의 처리가, 도 2에 도시한 단계 S112와 단계 S110에서의 처리의 상세이다.
단계 S107에서, 움직임 부분이 검출되지 않았던 경우에는, 단계 S112에서 전술한 처리에 따라서 취득한 강도 조정 플래시 성분 화상 F"과 화상 I1'의 합성에 의한 화이트 밸런스 조정 화상 R, 즉
R=I1'+F"
가 최종적인 조정 화상으로 된다. 또, 이 후 최종 조정 화상 R에 대하여 감마 보정 등의 비선형 변환 처리가 이루어져 출력된다.
또, 단계 S107에서, 움직임 부분이 검출된 경우에는, 단계 S110에서 전술한 처리에 따라서 취득한 화이트 밸런스 조정 화상 R, 즉
R=I1'+F"
를 취득한 후, 단계 S111에서, 움직임 부분의 화소값 보정을 실행한다. 단계 S111에서의 움직임 부분의 화소값 보정은, 상술한 바와 같이, 본 발명과 동일 출원인의 특허 출원인 일본 특원 2003-312630에 기재되어 있는 방사 규정 함수(Radial Basis Function)를 적용한 처리나, 평활화 필터를 적용한 처리 등에 따라서 실행된다.
단계 S107에서, 움직임 부분이 검출된 경우에는 단계 S111에서, 움직임 부분의 화소값 보정이 이루어진 화상이, 최종적인 조정 화상으로 된다.
또한, 단계 S110에서의 화소값 보정에서는, 움직임 부분의 화소인지 움직임 부분 이외의 화소인지의 구별을 행하지 않고, 화상 구성 화소, 전부에 대한 보정을 실행하여, 단계 S110에서의 화이트 밸런스 조정 화상 R, 즉
R=I1'+F"
의 생성 후, 단계 S111에서, 단계 S107에서 검출한 움직임 부분의 화소값만을 대상으로 한 예외 보정 처리를 실행하여, 화상 R을 수정하는 구성으로 해도 된다. 구체적으로 설명하면, 움직임이 검출된 부분의 플래시 발광이 있는 화상 I2의 화소값을 입력으로 하여, 화상 R에서의 움직임이 없었던 부분의 화소값을 참조하여, 최종적인 화상을 합성하는 방법 등이 적용 가능하다.
도 8은 본 실시예에 따른 처리를 실행하는 디지털 신호 처리부(DSP)(도 1의 DSP(106)에 상당)의 기능 구성을 도시하는 블록도이다.
도 2에 도시한 흐름도와 대비하면서, 도 8에 도시한 디지털 신호 처리부(DSP)에서의 처리에 대하여 설명한다.
도 2의 단계 S101∼S106에서, 촬영된 플래시 없는 화상 I1, 플래시 있는 화상 I2, 및 플래시 없는 화상 I3은, 각각 프레임 메모리(301, 302, 303)에 저장된다. 또한, 화상 저장용 프레임 메모리로서는 디지털 신호 처리부(DSP) 내에 구성한 메모리를 적용해도 버스 접속된 메모리(도 1의 메모리(112))를 적용해도 된다.
단계 S107의 움직임 검출 처리는, 움직임 검출부(309)에서 실행된다. 움직 임 검출 처리는, 플래시 없는 화상 I1과, 플래시 없는 화상 I3에 기초한 차분 데이터에 의한 검출 처리로서 실행한다.
단계 S110과, 단계 S112에서 실행하는 복수 화상 데이터에 기초한 화이트 밸런스 조정 처리는, 먼저 도 3, 도 4를 참조하여 설명한 처리이다.
우선, 플래시 없는 화상 I1과, 플래시 있는 화상 I2에 기초하여, 플래시 성분 화상 산출부(330)에 구성된 차분 화상 산출부(304)에서 차분 화상 데이터 F=I2-I1을 구한다(도 3, S201). 다음으로, 차분 화상 데이터 F=I2-I1, 즉 플래시 광만의 조사 조건으로 촬영한 화상에 상당하는 차분 화상 F에 대하여, 화이트 밸런스 조정부(307)에서 플래시 광의 성분에 기초하여 설정되는 파라미터에 따른 화이트 밸런스 조정 처리를 실행하여 보정된 플래시 성분 화상으로서의 보정 차분 화상 F'를 구한다(도 3, S202).
또한, 외광 성분 추정부(306)에서 추정한 외광 성분의 추정값에 기초하여 설정되는 파라미터에 따른 화이트 밸런스 조정 처리를 플래시 없는 화상 I1에 대하여 화이트 밸런스 조정부(305)에서 실행한다(도 3, S203).
또한, 강도 조정값(게인) 산출부(321)에서, 보정 차분 화상 F'에 대하여 흰색 날림 현상이 없거나, 또는 적은 화상으로 하기 위한 강도 조정값으로서의 게인 [g]를 산출하고, 강도 조정 플래시 성분 화상 산출부(322)에서, 강도 조정 플래시 성분 화상 F"=gF'을 산출한다. 이 처리는, 도 3의 단계 S203의 처리, 즉 도 4에 도시한 플로우에 따른 처리이다.
또한, 최종 조정 화상 산출부(화소값 가산부)(308)에서, 화이트 밸런스 조정부(305)로부터 출력되는 보정 화상 I1'와, 강도 조정 플래시 성분 화상 산출부(322)로부터 출력되는 강도 조정 플래시 성분 화상 F"의 화소값을 가산한다(도 3, S205).
촬영 화상에 움직임 부분이 포함되지 않는 경우에는, 움직임 부분 보정 화소값 산출부(310)에서 처리를 실행하지 않고, 화소값 가산부(308)에서 가산한 화소값을 갖는 화상 데이터가 화이트 밸런스 조정 화상으로서 출력 전환부(312)를 통하여 출력된다. 출력처는 디지털 아날로그 변환을 실행하는 D/A 변환기(108)(도 1 참조)나, 부호화 처리를 실행하는 코덱(111) 등이다.
한편, 움직임 검출부(309)에서 플래시 없는 화상 I1과, 플래시 없는 화상 I3에 기초한 차분 데이터에 의한 움직임 검출의 결과, 피사체 자신의 움직임 영역이 검출된 경우에는, 또한 움직임 부분 보정 화소값 산출부(310)에서, 방사 규정 함수(Radial Basis Function)를 적용한 처리나, 평활화 필터를 적용한 처리 등에 의해, 움직임 있는 부분의 화소값의 보정(변환)이 이루어지며, 움직임 있는 부분이, 보정 화소값에 의해 치환된 화소값 데이터를 갖는 화상이 출력 전환부(312)를 통하여 출력된다.
화이트 밸런스 조정부(311)는, 도 2의 처리 플로우에서의 단계 S113의 처리를 실행한다. 즉, 움직임 검출부(309)에서 움직임 영역이 검출되었지만, 움직임 영역의 화상 전체에 차지하는 비율이 높은 등, 보정 불가능이라고 판단된 경우에, 플래시 있는 화상 I2를 입력하여, 미리 정한 파라미터에 따른 화이트 밸런스 조정을 실행하고, 이것을 출력 전환부(312)를 통하여 출력한다.
또한, 도 8에 도시한 구성은, 기능을 설명하기 위해 각 처리부를 구별하여 도시하고 있지만, 실제의 처리로서는, 상술한 각 처리 플로우에 따른 처리를 실행하는 프로그램에 따라서, DSP 내의 프로세서에 의해서 실행 가능하다.
이상, 특정한 실시예를 참조하면서, 본 발명에 대하여 상세하게 설명해 왔다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 해당 실시예의 수정이나 대용을 할 수 있는 것은 자명하다. 즉, 예시라는 형태로 본 발명을 개시해 온 것으로, 한정적으로 해석되어서는 안된다. 본 발명의 요지를 판단하기 위해서는, 첫머리에 기재한 특허 청구의 범위의 란을 참작해야 한다. 또한, 상술한 실시예에서는, 피사체가 어두운 경우에 발광하는 조명 장치로서 플래시라는 용어를 이용하여 설명했지만, 그 외에, 스트로브라고 불리는 경우도 있어, 플래시에 한정되는 것은 아니고, 일반적으로 피사체가 어두운 경우에 발광하는 조명 장치에서 본 발명은 적용된다.
또한, 명세서 중에서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의해서 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 조립된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 혹은 각종 처리를 실행할 수 있는 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다.
예를 들면, 프로그램은 기록 매체로서의 하드디스크나 ROM(Read Only Memory)에 미리 기록해 둘 수 있다. 혹은, 프로그램은 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 리무버블 기록 매체에, 일시적 혹은 영속적으로 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체는, 소위 패키지 소프트웨어로서 제공할 수 있다.
또한, 프로그램은, 전술한 바와 같은 리무버블 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터, 컴퓨터에 무선 전송하거나, LAN(Local Area Network), 인터넷 등과 같은 네트워크를 통하여, 컴퓨터에 유선으로 전송하고, 컴퓨터에서는, 그와 같이 하여 전송되어 오는 프로그램을 수신하여, 내장한 하드디스크 등의 기록 매체에 인스톨할 수 있다.
또, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라 병렬적으로 혹은 개별로 실행되어도 된다. 또한, 본 명세서에서 시스템이란, 복수 장치의 논리적 집합 구성이고, 각 구성의 장치가 동일 케이스 내에 있는 것에는 한정하지 않는다.
<산업상 이용 가능성>
본 발명의 구성에 따르면, 플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하여, 해당 플래시 성분 화상의 강도 조정을 실행하여 생성한 강도 조정 플래시 성분 화상을 적용하여 최종 조정 화상을 생성하는 구성으로 했기 때문에, 출력 화상을 생성할 때에 실행되는 감마 보정 등의 비선형 변환 처리 후의 화상에서의 포화 화소값을 갖는 화소, 즉 흰색 날림 현상이 삭감된 고품질인 화상을 생성하는 것이 가능해지고, 예를 들면 디지털 카메라에 있어서 촬영된 화상의 보정 처리에 적용할 수 있다.
또한, 본 발명의 구성에 따르면, 플래시를 발광시키지 않고 촬영한 제1 화상에 대하여, 외광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행하여 화이트 밸런스 조정 완료된 제1 화상을 생성하고, 또한 플래시 성분 화상에 대하여 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상을 강도 조정하고, 이들 화상에 기초하여, 최종 조정 화상을 생성하는 구성으로 했기 때문에, 개개의 화상에 대응하는 파라미터를 이용한 최적의 화이트 밸런스 조정이 실행되고, 예를 들면 디지털 카메라에서 촬영된 화상의 보정 처리에 적용할 수 있다.
이상 설명한 바와 같이, 본 발명의 구성에 따르면, 플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하여, 해당 플래시 성분 화상의 강도 조정을 실행하여 생성한 강도 조정 플래시 성분 화상을 적용하여 최종 조정 화상을 생성하는 구성으로 했기 때문에, 출력 화상을 생성할 때에 실행되는 감마 보정 등의 비선형 변환 처리 후의 화상에서의 포화 화소값을 갖는 화소, 즉 흰색 날림 현상을 삭감한 고품질인 화상을 생성하는 것이 가능해진다.
또한, 본 발명의 구성에 따르면, 플래시를 발광시키지 않고 촬영한 제1 화상에 대하여, 외광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행하여 화이트 밸런스 조정 완료된 제1 화상을 생성하고, 또한 플래시 성분 화상에 대하여 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상을 강도 조정하고, 이들 화상에 기초하여, 최종 조정 화상을 생성하는 구성으로 했기 때문에, 개개의 화상에 대응하는 파라미터를 이용한 최적의 화이트 밸런스 조정이 실행된다.

Claims (19)

  1. 플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하는 플래시 성분 화상 산출 단계와,
    상기 플래시 성분 화상의 강도 조정값을 산출하는 강도 조정값 산출 단계와,
    상기 강도 조정값을 적용하여, 강도 조정 플래시 성분 화상을 산출하는 강도 조정 플래시 성분 화상 산출 단계와,
    상기 제1 화상과 상기 강도 조정 플래시 성분 화상에 기초하여 최종 조정 화상을 생성하는 최종 조정 화상 생성 단계를 포함하고,
    상기 강도 조정값 산출 단계는,
    플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상으로부터 미리 정한 임계값 이상의 화소값을 갖는 화소에 의해서 구성되는 플래시 마스크 Mf를 생성하는 플래시 마스크 생성 단계와,
    하기 산출식
    g={T-1(max-k×stdrslt)-avg1}÷avgF
    단, T-1 : 비선형 변환 T의 역 변환
    max : 최대 출력 화소값
    k : 미리 정한 스칼라값
    avg1 : 상기 제1 화상에 대한 화이트 밸런스 조정 화상 I1'의 플래시 마스크 Mf 부분의 휘도값의 평균값
    avgF : 상기 플래시 성분 화상의 화이트 밸런스 조정 화상 F'의 플래시 마스크 Mf 부분의 휘도값의 평균값
    stdrslt : 비선형 변환 화상 T(F'+I1')의 플래시 마스크 Mf 부분을 구성하는 화소의 화소값 막대그래프에서의 표준 편차
    에 의해서 강도 조정값으로서의 게인 g를 산출하는 단계
    를 포함하는 것을 특징으로 하는 화상 처리 방법.
  2. 제1항에 있어서,
    상기 플래시 성분 화상 산출 단계는,
    상기 제1 화상과 제2 화상과의 차분 화상 데이터를 산출하는 단계와,
    상기 차분 화상 데이터에 대하여, 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행하는 단계를 포함하고,
    상기 강도 조정값 산출 단계는,
    상기 화이트 밸런스 조정 처리가 이루어진 플래시 성분 화상의 강도 조정값을 산출하는 단계인 것을 특징으로 하는 화상 처리 방법.
  3. 제1항에 있어서,
    상기 최종 조정 화상 생성 단계는,
    (a) 상기 제1 화상에 대하여, 외광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 화이트 밸런스 조정 완료된 제1 화상과,
    (b) 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상에 대하여 강도 조정을 실행한 강도 조정 플래시 성분 화상과,
    상기 (a) 및 (b)의 2 화상에 기초하여 최종 조정 화상의 생성 처리를 실행하는 단계인 것을 특징으로 하는 화상 처리 방법.
  4. 제1항에 있어서,
    상기 강도 조정값 산출 단계는,
    외광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 상기 제1 화상과, 플래시 광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상과의 합성 화상에 기초하여 생성하는 비선형 변환 처리 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 것을 특징으로 하는 화상 처리 방법.
  5. 제4항에 있어서,
    상기 비선형 변환 처리는, 감마 보정이고,
    상기 강도 조정값 산출 단계는,
    감마 보정 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 것을 특징으로 하는 화상 처리 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 강도 조정 플래시 성분 화상 산출 단계는,
    강도 조정값으로서, 상기 게인 g를 적용하여, 강도 조정 플래시 성분 화상 F"를, 하기 식
    F"=gF'
    에 의해서 산출하고,
    상기 최종 조정 화상 생성 단계는,
    최종 조정 화상 R을, 하기 식,
    R=I1+F"
    에 의해서 산출하는 단계인 것을 특징으로 하는 화상 처리 방법.
  8. 삭제
  9. 제1항에 있어서,
    상기 화상 처리 방법은,
    플래시의 발광을 제어하여, 상기 제1 화상과, 상기 제2 화상을 포함하는 복수 화상의 촬영을 실행하는 촬영 단계를 더 포함하는 것을 특징으로 하는 화상 처리 방법.
  10. 화상 처리 장치로서,
    플래시를 발광시키지 않고 촬영한 제1 화상과, 플래시를 발광시켜 촬영한 제2 화상에 기초하여 플래시 성분 화상을 산출하는 플래시 성분 화상 산출부와,
    상기 플래시 성분 화상의 강도 조정값을 산출하는 강도 조정값 산출부와,
    상기 강도 조정값을 적용하여, 강도 조정 플래시 성분 화상을 산출하는 강도 조정 플래시 성분 화상 산출부와,
    상기 제1 화상과 상기 강도 조정 플래시 성분 화상에 기초하여 최종 조정 화상을 생성하는 최종 조정 화상 생성부를 가지고,
    상기 강도 조정값 산출부는,
    플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상으로부터 미리 정한 임계값 이상의 화소값을 갖는 화소에 의해서 구성되는 플래시 마스크 Mf를 생성하고,
    하기 산출식
    g={T-1(max-k×stdrslt)-avg1}÷avgF
    단, T-1 : 비선형 변환 T의 역 변환
    max : 최대 출력 화소값
    k : 미리 정한 스칼라값
    avg1 : 상기 제1 화상에 대한 화이트 밸런스 조정 화상 I1'의 플래시 마스크 Mf 부분의 휘도값의 평균값
    avgF : 상기 플래시 성분 화상의 화이트 밸런스 조정 화상 F'의 플래시 마스크 Mf 부분의 휘도값의 평균값
    stdrslt : 비선형 변환 화상 T(F'+I1')의 플래시 마스크 Mf 부분을 구성하는 화소의 화소값 막대그래프에서의 표준 편차
    에 의해서 강도 조정값으로서의 게인 g를 산출하는 구성을 갖는 것을 특징으로 하는 화상 처리 장치.
  11. 제10항에 있어서,
    상기 플래시 성분 화상 산출부는,
    상기 제1 화상과 제2 화상과의 차분 화상 데이터를 산출하는 차분 화상 산출부와,
    상기 차분 화상 데이터에 대하여, 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행하는 화이트 밸런스 조정부를 포함하고,
    상기 강도 조정값 산출부는,
    상기 화이트 밸런스 조정 처리가 이루어진 플래시 성분 화상의 강도 조정값을 산출하는 구성인 것을 특징으로 하는 화상 처리 장치.
  12. 제10항에 있어서,
    상기 최종 조정 화상 생성부는,
    (a) 상기 제1 화상에 대하여, 외광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 화이트 밸런스 조정 완료된 제1 화상과,
    (b) 플래시 광 성분에 대응하는 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상에 대하여 강도 조정을 실행한 강도 조정 플래시 성분 화상과,
    상기 (a) 및 (b)의 2 화상에 기초하여 최종 조정 화상의 생성 처리를 실행하 는 구성인 것을 특징으로 하는 화상 처리 장치.
  13. 제10항에 있어서,
    상기 강도 조정값 산출부는,
    외광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 상기 제1 화상과, 플래시 광 성분 대응 파라미터에 기초한 화이트 밸런스 조정 처리를 실행한 플래시 성분 화상과의 합성 화상에 기초하여 생성하는 비선형 변환 처리 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 구성인 것을 특징으로 하는 화상 처리 장치.
  14. 제13항에 있어서,
    상기 비선형 변환 처리는, 감마 보정이고,
    상기 강도 조정값 산출부는,
    감마 보정 화상 중의 포화 화소값을 갖는 화소수를 억제하는 조정값으로서 상기 강도 조정값을 산출하는 구성인 것을 특징으로 하는 화상 처리 장치.
  15. 삭제
  16. 제10항에 있어서,
    상기 강도 조정 플래시 성분 화상 산출부는,
    강도 조정값으로서, 상기 게인 g를 적용하여, 강도 조정 플래시 성분 화상 F"를, 하기 식
    F"=gF'에 의해서 산출하고,
    상기 최종 조정 화상 생성부는,
    최종 조정 화상 R을, 하기 식
    R=I1+F"
    에 의해서 산출하는 구성인 것을 특징으로 하는 화상 처리 장치.
  17. 삭제
  18. 제10항에 있어서,
    상기 화상 처리 장치는,
    플래시의 발광을 제어하여, 상기 제1 화상과, 상기 제2 화상을 포함하는 복수 화상의 촬영을 실행하는 촬상부를 더 갖는 것을 특징으로 하는 화상 처리 장치.
  19. 삭제
KR1020050005748A 2004-01-23 2005-01-21 화상 처리 방법, 및 화상 처리 장치 KR101102150B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004015789A JP4379129B2 (ja) 2004-01-23 2004-01-23 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JPJP-P-2004-00015789 2004-01-23

Publications (2)

Publication Number Publication Date
KR20050076824A KR20050076824A (ko) 2005-07-28
KR101102150B1 true KR101102150B1 (ko) 2012-01-02

Family

ID=34631951

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050005748A KR101102150B1 (ko) 2004-01-23 2005-01-21 화상 처리 방법, 및 화상 처리 장치

Country Status (5)

Country Link
US (1) US7583297B2 (ko)
EP (1) EP1558025A3 (ko)
JP (1) JP4379129B2 (ko)
KR (1) KR101102150B1 (ko)
CN (1) CN100377575C (ko)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136793B2 (ja) * 2003-05-29 2008-08-20 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP3838243B2 (ja) 2003-09-04 2006-10-25 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
CN100531315C (zh) * 2004-03-19 2009-08-19 松下电器产业株式会社 成像装置
JP5049490B2 (ja) * 2005-12-19 2012-10-17 イーストマン コダック カンパニー デジタルカメラ、ゲイン算出装置
JP5220054B2 (ja) * 2006-02-10 2013-06-26 富士フイルム株式会社 デジタルカメラ
US7755672B2 (en) * 2006-05-15 2010-07-13 Zoran Corporation Techniques for modifying image field data obtained using illumination sources
US7796168B1 (en) * 2006-06-09 2010-09-14 Flir Systems, Inc. Methods and systems for detection and mitigation of image-flash in infrared cameras
US7796830B2 (en) * 2006-08-15 2010-09-14 Nokia Corporation Adaptive contrast optimization of digital color images
US8055034B2 (en) * 2006-09-13 2011-11-08 Fluidigm Corporation Methods and systems for image processing of microfluidic devices
CN101159879B (zh) * 2006-10-08 2010-08-25 鸿富锦精密工业（深圳）有限公司 数字图像获取装置及其白平衡调整的方法
JP4806329B2 (ja) * 2006-10-23 2011-11-02 三洋電機株式会社 撮像装置及び撮像方法
CN101193316B (zh) * 2006-11-21 2011-02-02 安凯(广州)微电子技术有限公司 一种自适应白平衡校正方法
US20080158258A1 (en) * 2006-12-27 2008-07-03 General Instrument Corporation Method and System For Obtaining a Digitally Enhanced Image
US9036977B2 (en) * 2007-03-22 2015-05-19 Microsoft Technology Licensing, Llc Automatic detection, removal, replacement and tagging of flash frames in a video
KR100793284B1 (ko) * 2007-05-11 2008-01-10 주식회사 코아로직 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
JP5224804B2 (ja) * 2007-12-27 2013-07-03 三星電子株式会社 撮像装置
US8922672B2 (en) * 2008-01-03 2014-12-30 Apple Inc. Illumination systems and methods for imagers
JP5127467B2 (ja) * 2008-01-07 2013-01-23 キヤノン株式会社 撮像システム、及び撮像システムの制御方法
KR101378333B1 (ko) * 2008-01-11 2014-03-27 삼성전자주식회사 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
US8564688B2 (en) * 2008-09-12 2013-10-22 Aptina Imaging Corporation Methods, systems and apparatuses for white balance calibration
US8675962B2 (en) * 2008-12-22 2014-03-18 Rohm Co., Ltd. Image correction processing circuit, semiconductor device, and image correction processing device
KR101289653B1 (ko) 2008-12-26 2013-07-25 엘지디스플레이 주식회사 액정표시장치
JP5214485B2 (ja) * 2009-02-12 2013-06-19 オリンパス株式会社 画像撮像装置、画像処理方法、および画像処理プログラム
JP4678061B2 (ja) * 2009-04-02 2011-04-27 株式会社ニコン 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム
JP5589585B2 (ja) * 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR101072945B1 (ko) * 2009-11-17 2011-10-17 한국과학기술원 깊이 값 측정을 이용한 플래시 영상 색상 보정 장치 및 그 방법
US8717454B2 (en) * 2009-12-24 2014-05-06 Samsung Electronics Co., Ltd. Image pickup apparatus and image pickup method for adjusting white balance to account for flash and external light sources
JP5047344B2 (ja) * 2009-12-28 2012-10-10 キヤノン株式会社 画像処理装置及び画像処理方法
US8339508B2 (en) * 2010-02-22 2012-12-25 Csr Technology Inc. Method and apparatus for low-light imaging enhancement
JP2012019293A (ja) * 2010-07-06 2012-01-26 Sony Corp 画像処理装置、撮影方法、撮影プログラム、画像処理方法及び画像処理プログラム
JP5141733B2 (ja) * 2010-08-18 2013-02-13 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
JP5665436B2 (ja) * 2010-09-02 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8488055B2 (en) * 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
KR101901602B1 (ko) 2011-01-14 2018-09-27 삼성전자주식회사 디지털 사진에서 노이즈를 제거하는 장치 및 방법
US8493460B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of differently scaled images
US8493459B2 (en) 2011-09-15 2013-07-23 DigitalOptics Corporation Europe Limited Registration of distorted images
TWI459800B (zh) * 2011-10-18 2014-11-01 Pixart Imaging Inc 影像系統及其干擾消除方法
CN103093420B (zh) * 2011-11-02 2016-08-03 原相科技股份有限公司 图像系统及其干扰消除方法
WO2013093549A1 (en) * 2011-12-19 2013-06-27 Nokia Corporation Apparatus, methods and non-transitory computer readable storage mediums for controlling light emitted by a flash unit
US9479705B2 (en) * 2012-02-13 2016-10-25 Htc Corporation Exposure value adjustment apparatus, method, and non-transitory tangible machine-readable medium thereof
TWI536829B (zh) * 2012-02-14 2016-06-01 佳能企業股份有限公司 應用影像處理之電子裝置
KR101675800B1 (ko) * 2012-03-12 2016-11-14 한화테크윈 주식회사 영상 포화 방지 장치
JP5917258B2 (ja) * 2012-04-20 2016-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP6000133B2 (ja) * 2013-01-08 2016-09-28 株式会社 日立産業制御ソリューションズ 撮像装置、撮像システム及び撮像方法
JP6265625B2 (ja) * 2013-05-13 2018-01-24 キヤノン株式会社 画像処理装置及び画像処理方法
US9525811B2 (en) 2013-07-01 2016-12-20 Qualcomm Incorporated Display device configured as an illumination source
KR102075456B1 (ko) 2013-07-10 2020-02-10 삼성전자주식회사 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치
KR102145209B1 (ko) * 2014-02-12 2020-08-18 삼성전자주식회사 플래시 장치, 영상 촬영 장치, 및 방법
JP6335776B2 (ja) * 2014-12-25 2018-05-30 オリンパス株式会社 内視鏡システム
US9565368B2 (en) * 2015-06-02 2017-02-07 Sony Corporation Enhanced video capture in adverse lighting conditions
CN105049703A (zh) * 2015-06-17 2015-11-11 青岛海信移动通信技术股份有限公司 一种移动通信终端拍照的方法和移动通信终端
CN105049704A (zh) * 2015-06-17 2015-11-11 青岛海信移动通信技术股份有限公司 一种拍照的方法和设备
WO2016209277A1 (en) * 2015-06-26 2016-12-29 Hewlett-Packard Development Company, L.P. Enhance highlighter colors in scanned images
US10070111B2 (en) * 2015-12-22 2018-09-04 Adobe Systems Incorporated Local white balance under mixed illumination using flash photography
US9900503B1 (en) * 2017-01-12 2018-02-20 Adobe Systems Incorporated Methods to automatically fix flash reflection at capture time
CN111492653B (zh) * 2017-09-30 2023-06-16 深圳传音通讯有限公司 相机白平衡快速调整方法、装置及计算机可读存储介质
CN108093233B (zh) * 2017-12-28 2020-02-18 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN109068116B (zh) * 2018-08-31 2021-01-22 青岛海信移动通信技术股份有限公司 基于补光的图像处理方法、装置、移动终端和存储介质
US20220053121A1 (en) * 2018-09-11 2022-02-17 Profoto Aktiebolag A method, software product, camera device and system for determining artificial lighting and camera settings
EP3850425A4 (en) 2018-09-11 2022-06-08 Profoto Aktiebolag COMPUTER-IMPLEMENTED METHOD AND SYSTEM FOR COORDINATING THE CAPTURE OF AN IMAGE USING A CAMERA AND TRIGGERING A FLASH PULSE FROM AT LEAST ONE FLASH UNIT
WO2020159422A1 (en) 2019-02-01 2020-08-06 Profoto Aktiebolag A housing for an intermediate signal transmission unit and an intermediate signal transmission unit
US11252336B2 (en) * 2019-05-31 2022-02-15 Samsung Electronics Co.. Ltd. Electronic device obtaining skin image and method of controlling the same
FR3117717B1 (fr) * 2020-12-10 2022-12-23 Centre Nat Etd Spatiales Procédé d’acquisition et d’analyse d’une scène par différence d’images
CA3219714A1 (en) * 2021-05-25 2022-12-01 Tushar CHOWHAN Systems and methods for dull grading

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296720A (ja) * 2002-04-02 2003-10-17 Nikon Corp 画像処理装置および画像処理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4847680A (en) * 1986-09-24 1989-07-11 Canon Kabushiki Kaisha Image pickup apparatus with white balance control
JPH07301842A (ja) * 1994-05-02 1995-11-14 Asahi Optical Co Ltd 電子スチルカメラ
JP3569352B2 (ja) * 1994-05-31 2004-09-22 ペンタックス株式会社 ホワイトバランス調整装置
US5568194A (en) * 1994-05-31 1996-10-22 Asahi Kogaku Kogyo Kabushiki Kaisha Adjusting a white balance in a camera using a flash
JP3540485B2 (ja) 1995-04-13 2004-07-07 株式会社リコー 電子スチルカメラ
JPH0974516A (ja) 1995-09-06 1997-03-18 Sharp Corp 画像入力装置
JP2000308068A (ja) 1999-04-16 2000-11-02 Olympus Optical Co Ltd 撮像装置
JP2000307940A (ja) 1999-04-19 2000-11-02 Olympus Optical Co Ltd 撮像装置
JP3551854B2 (ja) 1999-09-01 2004-08-11 ミノルタ株式会社 デジタル撮影装置、画像データ処理装置、デジタル撮影方法および記録媒体
US6418278B1 (en) * 2000-03-14 2002-07-09 Concord Camera Corp. Camera shutter system
JP3610291B2 (ja) * 2000-08-21 2005-01-12 オリンパス株式会社 電子カメラ
US6859565B2 (en) * 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
US7148922B2 (en) * 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP2003131284A (ja) * 2001-10-22 2003-05-08 Konica Corp ストロボを備えたカメラ
WO2004010711A1 (ja) * 2002-07-18 2004-01-29 Sony Corporation 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム
AU2003278710A1 (en) * 2002-08-15 2004-03-03 Lc Technologies, Inc. Motion clutter suppression for image-subtracting cameras

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296720A (ja) * 2002-04-02 2003-10-17 Nikon Corp 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
EP1558025A3 (en) 2012-08-01
KR20050076824A (ko) 2005-07-28
US20050190288A1 (en) 2005-09-01
JP4379129B2 (ja) 2009-12-09
CN1645914A (zh) 2005-07-27
EP1558025A2 (en) 2005-07-27
CN100377575C (zh) 2008-03-26
JP2005210485A (ja) 2005-08-04
US7583297B2 (en) 2009-09-01

Similar Documents

Publication Publication Date Title
KR101102150B1 (ko) 화상 처리 방법, 및 화상 처리 장치
KR101032165B1 (ko) 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 판독 가능 기록 매체
JP5141733B2 (ja) 撮像装置、撮像方法、及びプログラム
US9456144B2 (en) Imaging apparatus and control method
JP6423625B2 (ja) 画像処理装置および画像処理方法
US7602969B2 (en) Imaging data processing method, imaging data processing device, and computer program
JP5610762B2 (ja) 撮像装置及び制御方法
JP5787648B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP4905513B2 (ja) 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP2014017681A (ja) 撮像装置、該撮像装置の制御方法、プログラム、記憶媒体
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP6025472B2 (ja) 画像処理装置及び画像処理方法
JP5713643B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP2002369075A (ja) 撮像装置および画像処理装置並びに撮像プログラムおよび画像処理プログラム
JP5932392B2 (ja) 画像処理装置および画像処理方法
JP5765599B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2014098859A (ja) 撮像装置および撮像方法
JP5120414B2 (ja) 電子カメラおよび画像処理プログラム
JP5471510B2 (ja) 撮像装置、画像処理方法及びプログラム
JP4077217B2 (ja) 自動露出制御装置及びそのプログラム
JP6423669B2 (ja) 撮像装置及びその制御方法
JP6701299B2 (ja) 画像処理装置および画像処理方法
JP2022151987A (ja) 撮像装置
JP2014127869A (ja) 撮像装置、撮像方法および撮像プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141219

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee