KR20060070557A - 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 프로그램 - Google Patents

화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20060070557A
KR20060070557A KR1020067004473A KR20067004473A KR20060070557A KR 20060070557 A KR20060070557 A KR 20060070557A KR 1020067004473 A KR1020067004473 A KR 1020067004473A KR 20067004473 A KR20067004473 A KR 20067004473A KR 20060070557 A KR20060070557 A KR 20060070557A
Authority
KR
South Korea
Prior art keywords
image
pixel
flash
value
image data
Prior art date
Application number
KR1020067004473A
Other languages
English (en)
Other versions
KR101032165B1 (ko
Inventor
루이 야마다
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20060070557A publication Critical patent/KR20060070557A/ko
Application granted granted Critical
Publication of KR101032165B1 publication Critical patent/KR101032165B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Abstract

촬영 화상 데이터의 움직임이 있는 영역의 화소치 보정을 효율적으로 실행하는 것을 가능하게 한다. 움직임이 있는 영역 등의 특정 영역의 화소치 보정 처리에 있어서, 화이트 밸런스 조정이 이루어진 화상 데이터와, 플래시 발광이 있는 화상 데이터의 차분 혹은 비율의 초기치를 설정하고, 평활화 필터, 또는 플래시 발광이 있는 화상 데이터에 기초하여 가중치를 설정한 변환식에 따라 초기치의 변환을 행하여, 움직임이 있는 영역에서의 화상 차분 또는 화상 비율의 추정치를 산출하고, 그 추정치를 적용하여 움직임이 있는 영역의 화소치 보정을 실행한다. 또한, 저해상도 화상을 적용한 화이트 밸런스 조정이나 움직임이 있는 부분의 화소치 보정 후, 보정 화상과 저해상도 화상 데이터의 대응에 기초하여, 고해상도 보정 화상을 생성한다.
화상 데이터, 화이트 밸런스 조정, 화상 보정, 화상 처리, 고속 보정, 디지털 카메라

Description

화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 프로그램{IMAGE PROCESSING METHOD, IMAGE PROCESSING APPARATUS, AND COMPUTER PROGRAM}
본 발명은 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 프로그램에 관한 것이다. 더욱 상세하게는, 복수의 화상을 이용하여 외광과 플래시광의 색온도의 차이에 기인하는 부자연스러움을 해소하는 화상 조정을 가능하게 함과 함께, 화상 조정에 적용한 복수의 화상간에서의 상 흔들림이 생긴 경우에 있어서도, 효율적인 고속 보정 처리를 가능하게 한 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 프로그램에 관한 것이다.
플래시(electrical flash, strobe)는 카메라 촬영 시에 보조 광원으로서 이용된다. 최근 DSC(Digital Still Camera)가 급속히 보급되고 있지만, DSC에 있어서도, 자주, 플래시 촬영이 행해진다. 플래시를 사용함으로써, 필 인 라이트(인물의 얼굴에 그림자가 지나치게 비춰질 때 등에 그림자를 약하게 하는 기법), 역광 보정(태양을 등진 인물을 찍는 경우 등에 얼굴이 검게 뭉그러지는 것을 방지하는 기법), 캐치 라이트(눈의 눈동자에 반짝거리며 빛나는 「빛의 점」을 넣어 눈동자를 아름답게 촬영하는 기법), 혹은 일중 싱크로(데이 라이트 싱크로, 낮이나 저녁에 보조 광선으로서 사용하는 테크닉) 등, 여러 가지 사진 촬영을 행할 수 있다. 한편, 플래시 촬영을 행하면, 색 밸런스가 무너지거나 노출 과다가 발생하는 경우가 있다. 본 발명은 이러한 플래시 촬영에서 생기는 좋지 않은 현상을 보정 가능한 적절한 수단을 제공하는 것을 하나의 목적으로 한다.
일반적으로, 디지털 카메라에서는 하얀 피사체가 하얗게 촬영되도록 화이트 밸런스(WB) 조정이 행해진다. 예를 들면 자연광, 조명광, 플래시(스트로보) 등의 피사체에 대해 조사되는 광의 색온도가 높아 블루(B)의 광이 강한 광성분 환경에서 촬영하는 경우에는, 블루의 광에 대한 감도를 억제하여 레드(R)의 광에 대한 감도를 상대적으로 높게 하고, 반대로 피사체에 대해 조사되는 광의 색온도가 낮아 레드(R)의 광이 강한 광성분 환경에서 촬영하는 경우에는, 레드의 광에 대한 감도를 억제하여 블루(B)의 광에 대한 감도를 상대적으로 높게 하는 등의 화이트 밸런스 조정이 행해진다.
화이트 밸런스 조정은, 통상, 촬영 시에 이용하는 광원에 따른 조정 파라미터를 설정한 조정 처리가 실행된다. 예를 들면 플래시 촬영을 행하는 경우에는, 적용하는 플래시광이 갖는 광성분에 따른 파라미터에 따라 화이트 밸런스 조정이 행해진다.
그러나, 플래시광 이외의 외광이 있는 상태에서 플래시 촬영을 행하면, 플래시광, 외광의 2종류의 광이 피사체에 조사되고 그 반사광이 카메라의 촬상 소자에 도달하여, 촬영이 행해지게 된다. 이러한 촬영이 행해지는 경우, 화이트 밸런스 조정을 플래시광에 맞추어 실시하면, 플래시광이 많이 닿고 있는 피사체 부분은 자연스러운 색으로 조정되지만, 플래시광이 닿지 않고 외광만의 반사광으로서 촬영된 영역, 예를 들면 배경 화상 영역 등은, 플래시광의 광성분에 맞춘 파라미터 설정에 따른 화이트 밸런스 조정을 행해 버리면, 적절한 화이트 밸런스 조정이 실행되지 않고 부자연스러운 색을 갖는 영역으로서 출력되게 된다.
반대로, 배경 부분에 맞춘 화이트 밸런스 조정, 즉 외광에 의해서만 촬영된 것으로서, 촬영 화상 전체의 화이트 밸런스 조정을 실행하면 플래시광이 많이 닿은 부분이 부자연스러운 색으로 조정되게 된다.
이러한 문제에 대처하기 위한 구성이 몇 가지 제안되고 있다. 예를 들면 특허 문헌 1(일본 특개평 8-51632호 공보)은 플래시를 발광하지 않고 촬영한 화상과 플래시를 발광시킨 촬영 화상을 취득하고, 이 촬영된 2개의 화상을 블록으로 분할하여, 각 블록마다 휘도치의 비교를 행해 휘도치의 비교 결과에 기초하여, 플래시를 발광해 촬영한 화상에 대해 각 블록마다 상이한 화이트 밸런스 조정을 행하는 구성을 개시하고 있다.
화이트 밸런스 조정은 각 블록마다 플래시광에 맞춘 화이트 밸런스 조정, 또는 플래시광과 외광의 중간에 맞춘 화이트 밸런스 조정, 또는 외광에 맞춘 화이트 밸런스 조정 중 어느 하나를 선택하여 실행한다. 그러나, 이러한 구성에서는, 처리를 블록 단위로 행하는 것이 필요하게 되어, 블록 왜곡을 일으키는 문제나 피사체가 움직인 경우 등에는 올바른 처리를 할 수 없는 문제 등이 있다.
또한, 특허 문헌 2(일본 특개 2000-308068호 공보)에는, 이하의 처리 구성을 개시하고 있다. 즉, 우선 조리개를 개방하고 노출 시간을 짧게 한 후에 플래시를 발광시켜 촬영하고, 그 다음, 본래 의도한 노광 조건에서 플래시를 발광하지 않고 촬영을 행한다. 여기에서, 전자를 제1 화상, 후자를 제2 화상이라고 한다. 또한, 제1 화상에서 소정의 레벨 이상의 화소를 주요 피사체 영역, 그 이외를 배경 영역으로서 등록한다. 그 후, 제1 화상을 플래시에 맞추어 화이트 밸런스 조정, 제2 화상을 외광에 맞추어 화이트 밸런스 조정하고, 제1 화상의 주요 피사체 영역과 제2 화상의 배경 영역을 조합하여 최종적인 기록 화상으로 하는 구성이다.
그러나, 본 구성에서는 외광과 플래시광의 양쪽 모두가 닿은 피사체의 화이트 밸런스 조정은 바르게 행할 수 없다.
또한, 특허 문헌 3(일본 특개 2000-307940호 공보)은 전술한 특허 문헌 2의 구성 외에, 상 흔들림 검출 수단을 부가한 구성을 개시하고 있다. 흔들림이 있다고 판단된 경우에는, 전술한 제1 화상을 그대로 기록 화상으로 하고, 제1 화상과 제2 화상의 조합 처리를 실행하지 않는 구성으로 하고 있다. 따라서 흔들림이 검출된 경우에는, 플래시광과 외광의 색온도의 차이에 기인하는 부자연스러움이 해소되지 않게 된다.
또한, 특허 문헌 4(일본 특개평 8-340542호 공보)는 플래시를 발광시켜 촬영한 화상과, 플래시 발광 없이 촬영한 화상의 대응 화소의 휘도치를 나누어, 플래시광의 기여율을 구하고, 이 기여율에 기초하여 플래시를 발광시켜 촬영한 화상에 대해 화이트 밸런스 조정을 행하는 구성을 개시하고 있다.
그러나, 본 구성에서는 플래시광, 외광으로부터의 반사광이 혼합되어 촬상된 화상에 대해, 플래시의 기여율에 기초하여 플래시광과 외광용의 화이트 밸런스 파라미터를 단순하게 보간하여, 최종적인 화상을 생성한다. 그러나, 물리적인 광의 반사 모델을 고려한 경우, 플래시광에 의한 성분과 외광에 의한 성분은 독립적으로 처리되어야 하는 것으로, 플래시광, 외광으로부터의 반사광이 혼합되어 촬상된 화상을 처리하는 것만으로는 최적의 결과 화상을 생성할 수 없다.
특허 문헌 1: 일본 특개평 8-51632호 공보
특허 문헌 2: 일본 특개 2000-308068호 공보
특허 문헌 3: 일본 특개 2000-307940호 공보
특허 문헌 4: 일본 특개평 8-340542호 공보
<발명의 개시>
<발명이 해결하고자 하는 과제>
본 발명은 전술한 종래 기술의 문제점을 감안하여 이루어진 것으로, 외광과 플래시광이 혼재하는 환경 하에서 촬영한 화상의 최적의 화이트 밸런스 조정을 가능하게 하고, 또한 상 흔들림이 검출된 경우에도 파탄하는 일 없이 효율적이고 또한 고속으로 최적의 화이트 밸런스 조정 등의 화소치 보정을 행할 수 있는 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
<발명을 해결하기 위한 수단>
본 발명의 제1 측면은,
화상 처리 방법으로서,
상이한 화소치를 갖는 제1 화상 데이터와 제2 화상 데이터의 대응 화소치에 기초하여 화상 차분 또는 화상 비율을 산출하는 스텝과,
화상 데이터의 특정 영역에 있어서 상기 화상 차분 또는 화상 비율에 기초하 는 추정치를 산출하는 추정치 산출 스텝과,
상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 차분 또는 화상 비율의 추정치와, 상기 제2 화상 데이터에 기초하여 상기 특정 영역의 보정 화상을 생성하는 보정 화상 생성 스텝
을 갖는 것을 특징으로 하는 화상 처리 방법에 있다.
또한 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 화상 차분 d(x, y)는, 상기 제1 화상 데이터의 각 화소(x, y)의 화소치 벡터를 A(x, y), 상기 제2 화상 데이터의 대응 화소(x, y)의 화소치 벡터를 B(x, y)로 했을 때,
d(x, y)=A(x, y)-B(x, y)
로서 산출되는 벡터이고,
상기 화상 비율 d(x, y)는,
d(x, y)=A(x, y)/(B(x, y)+e)
단, e는 고정치
로서 산출되는 벡터인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 제1 화상 데이터는 플래시 발광이 없는 촬영 화상과 플래시 발광이 있는 촬영 화상에 기초하여 화소치 조정이 실시된 화이트 밸런스 조정 화상 R이고, 상기 제2 화상 데이터는 플래시 발광 화상 I2이고, 상기 특정 영역은 피사체의 움직임이 검출된 움직임이 있는 영역이며,
상기 화상 차분 d(x, y)는,
상기 화이트 밸런스 조정 화상 R의 각 화소(x, y)의 화소치 벡터를 R(x, y), 상기 플래시 발광 화상 I2의 대응 화소(x, y)의 화소치 벡터를 I2(x, y)로 했을 때,
d(x, y)=R(x, y)-I2(x, y)
로서 산출되는 벡터이고,
상기 화상 비율 d(x, y)는,
d(x, y)=R(x, y)/(I2(x, y)+e)
단, e는 고정치
로서 산출되는 벡터이고,
상기 보정 화상 생성 스텝은 상기 추정치 산출 스텝에서 산출한 상기 움직임이 있는 영역에서의 화상 차분 또는 화상 비율의 추정치와, 상기 플래시 발광 화상 I2에 기초하여 상기 움직임이 있는 영역의 보정 화상을 생성하는 스텝인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 추정치 산출 스텝은 화상 데이터의 특정 영역에 있어서, 그 특정 영역의 인접 영역에서 결정된 화상 차분 또는 화상 비율에 기초하여, 특정 영역의 화상 차분 또는 화상 비율의 초기치를 설정하는 초기치 설정 스텝과, 상기 초기치 설정 스텝에서 설정한 초기치에 대해 평활 필터에 기초하는 평활 처리를 실행하는 평활 처리 실행 스텝을 포함하는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 초기치 설정 스텝은 초기치 설정 대상 화소의 근방에 있는 화상 차분 또는 화상 비율 설정 완료 화소로 설정된 화상 차분 또는 화상 비율에 기초하여, 초기치 설정 대상 화소의 초기치를 설정하는 스텝인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 초기치 설정 스텝은 초기치 설정 대상 화소 및, 화상 차분 또는 화상 비율 설정 완료 화소의 판별을 위해, 마스크 화상을 적용하는 스텝을 포함하는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 보정 화상 생성 스텝은 상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 차분 또는 화상 비율의 추정치와, 상기 제2 화상 데이터에 기초하여 상기 특정 영역의 보정 화상을 생성하는 스텝으로, 화상 차분을 적용한 처리에 있어서는, 상기 특정 영역에서의 상기 제2 화상 데이터에 대해, 상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 차분의 추정치를 가산하는 스텝으로서 실행하고, 화상 비율을 적용한 처리에 있어서는, 상기 특정 영역에서의 상기 제2 화상 데이터에 대해, 상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 비율의 추정치를 승산하는 스텝으로서 실행하는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 제1 화상 데이터는 플래시 발광이 없는 촬영 화상과 플래시 발광이 있는 촬영 화상에 기초하여 화소치 조정이 실시된 화이트 밸런스 조정 화상 R이고, 상기 제2 화상 데이터는 플래시 발광 화상 I2이고, 상기 특정 영역은 피사체의 움직임이 검출된 움직임이 있는 영역이며, 상기 보정 화상 생성 스텝은 화상 차분을 적용한 처리에 있어서는, 상기 움직임이 있는 영역에서의 상기 플래시 발광 화상 I2에 대해, 상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 차분의 추정치를 가산하는 스텝으로서 실행하고, 화상 비율을 적용한 처리에 있어서는, 상기 움직임이 있는 영역에서의 상기 플래시 발광 화상 I2에 대해, 상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 비율의 추정치를 승산하는 스텝으로서 실행하는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 추정치 산출 스텝은 화상 데이터의 특정 영역에 있어서, 그 특정 영역의 인접 영역에서 결정된 화상 차분 또는 화상 비율에 기초하여, 특정 영역의 화상 차분 또는 화상 비율의 초기치를 설정하는 초기치 설정 스텝과, 상기 초기치 설정 스텝에서 설정한 초기치에 대해, 상기 제2 화상 데이터에 기초하는 가중치 설정이 이루어진 필터를 적용한 필터링 처리에 상당하는 화소치 변환식에 따른 화소치 변환 처리를 실행하여 상기 특정 영역의 화상 차분 또는 화상 비율의 값을 보정하는 필터링 처리 스텝을 포함하는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 초기치 설정 스텝은 초기치 설정 대상 화소의 근방에 있는 화상 차분 또는 화상 비율 설정 완료 화소에 설정된 화상 차분 또는 화상 비율에 기초하여, 초기치 설정 대상 화소 의 초기치를 설정하는 스텝인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 초기치 설정 스텝은 초기치 설정 대상 화소 및 화상 차분 또는 화상 비율 설정 완료 화소의 판별을 위해, 마스크 화상을 적용하는 스텝을 포함하는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 제1 화상 데이터는 플래시 발광이 없는 촬영 화상과 플래시 발광이 있는 촬영 화상에 기초하여 화소치 조정이 실시된 화이트 밸런스 조정 화상 R이고, 상기 제2 화상 데이터는 플래시 발광이 있는 촬영 화상 I2이고, 상기 특정 영역은 피사체의 움직임이 검출된 움직임이 있는 영역이며, 상기 필터링 처리 스텝은 상기 플래시 발광이 있는 촬영 화상 I2의 화상 데이터를 구성하는 화소의 화소치에 따라서 가중치를 설정한 함수를 포함하는 변환식을 적용한 화소치 변환 처리를 실행하는 스텝인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 필터링 처리 스텝은 하기 변환식,
Figure 112006015509471-PCT00001
단, d(x, y, ch), I2(x, y, ch)는 화소 위치(x, y)의 각 채널[ch]의 화상 차분 또는 화상 비율 d에 대응하는 값, 그리고, 플래시광이 있는 촬영 화상 I2의 화소 치, d′(x, y, ch)는 화소 위치(x, y)에서의 채널[ch]의 차분 화상 d의 갱신치, i, j는 화소 위치(x, y)의 값 d의 갱신치 d′를 산출하기 위해 적용하는 참조 화소 위치이며, k를 임의의 자연수로 했을 때, x-k≤i≤x+k, y-k≤j≤y+k, w(x)는 상기 플래시 발광이 있는 촬영 화상 I2의 화상 데이터를 구성하는 화소의 화소치에 따른 가중치를 설정하는 가중치 부여 함수인, 상기 변환식을 적용한 화소치 변환 처리를 실행하는 스텝인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 변환식에서의 가중치 부여 함수 w(x)는 하기 식,
Figure 112006015509471-PCT00002
에 의해 표시되는 함수인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 변환식에서의 화소 위치(x, y)의 값 d의 갱신치 d′를 산출하기 위해 적용하는 참조 화소 위치 i, j는 k를 임의의 자연수로 했을 때, x-k≤i≤x+k, y-k≤j≤y+k이며, k는 1, 2, 3 중 어느 하나의 값인 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서,
플래시 발광이 없는 촬영 화상에 기초하는 플래시가 없는 저해상도 화상 데이터 I1L을 메모리에 저장하는 스텝과,
플래시 발광이 있는 촬영 화상에 기초하는 플래시가 있는 고해상도 화상 데이터 I2H, 및 플래시가 있는 해상도 화상 데이터 I2L을 메모리에 저장하는 스텝과,
플래시 발광이 없는 촬영 화상에 기초하는 플래시가 없는 저해상도 화상 데이터 I3L을 메모리에 저장하는 스텝과,
상기 플래시가 없는 저해상도 화상 데이터 I1L과 플래시가 없는 저해상도 화상 데이터 I3L에 기초하여 움직임이 있는 영역을 검출하는 스텝을 더 포함하고,
상기 플래시가 없는 저해상도 화상 데이터 I1L을 상기 제1 화상 데이터, 상기 플래시가 있는 저해상도 화상 데이터 I2L을 상기 제2 화상 데이터로서 상기 추정치를 산출하여 화이트 밸런스 조정 처리 및 움직임 부분 화소치 보정 처리를 포함하는 화소치 조정 화상 R을 생성하며,
상기 보정 화상 생성 스텝에 있어서는, 상기 화소치 조정 화상 R과 플래시가 있는 고해상도 화상 데이터 I2H와 플래시가 있는 해상도 화상 데이터 I2L의 대응 화소치에 기초하여, 고해상도 최종 보정 화상 RH를 생성하는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 방법의 일 실시 형태에 있어서, 상기 보정 화상 생성 스텝은 플래시가 있는 해상도 화상 데이터 I2L에 대한 상기 화소치 조정 화상 R의 대응 화소의 화소치 변환 정보를 취득하는 스텝과, 상기 화소치 변환 정보에 기초하여, 플래시가 있는 고해상도 화상 데이터 I2H의 화소치 변환을 실행하는 스텝 을 갖는 것을 특징으로 한다.
또한, 본 발명의 제2 측면은,
화상 처리 장치로서,
상이한 화소치를 갖는 제1 화상 데이터와 제2 화상 데이터의 대응 화소치에 기초하여 화상 차분 또는 화상 비율을 산출하는 수단과,
화상 데이터의 특정 영역에 있어서, 상기 화상 차분 또는 화상 비율에 기초하는 추정치를 산출하는 추정치 산출 수단과,
상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 차분 또는 화상 비율의 추정치와 상기 제2 화상 데이터에 기초하여 상기 특정 영역의 보정 화상을 생성하는 보정 화상 생성 수단
을 갖는 것을 특징으로 하는 화상 처리 장치에 있다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 추정치 산출 수단은 화상 데이터의 특정 영역에 있어서, 그 특정 영역의 인접 영역에서 결정된 화상 차분 또는 화상 비율에 기초하여, 특정 영역의 화상 차분 또는 화상 비율의 초기치를 설정하는 초기치 설정부와, 상기 초기치 설정부에서 설정한 초기치에 대해 평활 필터에 기초하는 평활 처리를 실행하는 평활 처리부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 추정치 산출 수단은 화상 데이터의 특정 영역에 있어서, 그 특정 영역의 인접 영역에서 결정된 화상 차분 또는 화상 비율에 기초하여, 특정 영역의 화상 차분 또는 화상 비율 의 초기치를 설정하는 초기치 설정부와, 상기 초기치 설정부에서 설정한 초기치에 대해, 상기 제2 화상 데이터에 기초하는 가중치 설정이 이루어진 필터를 적용한 필터링 처리에 상당하는 화소치 변환식에 따른 화소치 변환 처리를 실행하여 상기 특정 영역의 화상 차분 또는 화상 비율의 값을 보정하는 필터 처리부를 포함하는 것을 특징으로 한다.
또한 본 발명의 제3 측면은,
화상 처리를 실행하는 컴퓨터 프로그램으로서,
상이한 화소치를 갖는 제1 화상 데이터와 제2 화상 데이터의 대응 화소치에 기초하여 화상 차분 또는 화상 비율을 산출하는 스텝과,
화상 데이터의 특정 영역에 있어서, 상기 화상 차분 또는 화상 비율에 기초하는 추정치를 산출하는 추정치 산출 스텝과,
상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 차분 또는 화상 비율의 추정치와, 상기 제2 화상 데이터에 기초하여 상기 특정 영역의 보정 화상을 생성하는 보정 화상 생성 스텝
을 갖는 것을 특징으로 하는 컴퓨터 프로그램에 있다.
또한, 본 발명의 컴퓨터 프로그램의 일 실시 형태에 있어서, 플래시 발광이 없는 촬영 화상에 기초하는 플래시가 없는 저해상도 화상 데이터 I1L을 메모리에 저장하는 스텝과, 플래시 발광이 있는 촬영 화상에 기초하는 플래시가 있는 고해상도 화상 데이터 I2H, 및, 플래시가 있는 해상도 화상 데이터 I2L을 메모리에 저장하는 스텝과, 플래시 발광이 없는 촬영 화상에 기초하는 플래시가 없는 저해상도 화상 데이터 I3L을 메모리에 저장하는 스텝과, 상기 플래시가 없는 저해상도 화상 데이터 I1L과 플래시가 없는 저해상도 화상 데이터 I3L에 기초하여 움직임이 있는 영역을 검출하는 스텝을 더 포함하고, 상기 플래시가 없는 저해상도 화상 데이터 I1L을 상기 제1 화상 데이터, 상기 플래시가 있는 저해상도 화상 데이터 I2L을 상기 제2 화상 데이터로서 상기 추정치를 산출하여 화이트 밸런스 조정 처리 및 움직임 부분 화소치 보정 처리를 포함하는 화소치 조정 화상 R을 생성하며, 상기 보정 화상 생성 스텝에 있어서는, 상기 화소치 조정 화상 R과 플래시가 있는 고해상도 화상 데이터 I2H와 플래시가 있는 해상도 화상 데이터 I2L의 대응 화소치에 기초하여, 고해상도 최종 보정 화상 RH를 생성하는 것을 특징으로 한다.
또한, 본 발명의 컴퓨터 프로그램은, 예를 들면, 여러 가지 프로그램·코드를 실행 가능한 범용 컴퓨터·시스템에 대해, 컴퓨터 판독 가능한 형식으로 제공하는 기억 매체, 통신 매체, 예를 들면, CD나 FD, MO 등의 기억 매체, 혹은, 네트워크 등의 통신 매체에 의해 제공 가능한 컴퓨터 프로그램이다. 이러한 프로그램을 컴퓨터 판독 가능한 형식으로 제공함으로써, 컴퓨터·시스템상에서 프로그램에 따른 처리가 실현된다.
본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 기초하는, 보다 상세한 설명에 의해 분명해질 것이다. 또한, 본 명 세서에 있어서 시스템이란, 복수 장치의 논리적 집합 구성으로서, 각 구성의 장치가 동일 케이싱내에 있는 것에는 한정되지 않는다.
<발명의 효과>
본 발명의 구성에 따르면, 예를 들면 움직임이 있는 영역 등의 특정 영역의 화소치 보정 처리를, 움직임이 없는 영역의 화소치, 예를 들어 화이트 밸런스 조정이 이루어진 화상 데이터와, 움직임이 있는 영역 등의 특정 영역의 플래시 발광이 있는 화상 데이터에 기초하여, 효율적으로 실행 가능하고, 화이트 밸런스 조정이 이루어진 화상 데이터와 매끄럽게 접속된 화상을 생성하는 것이 가능해질 뿐만 아니라, 움직임이 있는 영역에서의 플래시 발광이 있는 화상 데이터의 텍스쳐 정보를 반영한 화상을 생성할 수 있다.
본 발명의 구성에 따르면, 움직임이 있는 영역에서의 화소치 보정 처리에 있어서, 화이트 밸런스 조정이 이루어진 화상 데이터와 플래시 발광이 있는 화상 데이터의 차분 혹은 비율의 초기치를 움직임이 있는 영역으로 설정한 후, 평활화 필터에 의해 평활화하고, 움직임이 있는 영역에서의 화상 차분 또는 화상 비율의 추정치를 산출하여, 그 추정치에 의해 움직임이 있는 영역의 화소치 보정을 실행하는 구성으로 하였으므로, 계산량이 적은 고속 처리가 실현된다.
또한 본 발명의 구성에 따르면, 움직임이 있는 부분 화소 영역에서의 보정을 플래시광이 있는 촬영 화상 I2의 화소치를 고려하여 결정된 계수를 이용한 화소치 변환식에 따른 필터링 처리를 행하는 구성으로 하였으므로, 플래시광이 있는 촬영 화상 I2의 텍스쳐를 반영한 화소치 보정이 행해지게 되어, 움직임이 있는 영역에 있어서도 엣지부의 희미해짐, 색 번짐 등이 해소되어, 플래시광이 있는 촬영 화상 I2의 텍스쳐를 반영한 화상을 생성하는 것이 가능해진다.
또한 본 발명에 따르면, 저해상도 화상을 적용한 화이트 밸런스 조정이나 움직임이 있는 부분의 화소치 보정을 실행한 후, 보정 화상 데이터와 저해상도 화상 데이터의 대응 관계에 기초하여, 고해상도 보정 화상을 생성하는 것이 가능해져, 적은 메모리량으로 고속 처리가 가능해지고, 최종적으로 고해상도의 보정 화상을 취득하는 것이 가능해진다.
<발명을 실시하기 위한 최량의 형태>
이하, 도면을 참조하면서, 본 발명의 화상 처리 방법 및 화상 처리 장치의 복수의 실시예에 대해 설명한다.
(실시예 1)
우선, 외광과 플래시광이 혼재하는 환경하 촬영에서의 최적 화이트 밸런스 조정 처리를 실행하는 화상 처리 방법 및 화상 처리 장치의 실시예 1에 대해 설명한다.
도 1은 본 실시예에 관한 촬상 장치의 구성을 도시하는 블록도이다. 도 1에 도시하는 바와 같이, 본 실시예에 관한 촬상 장치는 렌즈(101), 조리개(102), 고체 촬상 소자(103), 상관 2중 샘플링 회로(104), A/D 컨버터(105), DSP 블록(106), 타이밍 제너레이터(107), D/A 컨버터(108), 비디오 인코더(109), 비디오 모니터 (110), 코덱(CODEC)(111), 메모리(112), CPU(113), 입력 디바이스(114), 플래시 제어 장치(115), 플래시 발광 장치(116)로 구성된다.
여기에서, 입력 디바이스(114)는 카메라 본체에 있는 녹화 버튼 등의 조작 버튼류를 가리킨다. 또한, DSP 블록(106)은 신호 처리용 프로세서와 화상용 RAM을 갖는 블록으로, 신호 처리용 프로세서가 화상용 RAM에 저장된 화상 데이터에 대해 미리 프로그램된 화상 처리를 행할 수 있도록 되어 있다. 이하 DSP 블록을 단순히 DSP라고 부른다.
본 실시예의 전체적인 동작을 이하에 설명한다.
광학계를 통과하여 고체 촬상 소자(103)에 도달한 입사광은, 우선 촬상면상의 각 수광 소자에 도달하여, 수광 소자에서의 광전 변환에 의해 전기 신호로 변환되고, 상관 2중 샘플링 회로(104)에 의해 노이즈 제거되어, A/D 컨버터(105)에 의해 디지털 신호로 변환된 후, 디지털 신호 처리부(DSP)(106) 내의 화상 메모리에 일시 저장된다. 또, 필요가 있으면, 촬영 시에, 플래시 제어 장치(115)를 통해, 플래시 발광 장치(116)를 발광시킬 수 있다.
촬상 중인 상태에 있어서는, 일정한 프레임 레이트에 의한 화상 취득을 유지하도록 타이밍 제너레이터(107)가 신호 처리계를 제어한다. 디지털 신호 처리부(DSP)(106)에도 일정한 레이트로 화소의 스트림이 전송되고, 그 곳에서 적절한 화상 처리가 행해진 후, 화상 데이터는 D/A 컨버터(108) 혹은 코덱(CODEC)(111) 혹은 그 양쪽 모두로 보내진다. D/A 컨버터(108)는 디지털 신호 처리부(DSP)(106)로부터 보내지는 화상 데이터를 아날로그 신호로 변환하고, 그것을 비디오 인코터(109) 가 비디오 신호로 변환하여, 그 비디오 신호를 비디오 모니터(110)에서 모니터할 수 있도록 되어 있고, 이 비디오 모니터(110)는 본 실시예에 있어서 카메라의 파인더 역할을 담당하고 있다. 또한, 코덱(CODEC)(111)은 디지털 신호 처리부(DSP)(106)로부터 보내지는 화상 데이터에 대한 부호화를 행해, 부호화된 화상 데이터는 메모리(112)에 기록된다. 여기에서, 메모리(112)는 반도체, 자기 기록 매체, 광자기 기록 매체, 광기록 매체 등을 이용한 기록 장치 등이어도 된다.
이상이 본 실시예의 디지털 비디오 카메라의 시스템 전체의 설명이지만, 본 실시예 중에서 본 발명이 실현되고 있는 것은 디지털 신호 처리부(DSP)(106)에서의 화상 처리이다. 이하 그 화상 처리의 부분을 상세하게 설명한다.
전술한 바와 같이, 본 실시예의 화상 처리부는 실제로는, 디지털 신호 처리부(DSP)(106)에서 실현되고 있다. 따라서 본 실시예의 구성에 있어서는, 화상 처리부의 동작은 디지털 신호 처리부(DSP)(106) 내부에 있어서, 입력된 화상 신호의 스트림에 대해 연산 유닛이 소정의 프로그램 코드에 기술된 연산을 순차적으로 실행하도록 하여 실현되고 있다. 이 후의 설명에서는, 그 프로그램 중의 각 처리가 실행되는 순서를 플로우차트로 설명한다. 그러나, 본 발명은 본 실시예에서 설명하는 프로그램과 같은 형태 이외에도, 이 후 설명하는 기능과 동등한 처리를 실현하는 하드웨어 회로를 실장하여 구성하여도 된다.
도 2는 디지털 신호 처리부(DSP)(106) 내부에 있어서, 입력된 화상 신호의 스트림에 대해 실행하는 화이트 밸런스(WB) 조정 처리의 순서를 설명하는 플로우차트이다.
스텝 S101에서는, 사전에 설정된 조리개, 셔터 스피드를 이용해, 플래시 발광 없이 촬영하고, 스텝 S102에서 이 플래시 발광이 없는 촬영 화상을 화상 데이터 I1로서 메모리에 저장한다. 스텝 S103에서는, 스텝 S101과 마찬가지로 사전에 설정된 조리개, 셔터 스피드를 이용하여, 플래시 발광을 행하여 촬영하고, 스텝 S104에서 이 플래시 발광이 있는 촬영 화상을 화상 데이터 I2로서 메모리에 저장한다.
다음에 스텝 S105에서는, 스텝 S101과 마찬가지로 사전에 설정된 조리개, 셔터 스피드를 이용하여 플래시 발광 없이 다시 촬영하고, 스텝 S106에서 이 플래시 발광이 없는 촬영 화상을 화상 데이터 I3으로서 메모리에 저장한다.
또한, 스텝 S101, S103, S105의 촬영은 연속한 촬영, 예를 들면 약 1/100초 간격의 연속 촬영으로서 실행된다. 각각의 촬영 스텝으로부터 얻어진 복수의 화상을 이용해 화이트 밸런스(WB) 조정 처리를 행하여, 1개의 화이트 밸런스(WB)가 조정된 화상 데이터를 생성한다.
또한, 스텝 S102, S104, S106에서 메모리에 저장되는 화상 데이터 I1, I2, I3은 손떨림 보정이 행해진 화상으로 한다. 즉, 3매의 화상 I1, I2, I3의 촬영 시에 손떨림이 일어나 있는 경우에는, 그것들을 미리 보정하고 나서 메모리에 저장한다. 즉, 촬영 화상이 손떨림의 발생 화상인 경우에는, 스텝 S101과 S102의 사이, 스텝 S103과 S104의 사이, 및, 스텝 S105와 S106의 사이에서, 손떨림의 보정을 실행해 보정 후의 화상을 메모리에 저장한다. 따라서 메모리에 저장되는 화상 데이터 I1, I2, I3은 삼각에 카메라를 고정한 상태로 연속 촬영한 것 같은 화상이 된다.
또한 손떨림 보정 처리는, 종래부터 알려진 처리가 적용 가능하다. 예를 들면, 가속도 센서를 이용해 차이를 검출하여 렌즈를 이동시키는 방법, 또는 목적의 해상도보다 큰 해상도의 화상을 촬상 소자를 이용해 촬영하여 차이가 생기지 않도록 적절한 부분을 읽어내는 방법, 또 센서를 이용하지 않고 화상 처리만으로 손떨림을 보정하는 방법 등, 종래부터 널리 이용되고 있는 방법이 적용된다.
다음으로 스텝 S107에서, 스텝 S101, S103, S105의 3매의 화상의 촬영 사이에, 피사체 자체의 움직임에 기인하는 상 흔들림이 있었는지의 여부를 검출한다. 이 피사체 자체의 움직임에 기인하는 상 흔들림이 있었는지 여부의 검출 처리는, 3매의 화상으로부터 2개의 화상을 비교하여 행해진다. 예를 들어, 화상 I1과 화상 I3을 이용하여 움직임 부분을 검출할 수 있다. 일례로서 화상 I1과 화상 I3의 각 화소에 관해 차분을 구해, 임의의 임계치 이상인 경우에는 움직임이 있었던 부분으로서 등록한다고 하는 방법이 있다. 피사체 자체의 움직임에 기인하는 상 흔들림이 없었다고 판정한 경우(스텝 S108: No)는 스텝 S112로 진행한다. 움직임이 검출된 경우(스텝 S108: 예)는 스텝 S109로 진행한다.
스텝 S109에 있어서, 스텝 S107에서 검출된 움직임 부분에 관해, 적절한 화이트 밸런스(WB) 조정을 행하기 위한 보정 처리가 가능한지 여부의 판정을 행한다. 이 판정 처리는 예를 들면, 스텝 S107에서 움직임 부분으로서 등록된 화소수의 화상 전체의 화소수에 대한 비율에 기초하여 행하는 방법이 적용된다. 예를 들면, 움직임 부분으로서 등록된 화소수의 화상 전체의 화소수에 대한 비율[ratioA]이, 미리 정한 임의의 일정한 임계치[Threshold] 이상인 경우에는 보정 불가능이라고 판정하고, 임계치 미만인 경우에는 보정 가능이라고 판정한다.
스텝 S109에서 보정이 불가능이라고 판정된 경우, 스텝 S113으로 진행하고, 보정이 가능이라고 판정된 경우에는 스텝 S110으로 진행한다.
스텝 S113에 있어서는, 플래시 발광이 있는 촬영 화상 데이터 I2에 대해, 화이트 밸런스(WB) 조정을 행하여 출력 화상 R을 생성하고, 처리를 종료한다. 화이트 밸런스 조정에 사용하는 파라미터치로서는 외광 성분에 맞추어 설정된 파라미터, 플래시광 성분에 맞추어 설정된 파라미터, 또는, 외광과 플래시광의 중간 성분에 기초하여 설정되는 파라미터 중 어느 하나이며, 이들 파라미터를 설정한 화이트 밸런스(WB) 조정을 실행한다. 또한, 이 화이트 밸런스 조정법은 종래부터 행해지고 있는 방법이며, 그 상세 설명은 생략한다. 또, 적용하는 파라미터는 3×3 행렬에 의해 표시되는 파라미터로서, 각 화소의 색을 구성하는 색성분의 변환에 적용하는 행렬이다. 3×3 행렬은 대각 성분 이외를 0으로 설정한 행렬이 적용된다.
다음으로, 스텝 S110 및 스텝 S112에서의 복수 화상 데이터에 기초하는 화이트 밸런스(WB) 조정 처리에 대해 설명한다. 스텝 S110 및 스텝 S112에서의 처리는 동일한 처리이다. 이 처리의 상세에 대해, 도 3을 참조하여 설명한다.
스텝 S201에서, 플래시광이 있는 촬영 화상 데이터 I2의 성분과 플래시광이 없는 촬영 화상 I1의 화소의 각 색의 성분의 차를 구해, 차분 화상 F=I2-I1을 생성 하고 메모리에 저장한다. 플래시광이 없는 촬영을 행한 스텝 S101과 플래시광이 있는 촬영을 행한 스텝 S103의 사이에, 피사체가 움직이지 않았다고 하면, 차분 화상 F=I2-I1은 외광이 전혀 없는 상태에서 플래시광만을 조사하여 플래시광만이 피사체에 반사해, 카메라의 고체 촬상 소자에 입사하여 촬상되는 화상과 등가인 것으로 된다. 다음으로 스텝 S202에서, 화상 F에 대해 플래시광의 색온도에 맞춘 화이트 밸런스(WB) 조정을 실행한다. 즉, 차분 화상 데이터 F를 플래시광에 맞추어 설정한 파라미터에 기초하여 화이트 밸런스(WB) 조정을 실행한다. 또한 플래시광이 너무 밝거나 또는 너무 어두운 경우에, 화상의 밝기가 최적으로 되도록 레벨 조정하여 보정 화상 F′를 생성한다.
다음으로 스텝 S203에서, 플래시광이 없는 촬영 화상 데이터 I1에 대해, 외광에 맞춘 화이트 밸런스(WB) 조정을 실행한다. 즉, 플래시광이 없는 촬영 화상 데이터 I1을 외광에 맞추어 설정한 파라미터에 기초하여 화이트 밸런스(WB) 조정을 실행해, 보정 화상 I1′를 생성한다.
이것은 종래부터 널리 알려져 있는 화이트 밸런스(WB) 조정에 의해 실행된다. 예를 들면, 일본 특개 2001-78202에 기술되어 있는 기술을 적용 가능하다. 일본 특개 2001-78202에서는, 플래시를 발광시켜 촬영한 화상 I2와 플래시 없이 촬영한 화상 I1의 차분 화상 F과 기지의 플래시 분광 특성으로부터, 물체 색성분 데이터 및 외광의 분광 분포를 조명 성분 데이터로서 구한다. 이 조명 성분 데이터를 이용하여 화상 I1의 화이트 밸런스(WB) 조정을 실행한다.
다음으로 스텝 S204에서, 차분 화상 F′와 보정 화상 I1′를 가산함으로써 화이트 밸런스(WB) 조정 화상 R을 생성한다. 이상의 스텝에 의해, 움직임이 없는 부분에 관해 화이트 밸런스(WB) 조정 화상 R은 플래시광에 의한 성분, 외광에 의한 성분이 독립적으로 화이트 밸런스(WB) 조정되게 된다.
도 4는 도 3의 플로우에 따라 실행하는 2개의 화상에 기초하는 화이트 밸런스(WB) 조정 화상 R의 생성 원리를 설명하는 도면이다. 즉, 플래시광이 없는 촬영 화상 데이터 I1과 플래시광이 있는 촬영 화상 데이터 I2에 기초하는 화이트 밸런스(WB) 조정 화상 R의 생성 원리를 설명하는 도면이다.
도 4의 (a)는 플래시광이 있는 촬영 화상 데이터 I2가 있는 좌표 위치(x, y)에서의 화소를 RGB 공간상에서 벡터 V3로서 나타낸 도면이다. 벡터 V3은 (R, G, B)의 값으로서 (ir, ig, ib)를 갖는다. 이 벡터 V3은 외광 성분과 플래시광 성분 양자를 포함하는 조사광에 기초하여 취득된 화소치이다.
따라서, 이 벡터 V3은 외광 성분만의 촬영에 의해 취득된 동일한 좌표(x, y)에서의 화소치, 즉, 플래시광이 없는 촬영 화상 데이터 I1의 화소치에 기초하는 벡터 V1과, 외광이 없는 플래시광만의 가상 조건에서 촬영한 경우에 취득되는 화상의 화소치 성분으로 이루어지는 벡터 V2의 가산치에 상당한다.
따라서, 벡터 V3로부터 벡터 V1이 나타내는 화소치를 감산함으로써, 벡터 V2 의 화소치, 즉, 외광이 없는 플래시광만의 가상 조건에서 촬영한 경우에 취득되는 화상의 화소치가 취득된다. 이 결과를 나타내는 것이, 도 4의 (b)의 벡터 V2이다. 벡터 V2에 의해 나타나는 플래시광만의 조사 조건의 화소치를 플래시광 성분에 기초하여 설정된 파라미터에 따라 화이트 밸런스 조정을 실행하고, 보정 화소치를 구하여, 보정 화소치로 이루어지는 벡터 V2′가 구해진다. 이 벡터 V2′가 나타내는 화소치에 의해 구성되는 화상이, 도 3의 스텝 S202에서의 화이트 밸런스 조정의 결과로서 얻어지는 보정 화상 F′에 상당한다. 즉, 도 4의 (a), (b)의 처리는, 도 3의 플로우에서의 스텝 S201, 202에 상당한다.
도 4의 (c)는 플래시광이 없는 촬영 화상 데이터 I1의 화소치에 기초하는 백터 V1에 대응하는 화소치를 외광 성분에 기초하여 설정된 파라미터에 따라, 화이트 밸런스의 조정을 실행하고, 보정 화소치를 구해, 보정 화소치로 이루어지는 벡터 V1′를 구하는 처리로서, 이 벡터 V1′가 나타내는 화소치에 의해 구성되는 화상이 도 3의 스텝 S203에서의 화이트 밸런스 조정의 결과로서 얻어지는 보정 화상 I1′에 상당한다. 즉, 도 4의 (c)의 처리는 도 3의 플로우에서의 스텝 S203에 상당한다.
도 4의 (d)는 도 4의 (b)에 나타나는 보정 화상 F′에 상당하는 벡터 V2′가 나타내는 화소치와, 도 4의 (c)에 나타나는 보정 화상 I1′에 상당하는 벡터 V1′가 나타내는 화소치를 가산하여, 최종적인 화이트 밸런스 조정 화소치를 갖는 화이트 밸런스 조정 화상 데이터 R을 생성하는 처리를 나타내고 있다. 즉, 임의의 좌표 (x, y)에서의 화이트 밸런스 조정 화소치는 도 4의 (b)에 나타나는 보정 화상 F′ 에 상당하는 벡터 V2′가 나타내는 화소치와, 도 4의 (c)에 나타나는 보정 화상 I1′에 상당하는 벡터 V1′가 나타내는 화소치를 가산한 결과 얻어지는 화소치이다. 즉, 도 4의 (d)의 처리는 도 3의 플로우에서의 스텝 S204에 상당한다.
이와 같이, 본 실시예에서의 화이트 밸런스 조정 처리는, 외광 성분과 플래시광 성분의 양자가 포함되는 화상에 대해 외광 성분만으로 촬영된 화상과 플래시광 성분만으로 촬영된 화상의 2개의 화상으로 분리하여, 외광 성분만으로 촬영된 화상에 대해서는 외광 성분에 기초하여 설정된 파라미터에 따라 화이트 밸런스의 조정을 실행하고, 플래시광 성분만으로 촬영된 화상에 대해서는 플래시광 성분에 기초하여 설정된 파라미터에 따라 화이트 밸런스의 조정을 실행하여, 다시 이들 보정 화소치를 가산하여 최종적인 화이트 밸런스 조정 화상 R을 구하는 구성이다. 이와 같이, 2개의 광성분에 대해 독립적으로 각각의 광성분에 적합한 파라미터로 화이트 밸런스 조정을 행하게 되어, 적정한 화이트 밸런스 조정이 실행된다. 즉, 마치 외광과 플래시광이 동일색인 상황 하에서 촬영된 것 같은 조정 화상의 생성이 가능해진다.
도 2의 플로우로 돌아와 스텝의 설명을 계속한다. 스텝 S112에서 전술한 복수 화상에 기초하는 화이트 밸런스 조정 처리가 행해지면, 그 화이트 밸런스 조정 화상 R이 최종적인 출력 화상으로서 설정되고, 처리가 종료된다.
한편, 스텝 S110에서 전술한 복수 화상에 기초하는 화이트 밸런스 조정 처리가 행해지는 경우에는, 피사체 자체의 움직임에 기인하는 상 흔들림이 있다고 판정 되고, 그 상 흔들림에 대한 보정이 가능하다고 판정된 경우로서, 스텝 S110에서 생성한 화이트 밸런스 조정 화상 R 중, 피사체 자체의 움직임에 기인하는 상 흔들림의 화상 영역, 즉 움직임 부분 영역에 대해서는, 스텝 S111에서 화소치 보정 처리를 실행한다. 즉, 스텝 S107에서 검출한 움직임 부분의 화소치에 대해 예외 처리를 행하여, 화이트 밸런스 조정 화상 R을 수정한다. 수정 처리는, 예를 들면, 움직임이 검출된 부분에 대응하는 플래시 발광이 있는 촬영 화상 데이터 I2의 화소치를 입력으로 하여, 화이트 밸런스 조정 화상 R에서의 움직임이 없었던 부분의 화소치를 참조하여, 움직임이 검출된 부분의 화소치를 결정해, 최종적인 화상을 합성하는 방법이 있다.
이 합성 방법에 대해 설명한다. 화상에 나타나는 물체의 색은 광이 그 물체에 반사하여 촬상 소자에 입사해 촬상된 것이다. 예를 들어, 백색 광원 하에서, 어떤 물체가 화상상에서 적색인 경우, 그 물체는 적색에 상당하는 주파수의 가시광을 잘 반사하고, 그 이외의 색에 상당하는 주파수의 광은 흡수하는 특성을 갖고 있다. 즉, 물체에는 각 주파수의 광에 관해 고유의 반사율을 갖고 있다고 할 수 있다. 현재, 물체의 각 RGB 색성분에 관한 광의 반사율을 (or, og, ob)로 하고, 임의의 색온도의 광을 (lr, lg, lb)로 나타낸다. 광(lr, lg, lb)이 물체(or, og, ob)에 반사한 광이 카메라에 의해 촬상될 때, 촬상된 화상을 구성하는 화소의 값(ir, ig, ib)은 이하에 나타내는 수학식(식 1)로 표현할 수 있다.
Figure 112006015509471-PCT00003
…(식 1)
상기 식에 있어서, k는 광의 세기를 나타내는 스칼라값이다.
현재, 예를 들면 외광과 플래시광과 같이 2개의 조사광으로서 제1 광원(l1r, l1g, l1b)과 제2 광원(l2r, l2g, l2b)가 있고, 이들 2개의 광이 임의의 물체(or, og, ob)에 반사한 광을 카메라로 촬상하는 경우, 카메라의 촬영 화상의 화소치(ir, ig, ib)는 이하에 나타내는 수학식(식 2)로 표현할 수 있다.
Figure 112006015509471-PCT00004
…(식 2)
여기에서, k1은 제1 광원의 세기, k2는 제2 광원의 세기를 나타내는 스칼라값이다.
현재 or′=k1*or, og′=k1*og, ob′=k1*ob라고 하면 상기 수학식(식 2)는 이하에 나타내는 수학식(식 3)과 같이 변환할 수 있다.
Figure 112006015509471-PCT00005
…(식 3)
여기에서 k′=k2/k1이며, k′는 2개의 광원의 광강도 스칼라비이다. 즉, k′는 주목하는 화소에 촬상된 피사체의 부분에서의, 제1 광원과 제2 광원으로부터 조사되는 광의 강도 스칼라비이다.
여기에서 외광과 플래시광의 2종류의 광이 물체에 반사되어 촬상된 화상 I2 상에서의 임의의 화소치(ir, ig, ib)에 관해 생각한다. 상기 수학식(식 3)에서의 제1 광원을 외광, 제2 광원을 플래시광으로 한다. 외광의 색(l1r, l1g, l1b)은 종래부터 행해지고 있는 오토 화이트 밸런스 조정에서 이용되는 방법에 의해 계측할 수 있다. 또한 플래시광의 색(l2r, l2g, l2b)은 플래시 장치 고유의 것이므로, 기지로 미리 설정할 수 있다. 또한 k′가 기지인 경우, 화소(ir, ig, ib)는 외광 성분(l1r*or′, l1g*og′, l1b*ob′), 플래시광 성분(k′*l2r*or′, k′*l2g*og′, k′*l2b*ob′)으로 분해할 수 있다. 외광 성분, 플래시광 성분 각각을 분리해 독립적으로 WB 처리하고, 서로 보탠 화상을 재구성하면, 외광과 플래시광의 색온도 차이에 의한 화상의 부자연스러움을 해소할 수 있다.
도 2를 참조해 설명한 플로우 중의, 스텝 S107에서 검출된 움직임 부분에 대해, 스텝 S111의 화소치 보정을 전술한 처리에 따라 실행한다. 이하, 구체적인 처리예에 대해 설명한다.
전술한 바와 같이, 스텝 S107에서는, 스텝 S101, S103, S105의 3매의 화상의 촬영 사이에, 피사체 자체의 움직임에 기인하는 상 흔들림이 있었는지의 여부를 검출한다. 이 피사체 자체의 움직임에 기인하는 상 흔들림이 있었는지 여부의 검출 처리는, 3매의 화상으로부터 2개의 화상을 비교해 행해진다.
예를 들어, 도 5에 나타내는 바와 같이, (a) 플래시광이 없는 화상 I1과, (b) 플래시광이 있는 화상 I2와, (c) 플래시광이 없는 화상 I3을 연속 촬영하고 있 는 사이에 볼(200)이 구르고 있는 경우, (a)의 화상 I1과 (c)의 화상 I3의 차분 화상 d I3-I1을 취득하여, 피사체 자체의 움직임에 기인하는 상 흔들림의 발생 영역(210)을 검출한다.
도 6 및 도 7을 참조하여, 움직임 부분의 화소치 보정 처리의 구체적 처리 순서에 대해 설명한다. 도 6은 움직임 부분의 화소치 보정 처리의 구체적 처리 순서를 나타내는 플로우차트이며, 도 7은 보정 대상이 되는 움직임 부분을 포함하는 화소 영역을 나타내고 있다. 즉, 도 5에서의 영역(210)의 부분이다.
도 7에 나타내는 바와 같이, 움직이고 있다고 판정된 화상 영역 중, 움직이지 않았다고 판정된 화상 영역의 인접 화소(주위 8화소에 포함되는 위치의 화소)를, 움직임이 있는 부분의 내주 화소(250)로 정의한다. 또한, 움직이고 있다고 판정된 화상 영역 중, 내주 화소(250) 이외의 화소를 움직임이 있는 비내주 화소(252)라고 한다.
또한, 움직이지 않았다고 판정된 화상 영역에서, 움직이고 있다고 판정된 화상 영역의 인접 위치의 화소(주위 8화소에 포함되는 위치의 화소)를, 움직임이 있는 부분의 외주 화소(251)라고 정의한다. 또한, 움직이지 않았다고 판정된 부분에서, 움직임이 있는 부분의 외주 화소(251) 이외의 화소를 움직임이 없는 비외주 화소(253)라고 한다.
움직임이 있는 부분의 화소에 관해, 제1 광원(외광)의 세기(스칼라값) k1과, 제2 광원(플래시광)의 세기(스칼라값) k2의 비율, 즉, 광강도 스칼라비 k′=k2/k1의 값은 미지이다. 여기에서 목표로 하는, 올바르게 화이트 밸런스(WB) 조정이 행해지고 또한 움직임 부분의 보정이 이루어진 화상은, 움직임이 있는 부분과 움직임이 없는 부분의 화소치가 매끄럽게 변화하는 화소 구성을 갖는다고 가정한다.
이 가정하에, 움직임이 있는 부분 외주 화소(251)에 관해 광강도 스칼라비 k′의 값을 구한다. 이들 움직임이 있는 부분 외주 화소(251)에 관해서는, 전술의 수학식(식 3)에서의 외광 성분(l1r*or′, l1g*og′, l1b*ob′)은 플래시가 없는 촬영 화상 데이터 I1에서의 대응하는 화소의 값과 동일하기 때문에, 광강도 스칼라비 k′=k2/k1의 값은, 플래시가 있는 촬영 화상 데이터 I2의 화소치(ir, ig, ib) 및 수학식(식 3)에 기초하여 구할 수 있다. 이 움직임이 있는 부분 외주 화소(251)에 대한, 제1 광원(외광)의 세기(스칼라값) k1과, 제2 광원(플래시광)의 세기(스칼라값) k2의 비율: k′=k2/k1의 산출 처리가 도 6의 스텝 S301의 처리이다.
이 스텝 S301의 처리에 의해, 움직임이 있는 부분 외주 화소(251)에 관해서는, 광강도 스칼라비 k′가 구해진다. 그러나, 움직임이 있는 부분에 포함되는 화소에 대응하는 광강도 스칼라비 k′의 값은 불명이다. 이들 움직임이 있는 부분에 포함되는 화소에 대응하는 광강도 스칼라비 k′의 값을, 움직임이 있는 부분 외주 화소(251)에 대응하여 산출한 k′의 값으로부터 보간한다. 보간 방법의 일례로서 들 수 있는 것이, 방사 기저 함수(RBF: Radial Basis Function)를 적용한 처리이다.
방사 기저 함수(RBF)를 이용한 데이터의 보간에 관한 참고 문헌으로서, 예를 들어, J. C. Carr, et al, “Reconstruction and Representation of 3D Objects with Radial Basis Function,” ACM SIGGRAPH 2001, Los Angeles, CA, pp67-76, 12-17 August 2001을 들 수 있다.
Radial Basis Function(방사 기저 함수)이란, 중심점으로부터 거리가 멀어짐에 따라, 값이 단조롭게 감소(또는 증가)하여, 그 등고선이 초구(超球)(2차원의 경우, 원 또는 타원)가 되는 함수를 말한다. 높이를 알고 있는 샘플 지점을 통과하면서, 또한, 가능한 한 매끄럽게 되도록 하는 함수를 구성함으로써 미지의 지점의 높이의 값도 어림잡는다는 문제를 해결하기 위해서는, 기존의 샘플 지점을 중심으로 하는 RBF를 서로 겹치게 하면 된다는 것을 알고 있다.
구체적으로는, 샘플점이 2차원 공간 상에 있는 경우에는, 샘플점을,
Figure 112006015509471-PCT00006
로 한다(ci x, ci y는 샘플점 i에서의 x좌표치, y좌표치를 나타낸다). 각각의 지점에서의 높이를 {hi}(1≤i≤n)로 했을 때, 구하고자 하는 함수
Figure 112006015509471-PCT00007
는, RBF를 이용하여 이하의 수학식(식 4)와 같이 표시된다.
Figure 112006015509471-PCT00008
…(식 4)
여기에서,
Figure 112006015509471-PCT00009
이다.
또한, 기저 함수
Figure 112006015509471-PCT00010
의 예로서는,
Figure 112006015509471-PCT00011
등이 있다.
그러나 상기 수학식(식 4)만으로는 {di}(1≤i≤n), {pi}(0≤i≤2)를 특정할 수 없다. 따라서, 이하의 수학식(식 5)를 만족하는 {di}(1≤i≤n), {pi}(0≤i≤2)를 구한다.
Figure 112006015509471-PCT00012
…(식 5)
따라서, 하기 식,
Figure 112006015509471-PCT00013
및 수학식(식 5)로부터 (미지수의 수 n+3, 식의 수 n+3){di}(1≤i≤n), {pi}(0≤i≤2)를 구할 수 있다.
움직임이 있는 부분 외주 화소(251)에서의 광강도 스칼라비 k′를 샘플로 하여,
Figure 112006015509471-PCT00014
를 구축하면, 임의의 위치에서의 광강도 스칼라비 k′를 구할 수 있다.
이 처리가 도 6에서의 스텝 S302의 샘플점의 광강도 스칼라비 k′(움직임이 있는 부분 외주 화소(251)에서의 k′)에 기초하는 RBF 구축 처리이다.
이 RBF 구축 처리에 의해, 움직이고 있다고 판정된 부분의 플래시가 있는 촬영 화상 데이터 I2 상에서의 각 화소에 대응하는 제1 광원(외광)의 세기(스칼라값) k1과, 제2 광원(플래시광)의 세기(스칼라값) k2의 비율, 즉, 움직임이 있는 부분에 포함되는 화소 각각에 대응하는 광강도 스칼라비 k′:k′=k2/k1를 추정한다. 추정된 각 화소 대응의 광강도 스칼라비 k′를 이용하여, 화상 I2의 움직임이 있는 영역 부분을 외광 성분과 플래시 성분으로 분해하고, 각각의 광의 색온도에 맞추어 개개 로 화이트 밸런스(WB) 조정 처리를 실행한다.
즉, 움직임이 있는 부분의 각 화소 위치에 있어서, 광강도 스칼라비 k′가 구해지므로, 이 k′와 플래시가 있는 촬영 화상 데이터 I2의 각 화소 위치에서의 화소치(ir, ig, ib), 및 기지인 제1 광원(외광)의 광성분(l1r, l1g, l1b)과 제2 광원(플래시광)의 광성분(l2r, l2g, l2b)을 전술의 수학식(식 3)에 대입하여, 제1 광원(외광)에만 기초를 두는 피사체의 반사율, (or′, og′, ob′)가 구해진다.
또한, 외광 성분만이 조사된 경우의 피사체의 화소치: (l1r*or′, l1g*og′, l1b*ob′)와 플래시광 성분만이 조사된 경우의 피사체의 화소치: (k′*l2r*or′, k′*l2g*og′, k′*l2b*ob′)를 구해, 각각에 대해, 먼저 도 3, 도 4를 참조하여 설명한 각각의 광성분에 따른 독립한 파라미터의 설정에 의한 2개의 화이트 밸런스 조정을 실행하고, 그들 조정 데이터를 재합성하는 처리에 의해, 최종적인 화이트 밸런스 조정 화소치를 산출한다.
움직임이 있는 부분의 화소치의 보정의 순서를 정리하면 이하의 a∼f 처리가 된다.
a. 우선, 움직임이 있는 부분에 인접하는 움직임이 없는 부분의 화소에 대응하는 데이터로서, 그 화소에 촬상된 피사체의 부분에서의 상기 제1 광원만으로부터 조사되는 광과, 상기 제1 광원 없이 외광만으로부터 조사되는 광의 2종류의 광원의 광강도 스칼라비를 산출한다.
b. 방사 기저 함수(RBF: Radial Basis Function)를 적용하여, 움직임이 있는 부분의 각 화소 대응의 광강도 스칼라비를 산출한다.
c. 움직임이 있는 부분의 각 화소 대응의 광강도 스칼라비에 기초하여, 제1 광원만의 조사 환경 하에서의 촬영 화상에 상당하는 화상에서의 움직임이 있는 부분의 각 화소의 화소치를 제1 화소치로서 산출한다.
d. 움직임이 있는 부분의 각 화소 대응의 광강도 스칼라비에 기초하여, 제1 광원을 포함하지 않는 외광 조사 환경에서의 촬영 화상에 상당하는 화상에서의 움직임이 있는 부분의 각 화소의 화소치를 제2 화소치로서 산출한다.
e. 제1 화소치에 기초하여 화소치 조정 처리(화이트 밸런스 조정)를 실행하고, 제2 화소치에 기초하여 화소치 조정 처리(화이트 밸런스 조정)를 실행한다.
f. 생성한 2개의 조정 화소치를 가산한다.
이와 같이 움직임 부분에 포함되는 화소에 대한 화이트 밸런스(WB) 조정 화소치를 도 2의 스텝 S110에서 생성한 화상 데이터 R에 덧씌우기하여, 제1 보정 화상 데이터 R′를 구한다. 즉, 촬영 화상에 피사체의 움직임에 기인하는 움직임 영역에 대한 화소치만이 스텝 S111에서 재설정되고, 스텝 S110에서 생성한 화이트 밸런스 조정 화상 R에 덧씌우기를 행해, 제1 보정 화상 데이터 R′를 구한다.
또한, 먼저, 도 3의 처리 플로우에서 설명한 바와 같이, 플래시광의 레벨 보정(S202)을 행한 경우에는, 움직임 부분의 화소치 산출 시에도 동등의 레벨 보정을 행한 후에, 외광 성분과 플래시광 성분에 기초하는 화이트 밸런스 조정 화소치를 서로 더한다.
이와 같이 하여 움직임 부분의 화소치가 재설정되어, 화상 R의 움직임 부분 영역에 상당하는 화소를 재기입한다. 이 처리가, 도 6에서의 스텝 S303의 처리이다.
그러나, 전술한 움직임이 있는 영역에서 재설정한 화소치를, 스텝 S110에서 생성 완료된 화이트 밸런스 조정 화상 R에 덧씌우기하여 구한 제1 보정 화상 R′에 있어서, 원래 화상 R의 움직임이 없는 부분의 화소와 움직임이 있는 부분의 재설정 화소의 경계가 매끄럽게 연결되지 않는 경우가 있다. 원인으로서는, 외광의 색을 바르게 측정할 수 없었던 경우나, 플래시가 있는 촬영 화상 I2에서 하얗게 생기는 경우 등을 생각할 수 있다. 따라서, 그러한 경우에 대응하기 위해, 경계 부분을 매끄럽게 설정하는 새로운 색변환 처리를 실행한다.
구체적으로는, 도 6의 스텝 S304∼306의 처리를 행한다. 스텝 S304에서, 우선, 제1 보정 화상 R′의 움직임이 있는 부분 내주 화소(250) 중 어떤 화소a(254)(도 7 참조)에 대한 화소치와, 화소a(254)의 인접 화소(주위 8화소에 포함되는 위치의 화소) 중 움직임이 있는 부분 외주 화소(도 7에서의 화소(255))의 제1 보정 화상 R′에서의 값의 평균치에 대한 각 색성분의 비(αr, αg, αb)를 구한다. 이 비를 화소a(254)에 대응하는 색성분비 데이터로서 보존한다.
마찬가지로, 움직임 부분 내주 화소(250)의 모든 위치의 각 화소에 대응하는 각 색성분의 비(αr, αg, αb)를 화소 대응 색성분비 데이터로서 산출하여, 각 화소에 대응하는 색성분비 데이터로서 보존한다.
다음으로, 스텝 S305에서, 움직임이 있는 부분 내주 화소(250)의 전부를 샘플점으로 이용하여 색성분비 데이터에 기초하는 RBF를 구축한다. 마지막으로, 스텝 S306에서, 움직임이 있는 부분의 각 화소에 관해, 구축한 색성분비 데이터에 기초하는 RBF에 기초하여, 움직임이 있는 부분의 각 화소에 대응하는 색성분비 데이터 αr, αg, αb를 구하고, 제1 보정 화상 R′에서 설정되어 있는 각 화소의 화소치에 대응 화소의 색성분비 데이터 αr, αg, αb를 승산함으로써, 새로운 화소치를 산출하여, 이 화소치를 움직임이 있는 부분의 화소로 한 제2 색변환을 실행한다. 이 제2 색변환 처리를 실행하여 얻어진 제2 보정 화상 R″를 출력 화상으로 한다. 이 처리가 도 6의 스텝 S306의 처리이다.
또한, 도 6에서의 스텝 S303까지의 처리를 행해 얻어지는 제1 보정 화상 R′에서, 움직임이 있는 부분 화상과 움직임이 없는 부분 화상의 경계가 매끄럽게 연결되어 있는 경우에는, 스텝 S304에서 스텝 S306의 처리는 생략해도 무방하다.
이상의 설명에서는, 샘플점에서 주어진 값을 다른 점에서 보간하는 방법에 관하여, RBF를 이용하는 방법을 기술하였지만, 이에 한정하지 않고 별개의 방법으로 보간하여도 된다. 이상의 처리가, 도 2의 스텝 S111의 구체적인 처리예이다. 이와 같이, 연속 촬영 화상으로부터 피사체 자신의 움직임에 기초하는 상 흔들림이 검출된 경우에는, 도 6에 나타내는 플로우에 따른 처리가 실행되어, 전술한 처리에 의해 생성되는 제2 보정 화상 R″ 또는 제1 보정 화상 R′이 최종 출력 화상이 된다.
또한, 미리 피사체 자신의 움직임이 없는 것을 알고 있는 경우에는, 도 2의 스텝 S107 내지 S111의 처리는 불필요해진다. 또한, 스텝 S108의 판정도 항상 "아니오"이므로, 스텝 S108의 판정 처리를 행할 필요는 없고, 따라서 스텝 S108의 판정을 위해 사용하는 데이터를 작성해 저장하는 스텝 S105, 106도 필요가 없다.
이와 같이, 미리 피사체 자신의 움직임이 없는 것을 알고 있는 경우에는, 스텝 S105에서 촬영하는 플래시가 없는 촬영 화상 I3은 필요없는 화상이며, 이 경우에는, 플래시가 없는 촬영 화상 I1과 플래시가 있는 촬영 화상 I2의 2매의 화상만을 촬영하면 된다.
또한, 여기에서는, 피사체가 어두운 경우에 발광하는 조명 장치로서 플래시라는 용어를 이용해 설명했지만, 이 밖에, 스트로보라고 불리는 경우에도 있어, 플래시로 한정되는 것은 아니고, 일반적으로 피사체가 어두운 경우에 발광하는 조명 장치에 있어서 본 발명은 적용된다.
이상, 설명한 바와 같이, 본 실시예에 있어서는 플래시와 외광 등, 복수의 상이한 광조사 하에 촬영되는 화상에 대해, 단일의 조사광 환경 하에서의 촬영 화상을 취득 또는 생성하고, 각각 단일의 조사광 환경 하의 화상에 대해, 각각의 조사광의 색성분(색온도)에 기초하여 설정되는 파라미터에 따른 화이트 밸런스 조정을 실행하여, 그것들을 합성함으로써, 플래시와 외광의 색온도의 차를 경감시킨 적격인 화이트 밸런스 조정 처리를 실현할 수 있다.
도 8은 본 실시예에 따른 처리를 실행하는 디지털 신호 처리부(DSP)(도 1의 DSP(106)에 상당)의 기능 구성을 도시하는 블록도이다.
도 2에 나타내는 플로우차트와 대비하면서, 도 8에 도시하는 디지털 신호 처리부(DSP)에서의 처리에 대해 설명한다.
도 2의 스텝 S101∼106에서, 촬영된 플래시가 없는 화상 I1, 플래시가 있는 화상 I2, 및 플래시가 없는 화상 I3은, 각각 프레임 메모리(301, 302, 303)에 저장된다. 또, 화상 저장용의 프레임 메모리로서는 디지털 신호 처리부(DSP) 내에 구성한 메모리를 적용하여도 되고 버스 접속된 메모리(도 1의 메모리(112))를 적용하여도 된다.
스텝 S107의 움직임 검출 처리는 움직임 검출부(309)에서 실행된다. 이것은 앞서 도 5를 참조하여 설명한 바와 같이 플래시가 없는 화상 I1과, 플래시가 없는 화상 I3에 기초하는 차분 데이터에 의한 검출 처리로서 실행한다.
스텝 S112의 복수 화상 데이터에 기초하는 화이트 밸런스 조정 처리는, 앞서 도 3, 도 4를 참조하여 설명한 처리이다.
우선, 플래시가 없는 화상 I1과 플래시가 있는 화상 I2에 기초하여, 차분 화상 산출부(304)에서 차분 화상 데이터 F=I2-I1을 구한다(도 3, S201). 다음으로, 차분 화상 데이터 F=I2-I1, 즉 플래시광만의 조사 조건에서 촬영한 화상에 상당하는 화상 F에 대해, 화이트 밸런스 조정부(307)에서 플래시광의 성분에 기초하여 설정되는 파라미터에 따른 화이트 밸런스 조정 처리를 실행한다(도 3, S202). 또한, 외광 성분 추정부(306)에서 추정한 외광 성분의 추정치에 기초하여 설정되는 파라미터에 따른 화이트 밸런스 조정 처리를 플래시가 없는 화상 I1에 대해 화이트 밸런스 조정부(305)에서 실행한다(도 3, S203).
또한 이들 2개의 화이트 밸런스 조정 처리에 의해 취득한 2개의 화상의 화소치를 화소치 가산부(308)에서 가산한다(도 3, S204).
촬영 화상에 움직임 부분이 포함되지 않는 경우에는, 움직임 부분 보정 화소치 산출부(310)에서 처리를 실행하는 일 없이, 화소치 가산부(308)에서 가산한 화소치를 갖는 화상 데이터가 화이트 밸런스 조정 화상으로서 출력 전환부(312)를 통해 출력된다. 출력처는 디지털 아날로그 변환을 실행하는 D/A 변환기(108)(도 1 참조)나, 부호화 처리를 실행하는 코덱(111) 등이다.
한편, 움직임 검출부(309)에서 플래시가 없는 화상 I1과 플래시가 없는 화상 I3에 기초하는 차분 데이터에 의한 움직임 검출의 결과, 피사체 자신의 움직임 영역이 검출된 경우에는, 움직임 부분 보정 화소치 산출부(310)에서, 앞서 도 6, 도 7을 참조해 설명한 움직임이 있는 부분의 화소치 보정(변환)이 더 이루어져, 움직임이 있는 부분이, 보정 화소치에 의해 치환된 화소치 데이터를 갖는 화상이 출력 전환부(312)를 통해 출력된다.
화이트 밸런스 조정부(311)는, 도 2의 처리 플로우에서의 스텝 S113의 처리를 실행한다. 즉, 움직임 검출부(309)에서 움직임 영역이 검출되었지만, 움직임 영역의 화상 전체에 차지하는 비율이 높은 등 보정 불가능이라고 판단된 경우에, 플래시가 있는 화상 I2를 입력하여, 미리 정한 파라미터에 따른 화이트 밸런스 조정을 실행하고, 이것을 출력 전환부(312)를 통해 출력한다.
또, 도 8에 도시하는 구성은 기능을 설명하기 위해 각 처리부를 구별하여 도시하고 있지만, 실제의 처리로서는, 전술한 각 처리 플로우에 따른 처리를 실행하는 프로그램에 따라, DSP 내의 프로세서에 의해 실행 가능하다.
전술한 화이트 밸런스 조정 처리에서는, 도 3, 도 4를 참조하여 설명한 바와 같이, 외광 성분, 플래시광 성분 각각에 대한 단일 조사광 화상 데이터를 구해, 이들 화상 데이터에 대해, 외광 성분, 플래시광 성분에 기초하여 설정되는 파라미터에 따른 화이트 밸런스 조정 처리를 실행하는 구성예를 설명하였다.
다음으로, 플래시광만의 조사광 조건에 상당하는 차분 화상 데이터 F=I2-I1에 대해, 외광 성분에 기초하여 설정되는 파라미터에 따른 화이트 밸런스 조정 처리를 실행하는 구성예에 대해 설명한다.
도 9에 앞의 실시예에서의 도 3의 플로우에 상당하는 본 실시예의 복수 화상 데이터에 기초하는 화이트 밸런스 조정 처리 플로우를 나타낸다.
스텝 401에서, 플래시광이 있는 촬영 화상 데이터 I2의 성분과 플래시광이 없는 촬영 화상 I1의 화소의 각 색의 성분의 차를 구하고, 차분 화상 F=I2-I1을 생성하여 메모리에 저장한다. 차분 화상 F=I2-I1은 외광이 전혀 없는 상태에서 플래시광만을 조사해 플래시광만이 피사체에 반사하여, 카메라의 고체 촬상 소자에 입 사해 촬상되는 화상과 등가인 것이 된다. 다음으로 스텝 402에서, 화상 F에 대해, 외광의 색온도에 맞춘 화이트 밸런스(WB) 조정을 실행해, 보정 화상 F′를 생성한다. 즉, 차분 화상 데이터 F를 외광의 색온도에 맞추어 설정한 파라미터에 기초하여 화이트 밸런스(WB) 조정을 실행하여, 보정 화상 F′를 생성한다.
이 때, 차분 화상 F과 플래시광이 없는 촬영 화상 I1의 각 화소를 직접 비교함으로써, 플래시광이 외광의 색에 맞도록 화이트 밸런스 조정 처리를 행한다. 이 WB 처리의 구체적인 예로서는, 차분 화상 F의 화소(rf, gf, bf)와 동일한 위치의 플래시광이 없는 촬영 화상 I1의 화소(ri, gi, bi)를 이용하여, 차분 화상 F의 화소의 R, B의 성분을 플래시광이 없는 촬영 화상 I1의 화소의 G신호의 레벨에 맞추어, 이하의 (식 6) (식 7)을 이용한 화소치 변환을 실행한다.
Figure 112006015509471-PCT00015
… (식 6)
Figure 112006015509471-PCT00016
… (식 7)
다음으로, rf′와 ri, bf′와 bi를 비교하여 다음의 값을 얻는다.
Figure 112006015509471-PCT00017
… (식 8)
Figure 112006015509471-PCT00018
… (식 9)
상기 (식 8) 및 (식 9)를 이용해 구한 ar과 ab를 전체 화소에 대해 평균함으로써 WB 파라미터를 구한다. 구한 파라미터를 화상 F의 각 화소의 R성분, B성분에 승산함으로써 화이트 밸런스 조정이 행해진다. 이 처리에 의해, 화상 F는 마치 외 광과 동일한 색의 플래시가 발광되어 촬영된 것 같은 화상으로 변환되어 화상 F′으로서 보존된다.
또한 스텝 403에서, 차분 화상 F′와 플래시광이 없는 촬영 화상 I1을 합성하여 제1 화이트 밸런스 조정 화상 R1을 생성한다. 제1 화이트 밸런스 조정 화상 R1은 외광과 플래시광의 색온도가 일치한 화상이 된다.
마지막으로 스텝 404에서, 제1 화이트 밸런스 조정 화상 R1에 대해 화이트 밸런스 조정을 더 행하여, 제2 화이트 밸런스 조정 화상 R2를 생성한다.
스텝 404에서의 WB의 파라미터에 관해서는, 사용자가 설정한 값을 이용해도 되고, 공지의 오토 화이트 밸런스 기술을 이용하여 최종적인 제2 화이트 밸런스 조정 화상 R2가 자연스러운 색조로 되도록 변환해도 된다.
이 실시예에 따른 처리에 의해, 외광의 성분을 보다 존중한 화이트 밸런스 조정이 가능하게 된다. 구체적으로는, 외광이 저녁노을 등에 의해 붉은 광을 띤, 즉 R성분이 많은 경우에는, 전체를 붉은 광을 띤 색조로 조정하는 등, 외광에 따른 조정이 가능하게 된다.
도 10은 본 실시예에 따른 처리를 실행하는 디지털 신호 처리부(DSP)(도 1의 DSP(106)에 상당)의 기능 구성을 도시하는 블록도이다.
도 9에 나타내는 플로우차트와 대비하면서, 도 10에 도시하는 디지털 신호 처리부(DSP)에서의 처리에 대해 설명한다.
도 2의 스텝 S101∼S106에서, 촬영된 플래시가 없는 화상 I1, 플래시가 있는 화상 I2 및 플래시가 없는 화상 I3은 각각 프레임 메모리(401, 402, 403)에 저장된다.
플래시가 없는 화상 I1과 플래시가 있는 화상 I2에 기초하여, 차분 화상 산출부(404)에서 차분 화상 데이터 F=I2-I1을 구한다(도 9, S401). 다음으로, 차분 화상 데이터 F=I2-I1, 즉 플래시광만의 조사 조건에서 촬영한 화상에 상당하는 화상 F에 대해, 화이트 밸런스 조정부(405)에서 외광 성분에 기초하여 설정되는 파라미터에 따른 화이트 밸런스 조정 처리를 실행한다(도 9, S402). 또한, 이 화이트 밸런스 조정 처리에 의해 취득된 보정 화상 F′와 플래시가 없는 화상 I1의 화소치를 화소치 가산부(406)에서 가산하여, 제1 화이트 밸런스 조정 화상 R1을 생성한다(도9, S403). 또한, 화이트 밸런스 조정부(407)에서, 제1 화이트 밸런스 조정 화상 R1에 대해 화이트 밸런스 조정을 행하여, 제2 화이트 밸런스 조정 화상 R2를 생성한다.
촬영 화상에 움직임 부분이 포함되지 않는 경우에는, 움직임 부분 보정 화소치 산출부(409)에서 처리를 실행하는 일 없이, 제2 화이트 밸런스 조정 화상 R2를 화이트 밸런스 조정 화상으로서 출력 전환부(411)를 통해 출력한다. 출력처는 디지털 아날로그 변환을 실행하는 D/A 변환기(108)(도 1 참조)나, 부호화 처리를 실 행하는 코덱(111) 등이다.
한편, 움직임 검출부(408)에서 플래시가 없는 화상 I1과 플래시가 없는 화상 I3에 기초하는 차분 데이터에 의한 움직임 검출의 결과, 피사체 자신의 움직임 영역이 검출된 경우에는, 움직임 부분 보정 화소치 산출부(409)에서, 앞서 도 6, 도 7을 참조해 설명한 움직임이 있는 부분의 화소치 보정(변환)이 더 이루어져, 움직임이 있는 부분이, 보정 화소치에 의해 치환된 화소치 데이터를 갖는 화상을 출력 전환부(411)를 통해 출력한다.
화이트 밸런스 조정부(410)는, 도 2의 처리 플로우에서의 스텝 S113의 처리를 실행한다. 즉, 움직임 검출부(408)에서 움직임 영역이 검출되었지만, 움직임 영역의 화상 전체에 차지하는 비율이 높은 등 보정 불가능이라고 판단된 경우에, 플래시가 있는 화상 I2를 입력하여, 미리 정한 파라미터에 따른 화이트 밸런스 조정을 실행하고, 이것을 출력 전환부(411)를 통해 출력한다.
또, 도 10에 도시하는 구성은, 기능을 설명하기 위해 각 처리부를 구별하여 도시하고 있지만, 실제의 처리로서는, 전술한 각 처리 플로우에 따른 처리를 실행하는 프로그램에 따라, DSP 내의 프로세서에 의해 실행 가능하다.
본 실시예에 따르면, 외광의 성분을 더욱 존중한 화이트 밸런스 조정이 가능하게 된다.
(실시예 2)
다음으로, 본 발명의 실시예 2로서 전술한 바와 마찬가지로, 외광과 플래시 광이 혼재하는 환경 하에서의 촬영의 최적의 화이트 밸런스 조정 처리를 실행하는 화상 처리 방법 및 화상 처리 장치에 있어서, 도 2의 플로우에서의 스텝 S111의 처리, 즉, 움직임 부분의 화소치 보정 처리 방법으로서 실시예 1의 방법과 상이한 방법을 채용한 구성에 대해 설명한다. 본 방법은, 예를 들면 고해상도 화상의 고속 처리를 가능하게 하는 것이다.
전술한 실시예 1에서는, 플래시광과 외광의 색온도의 차를 해소할 수 있는 구성을 설명하였다. 그 구성의 개요는, 우선, 플래시를 발광하여 촬영한 화상과 플래시를 발광하지 않고 촬영한 화상의 차분 화상으로부터 플래시광의 성분만을 추출하고, 그 다음, 이 차분 화상과 플래시를 발광하지 않고 촬영한 화상에 대해, 독립적으로 색변환을 실시하여 재합성함으로써, 외광과 플래시광의 색온도의 차를 해소하는 것이다.
이 구성에 따르면, 복수 매의 화상을 연사할 필요가 있지만, 그 사이에 피사체 등의 움직임이 있었던 경우에도 대응할 수 있다. 즉, 플래시 발광 없음, 있음, 없음의 순서로 3매의 화상을 연사하고, 2매의 플래시 발광 없음 화상의 차분으로부터 피사체의 움직임 부분을 검출하여, 움직임 부분에 포함되는 화소에 관해, 플래시광 반사 성분의 외광 반사 성분에 대한 비율을, 움직임 부분 이외의 화소에서의 데이터로부터, 방사 기저 함수를 이용하여 보간 처리를 행하는 것이다.
즉, 실시예 1에서는, 도 1에 나타내는 스텝 S111의 처리, 즉, 화이트 밸런스 조정 화상 R에서의 움직임 부분의 화소치 보정 처리를 도 6에 나타내는 처리 플로우에 따라 실행하였다.
그러나, 전술한 움직임 부분의 보상 방법은, 필요한 메모리 사이즈가 커져 계산 코스트가 비싸지는 경우가 있다. 특히 보정 대상이 되는 화상의 해상도가 높으면 높을수록, 필요한 메모리 사이즈, 계산 코스트의 증대를 초래한다는 문제가 있다.
실시예 2는, 이상과 같은 문제점을 해결하는 것으로서, 플래시를 발광해 행해지는 촬영에서, 외광과 플래시광의 색온도의 차이에 기인하는 부자연스러움을 해소할 수 있고, 또한 상 흔들림이 검출된 경우에 있어서도, 파탄하는 일 없이 최적으로 또한 효율적으로 처리를 행할 수 있어, 대상 화상의 해상도가 높은 경우에도 효율적으로 고속 처리를 행하는 것이 가능한 구성예이다.
실시예 2의 화상 처리 장치는, 먼저 실시예 1에 있어서 도 1을 참조해 설명한 구성과 마찬가지의 구성을 갖는다. 디지털 신호 처리부(DSP)(106)에서의 처리에 특징을 갖는다. 이하, 본 실시예 2에 관한 화상 처리의 상세에 대하여 설명한다.
화상 처리는 DSP(106) 내부에서, 입력된 화상 신호의 스트림에 대해 연산 유닛이 소정의 프로그램 코드로 기술된 연산을 순차적으로 실행하도록 하여 실현된다. 이 후의 설명에서는, 그 프로그램 중의 각 처리가 실행되는 순서를 플로우차트로 설명한다. 그러나, 본 발명은 본 실시예에서 설명하는 프로그램과 같은 형태 이외에도, 이 후에 설명하는 기능과 동등의 처리를 실현하는 하드웨어 회로를 실장하여 구성해도 된다.
본 실시예에서의 화이트 밸런스(WB) 보정 처리 순서의 기본 처리는, 전술한 실시예 1에서 설명한 도 2에 나타내는 플로우차트에 따라 실행된다. 즉, 플래시 발광 없음, 있음, 없음의 순서로 3매의 화상을 연속 촬영하고, 이들 화상에 기초하여 화이트 밸런스 조정을 행한다.
본 실시예에 있어서는, 도 2에 나타내는 스텝 S111의 움직임 부분의 화소치 보정 처리를 보다 효율적으로 고속화하여 실행 가능하게 한 것이다. 특히 고해상도 화상 데이터의 처리 시에, 적은 메모리 용량을 갖는 장치라도 고속으로 적절한 화소치 보정 처리가 가능해진다.
도 2에 나타내는 스텝 S110에서 전술한 복수 화상에 기초하는 화이트 밸런스 조정 처리가 행해지는 경우에는, 피사체 자체의 움직임에 기인하는 상 흔들림이 있다고 판정되고, 그 상 흔들림에 대한 보정이 가능하다고 판정된 경우이며, 스텝 S110에서 생성한 화이트 밸런스 조정 화상 R 중, 피사체 자체의 움직임에 기인하는 상 흔들림의 화상 영역, 즉 움직임 부분 영역에 대해서는, 스텝 S111에서 화소치 보정 처리를 실행한다. 즉, 스텝 S107에서 검출한 움직임 부분의 화소치에 대해 예외 처리를 행하여, 화이트 밸런스 조정 화상 R을 수정한다. 수정 처리는, 예를 들면, 움직임이 검출된 부분에 대응하는 플래시 발광이 있는 촬영 화상 데이터 I2의 화소치를 입력으로 하고, 화이트 밸런스 조정 화상 R에서의 움직임이 없었던 부분의 화소치를 참조하여, 움직임이 검출된 부분의 화소치를 결정해 최종적인 화상을 합성한다.
본 실시예에 따른 화소치 보정 처리의 상세에 대해, 이하 설명한다.
도 11에, 도 2의 스텝 S107에서 실행되는 움직임 검출 처리의 결과로서 취득되는 데이터의 일례를 나타내는 모식도를 나타낸다.
도 11에서, 도 2에 나타내는 플로우의 스텝 S107에서 움직이고 있다고 판정된 부분을 움직임이 있는 부분 화소 영역(550), 움직이지 않았다고 판정된 부분을 움직임이 없는 부분 화소 영역(551)이라고 부른다.
또, 앞서 도 3을 참조해 설명한 스텝 S204에서 얻어진 화상, 즉 화이트 밸런스 조정 화상 R의 움직임이 없는 부분 화소 영역(551)의 구성 화소는, 도 2에 나타내는 스텝 S103, S104에서, 플래시광이 있게 촬영하여, 메모리에 저장한 화상 I2에 대해 플래시광과 외광의 색의 차이가 경감되도록 바르게 색변환이 실시된 것이라고 할 수 있다. 한편, 화이트 밸런스 조정 화상 R의 움직임이 있는 부분 화소 영역(550)의 구성 화소에 대해서는, 피사체의 움직임이 화소치에 영향을 미치고 있으므로, 바르게 색변환이 이루어지지 않을 가능성이 높다고 할 수 있다.
따라서, 움직임이 있는 부분 화소 영역(550)의 화소에 관해서는, 플래시광이 있는 촬영 화상 I2에 직접 색변환을 실시하여, 최종적인 화이트 밸런스 조정 화상 R을 구하는 처리를 행한다.
실시예 1에서는, 도 1에 나타내는 스텝 S111의 처리, 즉, 화이트 밸런스 조정 화상 R에서의 움직임 부분의 화소치 보정 처리를 도 6에 나타내는 처리 플로우에 따라, 방사 기저 함수를 이용한 보간 처리로서 실행하였다.
본 실시예에서는, 실시예 1과는 상이한 순서로 화이트 밸런스 조정 화상 R에 서의 움직임 부분의 화소치 보정 처리를 실행한다. 본 실시예 2에 관한 움직임 부분의 화소치 보정 처리의 시퀀스에 대해, 도 12에 나타내는 플로우차트를 참조하여 설명한다.
도 12는, 도 2에 나타내는 스텝 S111의 처리, 즉, 화이트 밸런스 조정 화상 R에서의 움직임 부분의 화소치 보정 처리의 상세를 나타내는 플로우차트이다. 각 스텝의 처리에 대해 설명한다.
우선 스텝 S501에서, 도 2에 나타내는 스텝 S110, 즉, 도 3의 처리 플로우에 따라 생성한 화이트 밸런스 조정 화상 R과, 도 2에 나타내는 스텝 S103, S104에서, 플래시광이 있게 촬영하여 메모리에 저장한 화상 I2를 이용하여, 이하에 나타내는 수학식(식 21)에 기초하여, 화상 차분 d를 구한다.
Figure 112006015509471-PCT00019
… (식 21)
여기에서, d(x, y), R(x, y), I2(x, y)는 모두, 화소 위치(x, y)에서의 화상의 색에 대응한 벡터로서, 상기 식은 벡터 계산으로서 실행된다.
상기 수학식(식 21)에서는, 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 화상 차분 d를 구하고 있지만, 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 차분 대신에 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 비율, 즉 하기 수학식(식 22)와 같이, 화상 비율 d를 산출해 적용하여도 된다.
Figure 112006015509471-PCT00020
… (식 22)
상기 수학식(식 22)에서, e는 충분히 작은 고정의 값을 각 요소로 설정한 벡터, 예를 들면 floor value이다. (식 22)의 기호 “/”는 벡터의 각 요소를 각각 나누어, 그 결과를 벡터의 각 요소로 하는 연산이다. e는 I2(x, y)의 요소가 0이 된 경우에, d(x, y)를 계산할 수 없게 되는 것을 방지하는 목적으로 사용된다.
현재, 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 화상 차분 또는 화상 비율 d(x, y)가 화상 전체에 걸쳐 올바르게 구해지면, 플래시광이 있는 촬영 화상 I2를 기준으로 최종적인 화이트 밸런스 조정 화상 R을 산출할 수 있다. 즉, R(x, y)=d(x, y)+I2(x, y) 혹은 R(x, y)=(I2(x, y)+e)*d(x, y)로서 산출할 수 있다. 여기에서, 기호 “*”는 벡터의 각 요소를 승산하여, 결과를 벡터의 각 요소로 하는 연산이다.
그러나, 움직임이 있는 부분 화소 영역(550)에 관해서는, 움직임 화상으로서 나타나 있을 가능성이 있으므로, 상기 수학식(식 21) 또는 (식 22)에 의해 산출되는 화상 차분 또는 화상 비율 d(x, y)를 그대로 적용하면, 최적의 색을 실현할 수 없다.
따라서, 본 실시예에서는, 움직임이 있는 부분 화소 영역(550)에 관한 최종 보정 화소치, 즉 최종적인 화이트 밸런스 조정 화상 R을 움직임이 없는 부분 화소 영역(551)의 영역에서 구한 화상 차분 또는 화상 비율 d(x, y)를 이용해 매끄럽게 보간함으로써 산출한다. 또는 화상 비율 d(x, y)를 이용한 보간 필터링 처리를 사 용해 매끄럽게 보간 산출함으로써 산출한다. 보간 필터링 처리에는, 이하에 기재하는 바와 같은, 예를 들면, 화소 영역(550) 부분에서 실제로 관측되는 화소치의 천이 상황이나 영역(550) 주변의 화소치에 따라, 영역(550) 주변으로부터 서서히 화소치를 보간해 가며, 저역 투과 필터링 처리를 더 행하는 것 같은 방법에 의해, 실현할 수 있다. 또, 본 발명의 보간 필터링 처리는 이것으로 한정되는 것은 아니다.
본 방법에 따르면, 움직임이 있는 부분 화소 영역(550)에서도, 움직임이 있는 부분 화소 영역(550)의 플래시광이 있는 촬영 화상 I2의 텍스쳐를 유지하면서, 색을 최종적인 화이트 밸런스 조정 화상 R과 동일하게 한 것 같은 화상을 생성할 수 있다.
도 13은, 전술의 (식 21), 즉, 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 화상 차분 d의 산출식을 이용하여, 움직임이 있는 부분 화소 영역(550)에 관한 최종 보정 화소치를 구하는 보간 처리를 설명하는 도면이다.
도 13에서는, 설명을 알기 쉽게 하기 위해, 데이터가 1차원상에 나열되어 있는 것으로 하여, 그 처리를 설명하지만, 실제는, 2차원 평면에서 처리가 실행된다. 도 13의 (a)∼(c) 모두 횡축이 화소 위치를 나타내고, 종축이 화소치(휘도 또는 R, G, B값)를 나타내고 있다.
도 13의 (a)는 움직임이 없는 부분 화소 영역(551) 및 움직임이 있는 부분 화소 영역(550)에서의 화이트 밸런스 조정 화상 R(560)와 플래시광이 있는 촬영 화상 I2(561)의 화소치 추이를 나타내고 있다.
도 13의 (b)는 움직임이 없는 부분 화소 영역(551)에서, 움직임이 있는 부분 화소 영역(550)에 근접하는 부분의 화상 차분 d의 값(562)을 나타내고 있다. 즉, 전술의 (식 21), 즉, 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 화상 차분 d의 값(562)을 나타내고 있다.
또한 도 13의 (b)에 나타내는 움직임이 없는 부분 화소 영역(551)에 나타내는 점선은, 화상 차분 d의 값(562)을 매끄럽게 보간함으로써 얻어지는 움직임이 있는 부분 화소 영역(550)에서의 화상 차분 d의 추측치(563)를 나타내고 있다. 이 화상 차분 d의 추측치(563)의 산출 처리 방법에 대해서는 후술한다.
또한 도 13의 (c)는, 도 13의 (a)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 플래시광이 있는 촬영 화상 I2(561)의 값에 대해, 도 13의 (b)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 추정된 화상 차분 d(563)를 가산한 결과를, 움직임이 있는 부분 화소 영역(550)에서의 최종적인 화이트 밸런스 조정 화상 R(564)로 하여 점선으로 나타낸 도면이다.
이 도 13의 (c)의 움직임이 있는 부분 화소 영역(550)에 점선으로 나타내는 화이트 밸런스 조정 화상 R(564)과 움직임이 없는 부분 화소 영역(551)에서의 화이트 밸런스 조정 화상 R(560)이 최종적인 화이트 밸런스 조정 화상 R로서 출력된다. 최종 출력 화상은, 도 13의 (c)에 나타내는 움직임이 있는 부분 화소 영역(550)에 점선으로 나타내는 화이트 밸런스 조정 화상 R(564)과 움직임이 없는 부분 화소 영역(551)에서의 화이트 밸런스 조정 화상 R(560)이 매끄럽게 접속된 화상이 된다. 이 출력 화상은 움직임이 있는 부분 화소 영역(550)에서의 플래시광이 있는 촬영 화상 I2(561)의 텍스쳐를 유지한 것이 된다.
또, d(x, y)로서 전술의 수학식(식 21)에 의한 화상 차분 d가 아니라, 전술의 수학식(식 22)를 이용한 화상 비율 d를 적용한 경우에도, 전술의 방법과 마찬가지의 보정 방법이 실행 가능하다. 즉, 도 13의 (b)에 나타내는 화상 차분 d 대신에 화상 비율 d를 이용하여, 도 13의 (b)에 나타내는 움직임이 없는 부분 화소 영역(551)에 나타내는 점선과 마찬가지로, 화상 비율 d의 값을 움직임이 있는 부분 화소 영역(550)에서 매끄럽게 보간함으로써 움직임이 있는 부분 화소 영역(550)에서의 화상 비율 d의 추측치를 산출하고, 그 다음, 화상 비율 d를 움직임이 있는 부분 화소 영역(550)에서의 플래시광이 있는 촬영 화상 I2(561)의 화소에 승산함으로써, 움직임이 있는 부분 화소 영역(550)의 화이트 밸런스 조정 화상 R을 산출할 수 있다.
다음으로, 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 화상 차분 또는 화상 비율 d를 적용한 보간 방법의 상세에 대해 기술한다.
도 12에 나타내는 플로우에서의 스텝 S501의 실행 후, 스텝 S502에서, 보간의 전처리로서 움직임이 있는 부분 화소 영역(550)의 각 화소에서의 화상 차분 또 는 화상 비율 d(x, y)의 초기치를 구한다. 또한, 이하의 설명에서는, 화상 차분 d(x, y)를 구하는 방법에 대해 설명하지만, 화상 비율 d(x, y)를 구하는 경우에도 마찬가지의 방법이 적용된다.
먼저, 각 화소 2치의 마스크 화상 M을 준비하고, 움직임이 없는 부분 화소 영역(551)의 화소(x, y)에 대해서는 M(x, y)=1로 하고, 움직임이 있는 부분 화소 영역(550)에 대해서는 M(x, y)=0으로 한다.
화상의 각 화소를 조사하여, 현재 M(x, y)=0의 화소, 즉 움직임이 있는 부분 화소 영역(550)의 화소 중, M(x, y)=1인 화소, 즉, 움직임이 없는 부분 화소 영역(551)에 인접하는(8근방 또는 4근방) 화소에 주목한다.
그리고, 주목한 화소에 인접한 M(x, y)=1인 화소의 화상 차분 d(x, y)의 평균을 산출한다. 이 평균치를 주목하는 화소의 위치(x, y)에서의 화상 차분 d(x, y)의 초기치로서 설정한다.
구체적 처리에 대해, 도 14를 참조하여 설명한다. 예를 들면 도 14에 나타내는 바와 같은 움직임이 있는 부분 화소 영역(550)과 움직임이 없는 부분 화소 영역(551)을 갖는 화상의 경우, 움직임이 있는 부분 화소 영역(550) 중, 움직임이 없는 부분 화소 영역(551)에 인접하는 화소(581)의 화상 차분 d(x, y)의 초기치는 화소(581)에 인접하는 움직임이 없는 부분 화소 영역(551)의 화소(582, 583, 584)의 평균치로서 설정된다.
움직임이 있는 부분 화소 영역(550)에 포함되는 화소 중, 움직임이 없는 부분 화소 영역(551)에 인접하는 화소에 대한 초기치가 마찬가지의 방법으로 결정된 다. 다음으로, 초기치가 새롭게 설정된 화소에 관해 마스크 화상 M(x, y)의 값을 1로 변경한다. 그 다음 다시, M(x, y)=O의 화소, 즉 움직임이 있는 부분 화소 영역(550)에 포함되는 화소 중, M(x, y)=1인 화소에 인접하는(8근방 또는 4근방) 모든 화소의 초기치를 설정한 후, 새롭게 초기치가 설정된 화소에 관해 M(x, y)=1로 한다. 즉, 도 14에 나타내는 움직임이 있는 부분 화소 영역(550)의 주변부에서 중앙부를 향해, 차례로 움직임이 있는 부분 화소 영역(550)의 화상 차분 d(x, y)의 초기치를 결정해 간다. 이 처리를 모든 화소가 M(x, y)=1이 될 때까지, 반복하여 행한다.
이 처리에 의해, 움직임이 있는 부분 화소 영역(550)에 포함되는 모든 화소의 화상 차분 d(x, y)의 초기치가 결정된다. 이 처리가, 도 12에 나타내는 플로우에서의 스텝 S502의 처리이다.
전술한 처리에 의해, 움직임이 있는 부분 화소 영역(550)에서의 화상 차분 d(x, y)의 초기치가 구해진 다음, 도 12에 나타내는 플로우에서의 스텝 S503의 처리를 실행한다.
스텝 S503에서는, 화상 차분 d 내에서 움직임이 있는 부분 화소 영역(550)의 화소에 대해서만, 평활화 필터를 실시한다. 평활화 필터로서는, n×n의 정사각형의 근방에 포함되는 화소치를 평균하는 이동 평균 필터 등을 이용하면 된다. 이 평활화 처리에 의해, 움직임이 없는 부분 화소 영역(551)의 화상 차분 d의 값은 고정된 채로, 움직임이 있는 부분 화소 영역(550)의 화상 차분 d의 값만이 매끄럽게 연결되도록 하는 효과를 얻을 수 있다.
또, 이 스텝 S503에서 실행하는 평활화 처리에 있어서, 평활화 필터에 의해, 각 화소에서 화상 차분 d(x, y)의 각 색성분이 어떻게 변화했는지 체크하여, 화상 차분 d(x, y)의 각 색성분의 변화의 최대치(화소치 변화 최대치)를 메모리에 보존한다.
다음으로 스텝 S504에서, 스텝 S502의 평활화 처리에서 보존한 화상 차분 d(x, y)의 각 색성분의 변화의 최대치(화소치 변화 최대치)가, 미리 정한 임계치보다 큰지의 여부를 판정하여, 작은 경우에는 스텝 S506으로 진행하고, 평활화 처리를 완료한다.
스텝 S502의 평활화 처리에 있어서 보존한 화상 차분 d(x, y)의 각 색성분의 변화의 최대치(화소치 변화 최대치)가, 미리 정한 임계치보다 큰 경우에는, 아직, 움직임이 있는 부분 화소 영역(550)의 화상 차분 d가 매끄럽게 보간되어 있지 않다고 판단하여, 스텝 S505로 진행한다.
스텝 S505에서는, 지금까지, 평활화 필터를 화상 차분 d의 움직임이 있는 부분 화소 영역(550)의 화소에 실시한 횟수가, 미리 정한 임계치보다 큰지의 여부를 판정하여, 큰 경우에는 스텝 S506으로 진행한다. 작은 경우에는 스텝 S503으로 돌아와, 다시 평활화 필터를 실시하고, 움직임이 있는 부분 화소 영역(550)의 평활화 처리를 다시 실행한다.
또, 평활화 필터를 화상 차분 d의 움직임이 있는 부분 화소 영역(550)의 화소에 실시한 횟수가, 미리 정한 임계치보다 큰 경우에는, 반복 실행해도 화상 차분 d의 변화를 얻을 수 없기 때문에, 소정의 평활 처리의 최대 실행 횟수를 미리 임계 치로서 정하여, 이 임계치에 이르렀던 경우에는 그 시점에서 평활화 처리는 종료시키고, 다음 스텝으로 진행한다.
스텝 S506에서는, 전술한 평활화 처리에서 구한 움직임이 있는 부분 화소 영역(550)에서의 화상 차분 d를, 추정된 화상 차분 d(563)로서 결정한다. 즉 도 13의 (b)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 추정된 화상 차분 d(563)로서 결정한다.
다음으로, 스텝 S507에서는, 전술의 처리에 의해 산출된 화상 차분 d와 플래시가 있는 촬영 화상 I2를 이용하여, 움직임이 있는 부분 화소 영역(550)의 최종적인 화이트 밸런스 조정 화상 R을 생성한다.
즉, 도 13에 나타내는 (c)의 움직임이 있는 부분 화소 영역(550)의 최종적인 화이트 밸런스 조정 화상 R을 생성한다. 도 13의 (a)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 플래시광이 있는 촬영 화상 I2(561)의 값에 대해, 도 13의 (b)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 추정된 화상 차분 d(563)를 가산한 결과를, 움직임이 있는 부분 화소 영역(550)에서의 최종적인 화이트 밸런스 조정 화상 R(564)로서 설정한다.
전술한 처리예는, 전술한 수학식(식 21)에 따라 구한 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 화상 차분 d를 이용한 예이지만, 전술한 수학식(식 22)에 따라 구한 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 화상 비율 d를 이용한 경우에는, 스텝 S507에서 는, 움직임이 있는 화소 영역(550)에서의 화상 비율 d와 플래시광이 있는 촬영 화상 I2의 각 화소의 요소끼리를 승산하여, 최종적인 화이트 밸런스 조정 화상 R을 생성한다.
전술한 처리에 의해, 최종적인 출력 화상 R을 생성할 수 있다.
도 15를 참조하여, 본 실시예에서의 움직임 부분 보정 화소치 산출부의 구성에 대해 설명한다.
본 실시예에서의 움직임 부분 보정 화소치 산출부는, 앞서 실시예 1에서 설명한 도 8에서의 움직임 부분 보정 화소치 산출부(310), 혹은, 도 10에서의 움직임 부분 보정 화소치 산출부(409)에 대응하여 설정된다.
도 15의 구성에 대해 설명한다. 움직임 부분 보정 화소치 산출부(710)는 화상 차분(화상 비율) 산출부(711), 움직임이 있는 화소 영역 화상 차분(화상 비율) d 초기치 산출부(712), 평활화 처리부(713) 및 움직임 부분 최종 보정 화소치 산출부(714)를 갖는다.
화상 차분(화상 비율) 산출부(711)는 움직임이 없는 부분 화소 영역 화이트 밸런스 조정 화상 R(701)와 플래시광이 있는 촬영 화상 I2의 각 화상 데이터를 입력하여, 전술의 수학식(식 21) 또는 수학식(식 22)에 따라, 움직임이 없는 부분 화소 영역에서의 화상 차분 d 또는 화상 비율 d를 산출한다. 이것은, 도 13의 (a)에 나타내는 d에 상당한다.
움직임이 있는 화소 영역 화상 차분(화상 비율) d 초기치 산출부(712)는, 움 직임이 있는 화소 영역에서의 화상 차분(화상 비율) d의 초기치를 설정한다. 이 처리는, 앞서 도 14를 참조해 설명한 바와 같이, 우선, 움직임이 있는 화소 영역에서의 움직임이 없는 화소 영역에 인접하는 부분에서, 움직임이 없는 화소 영역의 인접 화소의 화상 차분(화상 비율) d의 평균치를 초기치로서 설정하고, 차례로 움직임이 있는 화소 영역의 내측을 향해 화상 차분(화상 비율) d의 초기치를 결정하는 처리를 실행한다.
평활화 처리부(713)는 움직임이 있는 화소 영역 화상 차분(화상 비율) d 초기치 산출부(712)에서 설정된 움직임이 있는 화소 영역 화상 차분(화상 비율) d의 초기치에 기초하여, 예를 들면 평활 필터 등을 적용한 평활화 처리를 실행하여, 움직임이 있는 화소 영역에서의 화상 차분(화상 비율)의 추정치 d를 결정한다. 즉, 도 13의 (b)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 추정된 화상 차분 d(563)로서 결정한다.
움직임 부분 최종 보정 화소치 산출부(714)는 평활화 처리부(713)에서의 평활화된 화상 차분(화상 비율)의 추정치 d와 플래시광이 있는 촬영 화상 I2를 입력하여, 움직임이 있는 부분 화소 영역(550)의 최종적인 화이트 밸런스 조정 화상 R을 생성한다. 즉, 도 13의 (c)의 움직임이 있는 부분 화소 영역(550)의 최종적인 화이트 밸런스 조정 화상 R을 생성한다.
도 13의 (a)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 플래시광이 있는 촬영 화상 I2(561)의 값에 대해, 도 13의 (b)에 나타내는 움직임이 있는 부 분 화소 영역(550)에서의 추정된 화상 차분 d(563)를 가산한 결과를, 움직임이 있는 부분 화소 영역(550)에서의 최종적인 화이트 밸런스 조정 화상 R(564)로서 설정해 출력한다.
수학식(식 22)에 따라 구한 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 화상 비율 d를 이용한 경우에는, 스텝 S507에서는, 움직임이 있는 화소 영역(550)에서의 화상 비율 d와 플래시광이 있는 촬영 화상 I2의 각 화소의 요소끼리를 승산하여, 최종적인 화이트 밸런스 조정 화상 R을 생성해 출력한다.
전술한 바와 같이, 본 실시예의 화소치 보정 처리에 따르면, 평활화 필터를 적용한 간단한 처리에 의해, 움직임이 있는 부분 화소 영역의 적절한 색변환을 행할 수 있다.
또, 본 실시예에서는, 화이트 밸런스 조정 처리로서 실행하는 예에 대해 설명하였지만, 여기에서 설명한 방법은, 화이트 밸런스 조정 처리뿐만 아니라 일반적인 데이터 처리의 문제를 해결하는데 이용할 수 있다.
즉, 도 13에 나타내는 바와 같이, 임의의 데이터가 있는 영역(도 13의 영역(551))에서 확정(도 13 중의 데이터(560))하고 있고, 그 이외의 영역(도 13의 550)에서 데이터를 확정시키고자 하는 경우에 대해, 본 발명의 처리가 유효하다.
도 13에 나타내는 영역(550)에서 나타나는 영역과 거기에 인접하는 데이터 영역(551)에서, 참조 데이터(561)가 주어지고 있다고 한다. 이 때, 참조 데이터 (561)의 특징(화상으로 말하면 텍스쳐)과 동일한 특징을 갖는 보간 데이터(도 13의 보간 데이터(564))를 작성할 수 있다.
이 데이터 처리는 전술한 실시예에서의 화상 테이타의 화이트 밸런스 조정 처리뿐만 아니라, 일반적인 데이터 처리에 있어서도 적용 가능하다. 즉, 본 발명은 화이트 밸런스 조정의 문제에 한정되는 것은 아니다.
(실시예 3)
다음으로, 본 발명의 실시예 3으로서 전술한 바와 마찬가지로, 외광과 플래시광이 혼재하는 환경하 촬영에서의 최적 화이트 밸런스 조정 처리를 실행하는 화상 처리 방법 및 화상 처리 장치에 있어서, 도 2의 플로우에서의 스텝 S111의 처리, 즉, 움직임 부분의 화소치 보정 처리 방법으로서 실시예 1 및 실시예 2의 방법과 상이한 방법을 채용한 구성에 대해 설명한다.
실시예 1에서는, 2매의 플래시 발광이 없는 화상의 차분으로부터, 피사체의 움직임 부분을 검출하고, 움직임 부분에 포함되는 화소에 관해, 플래시광 반사 성분의 외광 반사 성분에 대한 비율을, 움직임 부분 이외의 화소에서의 데이터로부터 방사 기저 함수를 이용해, 보간 처리를 행하는 구성에 대해 설명했다. 또한 실시예 2에서는, 평활화 필터를 이용해 간이화한 처리에 의해, 움직임 부분의 화소치 보정을 행하는 구성을 설명했다.
본 실시예 3은, 플래시광이 있는 촬영 화상 I2의 화상 데이터에 따라서 동적으로 가중치를 결정한 필터를 설정하고, 설정한 필터를 이용해 움직임이 있는 화소 의 화소치 보정을 행하는 구성예이다.
실시예 3의 화상 처리 장치는, 앞서 도 1을 참조해 설명한 구성과 마찬가지의 구성을 갖고, 실시예 3에서의 플래시광이 있는 촬영 화상 I2의 화상 데이터에 따른 필터의 설정 처리 및 필터를 적용한 화소치 보정 처리는, 디지털 신호 처리부(DSP)(106)에서 실행된다. 이하, 본 실시예 3에 관한 화상 처리의 상세에 대하여 설명한다.
화상 처리는 DSP(106) 내부에서, 입력된 화상 신호의 스트림에 대해 연산 유닛이 소정의 프로그램 코드로 기술된 연산을 순차적으로 실행하도록 하여 실현된다. 이 후의 설명에서는, 그 프로그램 중의 각 처리가 실행되는 순서를 플로우차트로 설명한다. 그러나, 본 발명은 본 실시예에서 설명하는 프로그램과 같은 형태 이외에도, 이 후에 설명하는 기능과 동등의 처리를 실현하는 하드웨어 회로를 실장해 구성하여도 된다.
본 실시예에서의 화이트 밸런스(WB) 보정 처리의 순서의 기본적인 시퀀스는, 전술한 실시예 1, 실시예 2와 마찬가지로, 도 2에 나타내는 플로우차트에 따른 처리이다. 즉, 플래시 발광 없음, 있음, 없음의 순서로 3매의 화상을 연속 촬영하고, 이들 화상에 기초하여 화이트 밸런스 조정을 행한다.
본 실시예에서는, 도 2에 나타내는 스텝 S111의 움직임 부분의 화소치 보정 처리를 효율적으로 또한 고정밀도로 실행 가능하게 한 것이다. 도 2에 나타내는 스텝 S110에서 전술한 복수 화상에 기초하는 화이트 밸런스 조정 처리가 행해지는 경우에는, 피사체 자체의 움직임에 기인하는 상 흔들림이 있다고 판정되고 그 상 흔들림에 대한 보정이 가능하다고 판정된 경우로서, 스텝 S110에서 생성한 화이트 밸런스 조정 화상 R 중, 피사체 자체의 움직임에 기인하는 상 흔들림의 화상 영역, 즉 움직임 부분 영역에 대해서는, 스텝 S111에서 화소치 보정 처리를 실행한다. 즉, 스텝 S107에서, 검출한 움직임 부분의 화소치에 대해 예외 처리를 행하여, 화이트 밸런스 조정 화상 R을 수정한다. 수정 처리는, 예를 들면, 움직임이 검출된 부분에 대응하는 플래시 발광이 있는 촬영 화상 데이터 I2의 화소치를 입력으로 하고, 화이트 밸런스 조정 화상 R에서의 움직임이 없었던 부분의 화소치를 참조하여, 움직임이 검출된 부분의 화소치를 결정하여, 최종적인 화상을 합성한다.
본 실시예에 따른 화소치 보정 처리의 상세에 대하여, 이하 설명한다.
앞서 실시예에 있어서도 설명한 바와 같이, 도 2의 스텝 S107에서 실행되는 움직임 검출 처리의 결과로서 취득되는 데이터는, 도 16에 나타내는 모식도에 상당하는 데이터로 된다.
도 16에서, 도 2에 나타내는 플로우의 스텝 S107에서 움직이고 있다고 판정된 부분이 움직임이 있는 부분 화소 영역(550), 움직이지 않았다고 판정된 부분이 움직임이 없는 부분 화소 영역(551)이다.
또한, 앞서 도 3을 참조해 설명한 스텝 S204에서 얻어진 화상, 즉 화이트 밸런스 조정 화상 R의 움직임이 없는 부분 화소 영역(551)의 구성 화소는, 도 2에 나타내는 스텝 S103, S104에서, 플래시광 있음으로 촬영하고 메모리에 저장한 화상 I2 에 대해 플래시광과 외광의 색의 차이가 경감되도록 바르게 색변환이 실시된 것이라고 할 수 있다. 한편, 화이트 밸런스 조정 화상 R의 움직임이 있는 부분 화소 영역(550)의 구성 화소에 대해서는, 피사체의 움직임이 화소치에 영향을 미치고 있으므로, 바르게 색변환이 이루어지지 않을 가능성이 높다고 할 수 있다.
따라서, 움직임이 있는 부분 화소 영역(550)의 화소에 관해서는, 플래시광이 있는 촬영 화상 I2에 직접 색변환을 실시하여, 최종적인 화이트 밸런스 조정 화상 R을 구하는 처리를 행한다.
실시예 1에서는, 도 1에 나타내는 스텝 S111의 처리, 즉, 화이트 밸런스 조정 화상 R에서의 움직임 부분의 화소치 보정 처리를 도 6에 나타내는 처리 플로우에 따라, 방사 기저 함수를 이용한 보간 처리로서 실행했다. 또한, 실시예 2에서는, 도 12에 나타내는 처리 플로우에 따라 평활 필터를 이용한 보정 처리를 실행했다.
본 실시예에서는 실시예 1, 실시예 2와는 상이한 시퀀스로 화이트 밸런스 조정 화상 R에서의 움직임 부분의 화소치 보정 처리를 실행한다. 본 실시예 3에 관한 움직임 부분의 화소치 보정 처리의 시퀀스에 대해, 도 16에 나타내는 플로우차트를 참조해 설명한다.
도 16은 도 2에 나타내는 스텝 S111의 처리, 즉, 화이트 밸런스 조정 화상 R에서의 움직임 부분의 화소치 보정 처리를 본 실시예 3에 따라 실행하는 경우의 상세 시퀀스를 나타내는 플로우차트이다. 각 스텝의 처리에 대해 설명한다.
우선 스텝 S601에서, 도 2에 나타내는 스텝 S110, 즉, 도 3의 처리 플로우에 따라 생성한 화이트 밸런스 조정 화상 R과, 도 2에 나타내는 스텝 S103, S104에서, 플래시광이 있게 촬영하여 메모리에 저장한 화상 I2를 이용하여, 이하에 나타내는 수학식(식 31)에 기초하여 화상 차분 d를 구한다.
Figure 112006015509471-PCT00021
… (식 31)
여기에서, d(x, y), R(x, y), I2(x, y)는 모두, 화소 위치(x, y)에서의 화상의 색에 대응한 벡터로서, 상기 식은 벡터 계산으로서 실행된다.
상기 수학식(식 31)에서는, 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 화상 차분 d를 구하고 있지만, 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 차분 대신에 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 비율, 즉 하기 수학식(식 32)와 같이, 화상 비율 d를 산출하여 적용해도 무방하다.
Figure 112006015509471-PCT00022
… (식 32)
상기 수학식(식 32)에서, e는 충분히 작은 고정의 값을 각 요소로 설정한 벡터, 예를 들면 floor value이다. (식 32)의 기호 “/”는 벡터의 각 요소를 각각 나누어, 그 결과를 벡터의 각 요소로 하는 연산이다. e는 I2(x, y)의 요소가 0이 된 경우에, d(x, y)를 계산할 수 없게 되는 것을 방지하는 목적으로 사용된다.
현재, 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 화상 차분 또는 화상 비율 d(x, y)가 화상 전체에 걸쳐 바르게 구해지면, 플래시광이 있는 촬영 화상 I2를 기준으로 최종적인 화이트 밸런스 조정 화상 R을 산출할 수 있다. 즉, R(x, y)=d(x, y)+I2(x, y) 혹은, R(x, y)=(I2(x, y)+e)*d(x, y)로서 산출할 수 있다. 여기에서, 기호 “*”는 벡터의 각 요소를 승산하여, 결과를 벡터의 각 요소로 하는 연산이다.
그러나, 움직임이 있는 부분 화소 영역(550)에 관해서는, 움직임 화상으로서 나타나 있을 가능성이 있으므로, 상기 수학식(식 31) 또는 (식 32)에 의해 산출되는 화상 차분 또는 화상 비율 d(x, y)를 그대로 적용하면, 최적의 색을 실현할 수 없다.
따라서, 본 실시예에서는, 움직임이 있는 부분 화소 영역(550)에 관한 최종 보정 화소치, 즉 최종적인 화이트 밸런스 조정 화상 R을 움직임이 없는 부분 화소 영역(551)의 영역에서 구한 화상 차분 또는 화상 비율 d(x, y)를 이용해 보간함으로써 산출한다. 이렇게 추정된 화상 차분 또는 화상 비율 d(x, y)를 이용하여 움직임이 있는 부분(550)의 화소치 보정을 행한다.
본 방법에 따르면, 움직임이 있는 부분 화소 영역(550)에서도, 움직임이 있는 부분 화소 영역(550)의 플래시광이 있는 촬영 화상 I2의 텍스쳐를 유지하면서, 색을 최종적인 화이트 밸런스 조정 화상 R과 동일하게 한 것 같은 화상을 생성할 수 있다.
도 18은, 전술한 (식 31), 즉, 화이트 밸런스 조정 화상 R과 플래시광이 있 는 촬영 화상 I2의 각 화소치의 화상 차분 d의 산출식을 이용하여, 움직임이 있는 부분 화소 영역(550)에 관한 최종 보정 화소치를 구하는 보간 처리를 설명하는 도면이다.
도 18에서는, 설명을 알기 쉽게 하기 위해, 데이터가 1차원상에 나열되어 있는 것으로 하여, 그 처리를 설명하지만, 실제는, 2차원 평면에서 처리가 실행된다. 도 18의 (a)∼(c) 모두 횡축이 화소 위치를 나타내고, 종축이 화소치(휘도 또는 R, G, B값)를 나타내고 있다.
도 18의 (a)는 움직임이 없는 부분 화소 영역(551) 및 움직임이 있는 부분 화소 영역(550)에서의 화이트 밸런스 조정 화상 R(860)와 플래시광이 있는 촬영 화상 I2(861)의 화소치 추이를 나타내고 있다.
도 18의 (b)는 움직임이 없는 부분 화소 영역(551)에서, 움직임이 있는 부분 화소 영역(550)에 근접하는 부분의 화상 차분 d의 값(862)을 나타내고 있다. 즉, 전술한 (식 31)을 적용하여 산출되는 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 화상 차분 d의 값(862)을 나타내고 있다.
또한 도 18의 (b)에 나타내는 움직임이 있는 화소 영역(551)에 나타내는 점선은, 움직임이 있는 부분 화소 영역(550)에 근접하는 움직임이 없는 부분 화소 영역(551)의 화상 차분 d의 값(862a) 및 화상 차분 d의 값(862b)에 기초하여 추정된 값, 즉, 움직임이 없는 부분 화소 영역(551)의 화상 차분 d의 값(862a, 862b)을 매끄럽게 보간함으로써 얻어지는 움직임이 있는 부분 화소 영역(550)에서의 화상 차 분 d의 추측치(563)를 나타내고 있다.
움직임이 있는 부분 화소 영역(550)에서의 화상 차분 d의 추측치(863)는,
(1) 초기 화상 차분 d의 설정 스텝,
(2) 플래시광이 있는 촬영 화상 I2의 화상 데이터에 따라서 동적으로 가중치를 결정한 필터를 적용한 초기 화상 차분 d의 보정 스텝,
이들 (1)과 (2)의 스텝을 실행함으로써 결정되는 추측치이다. 이 움직임이 있는 부분 화소 영역(550)에서의 화상 차분 d의 추측치(863)의 산출 처리 방법에 대해서는 후술한다.
도 18의 (c)는 도 18의 (a)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 플래시광이 있는 촬영 화상 I2(861)의 값에 대해, 도 18의 (b)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 추정된 화상 차분 d(863)를 가산한 결과를, 움직임이 있는 부분 화소 영역(550)에서의 최종적인 화이트 밸런스 조정 화상 R(864)로 하여 점선으로 나타낸 도면이다.
이 도 18의 (c)의 움직임이 있는 부분 화소 영역(550)에 점선으로 나타내는 화이트 밸런스 조정 화상 R(864)과 움직임이 없는 부분 화소 영역(551)에서의 화이트 밸런스 조정 화상 R(560)이 최종적인 화이트 밸런스 조정 화상 R로서 출력된다. 최종 출력 화상은, 도 18의 (c)에 나타내는 움직임이 있는 부분 화소 영역(550)에 점선으로 나타내는 화이트 밸런스 조정 화상 R(864)과 움직임이 없는 부분 화소 영역(551)에서의 화이트 밸런스 조정 화상 R(860)이 매끄럽게 접속된 화상이 된다. 또한, 이 출력 화상은 움직임이 있는 부분 화소 영역(550)에서의 플래시광이 있는 촬영 화상 I2(861)의 텍스쳐를 유지한 것이 된다.
또, d(x, y)로서 전술의 수학식(식 31)에 의한 화상 차분 d가 아니라, 전술의 수학식(식 32)를 이용한 화상 비율 d를 적용한 경우에도, 전술의 방법과 마찬가지의 보정 방법이 실행 가능하다. 즉, 도 18의 (b)에 나타내는 화상 차분 d 대신에 화상 비율 d를 이용하여, 도 18의 (b)에 나타내는 움직임이 없는 부분 화소 영역(551)에 나타내는 점선과 마찬가지로, 화상 비율 d의 값을 움직임이 있는 부분 화소 영역(550)에서 매끄럽게 보간함으로써 움직임이 있는 부분 화소 영역(550)에서의 화상 비율 d의 추측치를 산출하고, 그 다음, 화상 비율 d를 움직임이 있는 부분 화소 영역(550)에서의 플래시광이 있는 촬영 화상 I2(861)의 화소에 승산함으로써, 즉 가산 처리가 아니라 승산 처리를 행함으로써, 움직임이 있는 부분 화소 영역(550)의 화이트 밸런스 조정 화상 R을 산출할 수 있다.
다음으로, 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 화상 차분 또는 화상 비율 d를 적용한 보간 방법의 상세에 대해 기술한다.
전술한 바와 같이, 움직임이 있는 부분 화소 영역(550)에서의 화상 차분 d의 추측치(863)는
(1) 초기 화상 차분 d의 설정 스텝,
(2) 플래시광이 있는 촬영 화상 I2의 화상 데이터에 따라서 동적으로 가중치 를 결정한 필터를 적용한 초기 화상 차분 d의 보정 스텝,
이들 (1)과 (2)의 스텝을 실행함으로써 결정된다.
우선, (1) 움직임이 있는 부분 화소 영역(550)에서의 화상 차분 d의 초기치의 설정 처리에 대해 설명한다.
도 17에 나타내는 플로우에서의 스텝 S601의 실행 후, 스텝 S602에서, 움직임이 있는 부분 화소 영역(550)의 각 화소에서의 화상 차분 또는 화상 비율 d(x, y)의 초기치를 구한다. 또, 이하의 설명에서는, 화상 차분 d(x, y)를 구하는 방법에 대해 설명하지만, 화상 비율 d(x, y)를 구하는 경우에도 마찬가지의 방법이 적용된다.
먼저, 각 화소 2치의 마스크 화상 M을 준비하고, 움직임이 없는 부분 화소 영역(551)의 화소(x, y)에 대해서는 M(x, y)=1로 하고, 움직임이 있는 부분 화소 영역(550)에 대해서는 M(x, y)=0으로 한다.
화상의 각 화소를 조사하여, 현재 M(x, y)=0의 화소, 즉 움직임이 있는 부분 화소 영역(550)의 화소 중, M(x, y)=1인 화소에 인접하는 화소, 즉, 움직임이 없는 부분 화소 영역(551)에 인접하는(8근방 또는 4근방) 화소에 주목한다.
그리고, 주목한 화소에 인접한 M(x, y)=1인 화소의 화상 차분 d(x, y)의 평균을 산출한다. 이 평균치를 주목하는 화소의 위치(x, y)에서의 화상 차분 d(x, y)의 초기치로서 설정한다.
구체적 처리에 대해, 도 16을 참조하여 설명한다. 예를 들면 도 16에 나타내는 바와 같은 움직임이 있는 부분 화소 영역(550)과 움직임이 없는 부분 화소 영 역(551)을 갖는 화상의 경우, 움직임이 있는 부분 화소 영역(550) 중, 움직임이 없는 부분 화소 영역(551)에 인접하는 화소(821)의 화상 차분 d(x, y)의 초기치는 화소(821)에 인접하는 움직임이 없는 부분 화소 영역(551)의 화소(822, 823, 824)의 평균치로서 설정된다.
움직임이 있는 부분 화소 영역(550)에 포함되는 화소 중, 움직임이 없는 부분 화소 영역(551)에 인접하는 화소에 대한 초기치가 마찬가지의 방법으로 결정된다. 다음으로, 초기치가 새롭게 설정된 화소에 관해 마스크 화상 M(x, y)의 값을 1로 변경한다. 그 다음 다시, M(x, y)=O의 화소, 즉 움직임이 있는 부분 화소 영역(550)에 포함되는 화소 중, M(x, y)=1인 화소에 인접하는(8근방 또는 4근방) 모든 화소의 초기치를 설정한 후, 새롭게 초기치가 설정된 화소에 관해 M(x, y)=1로 한다. 즉, 도 16에 나타내는 움직임이 있는 부분 화소 영역(550)의 주변부에서 중앙부를 향해, 차례로 움직임이 있는 부분 화소 영역(550)의 화상 차분 d(x, y)의 초기치를 결정해 간다. 이 처리를 모든 화소가 M(x, y)=1이 될 때까지, 반복하여 행한다.
이 처리에 의해, 움직임이 있는 부분 화소 영역(550)에 포함되는 모든 화소의 화상 차분 d(x, y)의 초기치가 결정된다. 이 처리가, 도 17에 나타내는 플로우에서의 스텝 S602의 처리이다.
전술의 처리에 의해, 움직임이 있는 부분 화소 영역(550)에서의 화상 차분 d(x, y)의 초기치가 구해진 다음, 도 16에 나타내는 플로우에서의 스텝 S603∼S606의 처리를 실행한다. 이 처리가 전술한
(2) 플래시광이 있는 촬영 화상 I2의 화상 데이터에 따라서 동적으로 가중치를 결정한 필터를 적용한 초기 화상 차분 d의 보정 스텝
의 처리이다.
스텝 S603에서는, 화상 차분 d 내에서 움직임이 있는 부분 화소 영역(550)의 화소에 대해서만 필터에 의한 필터링 처리에 의해 초기 화상 차분 d의 보정치 d′를 산출한다.
본 실시예에서, 초기 화상 차분 d의 보정치 d′를 산출하는 필터링 처리에 적용하는 필터는, 실시예 2에서 적용한 평활 필터가 아니라, 플래시광이 있는 촬영 화상 I2의 화상 데이터에 따라서 동적으로 가중치를 결정한 필터이다.
예를 들면, 움직임이 있는 부분 화소 영역(550)에서의 화소 위치(x, y)의 화상 차분 d(x, y)의 값을 1회의 화소치 보정 처리에 상당하는 필터링 처리에 의해 갱신 화소치를 구하는 산출식으로서, 이하의 식을 적용한다.
Figure 112006015509471-PCT00023
… (식 33)
상기 수학식(식 33)에서, d(x, y, ch), I2(x, y, ch)는 화소 위치(x, y)의 각 채널[ch]의 차분 화상 d 및 플래시광이 있는 촬영 화상 I2의 화소치이다. 채널이란, 컬러 화상인 경우의 각 채널, 구체적으로는, 적, 녹, 청(RGB) 각 채널을 의미한다. 또한, d′(x, y, ch)는 화소 위치(x, y)에서의 채널[ch]의 차분 화상 d의 새로운 화소치, 즉 갱신 화소치이다.
또한, 상기 수학식(식 33)의 i, j는 화소 위치(x, y)의 화소 차분치 d의 갱신치 d′를 산출하기 위해 적용하는 참조 화소의 위치를 나타내고 있다. i, j값의 범위는 x-k≤i≤x+k, y-k≤j≤y+k이다. 여기에서, k는 자연수이며, k로서 1 내지 3 정도의 비교적 작은 값을 설정한다.
k=1로 한 경우에는, 화소 위치(x, y)의 화소 차분치 d의 갱신치 d′를 산출하기 위해 적용하는 참조 화소가 화소 위치(x, y)의 인접 화소만으로 되고, k=3으로 한 경우에는, 화소 위치(x, y)의 화소 차분치 d의 갱신치 d′를 산출하기 위해 적용하는 참조 화소가, 화소 위치 (x, y) 주위의 좌우 및 상하 각 방향의 3화소를 포함하는 영역으로서 설정되게 된다. k의 값은 미리 정한 값을 적용한다.
상기 수학식(식 33)에서, 함수 w(x)는 가중치 부여 함수이며, 예를 들면, 하기 수학식(식 34)에 의해 나타나는 함수가 적용된다.
Figure 112006015509471-PCT00024
… (식 34)
상기 수학식(식 34)에서, σ는 파라미터이며, 미리 설정된 값을 이용한다.
움직임이 있는 부분 화소 영역(550)에서의 화소 위치(x, y)의 화상 차분 d(x, y)의 값을, 상기 수학식(식 34)가 나타내는 가중치 부여 함수 w(x)를 이용하여 상기 수학식(식 33)에 의해 산출한다.
또, 도 17의 플로우에 나타내는 바와 같이, 상기 수학식(식 33)을 적용한 움 직임이 있는 부분 화소 영역(550)에서의 화소 위치(x, y)의 화상 차분 d(x, y)의 값 갱신 처리, 즉, 필터링 처리는 소정 조건(스텝 S604 또는 S605에서 규정하는 조건)을 만족할 때까지 반복 실행한다. 즉, 상기 수학식(식 33)을 적용해 산출한 갱신 화소치 d′(x, y, ch)를, 다음 필터링 처리에서, 수학식(식 33)의 d(x, y, ch)의 값으로서 설정하여, 새로운 갱신 화소치 d′(x, y, ch)를 산출하는 처리를 반복하여 실행한다.
상기 수학식(식 33)에 의한 화소치 갱신(필터링 처리)을 반복 실행해, 움직임이 있는 부분 화소 영역(550)에서의 화소 위치(x, y)의 화상 차분 d(x, y)의 값을 보정함으로써, 움직임이 없는 부분 화소 영역(551)의 화상 차분 d(x, y)의 값을 변경하는 일 없이, 움직임이 있는 부분 화소 영역(550)의 화소 위치(x, y)의 화상 차분 d(x, y)의 값이 보정되어, 움직임이 있는 부분 화소 영역(550)의 화소 위치(x, y)의 화상 차분 d(x, y)의 값이 플래시광이 있는 촬영 화상 I2(861)의 텍스쳐, 엣지에 따라 평활화되도록 하는 효과를 얻을 수 있다.
이 필터링 처리에 있어서, 움직임이 있는 부분 화소 영역(550)의 화소 위치(x, y)의 화상 차분 d(x, y)의 값의 각 색성분(각 채널)이 어떻게 변화했는지 체크하여, 그 최대치를 보존한다.
도 17의 플로우에서의 스텝 S604에서는, 상기 수학식(식 33)에 의한 화소치 갱신(필터링 처리)에 의해, 화상 차분 d(x, y)의 값의 각 색성분(각 채널)의 변화량의 최대치와 미리 정한 임계치의 비교를 실행한다. 즉, 1회당 필터링 처리(식 33에 의한 화소치 갱신 처리)에 의해 얻어진 갱신치 d′와 갱신전의 화소치 d의 차분(d′-d)이, 미리 정한 임계치보다 작은 경우에는, 필터링 처리(식 33에 의한 화소치 갱신 처리)를 반복 실행해도 화소치의 변경량이 작아 처리를 계속하는 효과가 작다고 판단하여 식 33에 의한 화소치 갱신 처리를 종료하고, 스텝 S606으로 진행한다.
즉, 스텝 S604에서,
화소치 변화량 최대치＞임계치
가 성립하지 않는다고 판정한 경우에는, 스텝 S606으로 진행하여, 움직임이 있는 부분 화소 영역(550)에 대한 화상 차분(화상 비율) d 추정치를 결정하는 처리를 실행한다.
스텝 S604에서,
화소치 변화량 최대치＞임계치
가 성립한다고 판정한 경우에는, 아직 움직임이 있는 부분 화소 영역(550)의 화소 위치(x, y)의 화상 차분 d(x, y)가 매끄럽게 보정되지 않았다고 판단하여, 스텝 S605로 진행한다.
스텝 S605에서는, 스텝 S603에서 상기 수학식(식 33)을 적용해 실행한 화소치 갱신 처리(필터링 처리)의 실행 횟수가, 미리 정한 임계치 횟수보다 큰지의 여부를 판정하여,
화소치 갱신 처리(필터링 처리) 실행 횟수＞임계치 횟수
가 성립하는 경우에는, 스텝 S606으로 진행한다.
화소치 갱신 처리(필터링 처리) 실행 횟수＞임계치 횟수
가 성립하지 않는 경우에는, 스텝 S603으로 복귀하여, 상기 수학식(식 33)에 따른, 움직임이 있는 부분 화소 영역(550)의 화소 위치(x, y)의 화상 차분 d(x, y)의 보정 처리(필터링 처리)를 반복 실행한다.
스텝 S604에서 화소치 변화량 최대치＞임계치가 성립하지 않는다고 판정되거나, 혹은, 스텝 S605에서 화소치 갱신 처리(필터링 처리) 실행 횟수＞임계치 횟수가 성립한다고 판정된 경우, 상기 수학식(식 33)에 따른, 움직임이 있는 부분 화소 영역(550)의 화소 위치(x, y)의 화상 차분 d(x, y)의 보정 처리(필터링 처리)를 완료하고, 스텝 S606으로 진행하여, 움직임이 있는 부분 화소 영역(550)에 대한 화상 차분(화상 비율) d의 추정치를 결정하는 처리를 실행한다.
스텝 S606에서는, 전술의 필터링 처리에서 구한 움직임이 있는 부분 화소 영역(550)에서의 화상 차분 d를, 추정된 화상 차분 d로서 결정한다. 이 처리 스텝에 의해 산출된 움직임이 있는 부분 화소 영역(550)의 화소 위치(x, y)의 화상 차분 d(x, y)가, 도 18의 (b)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 추정된 화상 차분 d(863)에 상당한다.
다음으로, 스텝 S607에서, 전술의 수학식(식 33)을 적용한 필터링 처리에 의해 산출된 움직임이 있는 부분 화소 영역(550)의 화소 위치(x, y)의 화상 차분 d(x, y)의 값(도 18의 (b)에 나타내는 화상 차분 d(863))과 플래시광이 있는 촬영 화상 I2(도 18의 (a)에 나타내는 플래시광이 있는 촬영 화상 I2(861))의 가산 처리 를 실행하여 움직임이 있는 부분 화소 영역(550)에서의 화이트 밸런스 조정 화상 R을 생성한다. 즉,
R=I2+d
에 의해 움직임이 있는 부분 화소 영역(550)에서의 화이트 밸런스 조정 화상 R의 화소치를 산출한다.
이 결과가, 도 18의 (c)의 움직임이 있는 부분 화소 영역(550)에 점선으로 나타내는 화이트 밸런스 조정 화상 R(864)이다. 최종적인 보정 화상, 즉 화이트 밸런스 조정 화상 R은, 움직임이 없는 부분 화소 영역(551)에서의 화이트 밸런스 조정 화상 R(860)와 움직임이 있는 부분 화소 영역(550)에 점선으로 나타내는 화이트 밸런스 조정 화상 R(864)의 연결 화상이다.
최종 화이트 밸런스 조정 화상 R은, 도 18의 (c)에 나타내는 바와 같이, 움직임이 있는 부분 화소 영역(550)에 점선으로 나타내는 화이트 밸런스 조정 화상 R(864)과 움직임이 없는 부분 화소 영역(551)에서의 화이트 밸런스 조정 화상 R(860)이 매끄럽게 접속된 화상이 된다. 또한 이 출력 화상은, 움직임이 있는 부분 화소 영역(550)에서의 플래시광이 있는 촬영 화상 I2(861)의 텍스쳐를 유지한 것이 된다.
또한, 전술한 바와 같이, 전술의 수학식(식 31)에 의한 화상 차분 d가 아니라, 전술의 수학식(식 32)를 이용한 화상 비율 d를 적용한 경우에도, 전술의 방법과 마찬가지의 보정 방법이 실행 가능하고, 이 경우에는, 스텝 S607에서, 화상 비 율 d를 적용한 필터링 처리에 의해 산출된 움직임이 있는 부분 화소 영역(550)의 화소 위치(x, y)의 화상 비율 d(x, y)의 값과 플래시광이 있는 촬영 화상 I2의 곱셈 처리를 실행하여 움직임이 있는 부분 화소 영역(550)에서의 화이트 밸런스 조정 화상 R을 생성한다. 즉,
R=I2×d
에 의해 움직임이 있는 부분 화소 영역(550)에서의 화이트 밸런스 조정 화상 R의 화소치를 산출한다.
즉, 도 18의 (b)에 나타내는 화상 차분 d 대신에 화상 비율 d를 이용하여, 도 18의 (b)에 나타내는 움직임이 없는 부분 화소 영역(551)에 나타내는 점선과 마찬가지로, 화상 비율 d의 값을, 움직임이 있는 부분 화소 영역(550)에서 매끄럽게 보간함으로써 움직임이 있는 부분 화소 영역(550)에서의 화상 비율 d의 추측치를 산출하고, 그 다음, 화상 비율 d를 움직임이 있는 부분 화소 영역(550)에서의 플래시광이 있는 촬영 화상 I2(861)의 화소에 승산하여 움직임이 있는 부분 화소 영역(550)의 화이트 밸런스 조정 화상 R을 산출할 수 있다.
다음으로, 도 19를 참조하여, 본 실시예에서의 움직임 부분 보정 화소치 산출부의 구성에 대해 설명한다.
본 실시예에서의 움직임 부분 보정 화소치 산출부는, 앞의 실시예 1에서 설명한 도 8에서의 움직임 부분 보정 화소치 산출부(310), 혹은, 도 10에서의 움직임 부분 보정 화소치 산출부(409)에 대응하여 설정된다.
도 19의 구성에 대해 설명한다. 움직임 부분 보정 화소치 산출부(910)는 화상 차분(화상 비율) 산출부(911), 움직임이 있는 화소 영역 화상 차분(화상 비율) d 초기치 산출부(912), 필터 처리부(913) 및 움직임 부분 최종 보정 화소치 산출부(914)를 갖는다.
화상 차분(화상 비율) 산출부(911)는 움직임이 없는 부분 화소 영역 화이트 밸런스 조정 화상 R(901)와 플래시광이 있는 촬영 화상 I2 저장 프레임 메모리(902)에 저장된 플래시광이 있는 촬영 화상 I2의 각 화상 데이터를 입력하여, 전술의 수학식(식 31) 또는 수학식(식 32)에 따라, 움직임이 없는 부분 화소 영역에서의 화상 차분 d 또는 화상 비율 d를 산출한다. 이것은 도 18의 (b)에 나타내는 움직임이 없는 부분 화소 영역(551)에서의 화소 차분 d(862)에 상당한다.
움직임이 있는 화소 영역 화상 차분(화상 비율) d 초기치 산출부(912)는, 움직임이 있는 화소 영역에서의 화상 차분(화상 비율) d의 초기치를 설정한다. 이 처리는, 앞서 도 16를 참조해 설명한 바와 같이, 우선, 움직임이 있는 화소 영역에서의 움직임이 없는 화소 영역에 인접하는 부분에서, 움직임이 없는 화소 영역의 인접 화소의 화상 차분(화상 비율) d의 평균치를 초기치로서 설정하고, 차례로 움직임이 있는 화소 영역의 내측을 향해 화상 차분(화상 비율) d의 초기치를 결정하는 처리를 실행한다.
필터 처리부(913)는 움직임이 있는 화소 영역 화상 차분(화상 비율) d 초기치 산출부(912)에서 설정된 움직임이 있는 화소 영역 화상 차분(화상 비율) d의 초 기치를, 전술의 수학식(식 33)에 따라 갱신하는 필터링 처리를 실행한다. 이 필터링 처리는 플래시광이 있는 촬영 화상 I2에 기초하여 생성한 필터에 의한 필터 처리, 즉, 전술의 수학식(식 33)에 따라 갱신하는 필터링 처리이다.
필터 처리부(913)는, 도 17에 나타내는 플로우를 참조하여 설명한 바와 같이, 1회의 필터링 처리에 의한 화소치의 최대 변화가 미리 정한 임계치보다 작거나, 또는 필터링 처리 횟수가 미리 정한 임계치 횟수보다 많아진 것을 조건으로 하여, 수학식(식 33)을 적용한 필터링 처리를 종료해 움직임이 있는 화소 영역에서의 화상 차분(화상 비율)의 추정치 d를 결정한다. 즉 도 18의 (b)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 추정된 화상 차분 d(863)로서 결정한다.
움직임 부분 최종 보정 화소치 산출부(914)는 필터 처리부(913)에서 필터링 처리가 이루어진 화상 차분(화상 비율)의 추정치 d와 화상 I2 저장 프레임 메모리(902)로부터 플래시광이 있는 촬영 화상 I2를 입력하여, 움직임이 있는 부분 화소 영역(550)의 최종적인 화이트 밸런스 조정 화상 R을 생성한다. 즉, 도 18의 (c)의 움직임이 있는 부분 화소 영역(550)의 최종적인 화이트 밸런스 조정 화상 R을 생성한다.
도 18의 (a)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 플래시광이 있는 촬영 화상 I2(861)의 값에 대해, 도 18의 (b)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 추정된 화상 차분 d(863)를 가산한 결과를, 도 18의 (c)에 나타내는 움직임이 있는 부분 화소 영역(550)에서의 최종적인 화이트 밸런스 조 정 화상 R(864)로서 설정하여 출력한다.
또한, 수학식(식 32)에 따라 구한 화이트 밸런스 조정 화상 R과 플래시광이 있는 촬영 화상 I2의 각 화소치의 화상 비율 d를 이용한 경우에는, 움직임이 있는 화소 영역(550)에서의 화상 비율 d와 플래시광이 있는 촬영 화상 I2의 각 화소의 요소끼리를 승산하여, 최종적인 화이트 밸런스 조정 화상 R을 생성해 출력한다.
전술한 바와 같이, 본 실시예의 화소치 보정 처리에 따르면, 필터를 적용한 처리에 의해, 움직임이 있는 부분 화소 영역의 적절한 색변환을 행하는 것이 가능해지고, 움직임이 있는 부분 화소 영역에서의 보정 화소치는, 플래시광이 있는 촬영 화상 I2의 텍스쳐를 유지한 화소치가 되어, 보다 자연스러운 화상을 생성하는 것이 가능해진다.
실시예 2에서 적용한 평활 필터를 이용한 처리를 실행한 경우에는, 오리지널 화상의 화상 차분 또는 화상 비율에 대응한 화소치 보정이 행하기 어렵고, 화상의 종류에 따라서는 엣지부의 희미해짐, 색 번짐 등이 발생하는 경우가 있지만, 본 실시예에서는, 제2 화상, 즉, 플래시광이 있는 촬영 화상 I2의 화소치를 고려해 결정된 계수를 이용한 화소치 변환식을 식 33에 따라 설정해, 필터링 처리를 행하는 구성으로 하였으므로, 플래시광이 있는 촬영 화상 I2의 텍스쳐를 반영한 화소치 보정이 행해지게 되어, 움직임이 있는 영역에 있어서도 엣지부의 희미해짐, 색 번짐 등이 해소되어, 플래시광이 있는 촬영 화상 I2의 텍스쳐를 반영한 화상을 생성하는 것 이 가능해진다.
또, 본 실시예에서는, 화이트 밸런스 조정 처리로서 실행하는 예에 대해 설명했지만, 여기에서 설명한 방법은, 화이트 밸런스 조정 처리 이외에도, 예를 들면 어떤 화상의 일부분의 화소치를 변경하는 화상 처리에서, 별개의 화상의 특징을 모방하여 변경하고자 하는 경우에 본 발명을 적용할 수 있다. 즉, 제2 화상의 특징을 이용해 결정된 계수를 이용한 화소치 변환식을 식 33에 따라 설정하여, 필터링 처리를 행함으로써, 제1 화상의 일부분의 화소치를 변경하는 것으로 제1 화상의 색을 유지하면서 제2 화상의 특징을 갖는 화상을 생성하는 것이 가능해진다.
(실시예 4)
전술한 실시예 1∼실시예 3에서는, 3매의 화상, 즉 플래시가 없는 화상, 플래시가 있는 화상, 플래시가 없는 화상의 3매의 화상을 연사하여 1개의 출력 화상을 생성하는 구성이다. 상기 실시예에서는, 그들 3매의 화상은 모두 동일한 해상이라고 가정하고 있다. 그러나, 예를 들면 수백만 화소의 해상도를 갖는 화상을 대상으로 한 처리를 실행하는 것을 상정하면, 이러한 처리를 실행하기 위해서는, 3매의 화상 데이터를 저장하기 위해, 또, 여러 가지 처리 화상 데이터를 저장하는 대용량의 메모리가 필요하게 되어, 화소수의 증대에 수반해 실행할 계산량이 방대하게 된다.
도 1에 도시하는 장치 구성에서, 고체 촬상 소자(103)로서 예를 들면 CCD(Charge Coupled Device)를 이용한 경우, 수백만 화소의 화상을 고속으로 연사하는 것은 어렵다. 여기에서, 일반적인 디지털 카메라에서는, 촬영 시에, 예를 들 면 30분의 1초마다, 해상도가 낮은 화상을 고체 촬상 소자(103)로부터 고속으로 읽어내어, 카메라 부속의 디스플레이에 수시 표시하는 기능을 구비하고 있다.
본 실시예는, 이와 같이 하여 촬상한 저해상도의 화상을 이용함으로써, 효율적이고 또한 고속으로, 외광과 플래시광의 색온도의 차이를 해소할 수 있는 구성예이다.
본 실시예의 화상 처리 장치 및 촬상 장치의 구성을 도시하는 블록 다이어그램은 도 1과 마찬가지이고, 그 설명은 전술과 마찬가지이므로, 여기에서는 생략한다.
도 20은 본 실시예의 처리 순서를 설명하는 플로우차트이다. 도 20에 나타내는 플로우차트의 각 스텝에 대해 설명한다.
우선, 스텝 S701에서 사전에 설정된 조리개, 셔터 스피드를 이용하여 플래시 발광 없이 촬영하고, 스텝 S702에서, 스텝 S701에서 촬영한 화상에 기초하는 저해상도 화상 I1L을 메모리에 저장한다. 여기에서, 저해상도 화상 I1L은 고체 촬상 소자(103)(도 1 참조)의 본래의 촬영 화상의 해상도보다 낮은 해상도의 화상이다. 촬상된 고해상도 화상으로부터 저해상도인 화상 I1L을 생성하는 방법은, 다양한 방법을 생각할 수 있다. 예를 들면, 단순하게 화소를 세선화하는 방법, 근접하는 복수의 화소의 평균을 구해 하나의 새로운 화소로 하는 방법 등이 있다. 상술한 대로 일반적인 디지털 카메라에서는, 촬영 시에 고체 촬상 소자(103)에서 촬상되는 화상을 저해상도의 디스플레이에, 예를 들면 매초 30프레임 등의 속도로 표시하는 기능이 부여되어 있어, 이 때에 사용되는 방법을 그대로 적용하는 것이 가능하다.
스텝 S701에서 촬영한 화상에 기초하는 플래시 발광이 없는 저해상도 화상 I1L을 메모리에 저장하는 경우, 저해상도 화상 데이터의 저장 처리로서 실행하게 되어, 메모리 저장 데이터량이 적기 때문에, 데이터의 메모리 저장 처리 시간이 단축된다. 이 때문에, 고속으로 다음 스텝으로 옮겨갈 수 있다.
다음으로, 스텝 S703에서 플래시를 발광한 후에 화상을 촬영하고, 스텝 S704에서, 스텝 S703에서 촬영한 화상에 기초하는 플래시 발광이 있는 고해상도 화상 I2H과, 플래시 발광이 있는 저해상도 화상 I2L의 2화상을 메모리에 저장한다. 여기에서, 플래시 발광이 있는 저해상도 화상 I2L은 플래시 발광이 없는 저해상도 화상 I1L과 동일한 해상도의 저해상도의 화상으로, 전술한 방법과 동일한 방법으로 구한다. 플래시 발광이 있는 고해상도 화상 I2H는 최종적으로 출력으로서 얻고 싶은 해상도를 갖는 화상으로, 플래시 발광이 없는 저해상도 화상 I1L이나 플래시 발광이 있는 저해상도 화상 I2L보다 고해상도의 화상이다.
다음으로, 스텝 S705에서, 플래시를 발광하지 않고 다시 촬영하고, 스텝 S706에서, 스텝 S705에서 촬영한 화상에 기초하는 플래시 발광이 없는 저해상도 화상 I3L을 메모리에 저장한다. 여기에서, 플래시 발광이 없는 저해상도 화상 I3L은 플래시 발광이 없는 저해상도 화상 I1L이나, 플래시 발광이 있는 저해상도 화상 I2L 과 동일한 해상도의 저해상도 화상으로, 전술한 방법과 동일한 방법으로 구한다.
다음의 스텝 S707∼S713까지의 처리는, 상기의 실시예에서 설명한 도 2의 플로우차트의 스텝 S107∼S113과 완전히 동일한 처리이므로 설명은 생략한다.
단, S707∼S713까지의 처리에서의 처리 대상 화상 데이터는, 저해상도 화상, 즉, 플래시 발광이 없는 저해상도 화상 I1L과 플래시 발광이 있는 저해상도 화상 I2L과 플래시 발광이 없는 저해상도 화상 I3L이다. 이들 저해상도 화상에 기초하여 화이트 밸런스 조정 화상 R을 생성한다. 또, 움직임 부분에 대해서는, 전술한 실시예 1에서 설명한 Radial Basis Function(방사 기저 함수)을 적용한 처리, 혹은 실시예 2에서 설명한 평활 필터를 적용한 평활화 처리에 기초하는 처리, 혹은 실시예 3에서 설명한 플래시가 있는 촬영 화상에 기초하는 가중치를 설정한 필터를 적용한 처리 등에 의해, 보정된 화소치가 산출된 화이트 밸런스 조정 화상 R을 생성한다.
마지막으로 스텝 S714에서, 저해상도 화상에 기초하여 생성한 화이트 밸런스 조정 화상 R과 플래시 발광이 있는 저해상도 화상 I2L과 플래시 발광이 있는 고해상도 화상 I2H에 기초하여, 고해상도의 최종 화상 RH를 생성한다.
우선, 플래시 발광이 있는 고해상도 화상 I2H의 각 화소 I2H(x, y)에 대해, 거기에 대응하는 플래시 발광이 있는 저해상도 화상 I2L과, 화이트 밸런스 조정 화상 R의 위치(x′, y′)에서의, 화소 위치 I2L(x′, y′), R(x′, y′)의 화소치를 구한다.
또, x′와 y′는 정수가 된다고 한정되지는 않는다. (x′, y′)에서의 화소치를 구하는 방법으로서는, Nearest Neighbor법, bilinear법, bicubic법 등, 일반적으로 널리 이용되고 있는 화상 보간 방법을 이용한다.
다음으로, 저해상도 화상에 기초하여 생성한 화이트 밸런스 조정 화상 R의 화소 R(x′, y′)의 화소치에 대한 플래시 발광이 있는 저해상도 화상 I2L의 대응 화소 I2L(x′, y′)의 화소치의 비를 구한다.
이 저해상도 화상 데이터에 기초하는 화소치비:
R(x′, y′):I2L(x′, y′)에 대응시켜,
고해상도 화상 데이터에 기초하는 화소치비:
RH(x, y):I2H(x, y)를 설정한다.
여기에서, 플래시 발광이 있는 고해상도 화상 I2H의 각 화소치는 기지이므로, 화소 I2H(x, y)와 저해상도 화상 데이터에 기초하는 화소치비: R(x′, y′):I2L(x′, y′)를 승산함으로써, 고해상도의 최종 화상 RH의 화소 RH(x, y)를 산출한다.
이것을 모든 플래시 발광이 있는 고해상도 화상 I2H의 화소에 관해 계산하여, 최종적인 고해상도 화이트 밸런스 조정 화상 RH를 생성한다. 즉, 저해상도의 화상상에서, 플래시 발광이 있는 저해상도 화상 I2L을 화이트 밸런스 조정 화상 R로 변환하는 경우의 변환 정보를 취득하고, 이 변환 정보에 기초하여, 고해상도 화상, 즉, 플래시 발광이 있는 고해상도 화상 I2H의 각 화소치의 변환 처리를 실행해, 고해상도 화이트 밸런스 조정 화상 RH를 생성한다.
이 처리 방법에 따르면, 스텝 S707∼S713까지의 처리에서의 처리 대상 화상 데이터는 저해상도 화상, 즉, 플래시 발광이 없는 저해상도 화상 I1L과 플래시 발광이 있는 저해상도 화상 I2L과 플래시 발광이 없는 저해상도 화상 I3L이며, 저해상도 화상에 기초하는 화이트 밸런스 조정 화상 R의 생성 처리로서 실행되게 되어, 화소수가 적어 계산량이 적어도 충분하여, 고속 처리가 가능해진다. 움직임 부분의 보정 처리에서도, 전술한 실시예 1에서 설명한 Radial Basis Function(방사 기저 함수)을 적용한 처리, 혹은 실시예 2에서 설명한 평활 필터를 적용한 평활화 처리에 기초하는 처리, 혹은 실시예 3에서 설명한 플래시가 있는 촬영 화상에 기초하는 가중치를 설정한 필터를 적용한 처리 중 어느 처리에 있어서도 고속 처리가 가능해진다.
또한, 2개의 플래시광이 없는 촬영 화상 데이터는 모두 저해상도 화상 데이터만을 메모리에 저장하면 되기 때문에, 메모리 용량이 적은 장치, 기종에 있어서도 적용 가능해진다.
이와 같이, 본 실시예의 처리는 프로세서의 처리 능력이 비교적 낮고, 또한 메모리 용량이 작은 기종, 장치에 있어서도 실행 가능하고, 최종적으로 얻어지는 화상 데이터를 고해상도의 화이트 밸런스 조정 화상 데이터로서 출력하는 것이 가 능해진다.
이상, 특정의 실시예를 참조하면서, 본 발명에 대해 상세히 설명하였다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 그 실시예의 수정이나 대용을 할 수 있는 것은 자명하다. 즉, 예시와 같은 형태로 본 발명을 개시한 것으로, 한정적으로 해석되어야 하는 것은 아니다. 본 발명의 요지를 판단하기 위해서는, 특허 청구의 범위의 란을 참작해야 한다. 또, 전술한 실시예에서는, 피사체가 어두운 경우에 발광하는 조명 장치로서 플래시라고 하는 용어를 이용해 설명했지만, 이 밖에 스트로보라고 불리는 것도 있어, 플래시로 한정되는 것은 아니고, 일반적으로 피사체가 어두운 경우에 발광하는 조명 장치에서 본 발명은 적용된다.
또한, 명세서 내에서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을 전용의 하드웨어에 내장된 컴퓨터내의 메모리에 인스톨해 실행시키거나, 혹은, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨해 실행시키는 것이 가능하다.
예를 들면, 프로그램은 기록 매체로서의 하드 디스크나 ROM(Read Only Memory)에 미리 기록해 둘 수 있다. 혹은, 프로그램은 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 리무버블 기록 매체에 일시적 혹은 영속적으로 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체는, 이른바 패키지 소프트웨어로서 제공할 수 있다.
또한, 프로그램은 전술한 바와 같은 리무버블 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터 컴퓨터로 무선 전송하거나 LAN(Local Area Network), 인터넷과 같은 네트워크를 통해, 컴퓨터에 유선으로 전송하고, 컴퓨터에서는 그와 같이 하여 전송되어 오는 프로그램을 수신하여 내장하는 하드 디스크 등의 기록 매체에 인스톨할 수 있다.
또, 명세서에 기재된 각종의 처리는, 기재에 따라 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라 병렬적으로 혹은 개별로 실행되어도 된다. 또한, 본 명세서에 있어서 시스템이란, 복수 장치의 논리적 집합 구성으로서, 각 구성의 장치가 동일 케이싱내에 있는 것에 한정되지는 않는다.
이상, 설명한 바와 같이, 본 발명의 구성에 따르면, 예를 들면 움직임이 있는 영역 등의 특정 영역의 화소치 보정 처리를, 움직임이 없는 영역의 화소치, 예를 들어 화이트 밸런스 조정이 이루어진 화상 데이터와 움직임이 있는 영역 등의 특정 영역의 플래시 발광이 있는 화상 데이터에 기초하여, 효율적으로 실행 가능하고, 화이트 밸런스 조정이 이루어진 화상 데이터와 매끄럽게 접속된 화상을 생성하는 것이 가능해질 뿐만 아니라, 움직임이 있는 영역에서의 플래시 발광이 있는 화상 데이터의 텍스쳐 정보를 반영한 화상을 생성할 수 있어, 움직임이 있는 화상을 촬영하는 디지털 카메라 등에 적용할 수 있다.
본 발명의 구성에 따르면, 움직임이 있는 영역에서의 화소치 보정 처리에서, 화이트 밸런스 조정이 이루어진 화상 데이터와 플래시 발광이 있는 화상 데이터의 차분 혹은 비율의 초기치를 움직임이 있는 영역에 설정한 후, 평활화 필터에 의해 평활화하여, 움직임이 있는 영역에서의 화상 차분 또는 화상 비율의 추정치를 산출하고, 그 추정치에 의해 움직임이 있는 영역의 화소치 보정을 실행하는 구성으로 하였으므로, 계산량이 적은 고속 처리가 실현되어, 움직임이 있는 화상을 촬영하는 디지털 카메라 등에 적용할 수 있다.
또한 본 발명의 실시예 3으로서 설명한 화소치 보정 처리에 따르면, 필터를 적용한 처리에 의해, 움직임이 있는 부분 화소 영역의 적절한 색변환을 행할 수 있어, 움직임이 있는 부분 화소 영역에서의 보정 화소치는, 플래시광이 있는 촬영 화상 I2의 텍스쳐를 보유한 화소치가 되어, 보다 자연스러운 화상을 생성하는 것이 가능해진다. 평활 필터를 이용한 처리를 실행한 경우에는, 오리지널 화상의 화상 차분 또는 화상 비율에 대응한 화소치 보정이 행하기 어렵고, 화상의 종류에 따라서는 엣지부의 희미해짐, 색 번짐 등이 발생하는 경우가 있지만, 실시예 3으로서 설명한 화소치 보정 처리에 따르면, 플래시광이 있는 촬영 화상 I2의 화소치를 고려해 결정된 계수를 이용한 화소치 변환식에 따른 필터링 처리를 행하는 구성으로 했으므로, 플래시광이 있는 촬영 화상 I2의 텍스쳐를 반영한 화소치 보정이 행해지게 되어, 움직임이 있는 영역에 있어서도 엣지부의 희미해짐, 색 번짐 등이 해소되어, 플래시광이 있는 촬영 화상 I2의 텍스쳐를 반영한 화상을 생성하는 것이 가능해진다.
또한 본 발명에 따르면, 저해상도 화상을 적용한 화이트 밸런스 조정이나 움직임이 있는 부분의 화소치 보정을 실행한 후, 보정 화상 데이터와 저해상도 화상 데이터의 대응 관계에 기초하여, 고해상도 보정 화상을 생성하는 것이 가능해지고, 적은 메모리량으로 고속 처리가 가능해지고, 최종적으로 고해상도의 보정 화상을 취득하는 것이 가능해져서, 메모리량이 제한된 디지털 카메라 등에 최적이다.
<도면의 간단한 설명>
도 1은 본 발명의 화상 처리 장치의 구성을 도시하는 도면.
도 2는 본 발명의 화상 처리 방법의 순서를 설명하는 플로우차트.
도 3은 본 발명의 화상 처리 방법에서의 복수의 화상 데이터에 기초하는 화이트 밸런스 조정 처리의 순서를 설명하는 플로우차트.
도 4는 본 발명의 화상 처리 방법에서의 복수의 화상 데이터에 기초하는 화이트 밸런스 조정 처리의 원리를 설명하는 도면.
도 5는 본 발명의 화상 처리에서의 복수의 화상 데이터에 기초하는 움직임 부분의 검출 처리에 대해 설명하는 도면.
도 6은 본 발명의 화상 처리에서의 움직임 부분의 화소치 조정 처리에 대해 설명하는 플로우차트.
도 7은 본 발명의 화상 처리에서의 움직임 부분의 화소치 조정 처리에 대해 설명하는 도면.
도 8은 본 발명의 화상 처리에서의 복수의 화상 데이터에 기초하는 화소치 조정 처리를 실행하는 기구를 설명하는 도면.
도 9는 본 발명의 화상 처리 방법에서의 복수의 화상 데이터에 기초하는 화이트 밸런스 조정 처리의 순서를 설명하는 플로우차트.
도 10은 본 발명의 화상 처리에서의 복수의 화상 데이터에 기초하는 화소치 조정 처리를 실행하는 기구를 설명하는 도면.
도 11은 본 발명의 화상 처리에서의 움직임 부분의 화소치 조정 처리에 대해 설명하는 도면.
도 12는 본 발명의 실시예 2에서의 움직임 부분의 화소치 조정 처리에 대해 설명하는 플로우차트.
도 13은 본 발명의 실시예 2에서의 움직임 부분의 화소치 조정 처리에 대해 설명하는 도면.
도 14는 본 발명의 실시예 2에서의 움직임 부분의 화소치 조정 처리에서 실행하는 화상 차분 d의 초기치 설정 방법에 대해 설명하는 도면.
도 15는 본 발명의 실시예 2에서의 움직임 부분 보정 화소치 산출부의 구성 및 처리에 대해 설명하는 도면.
도 16은 본 발명의 실시예 3에서의 움직임 부분의 화소치 조정 처리, 화상 차분 d의 초기치 설정 방법에 대해 설명하는 도면.
도 17은 본 발명의 실시예 3에서의 움직임 부분의 화소치 조정 처리에 대해 설명하는 플로우차트.
도 18은 본 발명의 실시예 3에서의 움직임 부분의 화소치 조정 처리에 대해 설명하는 도면.
도 19는 본 발명의 실시예 3에서의 움직임 부분 보정 화소치 산출부의 구성 및 처리에 대해 설명하는 도면.
도 20은 본 발명의 실시예 4에서의 처리에 대해 설명하는 플로우차트.
<부호의 설명>
101 렌즈
102 조리개
103 고체 촬상 소자
104 상관 2중 샘플링 회로
105 A/D 컨버터
106 DSP 블록
107 타이밍 제너레이터
108 D/A 컨버터
109 비디오 인코더
110 비디오 모니터
111 코덱(CODEC)
112 메모리
113 CPU
114 입력 디바이스
115 플래시 제어 장치
116 플래시 발광 장치
200 볼
210 상 흔들림 발생 영역
250 움직임이 있는 부분 내주 화소
251 움직임이 있는 부분 외주 화소
252 움직임이 있는 부분 비내주 화소
253 움직임이 없는 부분 비외주 화소
254 화소 a
255 a의 인접 화소
301, 302, 303 프레임 메모리
304 차분 화상 산출부
305 화이트 밸런스 조정부
306 외광 성분 추정부
307 화이트 밸런스 조정부
308 화소치 가산부
309 움직임 검출부
310 움직임 부분 보정 화소치 산출부
311 화이트 밸런스 조정부
312 출력 전환부
401, 402, 403 프레임 메모리
404 차분 화상 산출부
405 화이트 밸런스 조정부
406 화소치 가산부
407 화이트 밸런스 조정부
408 움직임 검출부
409 움직임 부분 보정 화소치 산출부
410 화이트 밸런스 조정부
411 출력 전환부
550 움직임이 있는 부분 화소 영역
551 움직임이 없는 부분 화소 영역
560 화이트 밸런스 조정 화상 R
561 플래시가 있는 화상 I2
564 화이트 밸런스 조정 화상 R
581 움직임이 있는 부분 화소 영역의 화소
582∼584 움직임이 없는 부분 화소 영역의 화소
701 움직임이 없는 부분 화소 영역 화이트 밸런스 조정 화상 R
702 화상 I2 저장 메모리
710 움직임 부분 보정 화소치 산출부
711 화상 차분(화상 비율) d 산출부
712 움직임이 있는 화소 영역 화상 차분(화상 비율) d 초기치 설정부
713 평활화 처리부
714 움직임 부분 최종 보정 화소치 산출부
821 움직임이 있는 부분 화소 영역의 화소
822∼824 움직임이 없는 부분 화소 영역의 화소
860 화이트 밸런스 조정 화상 R
861 플래시광이 있는 촬영 화상 I2
862 움직임이 있는 부분 화소 영역 근접 부분의 화상 차분 d
863 움직임이 있는 부분 화소 영역 화상 차분 d 추측치
864 화이트 밸런스 조정 화상 R
901 움직임이 없는 부분 화소 영역 화이트 밸런스 조정 화상 R
902 화상 I2 저장 메모리
910 움직임 부분 보정 화소치 산출부
911 화상 차분(화상 비율) d 산출부
912 움직임이 있는 화소 영역 화상 차분(화상 비율) d 초기치 설정부
913 필터 처리부
914 움직임 부분 최종 보정 화소치 산출부

Claims (22)

  1. 화상 처리 방법으로서,
    플래시 발광에 기초하는 소정의 화이트 밸런스 조정이 실시된 제1 화상 데이터와, 플래시 발광 화상인 제2 화상 데이터의 대응 화소치에 기초하여 화상 차분 또는 화상 비율을 산출하는 스텝과,
    화상 데이터의 특정 영역에서, 상기 화상 차분 또는 화상 비율에 기초하는 추정치를 산출하는 추정치 산출 스텝과,
    상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 차분 또는 화상 비율의 추정치와, 상기 제2 화상 데이터에 기초하여 상기 특정 영역의 보정 화상을 생성하는 보정 화상 생성 스텝
    을 갖는 것을 특징으로 하는 화상 처리 방법.
  2. 제1항에 있어서,
    상기 화상 차분 d(x, y)는,
    상기 제1 화상 데이터의 각 화소(x, y)의 화소치 벡터를 A(x, y), 상기 제2 화상 데이터의 대응 화소(x, y)의 화소치 벡터를 B(x, y)라고 했을 때,
    d(x, y)=A(x, y)-B(x, y)
    로서 산출되는 벡터이며,
    상기 화상 비율 d(x, y)는
    d(x, y)=A(x, y)/(B(x, y)+e)
    단, e는 고정치,
    로서 산출되는 벡터인 것을 특징으로 하는 화상 처리 방법.
  3. 제1항에 있어서,
    상기 제1 화상 데이터는 플래시 발광이 없는 촬영 화상과 플래시 발광이 있는 촬영 화상에 기초하여 화소치 조정이 실시된 화이트 밸런스 조정 화상 R이고, 상기 제2 화상 데이터는 플래시 발광 화상 I2이고, 상기 특정 영역은 피사체의 움직임이 검출된 움직임이 있는 영역이며,
    상기 화상 차분 d(x, y)는,
    상기 화이트 밸런스 조정 화상 R의 각 화소(x, y)의 화소치 벡터를 R(x, y), 상기 플래시 발광 화상 I2의 대응 화소(x, y)의 화소치 벡터를 I2(x, y)로 했을 때,
    d(x, y)=R(x, y)-I2(x, y)
    로서 산출되는 벡터이고,
    상기 화상 비율 d(x, y)는,
    d(x, y)=R(x, y)/(I2(x, y)+e)
    단, e는 고정치,
    로서 산출되는 벡터이며,
    상기 보정 화상 생성 스텝은,
    상기 추정치 산출 스텝에서 산출한 상기 움직임이 있는 영역에서의 화상 차분 또는 화상 비율의 추정치와, 상기 플래시 발광 화상 I2에 기초하여 상기 움직임이 있는 영역의 보정 화상을 생성하는 스텝인 것을 특징으로 하는 화상 처리 방법.
  4. 제1항에 있어서,
    상기 추정치 산출 스텝은,
    화상 데이터의 특정 영역에 있어서, 그 특정 영역의 인접 영역에서 결정된 화상 차분 또는 화상 비율에 기초하여, 특정 영역의 화상 차분 또는 화상 비율의 초기치를 설정하는 초기치 설정 스텝과,
    상기 초기치 설정 스텝에서 설정한 초기치에 대해 평활 필터에 기초하는 평활 처리를 실행하는 평활 처리 실행 스텝
    을 포함하는 것을 특징으로 하는 화상 처리 방법.
  5. 제4항에 있어서,
    상기 초기치 설정 스텝은,
    초기치 설정 대상 화소의 근방에 있는 화상 차분 또는 화상 비율 설정 완료 화소에 설정된 화상 차분 또는 화상 비율에 기초하여, 초기치 설정 대상 화소의 초기치를 설정하는 스텝인 것을 특징으로 하는 화상 처리 방법.
  6. 제5항에 있어서,
    상기 초기치 설정 스텝은,
    초기치 설정 대상 화소 및, 화상 차분 또는 화상 비율 설정 완료 화소의 판별을 위해, 마스크 화상을 적용하는 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
  7. 제1항에 있어서,
    상기 보정 화상 생성 스텝은,
    상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 차분 또는 화상 비율의 추정치와, 상기 제2 화상 데이터에 기초하여 상기 특정 영역의 보정 화상을 생성하는 스텝으로서,
    화상 차분을 적용한 처리에 있어서는,
    상기 특정 영역에서의 상기 제2 화상 데이터에 대해, 상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 차분의 추정치를 가산하는 스텝으로서 실행하고,
    화상 비율을 적용한 처리에 있어서는,
    상기 특정 영역에서의 상기 제2 화상 데이터에 대해, 상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 비율의 추정치를 승산하는 스텝으로서 실행하는 것을 특징으로 하는 화상 처리 방법.
  8. 제1항에 있어서,
    상기 제1 화상 데이터는 플래시 발광이 없는 촬영 화상과 플래시 발광이 있는 촬영 화상에 기초하여 화소치 조정이 실시된 화이트 밸런스 조정 화상 R이고, 상기 제2 화상 데이터는 플래시 발광 화상 I2이고, 상기 특정 영역은 피사체의 움직임이 검출된 움직임이 있는 영역이며,
    상기 보정 화상 생성 스텝은,
    화상 차분을 적용한 처리에 있어서는,
    상기 움직임이 있는 영역에서의 상기 플래시 발광 화상 I2에 대해, 상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 차분의 추정치를 가산하는 스텝으로서 실행하고,
    화상 비율을 적용한 처리에 있어서는,
    상기 움직임이 있는 영역에서의 상기 플래시 발광 화상 I2에 대해, 상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 비율의 추정치를 승산하는 스텝으로서 실행하는
    것을 특징으로 하는 화상 처리 방법.
  9. 제1항에 있어서,
    상기 추정치 산출 스텝은,
    화상 데이터의 특정 영역에 있어서, 그 특정 영역의 인접 영역에서 결정된 화상 차분 또는 화상 비율에 기초하여, 특정 영역의 화상 차분 또는 화상 비율의 초기치를 설정하는 초기치 설정 스텝과,
    상기 초기치 설정 스텝에서 설정한 초기치에 대해, 상기 제2 화상 데이터에 기초하는 가중치 설정이 이루어진 필터를 적용한 필터링 처리에 상당하는 화소치 변환식에 따른 화소치 변환 처리를 실행하여 상기 특정 영역의 화상 차분 또는 화상 비율의 값을 보정하는 필터링 처리 스텝
    을 포함하는 것을 특징으로 하는 화상 처리 방법.
  10. 제9항에 있어서,
    상기 초기치 설정 스텝은,
    초기치 설정 대상 화소의 근방에 있는 화상 차분 또는 화상 비율 설정 완료 화소에 설정된 화상 차분 또는 화상 비율에 기초하여, 초기치 설정 대상 화소의 초기치를 설정하는 스텝인 것을 특징으로 하는 화상 처리 방법.
  11. 제10항에 있어서,
    상기 초기치 설정 스텝은,
    초기치 설정 대상 화소 및, 화상 차분 또는 화상 비율 설정 완료 화소의 판별을 위해, 마스크 화상을 적용하는 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
  12. 제9항에 있어서,
    상기 제1 화상 데이터는 플래시 발광이 없는 촬영 화상과 플래시 발광이 있는 촬영 화상에 기초하여 화소치 조정이 실시된 화이트 밸런스 조정 화상 R이고, 상기 제2 화상 데이터는 플래시 발광이 있는 촬영 화상 I2이고, 상기 특정 영역은 피사체의 움직임이 검출된 움직임이 있는 영역이며,
    상기 필터링 처리 스텝은, 상기 플래시 발광이 있는 촬영 화상 I2의 화상 데이터를 구성하는 화소의 화소치에 따라서 가중치를 설정한 함수를 포함하는 변환식을 적용한 화소치 변환 처리를 실행하는 스텝인 것을 특징으로 하는 화상 처리 방법.
  13. 제12항에 있어서,
    상기 필터링 처리 스텝은 하기 변환식,
    Figure 112006015509471-PCT00025
    (단, d(x, y, ch), I2(x, y, ch)는 화소 위치(x, y)의 각 채널[ch]의 화상 차분 또는 화상 비율 d에 대응하는 값, 및 플래시광이 있는 촬영 화상 I2의 화소치, d′(x, y, ch)는 화소 위치(x, y)에서의 채널[ch]의 차분 화상 d의 갱신치, i, j는 화소 위치(x, y)의 값 d의 갱신치 d′를 산출하기 위해 적용하는 참조 화소 위치이 며, k를 임의의 자연수로 했을 때, x-k≤i≤x+k, y-k≤j≤y+k, w(x)는 상기 플래시 발광이 있는 촬영 화상 I2의 화상 데이터를 구성하는 화소의 화소치에 따른 가중치를 설정하는 가중치 부여 함수임)
    상기 변환식을 적용한 화소치 변환 처리를 실행하는 스텝인 것을 특징으로 하는 화상 처리 방법.
  14. 제13항에 있어서,
    상기 변환식에서의 가중치 부여 함수 w(x)는 하기 식,
    Figure 112006015509471-PCT00026
    에 의해 나타나는 함수인 것을 특징으로 하는 화상 처리 방법.
  15. 제13항에 있어서,
    상기 변환식에서의 화소 위치(x, y)의 값 d의 갱신치 d′를 산출하기 위해 적용하는 참조 화소 위치(i, j)는, k를 임의의 자연수로 했을 때, x-k≤i≤x+k, y-k≤j≤y+k이며, k는 1, 2, 3 중 어느 하나의 값인 것을 특징으로 하는 화상 처리 방법.
  16. 제1항에 있어서,
    플래시 발광이 없는 촬영 화상에 기초하는 플래시가 없는 저해상도 화상 데이터 I1L을 메모리에 저장하는 스텝과,
    플래시 발광이 있는 촬영 화상에 기초하는 플래시가 있는 고해상도 화상 데이터 I2H, 및 플래시가 있는 해상도 화상 데이터 I2L을 메모리에 저장하는 스텝과,
    플래시 발광이 없는 촬영 화상에 기초하는 플래시가 없는 저해상도 화상 데이터 I3L을 메모리에 저장하는 스텝과,
    상기 플래시가 없는 저해상도 화상 데이터 I1L과 플래시가 없는 저해상도 화상 데이터 I3L에 기초하여 움직임이 있는 영역을 검출하는 스텝을 더 포함하고,
    상기 플래시가 없는 저해상도 화상 데이터 I1L을 상기 제1 화상 데이터, 상기 플래시가 있는 저해상도 화상 데이터 I2L을 상기 제2 화상 데이터로서 상기 추정치를 산출하여 화이트 밸런스 조정 처리 및 움직임 부분 화소치 보정 처리를 포함하는 화소치 조정 화상 R을 생성하고,
    상기 보정 화상 생성 스텝에 있어서는, 상기 화소치 조정 화상 R과, 플래시가 있는 고해상도 화상 데이터 I2H와, 플래시가 있는 해상도 화상 데이터 I2L과의 대응 화소치에 기초하여, 고해상도 최종 보정 화상 RH를 생성하는 것을 특징으로 하는 화상 처리 방법.
  17. 제16항에 있어서,
    상기 보정 화상 생성 스텝은,
    플래시가 있는 해상도 화상 데이터 I2L에 대한 상기 화소치 조정 화상 R의 대응 화소의 화소치 변환 정보를 취득하는 스텝과,
    상기 화소치 변환 정보에 기초하여, 플래시가 있는 고해상도 화상 데이터 I2H의 화소치 변환을 실행하는 스텝
    을 갖는 것을 특징으로 하는 화상 처리 방법.
  18. 화상 처리 장치로서,
    플래시 발광에 기초하는 소정의 화이트 밸런스 조정이 실시된 제1 화상 데이터와, 플래시 발광 화상인 제2 화상 데이터의 대응 화소치에 기초하여 화상 차분 또는 화상 비율을 산출하는 수단과,
    화상 데이터의 특정 영역에 있어서, 상기 화상 차분 또는 화상 비율에 기초하는 추정치를 산출하는 추정치 산출 수단과,
    상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 차분 또는 화상 비율의 추정치와, 상기 제2 화상 데이터에 기초하여 상기 특정 영역의 보정 화상을 생성하는 보정 화상 생성 수단
    을 갖는 것을 특징으로 하는 화상 처리 장치.
  19. 제18항에 있어서,
    상기 추정치 산출 수단은,
    화상 데이터의 특정 영역에 있어서, 그 특정 영역의 인접 영역에서 결정된 화상 차분 또는 화상 비율에 기초하여, 특정 영역의 화상 차분 또는 화상 비율의 초기치를 설정하는 초기치 설정부와,
    상기 초기치 설정부에서 설정한 초기치에 대해 평활 필터에 기초하는 평활 처리를 실행하는 평활 처리부
    를 포함하는 것을 특징으로 하는 화상 처리 장치.
  20. 제18항에 있어서,
    상기 추정치 산출 수단은,
    화상 데이터의 특정 영역에 있어서, 그 특정 영역의 인접 영역에서 결정된 화상 차분 또는 화상 비율에 기초하여, 특정 영역의 화상 차분 또는 화상 비율의 초기치를 설정하는 초기치 설정부와,
    상기 초기치 설정부에서 설정한 초기치에 대해, 상기 제2 화상 데이터에 기초하는 가중치 설정이 이루어진 필터를 적용한 필터링 처리에 상당하는 화소치 변환식에 따른 화소치 변환 처리를 실행하여 상기 특정 영역의 화상 차분 또는 화상 비율의 값을 보정하는 필터 처리부
    를 포함하는 것을 특징으로 하는 화상 처리 장치.
  21. 화상 처리를 실행하는 컴퓨터 프로그램으로서,
    플래시 발광에 기초하는 소정의 화이트 밸런스 조정이 실시된 제1 화상 데이터와, 플래시 발광 화상인 제2 화상 데이터의 대응 화소치에 기초하여 화상 차분 또는 화상 비율을 산출하는 스텝과,
    화상 데이터의 특정 영역에 있어서, 상기 화상 차분 또는 화상 비율에 기초하는 추정치를 산출하는 추정치 산출 스텝과,
    상기 추정치 산출 스텝에서 산출한 상기 특정 영역에서의 화상 차분 또는 화상 비율의 추정치와, 상기 제2 화상 데이터에 기초하여 상기 특정 영역의 보정 화상을 생성하는 보정 화상 생성 스텝
    을 갖는 것을 특징으로 하는 컴퓨터 프로그램.
  22. 제21항에 있어서,
    플래시 발광이 없는 촬영 화상에 기초하는 플래시가 없는 저해상도 화상 데이터 I1L을 메모리에 저장하는 스텝과,
    플래시 발광이 있는 촬영 화상에 기초하는 플래시가 있는 고해상도 화상 데이터 I2H, 및 플래시가 있는 해상도 화상 데이터 I2L을 메모리에 저장하는 스텝과,
    플래시 발광이 없는 촬영 화상에 기초하는 플래시가 없는 저해상도 화상 데이터 I3L을 메모리에 저장하는 스텝과,
    상기 플래시가 없는 저해상도 화상 데이터 I1L과 플래시가 없는 저해상도 화 상 데이터 I3L에 기초하여 움직임이 있는 영역을 검출하는 스텝을 더 포함하고,
    상기 플래시가 없는 저해상도 화상 데이터 I1L을 상기 제1 화상 데이터, 상기 플래시가 있는 저해상도 화상 데이터 I2L을 상기 제2 화상 데이터로서 상기 추정치를 산출하여 화이트 밸런스 조정 처리 및 움직임 부분 화소치 보정 처리를 포함하는 화소치 조정 화상 R을 생성하고,
    상기 보정 화상 생성 스텝에 있어서는, 상기 화소치 조정 화상 R과, 플래시가 있는 고해상도 화상 데이터 I2H와, 플래시가 있는 해상도 화상 데이터 I2L과의 대응 화소치에 기초하여, 고해상도 최종 보정 화상 RH를 생성하는 것을 특징으로 하는 컴퓨터 프로그램.
KR1020067004473A 2003-09-04 2004-08-10 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 판독 가능 기록 매체 KR101032165B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00312630 2003-09-04
JP2003312630 2003-09-04
JP2004030527A JP3838243B2 (ja) 2003-09-04 2004-02-06 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JPJP-P-2004-00030527 2004-02-06

Publications (2)

Publication Number Publication Date
KR20060070557A true KR20060070557A (ko) 2006-06-23
KR101032165B1 KR101032165B1 (ko) 2011-05-02

Family

ID=34277704

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067004473A KR101032165B1 (ko) 2003-09-04 2004-08-10 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 판독 가능 기록 매체

Country Status (7)

Country Link
US (1) US7903896B2 (ko)
EP (1) EP1662806B1 (ko)
JP (1) JP3838243B2 (ko)
KR (1) KR101032165B1 (ko)
CN (1) CN1846447B (ko)
AT (1) ATE515890T1 (ko)
WO (1) WO2005025235A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100745576B1 (ko) * 2006-08-28 2007-08-02 삼성전자주식회사 휴대용 단말기에서 카메라의 입력 윈도우의 크기를자동으로 조절하기 위한 방법 및 장치
KR100813377B1 (ko) 2006-05-22 2008-03-12 후지쯔 가부시끼가이샤 화상 처리 장치 및 화상 처리 방법
KR20110074440A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 촬상 장치 및 촬상 방법
KR20110074443A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 촬상 장치, 촬상 방법 및 기록매체
KR101274061B1 (ko) * 2009-11-30 2013-06-12 캐논 가부시끼가이샤 화상 처리장치 및 화상 처리방법

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136793B2 (ja) * 2003-05-29 2008-08-20 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP3838243B2 (ja) * 2003-09-04 2006-10-25 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US7801427B2 (en) 2005-09-12 2010-09-21 Nokia Corporation Adjustment of shooting parameters in dependence of motion in a scene
US7590344B2 (en) * 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
WO2008102205A2 (en) * 2006-08-09 2008-08-28 Fotonation Vision Limited Detection of airborne flash artifacts using preflash image
JP2008070611A (ja) * 2006-09-14 2008-03-27 Casio Comput Co Ltd 撮像装置、露出条件調整方法及びプログラム
GB2443457B (en) * 2006-10-31 2011-11-02 Hewlett Packard Development Co Image processing system and method
US7697062B2 (en) * 2006-11-08 2010-04-13 Sony Ericsson Mobile Communications Ab Camera and method in a camera
JP2008233381A (ja) * 2007-03-19 2008-10-02 Fujifilm Corp 撮像装置
JP4872797B2 (ja) * 2007-05-18 2012-02-08 カシオ計算機株式会社 撮像装置、撮像方法および撮像プログラム
KR20100074103A (ko) * 2007-06-30 2010-07-01 목스에어, 인크. 비디오 개선 및 디스플레이 전력 관리
US8040391B2 (en) 2007-08-06 2011-10-18 Panasonic Corporation White balance adjustment device, image capture device, white balance adjustment method, storage medium, and integrated circuit
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
WO2009139154A1 (ja) * 2008-05-14 2009-11-19 パナソニック株式会社 撮像装置及び撮像方法
JP5425424B2 (ja) * 2008-07-22 2014-02-26 富士フイルム株式会社 フラッシュ発光方法及び装置
JP5213613B2 (ja) * 2008-09-26 2013-06-19 キヤノン株式会社 画像処理装置及び画像処理方法及び撮像装置及びプログラム
JP4934123B2 (ja) * 2008-09-30 2012-05-16 富士フイルム株式会社 撮影装置および方法
JP5399739B2 (ja) * 2009-02-25 2014-01-29 ルネサスエレクトロニクス株式会社 画像処理装置
US8659670B2 (en) * 2009-04-20 2014-02-25 Qualcomm Incorporated Motion information assisted 3A techniques
US9106822B2 (en) * 2009-06-25 2015-08-11 Nikon Corporation Image apparatus with motion control
JP5589585B2 (ja) * 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US20110019002A1 (en) * 2009-07-22 2011-01-27 International Business Machines Corporation Method and System for Low Complexity Analysis of Multiple Signals Using a Combined Sparse Set of Samples
JP5115568B2 (ja) * 2009-11-11 2013-01-09 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
US8717454B2 (en) 2009-12-24 2014-05-06 Samsung Electronics Co., Ltd. Image pickup apparatus and image pickup method for adjusting white balance to account for flash and external light sources
JP5761946B2 (ja) * 2010-09-02 2015-08-12 キヤノン株式会社 画像処理装置、画像処理方法及び記憶媒体
JP5665436B2 (ja) * 2010-09-02 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2012134678A (ja) * 2010-12-20 2012-07-12 Samsung Yokohama Research Institute Co Ltd 撮像装置及び撮像方法
CA2771851C (en) * 2011-04-12 2018-07-24 Research In Motion Limited Camera flash for improved color balance
JP5808142B2 (ja) * 2011-05-02 2015-11-10 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5743696B2 (ja) * 2011-05-06 2015-07-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5917258B2 (ja) * 2012-04-20 2016-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
CN103354601A (zh) * 2013-07-31 2013-10-16 广东欧珀移动通信有限公司 提升闪光灯拍照效果的方法和系统
US9448771B2 (en) 2014-10-17 2016-09-20 Duelight Llc System, computer program product, and method for generating a lightweight source code for implementing an image processing pipeline
US9218662B1 (en) 2014-11-06 2015-12-22 Duelight Llc System, method, and computer program product for exchanging images
US9460125B2 (en) 2013-09-30 2016-10-04 Duelight Llc Systems, methods, and computer program products for digital photography
US9508133B2 (en) 2014-11-18 2016-11-29 Duelight Llc System and method for generating an image result based on availability of a network resource
US9460118B2 (en) 2014-09-30 2016-10-04 Duelight Llc System, method, and computer program product for exchanging images
JP6446790B2 (ja) * 2014-02-21 2019-01-09 株式会社リコー 画像処理装置、撮像装置、画像補正方法およびプログラム
JP6335563B2 (ja) 2014-03-18 2018-05-30 キヤノン株式会社 撮像装置及びその制御方法
JP6063093B2 (ja) * 2014-03-31 2017-01-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6379599B2 (ja) * 2014-04-02 2018-08-29 富士通株式会社 適用判定プログラム、適用判定方法、及び適用判定装置
CN104023179B (zh) * 2014-06-27 2017-08-15 北京智谷睿拓技术服务有限公司 成像控制方法和设备
US9661250B2 (en) * 2014-08-28 2017-05-23 Pixart Imaging Inc. Image sensor and operating method thereof, motion sensor including the same
US9686489B2 (en) * 2014-08-28 2017-06-20 Pixart Imaging Inc. Image sensor and imaging system adopting analog buffer
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
EP3056137B1 (en) * 2015-02-13 2017-11-01 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt GmbH Device and method for multispectral optoacoustic imaging
US10070111B2 (en) * 2015-12-22 2018-09-04 Adobe Systems Incorporated Local white balance under mixed illumination using flash photography
CN105611264B (zh) * 2015-12-30 2018-09-14 努比亚技术有限公司 一种自动白平衡方法及装置
JP2019074593A (ja) * 2017-10-13 2019-05-16 シャープ株式会社 表示装置
WO2019087299A1 (ja) * 2017-10-31 2019-05-09 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体
CN110022475B (zh) * 2018-01-10 2021-10-15 中兴通讯股份有限公司 一种摄影设备校准方法、摄影设备及计算机可读存储介质
TWI649600B (zh) * 2018-01-12 2019-02-01 友達光電股份有限公司 訊號處理方法及顯示裝置
US10981376B2 (en) * 2018-07-03 2021-04-20 Ricoh Company, Ltd. Inspection apparatus, image reading apparatus, image forming apparatus, inspection method, and recording medium
JP7307541B2 (ja) * 2018-12-19 2023-07-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN109660698B (zh) * 2018-12-25 2021-08-03 苏州佳世达电通有限公司 影像处理系统及影像处理方法
GB202011144D0 (en) 2019-08-28 2020-09-02 ams Sensors Germany GmbH Systems for characterizing ambient illumination
US10997470B2 (en) * 2019-08-30 2021-05-04 Accenture Global Solutions Limited Adversarial patches including pixel blocks for machine learning
EP3820138A1 (en) * 2019-11-06 2021-05-12 Koninklijke Philips N.V. A system for performing image motion compensation
EP3820133A1 (en) * 2019-11-06 2021-05-12 Koninklijke Philips N.V. A system for performing image motion compensation
US11270416B2 (en) * 2019-12-27 2022-03-08 Nxp Usa, Inc. System and method of using optimized descriptor coding for geometric correction to reduce memory transfer bandwidth overhead
CN111314683B (zh) * 2020-03-17 2022-04-15 Oppo广东移动通信有限公司 白平衡调节方法及相关设备
FR3117717B1 (fr) * 2020-12-10 2022-12-23 Centre Nat Etd Spatiales Procédé d’acquisition et d’analyse d’une scène par différence d’images
CN115953333A (zh) * 2023-03-15 2023-04-11 杭州魔点科技有限公司 一种动态背光补偿方法和系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3569352B2 (ja) 1994-05-31 2004-09-22 ペンタックス株式会社 ホワイトバランス調整装置
US5617490A (en) * 1994-06-27 1997-04-01 Sanyo Electric Co., Ltd. Camera system with neural network compensator for measuring 3-D position
JPH0832839A (ja) 1994-07-19 1996-02-02 Sharp Corp 雑音除去装置
EP0815536A1 (en) * 1995-03-22 1998-01-07 IDT INTERNATIONAL DIGITAL TECHNOLOGIES DEUTSCHLAND GmbH Method and apparatus for coordination of motion determination over multiple frames
JP3540485B2 (ja) * 1995-04-13 2004-07-07 株式会社リコー 電子スチルカメラ
US5706416A (en) * 1995-11-13 1998-01-06 Massachusetts Institute Of Technology Method and apparatus for relating and combining multiple images of the same scene or object(s)
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
JPH10243414A (ja) * 1997-02-28 1998-09-11 Hewlett Packard Co <Hp> 色バランスの調整方法、プログラムメモリおよびデジタル・カメラ
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP2000308068A (ja) 1999-04-16 2000-11-02 Olympus Optical Co Ltd 撮像装置
JP2000307940A (ja) * 1999-04-19 2000-11-02 Olympus Optical Co Ltd 撮像装置
JP3551854B2 (ja) 1999-09-01 2004-08-11 ミノルタ株式会社 デジタル撮影装置、画像データ処理装置、デジタル撮影方法および記録媒体
US6618511B1 (en) * 1999-12-31 2003-09-09 Stmicroelectronics, Inc. Perspective correction for panoramic digital camera with remote processing
JP3707347B2 (ja) * 2000-04-07 2005-10-19 株式会社島津製作所 Ｘ線ｃｔ装置の画像処理方法及びｘ線ｃｔ装置並びにｘ線ｃｔ撮影用記録媒体
JP4360011B2 (ja) 2000-06-13 2009-11-11 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
JP3776340B2 (ja) * 2000-09-27 2006-05-17 エムヴイテック・ソフトウェア・ゲーエムベーハー 対象物認識システム及び方法
JP2002165170A (ja) 2000-11-24 2002-06-07 Canon Inc 撮像装置
JP3576987B2 (ja) * 2001-03-06 2004-10-13 株式会社東芝 画像のテンプレートマッチング方法及び画像処理装置
CN100477806C (zh) * 2001-12-07 2009-04-08 深圳Tcl新技术有限公司 一种自动白平衡调控方法及相应的显示单元
US7602969B2 (en) 2002-07-18 2009-10-13 Sony Corporation Imaging data processing method, imaging data processing device, and computer program
JP3838243B2 (ja) * 2003-09-04 2006-10-25 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP4379129B2 (ja) 2004-01-23 2009-12-09 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP4600209B2 (ja) * 2005-08-18 2010-12-15 ソニー株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100813377B1 (ko) 2006-05-22 2008-03-12 후지쯔 가부시끼가이샤 화상 처리 장치 및 화상 처리 방법
KR100745576B1 (ko) * 2006-08-28 2007-08-02 삼성전자주식회사 휴대용 단말기에서 카메라의 입력 윈도우의 크기를자동으로 조절하기 위한 방법 및 장치
KR101274061B1 (ko) * 2009-11-30 2013-06-12 캐논 가부시끼가이샤 화상 처리장치 및 화상 처리방법
KR20110074440A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 촬상 장치 및 촬상 방법
KR20110074443A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 촬상 장치, 촬상 방법 및 기록매체

Also Published As

Publication number Publication date
KR101032165B1 (ko) 2011-05-02
EP1662806B1 (en) 2011-07-06
JP2005102116A (ja) 2005-04-14
CN1846447B (zh) 2010-05-12
JP3838243B2 (ja) 2006-10-25
CN1846447A (zh) 2006-10-11
ATE515890T1 (de) 2011-07-15
WO2005025235A1 (ja) 2005-03-17
US7903896B2 (en) 2011-03-08
US20070165960A1 (en) 2007-07-19
EP1662806A1 (en) 2006-05-31
EP1662806A4 (en) 2009-12-30

Similar Documents

Publication Publication Date Title
KR101032165B1 (ko) 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 판독 가능 기록 매체
JP4379129B2 (ja) 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP4407514B2 (ja) 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム
JP5761946B2 (ja) 画像処理装置、画像処理方法及び記憶媒体
KR101442153B1 (ko) 저조도 영상 처리 방법 및 시스템
JP5743696B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5665436B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5672796B2 (ja) 画像処理装置、画像処理方法
KR20120010205A (ko) 화상 합성 장치, 화상 합성 방법, 및 프로그램 프로덕트
JP2014033276A (ja) 画像処理装置、画像処理方法及びプログラム
JP5804856B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4905513B2 (ja) 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP2016144042A (ja) 画像処理装置、画像処理方法、及びプログラム
JP4389671B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP5765599B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5541956B2 (ja) 画像合成方法、画像合成プログラムおよび画像合成装置
JP4787403B2 (ja) 自動露出装置及び方法
JP2011155422A (ja) 撮像装置、画像処理方法及びプログラム
JP2017034536A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6021885B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2016005105A (ja) 撮像装置
JP2023154575A (ja) 撮像装置およびその制御方法、ならびに画像処理装置
ES2367636T3 (es) Procesado de imágenes para el balance de blancos.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140411

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee