KR20110074440A - 촬상 장치 및 촬상 방법 - Google Patents

촬상 장치 및 촬상 방법 Download PDF

Info

Publication number
KR20110074440A
KR20110074440A KR1020100127097A KR20100127097A KR20110074440A KR 20110074440 A KR20110074440 A KR 20110074440A KR 1020100127097 A KR1020100127097 A KR 1020100127097A KR 20100127097 A KR20100127097 A KR 20100127097A KR 20110074440 A KR20110074440 A KR 20110074440A
Authority
KR
South Korea
Prior art keywords
image
flash
white balance
pixel
calculating
Prior art date
Application number
KR1020100127097A
Other languages
English (en)
Other versions
KR101710629B1 (ko
Inventor
타카히코 요시다
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/977,900 priority Critical patent/US8717454B2/en
Publication of KR20110074440A publication Critical patent/KR20110074440A/ko
Application granted granted Critical
Publication of KR101710629B1 publication Critical patent/KR101710629B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Studio Devices (AREA)

Abstract

플래시 비발광시의 화상에서 다운샘플링 된 화소에 대해서 적절하게 보간하여 화상 전체를 적절한 화이트 밸런스로 조정할 수 있는 촬상 장치 및 촬상 방법을 제공한다. 본 발명의 일 실시예에 따르면, 화소수가 적은 플래시 비발광시의 제1 화상의 제1 피사체 휘도를 산출하고, 플래시 발광시의 제2 화상이 제1 화상의 사이즈와 동일해지도록 다운샘플링된 제3 화상의 제2 피사체 휘도를 산출하고, 화소별 제1 및 제2 피사체 휘도와의 피사체 휘도 차분에 기초한 제1 플래시 반사량에 대해 제3 화상의 화소 단위의 휘도값으로부터 제1 화상과 제3 화상의 위치 어긋남의 영향을 줄이는 보간을 하여 제2 플래시 반사량을 산출하고, 제2 화상의 화소 단위의 휘도값으로부터 제2 플래시 반사량에 대해 제3 화상을 제2 화상의 사이즈로 확대하는 보간을 하여 제3 플래시 반사량을 산출하고, 제3 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출한다.

Description

촬상 장치 및 촬상 방법{Image pickup apparatus and image pickup method}
본 발명은 촬상 장치 및 촬상 방법에 관한 것이다.
디지털 스틸 카메라 등의 전자적 촬상 장치에서 종래의 화이트 밸런스 보정 처리는 하나의 화이트 밸런스 게인을 화상 전체에 일률적으로 적용하는 처리이다.
예를 들어 조명광(주변광)이 어두운 씬에서는 노광 부족을 해소하기 위해 플래시를 발광하여 촬영한다. 플래시를 발광하여 촬영했을 때 화이트 밸런스 게인은 플래시의 발광량 등에 따라 산출된다. 이 때 주변광과 플래시광이 혼합된 씬으로 촬영한 경우 디지털 스틸 카메라에 가까운 거리에 있는 피사체는 적절한 화이트 밸런스로 조절할 수 있다. 그러나 먼 거리에 있는 피사체는 플래시광보다 주변광의 의존도가 높아진다. 따라서 주변광이 형광등 등인 경우 주변광과 플래시광의 색온도차가 커진다. 그 결과 화이트 밸런스 보정 처리를 화상 전체에 적용하면, 먼 거리에 있는 흰 피사체가 노랗게 되는 등 부적절한 화이트 밸런스가 발생하는 문제가 발생한다.
따라서 화상 전체를 적절한 화이트 밸런스로 하기 위해 플래시 발광 화상과 플래시 비발광 화상을 비교함으로써 플래시 반사량을 산출하고, 그 플래시 반사량으로부터 최적의 화이트 밸런스 게인을 화소 단위로 산출하여 적용하는 기술이 개시되어 있다.
특허문헌 1에는, 플래시 발광 화상과 플래시 비발광 화상의 화상 사이즈가 다른 경우에 보간함으로써 최적의 화이트 밸런스 게인을 산출하는 기술이 개시되어 있다. 플래시 발광 화상과 플래시 비발광 화상 전체를 여러 개의 블럭으로 분할하여 대응하는 블럭의 비교에 의해 화이트 밸런스 게인을 구하고, 그것을 해당 블럭의 중심 화소에 대한 화이트 밸런스 게인으로 한다. 비중심 화소의 화이트 밸런스 게인은 인접한 블럭의 중심 화소로부터의 거리에 의해 보간하여 구한다.
또 특허문헌 2에는 특허문헌 1과 다른 방식으로 보간하는 방법이 개시되어 있다. 다운샘플링을 하여 화소수를 줄인 플래시 비발광 화상과 플래시 발광 화상을 취득하고 화소 단위로 색온도 조건을 산출한다. 플래시 비발광 화상이 다운샘플링된 화상인 경우, 다운샘플링된 화소를 보간함으로써 화이트 밸런스 게인을 구하였다. 보간 대상 화소의 색온도 조건은 보간 대상 화소에 가까운 3화소를 선택하고, 보간 대상 화소의 휘도값에 가까운 화소의 색온도 조건을 보간 대상 화소의 색온도 조건으로 한다. 이 색온도 조건으로부터 보간 대상 화소의 화이트 밸런스 게인을 구한다.
[선행기술문헌]
[특허문헌]
[특허문헌 1] 일본특개2005-347811호 공보
[특허문헌 2] 일본특개2002-369211호 공보
그런데 특허문헌 1에는, 엣지 등의 경계가 있는 피사체에서 그 경계에서 색온도가 크게 변화될 경우, 중심 화소로부터의 거리를 이용한 보간으로는 경계 부근에서 부적절한 화이트 밸런스 게인이 도출되는 문제가 있다.
또 특허문헌 2에는, 엣지 등의 경계가 있는 피사체에서는 적절하게 보간되었으나, 화이트 밸런스 게인이 빈번하게 변화되는 피사체에서는 단차가 발생하여 자연스럽지 않게 보간되는 문제가 있다.
라이브뷰 화상 등 플래시 발광 화상보다 화소수가 적은 플래시 비발광 화상을 사용한 경우, 다운샘플링된 화소는 보간에 의해 화이트 밸런스 게인을 구해야 한다. 이와 같은 방법에서 화소간의 거리에 의한 보간, 또는 근방 화소의 값을 그대로 이용하는 보간으로는 적절한 화이트 밸런스 게인을 구할 수 없다는 문제가 있다.
본 발명은 상기 문제를 감안하여 이루어진 것으로서, 본 발명의 실시예들은 화소수가 적은 플래시 비발광시의 화상과 화소수가 많은 본 촬영 화상인 플래시 발광시의 화상을 비교하여 화소 단위로 화이트 밸런스 게인을 산출하는 방법에서, 다운샘플링된 화소에 대해서 적절하게 보간을 수행함으로써 화상 전체를 적절한 화이트 밸런스로 조정할 수 있는 신규 및 개량된 촬상 장치 및 촬상 방법을 제공하기 위한 것이다.
상기 과제를 해결하기 위해 본 발명의 일 측면에 의하면, 다운샘플링 처리에 의해 화소수가 적은 플래시 비발광시의 제1 화상을 취득하고, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 촬상부; 상기 제2 화상이 상기 제1 화상의 사이즈와 동일해지도록 상기 제2 화상에 대해 다운샘플링 처리하여 제3 화상을 취득하는 다운샘플링부; 취득된 상기 제1 화상의 전화소에 대해 제1 피사체 휘도를 산출하고, 취득된 상기 제3 화상의 전화소에 대해서 제2 피사체 휘도를 산출하는 피사체 휘도 산출부; 화소별 상기 제1 피사체 휘도와 화소별 상기 제2 피사체 휘도와의 차분인 피사체 휘도 차분을 전화소에 대해서 산출하는 피사체 휘도 차분 산출부; 상기 피사체 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 플래시 반사량 산출부; 상기 제3 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제1 플래시 반사량에 대해 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 제1 플래시 반사량 보간부; 상기 제2 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제2 플래시 반사량에 대해, 상기 제3 화상의 사이즈로부터 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여 제3 플래시 반사량을 산출하는 제2 플래시 반사량 보간부; 및 상기 제3 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함하는 촬상 장치가 제공된다. 그 결과 다운샘플링된 화소에 대해서 적절하게 보간이 이루어지기 때문에 화상 전체를 적절한 화이트 밸런스로 조정할 수 있다.
상기 촬상 장치는, 상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 화이트 밸런스 제어부를 더 포함할 수 있다. 이 구성에 의해 화이트 밸런스 게인이 제2 화상의 전화소에 화소 단위로 적용되어 화소 단위로 화이트 밸런스가 제어된다.
상기 촬상 장치는, 상기 제1 화상에 대한 제1 노광 제어값과, 상기 제2 화상에 대한 제2 노광 제어값을 산출하는 노광 제어값 산출부; 및 상기 제1 노광 제어값과 상기 제2 노광 제어값과의 차분인 노광 제어값 차분을 전화소에 대해서 산출하는 노광 제어값 차분 산출부를 더 포함하고, 상기 촬상부는 상기 제1 노광 제어값에 기초하여 촬영하여 상기 제1 화상을 취득하고, 상기 제2 노광 제어값에 기초하여 촬영하여 상기 제2 화상을 취득할 수 있다.
상기 제1 노광 제어값과 상기 제2 노광 제어값은 상기 노광 제어값 산출부에 의해 서로 독립적으로 산출될 수 있다. 상기 제1 노광 제어값과 제2 노광 제어값은 일치할 필요가 없다.
상기 촬상부는 상기 노광 제어값 산출부에 의해 산출된 상기 제1 노광 제어값 중 조리개값을 일치시킨 상기 제2 노광 제어값으로 촬영하여 상기 제2 화상을 취득할 수 있다.
상기 촬상 장치는, 상기 플래시 반사량 산출부에 의해 산출된 상기 제1 플래시 반사량에 기초하여 주변광의 컬러 밸런스와 플래시광의 컬러 밸런스를 선형 보간하고 대상 화소의 컬러 밸런스를 산출하는 컬러 밸런스 산출부를 더 포함하고, 상기 화이트 밸런스 게인 산출부는 상기 컬러 밸런스에 기초하여 상기 화이트 밸런스 게인을 산출할 수 있다.
상기 제1 플래시 반사량 보간부는 중심에 위치하는 보간 대상이 되는 화소의 상하좌우의 보간원 화소의 휘도값과 상기 제1 플래시 반사량에 기초하여 상기 제2 플래시 반사량을 산출할 수 있다.
상기 제1 플래시 반사량 보간부는 중심에 위치하는 보간 대상이 되는 화소와, 상하 방향, 좌우 방향 각각의 보간원 화소와의 거리는 일정할 수 있다.
본 발명의 일 실시예의 다른 측면에 따르면, 다운샘플링 처리에 의해 화소수가 적은 플래시 비발광시의 제1 화상을 취득하고, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 단계; 상기 제2 화상이 상기 제1 화상의 사이즈와 동일해지도록 상기 제2 화상에 대해 다운샘플링 처리하여 제3 화상을 취득하는 단계; 취득된 상기 제1 화상의 전화소에 대해서 제1 피사체 휘도를 산출하고, 취득된 상기 제3 화상의 전화소에 대해 제2 피사체 휘도를 산출하는 단계; 화소별 상기 제1 피사체 휘도와 화소별 상기 제2 피사체 휘도와의 차분인 피사체 휘도 차분을 전화소에 대해 산출하는 단계; 상기 피사체 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 단계; 상기 제3 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제1 플래시 반사량에 대해 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 단계; 상기 제2 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제2 플래시 반사량에 대해, 상기 제3 화상의 사이즈로부터 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여 제3 플래시 반사량을 산출하는 단계; 및 상기 제3 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출하는 단계를 포함하는 촬상 방법이 제공된다.
본 발명의 일 실시예의 다른 측면에 따르면, 화소수가 적은 플래시 비발광시의 제1 화상과, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 촬상부; 상기 제2 화상을 상기 제1 화상의 사이즈로 다운샘플링하여 제3 화상을 생성하는 다운샘플링부; 상기 제1 화상과 상기 제3 화상의 휘도 차분을 산출하는 휘도 차분 산출부; 기 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 플래시 반사량 산출부; 및 상기 제1 플래시 반사량에 기초하여, 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함하는, 촬상 장치가 제공된다.
상기 촬상 장치는, 상기 제1 플래시 반사량에 대해, 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 제1 플래시 반사량 보간부를 더 포함하고, 상기 화이트 밸런스 게인 산출부는, 상기 제2 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출할 수 있다.
상기 촬상 장치는, 상기 제2 화상의 각 화소의 휘도값을 이용하여, 상기 제2 플래시 반사량에 대해 상기 제3 화상의 화상 사이즈에서 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여, 제3 플래시 반사량을 산출하는 제2 플래시 반사량 보간부를 더 포함하고, 상기 화이트 밸런스 게인 산출부는, 상기 제3 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출할 수 있다.
또한, 상기 촬상 장치는은, 상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 화이트 밸런스 제어부를 더 포함할 수 있다.
본 발명의 일 실시예의 다른 측면에 따르면, 화소수가 적은 플래시 비발광시의 제1 화상과, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 단계; 상기 제2 화상을 상기 제1 화상의 사이즈로 다운샘플링하여 제3 화상을 생성하는 단계; 상기 제1 화상과 상기 제3 화상의 휘도 차분을 산출하는 단계; 기 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 단계; 및 기 제1 플래시 반사량에 기초하여, 화이트 밸런스 게인을 산출하는 단계를 포함하는, 촬상 방법이 제공된다.
상기 촬상 방법은, 상기 제1 플래시 반사량에 대해, 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 단계를 더 포함하고, 상기 화이트 밸런스 게인을 산출하는 단계는, 상기 제2 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출할 수 있다.
상기 촬상 방법은, 상기 제2 화상의 각 화소의 휘도값을 이용하여, 상기 제2 플래시 반사량에 대해 상기 제3 화상의 화상 사이즈에서 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여, 제3 플래시 반사량을 산출하는 단계를 더 포함하고, 상기 화이트 밸런스 게인을 산출하는 단계는, 상기 제3 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출할 수 있다.
또한, 상기 촬상 방법은, 상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 단계를 더 포함할 수 있다.
본 발명의 실시예들에 따르면 화소수가 적은 플래시 비발광시의 화상과, 화소수가 많은 본 촬영 화상인 플래시 발광시의 화상을 비교하여 화소 단위로 화이트 밸런스 게인을 산출하는 방법에서, 다운샘플링된 화소에 대해 적절하게 보간함으로써 화상 전체를 적절한 화이트 밸런스로 조절할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 촬상 장치의 구조의 구조를 도시한 블럭도이다.
도 2A는 본 발명의 일 실시예에 따른 촬상 장치(100)의 화이트 밸런스 게인의 산출 동작을 도시한 흐름도이다.
도 2B는 본 발명의 일 실시예에 따른 촬상 장치(100)의 화이트 밸런스 게인의 산출 동작을 도시한 흐름도이다.
도 3은 베이어 유닛을 설명하기 위한 도면이다.
도 4는 다운샘플링 처리를 설명하기 위한 도면이다.
도 5는 플래시 발광 촬영으로 취득되는 화상의 일 예를 나타낸 도면이다.
도 6은 플래시 비발광 촬영으로 취득되는 화상의 일 예를 나타낸 도면이다.
도 7은 플래시 비발광 화상에 대해 노광 제어값 차분을 적용한 화상의 일 예를 나타낸 도면이다.
도 8은 보간 대상 화소 및 보간원 화소를 설명하기 위한 도면이다.
도 9는 보간 처리를 설명하기 위한 도면이다.
도 10은 보간 처리를 설명하기 위한 도면이다.
도 11은 보간 대상 화소 및 보간원 화소를 설명하기 위한 도면이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성 요소에 대해서는 동일 부호를 붙임으로써 중복 설명을 생략한다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
도 1은, 본 발명의 일 실시예에 따른 촬상 장치(100)에서의 화상 처리 파이프 라인의 블럭도를 도시한다. 도 2A 및 도 2B는, 본 발명의 일 실시예에 따른 촬상 장치(100)의 화이트 밸런스 게인의 산출 동작을 도시한 흐름도이다.
렌즈(102)를 통과한 광은 CCD 이미지 센서 또는 CMOS 이미지 센서 등의 촬상 소자(108)에 결상된다. 그 결과 촬상 소자(108)로부터 신호 처리부(110)을 거쳐 RGB 화상 신호가 얻어진다. 신호 처리부(110)는 촬상 소자(108)로부터의 신호에 대해 색분리 처리, A/D변환 등을 수행한다.
신호 처리부(110)에서 얻어진 RGB 화상 신호는 전처리부(112)에 의한 결함 화소 보정, 그레이 레벨 보정, 셰이딩 보정 등의 처리가 실시된다. 전처리부(112)는 AE 평가값 산출부(124)를 포함하여, RGB 화상 신호에 기초하여 AE 평가값을 산출한다. AE 평가값은 AE 산출부(150)에 보내진다. 실제로 촬영이 이루어지면 AE 산출부(150)에서 산출된 AE값에 기초하여 노광 제어부(152)는 조리개(104), 셔터(106)를 조정한다.
또 전처리부(112)에서 처리된 화상 신호는 후처리부(114)에 의한 화이트 밸런스 보정 처리, 베이어 색보간(디모자이크) 처리, 색보정 처리, 엣지 강조 처리, 감마 보정 처리, 노이즈 저감 처리 등 여러가지 화상 처리가 실시된다. 그 후 RGB-YCC변환부(116)에서 RGB신호가 YCC신호로 변환되고 데이터 압축부(118)에서 JPEG 등의 형식으로 압축 처리된다. 그리고 메모리 카드 접속부(120)를 통해 메모리 카드(122)에 화상 데이터가 기록된다. 메모리 카드 접속부(120)는 메모리 카드(122)와 촬상 장치(100) 사이의 인터페이스 역할을 한다.
본 실시예에 따르면, 플래시(160)를 발광하여 촬영함으로써 취득되는 플래시 발광 화상에 대해 화소 단위로 적절한 화이트 밸런스 게인을 산출하는 것을 특징으로 한다. 이하, 본 실시예에 따른 촬상 장치(100)의 촬영 동작에 대해서 설명하기로 한다.
사용자에 의해 셔터 버튼이 눌림으로써 촬영이 개시된다. 이하에서는 노광 조건에 의해 플래시 발광이 필요한 경우에 대해서 설명하기로 한다. 플래시 발광이 필요한 노광 조건의 경우, 플래시(160)를 발광하지 않는 플래시 비발광 촬영과 플래시(160)를 발광하는 플래시 발광 촬영을 수행함으로써, 1회의 촬영이 이루어 진다.
우선 플래시(160)를 발광하지 않고 촬영하여 플래시 비발광시의 화상을 취득한다(단계S101). 플래시(160)를 발광시키지 않고 촬상된 제1 촬상은, 도 6과 같은 플래시 발광전의 주변광만에 의한 RGB화상 신호로 이루어진다. 제1 화상은 화상 메모리(130)의 제1 촬상 기억부(132) 등의 기억 수단에 저장된다(단계S102). 상기 제1 화상은 라이브뷰 화상과 같이 다운샘플링 처리 등에 의해, 본 촬영 화상의 사이즈보다 화상 사이즈가 작은 화상이다.
계속해서 플래시(160)를 발광하는 촬영인 제2 촬상에 의해, 도 5와 같은 플래시 발광 후의 RGB화상 신호로 이루어진 제2 화상이 취득된다(단계S103). 제2 화상은, 화상 메모리(130)의 제2 촬상 기억부(134) 등의 기억 수단에 저장된다(단계S104).
멀티AWB 처리부(140)의 컬러 밸런스 산출부(144)는 입력된 화상 신호로부터 컬러 밸런스를 산출한다. 컬러 밸런스 산출부(144)는 플래시 비발광 화상의 RGB 화상 신호에 대해, 색상 성분 별로, 즉, R, G, B 별로, 플래시(160)가 발광되지 않는 주변광뿐인 경우의 컬러 밸런스 CBer(=R/G)과 CBeb(=B/G)을 산출한다. 동시에 주변광이 없는 플래시광으로만 촬상한 경우의 컬러 밸런스 CBfr, CBfb를 기본값으로 하여, ROM에 사전에 저장해놓은 데이터를 ROM으로부터 독출한다.
도 1은, 본 발명의 실시형태에 관한 촬상 장치(100)에서의 화상 처리 파이프 라인의 블럭도를 도시한다. 멀티AWB 처리부(140)의 입력값은 플래시 비발광시의 RGB화상 신호와 플래시 발광시의 RGB화상 신호를 포함하며, 출력값은 화이트 밸런스 게인으로서, 전화소 각각의 화이트 밸런스 게인을 포함한다. 화이트 밸런스 제어부(126)는 전화소에 대해 화소 단위로 화이트 밸런스 게인을 적용한다.
우선, 화상 메모리(130) 등의 기억 수단에 저장된 플래시 비발광시의 RGB화상 신호와 플래시 발광시의 RGB화상 신호에 기초하여, 화소 단위의 피사체 휘도가 산출된다. 화소 단위의 피사체 휘도의 산출은, 도 3과 같이 R,G,G,B의 4개의 화소(12)를 1조로 한 베이어 유닛(14)을 1화소로 간주하거나, 베이어 색보간(디모자이크) 처리에 의해 베이어 화상에서의 R,G,G,B의 4개의 화소로부터 각 색 성분(R,G,B)으로부터 하나씩의 화소를 생성하여 수행한다.
다음으로 플래시 발광 화상인 제2 화상이 플래시 비발광 화상인 제1 화상과 동일 사이즈로 변경된다(단계S105). 제1 화상 사이즈로의 변경은, 상기 제2 화상에 화상 다운샘플링 처리를 하여, 제3 화상이 산출함으로써 수행된다. 도 4는 다운샘플링 처리를 설명하기 위한 도면이다. 도 4의 왼쪽 그림이 다운샘플링 전의 화상을 도시한다. 본 실시예에서 다운샘플링 처리란, 다운샘플링 전의 화상을 종횡 2분의 1로 다운샘플링할 경우, 4개의 화소로 이루어지는 픽셀 그룹(PG)에서 하나의 화소만을 추출하여, 작은 사이즈의 화상으로 변환하는 처리를 의미한다. 예를 들면, 도 4에 도시된 바와 같이, 하나의 픽셀 그룹(PG)에서 왼쪽 위의 화소(22)만을 뽑아내어 오른쪽 도면과 같은 화상으로 변환하는 것을 의미한다. 다운샘플링 처리는 다운샘플링 전의 화상을 종횡 3분의 1, 4분의 1의 사이즈로 다운샘플링하는 경우에도 유사하게 수행된다.
제2 화상에 대해 다운샘플링 처리를 할 때, 플래시 비발광 화상인 제1 화상이 어떻게 다운샘플링되는지에 따라 다운샘플링 방법을 변경되는 것도 가능하다. 도 4에서는 픽셀 그룹(PG) 내의 하나의 화소(예를 들면, 왼쪽 위의 화소(22))를 남기는 다운샘플링를 수행하였으나, 제2 화상의 다운샘플링 방법은, 제1 화상의 다운샘플링 방법에 따라 달라질 수 있다. 예를 들면, 제1 화상의 다운샘플링 방법이 도 4의 픽셀 그룹(PG) 내의 모든 화소의 평균값으로 하는 다운샘플링일 경우에는, 제2 화상에 대한 다운샘플링 처리도, 픽셀 그룹(PG) 내의 화소들의 평균값을 산출하여 제3 화상의 화소들을 산출하는 방법을 이용할 수 있다.
다음으로, 제1 화상 및 제3 화상의 각 화소에 대해서 멀티 AWB 처리부(140)가 화소 단위의 피사체 휘도값을 산출한다. 수학식 1 및 수학식 2에서 Y는 각 화소의 휘도값이다. 일예로서, G의 신호값은 휘도값Y와 거의 같은 값이 되기 때문에 휘도값Y 대신에 G의 신호값을 사용할 수도 있다. AE는 노출 제어값을 산출하는 AE 산출부(150)가 목표로 하는 목표 휘도 신호값이다. 이 계산으로 화소 단위로 제1 화상의 제1 피사체 휘도값(BVlp)와, 제3 화상의 제2 피사체 휘도값(BVsp)을 구한다. 여기에서 BVlp와 BVsp는 로그로 표현한 신호값으로서 APEX값으로 단위계를 정렬시켰다.
Figure pat00001
Figure pat00002
이 때 도 6에 도시한 제1 화상을 촬영할 때의 노광 제어값과, 도 5에 도시한 제2 화상을 촬영할 때의 노광 제어값이 일치하지 않는 경우에는 각 노광 제어값의 차분을 고려한다. 노광 제어값은 수학식 3의 관계를 갖는다. 여기에서 TV는 셔터 스피드, AV는 조리개값, SV는 감도, BV는 피사체 휘도가 되어 각각 APEX값으로 표현되어 있다.
Figure pat00003
플래시 비발광시의 TV, AV, SV에서 산출되는 피사체 휘도값 BV인 제1 노광 제어값(BVl)과, 플래시 발광시의 TV, AV, SV에서 산출되는 피사체 휘도값 BV인 제2 노광 제어값(BVs)을 각각 수학식 3을 이용해 구한다. 제1 화상의 경우 각각 제1 화상에 대한 노광 제어값들인 TVl, AVl, SVl을 이용하여 수학식 4와 같이 제1 노광 제어값(BVl)을 구하고, 제2 화상의 경우 각각 제2 화상에 대한 노광 제어 값들인 TVs, AVs, SVs을 이용하여 수학식 5와 같이 제2 노광 제어값(BVs)을 구한다.
Figure pat00004
Figure pat00005
다음으로, 수학식 4와 수학식 5로부터 구한 BVl과 BVs의 차분값(BVdiff)를 수학식 6에 의해 구한다. 이 때 제1 화상과 제2 화상의 노광 제어값이 일치할 경우에는 차분값(BVdiff)는 0이 된다.
Figure pat00006
이와 같이 하여 구한 화소 단위의 제1 화상의 제1 피사체 휘도값(BVlp)과, 노광 제어값의 차분값(BVdiff)을 고려하여 플래시 비발광 피사체 휘도 차분값(BVlpdiff)를 수학식 7에 의해 구한다. 도 6의 적정 노광으로 촬영된 플래시 비발광 화상에 대해 수학식 7의 계산을 적용하면, 도 7과 같이 화상 전체가 적정한 밝기가 된 화상이 된다.
Figure pat00007
멀티 AWB 처리부(140)가 수학식 8에 의해 화소 단위로, 제3 화상의 제2 피사체 휘도값(BVsp)과 플래시 비발광 피사체 휘도 차분값(BVlpdiff)과의 차분값인 플래시 발광 화상 피사체 휘도 차분값(BVdiffp)을 구한다.
Figure pat00008
수학식 8에서 구한 플래시 발광 화상 피사체 휘도 차분값(BVdiffp)으로부터 플래시 반사량 산출부(141)가 플래시 발광 화상인 제3 화상의 각 화소의 제1 플래시 반사량을 구한다(단계S106). 제3 화상의 광량(Lf)은 수학식 9와 같다.
Figure pat00009
제3 화상의 광량(Lf)으로부터, 플래시 비발광 화상인 제1 화상에서의 주변광량을 1로 했을 때의 제1 플래시 반사량(Ratio)을 구하면, 수학식 10과 같이 된다. 그리고 제3 화상의 모든 화소에 대해서 제1 플래시 반사량을 산출한다(단계S107).
Figure pat00010
제3 화상의 각 화소의 휘도값과, 수학식 10에서 구한 제1 플래시 반사량에 기초하여 제1 플래시 반사량 보간부(142)가 보간을 하고 제3 화상의 각 화소에 대해서 제2 플래시 반사량을 구한다(단계S108, S109). 일예로서, 각 화소의 G의 신호값은 휘도값과 거의 같은 값이 되기 때문에 휘도값 대신에 G의 신호값을 사용할 수도 있다. 제1 플래시 반사량 보간부(142)가 보간을 하여 제2 플래시 반사량을 산출하는 목적은, 애당초 제1 화상과 제3 화상은 촬상의 타이밍이 동시는 아니기 때문에 카메라 흔들림 등의 영향에 의해 어긋날 가능성이 있고, 그 어긋남에 의해 잘못된 제1 플래시 반사량을 산출할 가능성이 있기 때문이다. 본 발명의 일 실시예에 따르면, 제1 플래시 반사량 보간부(142)가 주변 화소의 값으로부터 보간 대상 화소를 보간함으로써, 어긋남의 영향을 줄일 수 있다.
여기에서 도 8에서 제3 화상에서의 보간 대상 화소를 C55라고 하면 상하좌우의 화소 C15, C95, C51, C59를 보간원의 화소라고 한다. 도 8의 실시예에서는, 보간 대상 화소(C55)로부터 1 화소 떨어진 화소를 보간원의 화소라고 하였으나, 보간원 화소는 다양하게 결정될 수 있다. 예를 들면, 보간원 화소는 상하좌우의 인접한 화소들(C35, C75, C53, C57)이거나, 상하좌우의 2 화소 이상 떨어진 화소들일 수 있다.
수학식 10 등을 참조하면, 보간원 화소의 휘도값 Y1, Y2와 제1 플래시 반사량 Ratio1, Ratio2가 이미 알려진 값이고, 또한 보간 대상 화소의 휘도값 Y도 이미 알려진 값이다. 이들 값으로부터 수학식 11에서 제3 화상의 보간 대상 화소의 제2 플래시 반사량을 구한다. 이러한 보간의 개념도는 도 9와 같다.
Figure pat00011
수학식 11은 2점간의 보간이 되기 때문에 상하 방향의 플래시 반사량(Ratio_v)과 좌우 방향의 플래시 반사량(Ratio_h)을 각각 수학식 11에 의해 구하고, 제2 플래시 반사량(Ratio_result)을 수학식 12와 같이 평균값으로서 산출한다.
Figure pat00012
또한, 수학식 12와 같이 평균값을 산출하는 것이 아니라 전화소에 대해서 상하 방향의 보간을 한 후에 좌우 방향의 보간을 하도록 상하 방향과 좌우 방향의 보간을 분리해도 좋다.
상기와 같은 보간 계산을 하면, 도 10과 같이 보간 대상 화소 A, B, C, D, 및 E가 보간원 화소 1, 2사이에 여러 개 있고 보간 대상 화소의 휘도값이 빈번하게 변화되는 경우, 및/또는 피사체에 엣지가 있어 색온도차에 큰 경계가 발생할 경우에도 적절하게 보간하여 플래시 반사량을 적절하게 산출할 수 있다.
이어서 제3 화상의 화상 사이즈에서 제2 화상의 화상 사이즈로 확대한다. 도 11과 같이 상하좌우 방향의 화소를 참조하여 제2 화상에 기초하여 이미 알려진 다운샘플링 된 화소의 휘도값으로부터, 수학식 11 및 수학식 12를 사용하여 제2 플래시 반사량 보간부(143)가 보간을 한다(단계S110). 이와 같이 하여 제2 화상의 화상 사이즈의 전화소에 대해서 보간을 하여 제3 플래시 반사량을 산출한다(단계S111).
이 제3 플래시 반사량을 토대로 컬러 밸런스 산출부(144)가 플래시광의 컬러 밸런스(CBf)와 주변광의 컬러 밸런스(CBe)를 선형 보간하여 대상 화소의 컬러 밸런스(CB)를 구한다(단계S112). 컬러 밸런스 CB는 R, B 각각 개별적으로 구한다.
Figure pat00013
수학식 13에서 구한 R과 B의 컬러 밸런스로부터 수학식 14에 의해 화이트 밸런스 게인 산출부(145)가 대상 화소의 화이트 밸런스 게인(WBGainR, WBGainB)을 산출한다(단계S113).
Figure pat00014
수학식 13 및 수학식 14의 처리를 전화소에 대해서 수행함으로써(단계S114), 플래시 비발광 화상과 플래시 발광 화상의 화상 사이즈가 다른 경우에도 플래시광과 주변광이 혼재되는 씬에 대해서 적절한 화이트 밸런스 게인을 화소 단위로 구할 수 있다.
모든 화소의 화이트 밸런스 게인을 산출한 후에 화이트 밸런스 제어부(126)에 의해 플래시 발광 화상의 해당 화소에 화이트 밸런스 게인을 적용함으로써 적절한 화이트 밸런스 처리를 할 수 있다.
종래에는 플래시 비발광 화상과 플래시 발광 화상의 화상 사이즈가 다른 경우에 적정한 화이트 밸런스 게인을 산출할 수 없다는 문제가 있었다. 한편 본 실시형태에서는 화상 사이즈가 다른 플래시 비발광 화상이라도 화소의 휘도값을 토대로 보간함으로써 주변광과 플래시광이 혼재된 씬에 대해서도 화소 단위로 적절한 화이트 밸런스 게인을 산출할 수 있게 된다.
즉, 라이브뷰 화상 등 화소수가 적은 플래시 비발광시의 화상과, 화소수가 많은 풀사이즈의 본 촬영 화상인 플래시 발광시의 화상을 비교하여 화소 단위로 적절한 화이트 밸런스 게인을 산출하는 방법에서, 다운샘플링 된 화소에 대해서 적절하게 보간함으로써 화상 전체를 적절한 화이트 밸런스로 조정할 수 있다.
이상, 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해서 상세히 설명하였으나, 본 발명은 상기 예로 한정되지 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 특허청구범위에 기재된 기술적 사상의 범주내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하고 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
100 촬상 장치
102 렌즈
104 조리개
106 셔터
108 촬상 소자
110 신호 처리부
112 전처리부
114 후처리부
116 RGB-YCC변환부
118 데이터 압축부
120 메모리 카드 접속부
122 메모리 카드
124 AE 평가값 산출부
126 화이트 밸런스 제어부
130 화상 메모리
132 제1 촬상 기억부
134 제2 촬상 기억부
140 멀티 AWB 처리부
141 플래시 반사량 산출부
142 제1 플래시 반사량 보간부
143 제2 플래시 반사량 보간부
144 컬러 밸런스 산출부
145 화이트 밸런스 게인 산출부
150 AE 산출부
152 노광 제어부
160 플래시

Claims (17)

  1. 다운샘플링 처리에 의해 화소수가 적은 플래시 비발광시의 제1 화상을 취득하고, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 촬상부;
    상기 제2 화상이 상기 제1 화상의 사이즈와 동일해지도록 상기 제2 화상에 대해 다운샘플링 처리하여 제3 화상을 취득하는 다운샘플링부;
    취득된 상기 제1 화상의 전화소에 대해 제1 피사체 휘도를 산출하고, 취득된 상기 제3 화상의 전화소에 대해서 제2 피사체 휘도를 산출하는 피사체 휘도 산출부;
    화소별 상기 제1 피사체 휘도와 화소별 상기 제2 피사체 휘도와의 차분인 피사체 휘도 차분을 전화소에 대해서 산출하는 피사체 휘도 차분 산출부;
    상기 피사체 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 플래시 반사량 산출부;
    상기 제3 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제1 플래시 반사량에 대해 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 제1 플래시 반사량 보간부;
    상기 제2 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제2 플래시 반사량에 대해, 상기 제3 화상의 사이즈로부터 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여 제3 플래시 반사량을 산출하는 제2 플래시 반사량 보간부; 및
    상기 제3 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함하는 촬상 장치.
  2. 제1항에 있어서, 상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 화이트 밸런스 제어부를 더 포함하는 촬상 장치.
  3. 제1항 또는 제2항에 있어서, 상기 촬상 장치는,
    상기 제1 화상에 대한 제1 노광 제어값과, 상기 제2 화상에 대한 제2 노광 제어값을 산출하는 노광 제어값 산출부; 및
    상기 제1 노광 제어값과 상기 제2 노광 제어값과의 차분인 노광 제어값 차분을 전화소에 대해서 산출하는 노광 제어값 차분 산출부를 더 포함하고,
    상기 촬상부는 상기 제1 노광 제어값에 기초하여 촬영하여 상기 제1 화상을 취득하고, 상기 제2 노광 제어값에 기초하여 촬영하여 상기 제2 화상을 취득하는, 촬상 장치.
  4. 제1항 또는 제2항에 있어서, 상기 제1 노광 제어값과 상기 제2 노광 제어값은 상기 노광 제어값 산출부에 의해 서로 독립적으로 산출되는, 촬상 장치.
  5. 제1항 또는 제2항에 있어서, 상기 촬상부는 상기 노광 제어값 산출부에 의해 산출된 상기 제1 노광 제어값 중 조리개값을 일치시킨 상기 제2 노광 제어값으로 촬영하여 상기 제2 화상을 취득하는, 촬상 장치.
  6. 제1항 또는 제2항에 있어서, 상기 촬상 장치는,
    상기 플래시 반사량 산출부에 의해 산출된 상기 제1 플래시 반사량에 기초하여 주변광의 컬러 밸런스와 플래시광의 컬러 밸런스를 선형 보간하고 대상 화소의 컬러 밸런스를 산출하는 컬러 밸런스 산출부를 더 포함하고,
    상기 화이트 밸런스 게인 산출부는 상기 컬러 밸런스에 기초하여 상기 화이트 밸런스 게인을 산출하는 촬상 장치.
  7. 제1항 또는 제2항에 있어서, 상기 제1 플래시 반사량 보간부는 중심에 위치하는 보간 대상이 되는 화소의 상하좌우의 보간원 화소의 휘도값과 상기 제1 플래시 반사량에 기초하여 상기 제2 플래시 반사량을 산출하는 촬상 장치.
  8. 제7항에 있어서, 상기 제1 플래시 반사량 보간부는 중심에 위치하는 보간 대상이 되는 화소와, 상하 방향, 좌우 방향 각각의 보간원 화소와의 거리는 일정한 촬상 장치.
  9. 다운샘플링 처리에 의해 화소수가 적은 플래시 비발광시의 제1 화상을 취득하고, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 단계;
    상기 제2 화상이 상기 제1 화상의 사이즈와 동일해지도록 상기 제2 화상에 대해 다운샘플링 처리하여 제3 화상을 취득하는 단계;
    취득된 상기 제1 화상의 전화소에 대해서 제1 피사체 휘도를 산출하고, 취득된 상기 제3 화상의 전화소에 대해 제2 피사체 휘도를 산출하는 단계;
    화소별 상기 제1 피사체 휘도와 화소별 상기 제2 피사체 휘도와의 차분인 피사체 휘도 차분을 전화소에 대해 산출하는 단계;
    상기 피사체 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 단계;
    상기 제3 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제1 플래시 반사량에 대해 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 단계;
    상기 제2 화상의 화소 단위의 휘도값을 사용하여 화소별 상기 제2 플래시 반사량에 대해, 상기 제3 화상의 사이즈로부터 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여 제3 플래시 반사량을 산출하는 단계; 및
    상기 제3 플래시 반사량으로부터 화소 단위로 화이트 밸런스 게인을 산출하는 단계를 포함하는 촬상 방법.
  10. 화소수가 적은 플래시 비발광시의 제1 화상과, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 촬상부;
    상기 제2 화상을 상기 제1 화상의 사이즈로 다운샘플링하여 제3 화상을 생성하는 다운샘플링부;
    상기 제1 화상과 상기 제3 화상의 휘도 차분을 산출하는 휘도 차분 산출부;
    상기 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 플래시 반사량 산출부; 및
    상기 제1 플래시 반사량에 기초하여, 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부를 포함하는, 촬상 장치.
  11. 제10항에 있어서,
    상기 촬상 장치는, 상기 제1 플래시 반사량에 대해, 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 제1 플래시 반사량 보간부를 더 포함하고,
    상기 화이트 밸런스 게인 산출부는, 상기 제2 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출하는, 촬상 장치.
  12. 제11항에 있어서,
    상기 촬상 장치는, 상기 제2 화상의 각 화소의 휘도값을 이용하여, 상기 제2 플래시 반사량에 대해 상기 제3 화상의 화상 사이즈에서 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여, 제3 플래시 반사량을 산출하는 제2 플래시 반사량 보간부를 더 포함하고,
    상기 화이트 밸런스 게인 산출부는, 상기 제3 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출하는, 촬상 장치.
  13. 제12항에 있어서,
    상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 화이트 밸런스 제어부를 더 포함하는 촬상 장치.
  14. 화소수가 적은 플래시 비발광시의 제1 화상과, 상기 제1 화상보다 화소수가 많은 플래시 발광시의 제2 화상을 취득하는 단계;
    상기 제2 화상을 상기 제1 화상의 사이즈로 다운샘플링하여 제3 화상을 생성하는 단계;
    상기 제1 화상과 상기 제3 화상의 휘도 차분을 산출하는 단계;
    상기 휘도 차분으로부터 화소 단위로 제1 플래시 반사량을 산출하는 단계; 및
    상기 제1 플래시 반사량에 기초하여, 화이트 밸런스 게인을 산출하는 단계를 포함하는, 촬상 방법.
  15. 제14항에 있어서,
    상기 촬상 방법은, 상기 제1 플래시 반사량에 대해, 상기 제1 화상과 상기 제3 화상의 위치 어긋남의 영향을 줄이는 보간 처리를 하여 제2 플래시 반사량을 산출하는 단계를 더 포함하고,
    상기 화이트 밸런스 게인을 산출하는 단계는, 상기 제2 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출하는, 촬상 장치.
  16. 제14항에 있어서,
    상기 촬상 방법은, 상기 제2 화상의 각 화소의 휘도값을 이용하여, 상기 제2 플래시 반사량에 대해 상기 제3 화상의 화상 사이즈에서 상기 제2 화상의 사이즈로 확대하는 보간 처리를 하여, 제3 플래시 반사량을 산출하는 단계를 더 포함하고,
    상기 화이트 밸런스 게인을 산출하는 단계는, 상기 제3 플래시 반사량에 기초하여 상기 화이트 밸런스 게인을 산출하는, 촬상 방법.
  17. 제16항에 있어서,
    상기 화이트 밸런스 게인을 상기 제2 화상의 전화소에 화소 단위로 적용하여 화소 단위로 화이트 밸런스를 제어하는 단계를 더 포함하는 촬상 방법.
KR1020100127097A 2009-12-24 2010-12-13 촬상 장치 및 촬상 방법 KR101710629B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/977,900 US8717454B2 (en) 2009-12-24 2010-12-23 Image pickup apparatus and image pickup method for adjusting white balance to account for flash and external light sources

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2009-293474 2009-12-24
JP2009293474A JP5566679B2 (ja) 2009-12-24 2009-12-24 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
KR20110074440A true KR20110074440A (ko) 2011-06-30
KR101710629B1 KR101710629B1 (ko) 2017-02-27

Family

ID=44347629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100127097A KR101710629B1 (ko) 2009-12-24 2010-12-13 촬상 장치 및 촬상 방법

Country Status (2)

Country Link
JP (1) JP5566679B2 (ko)
KR (1) KR101710629B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140077098A (ko) * 2012-12-13 2014-06-23 삼성전자주식회사 촬상 장치 및 촬상 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015192179A (ja) * 2014-03-27 2015-11-02 リコーイメージング株式会社 ホワイトバランス調整装置、撮影装置およびホワイトバランス調整方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08340542A (ja) * 1995-04-13 1996-12-24 Ricoh Co Ltd 電子スチルカメラ
KR20060070557A (ko) * 2003-09-04 2006-06-23 소니 가부시끼 가이샤 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 프로그램
JP2009094997A (ja) * 2007-09-18 2009-04-30 Ricoh Co Ltd 撮像装置、撮像方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167476A (ja) * 2003-12-01 2005-06-23 Canon Inc ホワイトバランス制御装置
JP4735039B2 (ja) * 2005-05-18 2011-07-27 カシオ計算機株式会社 ホワイトバランス調整装置、ホワイトバランス調整方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08340542A (ja) * 1995-04-13 1996-12-24 Ricoh Co Ltd 電子スチルカメラ
KR20060070557A (ko) * 2003-09-04 2006-06-23 소니 가부시끼 가이샤 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 프로그램
JP2009094997A (ja) * 2007-09-18 2009-04-30 Ricoh Co Ltd 撮像装置、撮像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140077098A (ko) * 2012-12-13 2014-06-23 삼성전자주식회사 촬상 장치 및 촬상 방법

Also Published As

Publication number Publication date
KR101710629B1 (ko) 2017-02-27
JP2011135377A (ja) 2011-07-07
JP5566679B2 (ja) 2014-08-06

Similar Documents

Publication Publication Date Title
US10574961B2 (en) Image processing apparatus and image processing method thereof
JP5743696B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8717454B2 (en) Image pickup apparatus and image pickup method for adjusting white balance to account for flash and external light sources
JP6049343B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101303410B1 (ko) 촬상장치 및 촬상방법
JP5761946B2 (ja) 画像処理装置、画像処理方法及び記憶媒体
US9036046B2 (en) Image processing apparatus and method with white balance correction
US8441552B2 (en) Photographing apparatus with improved white balance correction and method and recording medium
JP2013058858A (ja) 画像処理装置、画像処理方法及びプログラム
CN113691795A (zh) 图像处理设备、图像处理方法和存储介质
JP5854716B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101710630B1 (ko) 촬상 장치, 촬상 방법 및 기록매체
KR102068747B1 (ko) 촬상 장치 및 촬상 방법
KR101710629B1 (ko) 촬상 장치 및 촬상 방법
JP2005167476A (ja) ホワイトバランス制御装置
JP6570311B2 (ja) 画像処理装置及び画像処理方法
JP2006171315A (ja) ストロボ制御装置、ストロボ制御プログラム、ストロボ制御方法
JP2012134678A (ja) 撮像装置及び撮像方法
JP6523908B2 (ja) コード読取装置、コード読取方法、およびプログラム
US11906895B2 (en) Method and system for blending images captured under different strobe conditions
JP2017034536A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6616674B2 (ja) 画像処理装置および方法、および撮像装置
JP2013090238A (ja) 撮像装置及びホワイトバランス調整方法
JP6021885B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2022151987A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant