KR101861153B1 - 화상처리장치 및 그 제어 방법 - Google Patents

화상처리장치 및 그 제어 방법 Download PDF

Info

Publication number
KR101861153B1
KR101861153B1 KR1020177010705A KR20177010705A KR101861153B1 KR 101861153 B1 KR101861153 B1 KR 101861153B1 KR 1020177010705 A KR1020177010705 A KR 1020177010705A KR 20177010705 A KR20177010705 A KR 20177010705A KR 101861153 B1 KR101861153 B1 KR 101861153B1
Authority
KR
South Korea
Prior art keywords
virtual light
light source
image
evaluation value
area
Prior art date
Application number
KR1020177010705A
Other languages
English (en)
Other versions
KR20170057401A (ko
Inventor
테츠야 하타
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20170057401A publication Critical patent/KR20170057401A/ko
Application granted granted Critical
Publication of KR101861153B1 publication Critical patent/KR101861153B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H04N5/23229—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G06T5/008—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23219—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

리라이팅 처리에 사용하는 가상 광원의 위치를 유연하게 제어해서 피사체의 음영을 보정 가능한 화상처리장치 및 그 제어 방법을 제공한다. 음영상태 검출부는, 화상내의 피사체 영역에 대해서, 음영의 상태를 의미하는 평가 값을 산출한다. 그리고, 가상 광원 제어부는 그 평가 값에 근거해서 가상 광원을 설정하고, 가상 광 부가부는 가상 광원이 조사하는 가상 광의 영향을 상기 화상에 적용시킨다.

Description

화상처리장치 및 그 제어 방법{IMAGE PROCESSING APPARATUS AND CONTROL METHOD THEREOF}
본 발명은, 화상처리장치 및 그 제어 방법에 관한 것으로, 특히 화상의 밝기를 보정하는 기술에 관한 것이다.
종래, 화상중의 피사체에 대하여, 가상 광의 영향을 적용함으로써, 피사체의 어두운 부분의 밝기를 보정하는 기술이 알려져 있다(일본 특허공개2010-135996호 공보). 이에 따라, 환경광에 의해 생긴 피사체의 음영을, 촬영 후에 조정할 수 있다.
피사체의 음영은, 피사체의 3차원 형상과, 피사체를 조사하는 광의 방향에 좌우된다. 또한, 피사체를 조사하는 광의 방향은, 가상 광원과 피사체와의 상대적인 위치 관계에 좌우된다. 그 때문에, 가상 광에 의해 피사체의 음영을 보정하는 리라이팅(re-lighting) 처리에서는, 가상 광원의 위치를 적절하게 결정할 필요가 있다. 그러나, 일본 특허공개 2010-135996호 공보에 기재된 기술은, 피사체의 음(shade)을 감소시키는 것을 목적으로서 환경광과는 역방향으로 피사체를 조사하는 것이므로, 리라이팅 처리로 실현가능한 음영의 조정이 제한된다.
본 발명은, 이러한 종래기술의 과제를 감안하여 이루어진 것으로, 리라이팅 처리에 사용된 가상 광원의 위치를 유연하게 제어해서 피사체의 음영을 보정 가능한 화상처리장치 및 그 제어 방법을 제공한다.
본 발명의 일 측면에서는, 화상중의 피사체 영역에 대해서, 음영의 상태를 의미하는 평가 값을 산출하는 산출 수단; 상기 평가 값에 근거하여 가상 광원을 설정하는 설정 수단; 및 상기 가상 광원이 조사하는 가상 광의 영향을 상기 화상에 적용시키는 보정수단을 구비하는, 화상처리장치를 제공한다.
본 발명의 다른 측면에서는, 본 발명에 따른 화상처리장치; 및 촬영에 의해 상기 화상을 취득하는 촬상 수단을 구비하는, 촬상 장치를 제공한다.
본 발명의 또 다른 측면에서는, 화상중의 피사체 영역에 대해서, 음영의 상태를 의미하는 평가 값을 산출하는 단계; 상기 평가 값에 근거하여 가상 광원을 설정하는 단계; 및 상기 가상 광원이 조사하는 가상 광의 영향을 상기 화상에 적용시키는 단계를 포함하는, 화상처리장치의 제어 방법을 제공한다.
본 발명의 또 다른 측면에서는, 화상중의 대상 영역의 콘트라스트를 의미하는 평가 값을 산출하는 산출 수단; 상기 화상중의 상기 대상 영역을 조사하는 환경광의 조사 방향을 취득하는 취득 수단; 상기 산출 수단에 의해 산출된 평가 값과 상기 취득 수단에 의해 취득된 환경광의 조사 방향에 근거하여, 가상 광원을 설정하는 설정 수단; 및 상기 가상 광원에 의한 조명 효과를 상기 화상중의 상기 대상 영역에 적용시켜서, 상기 화상중의 상기 대상 영역의 콘트라스트를 보정하는 보정 수단을 구비하는, 화상처리장치를 제공한다.
또한, 상기 설정 수단은, 상기 산출 수단에 의해 산출된 평가 값이 상기 목표값보다 클 경우, 상기 가상 광원의 가상 광으로 조사될 때 상기 화상중의 대상 영역의 어두운 부분을 관찰할 수 있는 조명 효과가 상기 화상중의 대상 영역에 적용되도록, 상기 가상 광원을 설정한다. 그리고, 상기 설정 수단은, 상기 산출 수단에 의해 산출된 평가 값이 상기 목표값보다 크지 않을 경우, 상기 가상 광원의 가상 광으로 조사될 때 상기 화상중의 대상 영역의 밝은 부분을 관찰할 수 있는 조명 효과가 상기 화상중의 대상 영역에 적용되도록, 상기 가상 광원을 설정한다.
본 발명의 다른 측면에서는, 화상중의 대상 영역의 콘트라스트를 의미하는 평가 값을 산출하는 단계; 상기 화상중의 대상 영역을 조사하는 환경광의 조사 방향을 취득하는 단계; 상기 산출하는 단계에서 산출된 평가 값과 상기 취득하는 단계에서 취득된 환경광의 조사 방향에 근거하여, 가상 광원을 설정하는 단계; 및 상기 가상 광원의 조명 효과를 상기 화상중의 대상 영역에 적용시켜서, 상기 화상중의 대상 영역의 콘트라스트를 보정하는 단계를 포함하는, 화상처리장치의 제어 방법을 제공한다.
본 발명의 또 다른 측면에서는, 컴퓨터를, 본 발명에 따른 화상처리장치로서 기능시키는 프로그램을 제공한다.
본 발명의 일 측면에서는, 컴퓨터를 본 발명에 따른 상기 화상처리장치로서 기능시키기 위한 프로그램을 기억하는, 컴퓨터 판독 가능한 기억매체를 제공한다.
본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다.
도 1은, 본 발명에 있어서의 디지털 카메라의 구성을 나타내는 블록 도다.
도 2는, 본 발명에 있어서의 화상처리부의 구성을 나타내는 블록도다.
도 3a는, 본 발명의 제1의 실시예에 있어서의 음영상태 검출부의 처리를 나타내는 흐름도다.
도 3b는, 피사체 및 피사체 영역의 예를 나타내는 모식도다.
도 4는, 제1의 실시예에 있어서의 가상 광원 제어부의 처리를 나타내는 흐름도다.
도 5는, 제1의 실시예에 있어서의 가상 광의 조사 방향의 결정 방법을 설명하기 위한 모식도다.
도 6a는, 제2의 실시예에 있어서의 피사체와 가상 광원의 관계를 모식적으로 도시한 도면이다.
도 6b는, 제2의 실시예에 있어서의 피사체와 가상 광원의 관계를 모식적으로 도시한 도면이다.
도 7은, 제2의 실시예에 있어서의 가상 광원 제어부의 처리를 나타내는 흐름도다.
이하, 본 발명의 실시예들을 첨부도면에 따라 상세히 설명한다.
제1의 실시예
도 1은, 본 발명의 제1의 실시예에 따른 화상처리장치의 일례로서의 디지털 카메라(100)의 구성 예를 나타내는 블록도다. 본 발명은, 촬영된 화상에 적용하는 화상처리, 보다 구체적으로는 리라이팅 처리의 방법을 특징으로 한다. 따라서, 촬영이나 기록에 관한 구성은 필수적이지 않다.
도 1에 있어서, 렌즈 군(101)은, 포커스 렌즈를 포함하는 줌렌즈다. 조리개 기능을 갖추는 셔터(102)가, 렌즈 군(101)과 촬상부(103)와의 사이에 설치된다. 촬상부(103)는, 렌즈 군(101)에 의해 촬상면에 형성된 광학상을 화소단위의 전기신호로 변환하는 ＣＣＤ 또는 ＣＭＯＳ이미지 센서를 대표로 하는 촬상 소자를 가진다. A/D변환기(104)는, 촬상부(103)가 출력하는 아날로그 신호를 디지털 신호(화상 데이터)로 변환한다.
화상처리부(105)는, A/D변환기(104)로부터 출력된 화상 데이터에 대하여, 색보간(디모자이크), 화이트 밸런스 조정, 감마보정 등의 각종 화상처리를 행한다. 화상처리부(105)는, 또한, 촬영된 화상에 대하여 리라이팅 처리를 행한다. 화상 메모리(106)는 화상 데이터를 일시적으로 기억한다. 메모리 제어부(107)는, 화상 메모리(106)에/로부터 (화상 데이터의) 기록/판독을 제어한다. D/A변환기(108)는, 화상 데이터를 아날로그 신호로 변환한다. 표시부(109)는 ＬＣＤ나 유기ＥＬ디스플레이 등의 표시장치를 가지고, 각종 ＧＵＩ나 라이브 뷰 화상, 기록 매체(112)로부터 판독해서 재생한 화상 등을 표시한다. 코덱(CODEC)부(110)는, 화상 메모리(106)에 기억되어 있는 화상 데이터를 기록 매체에 기록하기 위해서 미리 정해진 방법으로 부호화하고, 화상 파일에 포함된 부호화 화상 데이터를, 예를 들면 표시하기 위해 복호한다.
인터페이스(I/F)(111)는, 예를 들면 반도체 메모리 카드나 카드형 하드 디스크 등의 탈착 가능한 기록 매체(112)를, 디지털 카메라(100)와 기계적 및 전기적으로 접속한다. 시스템 제어부(50)는, 예를 들면 ＣＰＵ나 ＭＰＵ등의 프로그램 가능한 프로세서이어도 좋다. 시스템 제어부(50)는, 예를 들면 불휘발성 메모리(121)나 내장 불휘발성 메모리에 기록된 프로그램을 실행해서 필요한 블록이나 회로를 제어함에 의해, 디지털 카메라(100)의 기능을 실현한다.
얼굴검출부(113)는, 촬영된 화상에 포함된 얼굴영역을 검출하고, 검출된 얼굴영역의 각각에 대해서, 위치, 크기, 신뢰도등의 얼굴정보를 구한다. 또한, 얼굴검출부(113)는 뉴럴네트워크에 대표되는 학습을 사용한 수법, 또는 눈, 코, 또는 입등의 특징부위를, 화상영역에서 템플릿 매칭을 사용해 찾아내 유사도가 높으면 얼굴로 파악하는 수법등, 임의의 방법을 사용해서 얼굴영역을 검출할 수 있다.
조작부(120)는, 유저가 디지털 카메라(100)에 각종의 지시를 입력하는데 사용된 버튼이나 스위치 등의 입력 디바이스를 총칭하여 말한다. 표시부(109)가 터치 디스플레이일 경우, 터치패널은 조작부(120)에 포함된다. 또한, 음성입력이나 시선입력등, 비접촉으로 지시를 입력하는 타입의 입력 디바이스가 조작부(120)에 포함되어도 좋다.
불휘발성 메모리(121)는 전기적으로 소거 및 기록가능한, 예를 들면 ＥＥＰＲＯＭ등이어도 좋다. 불휘발성 메모리(121)는, 각종의 설정 값, ＧＵＩ데이터를 비롯해, 시스템 제어부(50)가 ＭＰＵ나 ＣＰＵ일 경우에는, 시스템 제어부(50)가 실행하기 위한 프로그램이 기록된다.
시스템 메모리(122)는, 시스템 제어부(50)의 동작(용)의 정수, 변수, 불휘발성 메모리(121)로부터 판독된 상기 프로그램 등을 전개하기 위해서 사용된다.
다음에, 디지털 카메라(100)에서 행한 촬영시의 동작에 대해서 설명한다.
예를 들면, 촬상부(103)는, 셔터(102)가 열려 있을 때에 렌즈 군(101)이 촬상면에 형성하는 피사체상을 촬상 소자에 의해 광전변환하여, 아날로그 화상신호로서 A/D변환기(104)에 출력한다. A/D변환기(104)는, 촬상부(103)로부터 출력된 아날로그 화상신호를 디지털 화상신호(화상 데이터)로 변환해, 화상처리부(105)에 출력한다.
화상처리부(105)는, A/D변환기(104)로부터의 화상 데이터, 또는, 메모리 제어부(107)로부터의 화상 데이터에 대하여, 동기화 처리(디모자이크 처리) 및 감마보정등의 각종 화상처리를 행한다.
게다가, 화상처리부(105)에서는, 촬영으로 얻어진 화상 데이터를 사용해서 휘도나 콘트라스트 등에 관한 소정의 연산 처리를 행하고, 그 얻어진 연산 결과에 근거해서 시스템 제어부(50)가 초점조절이나 노광 제어를 행한다. 초점검출이나 노출 제어에 얼굴검출부(113)의 검출 결과를 고려해도 좋다. 이렇게, 본 실시예의 디지털 카메라(100)에서는, ＴＴＬ(스루·더 렌즈)방식의 ＡＦ(오토포커스)처리, ＡＥ(자동노출)처리를 행한다. 또한, 화상처리부(105)에서는, 촬영 동안 취득된 화상 데이터를 사용한 오토 화이트 밸런스(ＡＷＢ)조정도 행한다.
화상처리부(105)로부터 출력된 화상 데이터는, 메모리 제어부(107)를 통해 화상 메모리(106)에 기록된다. 화상 메모리(106)는, 촬상부(103)로부터 출력된 화상 데이터와, 표시부(109)에 표시되는 화상 데이터를 기억한다.
게다가, D/A변환기(108)는, 화상 메모리(106)에 기억된 화상표시용의 데이터를 아날로그 신호로 변환해서 표시부(109)에 공급한다. 표시부(109)는, ＬＣＤ등의 표시장치에, D/A변환기(108)로부터의 아날로그 신호에 따라 표시를 행한다.
코덱부(110)는, 화상 메모리(106)에 기억된 화상 데이터를 ＪＰＥＧ나 ＭＰＥＧ등의 규격에 근거해 부호화한다. 시스템 제어부(50)는 부호화한 화상 데이터에 대하여 미리 정해진 헤더등을 부여하여 화상 파일을 형성하고, 그 데이터를 인터페이스(111)를 통해 기록 매체(112)에 기록한다.
또한, 현재의 디지털 카메라에서는, 촬영 스탠바이 상태에 있어서는 동화상 촬영을 행하고, 촬영된 동화상을 표시부(109)에 계속해서 표시하는 것에 의해 표시부(109)를 전자 뷰 파인더(ＥＶＦ)로서 기능시키는 것이 일반적이다. 이 경우, 셔터(102)는 연 상태라고 가정하고, 촬상부(103)의 소위 전자 셔터를 사용해서 예를 들면 30프레임/초의 촬영을 행한다.
게다가, 조작부(120)에 포함된 셔터 버튼이 반 가압되면, 상술한 ＡＦ 제어와 ＡＥ제어가 행해지고, 그 버튼이 완전 가압되면, 기록되는 정지 화상의 본촬영(actual shooting)이 실행되고, 그 정지 화상이 기록 매체(112)에 기록된다. 또한, 동화상 촬영 버튼등에 의해 동화상 촬영이 지시되었을 경우는, 기록 매체(112)에의 동화상 기록을 시작한다.
도 2는, 화상처리부(105)의 리라이팅 처리에 관한 기능 구성 예를 나타내는 블록도다. 또한, 도 2에 나타낸 기능 블록들의 1개 이상은, 마이크로프로세서와 소프트웨어의 조합에 의해 실현되어도 좋거나, ＡＳＩＣ(Application Specific Integrated Circuit)이나 ＰＬＤ(Programmable Logic Device)과 같은 하드웨어에 의해 실현되어도 좋다. ＰＬＤ에는 ＦＰＧＡ(Field-Programmable Gate Array), ＰＬＡ(Programmable Logic Array)등이 포함된다.
또한, 리라이팅 처리는,
- 리라이팅 처리의 실행이 지정된 상태로 촬영된 화상, 및
- 메뉴 화면등으로부터 리라이팅 처리의 실행이 지시된, 예를 들면 기록 매체(112)에 기록된 화상에 대하여
실시할 수 있다.
또한, 리라이팅 처리에 있어서 촬영시의 정보가 필요할 경우, 불휘발성 메모리(121) 또는 시스템 메모리(122)로부터 판독하거나, 화상 파일의 헤더 등으로부터 취득하거나 하는 것으로 한다.
리라이팅 처리부로서의 화상처리부(105)는, 화상신호 생성부(201), ＷＢ증폭부(202), 감마 처리부(203), 디감마 처리부(204), 가상 광 부가부(205), 재감마 처리부(206), 음영상태 검출부(207), 및 가상 광원 제어부(208)를 가진다.
도 1의 Ａ/D변환부(104)로부터 도 1의 화상처리부(105)에 입력된 화상신호는, 화상신호 생성부(201)에 입력된다. 화상신호 생성부(201)는, 화소당 1색(R, G, B의 어느 한 색)의 정보를 가지는 화상신호에 동기화 처리(디모자이크 처리)를 행하고, 각 화소가 3색(ＲＧＢ)의 정보를 가지는 화상신호를 생성한다. 화상신호 생성부(201)는, 생성한 화상신호를 ＷＢ증폭부(202)에 출력한다.
ＷＢ증폭부(202)는, 화상신호로부터 화이트 밸런스 게인값을 산출하고, 화상신호의 색성분 R, G, B에 화이트 밸런스 게인을 적용한다. ＷＢ증폭부(202)는, 화이트 밸런스 조정후의 화상신호RGB를 감마 처리부(203) 및 음영상태 검출부(207)에 출력한다.
음영상태 검출부(207)는, 입력된 화상신호RGB에 근거하여, 촬영시에 피사체를 조사하는 환경광으로 인해 피사체 영역에 생긴 음영의 상태를 나타내는 평가 값을 산출한다. 또한, 음영상태 검출부(207)는, 그 환경광의 조사 방향을 검출한다. 여기에서, 환경광은, 촬영시에 피사체를 조사한 광원이며, 태양광이나 실내조명등, 디지털 카메라(100)의 제어 대상외의 광원과, 내장 및/또는 외부 플래쉬 등, 디지털 카메라(100)가 제어한 광원을 포함한다. 음영상태 검출부(207)는, 그 평가 값과 환경광의 조사 방향을 음영정보로서, 가상 광원 제어부(208)에 출력한다. 음영상태 검출부(207)의 동작의 상세에 대해서는 후술한다.
가상 광원 제어부(208)는, 음영정보에 근거하여, 피사체를 리라이팅 하는 가상 광의 조사 방향을 결정하고, 가상 광원정보로서 가상 광 부가부(205)에 출력한다. 가상 광의 조사 방향의 결정 방법의 상세에 대해서는 후술한다. 또한, 본 실시예는, 가상 광원의 방사 특성(점광원, 선광원, 면광원등)에 의존하지 않기 때문에, "가상 광의 조사 방향"이라고 하는 표현을 사용하지만, 예를 들면 가상 광원이 점광원이면, 가상 광의 조사 방향의 연장선 위에 가상 점광원을 배치하게 된다. 따라서, 가상 광의 조사 방향의 결정은, 가상 점광원을 배치하는 방향의 결정과 동의다.
한편, 감마 처리부(203)는, 화상신호RGB에 감마 보정을 적용하고, 보정후의 화상신호RGB를, 디감마 처리부(204)에 출력한다. 또한, 리라이팅 처리를 행하지 않는 촬영의 경우, 감마 처리부(203)는 보정후의 화상신호RGB를 메모리 제어부(107)를 통해서 화상 메모리(106)에 출력한다. 촬영 화상에 리라이팅 처리를 적용할 것인가 아닌가는, 예를 들면 유저 설정에 따라서 결정되어도 좋다. 또한, 여기에서는 촬영 조작의 일부로서 리라이팅 처리를 행하는 것으로서 설명하지만, 기록 매체(112)로부터 판독하여서 기록된 화상에 대하여 리라이팅 처리를 행하는 것도 가능하다.
디감마 처리부(204)는, 입력된 화상신호RGB에 대하여 디감마 처리를 행하고, 감마 보정전의 화상신호RGB를 생성하고, 가상 광 부가부(205)에 출력한다. 또한, 리라이팅 처리를 행하는 촬영의 경우에는, ＷＢ증폭부(202)로부터 가상 광 부가부(205)에 화상신호RGB를 직접 입력하도록 구성해도 좋다.
가상 광 부가부(205)에서는, 가상 광원정보에 근거해서 가상 광원을 배치하고, 입력된 화상신호RGB에 대하여 가상 광의 영향을 적용하는 리라이팅 처리를 행한다. 가상 광 부가부(205)는, 리라이팅 처리후의 화상신호RGB를, 재감마 처리부(206)에 출력한다. 재감마 처리부(206)에서는, 입력된 리라이팅후의 화상신호에 대하여, 감마 처리부(203)의 처리와 같은 감마 보정을 적용하고, 그 신호를 메모리 제어부(107)를 거쳐서 화상 메모리(106)에 출력한다.
다음에, 음영상태 검출부(207)가, 환경광에 의해 생긴 피사체의 음영상태를 나타내는 평가 값의 산출과, 환경광의 조사 방향의 검출을 행하는 처리의 상세에 대해서, 도 3a에 나타낸 흐름도를 참조하여 설명한다.
단계 S301에서, 음영상태 검출부(207)는, ＷＢ증폭부(202)로부터 입력된 화상신호RGB 중에서, 리라이팅 처리가 대상으로 삼는 피사체 영역에 대응한 화상신호를 추출한다. 예를 들면, 얼굴검출부(113)에서 검출한 인물의 얼굴영역을 리라이팅 처리가 대상으로 삼을 경우, 음영상태 검출부(207)는 얼굴검출부(113)로부터 얼굴정보를 취득하고, 그 얼굴영역에 대응한 화상신호RGB를 추출한다. 리라이팅 처리가 대상으로 삼는 피사체 영역에 특별히 제한은 없고, 얼굴검출부(113)와 같이 화상의 특징으로부터 자동 검출된 영역이여도 좋거나, 유저가 조작부(120)를 통해서 지정한 영역이여도 좋다. 이하에서는, 일례로서, 얼굴영역을 리라이팅 처리가 대상으로 삼을 경우에 대해서 설명한다.
도 3b는, 인물 피사체와 얼굴영역의 예를 나타내고, 사선은 음으로 되어 있는 영역을 의미한다. 검출된 얼굴영역(401)은, 음의 영역을 포함하고 있다.
단계 S302에서, 음영상태 검출부(207)는, 추출한 얼굴영역(401)에 포함된 화상신호RGB에 근거하여, 그 얼굴영역의 밝기 정보를 산출한다. 구체적으로는, 도 3b에 도시한 바와 같이, 얼굴영역(401)을 복수(예를 들면, 종8×횡8= 64개)의 블록으로 분할하고, 블록마다 화소의 휘도평균값과, 색 평균값을 산출한다. 또한, RGB의 신호 값으로부터 휘도신호 값 및 색 신호값을 구하기 위해서는, 예를 들면 "ＲＧＢ를 ＹＵＶ(ＹＣｂＣｒ)로 또는 ＲＧＢ를 ＨＳＬ"등의 색 공간 변환 처리를 행하면 좋다.
단계 S303에서, 음영상태 검출부(207)는, 리라이팅 처리가 대상으로 삼는 영역내의 피사체의 음영상태를 의미하는 평가 값으로서, 색의 가까운 블록간의 콘트라스트 값을 산출한다. 예를 들면, 음영상태 검출부(207)는, 색 평균값에 근거하여, 유사 색을 가지는 블록들을 그룹화하고, 그룹내에서 평균 휘도값이 최대의 블록(블록402이라고 한다)과 최소의 블록(블록403이라고 한다)을 검출한다. 그리고, 최대평균 휘도값과 최소평균 휘도값의 비율을 콘트라스트 값으로서 산출한다. 또한, 유사 색의 판정 조건에 대해서는 미리 결정될 수 있다. 또한, 리라이팅 처리가 대상으로 삼는 영역의 색이 미리 상정할 수 있는 경우에는, 상정된 색신호의 범위를 미리 정해 두고, 그 범위내에 있는 색신호값을 가지는 블록에 대해서 콘트라스트 값을 산출하도록 구성해도 좋다. 예를 들면, 얼굴영역에 대하여 리라이팅 처리를 행할 경우, 피부의 색으로서 상정된 색신호의 범위를 미리 정해 두고, 그 범위내에 있는 색신호값을 가지는 블록들에 대해서 콘트라스트 값을 산출할 수 있다. 또한, 복수의 그룹에 대해서 콘트라스트 값을 산출했을 경우, 음영상태 검출부(207)는 1개의 값을 대푯값으로서 출력해도 좋거나, 그 값들의 모두를 출력해도 좋다. 대푯값은, 예를 들면 최대의 콘트라스트 값이어 좋다.
단계 S304에서, 음영상태 검출부(207)는, 환경광의 조사 방향을 추정한다. 음영상태 검출부(207)는, 공지의 여러 가지의 방법을 사용해서 환경광의 조사 방향을 추정한다. 예를 들면, 피사체 내에서 정반사가 생긴(가장 밝은) 영역을 검출하여, 그 영역의 법선 벡터에 대하여 시점위치와 대칭의 위치부터 그 영역을 향하는 방향을 환경광의 조사 방향으로서 추정해도 좋다. 또한, 피사체 영역이 인물의 얼굴영역이면, 코 등의 기관을 검출하여, 그 음이나 그림자(shadow)의 방향과 반대의 방향을 환경광의 조사 방향으로서 추정해도 좋다. 음영상태 검출부(207)는, 산출한 콘트라스트 값과 추정한 환경광의 방향정보를, 음영정보로서 가상 광원 제어부(208)에 출력한다.
다음에, 가상 광원 제어부(208)가, 음영정보와 환경광의 조사 방향의 정보에 근거하여, 가상 광의 조사 방향을 결정하는 가상 광원 제어 처리에 대해서 설명한다.
도 5는, 리라이팅 처리를 적용하는 피사체 영역과, 환경광 및 가상 광의 조사 방향간의 관계를, 바로 위에서 보여진 것처럼, 모식적으로 나타내는 도면이다. 여기에서는, 도 3b와 마찬가지로 얼굴영역(401)에 리라이팅 처리를 적용하는 것으로 한다.
도 5에 있어서, 리라이팅 처리를 적용하는 피사체 영역인 얼굴영역(401)은, 간략함을 위해 평면으로 나타내어져 있다. 또한, 법선 벡터(602)는, 얼굴영역(401)의 방향을 의미하는 대표적인 법선 벡터다. 피사체 영역의 방향을 의미하는 법선 벡터는, 공지의 방법을 사용해서 산출될 수 있다. 예를 들면, 피사체 영역에 포함된 피사체의 거리정보로부터 피사체의 3차원 형상을 추정하여서, 법선 벡터를 산출할 수 있다. 피사체의 거리정보는, 예를 들면, 초점검출 처리에 있어서 합초 거리를 변하게 하면서 취득한 복수의 화상으로부터, 합초 부분과 합초 거리와의 관계에 근거해서 취득하거나, 측거 센서를 사용해서 취득한 거리화상으로부터 취득하거나 할 수 있지만, (그 거리 정보의 취득은) 이것에 한정되지 않는다.
또한, 피사체 영역이 인물의 얼굴영역인 경우와 같이, 그 피사체의 방향에 따라 특징부위의 크기와 형상이나, 특징부위의 위치 관계가 변화되는 특징부위를 가지는 영역의 경우, 특징부위의 검출 결과에 근거해서 피사체의 방향을 추정하여서, 대표적인 법선 벡터를 산출할 수 있다. 예를 들면, 얼굴영역의 경우, 얼굴의 윤곽이나, 눈이나 코등의 기관의 검출 결과를 특징부위로서 사용해서 얼굴의 방향을 추정하고, 대표적인 법선 벡터를 산출할 수 있다.
또한, 피사체의 방향을 의미하는 법선 벡터는, 피사체 영역을 분할하여서 작성된 영역마다 산출한 법선 벡터를 평균화함으로써 산출되어도 좋다. 또는, 리라이팅이 대상으로 삼는 피사체 영역의 중심 또는 중심위치에서의 법선 벡터를, 피사체의 방향을 의미하는 대표적인 법선 벡터로서 사용해도 좋다.
환경광(603)이, 대표적인 법선 벡터(602)와 얼굴영역(401)이 교차하는 좌표(화소)(610)를, 음영상태 검출부(207)가 추정한 방향으로부터 조사한다. 참조부호 604a는 가상 점광원 604a'로부터, 참조부호 604b는 가상 점광원 604b'로부터, 좌표(610)를 조사하는 가상 광의 이미지다. 가상 점 광원 604a'와 604b'는, 법선 벡터(602)에 대하여 대칭적인 위치에 배치되어 있다. 여기에서, 법선 벡터와 조사 방향이 이룬 각도가, 반시계 방향 정의(positive) 값을 취하는 것으로 하면, 가상 점광원 604a'와 법선 벡터가 이룬 각도와, 가상 점광원 604b'와 법선 벡터가 이룬 각도는, 절대치가 같고, 부호가 반대가 된다. 또한, 가상 점광원 604a'와 얼굴영역(401)간의 거리와, 가상 점광원 604b'와 얼굴영역(401)간의 거리는, 적절하게 정의하면 좋다.
다음에, 도 4의 흐름도를 참조하여, 가상 광원 제어부(208)의 처리의 상세에 대해서 설명한다.
단계 S501에서, 가상 광원 제어부(208)는, 리라이팅 처리를 사용하여 실현된 콘트라스트 값의 목표값을 예를 들면 시스템 제어부(50)로부터 취득한다. 목표값은, 예를 들면 불휘발성 메모리(121)에 미리 설정해 둘 수 있다. 또한, 다른 목표값이 리라이팅 처리를 행하는 피사체 영역의 종류에 따라서 설정되어도 좋다.
단계 S502에서, 가상 광원 제어부(208)는, 촬상 화상에서 상기 음영상태 검출부(207)가 검출한, 환경광으로 인해 생성된 콘트라스트 값을 취득한다.
단계 S503에서, 가상 광원 제어부(208)는, 검출된 콘트라스트 값과 목표값을 비교한다. 검출 값이 목표값보다 높을 경우는 단계 S504에 처리를 진행시키고, 검출 값이 목표값이하의 경우는 단계 S505에 처리를 진행시킨다.
환경광으로 인한 피사체 영역의 콘트라스트가 높다고 판정되었을 경우에 단계 S504에 처리를 진행시킨다. 이에 따라, 단계 S504에서, 가상 광원 제어부(208)는, 가상 광의 조사 방향이 법선 벡터(602)와 이룬 각α의 부호가, 환경광의 조사 방향이 법선 벡터(602)와 이룬 각β의 부호와는 반대가 되도록, 가상 광의 조사 방향을 결정한다. 또한, 각α는, 가상 광원의 좌표와 법선 벡터의 시점(법선 벡터와 피사체 영역의 교점)을 잇는 직선과, 법선 벡터가 이루는 각이라고도 말할 수 있다. 마찬가지로, 각β는, 환경광원의 좌표와 법선 벡터의 시점(법선 벡터와 피사체 영역의 교점)을 잇는 직선과, 법선 벡터가 이루는 각이라고도 말할 수 있다.
도 5의 예에서, 가상 광(604b)의 조사 방향은, 법선 벡터(602)에 대하여 예를 들면 -45도의 방향(α=-45°)일 수 있거나, 환경광과 법선 벡터(602)를 끼어서 대칭이 되는 방향(-β)일 수 있다. 단, 이것들은 단순한 예이며, 피사체의 음의 부분을 가상 광에 의해 밝게 보정하고, 피사체 영역의 콘트라스트를 하강시킬 수 있으면, 가상 광의 조사 방향의 결정은 이것들에 한정되지 않는다. 가상 광의 조사 방향을 결정하면, 가상 광원 제어부(208)는 처리를 단계 S508에 진행시킨다.
한편, 환경광으로 인한 피사체 영역의 콘트라스트가 낮다고 판정되었을 경우에, 처리는 단계 S505에 진행된다. 이 때문에, 가상 광원 제어부(208)는, 환경광과 가상 광의 조사 범위가 중복하도록 가상 광원의 배치를 결정함으로써, 콘트라스트를 높인다.
구체적으로는, 단계 S505에서, 가상 광원 제어부(208)는, 검출된 콘트라스트 값이 소정의 하한 역치미만인가 아닌가를 판정한다. 그 값이 소정의 하한 역치미만일 경우는 단계 S506에 처리를 진행시키고, 그 값이 소정의 하한 역치이상일 경우는 단계 S507에 처리를 진행시킨다.
환경광이 피사체 영역의 거의 정면에서 피사체 영역을 거의 균일하게 조사하고, 환경광으로 인해 음영이 거의 생기지 않고 있을 경우에, 처리를 단계 S506에 진행시킨다. 이러한 경우에는, 피사체의 입체감이 부족하기 때문에, 가상 광을 사용한 리라이팅 처리는, 피사체에 자연스러운 음영을 부가하여, 피사체의 입체감을 높이도록 한다. 따라서, 가상 광원 제어부(208)는, 가상 광의 조사 방향이 법선 벡터(602)와 이루는 각α의 부호가, 환경광의 조사 방향이 법선 벡터(602)와 이루는 각β의 부호와 같도록, 가상 광의 조사 방향을 결정한다. 특히, 단계 S506에서, 콘트라스트를 높이기 위해서, 가상 광원 제어부(208)는, 가상 광의 조사 방향이 법선 벡터(602)와 이루는 각α의 절대치가, 45°를 중심으로 한 소정의 범위내가 되도록, 가상 광의 조사 방향을 결정한다. 이것은, 일반적인 피사체가 법선 벡터(602)에 대하여 45°의 각도로 조사되는 경우, 적절한 콘트라스트가 이루어지는 경우가 많기 때문이다. 구체적으로는, 가상 광원 제어부(208)는, 가상 광의 조사 방향이 법선 벡터(602)와 이루는 각α의 절대치가, 45°±15°, 바람직하게는 45°±10°,더욱 바람직하게는 45°±5°의 범위내에서 결정할 수 있다. 물론, 각α의 절대치가, α=45°의 고정 값으로 설정되어도 좋다. 가상 광의 조사 방향을 결정하면, 가상 광원 제어부(208)는 처리를 단계 S508에 진행시킨다.
환경광으로 인해 어느 정도 피사체에 음영이 생기지만, 목표 콘트라스트가 얻어지지 않고 있는 경우에, 처리를 단계 S507에 진행시킨다. 이러한 경우도, 가상 광을 사용한 리라이팅 처리는, 피사체에 자연스러운 음영을 부가하여, 피사체의 입체감을 높이도록 한다. 따라서, 가상 광원 제어부(208)는, 가상 광의 조사 방향이 법선 벡터(602)와 이루는 각α의 부호가, 환경광의 조사 방향이 법선 벡터(602)와 이루는 각β의 부호와 같도록, 가상 광의 조사 방향을 결정한다. 단, 환경광으로 인해 어느 정도의 콘트라스트는 얻어지고 있기 때문에, 단계 S506의 경우와 달리, 각α의 범위는 제한되지 않는다.
그러나, 리라이팅 처리의 대상이 안 되는 그 밖의 영역에 있어서의 음영과의 조화라고 하는 관점에서, 환경광의 조사 방향을 기준으로서 사용하여 가상 광의 조사 방향을 결정할 수 있다. 이 경우, 가상 광원 제어부(208)는, 가상 광의 조사 방향이 법선 벡터(602)와 이루는 각α의 절대치가, |β｜±15°, 바람직하게는 |β｜±10°, 더욱 바람직하게는 |β｜±5°의 범위내에서 결정할 수 있다. 혹은, α=β, 다시 말해, 환경광과 같은 조사 방향을 가상 광의 조사 방향으로서 결정해도 좋다. 가상 광의 조사 방향을 결정하면, 가상 광원 제어부(208)는 처리를 단계 S508에 진행시킨다.
단계 S508에서, 가상 광원 제어부(208)는, 결정한 가상 광의 조사 방향을, 가상 광원정보로서, 가상 광 부가부(205)에 출력한다. 또한, 가상 광원 제어부(208)는, 가상 광원정보로서, 미리 설정된 가상 광원의 위치(가상 광원으로부터 피사체까지의 거리)의 정보도, 가상 광 부가부(205)에 출력해도 좋다.
다음에, 가상 광의 영향을 적용하는 가상 광 부가부(205)의 리라이팅 처리에 대해서 설명한다. 본 실시예에서는, 가상 광 부가부(205)는, 가상 광에 의해 조사된 처리 대상 화소의 출력ＲＧＢ값(Ｒｏｕｔ, Ｇｏｕｔ, Ｂｏｕｔ)을, 이하의 식에 따라서 산출한다.
Ｒｏｕｔ= [Ｒｔ+A*cos(θ)*(1/D^2)*Ｒｖ]/M
Ｇｏｕｔ= [Ｇｔ+A*cos(θ)*(1/D^2)*Ｇｖ]/M
Ｂｏｕｔ= [Ｂｔ+A*cos(θ)*(1/D^2)*Ｂｖ]/M
여기에서, (Ｒｔ, Ｇｔ, Ｂｔ)은 처리 대상의 화소값, A는 가상 광원의 강도를 의미하는 소정의 정수, D는 가상 광원과, 리라이팅 대상 영역내의 피사체와의 거리, (Ｒｖ, Ｇｖ, Ｂｖ)은 광원반사 색이다. 또한, M은 리라이팅 후의 출력ＲＧＢ값을 정규화하기 위한 미리 설정된 정수, 각도θ는, 가상 광원 제어부(208)가 결정한 가상 광의 조사 방향과, 처리 대상 화소의 피사체의 법선 벡터가 이루는 각도다. 여기에서, 리라이팅 대상영역의 각 화소에 대하여 피사체의 법선 벡터를 산출하고, 각도θ는 법선 벡터의 방향과 가상 광의 조사 방향으로부터 산출될 수 있다.
혹은, 도 3b에 도시한 바와 같이, 리라이팅 대상의 피사체 영역을 복수의 블록으로 분할하고, 블록마다 법선 벡터를 산출하여서, 블록마다 각도θ를 산출해도 좋다. 또는, 리라이팅 대상의 영역이 인물의 얼굴영역일 경우와 같이, 리라이팅 처리 대상 영역에 포함된 피사체의 3차원 형상이 미리 상정될 경우는, 상기 영역내에 있어서의 화소들의 위치로부터 처리 대상의 화소들에 대응한 피사체의 법선 벡터를 추정하여, 각도θ를 산출해도 좋다.
또한, 광원반사 색(Ｒｖ, Ｇｖ, Ｂｖ)은, 가상 광이 피사체 표면에서 반사했을 때의 색을 의미하고, 미리 설정된 가상 광원색과, 처리 대상의 화소의 색으로부터 추정될 수 있다. 또한, 가상 광원의 강도A는, 콘트라스트 값의 검출 값과 목표값간의 차이에 따라서 결정하면 좋다. 따라서, 콘트라스트 값의 검출 값이 콘트라스트 하한 역치미만의 경우와, 콘트라스트 하한 역치이상의 경우에서는, 전자쪽이 가상 광원의 강도A가 크게 결정된다. 콘트라스트 값의 검출 값과 목표값간의 차이와 강도A간의 구체적인 관계에 대해서는, 미리 정해 둘 수 있다.
이상 설명한 바와 같이, 본 실시예에서는, 리라이팅 처리가 대상으로 삼는 피사체 영역에 대해서 음영의 상태를 의미하는 평가 값을 산출하고, 평가 값이 목표값에 근접하도록 가상 광의 조사 방향을 결정한다. 구체적으로는, 평가 값이 목표값보다 낮을 경우에는 환경광으로 인해 생성된 음영을 강화하도록, 또한 평가 값이 목표값보다 높을 경우에는 환경광으로 인해 생성된 음영을 약화시키도록, 가상 광의 조사 방향을 결정한다. 그 때문에, 환경광에 의한 음영을 약화시키는 리라이팅 처리뿐만 아니라, 환경광에 의한 음영을 강화하는 리라이팅 처리도 실현될 수 있다. 더욱, 그 음영의 적음에 따라서 다른 방향을 기준으로서 조사 방향을 결정하기 때문에, 효과적으로 음영을 늘리는 것을 중시한 조정이나, 환경광과의 조화를 중시한 조정을 실현할 수 있다.
또한, 본 실시예에서는, 리라이팅 처리의 대상영역의 음영상태를 의미하는 평가 값으로서, 콘트라스트의 정보를 사용할 경우에 대해서 설명했지만, 다른 평가 값을 사용할 수도 있다. 예를 들면, 환경광으로 인해 생성된 피사체의 음의 영역을 검출하고, 그 영역의 경계의 특성을 의미하는 정보를 음영의 상태를 의미하는 평가 값으로서 사용해도 좋다. 구체적으로는, 피사체의 음의 영역의 경계근방에 있어서의 밝기의 경사를 산출하고, 그 경사가 소정의 목표보다 높은(낮은) 경우는, 환경광으로 인해 생성된 음영을 약화시키도록(강화하도록), 가상 광의 조사 방향을 결정할 수 있다. 이에 따라, 피사체의 음의 경계선이 선명한 경우에는 피사체의 음의 영역의 경계가 눈에 띄지 않게 해, 피사체의 음이 선명하지 않은 경우에는 피사체의 음을 강조하는 리라이팅 처리가 가능해서, 바람직한 음영의 화상을 취득할 수 있다.
또한, 피사체 영역중의 음의 면적을 산출하여, 그 결과를 피사체의 음영의 상태를 의미하는 평가 값으로서 사용해도 좋다. 구체적으로는, 피사체 영역을 구성하는 음의 영역의 비율을 산출하고, 그 비율이 소정의 목표보다 높을 경우는, 환경광으로 인해 생성된 음영을 약화시키도록, 가상 광의 조사 방향을 결정할 수 있다. 또한, 비율이 소정의 목표보다 낮을 경우, 가상 광원 제어부(208)는, 피사체 영역의 휘도를 소정량 감소하고 음의 면적(평균 휘도값이 미리 정해진 역치이하인 영역의 면적)을 증가시킨다. 그리고, 각α와 각β의 부호가 같아서, 각α의 절대치가 각β의 절대치이상이 되도록 가상 광의 조사 방향을 결정할 수 있다. 이에 따라, 피사체 영역에 음이 많을 경우에는 음의 면적을 감소시키고, 피사체 영역에 음이 적을 경우에는 음의 면적을 증가시키는, 리라이팅 처리가 가능해서, 바람직한 음영의 화상을 취득할 수 있다.
또한, 피사체 영역내의 화소의 휘도 히스토그램을 산출하여, 그 도수분포의 편차에 따라, 가상 광의 조사 방향을 결정해도 좋다. 구체적으로는, 소정의 역치미만의 휘도값 범위에 대응하는 도수의 합계를 평가 값으로서 사용하고, 평가 값이 소정의 목표보다 높을 경우는, 환경광으로 인한 음영을 약화시키도록, 가상 광의 조사 방향을 결정할 수 있다. 또한, 평가 값이 소정의 목표보다 낮을 경우, 가상 광원 제어부(208)는, 피사체 영역의 휘도를 소정량 감소하고, 또한, 각α와 각β의 부호가 같고, 각α의 절대치가 각β의 절대치 이상이 되도록 가상 광의 조사 방향을 결정할 수 있다.
또한, 본 실시예에서는, 음영의 상태를 의미하는 평가 값의 목표값을 미리 정해 두는 것으로서 설명했지만, 목표값을 동적으로 설정해도 좋다. 예를 들면, 화상의 촬영에 사용된 촬영 모드나 카메라 파라미터에 따른 목표값을 설정해도 좋다. 카메라 파라미터에 근거하는 목표값의 동적설정의 예로서는, 화상의 기록시나 감마 처리부(203)로 사용된 감마 커브의 특성에 따른 목표값의 설정이 있다. 예를 들면, 감마 커브의 특성(형상)이 콘트라스트를 강하게 표현하는 특성이면 목표값을 높게, 감마 커브의 특성(형상)이 콘트라스트를 약하게 표현하는 특성이면 목표값을 낮게, 설정할 수 있다.
또한, 리라이팅 처리의 대상영역의 배후, 또는, 주위에 위치하는 배경 피사체의 콘트라스트에 따라, 목표값을 설정해도 좋다. 구체적으로는, 배경 피사체의 콘트라스트가 높은(낮은) 경우에 목표값을 높게(낮게) 설정 함으로써, 리라이팅 처리가 대상으로 삼는 피사체의 콘트라스트를, 주위의 피사체의 콘트라스트에 가깝게 할 수 있다. 이에 따라, 리라이팅 처리로 인한 부자연스러움을 억제할 수 있다
또한, 본 실시예에서는, 평가 값과 목표값과의 비교 결과에 따라서 가상 광의 조사 방향을 결정하는 구성에 대해서 설명했다. 그러나, 피사체의 음영에 근거하여 가상 광의 조사 방향을 결정하는 방법이면, 다른 방법을 사용해도 개의치 않는다. 예를 들면, 피사체 영역의 콘트라스트 값이 소정의 역치이상(미만)이면, 가상 광의 조사 방향은, 가상 광을 사용하여 환경광으로 인해 생성된 음을 약화(강화)시키도록 결정될 수 있다. 이렇게 함으로써, 평가 값의 목표값을 정하지 않을 경우라도, 리라이팅 처리를 제어할 수 있다. 또는, 평가 값과 목표값과의 차이가, 소정의 역치이하일 경우에는, 리라이팅 처리를 행하지 않도록 제어해도 좋다.
또한, 리라이팅 처리가 대상으로 삼지 않는 피사체에 대하여도, 밝기 보정처리를 행해도 좋다. 구체적으로는, 리라이팅 처리가 대상으로 삼는 피사체의 리라이팅 후의 콘트라스트 값을 산출하고, 리라이팅 처리가 대상으로 삼지 않는 피사체의 콘트라스트를, 그 값에 가깝게 하도록 밝기를 보정한다. 이렇게 함으로써, 리라이팅 처리의 대상이 되는 피사체와, 리라이팅 처리의 대상이 안되는 피사체와의 사이에서 생기는 부자연스러움을 감소하는 것이 가능하다. 리라이팅 처리의 대상이 안되는 피사체에 대해서는, 화소의 밝기를 균일하게 조정해도 좋다.
또한, 본 실시예에서는, 가상 광의 조사 방향을, 리라이팅 처리의 대상영역의 대표적인 법선 벡터와 가상 광의 방향이 이루는 각도를 사용하여 결정하는 구성을 설명했지만, 다른 방법으로 결정해도 좋다. 예를 들면, 리라이팅 처리의 대상영역내의 피사체에 대하여 상, 하, 좌 또는 우로부터 조사할지를 결정해도 좋다.
또한, 본 실시예에서는, 리라이팅 처리의 대상영역의 수가 1개일 경우를 설명했지만, 복수 있어도 좋다. 예를 들면, 얼굴검출부(113)가 복수의 얼굴영역을 검출하는 경우, 각 얼굴영역을 리라이팅 처리의 대상 영역으로서 간주해도 좋다. 이 경우, 얼굴영역내의 피사체의 방향은 개별적으로 다를 가능성이 있기 때문에, 상술한 음영상태 검출부(207), 가상 광원 제어부(208), 및 가상 광 부가부(205)의 처리를, 각각의 얼굴영역에 대해서 실시한다. 단, 음영상태를 의미하는 평가 값의 종류와 목표값은, 전부의 얼굴영역에 대해서 공통이라고 한다. 이것에 의해, 리라이팅 처리의 피사체 영역이 복수 있을 경우라도, 각각의 음영의 상태가 바람직한 상태이도록 리라이팅 처리하는 것이 가능하다.
또는, 복수의 피사체가 촬영되었을 경우, 그 복수의 피사체 중에서 가장 중요한 피사체의 음영의 상태에 근거하여 가상 광원의 위치를 결정하고, 다른 피사체에 대하여도 동일한 위치의 가상 광원을 사용해서 리라이팅하도록, 제어해도 좋다. 이렇게 함으로써, 같은 환경 내에 있는 피사체가, 서로 다른 방향에서 조명되는 부자연스러움을 방지하는 것이 가능하다.
또한, 본 실시예에서는, 가상 광원을 점광원으로서 설명했지만, 가상 광원의 특성은 본 발명에 직접 영향을 주지 않고, 다른 특성의 광원이 사용되어도 좋다. 예를 들면, 평행 광을 조사하는 가상 광원을 사용해도 좋다. 이 경우, 가상 광의 조사 방향이 평행 광의 조사 방향이 된다.
또한, 상술한 설명에 있어서는, 간략함을 위해, 법선 벡터 및 환경광, 가상 광의 조사 방향등을 수평면에 대해 2차원 관점에서 설명했다. 그러나, 실제로는, 상기 처리는, 3차원 공간내의 벡터 및 방향으로서 상기 법선 벡터와 이들 방향으로 실시된다.
제2의 실시예
다음에, 도 6a, 도 6b 및 도 7을 참조하여, 본 발명의 제2의 실시예에 대해서 설명한다. 제1의 실시예에서는, 리라이팅 처리가 대상으로 삼는 영역내의 피사체의 음영상태를 의미하는 평가 값과 환경광의 조사 방향에 근거하여, 가상 광의 조사 방향을 결정했지만, 본 실시예에서는, 보다 상세하게 가상 광의 조사 방향을 결정한다.
본 실시예는, 제1의 실시예에서 설명한 디지털 카메라(100) 및 화상처리부(105)의 구성을 사용해서 실현될 수 있다. 그 때문에, 제1의 실시예에서 설명한 사항의 설명은 생략하고, 음영상태 검출부(207), 가상 광원 제어부(208), 및 가상 광 부가부(205)의 동작에 대해서 설명한다.
도 6a는, 제2의 실시예에 있어서의 피사체(700)와, 리라이팅 처리의 대상이 되는 화상내의 피사체 영역(701)을 모식적으로 나타내고 있다.
음영상태 검출부(207)는, 피사체 영역(701)을 복수(종8×횡8=64개)의 블록으로 분할하고, 블록마다 화소의 휘도평균값을 산출한다.
또한, 본 실시예에서는, 음영상태 검출부(207)는 더욱, 피사체 영역(701)의 면적에 대한 음의 영역의 면적의 비율(음 비율)을 산출한다. 구체적으로는, 음영상태 검출부(207)는, (평균 휘도값이 소정의 역치이하인 블록의 수)/(블록의 총수)로서 음 비율을 산출한다. 또한, 음영상태 검출부(207)는, 블록마다 피사체의 법선 벡터의 방향을 산출한다.
도 6b는, 도 6a의 블록B1 내지 B8에 대해서 산출한 법선 벡터(702)의 예를, 피사체(700)의 Ａ-A수평단면형상과 함께 모식적으로 나타내고 있다. 제1의 실시예의 설명에서는, 간략함을 위해, 피사체 표면의 전체를 일 평면으로서 간주했지만, 본 실시예는, 피사체 표면을 분할한 블록 단위의 평면으로서 다룬다는 점에서 상기 제1의 실시예와 다르다.
음영상태 검출부(207)는, 산출한 블록마다의 법선 벡터의 정보와, 리라이팅의 대상이 되는 영역내의 피사체의 음영상태를 의미하는 평가 값으로서의 음 비율을, 가상 광원 제어부(208)에 출력한다.
다음에, 도 7에 나타낸 흐름도를 참조하여, 제2의 실시예에 있어서의 가상 광원 제어부(208)에 의해 행해진 가상 광원 제어 처리에 대해서 설명한다.
단계 S801에서, 가상 광원 제어부(208)는, 리라이팅 처리에 의해 실현된, 피사체의 음영상태의 목표값으로서, 목표 음 비율을, 예를 들면 시스템 제어부(50)로부터 취득한다.
단계 S802에서, 가상 광원 제어부(208)는, 촬영 화상으로부터, 음영상태 검출부(207)가 산출한 피사체 영역(701)의 블록마다의 법선 벡터의 정보와, 음 비율을 취득한다.
단계 S803에서, 가상 광원 제어부(208)는, 음 비율을 목표값과 비교하고, 그 차이가 소정의 역치범위내인가 아닌가(즉, 음 비율이 목표범위내인가 아닌가)를 판정한다. 가상 광원 제어부(208)는, 목표범위내의 음 비율을 취득하고 있으면 리라이팅 처리가 불필요하다고 판단해서, 처리를 종료하고, 화상을 재감마 처리부(206)에 출력한다. 목표범위내의 음 비율을 취득하지 못한 경우에는, 처리를 단계 S804에 진행시킨다.
단계 S804에서, 가상 광원 제어부(208)는, 음 비율이 목표범위의 상한치를 초과하는가 아닌가를 판정한다. 음 비율이 목표범위의 상한치를 초과하면, 처리를 단계 S805에 진행시키고, 초과하지 않으면(즉, 그 음 비율이 목표비율의 하한치미만이면) 처리를 단계 S806에 진행시킨다.
단계 S805에서, 가상 광원 제어부(208)는, 현재의 음영역(평균 휘도값이 역치미만의 블록)에 가상 광이 조사되도록 가상 광원의 위치의 초기값을 설정하고, 처리를 단계 S808에 진행시킨다. 가상 광원의 위치는, 리라이팅 처리의 블록들의 중심(도 6b의 참조부호 705, 706에 대응한)의 좌표와, 그 중심의 점에서 가상 광원까지의 거리와의 2개의 정보를 사용하여 규정되는 것으로 한다. 또한, 가상 광이 조사한 범위는, 영역(블록)의 법선 벡터에 대하여 90°를 초과하는 방향으로부터의 광이 피사체 영역에 도달하지 않는 사실을 이용하여, 가상 광원의 위치와, 피사체 영역의 각 블록의 법선 벡터의 방향으로부터 판정할 수 있다.
한편, 단계 S806에서, 가상 광원 제어부(208)는, 우선, 음 비율이 목표범위의 상한치를 초과할 때까지 피사체 영역의 휘도를 저하시킨다(휘도를 일정량 저하시켜, 음영상태 검출부(207)로 음 비율을 산출하는 처리를, 음 비율이 목표범위의 상한치를 초과할 때까지 반복한다).
단계 S807에서, 가상 광원 제어부(208)는, 휘도를 저하시킨 것으로 인해 증가한 음영역(음영역에 해당하도록 그 휘도를 저하시킨 영역)의 일부가 가상 광으로 조사되도록 가상 광원의 위치의 초기값을 설정하고, 처리를 단계 S808에 진행시킨다.
단계 S808에서, 가상 광원 제어부(208)는, 설정한 가상 광원의 위치를 가상 광 부가부(205)에 출력해서, 리라이팅 처리를 행하고, 음영상태 검출부(207)의 처리후의 피사체 영역에 대해서 음 비율을 산출한다. 구체적으로는, 가상 광 부가부(205)는, 가상 광과 법선 벡터가 이루는 각이 90°이하의 영역에 포함된 화소(처리 대상 화소)의 출력ＲＧＢ값(Ｒｏｕｔ, Ｇｏｕｔ, Ｂｏｕｔ)을, 이하의 식에 따라서 산출한다.
Ｒｏｕｔ= [Ｒｔ+A*cos(θ_n)*(1/Ｄｎ^2)*Ｒｖ]/M
Ｇｏｕｔ= [Ｇｔ+A*cos(θ_n)*(1/Ｄｎ^2)*Ｇｖ]/M
Ｂｏｕｔ= [Ｂｔ+A*cos(θ_n)*(1/Ｄｎ^2)*Ｂｖ]/M
여기에서, (Ｒｔ, Ｇｔ, Ｂｔ)은 처리 대상의 화소값, A는 가상 광원의 강도를 의미하는 소정의 정수, D는 가상 광원과, 리라이팅 대상 영역내의 피사체와의 거리, (Ｒｖ, Ｇｖ, Ｂｖ)은 광원 반사 색이다. 또한, M은 리라이팅 후의 출력ＲＧＢ값을 정규화하기 위한 미리 설정된 정수다. θ_n은, n번째(n은 1로부터 64까지의 정수)의 블록의 법선 벡터와, 법선 벡터의 시점(블록의 중심)과 가상 광원의 위치와를 잇는 직선이 이루는 각도, Ｄｎ은, n번째의 블록의 중심과 가상 광원간의 거리다.
그리고, 가상 광원 제어부(208)는, 가상 광 부가부(205)가 산출한 출력ＲＧＢ값을 취득해서 음영상태 검출부(207)에 출력하여, 리라이팅 처리후의 음 비율을 얻는다. 구체적으로는, 음영상태 검출부(207)는, 분할한 블록의 각각에 대하여 평균 휘도값을 산출하고, (평균 휘도값이 소정의 역치미만인 블록의 총수)/분할수(64)로서 리라이팅 처리후의 음 비율을 산출하여, 가상 광원 제어부(208)에 출력한다.
단계 S809에서, 가상 광원 제어부(208)는, 산출한 리라이팅 처리후의 음 비율과 목표값으로부터, 단계 S803과 마찬가지로 판정을 행한다. 가상 광원 제어부(208)는 리라이팅 처리후의 음 비율이 목표범위내이면 처리를 종료하고, 리라이팅 처리후의 화상을 재감마 처리부(206)에 출력한다. 한편, 상기 음 비율이 소정의 역치범위외이면, 가상 광원 제어부(208)는 처리를 단계 S811에 진행시킨다.
단계 S811에서, 가상 광원 제어부(208)는, 단계 S804와 마찬가지로, 리라이팅 후의 음 비율이 목표범위의 상한치를 초과하는가 아닌가를 판정한다. 음 비율이 목표범위의 상한치를 초과하면, 처리를 단계 S812에 진행시키고, 초과하지 않으면(즉, 목표비율의 하한치미만이면), 처리를 단계 S813에 진행시킨다.
단계 S812에서, 가상 광원 제어부(208)는, 음영역의 블록들의 일부의 평균 휘도가 증가하도록 가상 광원의 위치를 변경하고 재설정해서, 처리를 단계 S808에 되돌아간다.
단계 S813에서, 가상 광원 제어부(208)는, 음영역의 블록들의 일부의 평균 휘도가 감소하도록 가상 광원의 위치를 변경하고 재설정해서, 처리를 단계 S808에 되돌아간다.
여기에서, 단계 S812와 단계 S813에 있어서의 가상 광원 위치의 변경 방법에 대해서 도 ６b를 참조하여 설명한다. 도 ６b에 있어서, 참조부호 707은, 환경광원을 모식적으로 나타내고 있다. 일반적으로, 환경광원과 가상 광원의 특성과 위치가 동일할 경우, 가상 광의 조사 범위와 환경광의 조사 범위간에 차이가 없기 때문에, 피사체 영역의 음 비율은 리라이팅 처리의 전후에 변화되지 않는다. 그리고, 환경광원과 가상 광원이 서로 떨어질수록, 상기 리라이팅 처리로 인해 음 비율의 저하는 커진다.
예를 들면, 도 6b의 가상 광원(703)으로부터의 가상 광은 블록B1 내지 B6의 범위에 도달하지만, 블록B7, B8에는 도달하지 않는다. 또한, 가상 광원(704)으로부터의 가상 광은 블록B3 내지 B8의 범위에 도달하지만, 블록B1, B2에는 도달하지 않는다. 따라서, 가상 광원 제어부(208)는, 가상 광원의 위치를 적절하게 결정하는 것에 의해, 리라이팅 처리로 밝게 보정되는 피사체 영역을 제어할 수 있기 때문에, 피사체의 음영역의 면적비율을 소정의 목표값에 가깝게 하는 것이 가능하다. 특히, 블록B1, B2와 같이, 리라이팅 이전에는 음으로 되어 있었던 영역에 가상 광이 충돌하면, 리라이팅 후의 음 비율은 실질적으로 감소된다. 이에 따라, 음 비율의 값과 그 음 비율의 목표값간의 차이가 크면, 저휘도 블록에 가상 광이 조사되도록 가상 광원의 위치를 설정함으로써, 효율적으로 음 비율을 목표값에 가깝게 할 수 있다.
한편, 음 비율을 증가시킬 필요가 있을 경우, 단계 S806에서의 저하된 휘도로 인해 증가한 음영역에 대해서, 전회의 리라이팅시보다도 가상 광이 조사하는 범위를 좁게 하거나, 가상 광의 양이 적어지도록, 가상 광원의 위치를 변경한다. 이것은, 리라이팅 처리의 중심위치의 변경과, 리라이팅의 중심위치부터의 거리의 조정 중, 적어도 한쪽을 수반하는 조정에 의해 실현될 수 있다.
이렇게 하여, 가상 광원 제어부(208)는, 리라이팅 후의 피사체의 음 비율이 소정의 역치범위내가 될 때까지 단계 S808이후의 처리를 반복한다. 단, 이 반복 횟수에 상한치를 설정하고, 상한치에 도달했을 경우에는 처리를 종료하도록 구성해도 좋다.
또한, 본 실시예에서는 피사체의 음영의 상태를 의미하는 평가 값으로서, 음 비율을 사용했을 경우에 대해서 설명했지만, 제1의 실시예에서 설명한 콘트라스트 값을 사용해도 같은 제어를 행할 수 있다. 이 경우, 콘트라스트 값을 증가시키고 싶을 경우에는 음영역이 아닌 영역을 가상 광으로 조사하도록, 또한 콘트라스트 값을 감소시키고 싶을 경우에는 음영역을 가상 광으로 조사하도록, 가상 광원의 위치를 결정하면 좋다. 또한, 조사 범위를 단계 S812 및 단계 S813에서 조정함으로써 원하는 목표값의 범위를 실현할 수 있다.
또한, 본 실시예에서는, 음 비율이 소정의 목표범위에 도달할 때까지, 가상 광원의 위치의 재설정을 반복하는 구성을 설명했지만, 재설정은 필수적이지 않다. 예를 들면, 검출한 음 비율과 목표값간의 차이의 크기에 근거하여, 가상 광원의 위치를 그 처리의 1회 실행으로 결정해도 좋다. 예를 들면, 목표값과 비교하여 음 비율이 클수록, 가상 광의 조사 범위에 포함된 음영역의 면적이 커지도록, 가상 광원의 위치를 결정할 수 있다. 또한, 목표값과 비교하여 음 비율이 작을수록, 저하된 휘도로 인해 생성되고, 가상 광의 조사 범위에 포함된 음영역의 면적이 작아지도록, 가상 광원의 위치를 결정할 수 있다. 이렇게 함으로써, 가상 광원의 배치를 반복적으로 결정하지 않고, 음영의 상태가 목표로 한 음영의 상태에 가깝도록 리라이팅 처리를 행하는 것이 가능하다.
이렇게, 본 실시예에 의하면, 제1의 실시예와 동일한 효과에 더해, 가상 광원의 위치를 미세하게 조정할 수 있어, 유연한 음영상태의 조정을 실현하는 것이 가능하게 된다.
그 밖의 실시예
또한, 본 발명의 실시예들은, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령어들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예들의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예들의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 주문형 반도체(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예들의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예들의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령어를 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 발명을 실시예들을 참조하여 설명하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.
본 출원은, 여기서 전체적으로 참고로 포함된, 2014년 9월 26일에 출원된 일본국 특허출원번호 2014-197506의 이점을 청구한다.

Claims (27)

  1. 화상중의 피사체 영역에 대해서, 음영의 상태를 의미하는 평가 값을 산출하는 산출 수단;
    상기 피사체 영역에 따라 상기 피사체 영역에 대해서 음영의 상기 상태에 대한 다른 목표값들 중 하나를 설정할 수 있는 목표값 설정 수단;
    상기 목표값과 상기 평가 값의 비교 결과에 근거하여 가상 광원을 설정하는 가상 광원 설정 수단; 및
    상기 가상 광원이 조사하는 가상 광의 영향을 상기 화상에 적용시키는 보정수단을 구비하는, 화상처리장치.
  2. 제 1 항에 있어서,
    상기 가상 광원 설정 수단은, 상기 평가 값에 근거하여, 음영을 약화시킬 필요가 있다고 판정될 경우, 상기 피사체 영역의 음 영역을 상기 가상 광이 조사하도록 상기 가상 광원을 설정하는, 화상처리장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 가상 광원 설정 수단은, 상기 평가 값에 근거하여, 음영을 강화시킬 필요가 있다고 판정될 경우, 상기 피사체 영역에 있어서의 환경광과 상기 가상 광의 조사 범위가 중복하도록 상기 가상 광원을 설정하는, 화상처리장치.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 산출 수단은, 상기 화상이 촬영되었을 때 환경광의 조사 방향을 추정하고,
    상기 가상 광원 설정 수단은, 상기 평가 값과 상기 환경광의 조사 방향에 근거하여 상기 가상 광원을 설정하는, 화상처리장치.
  5. 제 4 항에 있어서,
    상기 가상 광원 설정 수단은, 상기 평가 값에 근거하여, 음영을 약화시킬 필요가 있다고 판정될 경우, 상기 환경광의 조사 방향과 상기 피사체 영역을 대표하는 법선 벡터가 이루는 각의 부호가, 상기 가상 광의 조사 방향과 상기 법선 벡터가 이루는 각의 부호와 다르도록, 상기 가상 광원을 설정하는, 화상처리장치.
  6. 제 4 항에 있어서,
    상기 가상 광원 설정 수단은, 상기 평가 값에 근거하여, 음영을 강화시킬 필요가 있다고 판정될 경우, 상기 환경광의 조사 방향과 상기 피사체 영역을 대표하는 법선 벡터가 이루는 각의 부호가, 상기 가상 광의 조사 방향과 상기 법선 벡터가 이루는 각의 부호와 같도록, 상기 가상 광원을 설정하는, 화상처리장치.
  7. 제 1 항에 있어서,
    상기 가상 광원 설정 수단은, 상기 평가 값에 근거하여, 상기 피사체 영역의 음 영역을 감소시킬 필요가 있다고 판정될 경우, 상기 피사체 영역의 음 영역을 상기 가상 광이 조사하도록 상기 가상 광원을 설정하는, 화상처리장치.
  8. 제 1 항 또는 제 7 항에 있어서,
    상기 가상 광원 설정 수단은, 상기 평가 값에 근거하여, 상기 피사체 영역의 음 영역을 증가시킬 필요가 있다고 판정될 경우, 상기 피사체 영역의 휘도를 감소한 후에, 상기 가상 광원을 설정하는, 화상처리장치.
  9. 제 8 항에 있어서,
    상기 가상 광원 설정 수단은, 상기 평가 값에 근거하여, 상기 피사체 영역의 음 영역을 증가시킬 필요가 있다고 판정될 경우, 상기 휘도의 감소에 의해 음의 영역에 해당하는 휘도가 된 영역의 일부를 상기 가상 광이 조사하도록 상기 가상 광원을 설정하는, 화상처리장치.
  10. 제 1 항에 있어서,
    상기 산출 수단은, 상기 보정수단이 보정한 화상에 대하여 상기 평가 값을 한층 더 산출하고,
    상기 가상 광원 설정 수단은, 상기 평가 값이 소정의 목표범위내가 아니면, 상기 가상 광원을 재설정하는, 화상처리장치.
  11. 제 10 항에 있어서,
    상기 평가 값이 상기 목표범위내가 될 때까지, 상기 산출 수단에 의한 상기 평가 값의 산출과, 상기 가상 광원 설정 수단에 의한 상기 가상 광원의 재설정을, 반복하는, 화상처리장치.
  12. 제 1 항에 있어서,
    상기 가상 광원 설정 수단은, 상기 평가 값과, 상기 화상이 촬영되었을 때 사용된 촬영 모드 혹은 카메라 파라미터에 따라서 동적으로 설정되는 목표값에, 근거하여 상기 가상 광원을 설정하는, 화상처리장치.
  13. 제 12 항에 있어서,
    상기 목표값은, 상기 화상의 감마 보정에 사용된 감마 커브가 콘트라스트를 강하게 표현하는 특성일 경우에는, 콘트라스트를 약하게 표현하는 특성일 경우보다도 낮게 설정되는, 화상처리장치.
  14. 제 1 항에 있어서,
    상기 피사체 영역은, 상기 화상의 특징에 근거하는 검출 혹은 유저의 지정에 근거하는 영역인, 화상처리장치.
  15. 제 1 항에 있어서,
    상기 보정수단은, 상기 피사체 영역을 제외하는 영역에 대해서, 상기 피사체 영역의 음영에 근거하는 보정을 한층 더 행하는, 화상처리장치.
  16. 청구항 1에 따른 화상처리장치; 및
    촬영에 의해 상기 화상을 취득하는 촬상 수단을 구비하는, 촬상 장치.
  17. 화상중의 피사체 영역에 대해서, 음영의 상태를 의미하는 평가 값을 산출하는 단계;
    상기 피사체 영역에 따라 상기 피사체 영역에 대해서 음영의 상기 상태에 대한 다른 목표값들 중 하나를 설정하는 단계;
    상기 목표값과 상기 평가 값의 비교 결과에 근거하여 가상 광원을 설정하는 단계; 및
    상기 가상 광원이 조사하는 가상 광의 영향을 상기 화상에 적용시키는 단계를 포함하는, 화상처리장치의 제어 방법.
  18. 컴퓨터를 청구항 1에 따른 화상처리장치로서 기능시키기 위한 프로그램을 기억하는, 컴퓨터 판독 가능한 기억매체.
  19. 화상중의 대상 영역의 콘트라스트를 의미하는 평가 값을 산출하는 산출 수단;
    상기 화상중의 상기 대상 영역을 조사하는 환경광의 조사 방향을 취득하는 취득 수단;
    (i) 상기 산출 수단에 의해 산출된 평가 값과 상기 대상 영역에 대하여 설정된 목표값의 비교 결과와 (ii) 상기 취득 수단에 의해 취득된 환경광의 조사 방향에 근거하여, 가상 광원을 설정하는 설정 수단; 및
    상기 가상 광원에 의한 조명 효과를 상기 화상중의 상기 대상 영역에 적용시켜서, 상기 화상중의 상기 대상 영역의 콘트라스트를 보정하는 보정 수단을 구비하고,
    상기 목표값은 상기 대상 영역에 따라 변화하는, 화상처리장치.
  20. 제 19 항에 있어서,
    상기 설정 수단은, 상기 보정 수단에 의해 상기 콘트라스트가 보정됨으로써, 상기 화상중의 대상 영역의 콘트라스트를 의미하는 평가 값이 상기 목표값에 가깝도록, 상기 가상 광원을 설정하는, 화상처리장치.
  21. 제 20 항에 있어서,
    상기 설정 수단은, 상기 산출 수단에 의해 산출된 평가 값이 상기 목표값보다 클 경우, 상기 가상 광원의 가상 광으로 조사될 때 상기 화상중의 대상 영역의 어두운 부분을 관찰할 수 있는 조명 효과가 상기 화상중의 대상 영역에 적용되도록, 상기 가상 광원을 설정하는, 화상처리장치.
  22. 제 20 항에 있어서,
    상기 설정 수단은, 상기 산출 수단에 의해 산출된 평가 값이 상기 목표값보다 크지 않을 경우, 상기 가상 광원의 가상 광으로 조사될 때 상기 화상중의 대상 영역의 밝은 부분을 관찰할 수 있는 조명 효과가 상기 화상중의 대상 영역에 적용되도록, 상기 가상 광원을 설정하는, 화상처리장치.
  23. 제 20 항에 있어서,
    상기 설정 수단은, 상기 산출 수단에 의해 산출된 평가 값이 상기 목표값보다 클 경우가, 상기 산출 수단에 의해 산출된 평가 값이 상기 목표값보다 크지 않을 경우보다도, 상기 가상 광의 조사 방향과 상기 환경광의 조사 방향간의 차이가 크도록, 상기 가상 광원을 설정하는, 화상처리장치.
  24. 화상중의 대상 영역의 콘트라스트를 의미하는 평가 값을 산출하는 단계;
    상기 화상중의 대상 영역을 조사하는 환경광의 조사 방향을 취득하는 단계;
    (i) 상기 산출하는 단계에서 산출된 평가 값과 상기 대상 영역에 대하여 설정된 목표값의 비교 결과와 (ii) 상기 취득하는 단계에서 취득된 환경광의 조사 방향에 근거하여, 가상 광원을 설정하는 단계; 및
    상기 가상 광원의 조명 효과를 상기 화상중의 대상 영역에 적용시켜서, 상기 화상중의 대상 영역의 콘트라스트를 보정하는 단계를 포함하고,
    상기 목표값은 상기 대상 영역에 따라 변화하는, 화상처리장치의 제어 방법.
  25. 컴퓨터를 청구항 19 내지 청구항 23 중 어느 한 항에 따른 화상처리장치로서 기능시키기 위한 프로그램을 기억하는, 컴퓨터 판독 가능한 기억매체.
  26. 화상중의 피사체 영역에 대해서, 음영의 상태를 의미하는 평가 값을 산출하는 산출 수단;
    상기 평가 값에 근거하여 가상 광원을 설정하는 설정 수단; 및
    상기 가상 광원이 조사하는 가상 광의 영향을 상기 화상에 적용시키는 보정 수단을 구비하고,
    상기 설정 수단은, 상기 평가 값에 근거하여, 상기 피사체 영역의 음 영역을 증가시킬 필요가 있다고 판정될 경우, 상기 피사체 영역의 휘도를 감소한 후에, 상기 가상 광원을 설정하는, 화상처리장치.
  27. 화상중의 피사체 영역에 대해서, 음영의 상태를 의미하는 평가 값을 산출하는 단계;
    상기 평가 값에 근거하여 가상 광원을 설정하는 단계; 및
    상기 가상 광원이 조사하는 가상 광의 영향을 상기 화상에 적용시키는 단계를 포함하고,
    상기 설정하는 단계는, 상기 평가 값에 근거하여, 상기 피사체 영역의 음 영역을 증가시킬 필요가 있다고 판정될 경우, 상기 피사체 영역의 휘도를 감소한 후에, 상기 가상 광원을 설정하는, 화상처리장치의 제어 방법.
KR1020177010705A 2014-09-26 2015-09-10 화상처리장치 및 그 제어 방법 KR101861153B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-197506 2014-09-26
JP2014197506A JP6442209B2 (ja) 2014-09-26 2014-09-26 画像処理装置およびその制御方法
PCT/JP2015/004604 WO2016047072A1 (en) 2014-09-26 2015-09-10 Image processing apparatus and control method thereof

Publications (2)

Publication Number Publication Date
KR20170057401A KR20170057401A (ko) 2017-05-24
KR101861153B1 true KR101861153B1 (ko) 2018-05-25

Family

ID=55580623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177010705A KR101861153B1 (ko) 2014-09-26 2015-09-10 화상처리장치 및 그 제어 방법

Country Status (6)

Country Link
US (2) US10475237B2 (ko)
EP (2) EP3896643A1 (ko)
JP (1) JP6442209B2 (ko)
KR (1) KR101861153B1 (ko)
CN (2) CN111385482B (ko)
WO (1) WO2016047072A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6442209B2 (ja) 2014-09-26 2018-12-19 キヤノン株式会社 画像処理装置およびその制御方法
KR102379601B1 (ko) * 2015-06-05 2022-03-29 삼성전자주식회사 영상 데이터의 제어 방법 및 장치
JP6641181B2 (ja) * 2016-01-06 2020-02-05 キヤノン株式会社 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
JP6718256B2 (ja) * 2016-02-26 2020-07-08 キヤノン株式会社 画像処理装置、撮像装置およびそれらの制御方法ならびにプログラム
JP6579659B2 (ja) * 2016-08-31 2019-09-25 Kddi株式会社 光源推定装置及びプログラム
JP7054347B2 (ja) * 2017-04-17 2022-04-13 キヤノン株式会社 画像処理装置およびその制御方法
JP2019070872A (ja) * 2017-10-05 2019-05-09 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN109670389B (zh) * 2017-10-16 2023-04-07 富士通株式会社 评价人脸图像中的光照条件的方法和设备
KR102090332B1 (ko) * 2018-04-18 2020-04-23 옥타코 주식회사 카메라 다중영상 분석을 이용한 조명환경 보상 기반의 생체인식 처리 방법
ES2952250T3 (es) * 2018-05-08 2023-10-30 Signify Holding Bv Método y dispositivo de control de iluminación para controlar una pluralidad de dispositivos de iluminación
JP7114335B2 (ja) 2018-05-23 2022-08-08 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及び、プログラム
US10872474B2 (en) * 2018-06-29 2020-12-22 Dentsply Sirona Inc. Method and system for dynamic adjustment of a model
JP7194534B2 (ja) * 2018-08-24 2022-12-22 セコム株式会社 対象検知装置、画像処理装置、対象検知方法、画像処理方法、及びプログラム
JP7307541B2 (ja) * 2018-12-19 2023-07-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP7292905B2 (ja) * 2019-03-06 2023-06-19 キヤノン株式会社 画像処理装置及び画像処理方法、及び撮像装置
CN110288934B (zh) * 2019-06-25 2022-09-23 北京向上一心科技有限公司 基于柔性屏幕的成像保持方法、装置和移动终端
JP7446080B2 (ja) 2019-10-15 2024-03-08 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム及び撮像システム
JP7398939B2 (ja) * 2019-12-03 2023-12-15 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム、並びに記憶媒体
JP6949933B2 (ja) * 2019-12-26 2021-10-13 Ｎｅｃプラットフォームズ株式会社 画像読取装置、画像読取制御方法、及び、画像読取制御プログラム
JP7455578B2 (ja) 2019-12-27 2024-03-26 キヤノン株式会社 画像処理装置および画像処理方法
JP2021136661A (ja) * 2020-02-28 2021-09-13 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
KR102494530B1 (ko) * 2020-05-28 2023-02-02 주식회사 씽크아이 차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법
WO2024096496A1 (ko) * 2022-11-01 2024-05-10 삼성전자주식회사 복수의 가상 조명들을 제공하기 위한 전자 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128986A (ja) * 2008-11-28 2010-06-10 Canon Inc 複合現実感提示システムと仮想光源の輝度調整方法
JP2010135996A (ja) * 2008-12-03 2010-06-17 Olympus Imaging Corp 撮像装置、ライティング処理装置、ライティング処理方法およびライティング処理用プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3390426B2 (ja) 2000-11-29 2003-03-24 技研トラステム株式会社 物体像識別方法
US6980697B1 (en) * 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
JP2004152015A (ja) * 2002-10-30 2004-05-27 Digital Fashion Ltd 画像処理装置、画像処理プログラム、そのプログラムを記録する記録媒体、画像処理方法、シェーディング情報取得装置及びデータ構造
US7593603B1 (en) * 2004-11-30 2009-09-22 Adobe Systems Incorporated Multi-behavior image correction tool
JP4140619B2 (ja) * 2005-06-14 2008-08-27 松下電器産業株式会社 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法
JP5147287B2 (ja) * 2006-05-23 2013-02-20 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
US8164594B2 (en) * 2006-05-23 2012-04-24 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
JP5094219B2 (ja) 2006-06-29 2012-12-12 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
JP2008009849A (ja) 2006-06-30 2008-01-17 Matsushita Electric Ind Co Ltd 人物追跡装置
JP4948218B2 (ja) * 2007-03-22 2012-06-06 キヤノン株式会社 画像処理装置及びその制御方法
JP4199817B1 (ja) * 2007-08-21 2008-12-24 株式会社コナミデジタルエンタテインメント 画像生成装置、画像生成方法、および、プログラム
JP2009098925A (ja) * 2007-10-17 2009-05-07 Sony Corp 画像処理装置、画像処理方法、および、プログラム
US20090259666A1 (en) * 2008-04-15 2009-10-15 Kenneth Tola Unobtrusive methods and systems for collecting information transmitted over a network
JP5251629B2 (ja) 2008-05-20 2013-07-31 株式会社リコー 画像処理装置、撮像装置、画像処理方法、及び、コンピュータプログラム
US8355059B2 (en) * 2009-02-06 2013-01-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US8525847B2 (en) 2009-06-01 2013-09-03 Apple Inc. Enhancing images using known characteristics of image subjects
JP4831223B2 (ja) 2009-09-29 2011-12-07 カシオ計算機株式会社 画像表示装置及び方法並びにプログラム
EP3457685A1 (en) * 2010-11-01 2019-03-20 Nokia Technologies Oy Tuning of digital image quality
GB2500405B (en) * 2012-03-20 2014-04-16 Lightmap Ltd Point and click lighting for image based lighting surfaces
JP2013235537A (ja) * 2012-05-11 2013-11-21 Nikon Corp 画像作成装置、画像作成プログラム、及び記録媒体
EP2675157A1 (en) * 2012-06-15 2013-12-18 Alcatel Lucent A method for generating an immersive video of a plurality of persons
US9536345B2 (en) * 2012-12-26 2017-01-03 Intel Corporation Apparatus for enhancement of 3-D images using depth mapping and light source synthesis
JP6044909B2 (ja) * 2012-12-27 2016-12-14 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
JP6176978B2 (ja) 2013-01-31 2017-08-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
JP6115257B2 (ja) 2013-03-29 2017-04-19 三菱電機株式会社 真空バルブ
JP6442209B2 (ja) 2014-09-26 2018-12-19 キヤノン株式会社 画像処理装置およびその制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128986A (ja) * 2008-11-28 2010-06-10 Canon Inc 複合現実感提示システムと仮想光源の輝度調整方法
JP2010135996A (ja) * 2008-12-03 2010-06-17 Olympus Imaging Corp 撮像装置、ライティング処理装置、ライティング処理方法およびライティング処理用プログラム

Also Published As

Publication number Publication date
JP6442209B2 (ja) 2018-12-19
KR20170057401A (ko) 2017-05-24
CN106664364A (zh) 2017-05-10
CN111385482B (zh) 2022-02-01
EP3198852B1 (en) 2021-06-30
US10475237B2 (en) 2019-11-12
CN106664364B (zh) 2020-05-05
US20200043225A1 (en) 2020-02-06
JP2016072692A (ja) 2016-05-09
EP3198852A1 (en) 2017-08-02
EP3896643A1 (en) 2021-10-20
WO2016047072A1 (en) 2016-03-31
CN111385482A (zh) 2020-07-07
EP3198852A4 (en) 2018-05-02
US20170186222A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
KR101861153B1 (ko) 화상처리장치 및 그 제어 방법
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6412386B2 (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
JP6718253B2 (ja) 画像処理装置及び画像処理方法
US11019254B2 (en) Image processing apparatus, control method for image processing apparatus, and storage medium having correction of effect of virtual light source
US10863103B2 (en) Setting apparatus, setting method, and storage medium
US11893716B2 (en) Image processing apparatus and image processing method, and image capturing apparatus
JP6921606B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
US10021314B2 (en) Image processing apparatus, image capturing apparatus, method of controlling the same, and storage medium for changing shading using a virtual light source
JP6727276B2 (ja) 画像処理装置、その制御方法、プログラム
JP2016213717A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6675461B2 (ja) 画像処理装置およびその制御方法、ならびにプログラム
JP6663246B2 (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
JP7356255B2 (ja) 画像処理装置及びその処理方法、撮像装置、プログラム、記憶媒体
JP2021087125A (ja) 画像処理装置、その制御装置、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant