JP6718253B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6718253B2 JP6718253B2 JP2016032424A JP2016032424A JP6718253B2 JP 6718253 B2 JP6718253 B2 JP 6718253B2 JP 2016032424 A JP2016032424 A JP 2016032424A JP 2016032424 A JP2016032424 A JP 2016032424A JP 6718253 B2 JP6718253 B2 JP 6718253B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- target
- state
- shadow
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 66
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 claims description 91
- 238000012937 correction Methods 0.000 claims description 76
- 238000001514 detection method Methods 0.000 claims description 31
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 201000005569 Gout Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
例えば、特許文献1では、撮影画像に対して疑似的なライティング処理を行うリライティング処理手段について開示されている。具体的には、仮想光源の位置を決定する方法に関して、被写体に対して環境光と仮想光源とを逆方向に配置することにより、被写体の影を低減させるよう補正する技術が開示されている。
前記被写体ごとの陰影の程度を示す陰影状態を検出する状態検出手段と、を有し、
前記陰影状態は前記被写体ごとの被写体領域の中のコントラストを表す情報を含みと、
検出された前記陰影状態に基づいて、前記被写体の補正の前の陰影の程度と補正の後の陰影の程度の序列が入れ替わらないように、前記着目画像中の対象となる被写体ごとに、目標となる陰影の状態である目標陰影状態を設定する目標設定手段と、
前記着目画像に対して、前記状態検出手段により検出された陰影状態と前記目標陰影状態とに基づいて、前記対象となる被写体ごとに仮想光源の設定を決定する光源設定手段と、
前記仮想光源を用いて前記着目画像中の前記対象となる被写体の明るさを補正する補正手段とをさらに備えることを特徴とする画像処理装置。
<デジタルカメラの構成>
図1は、本発明の実施形態によるデジタルカメラ100の構成例を示すブロック図である。本発明は撮影された画像に適用する画像処理、より具体的にはリライティング(re-lighting)処理の方法に特徴を有する。従って、撮影や記録に関する構成は必須では無い。
次に、上記のように構成されたデジタルカメラ100における被写体撮影時の基本動作について説明する。撮像部103は、シャッター102が開いている際にレンズ群101が撮像面に形成する被写体像を撮像素子によって光電変換し、アナログ画像信号としてA/D変換器104へ出力する。A/D変換器104は撮像部103から出力されるアナログ画像信号をデジタル画像信号(画像データ)に変換し画像処理部105に出力する。
画像処理部105は、A/D変換器104からの画像データ、又は、メモリ制御部107からの画像データに対し、同時化処理(デモザイク処理)、γ補正、リライティング処理などの各種画像処理を行う。また、画像処理部105では、撮影で得られた画像データを用いて輝度やコントラストなどに関する所定の演算処理を行い、得られた演算結果に基づいてシステム制御部50が焦点調節や露光制御を行う。焦点検出や露出制御に顔検出部113の検出結果を考慮してもよい。このように、本実施形態のデジタルカメラ100では、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理を行う。画像処理部105ではさらに、撮影で得られた画像データを用いたオートホワイトバランス(AWB)調整も行う。
また、D/A変換器108は、画像メモリ106に格納されている画像表示用のデータをアナログ信号に変換して表示部109に供給する。表示部109は、LCD等の表示装置に、D/A変換器108からのアナログ信号に応じた表示を行う。
コーデック部110は、画像メモリ106に記録された画像データをJPEGやMPEGなどの規格に基づき符号化する。システム制御部50は符号化した画像データに対して予め定められたヘッダなどを付与して画像ファイルを形成し、インタフェース111を介して記録媒体112に記録する。
図2は、画像処理部105の、リライティング処理に関係する機能構成例を示すブロック図である。なお、図2に示す機能ブロックの1つ以上は、マイクロプロセッサとソフトウェアの組み合わせよって実現されてもよいし、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)のようなハードウェアによって実現されてもよい。PLDにはFPGA(Field-Programmable Gate Array)、PLA(Programmable Logic Array)などが含まれる。なお、リライティング処理は、リライティング処理の実行が指定された状態で撮影された画像や、メニュー画面等からリライティング処理の実施が指示された、例えば記録媒体112に記録済の画像に対して実施することができる。なお、リライティング処理において撮影時の情報が必要な場合、不揮発性メモリ121またはシステムメモリ122から読み出したり、画像ファイルのヘッダなどから取得したりするものとする。図2において、画像処理部105は、画像信号生成部201、WB増幅部202、被写体領域抽出部203、陰影状態検出部204、目標陰影状態設定部205、仮想光源設定部206、仮想光源信号付加部207、ガンマ処理部208を含む。
次に、画像処理部105における処理の流れを説明する。図3に示したのは、画像処理部105の各部が実行するリライティング処理全体の流れを示したフローチャートである。
ステップS301では、被写体領域抽出部203が、WB増幅部202から入力された画像信号のうち、被写体領域に対応する画像信号のみを抽出する。すなわち被写体検出を行う。なお入力された画像信号を入力画像または着目画像と呼ぶ。例えば、リライティング処理の対象となる被写体領域が、人物の顔領域である場合、顔検出部113で検出した被写体人物の顔領域に対応する画像信号を抽出する。被写体が複数存在する場合は、複数の被写体領域をそれぞれ抽出する。
ステップS302では、被写体領域抽出部203が、抽出した被写体領域が着目画像中に複数存在するか否かを判定する。被写体領域が複数存在していると判定した場合は、ステップS303へ進み、被写体領域が単一である場合は、ステップS307へ進む。
ステップS304では、目標陰影状態設定部205が、入力された被写体それぞれの陰影の状態を表す情報を比較した結果に基づき、リライティング補正の対象とする被写体を決定する。
ステップS305では、目標陰影状態設定部205が、ステップS304で選択された被写体のそれぞれに対して、入力された被写体の陰影の状態を表す情報を比較した結果に基づき目標設定する。すなわち、リライティング補正の目標とする陰影の状態である目標陰影状態を決定する。目標陰影状態設定部205は、決定した目標陰影状態を表す情報を、仮想光源設定部206へ出力する。
ステップS306では、仮想光源設定部206が、入力された目標陰影状態を表す情報と、陰影状態検出部204が検出した被写体の陰影の状態を表す情報に基づき、ステップS304で選択された被写体のそれぞれに対して、仮想光源の設定値を決定する。仮想光源設定部206は、決定した仮想光源の設定値を、仮想光源信号付加部207へ出力する。
ステップS308では、目標陰影状態設定部205が、入力された被写体の陰影の状態を表す情報に基づき、リライティング補正の目標とする陰影の状態である目標陰影状態を決定する。ただし、ステップS308へ進む場合は、補正の対象となる被写体が一つのみ検出されている場合であり、被写体間で陰影の状態を比較して目標陰影状態を定める必要がない。このため、ここでは、予め定められた所定の陰影の状態を目標陰影状態として決定する。目標陰影状態検出部205は、決定した目標陰影状態を表す情報を、仮想光源設定部206へ出力する。
ステップS309では、仮想光源設定部206が、入力された被写体の陰影の状態を表す情報と、目標陰影状態を表す情報とに基づいて、仮想光源の設定値を決定する。仮想光源設定部206は、決定した仮想光源の設定値を、仮想光源信号付加部207へ出力する。ここで仮想光源の設定値を決定する方法は、ステップS306で用いる方法と同様である。
以上が、本実施例におけるリライティング処理の全体の流れである。以下、各ステップにおける処理の詳細について、順に説明する。
図4を用いて、陰影状態検出部204が、環境光によって生じる被写体の陰影の状態を検出する処理の詳細について説明する。この処理は図3のステップS303、S307に相当する。陰影状態検出部204は、被写体領域抽出部203から入力された被写体領域の画像信号に基づいて、被写体の明るさ情報を算出する。具体的には、図4に示したように、被写体領域を複数の部分(例えば、8×8=64個のブロック)に分割して、分割したブロック毎に輝度平均値を算出する。次に、陰影状態検出部204は、算出した輝度平均値に基づいて、被写体のコントラスト値を算出する。具体的には、分割した複数のブロックのうち、最も平均輝度の高いブロック(402)と最も平均輝度の低いブロック(403)を選び、その平均輝度の比を算出して、コントラスト値として用いる事とする。ただし、輝度信号に加えて、色相や彩度などの色信号をブロック毎に算出して、被写体色が近いブロック間でコントラスト値を算出するようにする。被写体色が近いとは、たとえば色相や彩度などの色信号の値の差が所定値以内であることなどにより判定される。被写体色が近いブロック間でコントラスト値を算出する場合、たとえば、被写体のブロックを被写体色が近いグループに分類し、各グループ内でコントラスト値を算出する。そしてグループ間で最も大きいコントラスト値を最終的なコントラスト値とする。陰影状態検出部204は、算出したコントラスト値を、被写体陰影情報として、目標陰影状態設定部205へ出力する。
次に、目標陰影状態設定部205が、被写体陰影情報に基づいて、リライティング対象とする被写体を決定する処理について、詳細を説明する。この処理は図3のステップS304に相当する。
図5に示したのは、画像中に複数の被写体が含まれる場合に、それぞれの被写体のコントラスト値を算出した結果の例を示したものである。図の横軸は、被写体の区別を表し、縦軸はコントラスト値を表す。図中のCa〜Cdはそれぞれ、被写体a〜dのコントラスト値を表す。図に示した通り、Ca<Cb<Cc<Cdの関係がある。
次に、目標陰影状態設定部205が、リライティング補正の対象として選択した被写体に対する目標陰影状態を決定する処理について、詳細を説明する。この処理は図3のステップS305、S308に相当する。ここでは、被写体のコントラスト値が基準となるコントラストの値に近づくよう目標陰影状態を定める。更に、本実施例での特徴的な処理として、リライティング補正の前後において、被写体のコントラスト値の大小関係が逆転しないよう、それぞれの被写体に対する目標陰影状態を定める。すなわち、補正の前の陰影状態で表される各被写体の陰影の程度と、補正の後の各被写体の陰影の程度の序列が入れ替わらないように、リライティングの対象となる被写体ごとに、目標となる陰影の状態である目標陰影状態を設定する。このようにすることで、見た目に好ましい陰影の状態に近づけるよう補正し、かつ、元の環境光による影響を残した自然な見た目となるよう、リライティング補正を制御することができる。
次に、仮想光源設定部206が、それぞれの被写体の被写体陰影情報と、目標陰影状態とに基づいて、仮想光源の設定値を算出する処理について、詳細を説明する。この処理は図3のステップS306、S309に相当する。図6に示したのは、仮想光源設定部206が行う処理の流れを示したフローチャートである。図6はひとつの被写体に対する処理手順であり、被写体が複数ある場合には各被写体に順次着目して着目被写体に対して図6の処理手順が遂行される。また、図7に示したのは、被写体、環境光、仮想光源の位置関係を表した図である。ここでは、補正対象領域を図4に示したような人物の顔とした場合で説明する。
図6のフローチャートを用いて、処理の流れを説明する。ここでは、仮想光源設定部206が、仮想光源の設定値として、仮想光源の位置(光を照射する方向)を算出する場合で説明する。したがって図6の各ステップの実行主体は仮想光源設定部206である。
ステップS601では、ステップS305で決定した目標コントラスト値の情報を、目標陰影状態設定部205より取得する。
ステップS602では、ステップS303で検出した、環境光によって生じた被写体コントラスト値を、陰影状態検出部204から取得する。またステップS303では環境光の位置も陰影状態検出部204により検出されており、被写体コントラスト値と共に当該被写体に対する環境光の位置情報も併せて取得する。
ステップS603では、目標コントラスト値と被写体コントラスト値とを比較し、被写体コントラスト値が目標コントラスト値より高いか否かを判定する。被写体コントラスト値が目標コントラスト値より高いと判定した場合はステップS604へ進み、そうでない場合はステップS605へ進む。
ステップS604へ進む場合は、環境光によって被写体領域に暗い陰影が生じ、目標とするコントラスト値よりも被写体コントラスト値が高くなっている場合に対応する。このため、ステップS604で仮想光源設定部206は、被写体に対して、仮想光源と環境光とが異なる側から照射されるよう、仮想光源の位置(方向)を算出する。環境光と異なる側とは、たとえば被写体の法線を挟んで環境光源とは反対側を指す。具体的には、角αの符号が角βの符号とは逆となり、角αの絶対値が45°となるよう、仮想光の照射方向を決定する。
ステップS606へ進む場合は、被写体コントラスト値が目標とするコントラスト値より低く、さらに、環境光が被写体に対してほぼ一様に照射されており、環境光による陰影がほとんど生じていない場合に対応する。この場合、仮想光源設定部206は、ステップS606で仮想光の照射方向が法線ベクトル702となす角αの絶対値が45°となるように、仮想光の照射方向を決定する。角αの符号は正負何れでも構わないので、角αは、45°と−45°の2通りの値となる。ただし、角αの絶対値を45°としたのは、好ましい値の一例であり、被写体領域の一部を仮想光源によって明るく補正し、被写体領域のコントラストを上げる事ができれば、これに限定されない。例えば、リライティング処理後の被写体コントラスト値を算出して、その値が最も目標コントラスト値に近づくよう照射方向を決定するようにしても良い。仮想光の照射方向を算出すると、仮想光源設定部206は処理をS608へ進める。
次に、仮想光源信号付加部207での、仮想光源を用いたリライティング処理について説明する。この処理は図3のステップS310に相当する。本実施例では、仮想光源によって照射された処理対象画素の出力RGB値(Rout、Gout、Bout)は、下記の式で算出するものとする。
Gout=[Gt+A×cos(α)×(1/D^2)×Gv]/M ... (数式1)
Bout=[Bt+A×cos(α)×(1/D^2)×Bv]/M
ただし、|α|≦90°であり、|α|>90°であれば、仮想光源からの光で照らされないので、出力値は処理対象の画素値のままとする。(Rt、Gt、Bt)は処理対象の画素値、Aは仮想光源の強度(すなわち仮想光源の発する仮想的な照明光の強度)を表す所定の定数、Dは仮想光源と被写体までの距離、(Rv、Gv、Bv)は光源反射色を表す。光源反射色は、仮想光源が被写体表面で反射した時の反射色を、予め設定された仮想光源色と被写体色とによって推定した色である。Mはリライティング後の出力RGB値を正規化するための予め設定された定数である。角度αは、仮想光源設定部206が決定した仮想光源の方向と、対象画素における被写体の法線ベクトルの成す角である。数式1では、A×cos(α)×(1/D^2)は、仮想光源の被写体面における強度であり、その値は、被写体面における仮想光源からの光の強度のうち、仮想光源からの光の被写体面に直交する強度成分が、仮想光源の距離に反比例するものとして算出されている。そして、算出した値に光源反射色を乗じて画素値に加算し、正規化した値が着目画素の画素値として算出される。
1)入力画像中の被写体を検出する。
2)各被写体のコントラスト値を検出する。
3)検出したコントラスト値が最大の被写体と最小の被写体とを補正対象の被写体として選択し、選択したコントラスト値が最大の被写体についてはコントラスト値を下げ、コントラスト値が最小の被写体についてコントラスト値を上げるように目標コントラスト値を設定する。このとき、入力画像中の各被写体のコントラスト値の順序が維持されるよう目標コントラスト値は決定される。
4)補正対象の被写体のコントラスト値が目標コントラスト値になるよう仮想光源を設定する。
5)仮想光源を用いて補正対象の被写体の明るさを補正する。
なお、本実施例では、検出された複数の被写体の全てに対して、陰影の状態を検出する場合で説明したが、本発明は、リライティング処理での陰影の状態の検出方法を、これに限定するものではない。例えば、検出した複数の被写体のうち、画像中に占める面積が所定の閾値以上の被写体のみを選んで、陰影の状態を検出するようにしても良い。又は、被写体のうち、陰影が生じている領域の輪郭の特性を検出してもよい。たとえば、被写体が人物の顔である場合は、その輪郭に基づいて正面向きの顔と横向きの顔とを判別し、顔の向きが正面に近い被写体のみを選んで、横向きに近い被写体は除外し、陰影の状態を検出するようにしても良い。
また、本実施例では、複数の被写体のうち、最もコントラスト値が低い(高い)被写体を、リライティング補正の対象とする場合で説明したが、本発明は、リライティング補正の対象の決定方法をこれに限定するものではない。すなわち、複数の被写体の陰影の状態を比較して、リライティング補正の対象を決定する方法であれば、どのような方法を用いても構わない。例えば、予め定められた所定の基準値と比較し、基準値と被写体コントラスト値の差分が所定の大きさを超えている場合に、その被写体をリライティング補正の対象として選択するようにしても良い。また、複数の被写体のうち、コントラスト値が複数の被写体の平均値より低い(高い)被写体を、リライティング補正の対象として選択するようにしても良い。また、複数の被写体のうち、最も主要な被写体の被写体コントラスト値と比べて、コントラスト値が低い(高い)被写体を、リライティング補正の対象として選択するようにしても良い。最も主要な被写体は、たとえば最も大きな面積の被写体や、検出された顔、あるいは焦点の合っている被写体などであってよい。焦点の合い具合はたとえばエッジ抽出などにより判定できる。また、画像中で近接する被写体同士を比較して、コントラスト値が低い(高い)被写体を、リライティング補正の対象として選択するようにしても良い。
また、本実施例では、目標とする陰影の状態を定める際に、複数の被写体コントラスト値の平均値を基準として用いる場合で説明したが、被写体の陰影状態を比較した結果に基づいて、目標値を決定する方法であれば、どのようなものを基準として用いても構わない。例えば、予め定められた所定のコントラスト値を基準として、それぞれの被写体に対する目標コントラスト値を定めても良い。また、複数の被写体のうち、最も主要な被写体のコントラスト値を基準として用いても良い。
また、本実施例では、リライティングの対象として選択した被写体の補正後の被写体コントラスト値と、リライティングの対象外の被写体の被写体コントラスト値の関係を用いて、目標陰影状態を設定する場合で説明したが、目標陰影状態の設定方法はこれに限定されるものではない。例えば、複数の被写体が共にリライティングの対象として選択されている場合、補正前の被写体コントラスト値の大小関係が、補正後にも保たれるよう目標陰影状態を設定するようにしても良い。
また、本実施例では、リライティング補正の目標値を、被写体のコントラスト値とし、他の被写体とのコントラスト値との大小関係が逆転しないよう設定する場合で説明したが、リライティング補正の目標値の決定方法はこれに限定されるものではない。すなわち、複数の被写体の陰影の状態を比較した結果を用いて、リライティング補正の目標値を決定する方法であれば、どのようなものを用いても構わない。例えば、リライティング補正の目標として、被写体の陰の領域の位置を定めるようにしても良い。そして、複数の被写体について、それぞれの被写体での陰の領域の位置(例えば、被写体が人物の顔であれば、顔の上下左右のどちら側が陰の領域であるか)を判定し、その位置が他の被写体と異ならないようリライティング補正の目標値を定める。また、陰影の状態を表す情報として、被写体の明るさの情報を用いるようにしても良い。具体的には、複数の被写体について、それぞれの被写体の領域における平均的な明るさを算出し、リライティング補正の前後において、被写体間で明るさの大小関係が逆転しないよう、リライティング補正の目標値を定めても良い。
また、被写体の陰の領域を検出し、その境界の特性を表す情報を被写体の陰影の状態を表す情報として用いても良い。具体的には、被写体の陰の領域の境界の明るさ勾配を算出し、その値が他の被写体と比べて同程度の値となるよう、仮想光源の位置や仮想的な照明光の拡散特性を定めるようにしても良い。また、被写体領域中の陰の領域の面積を算出し、その結果を被写体の陰影の状態を表す情報として用い、その値を他の被写体と比べた結果に基づいて、リライティング補正を制御するようにしても良い。
また、本実施例では、複数の被写体のそれぞれに対して、別個に目標とする陰影の状態を定める場合で説明したが、本発明は、目標とする陰影の状態を定める方法を、これに限定するものではない。すなわち、複数の被写体の陰影の状態を比較して、それぞれの被写体に対する目標陰影状態を定める方法であれば、どのようなものを用いても構わない。例えば、複数の被写体に対して、陰影の状態を比較する事で環境光の当たり方を推定し、環境光の当たり方が近い被写体同士をグループ化し、グループ毎に目標とする陰影の状態を定めるようにしても良い。
また、本実施例では、仮想光源の設定として、仮想光源の位置を制御する場合で説明したが、本発明は、仮想光源の設定の制御方法をこれに限定するものではない。例えば、仮想光源の強度、色、個数、形状のパラメータを制御し、被写体の陰影の状態が、目標陰影状態に近づくようリライティング補正を制御するようにしても良い。
本実施例の数式1において、定数Mの値が1から離れすぎると、本来近似した色を有する近隣画素の画素値の差が拡大されて境界線を生じてしまうことがある。たとえばα=±90°付近で仮想光源によって補正した画素値(cosα≒0なので例えばRout≒Rt/M)と、その付近にあって|α|>90°となるために補正対象とならない画素値(例えばRout=Rt)との差が、近隣の画素でありながら大きくなることがあり得る。これにより元々画像中には無いはずの境界線が現れてしまうこともあり得る。そこで例えば正規化定数Mで除するのは元の画素値に加算する補正値(あるいは補正量)のみとし、例えばR成分であれば、Rout=Rt+[A×cos(α)×(1/D^2)×Rv]/Mなどとしてもよい。
またたとえば、仮想光源は被写体ごとに一つとし、次のように補正してもよい。被写体領域ごとにたとえばその重心位置を代表画素と定め、その法線ベクトルを被写体の代表法線ベクトルとする。そしてその被写体の仮想光源の位置(方向)は、代表法線ベクトルに対して設定する。ここで代表法線ベクトルに対する仮想光源の方向を角度α0で表す。そして被写体領域に属する画素pの法線ベクトルに対する仮想光源の角度αpを、代表法線ベクトルと画素pの法線ベクトルとが成す角度γpを角度α0から差し引いたα0−γpとして算出し、このαpを、実施例の数式1の角度αとして適用する。このようにすることで、被写体を構成する面の方向に応じて、その面を照射する仮想光源の光量を求めることができ、より高精度の補正が可能となる。なお計算量を減らすために、画素ごとではなく、たとえば被写体領域内にあって輝度の差が所定範囲内にある画素群から成る連続した領域ごとに法線ベクトルを定めてもよい。
ステップS802では、目標陰影状態設定部205が、算出した差分値と、予め定められた所定のコントラスト差分閾値とを比較し、差分値がコントラスト差分閾値より小さいか判定する。差分値がコントラスト差分閾値より小さいと判定した場合は、ステップS803へ進む。差分値がコントラスト差分閾値以上と判定した場合は、ステップS806へ進む。
ステップS804では、目標陰影状態設定部205が、算出した差分値と、予め定められた所定の明るさ差分閾値とを比較し、差分値が明るさ差分閾値より小さいか判定する。差分値が明るさ差分閾値より小さいと判定した場合は、ステップS805へ進む。差分値が明るさ差分閾値以上と判定した場合は、ステップS806へ進む。
なお、本実施例では、コントラストと明るさの差分に基づいて、目標陰影状態を被写体間で共通にするか否かを判定する場合で説明したが、複数の被写体の陰影の状態を比較した結果に基づいて、目標陰影状態の決定方法を制御する方法であれば、どのようなものを用いても構わない。例えば、被写体の明るさ、コントラストのいずれか一方のみを用いて判定してもよい。また例えば、被写体の明るさ、コントラストに加えて、影の向きや被写体の色情報も用いて、被写体間で同一の環境光が当たっているか、互いに異なる環境光が当たっているかを判定するようにしても良い。この場合、同一の環境光が当たっていると判定された場合は、被写体間で共通の目標陰影状態を設定し、異なる環境光が当たっていると判定された場合は、それぞれに当たっている環境光に適した目標陰影状態を被写体毎に設定するようにする。このようにすることで、元の環境光による特性を残しながら、より見た目に好ましくなるようリライティング補正を行う事が可能となる。
また、複数の被写体の陰影の状態を比較し、その中で見た目に好ましい陰影の状態の被写体が存在するか否かを判定する方法を用いても良い。この場合、見た目に好ましい陰影の状態の被写体が存在しない場合は、目標陰影状態を、被写体間で共通の陰影状態とする。目標陰影状態としては、見た目に好ましい所定の陰影の状態を定めるようにすれば良い。
また、本実施例では、目標陰影状態として予め定められた所定の陰影状態を用いる場合で説明したが、目標陰影状態の決定方法はこれに限定されるものではない。例えば、複数の被写体の環境光での陰影の状態を検出し、その平均値を目標陰影状態として定めても良い。また、複数の被写体の中で、同一の陰影の状態である被写体の数が多い場合には、その陰影の状態を目標陰影状態として選ぶようにしても良い。
また、共通の目標陰影状態を設定した後に、更に、第一の実施例で説明した方法を用いて、被写体の陰影の状態の関係が逆転しないよう、被写体毎に目標陰影状態を調整するようにしても良い。このようにすることで、第一の実施例の場合と同様、リライティング補正の前後で陰影の状態が逆転せず、自然な見た目のリライティング結果を得ることが可能となる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (14)
- 着目画像中の被写体を検出する被写体検出手段と、
前記被写体ごとの陰影の程度を示す陰影状態を検出する状態検出手段と、を備え、
ここで前記陰影状態は前記被写体ごとの被写体領域の中のコントラストを表す情報を含み、
検出された前記陰影状態に基づいて、前記被写体の補正の前の陰影の程度と補正の後の陰影の程度の序列が入れ替わらないように、前記着目画像中の対象となる被写体ごとに、目標となる陰影の状態である目標陰影状態を設定する目標設定手段と、
前記着目画像に対して、前記状態検出手段により検出された陰影状態と前記目標陰影状態とに基づいて、前記対象となる被写体ごとに仮想光源の設定を決定する光源設定手段と、
前記仮想光源を用いて前記着目画像中の前記対象となる被写体の明るさを補正する補正手段と
をさらに備えることを特徴とする画像処理装置。 - 前記被写体検出手段により複数の被写体が検出された場合には、前記状態検出手段により検出された前記被写体ごとの陰影状態に基づいて前記複数の被写体の中から選択された被写体を、前記対象となる被写体とすることを特徴とする請求項1に記載の画像処理装置。
- 前記陰影状態とは、前記着目画像を撮影した際に、前記被写体を照らしている環境光によって、前記被写体に対応する被写体領域に生じた陰影の特性を表す情報であることを特徴とする請求項1又は2に記載の画像処理装置。
- 前記陰影状態とは、前記被写体領域の中の明るさの分布と、前記被写体領域の中で陰影が生じている領域の輪郭の特性と、前記被写体領域の中で陰影が生じている領域の面積を表す情報のうちの少なくとも一つの情報をさらに含むことを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
- 前記目標設定手段は、前記着目画像中において、前記陰影の程度が最も高い被写体については前記陰影の程度を下げ、前記陰影の程度が最も低い被写体については前記陰影の程度を上げるよう前記目標陰影状態を決定することを特徴とする請求項1乃至4の何れか一項に記載の画像処理装置。
- 前記目標設定手段は、複数の前記被写体のそれぞれに対して、被写体の陰影状態を表す評価値を算出し、前記評価値が目標となる評価値となるよう前記目標陰影状態を決定することを特徴とする請求項1乃至5の何れか一項に記載の画像処理装置。
- 前記評価値は、前記被写体領域の中の輝度が最も高い部分と最も低い部分との輝度の比を示すコントラスト値であることを特徴とする請求項6に記載の画像処理装置。
- 前記目標設定手段は、前記着目画像中の複数の前記被写体に対する前記評価値を比較した結果に基づいて、前記目標陰影状態を、被写体毎に異なる状態にするか、被写体間で同一の状態とするかを決定することを特徴とする請求項6又は7に記載の画像処理装置。
- 前記目標設定手段は、複数の前記被写体間での前記評価値の差分が所定値よりも大きい場合に、前記目標陰影状態を、被写体毎に異なる状態にするよう決定することを特徴とする請求項8に記載の画像処理装置。
- 前記目標設定手段は、複数の前記被写体に対する前記評価値を比較した結果に基づいて、前記対象とする被写体を決定することを特徴とする請求項6乃至9の何れか一項に記載の画像処理装置。
- 前記仮想光源の設定とは、前記仮想光源の前記被写体に対する位置と、前記仮想光源の発する仮想的な照明光の強度とを含むことを特徴とする請求項1乃至10の何れか一項に記載の画像処理装置。
- 前記陰影状態は、被写体領域の中のコントラストを表す情報であるコントラスト値により示され、
前記光源設定手段は、前記目標陰影状態を示す目標コントラスト値が、前記状態検出手段により検出された陰影状態を示すコントラスト値よりも小さい場合には、前記仮想光源の位置を、前記被写体の法線に対して前記被写体を照らしている環境光と反対側に設定し、前記状態検出手段により検出された陰影状態を示すコントラスト値が前記目標陰影状態を示す目標コントラスト値よりも小さい場合には、前記仮想光源の位置を、前記被写体の法線に対して前記環境光と同じ側に設定することを特徴とする請求項11に記載の画像処理装置。 - コンピュータを、請求項1乃至12のいずれか1項に記載の画像処理装置として機能させるための、コンピュータが実行可能なプログラム。
- 着目画像中の被写体を検出する被写体検出工程と、
前記被写体ごとの陰影の程度を示す陰影状態を検出する状態検出工程と、を有し、
前記陰影状態は前記被写体ごとの被写体領域の中のコントラストを表す情報を含み、
検出された前記陰影状態に基づいて、前記被写体の補正の前の陰影の程度と補正の後の陰影の程度の序列が入れ替わらないように、前記着目画像中の対象となる被写体ごとに、目標となる陰影の状態である目標陰影状態を設定する目標設定工程と、
前記着目画像に対して、前記状態検出工程により検出された陰影状態と前記目標陰影状態とに基づいて、前記対象となる被写体ごとに仮想光源の設定を決定する光源設定工程と、
前記仮想光源を用いて前記着目画像中の前記対象となる被写体の明るさを補正する補正工程と
をさらに有することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016032424A JP6718253B2 (ja) | 2016-02-23 | 2016-02-23 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016032424A JP6718253B2 (ja) | 2016-02-23 | 2016-02-23 | 画像処理装置及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017152866A JP2017152866A (ja) | 2017-08-31 |
JP2017152866A5 JP2017152866A5 (ja) | 2019-04-04 |
JP6718253B2 true JP6718253B2 (ja) | 2020-07-08 |
Family
ID=59739171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016032424A Active JP6718253B2 (ja) | 2016-02-23 | 2016-02-23 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6718253B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7311995B2 (ja) * | 2019-03-27 | 2023-07-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
JP7455578B2 (ja) * | 2019-12-27 | 2024-03-26 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
CN112991158B (zh) | 2021-03-31 | 2024-05-31 | 商汤集团有限公司 | 一种图像生成方法、装置、设备及存储介质 |
CN113340895B (zh) * | 2021-06-04 | 2024-09-10 | 深圳中科飞测科技股份有限公司 | 检测系统的调节方法及检测系统 |
CN114683504B (zh) * | 2022-03-07 | 2023-10-31 | 佳睦拉索(上海)有限公司 | 一种注塑产品成型控制方法及控制设备 |
-
2016
- 2016-02-23 JP JP2016032424A patent/JP6718253B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017152866A (ja) | 2017-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101861153B1 (ko) | 화상처리장치 및 그 제어 방법 | |
JP6445844B2 (ja) | 撮像装置および撮像装置で実行される方法 | |
JP6718253B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6412386B2 (ja) | 画像処理装置およびその制御方法、プログラムならびに記録媒体 | |
JP7292905B2 (ja) | 画像処理装置及び画像処理方法、及び撮像装置 | |
US11019254B2 (en) | Image processing apparatus, control method for image processing apparatus, and storage medium having correction of effect of virtual light source | |
JP7059076B2 (ja) | 画像処理装置、その制御方法、プログラム、記録媒体 | |
JP2017138927A (ja) | 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム | |
JP6921606B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6808482B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7446080B2 (ja) | 画像処理装置、撮像装置、制御方法、プログラム及び撮像システム | |
JP6663246B2 (ja) | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム | |
JP6727276B2 (ja) | 画像処理装置、その制御方法、プログラム | |
JP2016213717A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP6675461B2 (ja) | 画像処理装置およびその制御方法、ならびにプログラム | |
JP6666735B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム | |
JP7356255B2 (ja) | 画像処理装置及びその処理方法、撮像装置、プログラム、記憶媒体 | |
JP7534866B2 (ja) | 画像処理装置及び方法、プログラム、記憶媒体 | |
JP2021087125A (ja) | 画像処理装置、その制御装置、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200612 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6718253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |