JP6824817B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6824817B2
JP6824817B2 JP2017098377A JP2017098377A JP6824817B2 JP 6824817 B2 JP6824817 B2 JP 6824817B2 JP 2017098377 A JP2017098377 A JP 2017098377A JP 2017098377 A JP2017098377 A JP 2017098377A JP 6824817 B2 JP6824817 B2 JP 6824817B2
Authority
JP
Japan
Prior art keywords
image
subject
gradation
distance
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017098377A
Other languages
English (en)
Other versions
JP2018195079A (ja
Inventor
賢治 小貫
賢治 小貫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017098377A priority Critical patent/JP6824817B2/ja
Priority to US15/975,620 priority patent/US10650503B2/en
Publication of JP2018195079A publication Critical patent/JP2018195079A/ja
Application granted granted Critical
Publication of JP6824817B2 publication Critical patent/JP6824817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/92
    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Description

本発明は、撮像装置による撮影により取得した画像信号に対して階調補正を行う画像処理に関するものである。
画像の部分的なコントラストを補正する覆い焼き処理やHDR等、入力のDレンジを拡大した信号を出力で階調圧縮する処理が知られている。それにおいて、さらに被写体の輝度に加えて距離情報を露出制御や階調補正に適用することにより、該シーンに適した階調を有する画を出力する技術がある。
特許文献1では、領域毎の奥行距離と特徴量を取得し、領域毎に加工強度に基づいた画像処理を適用する技術が開示されている。
特許文献2では、焦点距離情報に応じて設定される抽出特性に基づいて抽出される画像特徴量と焦点距離を用いて、予め定められた階調変換特性の中から一つを選択して階調制御する技術が開示されている。
特開2011−175529号公報 特開2008−067071号公報
特許文献1に開示されている構成では、領域毎に加工強度に基づいた画像処理を適用することにより、シーンによっては階調の逆転などが発生して不自然な見え方となる可能性がある。
特許文献2に開示されているような焦点距離に基づいて階調特性を選択する構成では、例えば距離差のある被写体が含まれるようなシーンなどに対して、シーン毎に適した階調処理を行うことが困難である。
そこで、本発明は、シーンに応じてコントラスト補正量の過不足を抑えた階調補正を行う画像処理を提供する。
本発明の1実施形態は、画像の各被写体について被写体距離を示す距離情報を取得する取得手段と、前記各被写体を被写体距離に基づいてグルーピングを行い、前記グルーピングに従って前記画像を複数の被写体領域を抽出する抽出手段と、前記抽出手段によって抽出された被写体領域の数に応じて、同一の階調特性を前記画像に一律に適用して階調変換を行うか、前記画像の領域ごとに異なる階調特性を適用して階調変換を行うかを判定する判定手段と、前記階調特性を設定する設定手段と、前記判定手段の判定結果に応じて前記画像に対して階調変換を行う変換手段と、を備えることを特徴とする。
本発明によれば、シーンに応じてコントラスト補正量の過不足を抑えた適切な階調補正を行うことができる。
本発明の実施形態の構成を示すブロック図である。 (A)本発明の実施形態の画像処理部の構成を示すブロック図、(B)でゲインテーブル生成部の構成を示すブロック図、(C)撮像部を説明する図である。 本発明の実施形態の撮像部の構成を説明する図である。 本発明の実施形態の動作処理フローチャートである。 本発明の実施形態の入力画像、距離画像、距離信頼度画像、領域抽出画像の一例を示す図である。 本発明の実施形態の領域毎の輝度ヒストグラムである。 本発明の実施形態の領域毎の輝度ヒストグラムである。 本発明の実施形態の階調特性を示す図である。 本発明の実施形態の階調特性生成用の係数Kを示す図である。 本発明の実施形態の階調特性生成用の係数Cを示す図である。 本発明の実施形態の階調特性を示す図である。
図面を参照して本発明の実施形態を詳細に説明する。なお、以下の説明においてデジタルカメラを例示して説明するが、撮像機能を有する他の携帯機器であっても、本発明は適用することができる。
(第1の実施形態)
本実施形態は、被写体の領域検出情報や距離情報、撮影条件などの撮影シーンに関する情報を用いて露出制御や覆い焼き処理による階調処理を行うものである。なお、本実施形態の説明において、最も効果が見込めるシーンの1つである遠景撮影を想定して説明を行うが、他のシーンであっても適用することは可能である。
図1は、第1の実施形態である画像処理装置の構成を示すブロック図である。光学系101は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。この光学系101は、撮像部102に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像部102は、光学系101を通過した被写体の光束を光電変換し電気信号に変換するCCDやCMOSセンサー等の光電変換素子である。
A/D変換部103は、入力された映像信号をデジタルの画像に変換する。
画像処理部104は、通常の信号処理の他に、本発明における階調処理を行う。画像処理部104はA/D変換部103から出力された画像のみでなく、記録部110から読み出した画像に対しても同様の画像処理を行うことができる。
露光量算出部105は、本発明の階調処理を行う為に最適な入力画像を得る為に、撮影時の露光量を算出する部分である。画像処理部104の処理結果を入力とし、算出した露光量を出力し、露光量制御部106の入力とする。
露光量制御部106は、露光量算出部105によって算出された露光量を実現するために、光学系101と撮像部102を制御して、絞り、シャッタースピード、センサーのアナログゲインを制御する。
表示部107は、画像処理部104から出力される画像をLCDなどの表示用部材に逐次表示することにより、電子ビューファインダ(EVF)として機能する。
記録部110は、画像を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよい。
図2(A)は、画像処理部104の構成を示すブロック図である。
図3(A)は、撮像部102の画素配列構成を示している。図3(B)は画素302を拡大したものであり、マイクロレンズ301と一対の光電変換部303A、304Bから構成される。図3(A)にあるように撮像部102では画素302が二次元的に規則的に配列されている。
画像に対して行う階調処理について、図4のフローチャートを用いて説明する。
ステップS400は、距離情報算出部202が撮影画像から画像内の各被写体の被写体距離を示す距離マップ(距離画像)および信頼度マップ(距離信頼度画像)を生成する。
図5の画像501は撮影画像を示しており、画像の下部(鉄柵付近)はコントラストが高いに対し、画像の中部(街並みや山)は空気が霞みコントラストが低いこと。画像501について、撮像光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像の位相差に基づいて被写体距離の分布を示す距離マップおよび、それに対する信頼度マップを生成する処理を行う。
ここで信頼度とは、上述した位相差(像ずれ量)が各領域でどの程度検出しやすいかを表す値であり、像ずれ量を検出しにくい領域で算出された距離は正確でない可能性が高いため、信頼度が低い。像ずれ量を検出しにくい領域とは、例えば空や自動車のボディといった被写体の模様の変化が乏しい領域である。このような領域を検出し、低い信頼度を割り当てればよい。模様の変化が乏しいかを判定する指標として、エッジ積分値を用いることができる。
具体的には、入力画像501における微小ブロック内の画素のエッジ振幅の絶対値を積分することで算出される。そして、算出したエッジ積分値と予め設定した閾値を比較し、該閾値よりも算出したエッジ積分値が小さい場合、模様の変化が乏しい領域であると判定し、その領域は模様の変化に富んだ領域よりも低い信頼度を割り当てる。上記方法を分割した微小ブロックごとに繰り返し計算することで、被写体距離の分布に対する信頼度マップを生成することができる。
図5の画像502は生成された距離マップを示したものであり、画素値が白色に近いほど撮像装置から近い(被写体距離が小さい)ことを示している。画像503は、距離マップ画像502に対して予め設定した複数の閾値を用いて距離をグルーピングし、階調数を削減したものである。グルーピングに従って、画像501から複数の被写体領域を抽出されることになる。
例えば、画像502の階調数が8bitである場合、等間隔に3つの閾値Th0=63、Th1=127、Th2=191を定めることにより、画像503のように3つの層にグルーピングがなされている。画像504は、信頼度マップを示したものであり、白色の領域は画像502や画像503が示す距離値の信頼度が高く、黒色の領域は被写体の模様の変化が乏しいために距離の信頼度が低いことを示している。なお、グルーピングのための閾値の設定は3値以外でもよく、等間隔でなくてもよい。
ステップS401は、S400で生成した信頼度マップを用いて被写体距離の信頼度が低いか否かを判定する。具体的には、画像504において信頼度が高い領域の面積が所定の割合(例えば半分以上の割合)を占めていない場合には被写体距離の信頼度が低いと判定してステップS407へ、それ以外の場合にはステップS402へ処理を進める。
ステップS402は、領域別輝度値算出部203がS401で生成した距離マップおよび信頼度マップを用いて、距離毎に輝度ヒストグラムを生成する。具体的には、信頼度マップ504において信頼度が高い領域に対する輝度値を画像501から取得し、ヒストグラムとして累積することを各距離の層に対して行う。
図6は、輝度値を累積して結果的に得られるヒストグラムを示したものである。
図6(A)は中距離領域すなわち画像503においてグレーで示された被写体領域、図6(B)は近距離領域すなわち画像503において白色で示された被写体領域の輝度ヒストグラムの一例を示す図である。
ステップS403は、S402で算出した距離領域毎のヒストグラムを元に階調特性算出部204が階調補正特性を設定する。以下に示す階調補正特性の設定方法は一例であり、本実施形態では高輝度域および低輝度域に対して各々ハイライト/シャドーポイントを定め、適応的にコントラストを改善するような手法を用いる。
すなわち、図7(A)および(B)に示すように、各ヒストグラムに対して最大輝度値から1%分の画素における輝度の最小値(HP)、及び最小輝度値から1%分の画素における輝度の最大値(SP)をまず算出する。さらに、HPの輝度値を輝度飽和値あるいはそれに近い値、SPの輝度値を0あるいはそれに近い値となるような特性を生成する。図8はその結果得られる特性を示したものであり、画像501の中部に対する特性(A)はコントラストを向上させるような特性(コントラスト強調の度合いが強い特性)となっているのに対し、画像501の下部に対する特性(B)はあまり補正を行わないような特性(コントラスト強調の度合いが弱い)となっている。
ステップS404は、領域抽出部201が画像501から特定の被写体を示す領域を抽出して認識する処理を行う。抽出方法として、画像が持つ特徴量に加え撮影時に撮像装置が取得した各種の撮影情報を用いて、空領域、針葉樹などの自然物領域をブロック単位で判別する手法を用いる。図5の画像505は、被写体認識の認識結果を示した図であり、図中の斜線部分は空領域、網目部分は自然物領域として抽出して認識された領域を表している。
ステップS405は、画像501に対する階調補正処理を領域毎に行うか、あるいは画像一律に行うかを決定する判定処理を行う。判定方法は、まずS401で生成した画像504において信頼度の高い領域(白色)が所定の割合以上の面積を占めているか否かを判定する。例えば画素数に対して5割以上を占めている場合には距離信頼度が高いと判定する。次に、画像503において距離のグルーピング層数が所定数以下(例えば2)であるか否かを判定する。上述した2つの判定が共に満たされた場合、画像501は緩やかな距離の変化が少なく、近距離および遠距離の2つに書割りされたシーンである可能性が高いと判断し、領域毎に階調補正処理を行うように制御する。それ以外の場合、例えば距離が緩やかに変化する領域が含まれるようなシーンに対して、領域別に階調補正を切り替えると階調逆転により不自然な画となる可能性が高いと判断し、画像一律に同一の階調特性を適用する処理を行うように制御する。つまり、被写体距離に基づいてグルーピングされた被写体領域の数に応じて、同一の階調特性を前記画像に一律に適用して階調変換を行うか、前記画像の領域ごとに異なる階調特性を適用して階調変換を行うかを判定し、その判定結果に応じて以下のように階調変換を行うことになる。
ステップS406は、画像処理部104が通常の信号処理を行い、その出力は階調圧縮処理部208においてガンマ変換などにより所定の出力レンジに階調圧縮される。これは、画像501において全体的に被写体の模様の変化が乏しく、距離の信頼度が低い場合には距離情報を参照した階調補正を行わないようにするためである。これにより、誤った距離情報を用いて所望としない階調特性が生成されたり、コントラストがほぼなくなっているような遠くの被写体に対して不自然にコントラストが補正されたりするような弊害が発生するのを抑えることができる。
ステップS407は、S403で生成した距離毎の階調特性を、覆い焼きの手法により各領域に対して適用する。図2(B)は、ゲイン処理部206の構成を示すブロック図を表しており、以下これを元に具体的な階調補正の方法について説明する。
輝度信号生成部212は、入力画像501から輝度信号を生成する。帯域制限部213は輝度信号生成部212が生成した輝度信号に対して所定のLPF(ローパスフィルタ)をかける。
ぼかし処理部214および215は、輝度信号生成部212および帯域制限部213の出力画像に対し、所定のぼかし処理を実行する。これは、細かいテクスチャに対するゲインの敏感度を下げ、コントラストをより良好に維持することが目的である。その一方で、高輝度領域と低輝度領域の境界では、覆い焼きゲイン処理において境界部付近の領域に所望のゲインがかからずに疑似輪郭の発生が顕著になると考えられるため、ぼかし処理を行わない方がよい。従って、輝度差が大きなエッジを保存したままボカシ処理を行うことが必要である。
輝度→ゲイン変換処理部216および217は、ぼかし処理部214および215から出力される輝度画像の各々に対し、ゲインテーブル生成部205が算出する輝度別ゲインテーブルを用いて、ゲイン画像へ変換する。
ここで輝度別ゲインテーブルの算出方法について説明する。図8に示した階調特性は横軸が入力輝度、縦軸は出力輝度となっている。直線の傾きはゲイン量を表しており、階調特性をゲイン量Gainにより式で示すと出力輝度=Gain×入力輝度となることから、Gain=出力輝度/入力輝度となる。これにより、入力輝度に対するゲイン量を表すテーブルを輝度別ゲインテーブルとして生成する。
またゲイン画像とは、画像において最も左上に位置する画素を(0,0)として、入力画像の画素位置を(x,y)で示した時、入力信号Yin(x,y)から出力されるゲインをGain(x,y)とした画像である。すなわち以下に示すゲインテーブル関数GainTblを用いたとき、

……………………………(式1)
ゲイン画像における上記Gain(x,y)が、入力画像の(x,y)に位置する画素に対応するゲインである。
ゲイン加算処理部218は、216および217の出力ゲイン画像を画素毎に加算する処理を行う。図2(C)は、ゲイン加算処理部218の構成を示す図である。入力輝度に対して帯域制限を行っていない上位階層のゲイン画像と、低周波成分のみを残した下位階層のゲイン画像とを加算する。
加算処理部1では上位階層と下位階層のそれぞれの着目位置のゲイン(以下、着目ゲインと呼ぶ)を加算平均(重みW1=0.5により加重加算)する。ただしこの結果だけでは前述したような疑似輪郭が発生する可能性がある。
加算処理部2では、上位階層の着目ゲインと下位階層の周辺領域のゲイン(以下、周辺ゲインと呼ぶ)を使用する。ここで周辺領域とは、着目位置から上下左右方向に所定の範囲内にある画素の集合である。加算処理部2の目的としては、前述の疑似輪郭を低減させることである。
図4(B)は、この加算処理部2の処理内容を示すフローチャートであり、これより詳細に説明していく。
ステップS411は、下位階層の周辺ゲインのそれぞれに対し、上位階層の着目ゲインとの差分絶対値を算出する。
ステップS412は、前記差分絶対値が小さい順に、M個の周辺ゲインを選択する。ここで、Mは所定の個数とする。この処理により、上位階層の着目ゲインに近いゲイン値を持つ下位階層の周辺ゲインを選択することができる。なお本実施例では、ゲインを選択する際に差分絶対値が小さい順に所定個数を選択するという手法をとったが、他の手法でも問題ない。たとえば演算コストを抑える目的のために、差分絶対値が所定の閾値以下である物をすべて選択する、としてもよい。
ステップS413は、前記選択したM個の周辺ゲインを加重加算する。ここで、加重加算時の重みは以下の式(2)で決定される。

……………………………(式2)
式(2)において、GL(k)は、選択した下位階層の周辺ゲインのうち、k番目のゲインを表し、W(k)はそれに対応する加重加算の重みを表す。また、GHは上位階層の着目ゲインを表し、Aは所定の定数である。式(2)から分かるように、重みW(k)は上位階層の着目ゲインとの差分が小さいほど大きくなる。
さらに、式(2)により各周辺ゲインに対する重みW(k)を算出後、以下の式(3)により加重加算を行う。

……………………………(式3)
式(3)において、GL’は、加重加算後の下位階層ゲインである。
ステップS414は、加重加算した下位階層の周辺ゲインGL’と、上位階層の着目ゲインGHを加算平均(重みW2=0.5により加重加算)し、その結果のゲイン値が加算処理部2の出力となる。
図2(C)に戻り、加重加算部3は、加算処理部1の結果と加算処理部2の結果を加重加算し、その時の重みは、着目位置における上位階層と下位階層のゲイン差に基づき決定する。具体的には、上位階層と下位階層の着目ゲインの差分値が大きいほど、加算処理部2の結果を重視するような設定とする。これは、輝度差が大きくゲイン差も大きくなるようなエッジ部付近は、加算処理部2の結果を用いて疑似輪郭を抑制するのが望ましいが、ゲイン差が小さいテクスチャ部分では、加算処理部2の結果を用いると、画像のコントラストが低下してしまう。ゲイン差が小さければ疑似輪郭が顕在化しなくなることから、加算処理部1の結果を用いてコントラストの低下を抑制するのが望ましいと考えられるためである。
図2(B)に戻り、ゲイン乗算部211は、生成されたゲイン画像を信号処理部104で所定の信号処理が施された元画像(画像501)に乗じる。ゲイン乗算部211の出力は、階調圧縮部208において、ガンマ変換処理などにより所定の出力レンジに階調圧縮される。
図4(A)に戻り、ステップS408は、S403で生成した距離毎の階調特性を、距離の分布および領域抽出結果に基づいて加重加算することにより一つの階調特性を生成する処理を行う。具体的には、画像503および504において、まず距離情報算出部202は信頼度の高い領域の総画素数に対して距離の遠い領域の画素数が占める割合を算出し、それに応じて階調特性に対する加重加算係数を算出する。以下、図9および図10を用いて係数の算出方法について説明する。
図9は距離情報を用いた係数の算出方法を示した図であり、横軸は前述した遠距離領域の面積の割合、縦軸は係数Kを表している。遠距離の割合が大きい程、係数Kが大きくなっていることがわかる。
図10は、S404で生成した被写体領域抽出の結果を用いて係数Kを補正するための係数Cの算出方法を示した図である。画像505から被写体領域(空あるいは自然物)を示す面積の割合を算出し、それに基づいて図10に示すような係数Cを算出する。
そして2つの係数KおよびCに対し、以下の式を用いて最終的な加重加算係数K′を算出する。

………………………………………………………………(式4)
これは、空や自然物領域が多ければ多いほど風景や遠景シーンである場合が多く、特にテクスチャを含む自然物のコントラスト低下が目立ちやすいため、コントラストがより補正される遠距離領域の階調特性に対する重みを大きくすることが目的である。
上記加重加算係数K′を用いて、図8(A)の遠距離領域に対する階調特性をA、図8(B)の近距離領域に対する階調特性をBとしたとき、画像一律用の階調特性を以下の式により算出する。

……………………………………(式5)
図11はその結果得られた階調特性を示した図であり、2つの階調特性A、Bが加重加算され、特性Aよりもコントラスト補正量が少し緩和されていることがわかる。生成した階調特性をS407と同様にゲインテーブル生成部205がゲインテーブルに変換する。
ステップS409は、S408で生成したゲインテーブルを画像501に対して一律に適用する。具体的な階調補正方法についてはS407と同様のため、説明は省略する。
最後に、画像表示部107および画像記録部110に、階調圧縮部208において階調圧縮を施された画像が出力される。
以上説明したように本実形態によれば、距離差の大きな風景シーンにおいてコントラスト補正を行う際に距離情報や被写体領域情報を用いることで、過不足を抑えた補正を実現することが可能となる。
なお、本実施形態では、本撮影後の画像を用いて階調特性を生成および補正する構成について説明したが、これに限らず、本撮影前に階調特性に対する補正量を算出し、本撮影時の露出制御に反映させるようにしてもよい。例えば階調補正における最大ゲイン量に対して所定の上限を設けて、上限値を超える場合には露出を上げることでゲイン量を抑えることが可能となる。
さらになお、本実施形態では、コントラストを向上させるために急峻な階調特性を適用する方法について説明したが、これ以外の方法を用いてもよい。例えばゲイン加算処理部218において遠い領域に対するゲイン画像を生成する際に、下位階層のゲイン画像に対する重みを大きく(W1,W2の値を0.5よりも小さく)した上で加重加算するように制御することでコントラストを改善することが可能となる。
また本実施例では、撮像装置と被写体の絶対距離を元に階調特性を制御する構成について説明したが、さらに焦点距離を考慮して制御するようにしてもよい。例えば、画像情報取得部207が取得した焦点距離や絞り値などを参照し、焦点距離が短く深度が浅いようなシーンにおいては、距離の分布によらず合焦した近距離領域を優先するような階調特性を適用あるいはゲイン画像を生成するようにしてもよい。
また本実施形態では、抽出する対象の被写体として空および自然物を挙げて説明したが、人物を検出して階調制御するような構成としてもよい。人物が存在するようなシーンにおいては、人物の顔領域を優先するような階調特性を適用するようにしてもよい。
ここまで、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
104 画像処理部
202 距離情報算出部
203 領域別輝度値算出部
204 階調特性算出部
205 ゲインテーブル生成部
206 ゲイン処理部
207 画像情報取得部
208 階調圧縮処理部

Claims (6)

  1. 画像の各被写体について被写体距離を示す距離情報を取得する取得手段と、
    前記各被写体を被写体距離に基づいてグルーピングを行い、前記グルーピングに従って前記画像を複数の被写体領域を抽出する抽出手段と、
    前記抽出手段によって抽出された被写体領域の数に応じて、同一の階調特性を前記画像に一律に適用して階調変換を行うか、前記画像の領域ごとに異なる階調特性を適用して階調変換を行うかを判定する判定手段と、
    前記階調特性を設定する設定手段と、
    前記判定手段の判定結果に応じて前記画像に対して階調変換を行う変換手段と、を備えることを特徴とする画像処理装置。
  2. 前記判定手段は、前記被写体領域の数が所定数以下の場合、同一の階調特性を前記画像に一律に適用して階調変換を行うと判定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記設定手段は、前記判定手段により同一の階調特性を前記画像に一律に適用して階調変換を行うと判定した場合、前記被写体領域ごとに輝度に基づき階調特性を設定し、それぞれの面積に応じて前記階調特性を加重加算して適用する階調特性を設定することを特徴とする請求項1または請求項2に記載の画像処理装置。
  4. 前記判定手段は、前記距離情報の信頼度が低い場合は、前記抽出手段によって抽出された被写体領域の数にかかわらず、同一の階調特性を前記画像に一律に適用して階調変換を行うと判定すること特徴とする請求項1から請求項3の何れか1項に記載の画像処理装置。
  5. 前記抽出手段によって抽出された被写体領域を認識する被写体認識手段を備え、
    前記設定手段は、前記被写体認識手段による認識結果に応じて、前記階調特性を制御することを特徴とする請求項1から請求項4の何れか1項に記載の画像処理装置。
  6. 画像の各被写体について被写体距離を示す距離情報を取得する取得ステップと、
    前記各被写体を被写体距離に基づいてグルーピングを行い、前記グルーピングに従って前記画像を複数の被写体領域を抽出する抽出ステップと、
    前記抽出ステップで抽出された被写体領域の数に応じて、同一の階調特性を前記画像に一律に適用して階調変換を行うか、前記画像の領域ごとに異なる階調特性を適用して階調変換を行うかを判定する判定ステップと、
    前記階調特性を設定する設定ステップと、
    前記判定ステップでの判定結果に応じて前記画像に対して階調変換を行う変換ステップと、を備えることを特徴とする画像処理方法。
JP2017098377A 2017-05-17 2017-05-17 画像処理装置および画像処理方法 Active JP6824817B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017098377A JP6824817B2 (ja) 2017-05-17 2017-05-17 画像処理装置および画像処理方法
US15/975,620 US10650503B2 (en) 2017-05-17 2018-05-09 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017098377A JP6824817B2 (ja) 2017-05-17 2017-05-17 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2018195079A JP2018195079A (ja) 2018-12-06
JP6824817B2 true JP6824817B2 (ja) 2021-02-03

Family

ID=64272516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017098377A Active JP6824817B2 (ja) 2017-05-17 2017-05-17 画像処理装置および画像処理方法

Country Status (2)

Country Link
US (1) US10650503B2 (ja)
JP (1) JP6824817B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102623989B1 (ko) * 2016-08-01 2024-01-11 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
EP3319013A1 (en) * 2016-11-03 2018-05-09 Thomson Licensing Method and device for estimating cast shadow regions and/or highlight regions in images
JP7278096B2 (ja) * 2019-02-20 2023-05-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US20210256665A1 (en) * 2020-02-18 2021-08-19 Canon Kabushiki Kaisha Generation apparatus, generation method, and storage medium
JP2021164059A (ja) * 2020-03-31 2021-10-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7197210B2 (ja) * 2021-02-26 2022-12-27 Necプラットフォームズ株式会社 画像補正システム、画像補正方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826310B2 (en) * 2001-07-06 2004-11-30 Jasc Software, Inc. Automatic contrast enhancement
JP2008067071A (ja) 2006-09-07 2008-03-21 Canon Inc 信号処理装置及び信号処理方法
WO2011002505A1 (en) * 2009-06-29 2011-01-06 Thomson Licensing Zone-based tone mapping
JP5560766B2 (ja) 2010-02-25 2014-07-30 株式会社ニコン 画像処理装置、撮像装置、及びプログラム
JP5791336B2 (ja) * 2011-04-01 2015-10-07 キヤノン株式会社 画像処理装置及びその制御方法
CN103891294B (zh) * 2011-04-28 2017-09-01 皇家飞利浦有限公司 用于hdr图像编码和解码的装置与方法
JP2014179756A (ja) * 2013-03-14 2014-09-25 Canon Inc 画像処理装置、その制御方法、および制御プログラム
JP6343200B2 (ja) * 2014-07-31 2018-06-13 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
JP6445844B2 (ja) * 2014-11-05 2018-12-26 キヤノン株式会社 撮像装置および撮像装置で実行される方法
US9659349B2 (en) * 2015-06-12 2017-05-23 Gopro, Inc. Color filter array scaler
JP6600216B2 (ja) * 2015-09-29 2019-10-30 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
JP2018195079A (ja) 2018-12-06
US20180336670A1 (en) 2018-11-22
US10650503B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
JP6824817B2 (ja) 画像処理装置および画像処理方法
JP4524717B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
EP2216987B1 (en) Image capturing apparatus and control method thereof
US9681026B2 (en) System and method for lens shading compensation
JP5408053B2 (ja) 画像処理装置、画像処理方法
JP6116272B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US20100177203A1 (en) Apparatus and method for local contrast enhanced tone mapping
JP5677113B2 (ja) 画像処理装置
JP5672796B2 (ja) 画像処理装置、画像処理方法
US9961319B2 (en) Image processing apparatus and control method thereof
JP5468930B2 (ja) 画像処理装置及び画像処理プログラム
JP4999871B2 (ja) 撮像装置およびその制御方法
JP2022179514A (ja) 制御装置、撮像装置、制御方法およびプログラム
US9294685B2 (en) Image processing apparatus, electronic camera, and medium storing image processing program
JP2007329619A (ja) 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。
JP2011100204A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
JP6742231B2 (ja) 画像処理装置及び方法、及び撮像装置
JP2019029833A (ja) 撮像装置
JP2010183460A (ja) 撮像装置およびその制御方法
JP5335964B2 (ja) 撮像装置およびその制御方法
JP6786273B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017068513A (ja) 画像処理装置及びその方法、プログラム、記憶媒体
US8498494B2 (en) Method and apparatus for processing a digital image signal, and a recording medium having recorded thereon a program for executing the method
JP2011135379A (ja) 撮像装置、撮像方法及びプログラム
JP2010183461A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210113

R151 Written notification of patent or utility model registration

Ref document number: 6824817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151