JP6116272B2 - 画像処理装置及び画像処理方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、出力画像の階調補正を行う画像処理技術に関する。

従来から、ハイダイナミック合成（ＨＤＲ）や覆い焼き等、ダイナミックレンジが拡大された入力信号に対して、階調圧縮を行って出力する処理がある。

例えば、特許文献１には、画像を複数のエリアに分割し、それぞれのエリアから算出した代表画素値とエッジ成分によりエリア毎のヒストグラムを算出し、算出したヒストグラムに基づいて、エリアに対応する階調変換カーブを生成する技術が提案されている。

特開２０１０−１３０１５０号公報

しかしながら、特許文献１では、ダイナミックレンジを拡大するほど、被写体領域間のバランスを考慮しないため、不自然な画像になってしてしまう。

本発明は、上記課題に鑑みてなされ、その目的は、広ダイナミックレンジかつ高コントラストの画像を生成する技術を実現することである。

上述の課題を解決し、目的を達成するために、本発明の画像処理装置は、画像に含まれる被写体領域を判別する領域判別手段と、前記領域判別手段により判別された複数の被写体領域それぞれの代表輝度値を算出する第１の算出手段と、前記領域判別手段により判別された複数の被写体領域それぞれの輝度分布情報を算出する第２の算出手段と、前記第１の算出手段により算出された複数の被写体領域それぞれの代表輝度値と前記第２の算出手段により算出された複数の被写体領域それぞれの輝度分布情報とに基づいて、階調特性を決定する決定手段と、前記決定手段により決定された階調特性に基づいて階調補正処理を行う画像処理手段と、を有し、前記決定手段は、前記複数の被写体領域のうちの主被写体領域に適用する入出力特性を、前記主被写体領域の代表輝度値と出力目標の輝度値に基づいて算出するとともに、前記主被写体領域以外の被写体領域に適用する入出力特性を、前記主被写体領域との代表輝度値の差分である輝度段差を所定の割合で小さくした値に基づいて算出し、前記複数の被写体領域それぞれの輝度分布情報に基づいて各被写体領域について算出された入出力特性を組み合わせて前記階調特性を決定する。

本発明によれば、広ダイナミックレンジかつ高コントラストの画像を生成することができる。

本発明に係る実施形態の装置構成を示すブロック図。 画像処理部の構成の一部を示すブロック図。 露光量算出部の構成を示すブロック図。 階調特性算出部の構成を示すブロック図。 ゲイン処理部の構成を示すブロック図。 露光量算出処理を示すフローチャート。 画像処理部による階調処理を示すフローチャート。 階調特性算出部による処理を示すフローチャート。 被写体領域間の輝度段差に加え、目標露光量と露光量の決定方法を説明する図。 被写体領域間の輝度段差の算出方法を説明する図。 各被写体領域で実現したい入出力特性を説明する図。 被写体領域毎の階調補正量を適応する入力信号の範囲を説明する図。 ＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの算出方法を説明する図。 各被写体領域で実現したい入出力特性と、ダイナミックレンジ優先とコントラスト優先の階調特性を説明する図。 正しく階調特性を作成できない場合の階調特性の作成方法を説明する図。 被写体領域間の輝度段差を２種類の階調特性の加重加算係数に用いることにより得られる効果を説明する図。 階調特性からゲインテーブルへの変換を説明する図。 γ特性による階調圧縮処理を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

以下、本発明の画像処理装置を、例えば、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に適用した実施形態について説明する。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

本実施形態は、被写体領域の情報を用いて最適な階調処理を行う。なお、本実施形態は、本発明による効果が最も高い逆光時の人物シーンを想定し、人物が最も暗く、空が最も明るいシーンを想定した階調処理について説明する。ただし、本発明の技術思想は上記シーン以外にも適用可能であることは言うまでもない。

図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッタ装置を備えている。この光学系１０１は、撮像部１０２に結像される被写体像の倍率やピント位置、あるいは、入射光量を調整する。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換するＣＣＤやＣＭＯＳ等の光電変換素子からなるイメージセンサを含む。

Ａ／Ｄ変換部１０３は、撮像部１０２から入力された映像信号をデジタルの画像に変換する。

画像処理部１０４は、通常の信号処理に加えて、後述する階調処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力されたデジタル画像信号だけでなく、記録部１１０から読み出された画像データに対しても同様の画像処理を行うことができる。

露光量算出部１０５は、本実施形態の階調処理を行うために最適な入力画像を得るために、撮影時の露光量を算出する。露光量算出部１０５は、画像処理部１０４による処理結果を入力し、算出した露光量を露光量制御部１０６へ出力する。露光量算出部１０５の詳細については後述する。

露光量制御部１０６は、露光量算出部１０５により算出された露光量に応じて、光学系１０１と撮像部１０２を制御して、絞り、シャッタスピード、撮像部１０２のアナログゲインを制御する。

システム制御部１０７は、本実施形態の装置全体の動作を統括して制御する。画像処理部１０４で処理された画像信号から得られる輝度値や操作部１０８から送信された指示信号に基づいて、光学系１０１や撮像部１０２の駆動制御も行う。

表示部１０９は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイで構成され、撮像部１０２で生成された画像信号や、記録部１１０から読み出した画像データを表示する。記録部１１０は、画像データを記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでも良いし、この情報記録媒体を着脱可能にしても良い。

バス１１１は、画像処理部１０４、システム制御部１０７、表示部１０９、および、記録部１１０の間で画像信号や制御信号を伝送するための伝送路である。

＜露光量算出部＞次に、図３を参照して、露光量算出部１０５の構成及び機能について説明する。

露光量算出部１０５は、階調処理を行うために最適な露光量で撮影された画像信号を得るために必要な露光量を算出する。本実施形態では、露光量の算出についても被写体領域の情報を用いる。

なお、以下では、露光量算出部１０５への入力情報として、図２に示す画像処理部１０４の領域別輝度値算出部２０３の出力結果を用いる。画像処理部１０４の構成及び機能については後述する。

露光量算出部１０５は、領域別輝度値算出部２０３の出力結果を入力して、主被写体出力輝度値算出部３０１と領域間輝度段差算出部３０２で処理を行った後、露光量決定部３０３で露光量を決定し、露光量制御部１０６へ出力する。

図６は、露光量を算出するための画像信号を取得してから、露光量算出部１０５で露光量を算出するまでの処理を示し、Ｓ６０１からＳ６０３までが画像処理部１０４で行う処理、Ｓ６０４からＳ６０６までが露光量算出部１０５で行う処理である。なお、図６の処理は、システム制御部１０７が、不揮発性メモリに格納されたプログラムを、揮発性メモリのワークエリアに展開し、上記各部を制御することにより実現される。

Ｓ６０１では、画像処理部１０４は、露光量を算出するために撮像部１０２により撮像された画像信号を取得する。

Ｓ６０２では、画像処理部１０４は、Ｓ６０１で取得した画像信号から被写体領域の判定を行う。本実施形態では、被写体領域として、人物の顔領域、人物の顔以外の体領域、雲・太陽等を含む空領域、空以外の領域を背景領域として合計４つの領域を判定する。図９（ａ）は、入力画像に対して被写体領域判定を行った結果を例示している。被写体領域の判定方法については、ニューラルネットワークによる学習データを用いた物体認識等、公知の方法で良い（特開２００６−３９６６６号公報）。また、被写体領域の判定方法については、１画素毎ではなく、一定のサイズで区切られたブロック毎に判定する方法でもよい。

Ｓ６０３では、画像処理部１０４は、Ｓ６０２での被写体領域判定結果を用いて、被写体領域毎の代表輝度値を算出する。代表輝度値は、該当する被写体領域内の輝度信号の平均値、もしくは座標に応じた重み付けによる加重平均値とする。代表輝度値を算出する被写体領域として、人物の顔領域、背景領域、空領域の３つの領域を算出する。なお、本実施形態では、人物の体領域は代表輝度値の算出に含めないものとする。

以下では、各被写体領域の代表輝度値をそれぞれ、ＨＵＭＡＮ＿Ｙ、ＢＡＣＫ＿Ｙ、ＳＫＹ＿Ｙと呼ぶ。また、本実施形態では、人物の顔領域と空領域の各代表輝度値は、該当する被写体領域内の輝度信号の平均値から算出し、背景領域の代表輝度値は、座標に応じた重み付けによる加重平均値から算出する。

Ｓ６０４では、露光量算出部１０５は、Ｓ６０３で算出した各被写体領域の代表輝度値を用いて被写体領域間の輝度段差を算出する。

ここで、被写体領域間の輝度段差の算出について図９（ｂ）を用いて説明する。

図９（ｂ）は、入力画像の露光量を基準に各被写体領域の目標露光量を例示している。目標露光量とは、算出対象の被写体領域の代表輝度値を目標輝度値にするために、入力画像の露光量から何段オーバー、何段アンダーの露光量に設定すれば良いかを示すものである。

露光量オーバーとは入力画像の露光量よりも大きくすること、露光量アンダーとは入力画像の露光量よりも小さくすることを示す。なお、目標輝度値は各被写体領域によって予め決定された値である。

各被写体領域の代表輝度値をＨＵＭＡＮ＿Ｙ、ＢＡＣＫ＿Ｙ、ＳＫＹ＿Ｙとし、各被写体領域の目標輝度値をＨＵＭＡＮ＿ｒｅｆ＿Ｙ、ＢＡＣＫ＿ｒｅｆ＿Ｙ、ＳＫＹ＿ｒｅｆ＿Ｙとする。各被写体領域の目標露光量ΔＢＶ＿ＨＵＭＡＮ＿ｒｅｆ、ΔＢＶ＿ＢＡＣＫ ＿ｒｅｆ、ΔＢＶ＿ＳＫＹ＿ｒｅｆは、式１によって算出される。

式１によって算出された各被写体領域の目標露光量から各被写体領域間の輝度段差を算出する。人物の顔領域と背景領域の輝度段差をΔＨＢ、背景領域と空領域の輝度段差をΔＢＳ、人物の顔領域と空領域の輝度段差をΔＨＳはそれぞれ、式２から算出される。

式２によって算出された各被写体領域間の輝度段差ΔＨＢ、ΔＢＳ、ΔＨＳは、Ｓ６０６の露光量を決定する処理で用いる。

図６に戻り、Ｓ６０５では、露光量算出部１０５は、入力画像とＳ６０３で算出された各被写体領域の代表輝度値を用いて主被写体の出力輝度値を算出する。主被写体の出力輝度値とは、前述の目標輝度値とは別であり、後の撮影画像で最終的に出力したい主被写体領域の輝度値を示す。本実施形態では、人物が含まれるシーンの場合、人物を主被写体として考えるため、人物の顔領域の出力輝度値を算出する。本実施形態では、出力輝度値の算出方法として、人物の顔領域のみの輝度値と画像全体の輝度値の関係を見て最終的な人物の顔領域の輝度値を決定する公知の方法を用いる（例えば、特許第４７８９７７６号公報）。なお、この方法に限らず、被写体領域間の輝度段差を用いて、中間輝度に位置する被写体を基準にして、人物の顔領域の輝度値を決定する方法を用いても良い。また、人物の顔領域の目標輝度値をそのまま出力輝度値としても良い。以下では、算出した主被写体である人物の顔領域の出力輝度値をＨＵＭＡＮ＿ＯＵＴ＿Ｙとして説明する。

Ｓ６０６では、露光量算出部１０５は、Ｓ６０４で算出した被写体領域間の輝度段差ΔＨＢ、ΔＢＳ、ΔＨＳと、Ｓ６０５で算出した主被写体の出力輝度値ＨＵＭＡＮ＿ＯＵＴ＿Ｙを入力し、階調処理を行うために最適な画像を撮影するための露光量を決定する。

ここで、図９（ｃ）を用いて露光量の決定方法について説明する。

図９（ｃ）は、入力画像信号の露光量に対する各被写体領域の出力露光量を例示している。出力露光量とは、最終的に出力したい各被写体領域の明るさを実現するために、入力画像の露光量に対し、何段オーバー、何段アンダーの露光量に設定すれば良いかを示したものである。

人物の顔領域、背景領域、空領域の出力露光量をそれぞれ、ΔＢＶ＿ＨＵＭＡＮ、ΔＢＶ＿ＢＡＣＫ、ΔＢＶ＿ＳＫＹとすると、各被写体領域の出力露光量は、式３から算出される。

式３のように、Ｓ６０５で算出した出力輝度値により決定された主被写体の露光量を基準に、Ｓ６０４で算出した被写体領域間の輝度段差を１／２に縮めた段差を維持するように主被写体以外の被写体領域の露光量を決定する。

各被写体領域の出力露光量のうち、最も露光量の小さい出力露光量を、階調処理を行うために最適な画像を撮影するための露光量として決定する。つまり、各被写体領域のうち、最も露光量の小さい出力露光量である空領域のΔＢＶ＿ＳＫＹを撮影時の露光量として決定する。本実施形態では上述した方法により撮影時の露光量を決定するが、この方法に加え、主被写体の出力露光量に対してある一定の値までしか露光量を小さくできない等、露光量を小さくできる上限を設けて撮影時の露光量を決定しても良い。

以上のように、露光量算出部１０５は、入力画像を取得して最適な露光量を決定する。

上記以外の方法で露光量を算出しない場合、最適な露光量で階調処理を行えなくなってしまう。例えば、露光量が必要以上に大きい場合、広ダイナミックレンジの画像が実現できず、反対に、露光量が必要以上に小さい場合、後の階調処理でデジタルゲインを必要以上にかけてしまうことでノイズの影響で画質が劣化する可能性がある。これに対し、本実施形態のように露光量を算出することにより後の階調処理に最適な入力画像を取得することができる。

＜階調処理＞次に、図２及び図７を参照して、画像処理部１０４による階調処理について説明する。

画像処理部１０４は、露光量算出部１０５によって決定された露光量で撮影した画像信号を入力して階調処理を行う。

なお、本実施形態の階調処理は、被写体領域間の輝度段差を縮めるような階調特性を画像全体に適用する。また、主被写体領域を最優先とした上で、主被写体以外の被写体領域をシーンに応じてバランス良く階調を割り当てることにより、人間の見た目通りのコントラストと明るさの出力画像を生成する。

図２は、画像処理部１０４の構成の一部、図７は階調処理をそれぞれ示している。なお、図７の処理は、システム制御部１０７が、不揮発性メモリに格納されたプログラムを、揮発性メモリのワークエリアに展開し、上記画像処理部を制御することにより実現される。

Ｓ７０１では、画像処理部１０４は、撮像部１０２により撮影された画像信号を取得する。

Ｓ７０２では、画像処理部１０４は、Ｓ７０１で取得した画像信号に対し、被写体領域の判定を行う。この被写体領域判定処理については、前述したＳ６０２の処理と同様である。

Ｓ７０３では、画像処理部１０４は、Ｓ７０１で取得した画像信号を入力情報として、Ｓ７０２で判定された被写体領域毎に代表輝度値を算出する。各被写体領域の代表輝度値の算出方法については、前述したＳ６０３と同様である。

Ｓ７０４では、画像処理部１０４は、Ｓ７０１で取得した画像信号を入力情報として、Ｓ７０２で判定された被写体領域毎にヒストグラムを算出する。本実施形態では、輝度信号のヒストグラムを算出する。なお、ヒストグラムの算出対象の被写体領域は、代表輝度値の算出と同様に、人物の顔領域、背景領域、空領域である。

Ｓ７０５では、画像処理部１０４は、Ｓ７０３で算出した被写体領域毎の代表輝度値と、Ｓ７０４で算出した被写体領域毎のヒストグラムを入力して、撮影画像の階調特性を算出する。この階調特性の算出方法については後述する。なお、Ｓ７０５で算出する階調特性とは、図１７（ａ）のように横軸を入力信号、縦軸を出力信号として、入力信号に応じた出力信号を表す入出力特性である。例えば、階調特性を変化させない場合は、点線で示したグラフとなり、入力信号と出力信号の値は等しくなる。なお、本実施形態では、図１７（ａ）の入力信号や出力信号は輝度信号を示す。

Ｓ７０６では、画像処理部１０４は、Ｓ７０５で算出した階調特性を用いて、図１７（ｂ）のように横軸を入力信号、縦軸をゲインとした、入力信号に応じたゲインを示すゲインテーブルに変換する（ゲインテーブル変換処理）。本実施形態では、図１７（ｂ）の入力信号は輝度信号を示す。入力信号をｘ、階調特性により入力信号に応じた出力信号をｙとすると、ゲインＧａｉｎは、式４により算出される。

Ｓ７０７では、画像処理部１０４は、Ｓ７０６で得たゲインテーブルを参照して撮影画像にゲインをかける処理を行う。

ここで、図５を用いて、ゲイン処理部２０６によるゲイン処理について説明する。

左上に位置する画素を（０，０）として、入力画像の画素位置を（ｘ，ｙ）で示した場合、入力信号Ｙｉｎ（ｘ，ｙ）から出力されるゲインをＧａｉｎ（ｘ，ｙ）として、Ｓ７０６で得たゲインテーブルをＧａｉｎＴｂｌ関数として表すと、式５のようになる。

Ｇａｉｎ（ｘ，ｙ）は入力画像の（ｘ，ｙ）に位置する画素に対応するゲインである。

ゲインを算出するための入力信号であるＹｉｎは、撮影された入力画像を用いて、ゲイン算出用画像生成部５０１で生成される。ゲイン算出用画像生成方法としては、コントラストを向上させるため、入力画像を輝度画像データに変換し、平均化処理を行う。輝度画像データを入力としてゲインを算出することにより、よりコントラストを向上させる効果が得られる。

ゲイン変換部５０２は、ゲイン算出用画像生成部５０１で生成されたＹｉｎ信号を用いて、式５のように、ゲイン信号に変換する処理を行う。

ゲイン乗算部５０３は、ゲイン変換部５０２で算出されたゲインを用いて入力画像信号に対し、ゲインを乗算する処理を行う。本実施形態では、撮影された入力画像から、既にデモザイキング処理を終えたＲ，Ｇ，Ｂ画像信号に対し、ゲインを乗算する処理を行う。ゲイン乗算前の（ｘ，ｙ）に位置する入力画像のＲ，Ｇ，Ｂ信号をそれぞれＲｉｎ（ｘ，ｙ）、Ｇｉｎ（ｘ，ｙ）、Ｂｉｎ（ｘ，ｙ）とする。その場合、ゲイン乗算後のＲ，Ｇ，Ｂ信号Ｒｏｕｔ（ｘ，ｙ）、Ｇｏｕｔ（ｘ，ｙ）、Ｂｏｕｔ（ｘ，ｙ）は、式５のＧａｉｎＴｂｌ関数を用いて、式６により算出することができる。

式６のように、画素位置（ｘ，ｙ）であれば、Ｒ，Ｇ，Ｂの信号にかけるゲインは同じである。

なお、本実施形態ではＲＧＢ信号に対してゲイン処理を行ったが、ＹＵＶ信号に対して上述したゲイン処理を行っても良い。

図７に戻り、Ｓ７０８では、画像処理部１０４は、Ｓ７０７でゲイン処理を行ったＲ，Ｇ、Ｂのｍビットの信号を表示部１０９の特性に合わせるため、γ特性で階調圧縮処理を行い、ｎ（ｍ≧ｎ）ビットの信号を出力する。本実施形態では、このγ特性として、図１８に示すように実線と点線で示した２種類の特性を用いる。点線で示したγ特性は、逆光時の人物の顔領域がフレアの影響等により低コントラストになってしまう対策として、低輝度部分のコントラストを向上するような特性になっている。点線で示したγ特性は、逆光時の人物シーンに対して用い、実線で示したγ特性は、逆光時の人物シーン以外で用いる。

図７の階調処理において、図２に示す画像処理部１０４の各部は、被写体領域検出部２０１がＳ７０２、領域別ヒストグラム算出部２０２がＳ７０４、領域別輝度値算出部２０３がＳ７０３の各処理を行う。また、階調特性算出部２０４がＳ７０５、ゲインテーブル算出部２０５がＳ７０６、ゲイン処理部２０６がＳ７０７、階調圧縮処理部２０７がＳ７０８の各処理を行う。

＜階調特性算出処理＞次に、図４及び図８を参照して、階調特性算出部２０４による階調特性算出処理について説明する。

階調特性算出部２０４は、被写体領域毎に算出した代表輝度値と、被写体領域毎に算出した輝度のヒストグラムを入力情報として、撮影画像の階調特性を算出する。

図４は階調特性算出部２０４の構成、図８は階調特性算出処理をそれぞれ示している。なお、図８の処理は、システム制御部１０７が、不揮発性メモリに格納されたプログラムを、揮発性メモリのワークエリアに展開し、各部を制御することにより実現される。

Ｓ８０１では、階調特性算出部２０４は、被写体領域毎に算出した代表輝度値を用いて被写体領域間の輝度段差を算出する。輝度段差の算出方法については、図１０（ａ）のように、Ｓ６０４の処理において露光量をゲイン量と置き換えれば良い。

Ｓ８０２では、階調特性算出部２０４は、主被写体の出力輝度値を算出する。主被写体の出力輝度値とは、Ｓ６０５と同様に、最終的に出力したい主被写体領域の輝度値である。また、本実施形態では、前述と同様に人物の顔領域を主被写体領域とし、算出方法はＳ６０５の処理と同様である。

Ｓ８０３では、階調特性算出部２０４は、Ｓ８０１で算出した被写体領域間の輝度段差と、Ｓ８０２で算出した主被写体の出力輝度値を入力情報として、各被写体領域の階調補正量を算出する。なお、階調補正量とは、本実施形態では一律ゲイン量のことを示しており、対象の被写体領域毎にかけたい一律ゲイン量を算出する。

被写体領域毎の階調補正量の算出方法については、図１０（ｂ）に示すように、Ｓ６０６において露光量を階調補正量に置き換えれば良い。

各被写体領域の階調補正量の算出方法は、人物の顔領域のゲイン量、背景領域のゲイン量、空領域のゲイン量をそれぞれ、ＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＢＡＣＫ、ＧＡＩＮ＿ＳＫＹとすると、式７により算出される。なお、ＨＵＭＡＮ＿Ｙは人物の顔領域の代表輝度値、ＨＵＭＡＮ＿ＯＵＴ＿Ｙは主被写体である人物の顔領域の出力輝度値であり、ΔＨＢは人物の顔領域と背景領域間の輝度段差、ΔＨＳは人物の顔領域と空領域間の輝度段差である。

本実施形態では、０段未満のゲイン量では行わないため、式７でＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＢＡＣＫ、ＧＡＩＮ＿ＳＫＹを算出した後、ＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＢＡＣＫ、ＧＡＩＮ＿ＳＫＹに負の値になっているものがあれば、０にクリップする。

被写体領域毎の階調補正量を入出力特性で表すと、図１１のようになる。

入力信号をＸ、出力信号をＹとすると、各被写体領域で実現したい入出力特性は、式８により得られる。

各被写体領域の入出力特性が、それぞれ被写体領域毎に適用する階調特性である。各被写体領域の入出力特性の傾きが、各被写体領域で実現したいコントラストであり、出力信号が各被写体領域で実現したい明るさを示している。

図８に戻り、Ｓ８０４以降では、被写体領域毎の入出力特性を参考に、画面一様に適用する階調特性を作成する処理について説明する。

Ｓ８０４では、階調特性算出部２０４は、被写体領域毎の輝度のヒストグラムを用いて、Ｓ８０３で算出した被写体領域毎の階調補正量を適用する入力信号の範囲を決定する。

入力信号の範囲について図１２を用いて説明する。

図１２に示した３つの入出力特性は、式８で示した各被写体領域で実現したい入出力特性である。入出力特性の横軸のＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴが各被写体領域の入出力特性を適用する入力信号の範囲を決定する指標となる。０からＨＵＭＡＮ＿ＰＯＩＮＴまでの入力信号の範囲を（１）、０からＢＡＣＫ＿ＰＯＩＮＴまでの入力信号の範囲を（２）、ＳＫＹ＿ＰＯＩＮＴから入力信号で表現できる最大値までの入力信号の範囲を（３）として示している。（１）は人物の顔領域の入出力特性を適用したい入力信号の範囲、（２）は背景領域の入出力特性を適用したい入力信号の範囲、（３）は空領域の入出力特性を適用したい入力信号の範囲をそれぞれ示している。

ＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの算出方法について、図１３を用いて説明する。ＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの算出は、図１３（ａ）のように被写体領域毎に算出した輝度のヒストグラムを用いる。ＨＵＭＡＮ＿ＰＯＩＮＴの算出は、人物の顔領域の輝度のヒストグラムを用い、ＢＡＣＫ＿ＰＯＩＮＴの算出は、背景領域の輝度のヒストグラム、ＳＫＹ＿ＰＯＩＮＴ算出は、空領域の輝度ヒストグラムをそれぞれ用いる。

各被写体領域の輝度のヒストグラムを用いた、ＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの算出方法を例示しているのが図１３（ｂ）である。

まず、ＨＵＭＡＮ＿ＰＯＩＮＴの算出について説明する。本実施形態では、人物の顔領域の輝度のヒストグラムに対し、最小の信号値から徐々に大きい信号値にかけて、頻数を加算していく。そして、加算値が所定の閾値以上になった時点で最後に頻数を加算した入力信号の値をＨＵＭＡＮ＿ＰＯＩＮＴとする。

なお、閾値をＨＵＭＡＮ＿ＴＨとすると、式９により算出することができる。

ＨＵＭＡＮ＿ＡＲＥＡＳＵＭは人物の顔領域と判定された画素の総数、Ｐ＿ＨＵＭＡＮは調整パラメータである。式９に示すように、頻数の加算値が、人物の顔領域の画素の総数に対し、所定の閾値（％）に達したかでＨＵＭＡＮ＿ＰＯＩＮＴを決定している。

次に、ＢＡＣＫ＿ＰＯＩＮＴの算出について説明する。本実施形態では、ＨＵＭＡＮ＿ＰＯＩＮＴと同様に、背景領域の輝度のヒストグラムに対し、最小の信号値から徐々に大きい信号値にかけて、頻数を加算していく。そして、加算値が所定の閾値以上になった時点で最後に頻数を加算した入力信号の値をＢＡＣＫ＿ＰＯＩＮＴとする。閾値はＨＵＭＡＮ＿ＴＨと同様の方法で設定する。

最後に、ＳＫＹ＿ＰＯＩＮＴの算出について説明する。

本実施形態では、ＨＵＭＡＮ＿ＰＯＩＮＴやＢＡＣＫ＿ＰＯＩＮＴとは反対に、空領域の輝度ヒストグラムに対し、空領域と判定された画素の総数から最小の信号値から徐々に大きい信号値にかけて、頻数を減算していく。そして、減算値が所定の閾値以下になった時点で、最後に頻数を減算した入力信号の値をＳＫＹ＿ＰＯＩＮＴとする。閾値はＨＵＭＡＮ＿ＴＨと同様の方法で設定する。

以上の処理により、Ｓ８０３で算出した被写体領域毎の階調補正量ＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＢＡＣＫ、ＧＡＩＮ＿ＳＫＹと、Ｓ８０４で算出した被写体領域毎の階調補正量を適用する範囲の指標となるＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴを用いて、階調特性を作成する。

以上の処理により、Ｓ８０３で算出した被写体領域毎の階調補正量ＨＵＭＡＮ＿ＧＡＩＮ、ＢＡＣＫ＿ＧＡＩＮ、ＳＫＹ＿ＧＡＩＮと、Ｓ８０４で算出した被写体領域毎の階調補正量を適用する範囲の指標となるＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴを用いて、階調特性を作成する。

本実施形態では、別々の特徴を持った複数（２種類）の階調特性を作成し、作成した２つの階調特性を加重加算することにより最終的な階調特性を算出している。

図８の説明に戻り、Ｓ８０５とＳ８０６では、階調特性算出部２０４は、それぞれ別々の特徴を持った階調特性を作成する。

Ｓ８０５とＳ８０６で作成する２種類の階調特性について、図１４を用いて詳細に説明する。

図１４（ａ）に示す３つの入出力特性は、式８で示した各被写体領域で実現したい入出力特性である。入出力特性の横軸のＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴが各被写体領域の入出力特性を適用する入力信号の範囲を決定する指標である。

図１４（ａ）に対し、本実施形態では、図１４（ｂ）に示したダイナミックレンジ優先と呼ぶ階調特性と、図１４（ｃ）に示したコントラスト優先と呼ぶ階調特性の２種類を作成する。

まず、図１４（ｂ）に示したダイナミックレンジ優先の階調特性について説明する。

ダイナミックレンジ優先の階調特性の特徴は、図１４（ａ）に示した人物の顔領域の入出力特性と、空領域の入出力特性の２つを取り入れている点である。図１４（ａ）の特性に対し、人物の顔領域と、空領域の明るさとコントラストを実現する点が長所である。

入力信号の０からＨＵＭＡＮ＿ＰＯＩＮＴまでの低輝度側の区間は人物の顔領域の入出力特性になっており、反対に、ＳＫＹ＿ＰＯＩＮＴから入力信号で表現できる最大値までの高輝度側の区間は空領域の入出力特性となっている。ＨＵＭＡＮ＿ＰＯＩＮＴからＳＫＹ＿ＰＯＩＮＴまでの中間輝度に位置する区間は、低輝度側の人物の顔領域の入出力特性と、高輝度側の空領域の入出力特性をつなげる形となっている。入力信号をＸ、出力信号をＹとすると、ダイナミックレンジ優先の階調は、式１０で表される。

本実施形態では、高輝度側を飽和させるような入出力特性にしているが、図１４（ｂ）の点線かつ曲線の部分のように、高輝度側をできるだけ飽和させないような入出力特性にしても良い。なお、本実施形態は折れ線で入出力特性を作成しているが、折れ線を近似した曲線で入出力特性を作成しても良い。

ダイナミックレンジ優先の階調特性はＳ８０５で作成される。

次に、図１４（ｃ）に示したコントラスト優先の階調特性について説明を行う。

コントラスト優先の階調特性の特徴は、図１４（ａ）に記載した人物の顔領域の入出力特性に加え、背景領域及び空領域の入出力特性の傾きのみを取り入れている点である。図１４（ａ）の特性に対し、人物の顔領域は明るさとコントラスト、背景領域及び空領域はコントラストを実現する点が長所である。

入力信号のうち、０からＨＵＭＡＮ＿ＰＯＩＮＴまでの区間は人物の顔領域の入出力特性になっている点では、ダイナミックレンジ優先の階調特性と同等である。ＨＵＭＡＮ＿ＰＯＩＮＴからＢＡＣＫ＿ＰＯＩＮＴの区間では背景領域の入出力特性のうち傾きのみを実現した特性となり、ＢＡＣＫ＿ＰＯＩＮＴから入力信号で表現できる最大値までの区間は、空領域の入出力特性のうち傾きのみ実現した特性となっている。入力信号をＸ、出力信号をＹとすると、コントラスト優先の階調は、式１１で表される。

本実施形態では、高輝度側を飽和させるような入出力特性にしているが、図１４（ｃ）の点線かつ曲線の部分のように、高輝度側をできるだけ飽和させないような入出力特性にしても良い。なお、本実施形態は折れ線で入出力特性を作成しているが、折れ線を近似した曲線で入出力特性を作成しても良い。

コントラスト優先の階調特性はＳ８０６で作成される。

以上、ダイナミックレンジ優先とコントラスト優先の２種類の階調特性について説明したが、２種類の階調特性の共通点としては、人物の顔領域の入出力特性についてはどちらも実現する点である。この理由としては、本実施形態で人物シーンにおいて人物の顔領域は主被写体領域であるため、階調特性として最優先に決定する必要があるからである。

ダイナミックレンジ優先とコントラスト優先の階調特性を作成する際に、シーンによっては、ＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＢＡＣＫ、ＧＡＩＮ＿ＳＫＹの値とＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの値から正しく階調特性を作成できない場合がある。このような場合における階調特性の作成方法について、図１５を用いて説明する。

図１５（ａ）は、ダイナミックレンジ優先の階調特性において、ＳＫＹ＿ＰＯＩＮＴとＨＵＭＡＮ＿ＰＯＩＮＴの区間が狭く、かつＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＳＫＹのゲイン差が大きい影響で、階調が反転してしまった場合を例示している。この場合、図１５（ａ）の左側のように、ＨＵＭＡＮ＿ＰＯＩＮＴ、ＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＳＫＹは変えず、中間輝度の区間にエラー時の傾きとして予め決められたＥＲＲＯＲ＿ＧＲＡＤを与え、ＳＫＹ＿ＰＯＩＮＴを移動させて階調特性を作成する。また、ＳＫＹ＿ＰＯＩＮＴがＨＵＭＡＮ＿ＰＯＩＮＴ以下の値であった場合も同様にエラーの場合の階調特性を適用する。

また図１５（ｂ）のコントラスト優先の階調特性では、ＢＡＣＫ＿ＰＯＩＮＴがＨＵＭＡＮ＿ＰＯＩＮＴ以下である場合もＨＵＭＡＮ＿ＰＯＩＮＴ、ＧＡＩＮ＿ＨＵＭＡＮは変えず、ＢＡＣＫ＿ＰＯＩＮＴをＨＵＭＡＮ＿ＰＯＩＮＴと同じになるように移動する。

以上の処理により、エラー時の階調特性は、ＨＵＭＡＮ＿ＰＯＩＮＴの値までは人物の顔領域の入出力特性となり、ＨＵＭＡＮ＿ＰＯＩＮＴ以降は空領域の入出力特性の傾きであるＧＡＩＮ＿ＳＫＹを適用した階調特性となる。

図１５（ａ）及び（ｂ）のように、エラー時でも、主被写体である人物の顔領域の入出力特性を適用するＧＡＩＮ＿ＨＵＭＡＮとＨＵＭＡＮ＿ＰＯＩＮＴは変更せずに階調特性を作成する。

ここまでエラー時の階調特性の作成方法について説明したが、２つの階調特性の作成方法は被写体領域が２つしかない場合にも同様である。例えば、人物と高輝度被写体である空しかいないシーンの場合は、図１４の２つの階調特性に対し、ＢＡＣＫ＿ＰＯＩＮＴ、ＧＡＩＮ＿ＢＡＣＫをそれぞれＳＫＹ＿ＰＯＩＮＴ、ＧＡＩＮ＿ＳＫＹに置き換えるだけで良い。

以上、Ｓ８０５とＳ８０６の処理によって、ダイナミックレンジ優先とコントラスト優先の２種類の優先度に応じた階調特性が作成される。作成された２種類の階調特性をＳ８０７で加重加算することにより撮影された画像の階調特性を決定する。

ここで、図１６を参照してＳ８０７での階調特性の決定処理について詳細に説明する。

ダイナミックレンジ優先とコントラスト優先の２種類の優先度に応じて階調特性を加重加算する方法として、本実施形態ではＳ８０１で算出した被写体領域間の輝度段差を用いる（加重加算係数算出処理）。中間輝度に位置する被写体である背景領域を基準に、人物の顔領域と背景領域の輝度段差ΔＨＢ、背景領域と空領域の輝度段差ΔＢＳを２種類の階調特性の加重加算係数として用いる。

階調特性の入力信号をＸ、出力信号をＹとしてダイナミックレンジ優先の階調特性とコントラスト優先の階調特性を、式１２のように、それぞれＤｒａｎｇｅ関数、Ｃｏｎｔｒａｓｔ関数で表すとする。

式１２に対し、加重加算した後の階調特性、つまり撮影された画像の階調特性をＭＩＸ＿ＯＵＴ関数で表すと、式１３のようになる。

式１３のように、人物の顔領域と背景領域の輝度段差ΔＨＢ、背景領域と空領域の輝度段差ΔＢＳをそれぞれダイナミックレンジ優先、コントラスト優先の加重加算係数として用いている。

人物の顔領域と背景領域の輝度段差ΔＨＢ、背景領域と空領域の輝度段差ΔＢＳを加重加算に用いることにより得られる効果について図１６を用いて詳細に説明する。

図１６（ａ）に示した３つの入出力特性は、式８で示した各被写体領域で実現したい入出力特性である。

図１６（ａ）の３つの入出力特性は、式７で示したように、被写体領域間の輝度段差を用いて決定される。撮影したシーンに応じては被写体領域間の輝度段差は変わるため、各被写体領域で実現したい入出力特性もシーンに応じて変わる。

図１６（ｂ）の左側に示したのは、人物の顔領域と背景領域の輝度段差ΔＨＢに対して、背景領域と空領域の輝度段差ΔＢＳが極端に小さいシーンにおいて、各被写体領域で実現したい入出力特性である。式７により各被写体領域で実現したい入出力特性の傾きが決まるため、背景領域の入出力特性は空領域の入出力特性に近づく傾向にある。

上記の場合、図１６（ｂ）の右側に示したダイナミックレンジ優先の階調特性を階調処理に利用した方が背景領域の入出力特性を実現しやすい傾向にある。この理由は、輝度段差ΔＢＳが極端に小さい場合、ＳＫＹ＿ＰＯＩＮＴ周辺やそれ以降に背景領域の入力信号が多く分布する傾向となり、ＳＫＹ＿ＰＯＩＮＴ以降のダイナミックレンジ優先の階調特性に背景領域の多くの入力信号があてはまるためである。

また、図１６（ｂ）とは反対に、図１６（ｃ）の左側に示したのは、人物の顔領域と背景領域の輝度段差ΔＨＢに対し、背景領域と空領域の輝度段差ΔＢＳが極端に大きいシーンにおいて、各被写体領域で実現したい入出力特性である。式７により各被写体領域で実現したい入出力特性の傾きが決まるため、背景領域の入出力特性は人物の顔領域の入出力特性に近づく傾向にある。

上記の場合、図１６（ｃ）の右側に示したコントラスト優先の階調特性を階調処理に利用した方が背景領域の実現したい入出力特性を実現しやすい傾向にある。輝度段差ΔＨＢに対し、輝度段差ΔＢＳが極端に大きい場合には、ＨＵＭＡＮ＿ＰＯＩＮＴ周辺からＢＡＣＫ＿ＰＯＩＮＴにかけて背景領域の入力信号が多く分布する傾向にあり、かつ人物の顔領域と背景領域の入出力特性は近い傾きとなる。これにより、ＢＡＣＫ＿ＰＯＩＮＴ以下のコントラスト優先の階調特性に対し、背景領域で実現したい入出力特性が近づく傾向になる。

式１３のように、人物の顔領域と背景領域の輝度段差ΔＨＢ、背景領域と空領域の輝度段差ΔＢＳを加重加算に用いることにより３つの被写体領域の実現したい入出力特性を用いて、撮影された画像に最適な階調特性を効率的に作成することができる。

本実施形態では、式１３から被写体領域間の輝度段差を用いて、撮影された画像の階調特性を作成したが、式１４のように、加重加算係数をα、βとして、別の情報を用いて実現しても良い。被写体領域間の面積の比率や、被写体領域間の輝度段差に応じた値、また、シーンによらない固定値を与えても良い。

例えば、背景領域の存在する面積が、空領域に比べて少ないシーンにおいては、空領域をより実現したい明るさ、コントラストに近づけた方が画像の見栄えが良い場合がある。反対に、空領域の存在する面積が、背景領域に比べ少ないシーンにおいて、背景領域を実現したいコントラストに近づけた方が画像の見栄えが良い場合がある。このような理由から、αを空領域の占める総画素数、βを背景領域の占める総画素数として、式１４を適用して階調特性を作成しても良い。

また、被写体が２つしか存在しないシーンの場合には、被写体領域間の輝度段差の値に応じて加重加算係数を算出し、２つの階調特性を加重加算した方が良い。この理由として、例えば人物と空のみのシーンであった場合、被写体領域間の輝度段差が元々小さいシーンでは、広ダイナミックレンジよりも高コントラストを優先した方が画像の見栄えが良いからである。また、被写体領域間の輝度段差が元々大きいシーンでは、コントラストよりもダイナミックレンジを優先した方が、画像の見栄えが良いからである。よって、式１４の加重加算係数α、βを、式１５によって算出する。Δは２つの被写体領域間の輝度段差である。例えば、人物と空のみのシーンである場合は、人物の顔領域と空領域の輝度段差ΔＨＳの値が、Δの値となる。閾値ＴＨ１、ＴＨ２は、調整パラメータである。

以上のように、式１５の加重加算係数α、βは、本実施形態のやり方にとどまらず、様々な情報を用いて算出して良い。

図８の階調特性の決定処理において、図４に示す階調特性算出部２０４の各部は、領域間輝度段差算出部４０１がＳ８０１、主被写体出力輝度算出部４０２がＳ８０２、階調補正量算出部４０３がＳ８０３、階調補正量適用範囲算出部４０４がＳ８０４、ダイナミックレンジ階調特性作成部４０５がＳ８０５、コントラスト優先階調特性作成部４０６がＳ８０６、階調特性決定部４０７がＳ８０７の各処理を行う。

上述した実施形態においては、本発明をデジタルビデオカメラなどの撮像装置に適用した場合を例にして説明したが、これに限られず、被写体領域の情報を用いて階調処理を行う装置であれば、他の装置にも適用可能である。

なお、本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

Claims (12)

1. 画像に含まれる被写体領域を判別する領域判別手段と、
   前記領域判別手段により判別された複数の被写体領域それぞれの代表輝度値を算出する第１の算出手段と、
   前記領域判別手段により判別された複数の被写体領域それぞれの輝度分布情報を算出する第２の算出手段と、
   前記第１の算出手段により算出された複数の被写体領域それぞれの代表輝度値と前記第２の算出手段により算出された複数の被写体領域それぞれの輝度分布情報とに基づいて、階調特性を決定する決定手段と、
   前記決定手段により決定された階調特性に基づいて階調補正処理を行う画像処理手段と、を有し、
   前記決定手段は、
   前記複数の被写体領域のうちの主被写体領域に適用する入出力特性を、前記主被写体領域の代表輝度値と出力目標の輝度値に基づいて算出するとともに、前記主被写体領域以外の被写体領域に適用する入出力特性を、前記主被写体領域との代表輝度値の差分である輝度段差を所定の割合で小さくした値に基づいて算出し、前記複数の被写体領域それぞれの輝度分布情報に基づいて各被写体領域について算出された入出力特性を組み合わせて前記階調特性を決定することを特徴とする画像処理装置。
2. 前記決定手段は、前記複数の被写体領域それぞれの輝度分布情報に基づいて、前記複数の入出力特性をそれぞれ用いる入力値の範囲を算出し、前記階調特性を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記複数の被写体領域に含まれる第１の被写体領域の輝度ヒストグラムに対して、低輝度側から高輝度側にかけて加算した値が所定の閾値に達した時点の輝度値に基づいて、前記複数の入出力特性をそれぞれ用いる入力値の範囲を算出し、前記階調特性を決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段は、前記複数の被写体領域に含まれていて前記第１の被写体領域の代表輝度値よりも代表輝度値が高い第２の被写体領域の輝度ヒストグラムに対して、高輝度側から低輝度側にかけて減算した値が所定の閾値に達した時点の輝度値に基づいて、前記複数の入出力特性をそれぞれ用いる入力値の範囲を算出し、前記階調特性を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、前記複数の被写体領域それぞれの代表輝度値と前記複数の被写体領域それぞれの輝度分布情報とに基づいて、第１の階調特性と第２の階調特性を算出し、前記複数の被写体領域それぞれの代表輝度値に基づいて前記第１の階調特性と前記第２の階調特性を加重演算して第３の階調特性を決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記決定手段は、前記複数の被写体領域に含まれる第１の被写体領域の大きさに基づいて、前記第３の階調特性を決定する際の前記第１の階調特性と前記第２の階調特性の比率を決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記複数の被写体領域に含まれる第２の被写体領域の大きさに基づいて、前記第３の階調特性を決定する際の前記第１の階調特性と前記第２の階調特性の比率を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段により決定された階調特性をゲインテーブルに変換する変換処理手段をさらに有し、
   前記画像処理手段は、前記ゲインテーブルを用いて階調補正処理を行うことを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 前記画像処理手段は、前記複数の被写体領域に対して同じゲインテーブルを用いて階調補正を行うことを特徴とする請求項８に記載の画像処理装置。
10. 画像に含まれる被写体領域を判別する領域判別工程と、
    前記領域判別工程で判別された複数の被写体領域それぞれの代表輝度値を算出する第１の算出工程と、
    前記領域判別工程で判別された複数の被写体領域それぞれの輝度分布情報を算出する第２の算出工程と、
    前記第１の算出工程で算出された複数の被写体領域それぞれの代表輝度値と前記第２の算出工程で算出された複数の被写体領域それぞれの輝度分布情報とに基づいて、階調特性を決定する決定工程と、
    前記決定工程で決定された階調特性に基づいて階調補正処理を行う画像処理工程と、を有し、
    前記決定工程では、
    前記複数の被写体領域のうちの主被写体領域に適用する入出力特性を、前記主被写体領域の代表輝度値と出力目標の輝度値に基づいて算出するとともに、前記主被写体領域以外の被写体領域に適用する入出力特性を、前記主被写体領域との代表輝度値の差分である輝度段差を所定の割合で小さくした値に基づいて算出し、前記複数の被写体領域それぞれの輝度分布情報に基づいて各被写体領域について算出された入出力特性を組み合わせて前記階調特性を決定することを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法をコンピュータに実行させるためのプログラム。
12. コンピュータに、請求項１０に記載された画像処理方法を実行させるためのプログラムを記憶したコンピュータにより読み取り可能な記憶媒体。