JP5087368B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP5087368B2 JP5087368B2 JP2007282034A JP2007282034A JP5087368B2 JP 5087368 B2 JP5087368 B2 JP 5087368B2 JP 2007282034 A JP2007282034 A JP 2007282034A JP 2007282034 A JP2007282034 A JP 2007282034A JP 5087368 B2 JP5087368 B2 JP 5087368B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- characteristic
- processing
- spatial frequency
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Description
本発明は、画像の空間周波数特性の処理を行う画像処理装置、画像処理方法および画像処理プログラムに関する。
「映像」は、単一の静止画像である「フレーム画像」を連続させることにより構成されている。映像の取得、蓄積、伝送、表示、符号化および復号化等を含む映像処理は、一般的に個々のフレーム画像の鮮明度（以降、単に「鮮明度」と呼ぶ）が一定または徐々に変化する映像を対象としている。一方、人間の眼は、画像の鮮明度の違いを明確に識別することができる。したがって、鮮明度の違いは画像の品質に対する評価に直接結びつくことが多く、一般には、高鮮明度の画像は高品質と評価される。
ここで、個々のフレーム画像が鮮明度の低い画像（ボケのある画像）であっても、各フレーム画像が連続した映像として表示された場合、この映像を見る人には、フレーム画像の鮮明度が上がり映像として鮮明に見えたり、また、より滑らかな動きであるように知覚したりといった、錯視現象が生ずることが非特許文献１に記載されている。このような錯視現象は、motion sharpening現象（動きに基づく鮮明化現象ともいう）と呼ばれる。
非特許文献１には、このmotion sharpening現象は、フレーム画像に含まれる被撮影物の動きの大きさ、および空間周波数の高周波成分に起因する可能性があると記載されている。また、非特許文献１には、motion sharpening現象の中で、鮮明度が所定の基準よりも低いフレーム画像（以下「低鮮明度画像」という）で構成された映像の中に、鮮明度が所定の基準よりも高いフレーム画像（以下「高鮮明度画像」という）が挿入されることで、映像として見たときに、低鮮明度画像の鮮明度が実際の鮮明度よりも高く知覚される場合があると記載されている。特に、映像を構成するフレーム画像のうちの５０％が高鮮明度画像で構成される場合、当該映像を見た人間の目に知覚される鮮明度が、全てのフレーム画像が高鮮明度画像で構成された映像を見たときの鮮明度と変わらないように見える（即ち、主観的には知覚される鮮明度が変わらないように錯覚される）場合がある。このようにmotion sharpening現象は、高鮮明度画像と低鮮明度画像とが混在することで主観的な品質が保たれる現象ともいえる。
一方、画像の空間周波数の電力や帯域が低下した画像において、空間周波数特性を強調することで、当該画像の画質が向上することが知られている。例えば、先鋭化フィルタやエッジ強調フィルタなどを用いて画像処理をすることで、画像が鮮明化されエッジが強調され、その結果、画質が向上することが知られている。
Takeuchi,T. & De Valois, K.K. (2005), "Sharpening image motion based on spatio-temporal characteristics of human vision", Human Vision and Electronic Imaging X
Takeuchi,T. & De Valois, K.K. (2005), "Sharpening image motion based on spatio-temporal characteristics of human vision", Human Vision and Electronic Imaging X
しかし、従来の画像強調処理では、予めどのように空間周波数特性が変化したかという情報が無ければ、適切に空間周波数特性を強調することができない。そのため、空間周波数特性の変化情報が無いときに画像強調処理を行うと、空間高周波成分が上昇しすぎて雑音が知覚される場合や、リンギングと呼ばれる歪が知覚される場合が生じる。
また、一般に画像圧縮された画像には符号化歪が含まれる。そのため、符号化歪が含まれる画像に対して画像強調処理を行うと、符号化歪も強調されるため画像の品質が低下する場合がある。特に符号化条件がよい場合でも、多くの画像符号化処理には符号化効率向上を目的とした量子化処理が含まれるため、復号化された画像には量子化歪が含まれる。特に空間周波数成分の大きさが低い画像の場合、量子化歪によって、特に空間高周波成分における変換係数（差分値）が０になって逆量子化の際に係数が復元されないおそれがあるため、量子化歪による影響が大きいといえる。
そのため、適切に行われなかった強調画像を含む映像は、映像として見た際にツラツキが見えるなど、映像の品質が大きく低下してしまう。しかし、前述のmotion sharpening現象を利用して、強調画像の空間周波数特性を前後の画像との関係に基づき調整することにより、映像（動画像）としての主観品質の低下を抑制することが待望されていた。
本発明は、上記課題を解決するために成されたものであり、適切に行われなかった画像強調処理により引き起こされる歪の発生や量子化歪の強調等に起因した動画像としての主観品質の低下を抑制することを目的とする。
上述の課題を解決するために、本発明に係る画像処理装置は、所定の方法で得られた複数のフレーム画像から、画像処理の対象となる処理対象画像を、所定の基準又は外部から入力された前記処理対象画像を指定する情報に基づいて決定する処理対象画像決定部と、所定の方法で得られた複数のフレーム画像から、前記処理対象画像に対する処理量を決定するための参照画像を、所定の基準又は外部から入力された前記参照画像を指定する情報に基づいて決定する参照画像決定部と、前記処理対象画像決定部により決定された処理対象画像の空間周波数特性を所定の方法で強調することで、強調対象画像を生成する画像強調部と、前記参照画像決定部により決定された参照画像の特徴量を含む所定の特徴量情報に基づいて、前記処理対象画像の空間周波数特性に対する指標特性を決定する指標特性決定部と、前記指標特性決定部により決定された指標特性を含む所定の特性情報に基づいて、前記画像強調部により生成された強調対象画像の空間周波数特性を調整する画像特性調整部と、を備えることを特徴とする。
このような画像処理装置によれば、処理対象画像決定部が、所定の方法で得られた複数のフレーム画像から、画像処理の対象となる処理対象画像を、所定の基準又は外部から入力された前記処理対象画像を指定する情報に基づいて決定する。また、参照画像決定部が、所定の方法で得られた複数のフレーム画像から、前記処理対象画像に対する処理量を決定するための参照画像を、所定の基準又は外部から入力された前記参照画像を指定する情報に基づいて決定する。そして、画像強調部が、上記決定された処理対象画像の空間周波数特性を所定の方法で強調することで、強調対象画像を生成する。一方、指標特性決定部が、上記決定された参照画像の特徴量を含む所定の特徴量情報に基づいて、処理対象画像の空間周波数特性に対する指標特性を決定する。その後、画像特性調整部が、上記決定された指標特性を含む所定の特性情報に基づいて、画像強調部により生成された強調対象画像の空間周波数特性を調整する。以上のように、参照画像（即ち、処理対象画像とは異なるフレーム画像）の特徴量を含む所定の特徴量情報に基づいて決定された「処理対象画像の空間周波数特性に対する指標特性」を含む所定の特性情報に基づいて、強調対象画像の空間周波数特性を調整することで、適切でない画像強調処理により引き起こされる歪の発生や量子化歪の強調等に起因した動画像の品質低下を抑制することができる。
なお、上記の所定の特徴量情報は、参照画像の平均輝度、参照画像の空間周波数成分の電力、および参照画像と処理対象画像との間の変化量、のうち少なくとも１つを含んで構成することができる。
また、上記の画像強調部は、処理対象画像に対して実施された画像処理方法を示す画像処理指示情報を入力する指示情報入力部を含み、該指示情報入力部から入力された画像処理指示情報より、画像処理方法に基づく処理を元に戻すような強調処理方法を決定し、決定した強調処理方法で処理対象画像の空間周波数特性を強調することで、強調対象画像を生成することが望ましい。この場合、処理対象画像に対して実施された画像処理方法に基づく処理を元に戻すような強調処理方法で、処理対象画像の空間周波数特性を強調することができ、上記画像処理方法に応じて、処理対象画像の空間周波数特性の強調を適切に行うことができる。
また、上記の画像特性調整部は、強調対象画像の空間周波数特性として、強調対象画像の空間周波数成分の電力を調整することが望ましい。この場合、指標特性決定部により決定された指標特性を含む所定の特性情報に基づいて、強調対象画像の空間周波数成分の電力が適切に調整されることで、画像強調部によって強調されてしまった処理対象画像の量子化歪等を抑制することができる。
また、上記の画像特性調整部は、画像圧縮に利用される量子化情報を入力する量子化情報入力部を含み、量子化情報入力部から入力された量子化情報および指標特性を含む所定の特性情報に基づいて、強調対象画像の空間周波数特性を調整することが望ましい。この場合、量子化歪が生じた強調対象画像に対して、より適切な空間周波数特性の調整を行うことができる。
また、上記の画像特性調整部は、参照画像の空間周波数特性および指標特性を含む所定の特性情報に基づいて、強調対象画像の空間周波数特性を調整することが望ましい。この場合、指標特性に加え、参照画像の空間周波数特性をも考慮した、強調処理画像の空間周波数特性の調整を行うことができる。
また、上記の画像特性調整部は、画像圧縮に利用される量子化情報を入力する量子化情報入力部を含み、量子化情報入力部から入力された量子化情報、参照画像の空間周波数特性および指標特性を含む所定の特性情報に基づいて、強調対象画像の空間周波数特性を調整することが望ましい。この場合、指標特性に加え、量子化情報および参照画像の空間周波数特性をも考慮した、強調処理画像の空間周波数特性の調整を行うことができる。
また、上記の処理対象画像決定部は、複数のフレーム画像を外部から受け取るか、又は、複数のフレーム画像から成る入力映像信号を外部から受け取り、該入力映像信号を複数のフレーム画像に分解することで、複数のフレーム画像を得て、当該複数のフレーム画像から前記処理対象画像を決定する構成とすることができる。同様に、上記の参照画像決定部も、複数のフレーム画像を外部から受け取るか、又は、複数のフレーム画像から成る入力映像信号を外部から受け取り、該入力映像信号を複数のフレーム画像に分解することで、複数のフレーム画像を得て、当該複数のフレーム画像から、前記参照画像を決定する構成とすることができる。
なお、画像処理装置に係る本発明は、画像処理方法に係る発明又は画像処理プログラムに係る発明として捉えることができ、以下のように記述することができる。画像処理方法に係る発明および画像処理プログラムに係る発明も、画像処理装置に係る発明と同様の作用・効果を奏する。
本発明に係る画像処理方法は、画像処理装置により実行される画像処理方法であって、所定の方法で得られた複数のフレーム画像から、画像処理の対象となる処理対象画像を、所定の基準又は外部から入力された前記処理対象画像を指定する情報に基づいて決定する処理対象画像決定ステップと、所定の方法で得られた複数のフレーム画像から、前記処理対象画像に対する処理量を決定するための参照画像を、所定の基準又は外部から入力された前記参照画像を指定する情報に基づいて決定する参照画像決定ステップと、前記処理対象画像決定ステップにより決定された処理対象画像の空間周波数特性を所定の方法で強調することで、強調対象画像を生成する画像強調ステップと、前記参照画像決定ステップにより決定された参照画像の特徴量を含む所定の特徴量情報に基づいて、前記処理対象画像の空間周波数特性に対する指標特性を決定する指標特性決定ステップと、前記指標特性決定ステップにより決定された指標特性を含む所定の特性情報に基づいて、前記画像強調ステップにより生成された強調対象画像の空間周波数特性を調整する画像特性調整ステップと、を有することを特徴とする。
本発明に係る画像処理プログラムは、コンピュータを、所定の方法で得られた複数のフレーム画像から、画像処理の対象となる処理対象画像を、所定の基準又は外部から入力された前記処理対象画像を指定する情報に基づいて決定する処理対象画像決定部と、所定の方法で得られた複数のフレーム画像から、前記処理対象画像に対する処理量を決定するための参照画像を、所定の基準又は外部から入力された前記参照画像を指定する情報に基づいて決定する参照画像決定部と、前記処理対象画像決定部により決定された処理対象画像の空間周波数特性を所定の方法で強調することで、強調対象画像を生成する画像強調部と、前記参照画像決定部により決定された参照画像の特徴量を含む所定の特徴量情報に基づいて、前記処理対象画像の空間周波数特性に対する指標特性を決定する指標特性決定部と、前記指標特性決定部により決定された指標特性を含む所定の特性情報に基づいて、前記画像強調部により生成された強調対象画像の空間周波数特性を調整する画像特性調整部、として機能させることを特徴とする。
本発明によれば、参照画像（即ち、処理対象画像とは異なるフレーム画像）の特徴量を含む所定の特徴量情報に基づいて決定された「処理対象画像の空間周波数特性に対する指標特性」を含む所定の特性情報に基づいて、強調対象画像の空間周波数特性を調整することで、適切でない画像強調処理により引き起こされる歪の発生や量子化歪の強調等に起因した動画像としての主観品質の低下を抑制することができる。
以下、本発明に係る各種の実施形態を図面に基づき説明する。なお、各図において、同一構成要素には同一符号を付して重複する説明を省略する。
［第１実施形態］
まず、本発明に係る第１実施形態について説明する。図１は、第１実施形態における画像処理装置１０の機能構成を例示するブロック構成図である。この画像処理装置１０は、ハードウェアとしては、ＣＰＵ（中央処理装置）、メモリ等の記憶装置、映像を入出力するための入出力装置（通信装置）などを備えるコンピュータにより構成される。このような画像処理装置１０は、例えば、パーソナルコンピュータ等の据え置き型の通信端末、又は携帯電話機等の移動通信端末などの各種の情報処理装置により構成することができる。
まず、本発明に係る第１実施形態について説明する。図１は、第１実施形態における画像処理装置１０の機能構成を例示するブロック構成図である。この画像処理装置１０は、ハードウェアとしては、ＣＰＵ（中央処理装置）、メモリ等の記憶装置、映像を入出力するための入出力装置（通信装置）などを備えるコンピュータにより構成される。このような画像処理装置１０は、例えば、パーソナルコンピュータ等の据え置き型の通信端末、又は携帯電話機等の移動通信端末などの各種の情報処理装置により構成することができる。
［画像処理装置１０の機能ブロック構成］
次に、図１を参照して画像処理装置１０の機能ブロック構成について説明する。図１に示すように、画像処理装置１０は、画像入力部１０１および１０４と、処理対象画像決定部１０２と、画像強調部１０３と、参照画像決定部１０５と、指標特性決定部１０６と、画像特性調整部１０７と、画像出力部１０８とを含んで構成される。
次に、図１を参照して画像処理装置１０の機能ブロック構成について説明する。図１に示すように、画像処理装置１０は、画像入力部１０１および１０４と、処理対象画像決定部１０２と、画像強調部１０３と、参照画像決定部１０５と、指標特性決定部１０６と、画像特性調整部１０７と、画像出力部１０８とを含んで構成される。
（処理対象画像決定部１０２について）
このうち処理対象画像決定部１０２は、画像入力部１０１から動画像信号として入力された入力映像信号を受け取り、該入力映像信号に対し所定のフレームレートに基づく分析を行ってフレーム画像に分解し、後述する所定の基準Ｋに基づいて、画像処理の対象となるフレーム画像として処理対象画像Ｆ１を決定する。ここでは、基準Ｋとして、例えば、フレーム画像を表示順序に並べたときの当該表示順序を示すフレーム番号（以下「表示順序番号」という）が偶数であるとの基準を採用する。
このうち処理対象画像決定部１０２は、画像入力部１０１から動画像信号として入力された入力映像信号を受け取り、該入力映像信号に対し所定のフレームレートに基づく分析を行ってフレーム画像に分解し、後述する所定の基準Ｋに基づいて、画像処理の対象となるフレーム画像として処理対象画像Ｆ１を決定する。ここでは、基準Ｋとして、例えば、フレーム画像を表示順序に並べたときの当該表示順序を示すフレーム番号（以下「表示順序番号」という）が偶数であるとの基準を採用する。
なお、基準Ｋとしては、上記に限定されるものではなく、例えば、表示順序番号が予め定められた数値Ｍによって割り切れるとの基準や、表示順序番号が予め定められた数値Ｍによって割り切れないとの基準を採用してもよい。また、基準Ｋとしては、表示順序番号以外のもの、例えば、画像の平均輝度、画像の帯域幅、画像の空間周波数成分といった数値を用いても良く、画像の平均輝度、画像の帯域幅、および画像の空間周波数成分が、それぞれ所定の基準値よりも小さいとの基準を採用してもよい。なお、上記のような基準Ｋは、処理対象画像決定部１０２が予め記憶していてもよいし、外部から処理対象画像決定部１０２へ入力してもよい。
処理対象画像決定部１０２は、処理対象画像が処理対象画像Ｆ１であることを示す対象画像情報と共に、上記分解されたフレーム画像を、ラインＬ１０２ａ経由で画像強調部１０３に出力する。それと同時に処理対象画像決定部１０２は、処理対象画像Ｆ１をラインＬ１０２ｂ経由で指標特性決定部１０６に出力する。
（画像強調部１０３について）
画像強調部１０３には、ラインＬ１０２ａ経由で対象画像情報とフレーム画像とが入力される。画像強調部１０３は、処理対象画像決定部１０２から送信されてきた対象画像情報を参照して処理対象画像（ここでは処理対象フレーム画像Ｆ１）を判断し、処理対象画像に対して以下のような画像強調処理を行う。まず、処理対象画像を空間周波数成分に変換する。具体的には処理対象画像に対して２次元フーリエ変換を施し周波数係数行列を生成する。次に、その周波数係数行列内の係数に対して予め定められた一定の倍率で乗算を行う。その後、乗算後の周波数係数行列に対して２次元逆フーリエ変換を施し、強調処理画像を生成する。
画像強調部１０３には、ラインＬ１０２ａ経由で対象画像情報とフレーム画像とが入力される。画像強調部１０３は、処理対象画像決定部１０２から送信されてきた対象画像情報を参照して処理対象画像（ここでは処理対象フレーム画像Ｆ１）を判断し、処理対象画像に対して以下のような画像強調処理を行う。まず、処理対象画像を空間周波数成分に変換する。具体的には処理対象画像に対して２次元フーリエ変換を施し周波数係数行列を生成する。次に、その周波数係数行列内の係数に対して予め定められた一定の倍率で乗算を行う。その後、乗算後の周波数係数行列に対して２次元逆フーリエ変換を施し、強調処理画像を生成する。
なお、本実施形態における画像強調処理は、画像の空間周波数成分に対して一定の倍率で乗算することで画像の強調処理を行ったが、画像強調処理はこれに限るものではない。例えば、各係数に対して所定の値を加算してもよい。また、空間周波数成分が大きくなる処理であれば、どのような処理でもよい。また、空間周波数成分の分布を広げ、画像のコントラストを向上させるなどの処理を行っても良い。
また、本実施形態で、周波数系列行列係数に対して乗算を行う倍率は、一定の倍率を用いたが、これに限るものではない。例えば、空間周波数と共に倍率が大きくなってもよい。また、特定の空間周波数成分のみが大きな倍率であるようなものでもよい。このような倍率は、予め画像強調部１０３に記憶しておいてもよいし、外部から画像強調部１０３に入力してもよい。
また、本実施形態における画像強調処理は、画像に対して周波数変換を行い、変換で得られた周波数成分に対して画像強調処理を行ったが、必ずしも周波数変換を行う必要はなく、画像の画素を用いて画像強調処理を行っても良い。具体的には、先鋭化フィルタやエッジ強調フィルタなどの空間フィルタを用いて画像強調処理を行ってもよい。
また、本実施形態では、フレーム画像単位で画像強調処理を行う例を示すが、これに限るものではなく、例えば、フレーム画像を複数に分割して得られたブロックを処理単位としてもよいし、複数のブロックから成る任意のブロック群（いわゆるスライス）を処理単位としてもよい。
また、本実施形態では、２次元の空間周波数成分を算出したが、１次元フーリエ変換を用いて空間周波数成分を算出しても良い。その場合、例えば、２次元の空間周波数成分における水平方向の各行ごとにフーリエ変換を行って算出してもよい。また、垂直方向、水平方向、水平垂直以外の所定方向、のうち何れか１つ以上に沿った空間周波数成分を対象としてもよい。
また、本実施形態では、周波数変換にフーリエ変換を用いたが、フーリエ変換以外の離散コサイン変換や離散ウェーブレット変換などの他の周波数変換を用いてもよい。
その後、画像強調部１０３は、強調処理画像をラインＬ１０３経由で画像特性調整部１０７へ出力する。
なお、本実施形態では、強調処理画像を画像特性調整部１０７へ出力したが、画像の空間周波数成分に対し画像強調処理を実施した場合には、強調された空間周波数成分を画像特性調整部１０７に出力してもよい。この場合、画像特性調整部１０７でも空間周波数変換を行う場合には、画像特性調整部１０７における変換処理回数を削減でき、変換誤差を小さくすることができる。
（参照画像決定部１０５について）
一方、参照画像決定部１０５には、画像入力部１０４から複数のフレーム画像が入力され、所定の基準Ｐに基づいて、処理対象画像の空間周波数特性に対する調整量を決定するためのフレーム画像として参照画像Ｆ２を決定する。ここでは、基準Ｐとして、例えば、表示順序番号が奇数であるとの基準を採用する。
一方、参照画像決定部１０５には、画像入力部１０４から複数のフレーム画像が入力され、所定の基準Ｐに基づいて、処理対象画像の空間周波数特性に対する調整量を決定するためのフレーム画像として参照画像Ｆ２を決定する。ここでは、基準Ｐとして、例えば、表示順序番号が奇数であるとの基準を採用する。
なお、本実施形態における画像入力部１０４は、画像入力部１０１とは別に設け、異なる画像入力信号を受けることができるよう構成しているが、画像入力部１０１と同一の画像入力信号が入力され、参照画像決定部１０５において画像入力信号を複数のフレーム画像に分解してもよい。また、予めフレームメモリ等に格納された参照画像用の画像群から参照画像を選択してもよい。
また、基準Ｐとしては、上記に限定されるものではなく、例えば、表示順序番号が予め定められた数値Ｍによって割り切れるとの基準や、表示順序番号が予め定められた数値Ｍによって割り切れないとの基準を採用してもよい。また、基準Ｐとしては、表示順序番号以外のもの、例えば、画像の平均輝度、画像の帯域幅、画像の空間周波数成分といった数値を用いても良く、画像の平均輝度、画像の帯域幅、および画像の空間周波数成分が、それぞれ所定の基準値よりも大きいとの基準を採用してもよい。なお、上記のような基準Ｐは、参照画像決定部１０５が予め記憶していてもよいし、外部から参照画像決定部１０５へ入力してもよい。
なお、本実施形態では、参照画像決定部１０５が単独で参照画像を決定したが、参照画像決定部１０５は、処理対象画像決定部１０２により決定された処理対象画像の情報や参照画像との関係を用いて参照画像を決定してもよい。例えば、処理対象画像の前に表示される画像を参照画像として決定してもよいし、処理対象画像に含まれる画像の特徴量（平均輝度、画像の帯域幅、画像の空間周波数成分）を比較して、当該特徴量よりも大きい特徴量を持つ画像を参照画像として決定してもよい。その場合、参照画像決定部１０５は、処理対象画像決定部１０２から必要な情報を取得すればよい。
なお、本実施形態では、参照画像として１枚の画像を決定したが、これに限るものではなく複数の参照画像を決定してもよい。
参照画像決定部１０５は、参照画像Ｆ２が選択されたことを示す参照画像情報と共に、当該参照画像Ｆ２をＬ１０５経由で指標特性決定部１０６に出力する。
（指標特性決定部１０６について）
指標特性決定部１０６には、ラインＬ１０２ｂ経由で処理対象画像が入力され、ラインＬ１０５経由で参照画像が入力される。まず、指標特性決定部１０６は、入力された参照画像から、後述する所定の特徴量を抽出する。本実施形態では所定の特徴量として、参照画像の平均輝度、参照画像の空間周波数成分の電力、および処理対象画像と参照画像との間の変化量を算出する。詳細は後述する。その後、算出された参照画像の特徴量に基づき所定の演算を行うことで、処理対象画像の空間周波数特性に対する指標特性を決定する。そして、指標特性決定部１０６は、決定した指標特性をラインＬ１０６経由で画像特性調整部１０７に出力する。
指標特性決定部１０６には、ラインＬ１０２ｂ経由で処理対象画像が入力され、ラインＬ１０５経由で参照画像が入力される。まず、指標特性決定部１０６は、入力された参照画像から、後述する所定の特徴量を抽出する。本実施形態では所定の特徴量として、参照画像の平均輝度、参照画像の空間周波数成分の電力、および処理対象画像と参照画像との間の変化量を算出する。詳細は後述する。その後、算出された参照画像の特徴量に基づき所定の演算を行うことで、処理対象画像の空間周波数特性に対する指標特性を決定する。そして、指標特性決定部１０６は、決定した指標特性をラインＬ１０６経由で画像特性調整部１０７に出力する。
次に、指標特性決定部１０６の処理の詳細について図２を用いて説明する。指標特性決定部１０６は、図２に示すように、参照画像特徴量抽出部２０１、画像間変化量算出部２０２、および指標特性生成部２０３を含んで構成される。次に、図３、図４および図５を用いて、指標特性決定部１０６の動作を説明する。
まず、参照画像特徴量抽出部２０１は、参照画像がラインＬ１０５ａ経由で入力され（ステップＳ３０１）、参照画像の平均輝度と参照画像の空間周波数成分の電力とを算出する（ステップＳ３０２）。
このうち参照画像の空間周波数成分の電力は、参照画像の画素値を周波数成分に変換して算出される。具体的には、参照画像特徴量抽出部２０１は、参照画像に対して２次元フーリエ変換を施し周波数係数行列を生成し、その周波数係数行列内の係数のパワースペクトルを算出する。つまり、参照画像特徴量抽出部２０１は、各フーリエ係数の実数項の２乗と虚数項の２乗との和を、各空間周波数の電力P1として算出する。なお、空間周波数成分の電力に関する表現法は、上記に限定されるものではなく、その他の表現法でもよい。
一方、平均輝度については、参照画像特徴量抽出部２０１は、空間周波数のＤＣ成分のみを抽出し、抽出したＤＣ成分を輝度値に逆変換することで平均輝度を算出する。図４のグラフには、周波数領域における空間周波数成分の電力を簡易のため１次元で例示しており、空間周波数＝０における電力値がＤＣ成分の大きさを示している。なお、平均輝度は、各フレーム画像の輝度値の平均値を算出することで求めても良い。また、参照画像特徴量抽出部２０１は、平均輝度と空間周波数成分の電力P1のうち、何れか一方を算出してもよい。
なお、本実施形態では、フレーム画像単位で平均輝度と空間周波数成分の電力P1を算出する例を示すが、これに限るものではなく、算出処理の単位は、例えば、フレーム画像を複数に分割して得られたブロックを処理単位としてもよいし、複数のブロックから成る任意のブロック群を処理単位としてもよい。
また、本実施形態では、２次元の空間周波数成分の電力P1を算出したが、１次元フーリエ変換を用いて空間周波数成分の電力を算出しても良い。その場合、例えば、２次元の空間周波数成分における水平方向の各行ごとにフーリエ変換を行って算出してもよい。また、垂直方向、水平方向、水平垂直以外の所定方向、のうち何れか１つ以上に沿った空間周波数成分を対象としてもよい。
また、本実施形態では、周波数変換にフーリエ変換を用いたが、フーリエ変換以外の離散コサイン変換や離散ウェーブレット変換などの他の周波数変換を用いてもよい。
また、本実施形態では、参照画像のみを用いた「特徴量」として平均輝度と空間周波数成分の電力P1とを算出したが、その他の特徴量を算出しても良い。例えば、空間周波数成分の帯域幅の分散や空間周波数成分の振幅の分散を算出しても良いし、画像の輝度値を用いた特徴量（画素値の分散、画像のコントラストなど）を算出しても良い。
参照画像特徴量抽出部２０１は、算出した参照画像の特徴量（ここでは平均輝度と空間周波数成分の電力P1）をラインＬ２０１経由で指標特性生成部２０３に出力する。
次に、画像間変化量算出部２０２には、参照画像Ｆ２および処理対象画像Ｆ１が入力される（ステップＳ３０３）。その後、画像間変化量算出部２０２は、参照画像と処理対象画像との間の変化量を以下のように算出する（ステップＳ３０４）。具体的には、参照画像と処理対象画像との間の動き量を算出する。以下、動き量の算出処理について詳細に説明する。
まず、画像間変化量算出部２０２は、処理対象画像F1と参照画像F2とを順次読み込む。そして、画像間変化量算出部２０２は、読み込んだ２枚の画像Ｆ１、Ｆ２間で、一致度が所定値以上の画像信号パターン（いわゆる互いに類似する画像信号パターン）に基づいて、上記２枚のフレーム画像間における空間的な変化量としての動きベクトル（ＭＶｂｘ，ＭＶｂｙ）を算出する（図５参照）。
本実施形態では、画像間変化量算出部２０２は、フレーム画像を所定の大きさの複数のブロックに分割し、処理対象画像Ｆ１の各ブロックについて、当該各ブロックの画像信号パターンに最も類似する画像信号パターン（例えば一致度が所定値以上の画像信号パターン）を、ブロックマッチング法などの探索処理を用いて参照画像Ｆ２から探索する。そして、画像間変化量算出部２０２は、処理対象画像Ｆ１と参照画像Ｆ２との間で画像信号パターンが共通するブロック同士で、フレーム画像内で位置がどの程度ずれているかを示すずれ量を判断することにより、動きベクトルを算出する。
その後、画像間変化量算出部２０２は、全ブロックについて算出された動きベクトル（ＭＶｂｘ，ＭＶｂｙ）に基づいて全ブロックについての動きベクトルの中央値を算出し、得られた中央値をフレーム画像全体における動き量Ｖ１（ＭＶｘ１，ＭＶｙ１）とする。
なお、本実施形態では、全ブロックについて算出された動きベクトルの中央値を算出したが、全ブロックについての動きベクトルの中央値に代えて、例えばフレーム画像に含まれるブロックごとに算出された動きベクトルの大きさ（ＭＶｘ，ＭＶｙ）についての平均値、最大値、中間値、最小値、のうちの何れかを用いても良い。また、ブロック単位で処理を行う場合には、各ブロックの動きベクトルをそのまま利用してもよい。
また、本実施形態では、動き量の算出にブロックマッチング法を用いたが、これに限るものではない。他の算出法、例えばオプティカルフロー等を用いて動きベクトルを算出してもよい。
また、本実施形態では、動きベクトルを利用して動き量を算出したが、画像の動きに注目した他の特徴量、例えば、動きの方向、フレーム画像内のブロックの持つ動きベクトルの分布、各動きベクトルの大きさの差、各動きベクトルの方向差、規定値以上の大きさの動きベクトルの割合などに基づいて、フレーム画像間の変化量を算出してもよい。
また、本実施形態では、フレーム画像間の変化として、動き量を算出したが、それ以外にも、画素値の変化に注目をしたフレーム画像間の変化（例えば、輝度値の変化量、平均輝度の変化など）を算出してもよい。
また、動き量は、画像の周波数変換時の位相を用いて算出してもよい。この場合、２枚の画像の全画素それぞれに対し離散フーリエ変換などを行い、画素空間から周波数空間への変換を行って、各画像の同一周波数成分を除算することで、位相の大きさを用いた動き量を算出すればよい。各周波数成分の位相を算出した後、全位相の値を合計し、合計値を動き量とする。また、周波数変換後の位相の利用は、これに限るものではなく、２画像間の動き量を表すものであればどのように算出してもよい。
また、本実施形態では、動き量として画像間の変化の大きさのみを用いて表現したが、動画像のフレームレートをも考慮して動き量の算出を行っても良い。また、フレームレートによって異なる参照画像と処理対象画像が提示されるまでの時間をも特徴量として利用してもよい。
また、本実施形態における指標特性決定部１０６は、参照画像の特徴量として、(1)参照画像の平均輝度、(2) 参照画像の空間周波数成分の電力、および(3)処理対象画像と参照画像との間の動き量（即ち、処理対象画像と参照画像との間の変化量）を算出したが、これら(1)〜(3)の全てを算出することは必須ではなく、いずれか１つを算出すればよい。また、(3)処理対象画像と参照画像との間の動き量を算出しない場合は図１のラインＬ１０２ｂおよび画像間変化量算出部２０２は、設けなくてもよい。
また、本実施形態における指標特性決定部１０６は、外部入力部を備えてもよい。その場合、例えば、動き量を算出する代わりに、動画像圧縮等に利用される動きベクトルを用いて動き量を算出してもよい。これにより、指標特性決定部１０６における演算量を削減することができる。
次に、指標特性生成部２０３には、ラインＬ２０１経由で、(1)参照画像の平均輝度および(2)参照画像の空間周波数成分の電力が入力され、ラインＬ２０２経由で、(3)処理対象画像と参照画像との間の動き量（即ち、処理対象画像と参照画像との間の変化量）が入力される。指標特性生成部２０３は、入力された(1)参照画像の平均輝度、(2)参照画像の空間周波数成分の電力および(3)処理対象画像と参照画像との間の動き量を用いて、強調処理画像の空間周波数特性である指標特性を以下のように生成する。具体的には、上記(1)〜(3)の値に基づいて所定の５つの係数（α、β、γ、ω、τ）を決定し（ステップＳ３０５）、決定した係数を各空間周波数（sf）で以下の式（１）に適用することで、空間周波数成分の電力群である指標特性Pthを決定する（ステップＳ３０６）。
上記式（１）において、５つの係数（α、β、γ、ω、τ）は参照画像の特徴量により決定される係数であり、またconstおよびnは予め定められた定数である。
上記式（１）において、５つの係数（α、β、γ、ω、τ）は参照画像の特徴量により決定される係数であり、またconstおよびnは予め定められた定数である。
なお、本実施形態では、５つの係数（α、β、γ、ω、τ）を決定して指標特性Pthを決定したが、係数の数はこれに限るものではなく、係数をいくつ選んでも良い。また、各係数は予め指標特性生成部２０３に格納されている例を示したが、外部から入力されてもよい。
また、本実施形態における指標特性Pthを算出する数式は、これに限るものではない。指標特性となる空間周波数成分を算出できる数式であれば、どのような形態であってもよい。
また、本実施形態では、所定の係数を決定して所定の数式にて指標特性Pthを決定したが、これに限るものではない。例えば、所定の係数を決定して空間フィルタ等を選択してもよい。また、帯域幅の大きさや空間周波数電力の大きさなどある値の大きさだけを指標特性Pthとして生成してもよい。
また、本実施形態では、参照画像の平均輝度および参照画像の空間周波数の電力を用いて指標特性Pthを決定したが、処理対象画像の平均輝度や処理対象画像の空間周波数成分の電力等の処理対象画像に関する特徴量をさらに用いて指標特性を決定してもよい。
指標特性生成部２０３は、生成した指標特性PthをラインＬ１０６経由で画像特性調整部１０７に出力して図３のステップを終了する（ステップＳ３０７）。
（画像特性調整部１０７について）
次に、画像特性調整部１０７には、ラインＬ１０６経由で、指標特性決定部１０６で生成された指標特性Pthが入力され、ラインＬ１０３経由で、画像強調部１０３で生成された強調処理画像が入力される。画像特性調整部１０７は、以下の手順により、指標特性Pthを利用して強調処理画像の空間周波数特性を調整する。
次に、画像特性調整部１０７には、ラインＬ１０６経由で、指標特性決定部１０６で生成された指標特性Pthが入力され、ラインＬ１０３経由で、画像強調部１０３で生成された強調処理画像が入力される。画像特性調整部１０７は、以下の手順により、指標特性Pthを利用して強調処理画像の空間周波数特性を調整する。
まず、画像特性調整部１０７は、強調処理画像を空間周波数成分の電力に変換する。空間周波数成分の電力は、強調処理画像の画素値を周波数成分に変換して算出する。具体的には、画像特性調整部１０７は、強調処理画像に対して２次元フーリエ変換を施し周波数係数行列を生成し、その周波数係数行列内の係数のパワースペクトルを算出する。つまり、画像特性調整部１０７は、各フーリエ係数の実数項の２乗と虚数項の２乗の和を、強調処理画像の空間周波数成分の電力P2として算出する。なお、空間周波数成分の電力に関する表現法は、上記に限定されるものではなく、その他の表現法でもよい。
次に、画像特性調整部１０７は、指標特性を参考に強調処理画像の空間周波数成分の電力の調整を行う。具体的には、まず強調処理画像の空間周波数成分の電力P2と指標特性Pthによって示されている空間周波数成分の電力との比率である調整比率P_ratioを、以下の式（２）により算出する。
P_ratio = P2 / Pth （２）
次に、P_ratioが１よりも大きな値をとる場合、つまり強調処理画像の空間周波数の電力P2が、指標特性Pthよりも大きい電力を持つ場合、当該空間周波数の係数に対して調整比率の逆数（1/P_ratio）を乗算する。逆に、調整比率P_ratioが１よりも小さい値をとる場合、つまり強調処理画像の空間周波数の電力P2が指標特性Pthの電力よりも小さい場合には、当該空間周波数の係数に対して処理は何も行わない。上記のように電力の比率に応じて各空間周波数の係数の調整を行った後、調整された空間周波数の係数に対して逆周波数変換を行い、画素値に変換することで特性調整画像を生成する。画像特性調整部１０７は、生成された特性調整画像をラインＬ１０７経由で出力する。
P_ratio = P2 / Pth （２）
次に、P_ratioが１よりも大きな値をとる場合、つまり強調処理画像の空間周波数の電力P2が、指標特性Pthよりも大きい電力を持つ場合、当該空間周波数の係数に対して調整比率の逆数（1/P_ratio）を乗算する。逆に、調整比率P_ratioが１よりも小さい値をとる場合、つまり強調処理画像の空間周波数の電力P2が指標特性Pthの電力よりも小さい場合には、当該空間周波数の係数に対して処理は何も行わない。上記のように電力の比率に応じて各空間周波数の係数の調整を行った後、調整された空間周波数の係数に対して逆周波数変換を行い、画素値に変換することで特性調整画像を生成する。画像特性調整部１０７は、生成された特性調整画像をラインＬ１０７経由で出力する。
なお、本実施形態では、強調処理画像の空間周波数の電力P2と指標特性Pthとの比率を用いて各空間周波数成分の係数に対して乗算したが、これに限るものではない。強調処理画像の空間周波数の電力P2と指標特性Pthとの大小関係から各空間周波数の係数を調整する手法であればどのような処理を行っても良い。例えば、P2とPthの差分を出して、差分に対応する減衰量を利用して強調処理画像の空間周波数の電力P2の処理を行っても良い。
また、本実施形態では、強調処理画像の空間周波数成分の電力P2が、指標特性Pth以上の場合には、当該空間周波数の係数に対して調整比率の逆数（1/P_ratio）を乗算することで、当該空間周波数の電力を指標特性まで減衰させる処理を行ったが、当該空間周波数成分に対する処理はこれに限るものではない。指標特性Pthを参考に処理する方法であれば、どのような処理でもよい。例えば、ある一定の値の電力分を減衰させるような処理でもよい。
また、本実施形態では、強調処理画像の空間周波数成分の電力P2が、指標特性Pth未満の場合には、空間周波数成分の電力P2には処理を行わない例を示したが、これに限るものではなく、指標特性Pth未満でも強調処理画像の空間周波数成分の電力P2に対して処理を行っても良い。
なお、本実施形態では、空間周波数成分の電力に変換して調整する処理を行う例を示したが、強調処理画像の空間周波数特性を調整する部であればどのような処理を行っても良い。例えば、指標特性Pthが特定のフィルタ等である場合には、当該フィルタを用いた処理を強調処理画像に行えばよい。
なお、本実施形態では、空間周波数成分の電力を減衰させる処理を行う例を示したが、これに限るものではなく、空間周波数成分の電力を増幅させる処理を行っても良い。
［画像処理装置１０における画像処理］
次に、図６に基づいて、第１実施形態の画像処理装置１０における画像処理について説明する。図６は、画像処理装置１０の画像処理を示すフローチャートである。
次に、図６に基づいて、第１実施形態の画像処理装置１０における画像処理について説明する。図６は、画像処理装置１０の画像処理を示すフローチャートである。
まず、処理対象画像決定部１０２は、画像入力部１０１から動画像信号として入力された入力映像信号を受け取り（ステップＳ６０１）、該入力映像信号に対し所定のフレームレートに基づく分析を行ってフレーム画像に分解し、前述した所定の基準Ｋに基づいて、画像処理の対象となるフレーム画像として処理対象画像Ｆ１を決定する（ステップＳ６０２）。決定されたフレーム画像Ｆ１は、画像強調部１０３および指標特性決定部１０６に送信される。
次に、画像強調部１０３は、上記処理対象画像Ｆ１の強調処理を行う（ステップＳ６０３）。強調処理の方法は、前述したとおりである。強調処理が実施された強調処理画像は画像特性調整部１０７に送られる。
一方、ステップＳ６０４にて参照画像決定部１０５は、画像入力部１０４から入力されるフレーム画像の中から、上記処理対象画像に対する空間周波数特性を決定するための参照画像を決定する。なお、ステップＳ６０４の処理は、ステップＳ６０１〜Ｓ６０３の処理と並行に実行してもよい。
そして、決定された参照画像は指標特性決定部１０６に送られる。指標特性決定部１０６は、処理対象画像Ｆ１の特徴量である空間周波数成分の電力と平均輝度、および処理対象画像と参照画像F２の変化量である動き量を算出する（ステップＳ６０５）。空間周波数成分の電力、平均輝度、動き量の算出方法は、前述したとおりである。
次に、指標特性決定部１０６は、算出された平均輝度、空間周波数成分の電力、空間周波数、動き量に基づき、所定の係数を決定する（ステップＳ６０６）。そして、指標特性決定部１０６は、決定したパラメータに基づき指標特性を決定する（ステップＳ６０７）。ここでの指標特性の決定方法は、前述したとおりである。その後、決定された指標特性は、画像特性調整部１０７に出力される。
最後に、画像特性調整部１０７は、指標特性を参考に強調処理画像の空間周波数特性の調整を行う（ステップＳ６０８）。具体的な調整方法は、前述のとおりである。そして、空間周波数特性の調整を行った後の強調処理画像を出力し（ステップＳ６０９）、図６の処理を終了する（ステップＳ６０９）。
［第１実施形態の効果］
以上のように、第１実施形態における画像処理装置１０によれば、映像の中の処理対象画像が決定され、処理対象画像に対して強調処理が行われる。一方で、映像の中の画像から、前述の処理対象画像の空間周波数特性に対する調整量を決定するための参照画像が決定される。そして、(1)参照画像の平均輝度、(2)参照画像の空間周波数成分の電力および(3)処理対象画像と参照画像間の動き量が算出される。そして、算出された上記の特徴量に基づき、予め設定された主観品質（例えば主観鮮明度）を保つのに必要な最低限の指標特性Pthが決定される。その後、強調処理画像は指標特性Pthを参考に空間周波数特性が調整される。したがって、(1)参照画像の平均輝度、(2)参照画像の空間周波数成分の電力および(3)処理対象画像と参照画像間の動き量、といった特徴量に基づいて、処理対象画像Ｆ１の空間周波数特性が調整され、強調処理が適切に行われないことによって画質が悪化してしまった処理対象画像であっても、映像としての品質を保たれる空間周波数特性へと適切に処理対象画像Ｆ１の画像特性を調整することができる。
以上のように、第１実施形態における画像処理装置１０によれば、映像の中の処理対象画像が決定され、処理対象画像に対して強調処理が行われる。一方で、映像の中の画像から、前述の処理対象画像の空間周波数特性に対する調整量を決定するための参照画像が決定される。そして、(1)参照画像の平均輝度、(2)参照画像の空間周波数成分の電力および(3)処理対象画像と参照画像間の動き量が算出される。そして、算出された上記の特徴量に基づき、予め設定された主観品質（例えば主観鮮明度）を保つのに必要な最低限の指標特性Pthが決定される。その後、強調処理画像は指標特性Pthを参考に空間周波数特性が調整される。したがって、(1)参照画像の平均輝度、(2)参照画像の空間周波数成分の電力および(3)処理対象画像と参照画像間の動き量、といった特徴量に基づいて、処理対象画像Ｆ１の空間周波数特性が調整され、強調処理が適切に行われないことによって画質が悪化してしまった処理対象画像であっても、映像としての品質を保たれる空間周波数特性へと適切に処理対象画像Ｆ１の画像特性を調整することができる。
［第２実施形態］
次に、本発明に係る第２実施形態について説明する。図７は、第２実施形態における画像処理装置７０の機能構成を例示するブロック構成図である。この画像処理装置７０は、ハードウェアとしては、ＣＰＵ（中央処理装置）、メモリ等の記憶装置、映像を入出力するための入出力装置（通信装置）などを備えるコンピュータにより構成される。このような画像処理装置７０は、例えば、パーソナルコンピュータ等の据え置き型の通信端末、又は携帯電話機等の移動通信端末などの各種の情報処理装置により構成することができる。
次に、本発明に係る第２実施形態について説明する。図７は、第２実施形態における画像処理装置７０の機能構成を例示するブロック構成図である。この画像処理装置７０は、ハードウェアとしては、ＣＰＵ（中央処理装置）、メモリ等の記憶装置、映像を入出力するための入出力装置（通信装置）などを備えるコンピュータにより構成される。このような画像処理装置７０は、例えば、パーソナルコンピュータ等の据え置き型の通信端末、又は携帯電話機等の移動通信端末などの各種の情報処理装置により構成することができる。
［画像処理装置７０の機能ブロック構成］
以下、図７を参照して画像処理装置７０の機能ブロック構成について説明する。図７に示すように、画像処理装置７０は、上述した第１実施形態に記載された画像処理装置１０とほぼ同一の形態である。即ち、画像処理装置７０は、画像入力部７０１および７０４と、処理対象画像決定部７０２と、画像強調部７０３と、参照画像決定部７０５と、指標特性決定部７０６と、画像特性調整部７０７と、画像出力部７０８とを含んで構成される。
以下、図７を参照して画像処理装置７０の機能ブロック構成について説明する。図７に示すように、画像処理装置７０は、上述した第１実施形態に記載された画像処理装置１０とほぼ同一の形態である。即ち、画像処理装置７０は、画像入力部７０１および７０４と、処理対象画像決定部７０２と、画像強調部７０３と、参照画像決定部７０５と、指標特性決定部７０６と、画像特性調整部７０７と、画像出力部７０８とを含んで構成される。
このうち、画像入力部７０１、７０４および指標特性決定部７０６は、それぞれ、第１実施形態で述べた画像入力部１０１、１０４および指標特性決定部１０６と同一の動作を行う。但し、第１実施形態の画像処理装置１０とは異なり、画像処理装置７０では、処理対象画像決定部７０２、画像強調部７０３および画像特性調整部７０７の各々は、外部からの情報を入力可能に構成されている。
なお、本実施形態では、処理対象画像決定部７０２、画像強調部７０３および画像特性調整部７０７の全てが、外部からの情報を入力可能に構成された例を示すが、これに限るものではなく、上記３つのうち少なくとも１つが、外部からの情報を入力可能に構成されていてもよい。
（処理対象画像決定部７０２について）
処理対象画像決定部７０２は、ラインＬ７０１経由で画像入力部７０１から動画像信号として入力された入力映像信号を受け取り、該入力映像信号に対し所定のフレームレートに基づく分析を行って複数のフレーム画像に分解する。なお、処理対象画像決定部７０２には、ラインＬ７０１経由で、予め分解された複数のフレーム画像が入力されるよう構成してもよい。
処理対象画像決定部７０２は、ラインＬ７０１経由で画像入力部７０１から動画像信号として入力された入力映像信号を受け取り、該入力映像信号に対し所定のフレームレートに基づく分析を行って複数のフレーム画像に分解する。なお、処理対象画像決定部７０２には、ラインＬ７０１経由で、予め分解された複数のフレーム画像が入力されるよう構成してもよい。
また、処理対象画像決定部７０２には、ラインＬ７０８経由で、画像入力信号のフレーム画像のうち、処理対象画像および参照画像がそれぞれどのフレーム画像であるかを示す画像指定情報が入力される。
処理対象画像決定部７０２は、複数のフレーム画像の中から、画像指定情報に基づき処理対象画像を決定し、決定した処理対象画像および画像指定情報をラインＬ７０２ａ経由で画像強調部７０３に出力するとともに、当該処理対象画像および画像指定情報をラインＬ７０２ｂ経由で指標特性決定部７０６に出力する。また、処理対象画像決定部７０２は、画像指定情報の参照が完了した後、画像指定情報をラインＬ７０２ｃ経由で参照画像決定部７０５に出力する。
（画像強調部７０３について）
画像強調部７０３には、ラインＬ７０２ａ経由で入力される画像指定情報と処理対象画像が入力される。また、画像強調部７０３には、ラインＬ７０９経由で、処理対象画像に対して行われた処理方法を示す画像処理指示情報が入力される。画像強調部７０３は、画像処理指示情報を参照して、処理対象画像に対し画像強調処理を行う。具体的には、まず画像処理指示情報に基づき、処理対象画像に対して行われた処理方法の分析を行う。ここでの処理方法とは、空間フィルタやフィルタ係数の値、画像の空間周波数成分の電力の減衰率などが相当する。
画像強調部７０３には、ラインＬ７０２ａ経由で入力される画像指定情報と処理対象画像が入力される。また、画像強調部７０３には、ラインＬ７０９経由で、処理対象画像に対して行われた処理方法を示す画像処理指示情報が入力される。画像強調部７０３は、画像処理指示情報を参照して、処理対象画像に対し画像強調処理を行う。具体的には、まず画像処理指示情報に基づき、処理対象画像に対して行われた処理方法の分析を行う。ここでの処理方法とは、空間フィルタやフィルタ係数の値、画像の空間周波数成分の電力の減衰率などが相当する。
画像強調部７０３は、上述の分析で得られた処理方法に基づき、処理対象画像に対して当該処理方法にて行われた処理を元に戻すような強調処理方法を決定する。例えば、画像処理指示情報として、フィルタの振幅特性の値が入力された場合には、入力されたフィルタの振幅特性の値との乗算結果が１となるような乗算割合Xを算出する。即ち、「フィルタの振幅特性の値×乗算割合X＝１」となるような乗算割合Xを算出する。次に、処理対象画像を空間周波数成分に変換する。具体的には、処理対象画像に対して２次元フーリエ変換を施し周波数係数行列を生成する。そして、生成された周波数係数行列内の係数に対し、算出された乗算割合Xで乗算する処理を行う。その後、乗算後の周波数係数行列に対して２次元逆フーリエ変換を施すことで、強調処理画像を生成する。
なお、本実施形態では、画像処理指示情報に基づき、画像の空間周波数成分を元の値に戻すような乗算割合Xを求めたが、一部でも処理対象画像の空間周波数成分の電力が強調される処理であれば、どのような処理を行っても良い。
また、本実施形態では、処理対象画像の強調処理として空間周波数成分に変換してから強調処理を行う例を示したが、これに限るものではない。例えば、画像処理指示情報が空間フィルタの係数を示していた場合は、フィルタ係数から先鋭化フィルタの係数を算出してもよい。
また、本実施形態では、フレーム画像単位で画像強調処理を行う例を示すが、これに限るものではなく、例えば、フレーム画像を複数に分割して得られたブロックを処理単位としてもよいし、複数のブロックから成る任意のブロック群を処理単位としてもよい。
また、本実施形態では、２次元の空間周波数成分を算出したが、１次元フーリエ変換を用いて空間周波数成分を算出しても良い。その場合、例えば、２次元の空間周波数成分における水平方向の各行ごとにフーリエ変換を行って算出してもよい。また、垂直方向、水平方向、水平垂直以外の所定方向、のうち何れか１つ以上に沿った空間周波数成分を対象としてもよい。
また、本実施形態では、周波数変換にフーリエ変換を用いたが、フーリエ変換以外の離散コサイン変換や離散ウェーブレット変換などの他の周波数変換を用いてもよい。
その後、画像強調部７０３は、強調処理画像をラインＬ７０３経由で画像特性調整部７０７へ出力する。
（参照画像決定部７０５について）
一方、参照画像決定部７０５には、画像入力部７０４からラインＬ７０４経由で複数のフレーム画像が入力され、ラインＬ７０２ｃ経由で画像指定情報が入力される。参照画像決定部７０５は、処理対象画像に対して行われた処理量を決定するための参照画像を、画像入力部７０４から入力された複数のフレーム画像の中から、画像指定情報に基づいて決定する。
一方、参照画像決定部７０５には、画像入力部７０４からラインＬ７０４経由で複数のフレーム画像が入力され、ラインＬ７０２ｃ経由で画像指定情報が入力される。参照画像決定部７０５は、処理対象画像に対して行われた処理量を決定するための参照画像を、画像入力部７０４から入力された複数のフレーム画像の中から、画像指定情報に基づいて決定する。
なお、本実施形態における画像入力部７０４は、画像入力部７０１とは別に設け、異なる画像入力信号を受けることができるよう構成しているが、画像入力部７０１と同一の画像入力信号が入力され、参照画像決定部７０５において画像入力信号を複数のフレーム画像に分解してもよい。また、予めフレームメモリ等に格納された参照画像用の画像群から参照画像を選択してもよい。
また、本実施形態では、参照画像として１枚の画像を決定したが、これに限るものではなく複数の参照画像を決定してもよい。
参照画像決定部７０５は、参照画像としてフレーム画像Ｆ２を選択し、参照画像Ｆ２が選択されたことを示す参照画像情報と当該参照画像Ｆ２とをＬ７０５経由で指標特性決定部７０６に出力する。
（画像特性調整部７０７について）
画像特性調整部７０７には、画像強調部７０３で生成された強調処理画像がラインＬ７０３経由で入力され、指標特性Pthおよび参照画像がラインＬ７０６経由で入力される。また、画像特性調整部７０７には、ラインＬ７１０経由で、画像圧縮処理等で利用される量子化情報が入力される。
画像特性調整部７０７には、画像強調部７０３で生成された強調処理画像がラインＬ７０３経由で入力され、指標特性Pthおよび参照画像がラインＬ７０６経由で入力される。また、画像特性調整部７０７には、ラインＬ７１０経由で、画像圧縮処理等で利用される量子化情報が入力される。
画像特性調整部７０７は、指標特性Pth、量子化情報、および以下の手順で算出する参照画像の空間周波数成分の電力Prを利用して、上記入力された強調処理画像の空間周波数特性を以下のように調整する。
まず、画像特性調整部７０７は、強調処理画像の空間周波数成分の電力P2と、参照画像の空間周波数成分の電力Prとを算出する。このとき、強調処理画像および参照画像のそれぞれについて、空間周波数成分の電力は、画素値を周波数成分に変換して算出する。具体的には、画像特性調整部１０７は、強調処理画像に対して２次元フーリエ変換を施し周波数係数行列を生成し、その周波数係数行列内の係数のパワースペクトルを算出する。つまり、画像特性調整部１０７は、各フーリエ係数の実数項の２乗と虚数項の２乗の和を、強調処理画像の空間周波数の電力P2として算出する。同様に、画像特性調整部１０７は、参照画像に対して２次元フーリエ変換を施し周波数係数行列を生成し、その周波数係数行列内の係数のパワースペクトルを算出する。つまり、画像特性調整部１０７は、各フーリエ係数の実数項の２乗と虚数項の２乗の和を、参照画像の空間周波数の電力Prとして算出する。なお、空間周波数成分の電力に関する表現法は、上記に限定されるものではなく、その他の表現法でもよい。
次に、画像特性調整部７０７は、ラインＬ７１０経由で入力された量子化情報を用いて、量子化誤差によって変動する電力レベルとして、予め記憶された対応表により量子化誤差電力ΔP（≧0）を決定する。
次に、画像特性調整部７０７は、強調処理画像の空間周波数成分の電力P2、指標特性Pth、参照画像の空間周波数成分の電力Prおよび量子化誤差電力ΔPを参考にして、強調処理画像の空間周波数成分の電力の調整を行う。具体的には、画像特性調整部７０７は、強調処理画像の空間周波数成分の電力P2、指標特性Pth、参照画像の空間周波数成分の電力Prおよび量子化誤差電力ΔPに基づき調整比率P_ratioを以下のように決定する（図８参照）。
まず、判定結果を示す変数H1、H2を０に初期化する（ステップＳ８０１）。次に、強調処理画像の空間周波数成分の電力と量子化誤差電力との和である（P2＋ΔP）と、参照画像の空間周波数成分の電力Prとの大小関係を判定する（ステップＳ８０２）。判定結果がP2＋ΔP≧Prであれば、変数H1が１にセットされる（ステップＳ８０４）。判定結果がP2＋ΔP≧Prでなければ、（P2＋ΔP）と指標特性Pthとの大小関係を判定する（ステップＳ８０３）。その結果、P2＋ΔP≧Pthであれば、変数H1が２にセットされ（ステップＳ８０５）、P2＋ΔP≧Pthでなければ、変数H1が３にセットされる（ステップＳ８０６）。
また、上記ステップＳ８０２〜Ｓ８０６と並行して、以下のステップＳ８０７〜Ｓ８１１が実行される。強調処理画像の空間周波数成分の電力と量子化誤差電力との差である（P2−ΔP）と参照画像の空間周波数成分の電力Prとの大小関係を判定する（ステップＳ８０７）。判定結果がP2−ΔP≧Prであれば、変数H2が１にセットされる（ステップＳ８０９）。次に、（P2−ΔP）と指標特性Pthとの大小関係を判定する（ステップＳ８０８）。その結果、P2−ΔP≧Pthであれば、変数H２が２にセットされ（ステップＳ８１０）、P2−ΔP≧Pthでなければ、変数H２が３にセットされる（ステップＳ８１１）。
その後、変数H1、H2の値から、以下の表に基づきP_ratioを決定する（ステップＳ８１２）。なお、（P2＋ΔP）は（P2−ΔP）よりも常に大きいので、（変数H1＝２、変数H2＝１）の組合せ、（変数H1＝３、変数H2＝１）の組合せ、（変数H1＝３、変数H2＝２）の組合せが成立することはない。そのため、これらの組合せは下表に記載されていない。
そして、ステップＳ８１２により算出された調整比率P_ratioを該空間周波数の係数に対して乗算する（ステップＳ８１３）。
そして、ステップＳ８１２により算出された調整比率P_ratioを該空間周波数の係数に対して乗算する（ステップＳ８１３）。
上記のように電力の比率に応じて各空間周波数の係数の調整を行った後、調整された空間周波数の係数に対して逆周波数変換を行い、画素値に変換することで特性調整画像を生成する。画像特性調整部７０７は、生成された特性調整画像をラインＬ７０７経由で出力する。
なお、本実施形態では、図８に示したように強調処理画像の空間周波数成分の電力P2、指標特性Pth、参照画像の空間周波数成分の電力Prおよび量子化誤差電力ΔP、の４つのパラメータに基づき調整比率P_ratioを決定したが、決定の基準はこれに限るものではない。例えば、指標特性Pthは必須としつつ、指標特性Pthと入力された量子化情報とに基づき調整比率P_ratioを決定してもよいし、指標特性Pthと参照画像の空間周波数特性（参照画像の空間周波数成分の電力Prなど）とに基づき調整比率P_ratioを決定してもよい。
また、本実施形態では、調整比率P_ratioとして、強調処理画像の空間周波数の電力P2と指標特性Pthとの比率を用いる例を示したが、これに限るものではない。強調処理画像の空間周波数の電力P2と指標特性Pthとの大小関係から各空間周波数の係数を調整する手法であれば、どのような処理を行っても良い。例えば、強調処理画像の空間周波数の電力P2と指標特性Pthとの差分を算出し、差分に対応する減衰量を利用して強調処理画像の空間周波数成分の電力P2の処理を行っても良い。
また、本実施形態では、強調処理画像の空間周波数成分の電力P2が、指標特性Pth以上の場合には、当該空間周波数の係数に対してP_ratioを乗算することで、当該空間周波数の電力を指標特性まで減衰させる処理を行ったが、当該空間周波数成分に対する処理はこれに限るものではない。指標特性Pthを参考に処理する方法であれば、どのような処理でもよい。例えば、ある一定の電力値だけ減衰させるような処理でもよい。
また、本実施形態では、強調処理画像の空間周波数特性の調整として、空間周波数成分の電力を調整する例を示したが、強調処理画像の空間周波数特性を調整するものであれば、どのような処理を行っても良い。例えば、指標特性Pthが特定のフィルタ等である場合には、当該フィルタを用いた処理を強調処理画像に対し行えばよい。
また、本実施形態では、空間周波数成分の電力を減衰させる処理を行う例を示したが、これに限るものではなく、空間周波数成分の電力を増幅させる処理を行っても良い。
［画像処理装置７０における画像処理］
次に、図９に基づいて、第２実施形態の画像処理装置７０における画像処理について説明する。図９は、画像処理装置７０の画像処理を示すフローチャートである。
次に、図９に基づいて、第２実施形態の画像処理装置７０における画像処理について説明する。図９は、画像処理装置７０の画像処理を示すフローチャートである。
まず、ステップＳ９０１において、処理対象画像決定部７０２は、ラインＬ７０１経由で画像入力部７０１から動画像信号として入力された入力映像信号を受け取り、該入力映像信号に対し所定のフレームレートに基づく分析を行って複数のフレーム画像に分解する。なお、処理対象画像決定部７０２には、ラインＬ７０１経由で、予め分解された複数のフレーム画像が入力されるよう構成してもよい。また、処理対象画像決定部７０２には、ラインＬ７０８経由で、画像入力信号のフレーム画像のうち、処理対象画像および参照画像がそれぞれどのフレーム画像であるかを示す画像指定情報が入力される。
次に、処理対象画像決定部７０２は、複数のフレーム画像の中から、画像指定情報に基づき処理対象画像Ｆ１を決定する（ステップＳ９０２）。決定されたフレーム画像Ｆ１は、画像強調部７０３および指標特性決定部７０６に送信され、画像指定情報は参照画像決定部７０５に送信される。
次に、画像強調部７０３は、上記処理対象画像Ｆ１の強調処理をラインＬ７０９経由で入力される画像処理指示情報を参考に行う（ステップＳ９０３）。強調処理の方法は、前述したとおりである。強調処理が実施された強調処理画像は画像特性調整部７０７に送られる。
一方、参照画像決定部７０５は、画像入力部７０４から入力されるフレーム画像の中から、上記画像指定情報に基づいて、上記処理対象画像Ｆ１に対する空間周波数特性を決定するための参照画像Ｆ２を決定する（ステップＳ９０４）。そして、決定された参照画像Ｆ２は指標特性決定部７０６に送られる。指標特性決定部７０６は、参照画像Ｆ２の空間周波数成分の電力、参照画像Ｆ２の平均輝度、および、処理対象画像Ｆ１と参照画像F２との間の変化量（ここでは、処理対象画像Ｆ１と参照画像F２との間の動き量）を算出する（ステップＳ９０５）。空間周波数成分の電力、平均輝度、動き量の算出方法は、前述したとおりである。
次に、指標特性決定部７０６は、算出された平均輝度、空間周波数成分の電力、空間周波数、動き量に基づき、所定の係数を決定し（ステップＳ９０６）、決定したパラメータに基づき指標特性Pthを決定する（ステップＳ９０７）。ここでの指標特性Pthの決定方法は、前述したとおりである。その後、決定された指標特性Pthは、画像特性調整部７０７に出力される。
最後に、画像特性調整部７０７は、指標特性Pth、およびラインＬ７１０経由で入力される量子化情報を利用して強調処理画像の空間周波数特性の調整を行う（ステップＳ９０８）。具体的な調整方法は、前述のとおりである。そして、空間周波数特性の調整を行った後の強調処理画像を出力し（ステップＳ９０９）、図９の処理を終了する。
［第２実施形態の効果］
画像処理装置７０において、処理対象画像決定部７０２、画像強調部７０３および画像特性調整部７０７が外部からの情報を入力可能に構成された態様でも、第１実施形態と同様の効果を得ることができる。即ち、(1)参照画像の平均輝度、(2)参照画像の空間周波数成分の電力および(3)処理対象画像と参照画像間の動き量、といった特徴量に基づいて、処理対象画像Ｆ１の空間周波数特性が調整され、強調処理が適切に行われないことによって画質が悪化してしまった処理対象画像であっても、映像としての品質を保たれる空間周波数特性へと適切に処理対象画像Ｆ１の画像特性を調整することができる。
画像処理装置７０において、処理対象画像決定部７０２、画像強調部７０３および画像特性調整部７０７が外部からの情報を入力可能に構成された態様でも、第１実施形態と同様の効果を得ることができる。即ち、(1)参照画像の平均輝度、(2)参照画像の空間周波数成分の電力および(3)処理対象画像と参照画像間の動き量、といった特徴量に基づいて、処理対象画像Ｆ１の空間周波数特性が調整され、強調処理が適切に行われないことによって画質が悪化してしまった処理対象画像であっても、映像としての品質を保たれる空間周波数特性へと適切に処理対象画像Ｆ１の画像特性を調整することができる。
［画像処理プログラムについて］
次に、コンピュータを本発明に係る画像処理装置として動作させるための画像処理プログラムについて説明する。図１０は、画像処理プログラムＰ１０１０の構成を、記録媒体１０１０と共に示す図である。記録媒体１０１０としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ等の記録媒体や、半導体メモリ等により構成することができる。
次に、コンピュータを本発明に係る画像処理装置として動作させるための画像処理プログラムについて説明する。図１０は、画像処理プログラムＰ１０１０の構成を、記録媒体１０１０と共に示す図である。記録媒体１０１０としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ等の記録媒体や、半導体メモリ等により構成することができる。
図１０に示すように、画像処理プログラムＰ１０１０は、画像入力モジュール１０００と、処理対象画像決定モジュール１００１と、画像強調モジュール１００２と、参照画像決定モジュール１００３と、指標特性決定モジュール１００４と、画像特性調整モジュール１００５と、画像出力モジュール１００６とを含んで構成されている。画像入力モジュール１０００は、図１の画像入力部１０１、１０４の機能を、処理対象画像決定モジュール１００１は、処理対象画像決定部１０２の機能を、画像強調モジュール１００２は、画像強調部１０３の機能を、参照画像決定モジュール１００３は、参照画像決定部１０５の機能を、指標特性決定モジュール１００４は、指標特性決定部１０６の機能を、画像特性調整モジュール１００５は、画像特性調整部１０７の機能を、画像出力モジュール１００６は、画像出力部１０８の機能を、それぞれ実現するためのモジュールである。
また、図１１は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１２は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。ここでのコンピュータとしては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話なども含む。
図１２に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等により構成される読み取り装置１２と、作業用メモリ（ＲＡＭ）１４と、ＲＯＭ等により構成されるメモリ１６と、表示装置であるディスプレイ１８と、入力装置であるマウス２０およびキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを含んで構成される。このような構成のコンピュータ３０は、記録媒体１０１０が読み取り装置１２に挿入されると、記録媒体１０１０に格納された図１０の画像処理プログラムＰ１０１０が読み取り装置１２により読み取られてコンピュータ３０に入力され、ＣＰＵ２６により画像処理プログラムＰ１０１０が実行されることによって、コンピュータ３０は本発明に係る画像処理装置として動作することになる。
なお、図１２に示すように、画像処理プログラムＰ１０１０は、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信された画像処理プログラムＰ１０１０をメモリ１６に格納し、ＣＰＵ２６により当該画像処理プログラムＰ１０１０を実行することができる。
１０…画像処理装置、１２…読み取り装置、１４…作業用メモリ、１６…メモリ、１８…ディスプレイ、２０…マウス、２２…キーボード、２４…通信装置、３０…コンピュータ、４０…コンピュータデータ信号、７０…画像処理装置、１０１、１０４、７０１、７０４…画像入力部、１０２、７０２…処理対象画像決定部、１０３、７０３…画像強調部、１０５、７０５…参照画像決定部、１０６、７０６…指標特性決定部、１０７、７０７…画像特性調整部、１０８、７０８…画像出力部、２０１…参照画像特徴量抽出部、２０２…画像間変化量算出部、２０３…指標特性生成部、１０００…画像入力モジュール、１００１…処理対象画像決定モジュール、１００２…画像強調モジュール、１００３…参照画像決定モジュール、１００４…指標特性決定モジュール、１００５…画像特性調整モジュール、１００６…画像出力モジュール、１０１０…記録媒体、Ｐ１０１０…画像処理プログラム。
Claims (11)
- 所定の方法で得られた複数のフレーム画像から、画像処理の対象となる処理対象画像を、所定の基準又は外部から入力された前記処理対象画像を指定する情報に基づいて決定する処理対象画像決定部と、
所定の方法で得られた複数のフレーム画像から、前記処理対象画像に対する処理量を決定するための参照画像を、所定の基準又は外部から入力された前記参照画像を指定する情報に基づいて決定する参照画像決定部と、
前記処理対象画像決定部により決定された処理対象画像の空間周波数特性を所定の方法で強調することで、強調対象画像を生成する画像強調部と、
前記参照画像決定部により決定された参照画像の特徴量を含む所定の特徴量情報に基づいて、前記処理対象画像の空間周波数特性に対する指標特性を決定する指標特性決定部と、
前記指標特性決定部により決定された指標特性を含む所定の特性情報に基づいて、前記画像強調部により生成された強調対象画像の空間周波数特性を調整する画像特性調整部と、
を備える画像処理装置。 - 前記所定の特徴量情報は、前記参照画像の平均輝度、前記参照画像の空間周波数成分の電力、および前記参照画像と前記処理対象画像との間の変化量、のうち少なくとも１つを含む
ことを特徴とする請求項１に記載の画像処理装置。 - 前記画像強調部は、
前記処理対象画像に対して実施された画像処理方法を示す画像処理指示情報を入力する指示情報入力部を含み、
前記指示情報入力部から入力された画像処理指示情報より、前記画像処理方法に基づく処理を元に戻すような強調処理方法を決定し、決定した強調処理方法で処理対象画像の空間周波数特性を強調することで、前記強調対象画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記画像特性調整部は、前記強調対象画像の空間周波数特性として、前記強調対象画像の空間周波数成分の電力を調整する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記画像特性調整部は、
画像圧縮に利用される量子化情報を入力する量子化情報入力部を含み、
前記量子化情報入力部から入力された量子化情報および前記指標特性を含む所定の特性情報に基づいて、前記強調対象画像の空間周波数特性を調整する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記画像特性調整部は、前記参照画像の空間周波数特性および前記指標特性を含む所定の特性情報に基づいて、前記強調対象画像の空間周波数特性を調整する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記画像特性調整部は、
画像圧縮に利用される量子化情報を入力する量子化情報入力部を含み、
前記量子化情報入力部から入力された量子化情報、前記参照画像の空間周波数特性および前記指標特性を含む所定の特性情報に基づいて、前記強調対象画像の空間周波数特性を調整する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記処理対象画像決定部は、
複数のフレーム画像を外部から受け取るか、又は、
複数のフレーム画像から成る入力映像信号を外部から受け取り、該入力映像信号を複数のフレーム画像に分解することで、複数のフレーム画像を得て、
当該複数のフレーム画像から、前記処理対象画像を決定する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記参照画像決定部は、
複数のフレーム画像を外部から受け取るか、又は、
複数のフレーム画像から成る入力映像信号を外部から受け取り、該入力映像信号を複数のフレーム画像に分解することで、複数のフレーム画像を得て、
当該複数のフレーム画像から、前記参照画像を決定する
ことを特徴とする請求項１に記載の画像処理装置。 - 画像処理装置により実行される画像処理方法であって、
所定の方法で得られた複数のフレーム画像から、画像処理の対象となる処理対象画像を、所定の基準又は外部から入力された前記処理対象画像を指定する情報に基づいて決定する処理対象画像決定ステップと、
所定の方法で得られた複数のフレーム画像から、前記処理対象画像に対する処理量を決定するための参照画像を、所定の基準又は外部から入力された前記参照画像を指定する情報に基づいて決定する参照画像決定ステップと、
前記処理対象画像決定ステップにより決定された処理対象画像の空間周波数特性を所定の方法で強調することで、強調対象画像を生成する画像強調ステップと、
前記参照画像決定ステップにより決定された参照画像の特徴量を含む所定の特徴量情報に基づいて、前記処理対象画像の空間周波数特性に対する指標特性を決定する指標特性決定ステップと、
前記指標特性決定ステップにより決定された指標特性を含む所定の特性情報に基づいて、前記画像強調ステップにより生成された強調対象画像の空間周波数特性を調整する画像特性調整ステップと、
を有する画像処理方法。 - コンピュータを、
所定の方法で得られた複数のフレーム画像から、画像処理の対象となる処理対象画像を、所定の基準又は外部から入力された前記処理対象画像を指定する情報に基づいて決定する処理対象画像決定部と、
所定の方法で得られた複数のフレーム画像から、前記処理対象画像に対する処理量を決定するための参照画像を、所定の基準又は外部から入力された前記参照画像を指定する情報に基づいて決定する参照画像決定部と、
前記処理対象画像決定部により決定された処理対象画像の空間周波数特性を所定の方法で強調することで、強調対象画像を生成する画像強調部と、
前記参照画像決定部により決定された参照画像の特徴量を含む所定の特徴量情報に基づいて、前記処理対象画像の空間周波数特性に対する指標特性を決定する指標特性決定部と、
前記指標特性決定部により決定された指標特性を含む所定の特性情報に基づいて、前記画像強調部により生成された強調対象画像の空間周波数特性を調整する画像特性調整部
として機能させることを特徴とする画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007282034A JP5087368B2 (ja) | 2007-10-30 | 2007-10-30 | 画像処理装置、画像処理方法および画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007282034A JP5087368B2 (ja) | 2007-10-30 | 2007-10-30 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009111727A JP2009111727A (ja) | 2009-05-21 |
| JP5087368B2 true JP5087368B2 (ja) | 2012-12-05 |
Family
ID=40779739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007282034A Expired - Fee Related JP5087368B2 (ja) | 2007-10-30 | 2007-10-30 | 画像処理装置、画像処理方法および画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5087368B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013251765A (ja) * | 2012-05-31 | 2013-12-12 | Toshiba Corp | 映像処理装置及び映像処理方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07184084A (ja) * | 1993-12-24 | 1995-07-21 | Matsushita Electric Ind Co Ltd | 輪郭補正装置 |
| KR100229533B1 (ko) * | 1996-08-30 | 1999-11-15 | 전주범 | 개선된 영상 복호화 시스템 |
| JP3792837B2 (ja) * | 1997-06-11 | 2006-07-05 | 日本放送協会 | デブロッキングフィルタ |
| JPH1175066A (ja) * | 1997-08-29 | 1999-03-16 | Fuji Photo Film Co Ltd | 画像処理システム |
| JP3657145B2 (ja) * | 1999-05-17 | 2005-06-08 | シャープ株式会社 | 輪郭補正装置 |
| JP2002190984A (ja) * | 2000-12-21 | 2002-07-05 | Toshiba Corp | 撮像装置及び撮像方法 |
| JP4135083B2 (ja) * | 2003-03-04 | 2008-08-20 | ソニー株式会社 | 画像信号の処理装置および処理方法、並びにそれを利用した画像表示装置 |
| JP4419441B2 (ja) * | 2003-05-30 | 2010-02-24 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP4339730B2 (ja) * | 2004-03-26 | 2009-10-07 | 富士フイルム株式会社 | 画像処理方法および装置 |
| JP2006340006A (ja) * | 2005-06-01 | 2006-12-14 | Sony Corp | 撮像装置と映像信号処理装置と映像信号処理方法およびプログラム |
-
2007
- 2007-10-30 JP JP2007282034A patent/JP5087368B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009111727A (ja) | 2009-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4885690B2 (ja) | 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置 | |
| JP5921793B1 (ja) | 非対称形の補間フィルタを利用して、映像を補間する方法及びその装置 | |
| KR101160818B1 (ko) | 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램, 및 동화상 복호 프로그램 | |
| EP2160015A1 (en) | Image processing apparatus, image processing method, and program | |
| JP4835949B2 (ja) | 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体 | |
| CN111429357A (zh) | 训练数据确定方法、视频处理方法、装置、设备及介质 | |
| KR101690253B1 (ko) | 영상 처리 장치 및 그 방법 | |
| Dar et al. | Optimized pre-compensating compression | |
| JP5087368B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| KR20150090515A (ko) | 고주파수 성분의 위상 변조를 통한 영상 질감 향상 방법 및 그 장치 | |
| US20100002767A1 (en) | Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program | |
| CA2754535C (en) | Encoding method, encoding device, and encoding program for encoding interlaced image | |
| JP7252016B2 (ja) | 動画像符号化装置、動画像復号装置及びプログラム | |
| KR102027886B1 (ko) | 대형 디스플레이의 영상 크기 조절 장치 및 방법 | |
| Nguyen et al. | Efficient edge-preserving interpolation and in-loop filters for depth map compression | |
| JP4801186B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP6071618B2 (ja) | 画像処理装置及びプログラム | |
| JP2013131928A (ja) | 画像符号化装置および画像符号化方法 | |
| JP6311141B2 (ja) | フィルタ選択装置、フィルタ装置およびこれらのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101025 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110926 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120821 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120910 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |