JP4801186B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP4801186B2 JP4801186B2 JP2009104896A JP2009104896A JP4801186B2 JP 4801186 B2 JP4801186 B2 JP 4801186B2 JP 2009104896 A JP2009104896 A JP 2009104896A JP 2009104896 A JP2009104896 A JP 2009104896A JP 4801186 B2 JP4801186 B2 JP 4801186B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- frequency component
- pixel group
- image
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 491
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 93
- 238000000034 method Methods 0.000 claims description 57
- 230000002123 temporal effect Effects 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 51
- 230000035945 sensitivity Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- SUDBRAWXUGTELR-HPFNVAMJSA-N 5-[[(2r,3r,4s,5s,6r)-3,4,5-trihydroxy-6-(hydroxymethyl)oxan-2-yl]oxymethyl]-1h-pyrimidine-2,4-dione Chemical compound O[C@@H]1[C@@H](O)[C@H](O)[C@@H](CO)O[C@H]1OCC1=CNC(=O)NC1=O SUDBRAWXUGTELR-HPFNVAMJSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 102220040529 rs587778360 Human genes 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、画像に含まれるちらつき等の歪の軽減処理を行う画像処理装置、画像処理方法および画像処理プログラムに関するものである。
「映像」は、単一の静止画像である「フレーム画像」を連続させることにより構成されている。映像の取得、伝送、圧縮（符号化、復号化）、縮小、拡大を含む映像処理では、一般に様々な歪が引き起こされる。そのため、映像処理における歪の軽減は大きな課題である。
一方、最近では、携帯電話等のモバイル端末にカメラが搭載されるようになっており、またモバイル通信網の高速化に伴いモバイル端末において、ユーザがダウンロードにより取得した映像を閲覧する機会が増加している。そこで、モバイル端末を例にとって、映像処理における歪について以下に説明する。
一般にモバイル端末はサイズや消費電力を小さくすることが要求されるため、モバイル端末に搭載されたカメラは、通常の単体のカメラよりも機能が制限されている。従って、モバイル端末に搭載されたカメラによって撮影された映像には、モスキートノイズや映像のチラツキが含まれることがある。また、モバイル通信網での映像配信では伝送帯域の効率的な利用の観点から、映像データに対して圧縮処理が行われるのが一般的である。そのため、映像にちらつき・ブロック歪・エイリアジング歪・リンギング歪が含まれることが多い。映像に含まれる歪の違いは画像の品質に対する評価に直接結びつくことが多く、歪が少ない映像ほど高品質と評価されるのは言うまでもない。
大山正・今井省吾・和気典二、「新編 感覚・知覚心理ハンドブック」誠心書房、ISBN：4414305039、第５８３ページ
上記のような映像処理におけるさまざまな歪を軽減するには、一般的に大量の画像処理演算を実行することが必要とされる。しかし、その一方で、大量の画像処理演算を実行可能な高性能のＣＰＵを搭載する場合、装置の複雑化や装置コストの増大が懸念される。とりわけ、モバイル端末には、装置の複雑化や装置コストの増大を避けることが強く求められるため、高性能のＣＰＵを搭載することは実際には困難である。
本発明は、上記の実情を考慮し、映像に含まれる歪を軽減しつつ、歪軽減処理の演算量を削減することを目的とする。
上記の目的を達成するために、本発明に係る画像処理装置は、複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段と、を備え、前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理であり、前記周波数成分処理手段は、前記時間高周波数成分のうち、空間周波数成分における視覚特性で感度が低い成分である空間中周波数成分に対する前記所定の係数処理の実行を回避する、ことを特徴とする。
本願出願人は、入力されたフレーム画像の処理対象画素群と処理済フレーム画像の処理済画素群との間に含まれる時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行することで、処理対象画素群と処理済画素群との間に含まれる時間的変化を軽減し、ちらつき等の歪を効率的に軽減する技術を考えついた。
一方、人間の眼の特性は２つの異なる特徴を持つ系によって構成されることが知られており、当該２つの系は、映像の空間低周波数成分と時間高周波成分に対して感度が高い過渡系と、映像の空間高周波数成分と時間低周波成分に対して感度の高い持続系の２つとされる（非特許文献１参照）。
このような知識を踏まえ、本願出願人は、時間高周波数成分に対し所定の係数処理を実行する際に、時間高周波数成分のうち「視覚特性で感度が低い成分」に対する所定の係数処理の実行を回避することを発明した。この発明によれば、映像に含まれる歪を軽減する効果をあまり低下させることなく、歪軽減処理の演算量を削減することができる。
上記の「視覚特性で感度が低い成分」とは、時間高周波数成分における空間低周波数成分と空間高周波数成分とを除いた部分（いわば「空間中周波数成分」）に相当する。そのため、時間高周波数成分のうち「視覚特性で感度が低い成分」に対する所定の係数処理の実行を回避する点は、別の角度からみると、時間高周波数成分のうち空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行すると捉えることができる。
従って、上述した画像処理装置に係る発明は、以下のように記述することができ、上記と同様の効果を得ることができる。即ち、本発明に係る画像処理装置は、複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分のうち、空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段と、を備え、前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理である、ことを特徴とする。
ここで、空間周波数成分および時間周波数成分を抽出するには、周波数成分処理手段は、処理対象画素群および処理済画素群に対し空間周波数変換を行うことで空間周波数成分を抽出し、抽出された空間周波数成分に対し時間周波数変換を行うことで時間周波数成分を抽出する。このようにして、効率良く時間周波数成分および空間周波数成分の両方を抽出することができる。
なお、処理完了フレーム生成手段は、周波数成分処理手段により取得された複数の実行後の処理対象画素群が少なくとも１画素以上重複するように、当該複数の実行後の処理対象画素群を組み合わせて処理完了フレーム画像を生成することが好適である。複数の実行後の処理対象画素群を組み合わせて処理完了フレーム画像を生成するには、例えば、重み付け演算や平均化処理等を利用できる。このように、重み付け演算によって、より品質のよい実行後の処理対象画素群を選択することで、又は、平均化処理によって歪をさらに軽減することで、歪をさらに抑えた処理完了フレーム画像を生成することができる。
また、上記の所定の係数処理における所定値としては、０を採用することができる。このように周波数成分の絶対値が閾値以下の場合に周波数成分を０に置換することで、符号化歪等により生じた小さな空間周波数成分、および、ちらつきの元となる時間周波数成分を削減することができるため、歪をさらに抑える効果がある。
ところで、上述した画像処理装置に係る発明は、画像処理方法に係る発明として捉えることができ、以下のように記述することができる。
本発明に係る画像処理方法は、既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段を備える画像処理装置、により実行される画像処理方法であって、複数のフレーム画像から成る映像信号を外部から入力する画像入力ステップと、前記画像入力ステップにて入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定ステップと、前記処理画素群決定ステップにて決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理ステップと、前記周波数成分処理ステップにて取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成ステップと、前記処理完了フレーム生成ステップにて生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力ステップと、を備え、前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理であり、前記周波数成分処理ステップでは、前記時間高周波数成分のうち、空間周波数成分における視覚特性で感度が低い成分である空間中周波数成分に対する前記所定の係数処理の実行を回避する、ことを特徴とする。
また、本発明に係る画像処理方法は、以下のように記述することもできる。即ち、本発明に係る画像処理方法は、既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段を備える画像処理装置、により実行される画像処理方法であって、複数のフレーム画像から成る映像信号を外部から入力する画像入力ステップと、前記画像入力ステップにて入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定ステップと、前記処理画素群決定ステップにて決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分のうち、空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理ステップと、前記周波数成分処理ステップにて取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成ステップと、前記処理完了フレーム生成ステップにて生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力ステップと、を備え、前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理である、ことを特徴とする。
ところで、上述した画像処理装置に係る発明は、画像処理プログラムに係る発明として捉えることができ、以下のように記述することができる。
本発明に係る画像処理プログラムは、コンピュータを、複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段、として機能させ、前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理であり、前記周波数成分処理手段は、前記時間高周波数成分のうち、空間周波数成分における視覚特性で感度が低い成分である空間中周波数成分に対する前記所定の係数処理の実行を回避する、ことを特徴とする。
また、本発明に係る画像処理プログラムは、以下のように記述することもできる。即ち、本発明に係る画像処理プログラムは、コンピュータを、複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分のうち、空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段、として機能させ、前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理である、ことを特徴とする。
本発明によれば、映像に含まれる歪を軽減しつつ、歪軽減処理の演算量を削減することができる。
以下、本発明に係る実施形態を図面に基づき説明する。なお、各図において、同一構成要素には同一符号を付して重複する説明を省略する。
［画像処理装置の構成について］
図１は、本実施形態における画像処理装置１００の機能構成を例示するブロック構成図である。この画像処理装置１００は、ハードウェアとしては、ＣＰＵ（中央処理装置）、画像フレーム等を記憶するための記憶装置、映像を入出力するための入出力装置（通信装置）などを備えたコンピュータにより構成される。なお、ハードウェア構成については、図１１を用いて後に説明する。このような画像処理装置１００は、例えば、パーソナルコンピュータ等の据え置き型の通信端末や携帯電話機等の移動通信端末など、各種の情報処理装置により構成することができる。
図１は、本実施形態における画像処理装置１００の機能構成を例示するブロック構成図である。この画像処理装置１００は、ハードウェアとしては、ＣＰＵ（中央処理装置）、画像フレーム等を記憶するための記憶装置、映像を入出力するための入出力装置（通信装置）などを備えたコンピュータにより構成される。なお、ハードウェア構成については、図１１を用いて後に説明する。このような画像処理装置１００は、例えば、パーソナルコンピュータ等の据え置き型の通信端末や携帯電話機等の移動通信端末など、各種の情報処理装置により構成することができる。
次に、図１を参照して画像処理装置１００の機能ブロック構成について説明する。図１に示すように、画像処理装置１００は、画像入力手段１０１と、処理画素群決定手段１０２と、周波数成分処理手段１０３と、処理完了フレーム生成手段１０４と、処理済フレーム格納手段１０５と、画像出力手段１０６とを含んで構成される。このうち画像入力手段１０１は、複数のフレーム画像から成る映像信号（動画像信号）をラインＬ１００経由で外部から入力する。
（処理画素群決定手段１０２について）
処理画素群決定手段１０２は、画像入力手段１０１によって外部から入力された映像信号をラインＬ１０１経由で受け取り、該映像信号をフレーム画像に分解して、処理対象となるフレーム画像（以下「処理対象フレームＸ」という）を読み込む。また、処理画素群決定手段１０２は、処理済フレーム格納手段１０５に格納された処理済のフレーム画像（以下「処理済フレームＹ」という）のうち、時系列上で直前に処理された（即ち、現時点からみて最も新しく格納された）処理済フレームＹをラインＬ１０５経由で読み込む。
処理画素群決定手段１０２は、画像入力手段１０１によって外部から入力された映像信号をラインＬ１０１経由で受け取り、該映像信号をフレーム画像に分解して、処理対象となるフレーム画像（以下「処理対象フレームＸ」という）を読み込む。また、処理画素群決定手段１０２は、処理済フレーム格納手段１０５に格納された処理済のフレーム画像（以下「処理済フレームＹ」という）のうち、時系列上で直前に処理された（即ち、現時点からみて最も新しく格納された）処理済フレームＹをラインＬ１０５経由で読み込む。
そして、処理画素群決定手段１０２は、処理対象フレームＸおよび処理済フレームＹのそれぞれから、所定の規則に基づいて、処理対象とするＭ×Ｍ（Ｍは１以上の整数）の画素群を決定する。以下、具体的な決定方法を説明する。ここでは、図２に示すように処理対象フレームＸおよび処理済フレームＹにおける横サイズをｗ、縦サイズをｈとする。処理画素群決定手段１０２は、所定の規則αに基づき、複数の入力されるフレーム画像の中から処理対象フレームＸを決定し、処理対象フレームＸ内の画素位置（ｉc，ｊc）（０≦ｉc≦ｗ−Ｍ，０≦ｊc≦ｈ−Ｍ）を左上端とするＭ×Ｍ画素の画素群、即ち、処理対象画素群
（以下「処理対象画素群Ｄ1」と表記することもある）を順次決定する。つまり、Ｍ×Ｍ画素の画素群における左上端の画素位置（ｉc，ｊc）が、（０≦ｉc≦ｗ−Ｍ）且つ（０≦ｊc≦ｈ−Ｍ）の範囲内で順次変化することで、処理対象画素群Ｄ1が順次決定されていく。ここで、処理対象画素群Ｄ1内における位置を（ｉｉ，ｊｊ）とすると、処理対象フレームＸ内における上記位置（ｉｉ，ｊｊ）に対応する処理対象画素群Ｄ1は、以下のように表される。
また、処理画素群決定手段１０２は、所定の基準βに基づき、処理済フレームＹ内の画素位置（ｉp，ｊp）（０≦ｉp≦ｗ−Ｍ，０≦ｊp≦ｈ−Ｍ）を左上端とするＭ×Ｍ画素の画素群、即ち、処理済画素群
（以下「処理済画素群Ｄ2」と表記することもある）を順次決定する。具体的には、左上端の画素が、処理対象画素群Ｄ1における左上端の画素と同じ位置となるＭ×Ｍ画素の画素群を、処理済画素群Ｄ2として決定する。ここで、処理済画素群Ｄ2内における位置を（ｉｉ，ｊｊ）とすると、処理済フレームＹ内における上記位置（ｉｉ，ｊｊ）に対応する処理対象画素群Ｄ2は、以下のように表される。
そして、処理画素群決定手段１０２により決定された処理対象画素群Ｄ1および処理済画素群Ｄ2は、ラインＬ１０２経由で周波数成分処理手段１０３に出力される。
（以下「処理対象画素群Ｄ1」と表記することもある）を順次決定する。つまり、Ｍ×Ｍ画素の画素群における左上端の画素位置（ｉc，ｊc）が、（０≦ｉc≦ｗ−Ｍ）且つ（０≦ｊc≦ｈ−Ｍ）の範囲内で順次変化することで、処理対象画素群Ｄ1が順次決定されていく。ここで、処理対象画素群Ｄ1内における位置を（ｉｉ，ｊｊ）とすると、処理対象フレームＸ内における上記位置（ｉｉ，ｊｊ）に対応する処理対象画素群Ｄ1は、以下のように表される。
また、処理画素群決定手段１０２は、所定の基準βに基づき、処理済フレームＹ内の画素位置（ｉp，ｊp）（０≦ｉp≦ｗ−Ｍ，０≦ｊp≦ｈ−Ｍ）を左上端とするＭ×Ｍ画素の画素群、即ち、処理済画素群
（以下「処理済画素群Ｄ2」と表記することもある）を順次決定する。具体的には、左上端の画素が、処理対象画素群Ｄ1における左上端の画素と同じ位置となるＭ×Ｍ画素の画素群を、処理済画素群Ｄ2として決定する。ここで、処理済画素群Ｄ2内における位置を（ｉｉ，ｊｊ）とすると、処理済フレームＹ内における上記位置（ｉｉ，ｊｊ）に対応する処理対象画素群Ｄ2は、以下のように表される。
そして、処理画素群決定手段１０２により決定された処理対象画素群Ｄ1および処理済画素群Ｄ2は、ラインＬ１０２経由で周波数成分処理手段１０３に出力される。
なお、処理画素群決定手段１０２は、ある画素位置を左上端にとる処理対象画素群Ｄ1の処理に対する完了信号を周波数成分処理手段１０３から受信する度に、処理対象画素群Ｄ1および処理済画素群Ｄ2の決定を行う。即ち、処理画素群決定手段１０２は画素位置（ｉc，ｊc）の処理完了信号を周波数成分処理手段１０３から受信した後、次に、画素位置（ｉc＋１，ｊc）を左上端とする処理対象画素群
を決定するように順次処理を進めていき、以後、画素位置（ｗ−Ｍ，ｈ−Ｍ）を左上端とする処理対象画素群Ｄ1(w-M,h-M)まで、決定処理を実行する。また、処理対象フレームは入力される各フレーム画像に対して実施する。なお、本実施形態では、Ｍ＝３として処理対象画素群Ｄ1の決定処理について説明を行う。
を決定するように順次処理を進めていき、以後、画素位置（ｗ−Ｍ，ｈ−Ｍ）を左上端とする処理対象画素群Ｄ1(w-M,h-M)まで、決定処理を実行する。また、処理対象フレームは入力される各フレーム画像に対して実施する。なお、本実施形態では、Ｍ＝３として処理対象画素群Ｄ1の決定処理について説明を行う。
（処理対象画素群Ｄ1の位置決定について）
なお、本実施形態における規則αとして、処理対象フレームＸ内の処理画素位置を決定する規則は、処理対象フレームＸに存在する全画素に対して処理対象画素群Ｄ1を順次決定していくとしたが、その他の規則に従って処理対象画素群Ｄ1を決定してもよい。例えば、Ｍ×Ｍ画素群の左上端の画素位置を１画素飛びで設定し、例えば図３のように市松模様状に処理対象画素群Ｄ1を決定する規則を用いてもよい。また、画像内の複数の開始点から並列作業で処理対象画素群Ｄ1を順次決定してもよい。また、規則αとしては、処理対象フレームごとに異なる規則を採用してもよい。
なお、本実施形態における規則αとして、処理対象フレームＸ内の処理画素位置を決定する規則は、処理対象フレームＸに存在する全画素に対して処理対象画素群Ｄ1を順次決定していくとしたが、その他の規則に従って処理対象画素群Ｄ1を決定してもよい。例えば、Ｍ×Ｍ画素群の左上端の画素位置を１画素飛びで設定し、例えば図３のように市松模様状に処理対象画素群Ｄ1を決定する規則を用いてもよい。また、画像内の複数の開始点から並列作業で処理対象画素群Ｄ1を順次決定してもよい。また、規則αとしては、処理対象フレームごとに異なる規則を採用してもよい。
なお、本実施形態における規則αとして、画像入力手段１０１から入力される全ての処理対象フレームを選択する例を示したが、これに限るものではない。例えば、処理対象フレームとして画像入力手段１０１から入力されるフレーム画像を１枚置きや複数枚置きに選択されてもよい。また、この選択方法を決定するために映像の特徴である動きの大きさ、平均輝度、コントラストなどを参考にしてもよい。
（処理済画素群Ｄ2の位置決定について）
なお、本実施形態における処理済フレームＹ内の処理画素位置を決定するための基準βとして、処理対象画素群Ｄ1と同じ位置の処理済画素群Ｄ2を決定したが、その他の基準に基づいて処理済画素群Ｄ2を決定してもよい。例えば、動画像符号化予測技術で利用される動き探索のように、処理対象画素群Ｄ1と画素信号との差分に基づく評価値（ＳＡＤやＳＳＤ等）が最小となる位置が左上端となる処理済画素群Ｄ2を決定してもよい。また、上記以外の評価値が最小となる位置が左上端となる処理済画素群Ｄ2を決定してもよい。
なお、本実施形態における処理済フレームＹ内の処理画素位置を決定するための基準βとして、処理対象画素群Ｄ1と同じ位置の処理済画素群Ｄ2を決定したが、その他の基準に基づいて処理済画素群Ｄ2を決定してもよい。例えば、動画像符号化予測技術で利用される動き探索のように、処理対象画素群Ｄ1と画素信号との差分に基づく評価値（ＳＡＤやＳＳＤ等）が最小となる位置が左上端となる処理済画素群Ｄ2を決定してもよい。また、上記以外の評価値が最小となる位置が左上端となる処理済画素群Ｄ2を決定してもよい。
（処理対象画素群Ｄ1および処理済画素群Ｄ2の形状）
なお、本実施形態では、処理対象画素群Ｄ1および処理済画素群Ｄ2は、Ｍ×Ｍの２次元配列として表現したが、それ以外の方法で表現してもよい。例えば、Ｍ2×１の１次元ベクトルとして表現してもよい。また、本実施形態では正方形（Ｍ×Ｍ）の処理対象画素群Ｄ1および処理済画素群Ｄ2を選択したが、それ以外の形状の画素群を選択してもよい。例えばＫ×Ｌ（Ｋ≠Ｌ＞０）の画素群を決定してもよい。また、斜め方向に画素を選択し、四角形とならない画素群を決定してもよい。
なお、本実施形態では、処理対象画素群Ｄ1および処理済画素群Ｄ2は、Ｍ×Ｍの２次元配列として表現したが、それ以外の方法で表現してもよい。例えば、Ｍ2×１の１次元ベクトルとして表現してもよい。また、本実施形態では正方形（Ｍ×Ｍ）の処理対象画素群Ｄ1および処理済画素群Ｄ2を選択したが、それ以外の形状の画素群を選択してもよい。例えばＫ×Ｌ（Ｋ≠Ｌ＞０）の画素群を決定してもよい。また、斜め方向に画素を選択し、四角形とならない画素群を決定してもよい。
（処理対象画素群Ｄ1および処理済画素群Ｄ2の共通性）
なお、本実施形態では、処理対象画素群Ｄ1と処理済画素群Ｄ2は、同じ形状で同じ位置の画素群を決定したが、異なる形状で決定されてもよいし、異なる決定基準に基づいて決定されてもよい。
なお、本実施形態では、処理対象画素群Ｄ1と処理済画素群Ｄ2は、同じ形状で同じ位置の画素群を決定したが、異なる形状で決定されてもよいし、異なる決定基準に基づいて決定されてもよい。
（処理済フレームの選択）
なお、本実施形態では、処理済フレームＹとして、処理対象フレームＸの「直前」に処理された処理済フレームを選択したが、それ以外のフレームを処理してもよい。また、本実施形態では、処理済フレームＹとして１フレームを選択し当該処理済フレームから処理済画素群を選択したが、処理済フレーム格納手段１０５に格納される複数のフレームから処理済画素群を選択してもよい。
なお、本実施形態では、処理済フレームＹとして、処理対象フレームＸの「直前」に処理された処理済フレームを選択したが、それ以外のフレームを処理してもよい。また、本実施形態では、処理済フレームＹとして１フレームを選択し当該処理済フレームから処理済画素群を選択したが、処理済フレーム格納手段１０５に格納される複数のフレームから処理済画素群を選択してもよい。
（周波数成分処理手段１０３について）
本実施形態における周波数成分処理手段１０３の機能ブロック構成を図４に示す。図４に示すように周波数成分処理手段１０３は、空間周波数変換手段１０３Ａ、時間周波数変換手段１０３Ｂ、時間高周波数成分処理手段１０３Ｃ、逆時間周波数変換手段１０３Ｄ、および逆空間周波数変換手段１０３Ｅを含んで構成される。
本実施形態における周波数成分処理手段１０３の機能ブロック構成を図４に示す。図４に示すように周波数成分処理手段１０３は、空間周波数変換手段１０３Ａ、時間周波数変換手段１０３Ｂ、時間高周波数成分処理手段１０３Ｃ、逆時間周波数変換手段１０３Ｄ、および逆空間周波数変換手段１０３Ｅを含んで構成される。
空間周波数変換手段１０３Ａは、処理画素群決定手段１０２により決定された３×３画素の処理対象画素群Ｄ1および処理済画素群Ｄ2を受け取り、これら処理対象画素群Ｄ1および処理済画素群Ｄ2に対して空間周波数変換を行い、処理対象画素群Ｄ1についての空間周波数変換係数
（以下「空間周波数変換係数ｆ1」と表記することもある）、および、処理済画素群Ｄ2についての空間周波数変換係数
（以下「空間周波数変換係数ｆ2」と表記することもある）を取得する。具体的には、以下の変換基底Ｈ1を利用して以下のようなＤＣＴ変換を行う。以下の式では、各画素群Ｄ1、Ｄ2内の位置を（ｉｉ，ｊｊ）と記載している。
このようにして取得された空間周波数変換係数ｆ1、ｆ2は、空間周波数変換手段１０３Ａから時間周波数変換手段１０３Ｂへ出力される。
（以下「空間周波数変換係数ｆ1」と表記することもある）、および、処理済画素群Ｄ2についての空間周波数変換係数
（以下「空間周波数変換係数ｆ2」と表記することもある）を取得する。具体的には、以下の変換基底Ｈ1を利用して以下のようなＤＣＴ変換を行う。以下の式では、各画素群Ｄ1、Ｄ2内の位置を（ｉｉ，ｊｊ）と記載している。
このようにして取得された空間周波数変換係数ｆ1、ｆ2は、空間周波数変換手段１０３Ａから時間周波数変換手段１０３Ｂへ出力される。
時間周波数変換手段１０３Ｂは、空間周波数変換係数ｆ1およびｆ2に対し時間周波数変換を行い、時間低周波数成分ｔｆLと時間高周波数成分ｔｆHとに変換する。なお、本実施形態では、時間周波数変換として以下の変換基底Ｊ1を用いたHaar変換を用いて時間周波数変換を行う。
上記の時間周波数変換により得られた時間低周波数成分ｔｆLおよび時間高周波数成分ｔｆHは、時間周波数変換手段１０３Ｂから時間高周波数成分処理手段１０３Ｃへ出力される。
上記の時間周波数変換により得られた時間低周波数成分ｔｆLおよび時間高周波数成分ｔｆHは、時間周波数変換手段１０３Ｂから時間高周波数成分処理手段１０３Ｃへ出力される。
時間高周波数成分処理手段１０３Ｃは、時間高周波数成分ｔｆHに相当する係数の中で、図５の位置Ａに相当する空間的な低周波数成分（ＤＣ成分）を示す係数、および位置Ｂに相当する空間的な高周波数成分を示す係数に対し、所定の係数処理γを行う。時間低周波数成分ｔｆLについては処理を行わない。
具体的には、時間高周波数成分処理手段１０３Ｃは、予め記憶された閾値Ｔｈを用いた以下のような係数処理を行い、処理済み時間高周波数成分ｔｆH’を取得する。
上記の係数処理を完了した後、取得された処理済み時間高周波数成分ｔｆH’と時間低周波数成分ｔｆLとは、逆時間周波数変換手段１０３Ｄに出力される。
上記の係数処理を完了した後、取得された処理済み時間高周波数成分ｔｆH’と時間低周波数成分ｔｆLとは、逆時間周波数変換手段１０３Ｄに出力される。
逆時間周波数変換手段１０３Ｄは、時間低周波数成分ｔｆLおよび処理済み時間高周波数成分ｔｆH’に対しＪ1 -1を乗算することで逆Haar変換を行う。さらに、逆空間周波数変換手段１０３Ｅは、変換基底Ｇ1を利用して空間逆周波数変換（逆ＤＣＴ変換）を行う。
以上により、時間高周波数成分に対して所定の係数処理が実行された処理対象画素群
（以下「実行後処理対象画素群Ｄ’1」と表記することもある）が取得され、周波数成分処理手段１０３の処理が完了する。なお、逆空間周波数変換手段１０３Ｅは、以下の変換基底Ｇ1を用いて空間逆周波数変換（逆ＤＣＴ変換）を行う。
周波数成分処理手段１０３は、逆空間周波数変換により取得された実行後処理対象画素群Ｄ’1を、ラインＬ１０３ｂ経由で処理完了フレーム生成手段１０４に出力するとともに、ラインＬ１０３ａ経由で処理画素群決定手段１０２に出力する。
（以下「実行後処理対象画素群Ｄ’1」と表記することもある）が取得され、周波数成分処理手段１０３の処理が完了する。なお、逆空間周波数変換手段１０３Ｅは、以下の変換基底Ｇ1を用いて空間逆周波数変換（逆ＤＣＴ変換）を行う。
周波数成分処理手段１０３は、逆空間周波数変換により取得された実行後処理対象画素群Ｄ’1を、ラインＬ１０３ｂ経由で処理完了フレーム生成手段１０４に出力するとともに、ラインＬ１０３ａ経由で処理画素群決定手段１０２に出力する。
その後、周波数成分処理手段１０３は、処理画素群決定手段１０２からフレーム処理完了信号が来るまで上記の処理を繰り返す。そして、周波数成分処理手段１０３は、フレーム処理完了信号を受信すると、組み合わせ処理開始信号をラインＬ１０３ｂ経由で処理完了フレーム生成手段１０４に出力する。
（組み合わせ処理開始信号のタイミング）
なお、本実施形態では、組み合わせ処理開始信号は、周波数成分処理手段１０３がフレーム処理完了信号を受信したときに、処理完了フレーム生成手段１０４に出力される例を示したが、これに限るものではない。例えば、画素位置（ｉc，ｊc）に関する組み合わせ処理開始信号は、当該画素位置（ｉc，ｊc）を含む処理画素群の処理が完了したときに出力してもよいし、ある列に対し処理を完了したときに出力してもよい。
なお、本実施形態では、組み合わせ処理開始信号は、周波数成分処理手段１０３がフレーム処理完了信号を受信したときに、処理完了フレーム生成手段１０４に出力される例を示したが、これに限るものではない。例えば、画素位置（ｉc，ｊc）に関する組み合わせ処理開始信号は、当該画素位置（ｉc，ｊc）を含む処理画素群の処理が完了したときに出力してもよいし、ある列に対し処理を完了したときに出力してもよい。
（空間周波数変換対象について）
なお、本実施形態では、処理対象画素群に対して空間周波数変換を直接実行したが、画素処理を行ってから空間周波数変換を行ってもよい。例えば、平均輝度調整やフィルタ処理等を実行してから空間周波数変換を行ってもよい。
なお、本実施形態では、処理対象画素群に対して空間周波数変換を直接実行したが、画素処理を行ってから空間周波数変換を行ってもよい。例えば、平均輝度調整やフィルタ処理等を実行してから空間周波数変換を行ってもよい。
（周波数変換の次元）
なお、本実施形態では、２次元空間周波数変換を利用したが、１次元空間周波数変換を繰り返して、２次元空間周波数変換係数を取得してもよい。
なお、本実施形態では、２次元空間周波数変換を利用したが、１次元空間周波数変換を繰り返して、２次元空間周波数変換係数を取得してもよい。
（その他の空間周波数変換）
なお、本実施形態では空間周波数変換にＤＣＴ変換を利用したが、その他の空間周波数変換を利用してもよい。例えば、処理画素群が４×４の場合に以下に示すような変換基底Ｈ2を用いたアダマール変換を利用してもよい。また、それ以外の周波数変換を利用して空間周波数変換係数を取得してもよい。また、演算量削減のため、正規化処理を省略した周波数変換を行ってもよい。
また、空間周波数変換にアダマール変換を利用した場合、逆変換の変換基底Ｇ1にも上記の変換基底Ｈ2を利用すればよい。
なお、本実施形態では空間周波数変換にＤＣＴ変換を利用したが、その他の空間周波数変換を利用してもよい。例えば、処理画素群が４×４の場合に以下に示すような変換基底Ｈ2を用いたアダマール変換を利用してもよい。また、それ以外の周波数変換を利用して空間周波数変換係数を取得してもよい。また、演算量削減のため、正規化処理を省略した周波数変換を行ってもよい。
また、空間周波数変換にアダマール変換を利用した場合、逆変換の変換基底Ｇ1にも上記の変換基底Ｈ2を利用すればよい。
（空間周波数係数に対する処理）
なお、本実施形態では、空間周波数変換係数に対してHaar変換を行った後、所定の係数処理を行ったが、Haar変換前に空間周波数変換係数に対して所定の係数処理を行ってもよい。例えば、上述した係数処理γを空間周波数変換係数ｆ1および空間周波数変換係数ｆ2に対し実行してもよい。また、時間周波数成分に対して行う係数処理γとは異なる処理を行ってもよいし、異なる位置の処理を行ってもよい。その場合、処理に用いる閾値Ｔｈは、時間周波数成分に対して利用する閾値とは異なるものを利用してもよい。また、その他の係数に対する処理を行ってもよい。
なお、本実施形態では、空間周波数変換係数に対してHaar変換を行った後、所定の係数処理を行ったが、Haar変換前に空間周波数変換係数に対して所定の係数処理を行ってもよい。例えば、上述した係数処理γを空間周波数変換係数ｆ1および空間周波数変換係数ｆ2に対し実行してもよい。また、時間周波数成分に対して行う係数処理γとは異なる処理を行ってもよいし、異なる位置の処理を行ってもよい。その場合、処理に用いる閾値Ｔｈは、時間周波数成分に対して利用する閾値とは異なるものを利用してもよい。また、その他の係数に対する処理を行ってもよい。
（時間周波数変換の取得）
なお、本実施形態では、処理対象画素群Ｄ1と処理済画素群Ｄ2の時間高周波数成分は、空間周波数変換を実行した後にHaar変換を実行することで取得したが、その他の方法によって取得しても良い。例えば、フーリエ変換、ＤＣＴ変換、ウェブレット変換等を利用してもよい。また、単純に、処理対象画素群Ｄ1と処理済画素群Ｄ2との和を時間低周波数成分として取得し、処理対象画素群Ｄ1と処理済画素群Ｄ2との差を時間高周波数成分として取得してもよい。
なお、本実施形態では、処理対象画素群Ｄ1と処理済画素群Ｄ2の時間高周波数成分は、空間周波数変換を実行した後にHaar変換を実行することで取得したが、その他の方法によって取得しても良い。例えば、フーリエ変換、ＤＣＴ変換、ウェブレット変換等を利用してもよい。また、単純に、処理対象画素群Ｄ1と処理済画素群Ｄ2との和を時間低周波数成分として取得し、処理対象画素群Ｄ1と処理済画素群Ｄ2との差を時間高周波数成分として取得してもよい。
また、本実施形態では、空間周波数変換を実行し取得された空間周波数成分を利用することで時間周波数成分を取得したが、空間周波数変換を行わずに時間周波数成分を直接取得してもよい。例えば、処理画素群の時間方向にＤＣＴやウェブレット変換等の周波数変換を直接行って時間周波数成分を取得しても良い。その場合、周波数成分処理手段１０３では、空間周波数変換手段１０３Ａと逆空間周波数変換手段１０３Ｅは不要となり、時間周波数変換手段１０３Ｂ、時間高周波数成分処理手段１０３Ｃおよび逆時間周波数変換手段１０３Ｄにより構成されればよい。
（時間周波数成分係数位置について）
なお、本実施形態では、時間高周波数成分ｔｆHに対する処理係数位置は、空間低周波数成分（ＤＣ成分）に相当する位置Ａおよび空間高周波数成分に相当する位置Ｂに設定したが、それ以外の位置の係数を処理してもよい。例えば、位置Ａおよび位置Ｂに加え、図６の位置Ｃの時間周波数成分に相当する係数を処理してもよい。
なお、本実施形態では、時間高周波数成分ｔｆHに対する処理係数位置は、空間低周波数成分（ＤＣ成分）に相当する位置Ａおよび空間高周波数成分に相当する位置Ｂに設定したが、それ以外の位置の係数を処理してもよい。例えば、位置Ａおよび位置Ｂに加え、図６の位置Ｃの時間周波数成分に相当する係数を処理してもよい。
また、例えばＭ＝４の場合、図７の位置Ｄおよび位置Ｅの係数位置の係数を処理すればよい。さらに、位置Ｄおよび位置Ｅに加え位置Ｆの位置の係数の処理を行ってもよい。
さらに、例えばＭ＝８の場合、図８に示すように位置Ｇおよび位置Ｈの係数に対して処理を行ってもよい。また、位置Ｇや位置Ｈの一部の係数に対して処理を行ってもよい。
（閾値Ｔｈについて）
なお、本実施形態では、閾値Ｔｈを予め記憶されているが、外部入力されてもよい。また、本処理の過程に基づき閾値Ｔｈを決定してもよい。また、それ以外にも画像間の差分量や分散値等の画像を分析した結果に基づき閾値Ｔｈを決定してもよい。また、例えば動画像符号化処理手段等で利用される情報である量子化値や圧縮された情報のビットレートなどに基づき閾値Ｔｈが決定されてもよい。
なお、本実施形態では、閾値Ｔｈを予め記憶されているが、外部入力されてもよい。また、本処理の過程に基づき閾値Ｔｈを決定してもよい。また、それ以外にも画像間の差分量や分散値等の画像を分析した結果に基づき閾値Ｔｈを決定してもよい。また、例えば動画像符号化処理手段等で利用される情報である量子化値や圧縮された情報のビットレートなどに基づき閾値Ｔｈが決定されてもよい。
（所定の係数処理γについて）
なお、本実施形態では、所定の係数処理γとして閾値Ｔｈとの比較に基づく処理を行ったが、それ以外の処理を行っても良い。例えば、以下の式（ａ）のように周波数成分の絶対値が閾値Ｔｈ以下となる場合に任意の値ｐに置換してもよい。また、以下の式（ｂ）のように周波数成分の絶対値が閾値Ｔｈ以下となる係数を係数ｑで除算するといった処理を行っても良い。また、除算係数ｑで除算する場合、周波数成分の位置（ｉｉ，ｊｊ）によって除算係数ｑが変わってもよい。例えば、（ｉｉ＋ｊｊ）が大きくなるほど除算係数ｑが大きくなるよう設定してもよい。また、閾値を利用しない処理を行ってもよい。例えば、予め定められた位置の係数に対して係数ｒ（ｒ≠０）で除算する等の処理を行ってもよい。
（処理対象となる時間周波数成分について）
なお、本実施形態では、映像を構成するフレーム間に発生するチラツキ等を効率的に抑えるために、時間高周波数成分ｔｆHに対してのみ所定の係数処理を行ったが、時間低周波数成分ｔｆLに対して所定の係数処理（例えば上記の係数処理γ）を行ってもよい。また、その場合、時間低周波数成分ｔｆLと時間高周波数成分ｔｆHに対する処理は同じである必要はない。例えば、時間低周波数成分ｔｆLと時間高周波数成分ｔｆHとで異なる位置の係数の処理を行ってもよい。
なお、本実施形態では、所定の係数処理γとして閾値Ｔｈとの比較に基づく処理を行ったが、それ以外の処理を行っても良い。例えば、以下の式（ａ）のように周波数成分の絶対値が閾値Ｔｈ以下となる場合に任意の値ｐに置換してもよい。また、以下の式（ｂ）のように周波数成分の絶対値が閾値Ｔｈ以下となる係数を係数ｑで除算するといった処理を行っても良い。また、除算係数ｑで除算する場合、周波数成分の位置（ｉｉ，ｊｊ）によって除算係数ｑが変わってもよい。例えば、（ｉｉ＋ｊｊ）が大きくなるほど除算係数ｑが大きくなるよう設定してもよい。また、閾値を利用しない処理を行ってもよい。例えば、予め定められた位置の係数に対して係数ｒ（ｒ≠０）で除算する等の処理を行ってもよい。
（処理対象となる時間周波数成分について）
なお、本実施形態では、映像を構成するフレーム間に発生するチラツキ等を効率的に抑えるために、時間高周波数成分ｔｆHに対してのみ所定の係数処理を行ったが、時間低周波数成分ｔｆLに対して所定の係数処理（例えば上記の係数処理γ）を行ってもよい。また、その場合、時間低周波数成分ｔｆLと時間高周波数成分ｔｆHに対する処理は同じである必要はない。例えば、時間低周波数成分ｔｆLと時間高周波数成分ｔｆHとで異なる位置の係数の処理を行ってもよい。
（処理完了フレーム生成手段１０４について）
さて、図１に戻り、処理完了フレーム生成手段１０４は、組み合わせ処理開始信号を周波数成分処理手段１０３からラインＬ１０３ｂ経由で受信した後に、実行後処理対象画素群
の組み合わせ処理を実行する。具体的には、ある画素位置（ｉc，ｊc）の画素を含むｎ個の処理対象画素群Ｄ’1(ix,jx)の逆周波数変換が完了した後、以下の式に示す重み付け加算処理により画素位置（ｉc，ｊc）の画素を算出し、処理完了フレームｙを生成する。なお、画素位置（ｉｘ，ｊｘ）は、ある画素位置（ｉc，ｊc）の画素を処理画素群に含む処理画素群の左上端の位置を示す。ここでは、重み付け加算に利用する重みとして、画素位置（ｉｘ，ｊｘ）を左上端とする処理画素群に対する係数をweight(ix,jx)とし、この係数は予め用意されているものとする。
そして、処理完了フレーム生成手段１０４は、処理完了フレームｙの全画素を生成した後に、生成された処理完了フレームｙをラインＬ１０４経由で画像出力手段１０６に出力する。画像出力手段１０６は、生成された処理完了フレームｙをラインＬ１０６ａ経由で外部へ出力するとともに、当該処理完了フレームｙをラインＬ１０６ｂ経由で処理済フレーム格納手段１０５に出力し、次の処理に利用するため当該処理完了フレームｙを、処理済フレームとして処理済フレーム格納手段１０５に格納する。
さて、図１に戻り、処理完了フレーム生成手段１０４は、組み合わせ処理開始信号を周波数成分処理手段１０３からラインＬ１０３ｂ経由で受信した後に、実行後処理対象画素群
の組み合わせ処理を実行する。具体的には、ある画素位置（ｉc，ｊc）の画素を含むｎ個の処理対象画素群Ｄ’1(ix,jx)の逆周波数変換が完了した後、以下の式に示す重み付け加算処理により画素位置（ｉc，ｊc）の画素を算出し、処理完了フレームｙを生成する。なお、画素位置（ｉｘ，ｊｘ）は、ある画素位置（ｉc，ｊc）の画素を処理画素群に含む処理画素群の左上端の位置を示す。ここでは、重み付け加算に利用する重みとして、画素位置（ｉｘ，ｊｘ）を左上端とする処理画素群に対する係数をweight(ix,jx)とし、この係数は予め用意されているものとする。
そして、処理完了フレーム生成手段１０４は、処理完了フレームｙの全画素を生成した後に、生成された処理完了フレームｙをラインＬ１０４経由で画像出力手段１０６に出力する。画像出力手段１０６は、生成された処理完了フレームｙをラインＬ１０６ａ経由で外部へ出力するとともに、当該処理完了フレームｙをラインＬ１０６ｂ経由で処理済フレーム格納手段１０５に出力し、次の処理に利用するため当該処理完了フレームｙを、処理済フレームとして処理済フレーム格納手段１０５に格納する。
（重み付け演算代用）
なお、処理完了フレームｙの生成には重み付け加算を利用したが、その他の処理を行ってもよい。例えば、単純平均などの処理を利用してもよい。また、重み付け加算等の処理は行わずに、周波数成分処理手段１０３から出力された画素をそのまま利用して処理完了フレームｙを生成してもよい。
なお、処理完了フレームｙの生成には重み付け加算を利用したが、その他の処理を行ってもよい。例えば、単純平均などの処理を利用してもよい。また、重み付け加算等の処理は行わずに、周波数成分処理手段１０３から出力された画素をそのまま利用して処理完了フレームｙを生成してもよい。
（重み付け係数について）
なお、本実施形態における重み係数weight(ix,jx)は予め用意されているものを利用したが、それ以外の手法により重み係数weight(ix,jx)を決定してもよい。例えば、予め様々な映像において客観評価指標が高くなるよう調整された重み係数weight(ix,jx)を決定しておいてもよい。また、画像処理の過程で決定した他の評価結果により重み係数weight(ix,jx)を決定してもよい。例えば、係数処理で処理した個数やその他の処理結果に基づき、重み係数weight(ix,jx)を決定してもよい。
なお、本実施形態における重み係数weight(ix,jx)は予め用意されているものを利用したが、それ以外の手法により重み係数weight(ix,jx)を決定してもよい。例えば、予め様々な映像において客観評価指標が高くなるよう調整された重み係数weight(ix,jx)を決定しておいてもよい。また、画像処理の過程で決定した他の評価結果により重み係数weight(ix,jx)を決定してもよい。例えば、係数処理で処理した個数やその他の処理結果に基づき、重み係数weight(ix,jx)を決定してもよい。
（重み付け加算の処理画素群量について）
なお、本実施形態では、画素位置（ｉc，ｊc）を含む全ての処理画素群を用いて処理完了フレームｙを生成したが、全ての処理画素群を利用しなくてもよい。例えば、何らかの基準を満たす処理画素群のみを加算してもよい。また、重み係数weight(ix,jx)が大きく設定された処理画素群の上位に位置する処理画素群のみ加算してもよい。その場合、係数処理γにおいて、処理を行った係数の個数が多いものを所定の数だけ選択して加算してもよい。
なお、本実施形態では、画素位置（ｉc，ｊc）を含む全ての処理画素群を用いて処理完了フレームｙを生成したが、全ての処理画素群を利用しなくてもよい。例えば、何らかの基準を満たす処理画素群のみを加算してもよい。また、重み係数weight(ix,jx)が大きく設定された処理画素群の上位に位置する処理画素群のみ加算してもよい。その場合、係数処理γにおいて、処理を行った係数の個数が多いものを所定の数だけ選択して加算してもよい。
（重み付け加算処理のタイミング）
なお、本実施形態では、空間周波数変換後の処理画素群に対して組み合わせ処理を行ったが、空間周波数変換前に重み付け加算処理を実行し、その後、空間周波数変換を行うことで、処理完了フレームｙを取得してもよい。
なお、本実施形態では、空間周波数変換後の処理画素群に対して組み合わせ処理を行ったが、空間周波数変換前に重み付け加算処理を実行し、その後、空間周波数変換を行うことで、処理完了フレームｙを取得してもよい。
（除算の代用演算）
なお、本実施形態では、重み係数weight(ix,jx)による除算を行ったが、それ以外の処理を行ってもよい。例えば、予め外部参照テーブルを用意して、重み係数weight(ix,jx)に基づく係数を乗算することで、除算と同等の処理を実現してもよい。
なお、本実施形態では、重み係数weight(ix,jx)による除算を行ったが、それ以外の処理を行ってもよい。例えば、予め外部参照テーブルを用意して、重み係数weight(ix,jx)に基づく係数を乗算することで、除算と同等の処理を実現してもよい。
（画素の定義）
なお、本実施形態における画素に対する処理は、ＲＧＢやＹＵＶ等の各色成分に対して適用できる。また、特にＹＵＶ成分で画像が構成される場合には、輝度信号のみ（Ｙ）に対して上述の処理を行ってもよい。その場合、色差成分（ＵＶ）に対してはその他の処理を行ってもよい。例えば平滑化フィルタ等の簡易フィルタ処理を利用してもよい。
なお、本実施形態における画素に対する処理は、ＲＧＢやＹＵＶ等の各色成分に対して適用できる。また、特にＹＵＶ成分で画像が構成される場合には、輝度信号のみ（Ｙ）に対して上述の処理を行ってもよい。その場合、色差成分（ＵＶ）に対してはその他の処理を行ってもよい。例えば平滑化フィルタ等の簡易フィルタ処理を利用してもよい。
［画像処理装置における画像処理について］
次に、図９に基づいて、本実施形態の画像処理装置１００により実行される画像処理について説明する。
次に、図９に基づいて、本実施形態の画像処理装置１００により実行される画像処理について説明する。
まず、画像入力手段１０１が、複数のフレーム画像から成る映像信号（動画像信号）を外部から入力する（ステップＳ１）。
次に、処理画素群決定手段１０２は、入力された映像信号をフレーム画像に分解して、所定の規則に基づいて処理対象フレームＸを読み込み、Ｍ×Ｍ（Ｍは１以上の整数）の処理対象画素群Ｄ1を決定する（ステップＳ２）。また、同時に、処理画素群決定手段１０２は、処理済フレーム格納手段１０５に格納された処理済フレームのうち、所定の規則に基づいて時系列上で直前に処理された処理済フレームＹを読み込み、Ｍ×Ｍ（Ｍは１以上の整数）の処理済画素群Ｄ2を決定する（ステップＳ２）。ステップＳ２における決定手順は、前述したとおりである。ステップＳ２で得られた処理対象画素群Ｄ1および処理済画素群Ｄ2は、周波数成分処理手段１０３へ送られる。
次に、周波数成分処理手段１０３の空間周波数変換手段１０３Ａは、処理対象画素群Ｄ1および処理済画素群Ｄ2を受け取り、これら処理対象画素群Ｄ1および処理済画素群Ｄ2に対して空間周波数変換を行い、処理対象画素群Ｄ1についての空間周波数変換係数ｆ1および処理済画素群Ｄ2についての空間周波数変換係数ｆ2を取得する（ステップＳ３）。
次に、時間周波数変換手段１０３Ｂは、空間周波数変換係数ｆ1およびｆ2に対し時間周波数変換を行い、時間低周波数成分ｔｆLと時間高周波数成分ｔｆHとに変換する（ステップＳ４）。例えば、前述した変換基底Ｊ1を用いたHaar変換を用いて時間周波数変換を行う。
次に、時間高周波数成分処理手段１０３Ｃは、時間高周波数成分ｔｆHに相当する係数の中で、空間的な低周波数成分（ＤＣ成分）を示す係数および空間的な高周波数成分を示す係数に対し、前述したような所定の係数処理γを行う（ステップＳ５）。即ち、時間高周波数成分ｔｆHに相当する係数の中で、空間的な低周波数成分および空間的な高周波数成分を除いた周波数成分（いわば中周波数成分）を示す係数については、所定の係数処理γの実行を回避する。
次に、逆時間周波数変換手段１０３Ｄは、時間低周波数成分ｔｆLおよび処理済み時間高周波数成分ｔｆH’に対しＪ1 -1を乗算することで逆Haar変換を行い、さらに、逆空間周波数変換手段１０３Ｅは、変換基底Ｇ1を利用して逆空間周波数変換（逆ＤＣＴ変換）を行う。これにより、時間高周波数成分に対して所定の係数処理が実行された処理対象画素群（実行後処理対象画素群Ｄ’1）を取得する（ステップＳ６）。
その後、上記のステップＳ２〜Ｓ６の処理は、処理対象フレームＸについて処理が完了するまで繰り返し実行される（ステップＳ７）。
そして、処理対象フレームＸについての処理が完了すると（ステップＳ７でＹＥＳ）、処理完了フレーム生成手段１０４は、実行後処理対象画素群の組み合わせ処理を実行し、処理完了フレームｙを生成する（ステップＳ８）。そして、処理完了フレームｙの全画素を生成した後、生成された処理完了フレームｙは画像出力手段１０６に出力される。
そして、画像出力手段１０６は、生成された処理完了フレームｙを外部へ出力するとともに処理済フレーム格納手段１０５に出力し、次の処理に利用するため、処理完了フレームｙを処理済フレームとして処理済フレーム格納手段１０５に格納する（ステップＳ９）。
［本実施形態の効果］
以上のように、本実施形態における画像処理装置１００では、入力されたフレーム画像の処理対象画素群と処理済フレーム画像の処理済画素群との間に含まれる時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行することで、処理対象画素群と処理済画素群との間に含まれる時間的変化を軽減し、ちらつき等の歪を効率的に軽減することができる。その一方で、時間高周波数成分における空間低周波数成分と空間高周波数成分とを除いた部分（即ち、視覚特性で感度が低い成分）に対する所定の係数処理の実行を回避する。以上により、映像に含まれる歪を軽減する効果をあまり低下させることなく、歪軽減処理の演算量を削減することができる。
以上のように、本実施形態における画像処理装置１００では、入力されたフレーム画像の処理対象画素群と処理済フレーム画像の処理済画素群との間に含まれる時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行することで、処理対象画素群と処理済画素群との間に含まれる時間的変化を軽減し、ちらつき等の歪を効率的に軽減することができる。その一方で、時間高周波数成分における空間低周波数成分と空間高周波数成分とを除いた部分（即ち、視覚特性で感度が低い成分）に対する所定の係数処理の実行を回避する。以上により、映像に含まれる歪を軽減する効果をあまり低下させることなく、歪軽減処理の演算量を削減することができる。
［画像処理プログラムについて］
次に、コンピュータを、本発明に係る画像処理装置として動作させるための画像処理プログラムについて説明する。図１０は、記録媒体１０に記憶された画像処理プログラムＰ１０の構成を示す図である。記録媒体１０としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ等の記録媒体や、半導体メモリ等により構成することができる。
次に、コンピュータを、本発明に係る画像処理装置として動作させるための画像処理プログラムについて説明する。図１０は、記録媒体１０に記憶された画像処理プログラムＰ１０の構成を示す図である。記録媒体１０としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ等の記録媒体や、半導体メモリ等により構成することができる。
図１０に示すように、画像処理プログラムＰ１０は、画像入力モジュールＰ１１と、処理画素群決定モジュールＰ１２と、周波数成分処理モジュールＰ１３と、処理完了フレーム生成モジュールＰ１４と、処理済フレーム格納モジュールＰ１５と、画像出力モジュールＰ１６とを含んで構成されている。画像入力モジュールＰ１１は図１の画像入力手段１０１の機能を、処理画素群決定モジュールＰ１２は処理画素群決定手段１０２の機能を、周波数成分処理モジュールＰ１３は周波数成分処理手段１０３の機能を、処理完了フレーム生成モジュールＰ１４は処理完了フレーム生成手段１０４の機能を、処理済フレーム格納モジュールＰ１５は処理済フレーム格納手段１０５の機能を、画像出力モジュールＰ１６は画像出力手段１０６の機能を、それぞれ実現するためのモジュールである。
また、周波数成分処理モジュールＰ１３は、サブモジュールとして、空間周波数変換モジュールＰ１３Ａと、時間周波数変換モジュールＰ１３Ｂと、時間高周波数成分処理モジュールＰ１３Ｃと、逆時間周波数変換モジュールＰ１３Ｄと、逆空間周波数変換モジュールＰ１３Ｅとを含んで構成されている。空間周波数変換モジュールＰ１３Ａは図４の空間周波数変換手段１０３Ａの機能を、時間周波数変換モジュールＰ１３Ｂは時間周波数変換手段１０３Ｂの機能を、時間高周波数成分処理モジュールＰ１３Ｃは時間高周波数成分処理手段１０３Ｃの機能を、逆時間周波数変換モジュールＰ１３Ｄは逆時間周波数変換手段１０３Ｄの機能を、逆空間周波数変換モジュールＰ１３Ｅは逆空間周波数変換手段１０３Ｅの機能を、それぞれ実現するためのモジュールである。
また、図１１は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１２は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。ここでのコンピュータとしては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話、ＰＤＡ、携帯型カーナビゲーションシステムなども含む。
図１１、図１２に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等により構成される読み取り装置１２と、ＲＡＭ等により構成される作業用メモリ１４と、ＲＯＭ等により構成されるメモリ１６と、表示装置であるディスプレイ１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを含んで構成される。このような構成のコンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、記録媒体１０に格納された画像処理プログラムＰ１０が読み取り装置１２により読み取られてコンピュータ３０に入力され、ＣＰＵ２６により画像処理プログラムＰ１０が実行されることによって、コンピュータ３０は本発明に係る画像処理装置として動作することになる。
なお、図１２に示すように、画像処理プログラムＰ１０は、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信された画像処理プログラムＰ１０をメモリ１６に格納し、ＣＰＵ２６により当該画像処理プログラムＰ１０を実行することができる。
１０…記録媒体、１２…読み取り装置、１４…作業用メモリ、１６…メモリ、１８…ディスプレイ、２０…マウス、２２…キーボード、２４…通信装置、３０…コンピュータ、４０…コンピュータデータ信号、１００…画像処理装置、１０１…画像入力手段、１０２…処理画素群決定手段、１０３…周波数成分処理手段、１０３Ａ…空間周波数変換手段、１０３Ｂ…時間周波数変換手段、１０３Ｃ…時間高周波数成分処理手段、１０３Ｄ…逆時間周波数変換手段、１０３Ｅ…逆空間周波数変換手段、１０４…処理完了フレーム生成手段、１０５…処理済フレーム格納手段、１０６…画像出力手段、Ｐ１０…画像処理プログラム、Ｐ１１…画像入力モジュール、Ｐ１２…処理画素群決定モジュール、Ｐ１３…周波数成分処理モジュール、Ｐ１３Ａ…空間周波数変換モジュール、Ｐ１３Ｂ…時間周波数変換モジュール、Ｐ１３Ｃ…時間高周波数成分処理モジュール、Ｐ１３Ｄ…逆時間周波数変換モジュール、Ｐ１３Ｅ…逆空間周波数変換モジュール、Ｐ１４…処理完了フレーム生成モジュール、Ｐ１５…処理済フレーム格納モジュール、Ｐ１６…画像出力モジュール。
Claims (9)
- 複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、
既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、
前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、
前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、
前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、
前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段と、
を備え、
前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理であり、
前記周波数成分処理手段は、前記時間高周波数成分のうち、空間周波数成分における視覚特性で感度が低い成分である空間中周波数成分に対する前記所定の係数処理の実行を回避する、
ことを特徴とする画像処理装置。 - 複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、
既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、
前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、
前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分のうち、空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、
前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、
前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段と、
を備え、
前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理である、
ことを特徴とする画像処理装置。 - 前記周波数成分処理手段は、前記処理対象画素群および前記処理済画素群に対し空間周波数変換を行うことで空間周波数成分を抽出し、抽出された空間周波数成分に対し時間周波数変換を行うことで時間周波数成分を抽出する、
ことを特徴とする請求項２に記載の画像処理装置。 - 前記処理完了フレーム生成手段は、前記周波数成分処理手段により取得された複数の実行後の処理対象画素群が少なくとも１画素以上重複するように、当該複数の実行後の処理対象画素群を組み合わせて処理完了フレーム画像を生成する、
ことを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。 - 前記周波数成分を置換する前記所定値は、０であることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
- 既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段を備える画像処理装置、により実行される画像処理方法であって、
複数のフレーム画像から成る映像信号を外部から入力する画像入力ステップと、
前記画像入力ステップにて入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定ステップと、
前記処理画素群決定ステップにて決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理ステップと、
前記周波数成分処理ステップにて取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成ステップと、
前記処理完了フレーム生成ステップにて生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力ステップと、
を備え、
前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理であり、
前記周波数成分処理ステップでは、前記時間高周波数成分のうち、空間周波数成分における視覚特性で感度が低い成分である空間中周波数成分に対する前記所定の係数処理の実行を回避する、
ことを特徴とする画像処理方法。 - 既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段を備える画像処理装置、により実行される画像処理方法であって、
複数のフレーム画像から成る映像信号を外部から入力する画像入力ステップと、
前記画像入力ステップにて入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定ステップと、
前記処理画素群決定ステップにて決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分のうち、空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理ステップと、
前記周波数成分処理ステップにて取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成ステップと、
前記処理完了フレーム生成ステップにて生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力ステップと、
を備え、
前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理である、
ことを特徴とする画像処理方法。 - コンピュータを、
複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、
既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、
前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、
前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、
前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、
前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段、
として機能させ、
前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理であり、
前記周波数成分処理手段は、前記時間高周波数成分のうち、空間周波数成分における視覚特性で感度が低い成分である空間中周波数成分に対する前記所定の係数処理の実行を回避する、
ことを特徴とする画像処理プログラム。 - コンピュータを、
複数のフレーム画像から成る映像信号を外部から入力する画像入力手段と、
既に画像処理が完了した処理済フレーム画像を格納した処理済フレーム格納手段と、
前記画像入力手段により入力された前記映像信号の前記複数のフレーム画像から所定の規則に基づき処理対象画素群を決定するとともに、前記処理済フレーム格納手段に格納された処理済フレーム画像から所定の基準に基づき処理済画素群を決定する処理画素群決定手段と、
前記処理画素群決定手段により決定された処理対象画素群および処理済画素群から空間周波数成分および時間周波数成分を抽出し、抽出された時間周波数成分における時間高周波数成分のうち、空間低周波数成分と空間高周波数成分に対し所定の係数処理を実行し、前記所定の係数処理が実行された実行後の処理対象画素群を取得する周波数成分処理手段と、
前記周波数成分処理手段により取得された実行後の処理対象画素群から処理完了フレーム画像を生成する処理完了フレーム生成手段と、
前記処理完了フレーム生成手段により生成された処理完了フレーム画像を外部へ出力するとともに、前記処理完了フレーム画像を処理済フレーム画像として前記処理済フレーム格納手段に格納する画像出力手段、
として機能させ、
前記所定の係数処理は、周波数成分の絶対値と所定の閾値とを比較し、前記周波数成分の絶対値が前記閾値より大きい場合に前記周波数成分を維持し、前記周波数成分の絶対値が前記閾値以下の場合に前記周波数成分を所定値に置換する処理である、
ことを特徴とする画像処理プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009104896A JP4801186B2 (ja) | 2009-04-23 | 2009-04-23 | 画像処理装置、画像処理方法および画像処理プログラム |
| US12/903,838 US8744199B2 (en) | 2009-04-23 | 2010-10-13 | Image processing device, image processing method and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009104896A JP4801186B2 (ja) | 2009-04-23 | 2009-04-23 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010258648A JP2010258648A (ja) | 2010-11-11 |
| JP4801186B2 true JP4801186B2 (ja) | 2011-10-26 |
Family
ID=43319088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009104896A Expired - Fee Related JP4801186B2 (ja) | 2009-04-23 | 2009-04-23 | 画像処理装置、画像処理方法および画像処理プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8744199B2 (ja) |
| JP (1) | JP4801186B2 (ja) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5327242A (en) * | 1993-03-18 | 1994-07-05 | Matsushita Electric Corporation Of America | Video noise reduction apparatus and method using three dimensional discrete cosine transforms and noise measurement |
| JP3222273B2 (ja) * | 1993-07-09 | 2001-10-22 | 株式会社日立製作所 | 核磁気共鳴診断装置における動画像の画質改善方法 |
| WO2002001881A2 (en) | 2000-06-30 | 2002-01-03 | Koninklijke Philips Electronics N.V. | Encoding method for the compression of a video sequence |
| US8340178B2 (en) | 2004-06-11 | 2012-12-25 | Nec Corporation | Moving image encoder and moving image decoder, and its method and program |
| JP4234166B2 (ja) * | 2006-10-20 | 2009-03-04 | 三菱電機株式会社 | 画像処理装置および画像処理方法 |
| JP4709179B2 (ja) * | 2007-05-14 | 2011-06-22 | 日本電信電話株式会社 | 符号化パラメータ選択方法，符号化パラメータ選択装置，符号化パラメータ選択プログラムおよびその記録媒体 |
| US8731062B2 (en) * | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
-
2009
- 2009-04-23 JP JP2009104896A patent/JP4801186B2/ja not_active Expired - Fee Related
-
2010
- 2010-10-13 US US12/903,838 patent/US8744199B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20110081085A1 (en) | 2011-04-07 |
| JP2010258648A (ja) | 2010-11-11 |
| US8744199B2 (en) | 2014-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6334006B2 (ja) | ビデオ符号化用の高コンテンツ適応型品質回復フィルタ処理のためのシステムおよび方法 | |
| CN104244015B (zh) | 用于移除视频数据中的编码伪影的方法和系统 | |
| JP5007228B2 (ja) | 画像クリーンアップおよび前置符号化 | |
| JP4594688B2 (ja) | 画像符号化処理方法、画像復号化処理方法、動画圧縮処理方法、動画伸張処理方法、画像符号化処理プログラム、画像符号化装置、画像復号化装置、画像符号化／復号化システム、拡張画像圧縮伸張処理システム | |
| CN104995908B (zh) | 图像处理装置以及图像处理方法 | |
| US8483515B2 (en) | Image processing method, image processor, integrated circuit, and recording medium | |
| US9094681B1 (en) | Adaptive segmentation | |
| JP5766877B2 (ja) | 類似度、視覚的品質、および関心に基づくフレーム符号化選択 | |
| KR20180037042A (ko) | 모션 벡터 필드 코딩 방법 및 디코딩 방법, 및 코딩 및 디코딩 장치들 | |
| CN111429357A (zh) | 训练数据确定方法、视频处理方法、装置、设备及介质 | |
| US11699212B2 (en) | Method of controlling encoding of display data | |
| JP4709074B2 (ja) | 動画像符号化方法，装置，そのプログラムおよびそのプログラムを記録した記録媒体 | |
| CN117768774A (zh) | 图像处理器、图像处理方法、拍摄装置和电子设备 | |
| JP6871727B2 (ja) | 撮像装置、画像処理方法、及び、プログラム | |
| JP4801186B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP5020260B2 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム | |
| JP6090430B2 (ja) | 符号化装置、方法、プログラム、コンピュータシステム、記録媒体 | |
| JP2010068084A (ja) | 画像処理装置及び画像処理方法 | |
| CN106664387B9 (zh) | 一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质 | |
| JP2015076765A (ja) | 画像処理装置及びその制御方法、並びに、コンピュータプログラム | |
| JP4749508B2 (ja) | 画像復号方法 | |
| CN102446339B (zh) | 图像处理装置和图像处理方法 | |
| EP2442567A1 (en) | Image Processing Device, Image Processing Method and Image Processing Program | |
| JP5087368B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP6265705B2 (ja) | 画像符号化装置及び画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110712 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110804 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4801186 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |