JP4793339B2 - 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム - Google Patents

動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP4793339B2
JP4793339B2 JP2007179265A JP2007179265A JP4793339B2 JP 4793339 B2 JP4793339 B2 JP 4793339B2 JP 2007179265 A JP2007179265 A JP 2007179265A JP 2007179265 A JP2007179265 A JP 2007179265A JP 4793339 B2 JP4793339 B2 JP 4793339B2
Authority
JP
Japan
Prior art keywords
block
downsampling
unit
moving image
harmonic component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007179265A
Other languages
English (en)
Other versions
JP2009017425A (ja
JP2009017425A5 (ja
Inventor
康孝 平澤
誠司 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007179265A priority Critical patent/JP4793339B2/ja
Priority to US12/169,129 priority patent/US8421914B2/en
Publication of JP2009017425A publication Critical patent/JP2009017425A/ja
Publication of JP2009017425A5 publication Critical patent/JP2009017425A5/ja
Application granted granted Critical
Publication of JP4793339B2 publication Critical patent/JP4793339B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。特に動画像データのデータ圧縮処理として実行されるデータ変換において、画質劣化を抑え高品質なデータ変換を可能とする動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。
動画像データは、ＨＤＤ、ＤＶＤ、ブルーレイディスク（次世代光ディスク）などの記憶媒体への保存、あるいはネットワークを介した配信などにおいて、データ量を削減するためのデータ変換、すなわち圧縮処理が行なわれる。特に、近年、動画像データの高品質化、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ−高品位）データなど、データ品質の改善が進んでおり、このデータの高品質化に伴って、保存・伝送等で扱うデータ量が急激に増大している。このような状況において、動画像データの圧縮処理における圧縮効率の改善や、品質劣化防止に関する技術について多くの検討、研究がなされている。
動画像の圧縮処理方法としては、例えば動画像データを構成する画像フレームの構成画素の間引き処理、すなわち空間方向の間引き処理や、フレームレートを間引く処理、すなわち時間方向の間引き処理などが知られている。
このようなデータ変換によるデータ量削減により記憶媒体への保存やネットワークを介したデータ転送が効率的に行なわれるという利点がある。しかしながら、圧縮されたデータを復元し再生する場合、画質の劣化が発生してしまうという問題がある。特にオリジナルデータが高精細画像である場合には、その品質劣化がより顕著になってしまう。
このような画質劣化をいかに低減するかについては様々な検討がなされている。例えば特許文献１には、被写体の移動速度の大小に応じて空間方向の画素数間引き処理と時間方向の画素数間引き処理を切り替える画像圧縮処理構成を開示している。また、特許文献２には、特許文献１の処理に対し、さらに空間方向の画素数間引きにおいて被写体の移動速度に応じた標本点の位相変化を施す処理を加えた圧縮処理構成を開示している。
上記の２件の文献に記載の構成は、観察者の視覚の時間積分効果を利用して、空間間引きに伴い発生する折り返し歪みを再生時には知覚されないようにした構成を持つ。さらに、より広範に知られる技術としての画素数間引き処理、すなわちダウンサンプリング処理においては、アンチエイリアシングフィルタを用いた帯域制限により折り返し歪みの発生を抑制したデータ圧縮が実現される。
特開２００５−１９８２６８号公報 特開２００６−５９０４号公報
上述のように、いくつかの従来技術において、処理対象画像から求められる様々な特性に基づいて圧縮態様を変更し、データ品質を高める構成が開示されているが、これまでに開示されている圧縮方法では、圧縮画像データを復元し、再生した場合の画質劣化を十分に抑えるには至っていない。
アンチエイリアシングフィルタによる帯域制限を伴うダウンサンプリング処理においては、サンプリングによる折り返し歪みの発生を抑制することが可能であるが、原信号に対してローパスフィルタを適用するため、原信号から高周波成分が失われ、復元の結果得られる画像は非常にボケ感の強い画像となってしまう。
また、特許文献１および特許文献２では、帯域制限を行なわずに画素数の間引き処理を施すことで原信号の情報を失うことのない画像圧縮を実現した。折り返し歪みの発生は抑制できないが、被写体の移動量などに応じた適切な間引き処理を行なうことで、再生時に観察者が被写体を追従視した場合に視覚の時間積分により高調波成分を知覚できないようにしており、間引き処理に伴い発生した折り返し歪みの知覚を抑制した。しかしながら、実際には折り返し歪みを一切知覚できないような処理を実現することは困難であり、一部の折り返し歪みに関しては知覚されてしまい画質低下の原因となることがあった。
本発明は、このような問題点に鑑みてなされたものであり、画像の各領域の特徴、特に被写体の動きに対応した最適なアンチエイリアシングフィルタの阻止域周波数およびダウンサンプリングのサンプリング位置の変化レートを決定し、決定した態様に従って領域ごとに最適な態様でデータ変換処理を行なう構成とすることで品質劣化の極めて少ない圧縮および復元を可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第１の側面は、
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレームを１個以上のブロックに分割するブロック分割部と、
前記ブロック分割部において分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出する移動量検出部と、
前記移動量検出部の検出したブロック移動量を入力し、ブロックに対する処理パラメータとして、ダウンサンプリング（画素間引き）処理におけるサンプリング位相変化レート（ΔＰ）を決定する制御部と、
前記ブロック分割部において分割された各ブロックを入力し、超解像効果の発生条件として決定される阻止対象高調波成分次数（Ｋ）に基づいて算出される阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去するプレフィルタ部と、
前記プレフィルタ部において高域周波数成分が除去されたブロックを入力し、前記サンプリング位相変化レート（ΔＰ）に従って入力ブロックのダウンサンプリング（画素数間引き）処理を実行し、各ブロックの構成画素数を１／Ｍ（Ｍ≧２、整数）倍に削減するダウンサンプリング部と、
を有することを特徴とする動画像変換装置にある。
さらに、本発明の動画像変換装置の一実施態様において、前記制御部は、１／Ｍ倍のダウンサンプリングに伴い発生する各次数の高調波成分データ各々に対して算出される視覚の時間積分効果による超解像効果が発生するブロック移動速度領域情報を適用して、超解像効果の発生する被写体速度領域のみとしたダウンサンプリングが可能となるように阻止対象高調波成分次数（Ｋ）を決定し、決定した阻止対象高調波成分次数（Ｋ）を前記プレフィルタ部に入力する構成であり、前記プレフィルタ部は、前記制御部から、前記阻止対象高調波成分次数（Ｋ（１＜Ｋ＜Ｍ、整数））を入力し、前記ダウンサンプリング部が施す１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、Ｋ以上の次数の高調波成分が原信号成分と重ならない設定となる阻止域周波数（ｆｓ）以上の高域周波数成分を除去するローパスフィルタによる帯域制限処理を実行する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記制御部は、１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、阻止対象高調波成分次数（Ｋ）未満の次数の高調波成分により発生する折り返し歪みが、前記移動量検出部の検出したブロック移動量で観察者が動画像を追従視した場合に、観察者の視覚の時間積分効果により知覚不能となるようなフレーム毎のサンプリング位相変化レートを各ブロックについて算出し、算出した結果をサンプリング位相変化レート（ΔＰ）として前記ダウンサンプリング部に供給する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記ダウンサンプリング部は、前記制御部から入力する各ブロックに対応するサンプリング位相変化レート（ΔＰ）に従って、フレームの進行と共にブロックに対するサンプリング位置を変化させたダウンサンプリング処理を実行する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記プレフィルタ部は、予めメモリに記録された阻止対象高調波成分次数（Ｋ）、または外部から入力する阻止対象高調波成分次数（Ｋ）を利用して前記阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去する処理を実行する構成であることを特徴とする。
さらに、本発明の第２の側面は、
動画像変換データの復元処理を実行する動画像復元装置であり、
動画像変換データを構成する各ブロック対応変換データと、該ブロック対応変換データの変換態様を示す変換態様情報とを入力し、前記変換態様情報に基づいて、前記ブロック対応変換データ中に含まれない画素の画素値を０として変換処理前の画素数からなる画像データを生成するアップサンプリング部と、
前記アップサンプリング部の生成した画像データを入力し、前記変換態様情報に基づいて、前記画像データの構成画素の各々の画素値を、近傍画素の画素値を利用して決定する処理を実行するポストフィルタ部と、
を有することを特徴とする動画像復元装置にある。
さらに、本発明の動画像復元装置の一実施態様において、前記ポストフィルタ部は、前記アップサンプリング部の生成した画像データの構成画素の画素値決定処理に際して、処理対象画素を含むブロックのダウンサンプリング方向と隣接ブロックのダウンサンプリング方向が同一であり、かつサンプリング位相が異なる場合、サンプリング位相を一致させる前処理を実行した後、サンプリング位相を一致させた複数ブロックの構成画素の画素値を適用したフィルタリング処理を施すことにより画素値決定処理を行う構成であることを特徴とする。
さらに、本発明の動画像復元装置の一実施態様において、前記ポストフィルタ部は、前記アップサンプリング部の生成した画像データの構成画素の画素値決定処理に際して、処理対象画素を含むブロックのサンプリング周波数と隣接ブロックのサンプリング周波数が異なる場合、サンプリング周波数を一致させる前処理を実行した後、サンプリング周波数を一致させた複数ブロックの構成画素の画素値を適用したフィルタリング処理を施すことにより画素値決定処理を行う構成であることを特徴とする。
さらに、本発明の動画像復元装置の一実施態様において、前記ポストフィルタ部は、前記アップサンプリング部の生成した画像データの構成画素の画素値決定処理に際して、処理対象画素を含むブロックのダウンサンプリング方向と隣接ブロックのダウンサンプリング方向が異なる場合、ダウンサンプリング方向を一致させる前処理を実行した後、ダウンサンプリング方向を一致させた複数ブロックの構成画素の画素値を適用したフィルタリング処理を施すことにより画素値決定処理を行う構成であることを特徴とする。
さらに、本発明の第３の側面は、
動画像変換装置において、動画像データのデータ変換処理を実行する動画像変換方法であり、
ブロック分割部が、動画像データを構成するフレームを１個以上のブロックに分割するブロック分割ステップと、
移動量検出部が、前記ブロック分割部において分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出する移動量検出ステップと、
制御部が、前記移動量検出部の検出したブロック移動量を入力し、ブロックに対する処理パラメータとして、ダウンサンプリング（画素間引き）処理におけるサンプリング位相変化レート（ΔＰ）を決定する制御ステップと、
プレフィルタ部が、前記ブロック分割部において分割された各ブロックを入力し、超解像効果の発生条件として決定される阻止対象高調波成分次数（Ｋ）に基づいて算出される阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去するプレフィルタ処理ステップと、
ダウンサンプリング部が、前記プレフィルタ部において高域周波数成分が除去されたブロックを入力し、前記サンプリング位相変化レート（ΔＰ）に従って入力ブロックのダウンサンプリング（画素数間引き）処理を実行し、各ブロックの構成画素数を１／Ｍ（Ｍ≧２、整数）倍に削減するダウンサンプリング処理ステップと、
を有することを特徴とする動画像変換方法にある。
さらに、本発明の動画像変換方法の一実施態様において、前記制御ステップは、１／Ｍ倍のダウンサンプリングに伴い発生する各次数の高調波成分データ各々に対して算出される視覚の時間積分効果による超解像効果が発生するブロック移動速度領域情報を適用して、超解像効果の発生する被写体速度領域のみとしたダウンサンプリングが可能となるように阻止対象高調波成分次数（Ｋ）を決定し、決定した阻止対象高調波成分次数（Ｋ）を前記プレフィルタ部に入力するステップであり、前記プレフィルタ処理ステップは、前記制御部から、前記阻止対象高調波成分次数（Ｋ（１＜Ｋ＜Ｍ、整数））を入力し、前記ダウンサンプリング部が施す１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、Ｋ以上の次数の高調波成分が原信号成分と重ならない設定となる阻止域周波数（ｆｓ）以上の高域周波数成分を除去するローパスフィルタによる帯域制限処理を実行するステップであることを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記制御ステップは、１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、阻止対象高調波成分次数（Ｋ）未満の次数の高調波成分により発生する折り返し歪みが、前記移動量検出部の検出したブロック移動量で観察者が動画像を追従視した場合に、観察者の視覚の時間積分効果により知覚不能となるようなフレーム毎のサンプリング位相変化レートを各ブロックについて算出し、算出した結果をサンプリング位相変化レート（ΔＰ）として前記ダウンサンプリング部に供給するステップであることを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記ダウンサンプリング処理ステップは、前記制御部から入力する各ブロックに対応するサンプリング位相変化レート（ΔＰ）に従って、フレームの進行と共にブロックに対するサンプリング位置を変化させたダウンサンプリング処理を実行するステップであることを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記プレフィルタ処理ステップは、予めメモリに記録された阻止対象高調波成分次数（Ｋ）、または外部から入力する阻止対象高調波成分次数（Ｋ）を利用して前記阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去する処理を実行するステップであることを特徴とする。
さらに、本発明の第４の側面は、
動画像復元装置において、動画像変換データの復元処理を実行する動画像復元方法であり、
アップサンプリング部が、動画像変換データを構成する各ブロック対応変換データと、該ブロック対応変換データの変換態様を示す変換態様情報とを入力し、前記変換態様情報に基づいて、前記ブロック対応変換データ中に含まれない画素の画素値を０として変換処理前の画素数からなる画像データを生成するアップサンプリング処理ステップと、
ポストフィルタ部が、前記アップサンプリング部の生成した画像データを入力し、前記変換態様情報に基づいて、前記画像データの構成画素の各々の画素値を、近傍画素の画素値を利用して決定する処理を実行するポストフィルタ処理ステップと、
を有することを特徴とする動画像復元方法にある。
さらに、本発明の動画像復元方法の一実施態様において、前記ポストフィルタ処理ステップは、前記アップサンプリング部の生成した画像データの構成画素の画素値決定処理に際して、処理対象画素を含むブロックのダウンサンプリング方向と隣接ブロックのダウンサンプリング方向が同一であり、かつサンプリング位相が異なる場合、サンプリング位相を一致させる前処理を実行した後、サンプリング位相を一致させた複数ブロックの構成画素の画素値を適用したフィルタリング処理を施すことにより画素値決定処理を行うステップであることを特徴とする。
さらに、本発明の動画像復元方法の一実施態様において、前記ポストフィルタ処理ステップは、前記アップサンプリング部の生成した画像データの構成画素の画素値決定処理に際して、処理対象画素を含むブロックのサンプリング周波数と隣接ブロックのサンプリング周波数が異なる場合、サンプリング周波数を一致させる前処理を実行した後、サンプリング周波数を一致させた複数ブロックの構成画素の画素値を適用したフィルタリング処理を施すことにより画素値決定処理を行うステップであることを特徴とする。
さらに、本発明の動画像復元方法の一実施態様において、前記ポストフィルタ処理ステップは、前記アップサンプリング部の生成した画像データの構成画素の画素値決定処理に際して、処理対象画素を含むブロックのダウンサンプリング方向と隣接ブロックのダウンサンプリング方向が異なる場合、ダウンサンプリング方向を一致させる前処理を実行した後、ダウンサンプリング方向を一致させた複数ブロックの構成画素の画素値を適用したフィルタリング処理を施すことにより画素値決定処理を行うステップであることを特徴とする。
さらに、本発明の第５の側面は、
動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、
ブロック分割部にが、動画像データを構成するフレームを１個以上のブロックに分割させるブロック分割ステップと、
移動量検出部に、前記ブロック分割部において分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出させる移動量検出ステップと、
制御部に、前記移動量検出部の検出したブロック移動量を入力し、ブロックに対する処理パラメータとして、ダウンサンプリング（画素間引き）処理におけるサンプリング位相変化レート（ΔＰ）を決定させる制御ステップと、
プレフィルタ部に、前記ブロック分割部において分割された各ブロックを入力し、超解像効果の発生条件として決定される阻止対象高調波成分次数（Ｋ）に基づいて算出される阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去させるプレフィルタ処理ステップと、
ダウンサンプリング部に、前記プレフィルタ部において高域周波数成分が除去されたブロックを入力し、前記サンプリング位相変化レート（ΔＰ）に従って入力ブロックのダウンサンプリング（画素数間引き）処理を実行し、各ブロックの構成画素数を１／Ｍ（Ｍ≧２、整数）倍に削減させるダウンサンプリング処理ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
さらに、本発明の第６の側面は、
動画像復元装置において、動画像変換データの復元処理を実行させるコンピュータ・プログラムであり、
アップサンプリング部に、動画像変換データを構成する各ブロック対応変換データと、該ブロック対応変換データの変換態様を示す変換態様情報とを入力し、前記変換態様情報に基づいて、前記ブロック対応変換データ中に含まれない画素の画素値を０として変換処理前の画素数からなる画像データを生成させるアップサンプリング処理ステップと、
ポストフィルタ部に、前記アップサンプリング部の生成した画像データを入力し、前記変換態様情報に基づいて、前記画像データの構成画素の各々の画素値を、近傍画素の画素値を利用して決定する処理を実行させるポストフィルタ処理ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成によれば、画素数間引き処理により動画像データのサンプル数を１／Ｍ倍に削減するダウンサンプリング処理の前に、ダウンサンプリング後のサンプリング周波数ｆに対して、阻止域周波数ｆｓがｆｓ＞ｆ／２であるようなローパスフィルタを用いて帯域制限を行なう構成としたので、高い次数の高調波により発生する折り返し歪みを抑制しつつ、原信号の高周波成分を大きく損失することはないので、復元時のボケの発生をも抑制することができる。
また、本発明の一実施例の構成によれば、ダウンサンプリング処理部が動画像データに対して施す１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、Ｋ以上の次数の高調波成分が原信号成分と重ならないような阻止域周波数ｆｓに基づくローパスフィルタによる帯域制限を予め動画像データに対して適用する構成としたので、Ｋ次以上の高調波による折り返し歪みの発生を抑制できる。
また、本発明の一実施例の構成によれば、各ブロックの移動量に応じて最適に設定されたサンプリング位相変化レートに基づいて、フレームの進行と共にサンプリング位置が変化するダウンサンプリング処理を各ブロックまたは一部のブロックに対して施す構成としたので、領域毎の被写体の移動量に対してロバストなデータ圧縮処理が実現できる。
また、本発明の一実施例の構成によれば、観察者が動画像を追従視した場合に、観察者の視覚の時間積分効果によりＫ未満の次数の高調波成分が知覚不能となるようなサンプリング位相変化レートを各ブロックについて算出する構成としたので、Ｋ次未満の高調波により発生する折り返し歪みは再生時に抑制される。
また、本発明の一実施例の構成によれば、サンプリング位相変化レートＰ＝０の場合に、ダウンサンプリングに伴って発生する高調波成分のうち、Ｌ次未満の次数の高調波成分の全てに関して、移動量ｖ＝ｖ０から少なくともｖ＝ｖ０＋１（ピクセル／フレーム）の範囲内の移動速度で移動する被写体を観察者が追従視した場合に、観察者の視覚の時間積分効果によりそれらＬ次未満の次数の高調波成分が知覚不能となる基準移動量ｖ０が存在するような最大のＬに対して阻止対象高調波成分次数Ｋ＝Ｌ＋１とする構成としたので、画像を構成するブロック間でサンプリング位相変化レートが頻繁に変わることを防ぐことができる。
さらに、本発明の一実施例の構成によれば、動画像変換データを構成する各ブロック対応変換データと各ブロック対応変換態様情報とを入力し、変換態様情報に基づきサンプル数を０内挿によりＭ倍に増加するアップサンプリング処理部と、変換態様情報に基づき動画像変換データの補間処理を行なう補間フィルタ部を有する動画像復元装置を構成し、補間フィルタでは動画像変換装置のプレフィルタ部における帯域制限で用いたものと同様の阻止域周波数を持つローパスフィルタを用いる構成としたので、再生時にはオリジナルに近い、ボケおよび折り返し歪みの抑制された動画像を知覚することができる。
以下、図面を参照しながら、本発明の動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムの構成について説明する。
図１に本発明の動画像変換装置１００の構成例を示す。この動画像変換装置１００は、帯域制限および超解像効果を利用した動画像変換処理を行なうことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行なうことができる構成としたものである。
なお、超解像効果とは、観測者がある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果である。人の視覚は刺激を知覚すると、その刺激を、その刺激の呈示が終了した後もある時間記憶するという機能（感覚記憶機能と称する）を有している。この時間については１０ｍｓ乃至２００ｍｓであるという報告が多数なされている。この機能は、アイコニックメモリー、あるいは視覚的持続などとも呼ばれ、例えば、"視覚情報ハンドブック、日本視覚学会編、ｐｐ２２９−２３０"などに記載されている。なお、超解像効果は、人間の視覚機能における時間的積分機能および感覚記憶機能が複雑に関係して引き起こされていると考えられる。
図１に示す動画像変換装置１００は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行なうことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行なう構成としたものである。図１の動画像変換装置１００の構成について説明する。
ブロック分割部１０１は、入力された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し、移動量検出部１０２およびプレフィルタ部１０４に供給する。移動量検出部１０２は、ブロック分割部１０１から供給された各ブロックについての移動量を検出し、検出した移動量を制御部１０３に供給する。制御部１０３は移動量検出部１０２から供給された各ブロックについての移動量に基づき、阻止対象高調波成分次数Ｋを算出し、プレフィルタ部１０４に供給する。
阻止対象高調波成分次数Ｋについては後段で詳細に説明するが、ここで簡単に説明する。図１に示す動画像変換装置１００は、入力画像のダウンサンプリング、すなわち間引き処理を実行してデータ量を削減した圧縮画像を生成して出力する。例えば、ダウンサンプリング量（間引き量）をＭとして、入力データを１／Ｍのデータ量に削減する１／Ｍ倍のダウンサンプリングを行なう。このように１／Ｍ倍のダウンサンプリングを行なう場合、１次からＭ−１次までの高調波が発生し、各高調波成分が周波数領域において原信号成分と重なることで折り返し歪みが発生する。
その結果、圧縮画像を復元して再生した画像に折り返し歪みに起因する画質劣化が知覚される場合がある。そこで、本発明の動画像変換装置では、プレフィルタ部１０４において予め特定の次数以上の高調波成分を除去する帯域制限処理を実行して、高調波成分を除去したデータをダウンサンプリング部１０５においてダウンサンプリング、すなわち間引き処理を実行してデータ量を削減した圧縮画像データを生成する。その場合の高調波成分の除去レベルに相当するのが、阻止対象高調波成分次数Ｋとなる。なお、阻止対象高調波成分次数Ｋの決定手法、および、プレフィルタ部１０４における処理の詳細については後段で詳細に説明する
制御部１０３は移動量検出部１０２から供給された各ブロックについての移動量に基づき、各ブロックに対応するサンプリング位相変化レートを算出し、ダウンサンプリング部１０５に供給する。プレフィルタ部１０４は、ブロック分割部１０１から供給された各ブロックに対して、制御部１０３から供給された阻止対象高調波成分次数Ｋに基づく帯域制限処理、すなわち、各ブロック画像に含まれる高調波成分を阻止対象高調波成分次数Ｋに基づいて除去する処理を施し、ダウンサンプリング部１０５に供給する。ダウンサンプリング部１０５は、プレフィルタ部１０４から供給された帯域制限後のブロックデータに対して、制御部１０３から供給されたサンプリング位相変化レートに基づくダウンサンプリング処理を施し、出力する。
続いて、図１に示す動画像変換装置１００の各構成部の詳細について説明する。
まず、ブロック分割部１０１について説明する。ブロック分割部１０１は入力された動画像の各フレームを１つ以上の任意の個数のブロックに分割する。このときのブロックサイズは各ブロックに関して共通でなくとも構わない。しかしながら、任意の正の整数Ｍに対して、１／Ｍ倍のダウンサンプリング（間引き処理）を行なう場合、ブロックの縦横の画素数はＭの整数倍とするのが最も適切である。例えば、Ｍ＝４として１／４倍のダウンサンプリング（間引き処理）を実行する構成では、ブロックサイズを４×４画素や、８×８画素等のブロックサイズとする設定が好ましい。
続いて、移動量検出部１０２について説明する。移動量検出部１０２はブロック分割部１０１から供給された各ブロックに対応する移動量を任意の方法（例えばブロックマッチング）によって検出する。例えば、Ｐ番目のフレームのあるブロックの移動量の検出をブロックマッチングによって行なう場合、Ｐ−１番目のフレームの対応ブロックを参照ブロックとして、フレーム間の移動量（例えば動きベクトル）を検出する。従って、ブロックマッチングによって移動量の検出を行なう場合は、移動量検出部１０２はカレントフレーム以外のフレームも参照可能な構成とする。移動量は動きベクトルの形式で制御部１０３に供給される。ただし、ブロックのＸ方向およびＹ方向の移動量を知ることができるような情報であれば、動きベクトル以外の形式で制御部１０３に移動量を供給しても良い。
続いて、制御部１０３の前にプレフィルタ部１０４およびダウンサンプリング部１０５について詳細を説明する。
まず、プレフィルタ部１０４について説明する。プレフィルタ部１０４はブロック分割部１０１から供給されたブロックの各々について、ブロック画像に含まれる高調波成分を阻止対象高調波成分次数Ｋに基づいて除去する処理、すなわち、帯域制限を施す。帯域制限にはフィルタが適用可能であるが、適用するフィルタの種類は、高調波成分除去を実現するものであれば、どのような設計方法によって設計されたものであっても良い。ここでは一例としてＦＩＲ（Ｆｉｎｉｔ−ｄｕｒａｔｉｏｎ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ（有限インパルス応答））フィルタを適用した帯域制限を行なう構成について説明する。
フィルタの阻止域周波数ｆｓは制御部１０３から供給される阻止対象高調波成分次数Ｋに基づいて決定される。周波数ｆｓ以上の高調波成分が除去される。なお、阻止対象高調波成分次数Ｋは各ブロックによって異なっても、全てのブロックで共通であっても良い。前述したように、１／Ｍ倍のダウンサンプリングを行なう場合、１次からＭ−１次までの高調波が発生する。このとき、各高調波成分が周波数領域において原信号成分と重なることで折り返し歪みが発生する。ダウンサンプリング前に予め適切な帯域制限を行なうことで特定の次数以上の高調波成分が原因で発生する折り返し歪みを抑制することが可能である。
ダウンサンプリング前の帯域制限により特定の次数以上の高調波成分が原因で発生する折り返し歪みが抑制される理論について図２以下を用いて説明する。
０．５Ｈｚで帯域制限された１次元アナログ信号ｆ（ｘ）を１／Ｔ（Ｈｚ）でサンプリングした１次元離散信号ｆｄ（ｎ）について考える。１次元離散信号ｆｄ（ｎ）は、０．５Ｈｚで帯域制限された１次元アナログ信号ｆ（ｘ）を用いて以下のように得られる。
・・・・・（式１）
ここでＴはサンプリング間隔、δ（ｔ）はデルタ関数であり、ｔ＝０の場合のみδ（ｔ）＝１となり、他の場合はδ（ｔ）＝０となる関数である。１次元アナログ信号ｆ（ｘ）を１次元の被写体と考えると、１次元離散信号ｆｄ（ｎ）はそれを撮像した結果得られる１次元の画像信号であると考えることができる。
１次元離散信号ｆｄ（ｎ）の周波数領域における特性を知るために、ｆｄ（ｎ）のフーリエ変換を計算する。ｆ（ｘ）のフーリエ変換をＦ（ω）とすると、離散化信号ｆｓ（ｎ）のフーリエ変換Ｆｓ（ω）は、
・・・・（式２）
となる。ここでωは角周波数を示す。
図２（ａ）に０．５Ｈｚで帯域制限された１次元アナログ信号ｆ（ｘ）の周波数特性｜Ｆ（ω）｜１２０の例を示す。０．５Ｈｚ（ω＝π）で帯域制限されているので、ω＝π以上の周波数成分を持たない。図２（ｂ）は、サンプリング間隔Ｔ＝１、すなわち１Ｈｚでサンプリングした場合のｆｄ（ｎ）の周波数特性｜Ｆｄ（ω）｜であり、（式２）からもわかるように、２π周期で同じ波形が繰り返し生じている。
図２（ｂ）におけるデータ１３０はｒ＝０の項に、データ１３１はｒ＝−１の項に対応しており、データ１３２はｒ＝１の項に対応している。
ここで、ｆｄ（ｎ）のサンプル数をダウンサンプリングによって１／４に減らすことを考える。つまり、サンプリング間隔Ｔを、図２（ｂ）ではＴ＝１であったものを、Ｔ＝４とする。このときの周波数特性は、（式２）においてＴ＝４とすれば得られる。Ｔ＝４の場合の周波数特性｜Ｆｄ（ω）｜を図２（ｃ）に示す。
図２（ｃ）では波形の繰り返し周期が１／４なっていることがわかる。図２（ｃ）においてデータ１４１の点線の波形はｒ＝±１に対応する項から得られる波形であり、これを１次高調波成分と呼ぶ。データ１４２の点線の波形はｒ＝±２に対応する項から得られる波形であり、これを２次高調波成分と呼ぶ。データ１４３の点線の波形はｒ＝±３に対応する項から得られる波形であり、これを３次高調波成分と呼ぶ。ダウンサンプリングによってサンプル数を１／４に減らしたことで図２（ｂ）では見られなかった１次から３次の高調波成分が発生する。
実際のサンプリング間隔Ｔ＝４の場合の１次元離散信号ｆｄ（ｎ）の周波数特性｜Ｆｄ（ω）｜はこれら全てを加算したものであるから、図２（ｃ）のデータ１４４で示した波形となり、図２（ｂ）の信号とは全く異なる信号になっていることがわかる。これが折り返し歪みであり、サンプリング周波数が原信号の帯域に対して十分ではないために、各高調波成分と原信号成分が重なることで発生する。
ここで、ダウンサンプリングの前に帯域制限を施すと折り返し歪みを抑制することができることについて図３、図４を参照して説明する。
図３（ａ）に示すデータ１５０は図２（ａ）の信号に対して、理想的なローパスフィルタを用いて、阻止域周波数（カットオフ周波数）を０．２５Ｈｚとして帯域制限をおこなった信号を示している。その後、同様に１／４倍のダウンサンプリングを施した例を図３（ｂ）に示す。図３（ｂ）では、原信号成分データ１６０と重なっている高調波は、１次の高調波データ１６１のみであり、２次の高調波データ１６２と３次の高調波データ１６３は原信号成分データ１６０と重なっていない。よって折り返し歪みを発生させる高調波は１次の高調波のみとなる。
同様に図４（ａ）のデータ１７０は図２（ａ）の信号に対して、理想的なローパスフィルタを用いて、阻止域周波数（カットオフ周波数）を０．３７５Ｈｚとして帯域制限をおこなった信号を示している。その後、同様に１／４倍のダウンサンプリングを施した例を図４（ｂ）に示す。図４（ｂ）では、原信号成分データ１８０と重なっている高調波は、１次の高調波データ１８１と２次の高調波データ１８２であり、３次の高調波データ１８３は原信号成分データ１８０と重なっていない。よって折り返し歪みを発生させる高調波は１次の高調波と２次の高調波となる。
以上のように、ダウンサンプリング前の帯域制限における阻止域周波数を適切に設定することで、ダウンサンプリング後に特定の次数以上の高調波成分による折り返し歪みの発生を防ぐことができる。Ｍ＝４であり、原信号が０．５Ｈｚで帯域制限されている場合には図２に示したようにローパスフィルタの阻止域周波数を０．２５Ｈｚとすることで２次以上の、０．３７５Ｈｚとすることで３次以上の高調波成分による折り返し歪みを抑制することができる。
一般的に、原信号がｇ（Ｈｚ）で帯域制限されているとすると、１／Ｍダウンサンプリングに伴う、Ｋ次以上の高調波成分による折り返し歪みの発生を抑制したい場合は、阻止域周波数ｆｓを、
ｆｓ＝Ｋ・ｇ／Ｍ （式３）
上記式（式３）によって算出される周波数となるように設定すればよい。
図１に示す動画像変換装置１００におけるプレフィルタ部１０４は、このようにして、制御部１０３から供給される阻止対象高調波成分次数Ｋに基づいて、上記（式３）に基づいて阻止域周波数ｆｓを算出し、阻止域周波数をｆｓとしたローパスフィルタによって帯域制限を行なう。なお、阻止域周波数ｆｓは、カットする高周波の下限周波数を設定しているものであり、上記（式１）により算出される値以下に設定することで、Ｋ次以上の高調波成分による折り返し歪みの発生を抑制できることになり、プレフィルタ部１０４は、上記（式１）により算出される値、またはその値以下の周波数を阻止域周波数ｆｓとしたローパスフィルタによって帯域制限を行なう。
次に、プレフィルタ部１０４の具体的な帯域制限処理について説明する。帯域制限はどのようなフィルタを用いて実行しても良いが、ここでは１例として９タップのＦＩＲ（有限インパルス応答）フィルタによる帯域制限処理を行なう場合について説明する。
ダウンサンプリング量（間引き量）［Ｍ］を、Ｍ＝４として１／４倍のダウンサンプリング（間引き処理）を実行する構成とし、帯域制限を施すブロックのサイズが４画素×４画素であるとする。制御部１０３から、ブロックに対応する阻止対象高調波成分次数Ｋとダウンサンプリングを施す方向（縦または横）が与えられれば、プレフィルタ部１０４は帯域制限フィルタの阻止域周波数を上記（式３）に従って計算可能であり、帯域制限をブロックに対して施すことができる。
例えば、原信号がｇ（Ｈｚ）＝０．５Ｈｚで帯域制限されており、制御部１０３から供給される阻止対象高調波成分次数Ｋ＝２とすると、１／４ダウンサンプリングに伴う、２次以上の高調波成分による折り返し歪みの発生を抑制したい場合は、阻止域周波数ｆｓは、上記式（式３）に基づいて、
ｆｓ＝Ｋ・ｇ／Ｍ
＝２×０．５／４
＝０．２５
すなわち、
ｆｓ＝０．２５Ｈｚとなる。
任意のフィルタ設計方法によって阻止域周波数が０．２５Ｈｚの９タップのＦＩＲフィルタのインパルス応答を計算し、そのインパルス応答を［Ａ０、Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７、Ａ８］とする。このインパルス応答を［Ａ０、Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７、Ａ８］と画素値との縦方向または横方向の畳み込みによってフィルタリングを完了することができる。例えば、ダウンサンプリングを横方向に行なう場合、畳み込み（フィルタリング）は横方向に行なわれる。
図５を参照して、阻止域周波数ｆｓ＝０．２５Ｈｚとした場合のフィルタリング処理例について説明する。図５（ａ）は、プレフィルタ部１０４に対して、ブロック分割部１０１から入力される３つのブロック２０１〜２０３を示している。各ブロック２０１〜２０３は４画素×４画素のブロックである。
図５（ｂ）は、４画素×４画素の中央のブロック２０２を構成する画素のうちの１画素（ｔ００）２０４を対象としたフィルタリング処理の例を示している。プレフィルタ部１０４の帯域制限フィルタとして利用する９タップのＦＩＲ（有限インパルス応答）フィルタのインパルス応答２０６は、図５（ｂ）に示すＡ０〜Ａ８である。
画素（ｔ００）２０４を対象としたフィルタリング処理を９タップのＦＩＲフィルタを適用してフィルタリングを行う場合、画素（ｔ００）２０４を中心として横方向に前後４画素の画素値を取得し、計９画素データ２０５を適用してフィルタリング処理を実行する。９画素データ２０５は、ブロック２０１の画素ｓ００〜ｓ０３、ブロック２０２の画素ｔ００〜ｔ０３、ブロック２０３の画素ｕ００の計９画素によって構成される。
画素ｔ００およびその左右４画素の計９画素の画素データ２０５と、インパルス応答２０６との積和を計算し、その結果を、帯域制限後の画素２０４の画素値［ｔ'００］２０７とする。プレフィルタ部１０４は、ブロックを構成するその他の全ての画素の画素値を同様の処理で得て、その結果をダウンサンプリング部１０５に出力する。
なお、プレフィルタ部１０４では、図５を参照して説明したように、ブロックを跨った処理が行なわれる。図５に示す例は、９タップのＦＩＲフィルタを適用したフィルタリング処理であり、処理対象画素を含む９画素、すなわち処理対象画素の含まれるブロックと両隣のブロックの画素を利用して処理が実行されるが、フィルタのタップ長がさらに長い場合は、隣接ブロック以外のブロックの画素値を利用することもある。
このように、プレフィルタ部１０４では、制御部１０３から供給される阻止対象高調波成分次数Ｋに基づいて、上記（式３）に基づいて阻止域周波数ｆｓを算出し、阻止域周波数をｆｓとしたローパスフィルタによって帯域制限を行なう。例えば、動画像変換装置１００に入力される画像信号がｇ（Ｈｚ）で帯域制限されており、ダウンサンプリング部１０５で１／Ｍダウンサンプリングを行う場合、プレフィルタ部１０４は、制御部１０３の決定する阻止対象高調波成分次数Ｋに基づいて、阻止域周波数ｆｓを前述の式（ｆｓ＝Ｋ・ｇ／Ｍ）によって算出し、阻止域周波数をｆｓとしたローパスフィルタによって、例えば図５に示す画素値変換を実行して、画像の高周波成分を除去した帯域制限画像を生成し、この結果をダウンサンプリング部１０５に出力する。
なお、上記説明では、プレフィルタ部１０４は、制御部１０３から供給される阻止対象高調波成分次数Ｋに基づいて、上記（式３）に基づいて阻止域周波数ｆｓを算出し、阻止域周波数をｆｓとしたローパスフィルタによって帯域制限を行なうとして説明したが、プレフィルタ部１０４は、予め動画像変換装置１００のメモリに記録された阻止対象高調波成分次数（Ｋ）、または外部から入力する阻止対象高調波成分次数（Ｋ）を利用して阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去する処理を実行する構成としてもよい。
続いて、ダウンサンプリング部１０５において実行するダウンサンプリング処理について説明する。ダウンサンプリング部１０５はプレフィルタ部１０４から供給される帯域制限の施されたブロックデータに対して、画素数の削減処理を施す。画素数の削減処理は、制御部１０３より供給されるサンプリング位相変化レート（ΔＰ）に基づいて行なわれる。サンプリング位相変化レートΔＰは、ダウンサンプリング量（間引き量）をＭ、すなわち、１／Ｍ倍のダウンサンプリングを行う場合、
ΔＰ＝０〜Ｍ−１
の整数であり、フレーム毎のサンプル位相の変化を示している。ｔ番目のフレームのサンプリング位相Ｐは、以下の式（式４）、
Ｐ＝ｔ×ΔＰ％Ｍ（式４）
によって得られる。上記式（式４）において、［％］は剰余演算を示す。
例えば、
ダウンサンプリング量（間引き量）Ｍ＝４、
サンプリング位相変化レートΔＰ＝１、
であれば、ｔ番目のフレームのサンプリング位相Ｐは、
ｔ＝０→Ｐ＝０
ｔ＝１→Ｐ＝１
ｔ＝２→Ｐ＝２
ｔ＝３→Ｐ＝３
ｔ＝４→Ｐ＝０
となる。
また、
ダウンサンプリング量（間引き量）Ｍ＝４、
サンプリング位相変化レートΔＰ＝３、
であれば、ｔ番目のフレームのサンプリング位相Ｐは、
ｔ＝０→Ｐ＝０
ｔ＝１→Ｐ＝３
ｔ＝２→Ｐ＝２
ｔ＝３→Ｐ＝１
ｔ＝４→Ｐ＝０
となる。
このように、サンプリング位相は４フレーム周期で変化する。
例えば、Ｂ画素×Ｂ画素のブロックの左上の画素の座標を（ｘ、ｙ）とするとき、水平方向のダウンサンプリングによって画素値が残る画素の座標は、
（ｘ＋Ｐ＋Ｍ×Ｗ、ｙ＋Ｈ）・・・（式５）
上記式（式５）を満たすような、ブロック内の全ての画素となる。ここでＷおよびＨは任意の整数である。
また、垂直方向のダウンサンプリングによって画素値が残る画素の座標は、
（ｘ＋Ｗ、ｙ＋Ｐ＋Ｍ×Ｈ）・・・（式６）
上記式（式６）を満たすような、ブロック内の全ての画素となる。
ブロックに施されるダウンサンプリングが水平方向か垂直方向かの情報は制御部１０３から供給される。制御部１０３は、移動量検出部１０２から入力するブロック単位の移動ベクトルの向きに応じてダウンサンプリング方向を決定して、決定情報をサンプリング位相変化レートΔＰとともに、ダウンサンプリング部１０５に供給する。
図６にダウンサンプリング部１０５において実行するダウンサンプリング処理の一例を示す。図６に示す例は、
ブロック＝４画素×４画素、
ダウンサンプリングレート：Ｍ＝４、
サンプリング位相変化レートΔＰ＝１、
としている。
ｓ００からｓ３３がそれぞれ画素を表している。
図６の（Ａ）〜（Ｄ）が水平方向のダウンサンプリングの例であり、（Ｅ）〜（Ｈ）が垂直方向のダウンサンプリングの例である。
例えば、図６の（Ａ）〜（Ｄ）は、水平方向のダウンサンプリングの例であり、連続する４フレームの同一位置のブロックを示しており、（Ａ）〜（Ｄ）の各々の左側に示す４画素×４画素のブロックが１つのプレフィルタ部１０４においてフィルタリング処理結果としてのブロックデータであり、矢印の右側に示すブロックがブウンサンプリング（間引き）処理の結果として選択されるデータである。１ブロック１６画素中、４画素のみが選択され、その他の画素データは捨てられる。すなわち、１／４羽手のダウンサンプリング処理が実行される。
（Ａ）〜（Ｄ）は、連続する４フレームの同一位置のブロックを示しており、先行するフレーム（Ａ）については左端の画素データのみを残して他の画素データを捨て、次のフレーム（Ｂ）は左から２番目の画素データのみを残し他の画素データを捨て、次のフレーム（Ｃ）は左から３番目の画素データのみを残して他の画素データを捨て、次のフレーム（Ｄ）は左から４番目の画素データのみを残し他の画素データを捨てるというダウンサンプリング（間引き処理）を実行している。
図６（Ａ）〜（Ｄ）に示す例は、
サンプリング位相変化レートΔＰ＝１、
であり、ｔ番目のフレームのサンプリング位相Ｐは、
（Ａ）ｔ＝０→Ｐ＝０
（Ｂ）ｔ＝１→Ｐ＝１
（Ｃ）ｔ＝２→Ｐ＝２
（Ｄ）ｔ＝３→Ｐ＝３
となる。このダウンサンプル処理によってブロック内のデータ量を１／４に削減することができる。
図６（Ｅ）〜（Ｈ）は、垂直方向のダウンサンプリングの例であり、連続する４フレームの同一位置のブロックを示しており、先行するフレーム（Ｅ）については上端の画素データのみを残して他の画素データを捨て、次のフレーム（Ｆ）は上から２番目の画素データのみを残し他の画素データを捨て、次のフレーム（Ｇ）は上から３番目の画素データのみを残して他の画素データを捨て、次のフレーム（Ｈ）は上から４番目の画素データのみを残し他の画素データを捨てるというダウンサンプリング（間引き処理）を実行している。
図６（Ｅ）〜（Ｈ）に示す例は、
サンプリング位相変化レートΔＰ＝１、
であり、ｔ番目のフレームのサンプリング位相Ｐは、
（Ｅ）ｔ＝０→Ｐ＝０
（Ｆ）ｔ＝１→Ｐ＝１
（Ｇ）ｔ＝２→Ｐ＝２
（Ｈ）ｔ＝３→Ｐ＝３
となる。このダウンサンプル処理によってブロック内のデータ量を１／４に削減することができる。
以上のようにして、動画像変換装置１００はプレフィルタ部１０４による帯域制限の後、ダウンサンプリング部１０５によりダウンサンプリング（画素数の間引き処理）を施すことで動画像のデータ量を削減する。
最後に、制御部１０３の実行する処理について説明する。制御部１０３は、移動量検出部１０２から、各ブロック単位の移動量（例えば動きベクトル）を入力して、
プレフィルタ部１０４に提供する阻止対象高調波成分次数Ｋ、さらに、
ダウンサンプリング部１０５に提供するサンプリング位相変化レート（ΔＰ）とサンプリング方向、
これらの処理パラメータを決定して、決定した処理パラメータをプレフィルタ部１０４、ダウンサンプリング部１０５に出力する。
制御部１０３は、人間の持つ知覚積分効果による超解像現象を利用して、人間が画質劣化を知覚しないようなダウンサンプリング処理が実現されるように、これらの処理パラメータを決定する。
人間の持つ知覚積分効果による超解像現象を利用して、人間が画質劣化を知覚しないようなダウンサンプリング処理を実現する原理について、以下、説明する。
空間的なサンプリング位置が異なる複数の低解像度画像から高解像度の画像を生成する技術は、超解像処理として知られている。超解像の空間周波数領域における解釈は、例えば特開平８−３３６０４６号公報に詳細に示されている。また、人間の視覚効果に基づく超解像効果に関する原理や説明等は、特開２００５−１９８２６８号公報において詳しく解説がなされている。特開２００５−１９８２６８号公報に説明されている超解像効果の発生条件を以下に説明する。
動画像中の動被写体を観察者が追従視することを考える。Ｂｌｏｃｈの法則によれば、人間は短時間に提示された光を積分して知覚するので、動画像が十分に高速なフレームレートで表示されている場合、観察者が認識する映像は表示された連続の複数フレームを全て積分した結果であると考えられる。このとき、積分される各フレームにおけるサンプル位置は、動被写体の移動量に応じてずれて加算される。フレーム番号ｔにおけるサンプル位置のずれ量φ（ｔ）は被写体のフレームあたりの移動量：ｖ（単位：ピクセル）を用いて記述可能であり、以下の式（式７）によって示される。
・・・・・・（式７）
となる。なお、上記式（式７）において、Ｘはサンプリング間隔である。
サンプル位置のずれ量は最初のフレームのサンプル位置からの相対的なずれ量を示すとするので、φ（０）＝０である。原信号ｆ（ｘ）をサンプリング間隔Ｘで離散化した信号ｆｓ（ｘ）は、以下の式（式８）によって示される。
・・・・・・（式８）
さらに、そのフーリエ変換Ｆｓ（ω）は、以下の式（式９）によって示される。
・・・・・・（式９）
ここで、Ｆ（ω）は、原信号のフーリエ変換である。ｋ＝０の項が原信号成分であり、それ以外の項がｋ次の高調波成分に対応する。さらに、原信号を同様に離散化して、φ（ｔ）だけシフトした信号のフーリエ変換［Ｆｓφ（ｔ）（ω）］は、以下の式（式１０）によって示される。
・・・・・・（式１０）
上記式（式１０）は、フレーム番号［ｔ］における離散化信号のフーリエ変換であるから、観察者の視覚系において、Ｔ枚のフレームが積分されると考えると、実際に観察者が知覚する映像のフーリエ変換［Ｉ（ω）］は、上記式（式１０）を異なるｔに関して足し合わせた結果となり、以下の式によって表される。
・・・・・・（式１１）
上記式（式１１）において、全てのｋ≠０に対して、以下の式、
・・・・・・（式１２）
上記式が成立するとき、ｋ＝０の原信号成分の項のみが残るので、
となり、観察者は原信号を知覚する。
サンプリング間隔［Ｘ］をあらかじめ特定の値に設定し、観察者が積分するフレーム数［Ｔ］が既知であるとすると、前述の式（式７）により、（式１２）の左辺値は被写体の移動速度［ｖ］に依存することがわかる。
すなわち、被写体が（式１２）を満足するような速度で移動している場合には、信号をサンプリング間隔［Ｘ］離散しても発生したエイリアシングは全て観察者の知覚の積分処理によって相殺され、観察者は原信号を認識することになる。結局、例えば、サンプリング間隔Ｘ＝４において（式１２）が成立するような動被写体に関しては、その被写体を構成する画素数を、移動方向に１／４にダウンサンプリングしてしまっても、画質の劣化は観察者には認識されず、結果的にデータ量の圧縮を実現することができることになる。実際には（式１２）が完全に満たされなくともある程度の超解像現象は発生し、画質の劣化は観察者にはほとんど認識されないと考えられる。
なお、上述の式（式１２）は、
Ｖ＝ｅ−ｊ２πｋφ（ｔ）
と置けば、複素平面上のベクトルＶ（ｔ）の総和であると考えることができる。このとき、各ベクトルは、
回転角θ＝２πｋφ（１）
の間隔で複素平面上で回転する。その回転の様子を図７に示す。
このときの回転角θが適当な値であれば、視覚系の積分時間内におけるベクトル和をほぼ０となり、超解像が発生する。すなわち、上述の（式１２）の条件は被写体の移動速度の他に、視覚系の積分時間にも依存する。しかしながら、視覚の積分時間は環境によって変化することが知られている。また、環境によって変化することがなくとも実際に正確に計測することは困難であるため、（式１２）の条件を満たすような被写体移動速度の範囲を限定することは難しい。一方、視覚認知実験の結果からは、フレームレートが高い、つまり積分される画像数が多ければ、サンプリング間隔Ｘすなわち間引き量が大きくなっても超解像が得られることが分かっている。このとき、超解像が得られる条件は被写体速度に依存しており、およそ次式（式１３）のような関係にあると考えることができる。（ｎ：整数）
・・・・・・（式１３）
前述のように、次数ｋの高調波成分は位相が２πｋφ（１）間隔で回転していく。上記（式１３）は、各次の高調波成分の位相回転間隔が２πの倍数に近いときには超解像が得られないことを表している。位相回転間隔が２πの倍数に近いということは、時間ｔが変化しても高調波成分の位相がほとんど変わらないことを意味しており、高調波成分は打ち消されずに残ってしまう。位相回転間隔が（式１３）を満たしていれば、高調波成分の位相回転角を表すベクトルＶ（ｔ）は適切な間隔で回転しており、視覚系の積分時間内のベクトル和が十分に小さくなると考えられる。図８に（式１１）を図示したものを示す。図８の斜線の範囲内に角度２πｋφ（１）が入っていれば超解像が発生する。
上記（式１３）は超解像を得られる条件を示しているが、超解像を得られない条件は以下のようになる。
・・・・・・（式１４）
上記式（式１４）のφ（ｔ）に前述の（式７）を代入すると、
・・・・・・（式１５）
超解像を得られない条件は、上記式（式１５）のように表すことができる。さらに、これを変換すると、以下の式、すなわち、超解像を得られない被写体移動速度ｖの判定を規定する式がせ得られる。
・・・・・・（式１６）
ここで、ダウンサンプリング部１０５で１／Ｍ倍のダウンサンプリングを行なう場合を考えると、サンプリング間隔：Ｘ＝Ｍである。さらに、
αＭ＝Ｍσ／２π
と置けば、超解像を得られない被写体移動速度ｖの範囲を高調波成分次数ｋと、ダウンサンプリング量（間引き量）をＭとによって規定した以下の式が得られる。
・・・・・・（式１７）
上記（式１７）は超解像を得られない条件被写体の移動速度ｖを規定しており、これは、１／Ｍ倍のダウンサンプリングに伴い発生する次数ｋの高調波成分が観察者の視覚系の積分処理によって「打ち消されない」被写体の移動速度ｖの範囲を示している。すなわち、被写体が（式１７）を満たすような速度ｖで移動している場合に１／Ｍ倍のダウンサンプリングを施すと、観察者が被写体を追従視した場合、折り返し歪みを知覚し、画質劣化を認識する。（式１７）はＭ／ｋの整数倍の速度と、その速度の±αＭ／ｋの範囲の速度で画質劣化が発生することを示している。なお、αＭは心理物理実験などの結果から得ることができる。
図９は、（式１７）に示す式における移動速度ｖと、高調波成分次数ｋとの対応関係を示す図であり、ダウンサンプリング量（間引き量）をＭ＝４として、入力データを１／４のデータ量に削減する１／４倍のダウンサンプリングを行う場合の移動速度ｖと、高調波成分次数ｋとの対応関係を示している。すなわち、図９はダウンサンプリング量（間引き量）：Ｍ＝４の場合に発生する各次数の高調波成分について、超解像効果が発生するか否かを示している。
横軸は被写体の移動速度（ｖ（ピクセル／フレーム））を示す軸であり、データ３０１〜３０３は、高調波成分次数ｋ＝１，２，３、すなわち、それぞれ１次、２次、３次の高調波成分が打ち消される被写体の移動速度領域を示すデータである。
データ３０１〜３０３に示す斜線領域は、前述の（式１７）に示す式を満足しない領域であり超解像効果が発生する移動速度であることを示しており、斜線領域に対応する移動速度で被写体が移動しているならばそれを追従視することによって対応する次数の高調波成分は打ち消され、折り返し歪みは知覚されない。
これに対し、データ３０１〜３０３に示す白色領域は、前述の（式１７）に示す式を満足する移動速度の領域であり、超解像効果が発生しない領域である。すなわちこれらのデータ３０１〜３０３に示す白色領域に対応する移動速度で被写体が移動している場合は、それを追従視しても対応する次数の高調波成分は打ち消されないので、折り返し歪みが知覚される。なお、図９に示した高調波成分の各次数に対応する斜線／白色のパターンが４ピクセル／フレームごとに周期的に繰り返すことは前述の（式１７）より明らかであるので、連続する４ピクセル／フレーム間の範囲のみに着目すればよい。
例えば、図９に示す例において、
被写体移動速度ｖ：ｖ＝２ピクセル／フレーム
である場合、図９に示すライン３１１上の各高調波成分次数ｋ＝１〜３のデータから理解されるように、
ｋ＝１次および３次の高調波成分に関しては超解像効果が発生するが、２次の高調波成分では超解像効果が発生しない。
十分に高い画質を得るためには全ての次数の高調波成分に伴う折り返し歪みの発生を抑制する必要があるが、それが実現される速度範囲は非常に少ない。例えば図９の例では速度領域３２１，３２２で示した速度帯ならば全ての次数で折り返し歪みが発生しないが、その範囲は全体のごく一部である。
先に、図６を参照して説明したように、ダウンサンプリング処理部１０５は、ダウンサンプリングを行なう際にサンプリング位相変化レートΔＰに基づいて、サンプル位置をずらしてサンプリングを実行する。人間が動画像中の動被写体を追従して観察するときの、視覚系により積分される各フレーム（ｔ）におけるサンプル位置のずれ量φ（ｔ）は、サンプリング間隔をＸ、被写体のフレームあたりの移動量：ｖ（単位：ピクセル）とした場合、先に説明した（式７）、すなわち、
φ（ｔ）＝（ｖｔ）／Ｘ・・・（式７）
として示されるが、この式では、サンプリング位相変化レートを考慮していなかった。すなわち、
サンプリング位相変化レート：ΔＰ＝０
と仮定していた。
サンプリング位相変化レートΔＰを考慮すると、上記式（式７）は以下のように変形される。
・・・・・・（式１８）
前述の超解像を得られない被写体移動速度ｖの範囲を高調波成分次数ｋと、ダウンサンプリング量（間引き量）をＭとによって規定した（式１７）を、この（式１８）を用いて変形すると、以下の式（式１９）が得られる。
・・・・・・（式１９）
上記（式１９）は、あるΔＰのサンプリング位相変化レートでダウンサンプリング処理をおこなった場合に、超解像を得られない被写体移動速度ｖの範囲、すなわち、次数ｋの高調波成分による折り返し歪みが発生する速度範囲を示している。なお、サンプリング位相変化レートΔＰの範囲はサンプリング量（間引き量）：Ｍ未満、すなわち、
サンプリング位相変化レートΔＰ＝０〜Ｍ−１
である。
サンプリング位相変化レートΔＰ＝０〜Ｍ−１は、制御部１０３において、各ブロック単位で０〜Ｍ−１の範囲で任意に設定可能な値であり、制御部１０３で決定したサンプリング位相変化レートΔＰに従ってダウンサンプリング部でダウンサンプリング（間引き処理）が実行される。この処理は、先に図６を参照して説明したとおりである。
上記（式１９）は、あるΔＰのサンプリング位相変化レートでダウンサンプリング処理を行った場合に、超解像を得られない被写体移動速度ｖの範囲を示しており、上記（式１９）を満足しないようにサンプリング位相変化レートΔＰ＝０〜Ｍ−１を選択することも可能である。
例えばサンプリング位相変化レートΔＰ＝０としたとき、被写体移動速度ｖ＝ｓからｓ＋１（ピクセル／フレーム）の速度範囲で、上記（式１９）が成立しないとすれば、この被写体移動速度：ｖ＝ｓからｓ＋１では折り返し歪みが発生しない。
このとき、被写体移動速度：ｖ＝ｓ＋１からｓ＋２の場合には、サンプリング位相変化レートΔＰ＝１とすれば、上記（式１９）が成立せず、被写体移動速度：ｖ＝ｓ＋１からｓ＋２の場合には、サンプリング位相変化レートΔＰ＝１としてダウンサンプリング処理を実行すれば、被写体移動速度：ｖ＝ｓ＋１からｓ＋２の被写体に関して折り返し歪みが発生しない。
同様に、被写体移動速度：ｖ＝ｓ＋Ｍ−１からｓ＋Ｍの場合には、サンプリング位相変化レートΔＰ＝Ｍ−１とすれば、被写体移動速度：ｖ＝ｓ＋Ｍ−１からｓ＋Ｍの被写体に関して折り返し歪みが発生しない。
上記の（式１９）で示した折り返し歪みが発生する速度範囲は周期Ｍでの繰り返しなので、結局あらゆる速度において折り返し歪みが発生しないようにすることができる。すなわち、どのような移動速度の被写体であってもダウンサンプリングによって折り返し歪みが発生しないようにするためには、例えばサンプリング位相変化レートΔＰ＝０としたときに連続する１ピクセル／フレームの速度範囲（例えばｖ＝ｓ〜ｓ＋１）に渡って、全ての次数で折り返し歪みが発生しないような処理を行えばよい。この様な設定とすれば、被写体移動速度ｖ＝ｓ〜ｓ＋Ｍ−１において、サンプリング位相変化レートΔＰを０〜Ｍ−１と変化させることで、あらゆる速度において折り返し歪みが発生しないようにすることができる。
ここで、再度、図９を参照する。図９に示す３次の高調波データ３０３において伴う折り返し歪みが一切発生しないと仮定する。その場合、３次の高調波データ３０３は無視することが可能であり、１次と２次の高調波データのみを考慮すればよい。
図１０は、図９に示す３次の高調波データ３０３を除去した場合の移動速度ｖと、高調波成分次数ｋとの対応関係を示している。図９と同様、ダウンサンプリング量（間引き量）をＭ＝４として、入力データを１／４のデータ量に削減する１／４倍のダウンサンプリングを行う場合の移動速度ｖと、高調波成分次数ｋとの対応関係を示している。横軸は被写体の移動速度（ｖ（ピクセル／フレーム））を示す軸であり、データ３０１〜３０２は、高調波成分次数ｋ＝１，２すなわち、それぞれ１次、２次、３次の高調波成分が打ち消される被写体の移動速度領域を示すデータである。斜線領域は、前述の（式１７）に示す式を満足しない領域であり超解像効果が発生する移動速度であることを示しており、斜線領域に対応する移動速度で被写体が移動しているならばそれを追従視することによって対応する次数の高調波成分は打ち消され、折り返し歪みは知覚されない。
この場合、データ領域３３１，３３２で示すように、ほぼ１ピクセル／フレームの間、全ての次数で折り返し歪みが発生しないような速度区間が存在する。仮にデータ領域３３２の速度区間をｓからｓ＋１ピクセル／フレームであるとする。図１０に示すデータは、サンプリング位相変化レートΔＰ＝０の場合の超解像効果の発生の有無を各高調波成分次数ｋ＝１，２において示すデータである。先に説明したように、ダウンサンプリングにおいてΔＰを１に設定した場合はｓ＋１からｓ＋２で、ΔＰを２に設定した場合にはｓ＋２からｓ＋３で、ΔＰを３に設定した場合にはｓ＋３からｓ＋４の速度区間において折り返し歪みが発生しない。この傾向は４ピクセル／フレーム間での繰り返しになるので、結局、ΔＰを適切に選択すれば全ての速度において折り返し歪みの発生を抑制することができる。
制御部１０３は移動量検出部１０２から供給される移動量に基づき、折り返し歪みが発生しない、適切なサンプリング位相変化レートΔＰを設定し、ダウンサンプリング部１０５に供給する。すなわち、移動量検出部１０２から供給される移動量［ｖ］に基づいて、前述の式（式１７）を満足しないように、サンプリング位相変化レートΔＰを設定し、ダウンサンプリング部１０５に供給する。なお、このサンプリング位相変化レートΔＰの設定はブロック単位の移動量ｖに応じてブロック単位で設定することができる。
なお、特定の次数以上の高調波に伴う折り返し歪みの発生を防ぐには、適切な阻止域周波数を設定したローパスフィルタによる高域周波数の除去を実行すればよい。この処理は、先に、図５を参照して説明したようにプレフィルタ部１０４において実行される。
上述した図１０を参照して説明した例の場合は、
高調波成分次数ｋ＝３
すなわち、次数が３の高調波成分による折り返し歪みを防げばよいので、制御部１０３は、阻止対象高調波成分次数Ｋを３に設定して、プレフィルタ部１０４に供給する。
プレフィルタ部１０４は、制御部１０３から供給される阻止対象高調波成分次数Ｋに基づいて、前述した（式３）に基づいて阻止域周波数ｆｓを算出し、阻止域周波数をｆｓとしたローパスフィルタによって、図５を参照して説明したように高周波成分を除去した帯域制限画像を生成し、この結果をダウンサンプリング部１０５に出力する。例えば、阻止対象高調波成分次数Ｋを３とした設定では、次数＝３以上の高調波成分が除去された帯域制限画像が生成されダウンサンプリング部１０５に出力される。
ダウンサンプリング部１０５では、このような帯域制限画像に対して、制御部１０３から供給されるサンプリング方向およびサンプリング位相変化レートΔＰを適用して、例えば図６を参照して説明したダウンサンプリングを実行する。制御部１０３は、移動量検出部１０２から供給される移動量［ｖ］に基づいて、前述の式（式１７）を満足しないようにサンプリング方向、サンプリング位相変化レートΔＰを設定し、ダウンサンプリング部１０５に供給する。
ダウンサンプリング部１０５は、制御部１０３から入力するサンプリング方向、サンプリング位相変化レートΔＰに従ったサンプリングを行う。この結果、前述の式（式１７）を満足しない、すなわち、超解像効果が発生し、追従視することによって対応する次数の高調波成分は打ち消され、折り返し歪みは知覚されない画像を得ることができる。なお、このサンプリング位相変化レートΔＰの設定はブロック単位の移動量ｖに応じてブロック単位で設定することができ、ダウンサンプリング部１０５は、ブロック毎にサンプリング位相変化レートΔＰを制御部から受領して、受領したサンプリング位相変化レートΔＰを適用したダウンサンプリングを行う。
制御部１０３の実行する処理シーケンスについて、図１１に示すフローチャートを参照して説明する。図１１に示すフローチャートはある１つのブロックに対応する阻止対象高調波成分次数Ｋ、およびサンプリング位相変化レートを定める処理の手順を説明するフローチャートである。
まず、ステップＳ１０１において、制御部１０３に対する入力として、
（ａ）ダウンサンプリングレート：Ｍ、
（ｂ）ステップＳ１０３で用いる（条件式１）で適用するパラメータ：α、
（ｃ）ブロックに対応する移動速度：Ｖｉｎ（スカラー値）
である。
ブロックに対応する移動速度Ｖｉｎは移動量検出部１０２から供給される。ダウンサンプリングレートＭや、パラメータαは外部から供給される。
制御部１０３は、まず、これらの入力値の受領後、ステップＳ１０２において変数の初期化を実行する。
Ｊ＝Ｍ＋１、
ｐ＝−１、
とする。さらに、
Ｖｉｎ←Ｖｉｎ％Ｍ
として、ブロックに対応する移動速度［Ｖｉｎ］の範囲を［０、Ｍ）とする。％は剰余演算を示す。
なお、Ｊは、このフローの処理によって決定されプレフィルタ部１０４に出力される阻止対象高調波成分次数Ｊであり、ｐは、このフローにおいて決定され、ダウンサンプリング部１０５に出力されるサンプリング位相変化レートｐである。これらの初期値は、上記のように、
Ｊ＝Ｍ＋１、
ｐ＝−１、
とする。
次に、ステップＳ１０３において、Ｊを減算しＪ＝Ｍとする。ステップＳ１０３からステップＳ１０４のループにおいて、移動速度ｖが１ピクセル／フレーム区間、すなわち区間［ｓ、ｓ＋１］で超解像が発生するためには、何次以上の高調波成分による折り返し歪みをフィルタによって取り除く必要があるかを判定する。具体的には、全ての高調波成分次数：ｋ（０＜ｋ＜Ｊ）、全ての移動速度：ｖ∈［ｓ、ｓ＋１］について、下記（条件式１）が成立しないようなｓが存在するかどうかを調べる。
・・・・・・（条件式１）
上記（条件式）は、先に説明した（式１９）、すなわち、あるΔＰのサンプリング位相変化レートでダウンサンプリング処理をおこなった場合に、超解像を得られない被写体移動速度ｖの範囲、すなわち、次数ｋの高調波成分による折り返し歪みが発生する速度範囲を規定する式において、サンプリング位相変化レート：ΔＰ＝０とした場合の式に相当する。すなわち、先に説明した（式１７）と同様の式である。
ステップＳ１０３からステップＳ１０４のループにおいて、全ての高調波成分次数：ｋ（０＜ｋ＜Ｊ）、全ての移動速度：ｖ∈［ｓ、ｓ＋１］について、上記（条件式１）が成立しないようなｓが存在するかどうかを調べる。これは、１ピクセル／フレーム区間、すなわち区間［ｓ、ｓ＋１］で超解像が発生するためには、何次以上の高調波成分による折り返し歪みをフィルタによって取り除く必要があるかを判定する処理に相当する。
全ての高調波成分次数：ｋ（０＜ｋ＜Ｊ）、全ての移動速度：ｖ∈［ｓ、ｓ＋１］について、上記（条件式１）が成立しないようなｓが存在しない場合には、Ｊを１減算する、つまり、高調波成分次数：ｋの上限を下げる。
全ての高調波成分次数：ｋ（０＜ｋ＜Ｊ）、全ての移動速度：ｖ∈［ｓ、ｓ＋１］について、上記（条件式１）が成立するｓの存在が検出された場合、その時点のＪを阻止対象高調波成分次数とする。
続いて、ステップＳ１０５に進み、ｐの値を更新、すなわちｐの値をｐ＋１として１加算するｐの更新処理を実行する。次にステップＳ１０５〜Ｓ１０６のループにおいてサンプリング位相変化レートを求める。ｐを１ずつ増加させながら（Ｓ１０５）、Ｖｉｎが［（ｓ＋ｐ）％Ｍ、（ｓ＋ｐ＋１）％Ｍ］の範囲に含まれるかどうかを調べる（Ｓ１０６）。含まれない場合はｐを増加させる。Ｖｉｎと範囲［（ｓ＋ｐ）％Ｍ、（ｓ＋ｐ＋１）％Ｍ］には共にＭによる剰余演算が施されているので、ｐ＝０からＭ−１の範囲内で必ずループは終了する。
このループは、ブロック対応の移動速度Ｖｉｎを、上記（条件式１）が成立しないｓに適合させるためのサンプリング位相変化レートｐを算出する処理である。先に図も６を参照して説明したように、サンプリング位相変化レートｐを０とした場合は、ダウンサンプリングにおいてサンプリングする画素位置は各フレームにおいて変更されないが、サンプリング位相変化レートｐを０以外の値とすると、各フレームにおいてサンプリングする画素位置がずれるため、その圧縮画像を復元再生する場合、ブロック対応の移動速度Ｖｉｎは元のブロックと異なる移動速度に視覚的に変更されることになり、その結果として上記（条件式１）が成立しない移動速度が得られ、結果として超解像効果が発生し、返し歪みの発生のない高品質な再生画像を得ることを可能とする圧縮画像を生成することができる。
最終的に、ステップＳ１０７において、
ステップＳ１０３〜Ｓ１０４のループにおいて得られたＪ、
ステップＳ１０５〜Ｓ１０６のループにおいて得られたｐ、
これら（Ｊ，ｐ）を出力する。Ｊは阻止対象高調波成分次数でありプレフィルタ部１０４に供給され、ｐはサンプリング位相変化レートであり、ダウンサンプリング部１０５に供給される。
なお、制御部１０３は、ブロックに対するダウンサンプリング処理の方向も設定する。さらに、ブロックに対してダウンサンプリングを施すべきか否かの設定も行なうものとする。これらの設定には任意の方法が使用可能だが、例えば、ダウンサンプリングの方向に関しては、ブロックに対応するＸ方向の移動量とＹ方向の移動量を比較し移動量の大きい方向にダウンサンプリングを行なうことにするなどの方法がある。また、ダウンサンプリングを施すべきか否かの設定は、ダウンサンプリングを施す方向への移動量が予め定められた閾値以上であればダウンサンプリングを施すものとし、閾値未満であればダウンサンプリングを施さないとするなどの方法がある。
上述したように、制御部１０３は、１／Ｍ倍のダウンサンプリングに伴い発生する各次数の高調波成分データ各々に対して算出される視覚の時間積分効果による超解像効果が発生するブロック移動速度領域情報を適用して、超解像効果の発生する被写体速度領域のみとしたダウンサンプリングが可能となるように阻止対象高調波成分次数（Ｋ）を決定し、決定した阻止対象高調波成分次数（Ｋ）をプレフィルタ部１０４に入力する。プレフィルタ部１０４は、制御部１０３から、前記阻止対象高調波成分次数（Ｋ（１＜Ｋ＜Ｍ、整数））を入力し、ダウンサンプリング部１０５が施す１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、Ｋ以上の次数の高調波成分が原信号成分と重ならない設定となる阻止域周波数（ｆｓ）以上の高域周波数成分を除去するローパスフィルタによる帯域制限処理を実行する。
例えば、制御部１０３は、サンプリング位相変化レートが０の場合に、ダウンサンプリング部１０５が動画像データに対して施す１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、Ｌ次以下の次数の高調波成分の全てに関して、ブロック移動量ｖ＝ｖ０（ピクセル／フレーム）から少なくともｖ＝ｖ０＋１（ピクセル／フレーム）の範囲内の移動速度で移動する被写体を観察者が追従視した場合に、観察者の視覚の時間積分効果により、Ｌ次以下の次数の高調波成分が知覚不能となる移動量ｖ０が存在するような最大のＬによって、阻止対象高調波成分次数Ｋ＝Ｌ＋１を決定する。この際、制御部１０３は、予め設定された閾値αに対して、ブロック移動量ｖが任意の整数Ｎに対して、
（Ｎ−α）×Ｍ／ｋ≦ｖ≦（Ｎ＋α）×Ｍ／ｋ
を満たさないとき次数ｋの高調波成分をブロック移動量ｖにおいて観察者が知覚不能であると判定し、該判定結果に基づいて前記阻止対象高調波成分次数Ｋ＝Ｌ＋１を決定する。
なお、制御部１０３は、１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、阻止対象高調波成分次数（Ｋ）未満の次数の高調波成分により発生する折り返し歪みが、移動量検出部１０２の検出したブロック移動量で観察者が動画像を追従視した場合に、観察者の視覚の時間積分効果により知覚不能となるようなフレーム毎のサンプリング位相変化レートを各ブロックについて算出し、算出した結果をサンプリング位相変化レート（ΔＰ）としてダウンサンプリング部１０５に供給する。
動画像変換装置１００は、上述したように、入力動画像をブロックに分解し、各ブロックに対して適切な帯域制限と適切なサンプリング位相変化レートに基づくダウンサンプリング処理を施すことでデータ量の圧縮を行う。圧縮結果は、上記（条件式１）が成立しない移動速度を持つブロックによって構成された圧縮データであり、この圧縮データの復元、再生画像は超解像効果が発生し、返し歪みの発生のない高品な画像が再現される。
次に、上述した処理によって得られた圧縮画像データを伸張処理によって復元し再生画像を生成する動画像復元装置に関して説明する。
図１２に本発明の動画像復元装置５００の構成例を示す。この動画像復元装置５００は、動画像変換装置１００による変換データを復元し、データ量の削減による画質劣化を観測者が知覚しないように動画像データの再構成を行なうものである。図１２に示す動画像復元装置５００の構成について説明する。
アップサンプリング部５０１は、図１を参照して説明した動画像変換装置の生成した変換データである圧縮画像データを入力し、入力された変換データに含まれる画素データを適切に配置し、さらにアップサンプリング処理により画素数を復元し、完全な動画像データのフレームを構築する。ポストフィルタ部５０２は、アップサンプリング部５０１から供給された動画像データの各ブロックを構成する画素に対してフィルタを適用し、画質劣化を観測者が知覚しないように画素値の調整、補間処理を行う。以下、各構成部の処理の詳細について説明する。
まず、アップサンプリング部５０１の処理について、図１３を参照して説明する。アップサンプリング部５０１は、先に図１を参照して説明した動画像変換装置１００のダウンサンプリング部１０５によって削除された画素数を復元する。動画像変換装置１００のダウンサンプリング部１０５は、例えば図５を参照して説明したように、１／Ｍ倍のダウンサンプリングを実行し、入力画像を１／Ｍのデータ量に削減するため、ブロックを構成する画素の一部のみを残し、その他を削除している。
動画像復元装置５００のアップサンプリング部５０１では、ブロックを構成する画素のうち、ダウンサンプリング処理において残された画素、すなわち変換データとして供給された画素に関しては、それら画素が元々原画像のブロック内において存在していた位置に配置し、それ以外の画素値データが存在しない削除画素については、仮の画素値として画素値＝０を設定する。この処理により、画素数に関しては原画像と同一にすることができる。
例えば、動画像変換装置において、ダウンサンプリング量（間引き量）をＭ＝４として、入力データを１／４のデータ量に削減する１／４倍のダウンサンプリングを行ったデータを入力した場合のアップサンプリング部５０１におけるアップサンプリング処理の例を図１３に示す。
図１３はブロックの大きさが４画素×４画素であり、動画像変換装置１００のダウンサンプリング部１０５が１／４倍のダウンサンプリング、すなわち、
ブロック＝４画素×４画素、
ダウンサンプリングレート：Ｍ＝４、
サンプリング位相変化レートΔＰ＝１、
この設定でのダウンサンプリング画像データのアップサンプリング例を示している。ｓ００からｓ３３は、ダウンサンプリング処理において残された画素、すなわち変換データとして供給された画素である。
図１３の（Ａ）〜（Ｄ）が水平方向のダウンサンプリングデータに対するアップサンプリングの例であり、（Ｅ）〜（Ｈ）が垂直方向のダウンサンプリングデータに対するアップサンプリングの例である。図１３の各（Ａ）〜（Ｈ）の左側に示されている点線で囲まれたデータがダウンサンプリング後の変換データの１ブロックに相当し、ブロックを構成するデータ数は元のブロック内の画素数の１／４となっている。
アップサンプリング部５０１は、変換データに含まれる画素データについては元々それら画素が存在していた位置に画素データを配置し、ブロックを構成するその他の画素については、ダウンサンプリングによって削除された画素位置に画素値０を設定することで画素数を元々の４×４＝１６画素にする。
水平方向のダウンサンプリングデータに対するアップサンプリング処理（Ａ）〜（Ｄ）は、連続する４フレームの同一位置のブロックを示しており、先行するフレーム（Ａ）はサンプリング位置が０、すなわち左端の画素データのみがオリジナル画素の画素値として設定され、その他の画素は画素値＝０として設定される。次のフレーム（Ｂ）はサンプリング位置が１、すなわち左から２番目の画素データのみがオリジナル画素の画素値として設定され、その他の画素は画素値＝０として設定される。次のフレーム（Ｃ）はサンプリング位置が２、すなわち左から３番目の画素データのみがオリジナル画素の画素値として設定され、その他の画素は画素値＝０として設定される。次のフレーム（Ｄ）はサンプリング位置が３、すなわち右端の画素データのみがオリジナル画素の画素値として設定され、その他の画素は画素値＝０として設定される。
垂直方向のダウンサンプリングデータに対するアップサンプリング処理（Ｅ）〜（Ｈ）は、連続する４フレームの同一位置のブロックを示しており、先行するフレーム（Ｅ）はサンプリング位置が０、すなわち上端の画素データのみがオリジナル画素の画素値として設定され、その他の画素は画素値＝０として設定される。次のフレーム（Ｆ）はサンプリング位置が１、すなわち上から２番目の画素データのみがオリジナル画素の画素値として設定され、その他の画素は画素値＝０として設定される。次のフレーム（Ｇ）はサンプリング位置が２、すなわち上から３番目の画素データのみがオリジナル画素の画素値として設定され、その他の画素は画素値＝０として設定される。次のフレーム（Ｈ）はサンプリング位置が３、すなわち下端の画素データのみがオリジナル画素の画素値として設定され、その他の画素は画素値＝０として設定される。
アップサンプリング部５０１は上記のようにして画素数を復元し、画素数を復元したデータをポストフィルタ部５０２に供給する。続いて、ポストフィルタ部５０２の処理について説明する。ポストフィルタ部５０２は、アップサンプリング部５０１から供給された画像データに補間フィルタを適用することによって、ダウンサンプリングによって削除されておりアップサンプリングによって画素値０が設定されていた画素に対してより適切な画素値を設定し、観測者が画質劣化を知覚しにくいように動画像データを復元する。
ポストフィルタ部５０２が適用するフィルタリング処理に用いるフィルタはどのような方法で設計してもよい。しかしながら、動画像変換装置１００のプレフィルタ部１０４で用いた帯域制限フィルタの阻止域周波数ｆｓ以上の周波数成分を遮断する周波数特性を持ったフィルタであることが望ましい。
上記のような周波数特性を持ったフィルタの使用が適切であるという理由は、動画像変換装置１００のプレフィルタ部１０４によって、阻止域周波数ｆｓを阻止域周波数とする帯域制限が適用されているからである。帯域制限により、原信号のｆｓ以上の周波数成分は失われており、これはポストフィルタ部５０２に供給される画像データについても同様である。つまり、ポストフィルタ部５０２に供給される画像データの阻止域周波数ｆｓ以上の周波数成分に原信号成分は含まれておらず、高調波の成分のみから構成される。追従視における視覚の時間積分によりこれら高調波は打ち消され知覚されないが、阻止域周波数ｆｓ以上の周波数の成分をそのまま残したとしても画質が向上することはないので、ポストフィルタによって阻止域周波数ｆｓ以上の周波数成分は遮断するべきである。
ここでは１例として、上記の２条件を満足するような９タップのＦＩＲフィルタによるフィルタリングを行なう場合について、図１４を参照して説明する。ブロックの大きさが４画素×４画素であり、動画像変換装置１００のダウンサンプリング部１０５が１／４倍のダウンサンプリング、すなわち、ダウンサンプリングレート：Ｍ＝４としたダウンサンプリングデータに対応する画素値復元のための補間処理である。
９タップのＦＩＲフィルタのインパルス応答を［Ｂ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７、Ｂ８］とする。このインパルス応答と画素値との縦方向または横方向の畳み込みによってフィルタリングを行う。
図１４に示す例は、ダウンサンプリングが横方向に行なわれた場合のフィルタリング処理例である。図１４（ａ）に示す３つの４画素×４画素の隣接ブロック６０１〜６０３のブロック６０２を構成する画素のうちの１画素６０４を対象としたフィルタリング処理の例である。
図１４（ａ）に示す３つの４画素×４画素の隣接ブロック６０１〜６０３中のｓ０１〜ｓ３１、ｔ０１〜ｔ３１、ｕ０１〜ｕ３１は各ブロック６０１、６０２、６０３をそれぞれ構成する画素のうち、動画像変換装置１００により削除されずに残った画素である。ブロックを構成するその他の画素は、前述したアップサンプリング部５０１の０内挿処理によって画素値＝０として設定された画素である。
図１４（ａ）に示す画素６０４を対象とした補間フィルタ処理は、図１４（ｂ）に示すように、画素６０４およびその左右４画素の計９画素からなる画素列データ６０５と、インパルス応答６０６との積和を計算し、その結果を、画素６０４の補正画素値［ｔ'００］６０７とする処理である。ブロックを構成するその他の画素についても同様の処理で得ることができる。
なお、図１４に示す例は、９タップのＦＩＲフィルタを適用したフィルタリング処理であり、処理対象画素を含む９画素、すなわち処理対象画素の含まれるブロックと両隣のブロックの画素を利用して処理が実行されるが、フィルタのタップ長がさらに長い場合は、隣接ブロック以外のブロックの画素値を利用することもある。
図１４（ｂ）には、９タップＦＩＲフィルタのインパルス応答Ｂ０〜Ｂ８，６０６を示している。インパルス応答Ｂ０〜Ｂ８の設定例としては、例えば、図１５（ａ），（ｂ）に示すような設定が利用可能である。図１５に示すグラフは縦軸が寄与率（０〜１）を示し、横軸が、フィルタリングとしての補間処理に適用される９つの画素を示している。それぞれ中心（５）が補間処理対象の画素に対応する。図１５（ａ）は、補間位置の画素を中心として近い位置の画素の画素値の寄与率を高く設定して、遠方の画素の画素値の寄与率を低く設定した例であり、図１５（ｂ）は、補間位置の画素の画素値を含む近傍の４画素の画素値のみを適用して処理を行う例である。なお、図１５に示す例以外にも様々なインパルス応答を持つフィルタを利用可能である。
図１４に示すポストフィルタ部５０２におけるフィルタリング処理例は、データ圧縮処理、すなわち図１に示す動画像変換装置において隣接ブロックに対して実行されたダウンサンプリングにおけるサンプリング位相が全て１であり同一であるものとして説明した。すなわち、図１４（ａ）に示す３つのブロック６０１〜６０３に対して実行されたダウンサンプリングのサンプリング位相が全て１である。また、ダウンサンプリングの方向も各ブロック共に横方向で共通となっている。しかし、実際は隣接するブロックに施された処理が異なる処理である場合も存在する。そのような場合のフィルタリングの方法について図１６を参照して説明する。
図１６（Ａ）〜（Ｃ）は、矢印の左側のような状況の、隣接するブロックに対して施されたダウンサンプリング処理の態様、すなわちサンプリング位相やサンプリング方向が異なる場合に、どのようなフィルタリングを行なうべきかを示したものである。
図１６（Ａ）はフィルタリング対象ブロック７１２と隣接ブロック７１１のダウンサンプリング方向は一致しているが、サンプリング位相が異なる場合を示している。図１６（Ａ）ではフィルタリング対象ブロック７１２のサンプリング位相が１であるのに対して、隣接ブロック７１１のサンプリング位相は０となっており、２つの隣接するブロックのサンプリング位相は一致していない。
このような場合は、図１６（Ａ）矢印右側に示すように隣接ブロックの画素の配置を一部変更してフィルタリングを行なう。ブロック７１４はフィルタリング対象ブロックであり、このブロックには何も変更を加える必要はない。ブロック７１３はフィルタリング対象ブロック７１４に隣接するブロックであるが、このブロックには画素の配置に変更が行なわれおり、変更前のブロック７１１では一番左の列にあった、ｓ００からｓ３０の画素値が左から２番目の列に設定され、ブロック７１３において、一番左の列の画素値は全て０になっている。すなわち、アップサンプリング部５０１の０内挿によって得られるもの以外の画素（有効画素）の位相がフィルタリング対象ブロックのものと一致させる。
このように、ポストフィルタ部５０２は、フィルタリング対象ブロックと隣接するその他のブロックのサンプリング位相が異なる場合には、隣接ブロックの有効画素の位相をフィルタリング対象ブロックと一致させた上でフィルタリング処理を行なう。
図１６（Ｂ）はブロック７２２にフィルタリングを施す際の隣接ブロック７２１に対してダウンサンプリング処理が施されていない場合を示している。すなわち、隣接ブロックのサンプリング周波数が異なる場合である。このような場合は、ブロック７２３に示すように、フィルタリング対象ブロック７２４と同一の方向・サンプリング位相でダウンサンプリング処理が施された状態と仮定して、サンプリング位置に当たる画素以外の画素値を０に設定する。すなわち、サンプリング周波数を一致させる前処理を実行する。その上で、ブロック７２４の各画素に対してフィルタリング処理を行なう。
図１６（Ｃ）はブロック７３２にフィルタリングを施す際の隣接ブロック７３１に対して、方向の異なるダウンサンプリング処理が施されていた場合を示している。このような場合は、ブロック７３３に示すように画素の配置変更を行なう。すなわち、隣接ブロックの有効画素のうち、対象ブロックのサンプリング位相と一致する位置にある画素値を縦方向にコピーし、その他の画素については０に設定する。図１６（Ｃ）では処理対象ブロック７３２のサンプリング位相は１であるから、隣接ブロック７３１のサンプリング位相１に対応する列の画素のうち、有効画素であるｓ１１を同じ列にコピーし、その他の画素ｓ１０、ｓ１２、ｓ１３に関しては０に設定する。その結果がブロック７３３である。
ポストフィルタ部５０２は、このようにフィルタリング処理に適用する画素を持つ隣接ブロックに対して施されたダウンサンプリング処理の態様、すなわちサンプリング位相やサンプリング方向が異なる場合には、図１６に示すように各ブロックの構成、すなわちダウンサンプリング処理態様一致させる前処理を実行した後、図１５を参照して説明したフィルタリング処理を行い、各画素の画素値を設定する。なお、図１６に示したような隣接ブロックへの変更は対象ブロックへのフィルタリングのために一時的に行なわれるものである。ポストフィルタ部５０２がブロックを処理した結果得られる出力は、そのブロックを構成する各画素に関するフィルタリング結果のみである。
以上のようにして、動画像復元装置５００は、動画像変換装置１００の生成した変換データに対して、変換データを構成する各ブロックに対して、アップサンプリング処理と、補間フィルタリング処理を施すことで画質劣化を最小限に抑えた、画素数の復元処理を実現する。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例の構成によれば、画素数間引き処理により動画像データのサンプル数を１／Ｍ倍に削減するダウンサンプリング処理の前に、ダウンサンプリング後のサンプリング周波数ｆに対して、阻止域周波数ｆｓがｆｓ＞ｆ／２であるようなローパスフィルタを用いて帯域制限を行なう構成としたので、高い次数の高調波により発生する折り返し歪みを抑制しつつ、原信号の高周波成分を大きく損失することはないので、復元時のボケの発生をも抑制することができる。
また、本発明の一実施例の構成によれば、ダウンサンプリング処理部が動画像データに対して施す１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、Ｋ以上の次数の高調波成分が原信号成分と重ならないような阻止域周波数ｆｓに基づくローパスフィルタによる帯域制限を予め動画像データに対して適用する構成としたので、Ｋ次以上の高調波による折り返し歪みの発生を抑制できる。
また、本発明の一実施例の構成によれば、各ブロックの移動量に応じて最適に設定されたサンプリング位相変化レートに基づいて、フレームの進行と共にサンプリング位置が変化するダウンサンプリング処理を各ブロックまたは一部のブロックに対して施す構成としたので、領域毎の被写体の移動量に対してロバストなデータ圧縮処理が実現できる。
また、本発明の一実施例の構成によれば、観察者が動画像を追従視した場合に、観察者の視覚の時間積分効果によりＫ未満の次数の高調波成分が知覚不能となるようなサンプリング位相変化レートを各ブロックについて算出する構成としたので、Ｋ次未満の高調波により発生する折り返し歪みは再生時に抑制される。
また、本発明の一実施例の構成によれば、サンプリング位相変化レートＰ＝０の場合に、ダウンサンプリングに伴って発生する高調波成分のうち、Ｌ次未満の次数の高調波成分の全てに関して、移動量ｖ＝ｖ０から少なくともｖ＝ｖ０＋１（ピクセル／フレーム）の範囲内の移動速度で移動する被写体を観察者が追従視した場合に、観察者の視覚の時間積分効果によりそれらＬ次未満の次数の高調波成分が知覚不能となる基準移動量ｖ０が存在するような最大のＬに対して阻止対象高調波成分次数Ｋ＝Ｌ＋１とする構成としたので、画像を構成するブロック間でサンプリング位相変化レートが頻繁に変わることを防ぐことができる。
さらに、本発明の一実施例の構成によれば、動画像変換データを構成する各ブロック対応変換データと各ブロック対応変換態様情報とを入力し、変換態様情報に基づきサンプル数を０内挿によりＭ倍に増加するアップサンプリング処理部と、変換態様情報に基づき動画像変換データの補間処理を行なう補間フィルタ部を有する動画像復元装置を構成し、補間フィルタでは動画像変換装置のプレフィルタ部における帯域制限で用いたものと同様の阻止域周波数を持つローパスフィルタを用いる構成としたので、再生時にはオリジナルに近い、ボケおよび折り返し歪みの抑制された動画像を知覚することができる。
動画像変換装置の構成を示す図である。 ダウンサンプリング前の帯域制限により特定の次数以上の高調波成分が原因で発生する折り返し歪みが抑制される理論について説明する図である。 ダウンサンプリング前の帯域制限により特定の次数以上の高調波成分が原因で発生する折り返し歪みが抑制される理論について説明する図である。 ダウンサンプリング前の帯域制限により特定の次数以上の高調波成分が原因で発生する折り返し歪みが抑制される理論について説明する図である。 動画像変換装置のプレフィルタ部の実行するフィルタリング処理例について説明する図である。 ダウンサンプリング部１０５において実行するダウンサンプリング処理の一例について説明する図である。 超解像現象の発生原理について説明する図である。 超解像現象の発生原理について説明する図である。 移動速度ｖと、高調波成分次数ｋとの対応関係において各次数の高調波成分について、超解像効果が発生する速度領域を示す図である。 移動速度ｖと、高調波成分次数ｋとの対応関係において各次数の高調波成分について、超解像効果が発生する速度領域を示す図である。 動画像変換装置の制御部の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の動画像復元装置の構成例を示す図である。 本発明の動画像復元装置のアップサンプリング部の処理について説明する図である。 本発明の動画像復元装置のポストフィルタ部の実行するフィルタリング処理の例について説明する図である。 本発明の動画像復元装置のポストフィルタ部の実行するフィルタリング処理に適用するＦＩＲフィルタのインパルス応答例について説明する図である。 隣接するブロックに施されたダウンサンプリング処理が異なる処理である場合におけるフィルタリングの方法について説明する図である。
符号の説明
１００ 動画像変換装置
１００ ブロック分割部
１００ 移動量検出部
１０３ 制御部
１０４ プレフィルタ部
１０５ ダウンサンプリング部
５００ 動画像復元装置
５０１ アップサンプリング部
５０２ ポストフィルタ部

Claims (9)

  1. 動画像データのデータ変換処理を実行する動画像変換装置であり、
    動画像データを構成するフレームを１個以上のブロックに分割するブロック分割部と、
    前記ブロック分割部において分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出する移動量検出部と、
    前記移動量検出部の検出したブロック移動量を入力し、ブロックに対する処理パラメータとして、ダウンサンプリング（画素間引き）処理におけるサンプリング位相変化レート（ΔＰ）を決定する制御部と、
    前記ブロック分割部において分割された各ブロックを入力し、超解像効果の発生条件として決定される阻止対象高調波成分次数（Ｋ）に基づいて算出される阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去するプレフィルタ部と、
    前記プレフィルタ部において高域周波数成分が除去されたブロックを入力し、前記サンプリング位相変化レート（ΔＰ）に従って入力ブロックのダウンサンプリング（画素数間引き）処理を実行し、各ブロックの構成画素数を１／Ｍ（Ｍ≧２、整数）倍に削減するダウンサンプリング部と、
    を有し、
    前記制御部は、
    １／Ｍ倍のダウンサンプリングに伴い発生する各次数の高調波成分データ各々に対して算出される視覚の時間積分効果による超解像効果が発生するブロック移動速度領域情報を適用して、超解像効果の発生する被写体速度領域のみとしたダウンサンプリングが可能となるように阻止対象高調波成分次数（Ｋ）を決定し、決定した阻止対象高調波成分次数（Ｋ）を前記プレフィルタ部に入力する構成であり、
    前記プレフィルタ部は、
    前記制御部から、前記阻止対象高調波成分次数（Ｋ（１＜Ｋ＜Ｍ、整数））を入力し、
    前記ダウンサンプリング部が施す１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、Ｋ以上の次数の高調波成分が原信号成分と重ならない設定となる阻止域周波数（ｆｓ）以上の高域周波数成分を除去するローパスフィルタによる帯域制限処理を実行する構成であることを特徴とする動画像変換装置。
  2. 前記制御部は、
    １／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、阻止対象高調波成分次数（Ｋ）未満の次数の高調波成分により発生する折り返し歪みが、前記移動量検出部の検出したブロック移動量で観察者が動画像を追従視した場合に、観察者の視覚の時間積分効果により知覚不能となるようなフレーム毎のサンプリング位相変化レートを各ブロックについて算出し、算出した結果をサンプリング位相変化レート（ΔＰ）として前記ダウンサンプリング部に供給する構成であることを特徴とする請求項１に記載の動画像変換装置。
  3. 前記ダウンサンプリング部は、
    前記制御部から入力する各ブロックに対応するサンプリング位相変化レート（ΔＰ）に従って、フレームの進行と共にブロックに対するサンプリング位置を変化させたダウンサンプリング処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
  4. 前記プレフィルタ部は、
    予めメモリに記録された阻止対象高調波成分次数（Ｋ）、または外部から入力する阻止対象高調波成分次数（Ｋ）を利用して前記阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去する処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
  5. 動画像変換装置において、動画像データのデータ変換処理を実行する動画像変換方法であり、
    ブロック分割部が、動画像データを構成するフレームを１個以上のブロックに分割するブロック分割ステップと、
    移動量検出部が、前記ブロック分割部において分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出する移動量検出ステップと、
    制御部が、前記移動量検出部の検出したブロック移動量を入力し、ブロックに対する処理パラメータとして、ダウンサンプリング（画素間引き）処理におけるサンプリング位相変化レート（ΔＰ）を決定する制御ステップと、
    プレフィルタ部が、前記ブロック分割部において分割された各ブロックを入力し、超解像効果の発生条件として決定される阻止対象高調波成分次数（Ｋ）に基づいて算出される阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去するプレフィルタ処理ステップと、
    ダウンサンプリング部が、前記プレフィルタ部において高域周波数成分が除去されたブロックを入力し、前記サンプリング位相変化レート（ΔＰ）に従って入力ブロックのダウンサンプリング（画素数間引き）処理を実行し、各ブロックの構成画素数を１／Ｍ（Ｍ≧２、整数）倍に削減するダウンサンプリング処理ステップを有し、
    前記制御ステップは、
    １／Ｍ倍のダウンサンプリングに伴い発生する各次数の高調波成分データ各々に対して算出される視覚の時間積分効果による超解像効果が発生するブロック移動速度領域情報を適用して、超解像効果の発生する被写体速度領域のみとしたダウンサンプリングが可能となるように阻止対象高調波成分次数（Ｋ）を決定し、決定した阻止対象高調波成分次数（Ｋ）を前記プレフィルタ部に入力するステップであり、
    前記プレフィルタ処理ステップは、
    前記阻止対象高調波成分次数（Ｋ（１＜Ｋ＜Ｍ、整数））を入力し、
    前記ダウンサンプリング部が施す１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、Ｋ以上の次数の高調波成分が原信号成分と重ならない設定となる阻止域周波数（ｆｓ）以上の高域周波数成分を除去するローパスフィルタによる帯域制限処理を実行するステップであることを特徴とする動画像変換方法。
  6. 前記制御ステップは、
    １／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、阻止対象高調波成分次数（Ｋ）未満の次数の高調波成分により発生する折り返し歪みが、前記移動量検出部の検出したブロック移動量で観察者が動画像を追従視した場合に、観察者の視覚の時間積分効果により知覚不能となるようなフレーム毎のサンプリング位相変化レートを各ブロックについて算出し、算出した結果をサンプリング位相変化レート（ΔＰ）として前記ダウンサンプリング部に供給するステップであることを特徴とする請求項５に記載の動画像変換方法。
  7. 前記ダウンサンプリング処理ステップは、
    前記制御部から入力する各ブロックに対応するサンプリング位相変化レート（ΔＰ）に従って、フレームの進行と共にブロックに対するサンプリング位置を変化させたダウンサンプリング処理を実行するステップであることを特徴とする請求項５に記載の動画像変換方法。
  8. 前記プレフィルタ処理ステップは、
    予めメモリに記録された阻止対象高調波成分次数（Ｋ）、または外部から入力する阻止対象高調波成分次数（Ｋ）を利用して前記阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去する処理を実行するステップであることを特徴とする請求項５に記載の動画像変換方法。
  9. 動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、
    ブロック分割部にが、動画像データを構成するフレームを１個以上のブロックに分割させるブロック分割ステップと、
    移動量検出部に、前記ブロック分割部において分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出させる移動量検出ステップと、
    制御部に、前記移動量検出部の検出したブロック移動量を入力し、ブロックに対する処理パラメータとして、ダウンサンプリング（画素間引き）処理におけるサンプリング位相変化レート（ΔＰ）を決定させる制御ステップと、
    プレフィルタ部に、前記ブロック分割部において分割された各ブロックを入力し、超解像効果の発生条件として決定される阻止対象高調波成分次数（Ｋ）に基づいて算出される阻止域周波数（ｆｓ）以上の高域周波数成分を各ブロックから除去させるプレフィルタ処理ステップと、
    ダウンサンプリング部に、前記プレフィルタ部において高域周波数成分が除去されたブロックを入力し、前記サンプリング位相変化レート（ΔＰ）に従って入力ブロックのダウンサンプリング（画素数間引き）処理を実行し、各ブロックの構成画素数を１／Ｍ（Ｍ≧２、整数）倍に削減させるダウンサンプリング処理ステップを有し、
    前記制御ステップは、
    １／Ｍ倍のダウンサンプリングに伴い発生する各次数の高調波成分データ各々に対して算出される視覚の時間積分効果による超解像効果が発生するブロック移動速度領域情報を適用して、超解像効果の発生する被写体速度領域のみとしたダウンサンプリングが可能となるように阻止対象高調波成分次数（Ｋ）を決定し、決定した阻止対象高調波成分次数（Ｋ）を前記プレフィルタ部に入力させるステップであり、
    前記プレフィルタ処理ステップは、
    前記阻止対象高調波成分次数（Ｋ（１＜Ｋ＜Ｍ、整数））を入力し、
    前記ダウンサンプリング部が施す１／Ｍ倍ダウンサンプリングに伴って発生する高調波成分のうち、Ｋ以上の次数の高調波成分が原信号成分と重ならない設定となる阻止域周波数（ｆｓ）以上の高域周波数成分を除去するローパスフィルタによる帯域制限処理を実行させるステップであることを特徴とするコンピュータ・プログラム。
JP2007179265A 2007-07-09 2007-07-09 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム Expired - Fee Related JP4793339B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007179265A JP4793339B2 (ja) 2007-07-09 2007-07-09 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
US12/169,129 US8421914B2 (en) 2007-07-09 2008-07-08 Method and apparatus converting moving image, method and apparatus for reproducing moving image, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007179265A JP4793339B2 (ja) 2007-07-09 2007-07-09 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム

Publications (3)

Publication Number Publication Date
JP2009017425A JP2009017425A (ja) 2009-01-22
JP2009017425A5 JP2009017425A5 (ja) 2010-05-06
JP4793339B2 true JP4793339B2 (ja) 2011-10-12

Family

ID=40252777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007179265A Expired - Fee Related JP4793339B2 (ja) 2007-07-09 2007-07-09 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム

Country Status (2)

Country Link
US (1) US8421914B2 (ja)
JP (1) JP4793339B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4876048B2 (ja) * 2007-09-21 2012-02-15 株式会社日立製作所 映像送受信方法、受信装置、映像蓄積装置
JP5146335B2 (ja) * 2009-01-22 2013-02-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8878913B2 (en) 2010-03-12 2014-11-04 Sony Corporation Extended command stream for closed caption disparity
JP5691374B2 (ja) * 2010-10-14 2015-04-01 富士通株式会社 データ圧縮装置
JP2012161020A (ja) * 2011-02-02 2012-08-23 Fujitsu Ltd 画像処理装置および画像処理方法
JP2014096745A (ja) * 2012-11-12 2014-05-22 Hitachi Kokusai Electric Inc 画像伝送システム
JP6516695B2 (ja) * 2016-02-24 2019-05-22 株式会社 日立産業制御ソリューションズ 画像処理システムおよび画像処理装置
JP2021015346A (ja) * 2019-07-10 2021-02-12 キヤノン株式会社 情報処理方法、画像処理装置、及びプログラム
US20210192019A1 (en) * 2019-12-18 2021-06-24 Booz Allen Hamilton Inc. System and method for digital steganography purification

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436665A (en) * 1992-03-03 1995-07-25 Kabushiki Kaisha Toshiba Motion picture coding apparatus
US5583575A (en) * 1993-07-08 1996-12-10 Mitsubishi Denki Kabushiki Kaisha Image reproduction apparatus performing interfield or interframe interpolation
JP3583831B2 (ja) * 1995-06-09 2004-11-04 株式会社リコー 信号処理装置
JPH11341496A (ja) * 1998-05-28 1999-12-10 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置，及びデータ記憶媒体
US6249549B1 (en) * 1998-10-09 2001-06-19 Matsushita Electric Industrial Co., Ltd. Down conversion system using a pre-decimation filter
JP3926730B2 (ja) * 2002-11-11 2007-06-06 日本電信電話株式会社 符号送受信システム
JP2005198268A (ja) * 2003-12-10 2005-07-21 Sony Corp 動画像変換装置および方法、並びに動画像データフォーマット
US7813430B2 (en) 2004-05-18 2010-10-12 Sony Corporation Method and apparatus for decimation mode determination utilizing block motion
JP4552691B2 (ja) * 2004-05-18 2010-09-29 ソニー株式会社 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
US9083940B2 (en) * 2007-03-14 2015-07-14 Steve Selby Automatic gain control system

Also Published As

Publication number Publication date
JP2009017425A (ja) 2009-01-22
US20090015710A1 (en) 2009-01-15
US8421914B2 (en) 2013-04-16

Similar Documents

Publication Publication Date Title
JP4793339B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP4040041B2 (ja) 映像信号の解像度の変換方法及び装置
EP2803036B1 (en) Method and device for generating a super-resolution version of a low resolution input data structure
JP4688926B2 (ja) 画像処理装置、画像符号化装置、画像処理方法、プログラムおよび半導体集積回路
JP5342068B2 (ja) 多重フレームへのアプローチ方法および画像アップスケール処理システム
EP2662825B1 (en) Method and device for generating a super-resolution version of a low resolution input data structure
US9258518B2 (en) Method and apparatus for performing super-resolution
KR101265956B1 (ko) 블록 기반의 영상 복원 시스템 및 방법
KR101795271B1 (ko) 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법
EP2000976B1 (en) Image processing apparatus and image processing method
US20180020229A1 (en) Computationally efficient motion compensated frame rate conversion system
EP3100233B1 (en) Method and device for enhancing quality of an image
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
US6327307B1 (en) Device, article of manufacture, method, memory, and computer-readable memory for removing video coding errors
JP2007535263A (ja) データ値をダウンサンプリングする方法
KR100655040B1 (ko) 디지털 영상신호 스케일링 방법
JP2005217532A (ja) 解像度変換方法及び解像度変換装置
US20040086201A1 (en) Fast edge directed polynomial interpolation
KR102438227B1 (ko) 영상 처리 장치 및 영상 처리 방법
WO2012124591A1 (ja) 信号処理装置、制御プログラム、および集積回路
KR101675117B1 (ko) 다계층의 저해상도 영상을 이용한 고해상도 영상 생성 방법 및 그 장치
KR102027886B1 (ko) 대형 디스플레이의 영상 크기 조절 장치 및 방법
JP5894422B2 (ja) 時空間低相関画像超解像装置、画像空間超解像装置、及びそれらのプログラム
JP2008532168A (ja) 画像コントラスト及びシャープネスエンハンスメント
Park et al. Kernel-based image upscaling method with shooting artifact reduction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110711

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees