JP5516842B2 - 動画像処理装置、動画像処理方法、および動画像処理プログラム - Google Patents
動画像処理装置、動画像処理方法、および動画像処理プログラム Download PDFInfo
- Publication number
- JP5516842B2 JP5516842B2 JP2008500507A JP2008500507A JP5516842B2 JP 5516842 B2 JP5516842 B2 JP 5516842B2 JP 2008500507 A JP2008500507 A JP 2008500507A JP 2008500507 A JP2008500507 A JP 2008500507A JP 5516842 B2 JP5516842 B2 JP 5516842B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video frame
- blurring
- intensity
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Description
本発明は、入力動画像を符号化して出力する動画像処理装置、動画像処理方法、および動画像処理プログラムに関し、特に、動画像を構成する映像フレームから高周波信号を除去する動画像処理装置、動画像処理方法、および動画像処理プログラムに関する。
ＤＶＤ（登録商標）への長時間記録や、狭い通信ネットワーク帯域での映像配信を実現するために、低ビットレートでの符号化を実現する必要がある。しかし、低いビットレートでの符号化には画質の劣化を伴うという問題がある。この問題を解決するための方法として、画像に含まれる人間の視覚に検知されにくい高周波信号をあらかじめ除去してから符号化を行うという方法がある。
動画像から高周波信号を除去すると、高周波信号を符号化するための符号量が必要なくなる。従って、高周波信号が除去された動画像を、低ビットレートで符号化することができる。しかし、高周波信号を除去した場合に、画像中のエッジ（形状の輪郭）などの再現性が失われ、画像に、ぼけ（形状の輪郭が明確でないことをいう）が生ずる。特に、高周波信号を除去する割合が大きいと、ぼけによる画質劣化が視聴者に検知されてしまうという問題がある。
また、広く利用されているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格などの動画像符号化方式では、映像フレームごとに量子化の粗さを変えて符号化している。
例えば、過去および未来両方の映像フレームからの予測符号化をおこなうＢピクチャは、その映像フレームが後続映像フレームの予測参照画像にならないため、他の映像フレームよりも粗く量子化することが一般的である。
映像フレームを粗く量子化する場合に、高周波信号は量子化処理により除去される傾向が強くなる。しかし、同時に低周波信号も粗く量子化されているため、量子化歪みが大きくなる。
量子化歪みが大きいと、例えば、量子化を行う単位である画素ブロックごとの画素値の差が隣接画素ブロック間で大きくなる。この差はブロック歪となり、画質劣化として視聴者に検知されやすくなるという問題がある。
以下の先行技術文献１には、この問題を解決するための装置が記載されている。前記先行技術文献１に記載されている装置は、映像中の動きの大きさに合わせて画像をぼかす量を決定している。この装置は、動きの大きい映像では高周波信号を検知しにくいという人間の視覚特性を利用して、動きの大きい映像を強めにぼかし、動きが小さい映像を弱くぼかす。このような機能によって、映像のぼけが検知されにくくなる。
以下の先行技術文献２には、各映像フレームに、一定周期毎にフィルタ処理を行う装置が記載されている。
・先行技術文献１：特開２００３−３３３３７０号公報 （段落００２１〜００４０、図１）
・先行技術文献２：特開平２−２８８７８８号公報 （第３−７頁、図１）
動画像から高周波信号を除去すると、高周波信号を符号化するための符号量が必要なくなる。従って、高周波信号が除去された動画像を、低ビットレートで符号化することができる。しかし、高周波信号を除去した場合に、画像中のエッジ（形状の輪郭）などの再現性が失われ、画像に、ぼけ（形状の輪郭が明確でないことをいう）が生ずる。特に、高周波信号を除去する割合が大きいと、ぼけによる画質劣化が視聴者に検知されてしまうという問題がある。
また、広く利用されているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格などの動画像符号化方式では、映像フレームごとに量子化の粗さを変えて符号化している。
例えば、過去および未来両方の映像フレームからの予測符号化をおこなうＢピクチャは、その映像フレームが後続映像フレームの予測参照画像にならないため、他の映像フレームよりも粗く量子化することが一般的である。
映像フレームを粗く量子化する場合に、高周波信号は量子化処理により除去される傾向が強くなる。しかし、同時に低周波信号も粗く量子化されているため、量子化歪みが大きくなる。
量子化歪みが大きいと、例えば、量子化を行う単位である画素ブロックごとの画素値の差が隣接画素ブロック間で大きくなる。この差はブロック歪となり、画質劣化として視聴者に検知されやすくなるという問題がある。
以下の先行技術文献１には、この問題を解決するための装置が記載されている。前記先行技術文献１に記載されている装置は、映像中の動きの大きさに合わせて画像をぼかす量を決定している。この装置は、動きの大きい映像では高周波信号を検知しにくいという人間の視覚特性を利用して、動きの大きい映像を強めにぼかし、動きが小さい映像を弱くぼかす。このような機能によって、映像のぼけが検知されにくくなる。
以下の先行技術文献２には、各映像フレームに、一定周期毎にフィルタ処理を行う装置が記載されている。
・先行技術文献１：特開２００３−３３３３７０号公報 （段落００２１〜００４０、図１）
・先行技術文献２：特開平２−２８８７８８号公報 （第３−７頁、図１）
しかし、前記先行技術文献１に記載されている装置には、映像の動きが大きい場合に、ぼかしかたが強すぎるとぼけが容易に検知されてしまうという問題がある。また、動きの小さい映像ではぼかしかたを弱くするため、十分に高周波信号を除去できない。このため、符号化の際に発生符号量を大幅に削減することが不可能になる。
また、前記先行技術文献２に記載されている装置は、一定周期毎に各映像フレームにフィルタ処理を行う。映像フレームに行われるフィルタ処理は、段階的に強度を変えて行われることが好ましい。
本発明は上述した問題を鑑みて提案されたものである。すなわち、本発明は、映像フレームの高周波信号を十分に除去することができる動画像処理装置、動画像処理方法および動画像処理プログラムを提供することを目的とする。
また、前記先行技術文献２に記載されている装置は、一定周期毎に各映像フレームにフィルタ処理を行う。映像フレームに行われるフィルタ処理は、段階的に強度を変えて行われることが好ましい。
本発明は上述した問題を鑑みて提案されたものである。すなわち、本発明は、映像フレームの高周波信号を十分に除去することができる動画像処理装置、動画像処理方法および動画像処理プログラムを提供することを目的とする。
本発明の第１の態様に係る動画像処理装置は、映像フレームをぼかす強度を決定する（ぼかさないと決定することも含む。）ぼかし強度決定手段と、ぼかし強度決定手段の決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかし手段とを備え、ぼかし強度決定手段が、映像フレームが所定数（１以上の数）連続するとぼかす強度を変化させることを特徴とする。
ぼかし強度決定手段は、周期的にぼかす強度を変化させる。また、ぼかし強度決定手段は、１フレームおきにぼかす強度を変化させる。
ぼかし強度決定手段は、映像フレーム間の画素値変化に応じてぼかす強度を決定する。
本発明の第１の態様に係る動画像処理装置は、さらに前記画像ぼかし手段が出力した映像フレームを符号化する画像符号化手段を備え、前記ぼかし強度決定手段は、画像符号化手段が映像フレームを符号化する際の符号化方法に応じてぼかす強度を決定する。
本発明の第１の態様に係る動画像処理装置は、さらに画像ぼかし手段が出力した映像フレームを符号化する画像符号化手段を備え、ぼかし強度決定手段は、画像符号化手段が映像フレームを符号化する際の符号化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決定する。
本発明の第１の態様に係る動画像処理装置は、さらに前記画像符号化手段が符号化した映像フレームを復号して予測参照フレームを生成する局所復号手段と、予測参照フレームを記憶する第１の記憶手段と、予測参照フレームの高周波信号を除去する予測参照フレームぼかし手段と、予測参照フレームぼかし手段が高周波信号を除去した予測参照フレームから、動き補償予測の予測画像を生成する予測画像生成手段とを備え、前記予測参照フレームぼかし手段は、ぼかし強度決定手段が映像フレームから除去すると決定した高周波信号を予測参照フレームから除去し、画像符号化手段は、画像ぼかし手段が出力した映像フレームと、予測画像生成手段が生成した予測画像との減算処理の結果を符号化する。
本発明の第１の態様に係る動画像処理装置は、さらに画像符号化手段が符号化した映像フレームを復号する復号手段と、復号手段が復号した映像フレームを記憶する第２の記憶手段と、第２の記憶手段が記憶している映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成手段と、復号手段が復号した映像フレームと、第２の予測画像生成手段が生成した予測画像とを加算して出力する加算手段とを備える。
本発明の第１の態様に係る動画像処理装置は、さらに画像符号化手段が符号化した映像フレームを復号する復号手段と、復号手段が復号した映像フレームを記憶する第２の記憶手段と、第２の記憶手段が記憶している映像フレームから、ぼかし強度決定手段が除去すると決定した高周波信号を除去する第２の予測参照フレームぼかし手段と、第２の予測参照フレームぼかし手段が高周波信号を除去した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成手段と、復号手段が復号した映像フレームと、第２の予測画像生成手段が生成した予測画像とを加算して出力する加算手段とを備える。
本発明の第２の態様に係る動画像処理装置は、連続する映像フレームからなる動画像を処理する動画像処理装置であって、映像フレームごとに、フィルタ処理を行うか否かを決定し、フィルタ処理を行うと決定した場合に、フィルタ処理を行うループ内フィルタ特性を決定するループ内フィルタ決定手段と、入力された映像フレームに、ループ内フィルタ決定手段が決定した特性のフィルタでフィルタ処理を行う入力画像フィルタ処理手段と、フィルタ処理された映像フレームを符号化する画像符号化手段と、画像符号化手段が符号化した映像フレームを復号した予測参照フレームを生成する局所復号手段と、予測参照フレームを記憶する第１の記憶手段と、ループ内フィルタ決定手段が決定した特性のフィルタで予測参照フレームにフィルタ処理を行うループ内フィルタ処理手段と、ループ内フィルタ処理手段がフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像生成手段とを備え、入力画像フィルタ処理手段と、ループ内フィルタ処理手段とは、同様の特性のフィルタでフィルタ処理を行い、画像符号化手段は、入力画像フィルタ処理手段が出力した映像フレームと、予測画像生成手段が生成した予測画像との減算処理の結果を符号化することを特徴とする。
本発明の第２の態様に係る動画像処理装置は、さらに符号化された映像フレームを復号する復号手段と、復号手段が復号した映像フレームを記憶する第２の記憶手段と、第２の記憶手段が記憶している映像フレームに、ループ内フィルタ決定手段が決定した特性のフィルタでフィルタ処理を行う第２のループ内フィルタ処理手段と、第２のループ内フィルタ処理手段がフィルタ処理を行った映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成手段と、復号手段が復号した映像フレームと、第２の予測画像生成手段が生成した予測画像とを加算して出力する加算手段とを備える。
本発明の第３の態様に係る動画像処理方法は、連続する映像フレームからなる動画像を処理する動画像処理方法であって、映像フレームをぼかす強度を決定する（ぼかさないと決定することも含む。）ぼかし強度決定ステップと、ぼかし強度決定ステップにおける決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかしステップとを備え、ぼかし強度決定ステップで、映像フレームが所定数（１以上の数）連続するとぼかす強度を変化させることを特徴とする。
前記ぼかし強度決定ステップは周期的にぼかす強度を変化させる。また、前記ぼかし強度決定ステップは、１フレームおきにぼかす強度を変化させる。
前記ぼかし強度決定ステップは、映像フレーム間の画素値変化に応じてぼかす強度を決定する。
本発明の第３の態様に係る動画像処理方法は、さらに前記画像ぼかしステップで出力した映像フレームを符号化する画像符号化ステップを備え、ぼかし強度決定ステップで、画像符号化ステップにおいて映像フレームを符号化する際の符号化方法に応じてぼかす強度を決定する。
本発明の第３の態様に係る動画像処理方法は、さらに前記画像ぼかしステップで出力した映像フレームを符号化する画像符号化ステップを備え、ぼかし強度決定ステップで、画像符号化ステップにおいて映像フレームを符号化する際の符号化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決定する。
本発明の第３の態様に係る動画像処理方法は、さらに画像符号化ステップで符号化した映像フレームを復号して予測参照フレームを生成する局所復号ステップと、予測参照フレームの高周波信号を除去する予測参照フレームぼかしステップと、予測参照フレームぼかしステップで高周波信号を除去した予測参照フレームから、動き補償予測の予測画像を生成する予測画像生成ステップとを備え、予測参照フレームぼかしステップにおいて、ぼかし強度決定ステップで映像フレームから除去すると決定した高周波信号を予測参照フレームから除去し、画像符号化ステップにおいて、画像ぼかしステップで出力した映像フレームと、予測画像生成ステップで生成した予測画像との減算処理の結果を符号化する。
本発明の第３の態様に係る動画像処理方法は、さらに画像符号化ステップで符号化した映像フレームを復号する復号ステップと、復号ステップで復号した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成ステップと、復号ステップで復号した映像フレームと、第２の予測画像生成ステップで生成した予測画像とを加算して出力する加算ステップとを備える。
本発明の第３の態様に係る動画像処理方法は、さらに画像符号化ステップで符号化した映像フレームを復号する復号ステップと、復号ステップで復号した映像フレームから、ぼかし強度決定ステップで除去すると決定した高周波信号を除去する第２の予測参照フレームぼかしステップと、第２の予測参照フレームぼかしステップで高周波信号を除去した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成ステップと、復号ステップで復号した映像フレームと、第２の予測画像生成ステップで生成した予測画像とを加算して出力する加算ステップとを備える。
本発明の第４の態様に係る動画像処理方法は、連続する映像フレームからなる動画像を処理する動画像処理方法であって、映像フレームごとに、フィルタ処理を行うか否かを決定し、フィルタ処理を行うと決定した場合に、フィルタ処理を行うループ内フィルタ特性を決定するループ内フィルタ決定ステップと、入力された映像フレームに、ループ内フィルタ決定ステップで決定した特性のフィルタでフィルタ処理を行う入力画像フィルタ処理ステップと、フィルタ処理された映像フレームを符号化する画像符号化ステップと、画像符号化ステップで符号化した映像フレームを復号した予測参照フレームを生成する局所復号ステップと、ループ内フィルタ決定ステップで決定した特性のフィルタで予測参照フレームにフィルタ処理を行うループ内フィルタ処理ステップと、ループ内フィルタ処理ステップがフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像生成ステップとを備え、入力画像フィルタ処理ステップ、およびループ内フィルタ処理ステップで、同様の特性のフィルタでフィルタ処理を行い、画像符号化ステップにおいて、入力画像フィルタ処理ステップで出力した映像フレームと、予測画像生成ステップで生成した予測画像との減算処理の結果を符号化することを特徴とする。
本発明の第４の態様に係る動画像処理方法は、さらに符号化された映像フレームを復号する復号ステップと、復号ステップで復号した映像フレームに、ループ内フィルタ決定ステップで決定した特性のフィルタでフィルタ処理を行う第２のループ内フィルタ処理ステップと、第２のループ内フィルタ処理ステップでフィルタ処理を行った映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成ステップと、復号ステップで復号した映像フレームと、第２の予測画像生成ステップで生成した予測画像とを加算して出力する加算ステップとを備える。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、連続する映像フレームからなる動画像を処理させる動画像処理プログラムであって、コンピュータに、映像フレームをぼかす強度を決定する（ぼかさないと決定することも含む。）ぼかし強度決定処理と、ぼかし強度決定処理における決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかし処理とを実行させ、ぼかし強度決定処理で、映像フレームが所定数（１以上の数）連続するとぼかす強度を変化させることを特徴とする。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、ぼかし強度決定処理で、周期的にぼかす強度を変化させる。また、コンピュータに、ぼかし強度決定処理で、１フレームおきにぼかす強度を変化させる。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、ぼかし強度決定処理で、映像フレーム間の画素値変化に応じてぼかす強度を決定させる。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、画像ぼかし処理で出力した映像フレームを符号化する画像符号化処理を実行させ、ぼかし強度決定処理において、画像符号化処理で映像フレームを符号化する際の符号化方法に応じてぼかす強度を決定させる。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、画像ぼかし処理で出力した映像フレームを符号化する画像符号化処理を実行させ、ぼかし強度決定処理において、画像符号化処理で映像フレームを符号化する際の符号化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決定させる。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、さらに画像符号化処理で符号化した映像フレームを復号して予測参照フレームを生成する局所復号処理と、予測参照フレームの高周波信号を除去する予測参照フレームぼかし処理と、予測参照フレームぼかし処理で高周波信号を除去した予測参照フレームから、動き補償予測の予測画像を生成する予測画像生成処理とを実行させ、予測参照フレームぼかし処理において、ぼかし強度決定処理で映像フレームから除去すると決定した高周波信号を予測参照フレームから除去させ、画像符号化処理において、画像ぼかし処理で出力した映像フレームと、予測画像生成処理で生成した予測画像との減算処理の結果を符号化させる。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、さらに画像符号化処理で符号化した映像フレームを復号する復号処理と、復号処理で復号した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成処理と、復号処理で復号した映像フレームと、第２の予測画像生成処理で生成した予測画像とを加算して出力する加算処理とを実行させる。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、画像符号化処理で符号化した映像フレームを復号する復号処理と、復号処理で復号した映像フレームから、ぼかし強度決定処理で除去すると決定した高周波信号を除去する第２の予測参照フレームぼかし処理と、第２の予測参照フレームぼかし処理で高周波信号を除去した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成処理と、復号処理で復号した映像フレームと、第２の予測画像生成処理で生成した予測画像とを加算して出力する加算処理とを実行させてもよい。
本発明の第６の態様に係る動画像処理プログラムは、コンピュータに、連続する映像フレームからなる動画像を処理させる動画像処理プログラムであって、コンピュータに、映像フレームごとに、フィルタ処理を行うか否かを決定し、フィルタ処理を行うと決定した場合に、フィルタ処理を行うループ内フィルタ特性を決定するループ内フィルタ決定処理と、入力された映像フレームに、ループ内フィルタ決定処理で決定した特性のフィルタでフィルタ処理を行う入力画像フィルタリング実行処理と、フィルタ処理された映像フレームを符号化する画像符号化処理と、画像符号化処理で符号化した映像フレームを復号した予測参照フレームを生成する局所復号処理と、ループ内フィルタ決定処理で決定した特性のフィルタで予測参照フレームにフィルタ処理を行うループ内フィルタリング実行処理と、ループ内フィルタリング実行処理でフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像生成処理とを実行させ、入力画像フィルタリング実行処理、およびループ内フィルタリング実行処理で、同様の特性のフィルタでフィルタ処理を実行させ、画像符号化処理で、入力画像フィルタリング実行処理が出力した映像フレームと、予測画像生成処理で生成した予測画像との減算処理の結果を符号化させることを特徴とする。
本発明の第６の態様に係る動画像処理プログラムは、コンピュータに、さらに符号化された映像フレームを復号する復号処理と、復号処理で復号した映像フレームに、ループ内フィルタ決定処理で決定した特性のフィルタでフィルタ処理を行う第２のループ内フィルタリング実行処理と、第２のループ内フィルタリング実行処理でフィルタ処理を行った映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成処理と、復号処理で復号した映像フレームと、第２の予測画像生成処理で生成した予測画像とを加算して出力する加算処理とを実行させる。
ぼかし強度決定手段は、周期的にぼかす強度を変化させる。また、ぼかし強度決定手段は、１フレームおきにぼかす強度を変化させる。
ぼかし強度決定手段は、映像フレーム間の画素値変化に応じてぼかす強度を決定する。
本発明の第１の態様に係る動画像処理装置は、さらに前記画像ぼかし手段が出力した映像フレームを符号化する画像符号化手段を備え、前記ぼかし強度決定手段は、画像符号化手段が映像フレームを符号化する際の符号化方法に応じてぼかす強度を決定する。
本発明の第１の態様に係る動画像処理装置は、さらに画像ぼかし手段が出力した映像フレームを符号化する画像符号化手段を備え、ぼかし強度決定手段は、画像符号化手段が映像フレームを符号化する際の符号化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決定する。
本発明の第１の態様に係る動画像処理装置は、さらに前記画像符号化手段が符号化した映像フレームを復号して予測参照フレームを生成する局所復号手段と、予測参照フレームを記憶する第１の記憶手段と、予測参照フレームの高周波信号を除去する予測参照フレームぼかし手段と、予測参照フレームぼかし手段が高周波信号を除去した予測参照フレームから、動き補償予測の予測画像を生成する予測画像生成手段とを備え、前記予測参照フレームぼかし手段は、ぼかし強度決定手段が映像フレームから除去すると決定した高周波信号を予測参照フレームから除去し、画像符号化手段は、画像ぼかし手段が出力した映像フレームと、予測画像生成手段が生成した予測画像との減算処理の結果を符号化する。
本発明の第１の態様に係る動画像処理装置は、さらに画像符号化手段が符号化した映像フレームを復号する復号手段と、復号手段が復号した映像フレームを記憶する第２の記憶手段と、第２の記憶手段が記憶している映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成手段と、復号手段が復号した映像フレームと、第２の予測画像生成手段が生成した予測画像とを加算して出力する加算手段とを備える。
本発明の第１の態様に係る動画像処理装置は、さらに画像符号化手段が符号化した映像フレームを復号する復号手段と、復号手段が復号した映像フレームを記憶する第２の記憶手段と、第２の記憶手段が記憶している映像フレームから、ぼかし強度決定手段が除去すると決定した高周波信号を除去する第２の予測参照フレームぼかし手段と、第２の予測参照フレームぼかし手段が高周波信号を除去した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成手段と、復号手段が復号した映像フレームと、第２の予測画像生成手段が生成した予測画像とを加算して出力する加算手段とを備える。
本発明の第２の態様に係る動画像処理装置は、連続する映像フレームからなる動画像を処理する動画像処理装置であって、映像フレームごとに、フィルタ処理を行うか否かを決定し、フィルタ処理を行うと決定した場合に、フィルタ処理を行うループ内フィルタ特性を決定するループ内フィルタ決定手段と、入力された映像フレームに、ループ内フィルタ決定手段が決定した特性のフィルタでフィルタ処理を行う入力画像フィルタ処理手段と、フィルタ処理された映像フレームを符号化する画像符号化手段と、画像符号化手段が符号化した映像フレームを復号した予測参照フレームを生成する局所復号手段と、予測参照フレームを記憶する第１の記憶手段と、ループ内フィルタ決定手段が決定した特性のフィルタで予測参照フレームにフィルタ処理を行うループ内フィルタ処理手段と、ループ内フィルタ処理手段がフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像生成手段とを備え、入力画像フィルタ処理手段と、ループ内フィルタ処理手段とは、同様の特性のフィルタでフィルタ処理を行い、画像符号化手段は、入力画像フィルタ処理手段が出力した映像フレームと、予測画像生成手段が生成した予測画像との減算処理の結果を符号化することを特徴とする。
本発明の第２の態様に係る動画像処理装置は、さらに符号化された映像フレームを復号する復号手段と、復号手段が復号した映像フレームを記憶する第２の記憶手段と、第２の記憶手段が記憶している映像フレームに、ループ内フィルタ決定手段が決定した特性のフィルタでフィルタ処理を行う第２のループ内フィルタ処理手段と、第２のループ内フィルタ処理手段がフィルタ処理を行った映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成手段と、復号手段が復号した映像フレームと、第２の予測画像生成手段が生成した予測画像とを加算して出力する加算手段とを備える。
本発明の第３の態様に係る動画像処理方法は、連続する映像フレームからなる動画像を処理する動画像処理方法であって、映像フレームをぼかす強度を決定する（ぼかさないと決定することも含む。）ぼかし強度決定ステップと、ぼかし強度決定ステップにおける決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかしステップとを備え、ぼかし強度決定ステップで、映像フレームが所定数（１以上の数）連続するとぼかす強度を変化させることを特徴とする。
前記ぼかし強度決定ステップは周期的にぼかす強度を変化させる。また、前記ぼかし強度決定ステップは、１フレームおきにぼかす強度を変化させる。
前記ぼかし強度決定ステップは、映像フレーム間の画素値変化に応じてぼかす強度を決定する。
本発明の第３の態様に係る動画像処理方法は、さらに前記画像ぼかしステップで出力した映像フレームを符号化する画像符号化ステップを備え、ぼかし強度決定ステップで、画像符号化ステップにおいて映像フレームを符号化する際の符号化方法に応じてぼかす強度を決定する。
本発明の第３の態様に係る動画像処理方法は、さらに前記画像ぼかしステップで出力した映像フレームを符号化する画像符号化ステップを備え、ぼかし強度決定ステップで、画像符号化ステップにおいて映像フレームを符号化する際の符号化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決定する。
本発明の第３の態様に係る動画像処理方法は、さらに画像符号化ステップで符号化した映像フレームを復号して予測参照フレームを生成する局所復号ステップと、予測参照フレームの高周波信号を除去する予測参照フレームぼかしステップと、予測参照フレームぼかしステップで高周波信号を除去した予測参照フレームから、動き補償予測の予測画像を生成する予測画像生成ステップとを備え、予測参照フレームぼかしステップにおいて、ぼかし強度決定ステップで映像フレームから除去すると決定した高周波信号を予測参照フレームから除去し、画像符号化ステップにおいて、画像ぼかしステップで出力した映像フレームと、予測画像生成ステップで生成した予測画像との減算処理の結果を符号化する。
本発明の第３の態様に係る動画像処理方法は、さらに画像符号化ステップで符号化した映像フレームを復号する復号ステップと、復号ステップで復号した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成ステップと、復号ステップで復号した映像フレームと、第２の予測画像生成ステップで生成した予測画像とを加算して出力する加算ステップとを備える。
本発明の第３の態様に係る動画像処理方法は、さらに画像符号化ステップで符号化した映像フレームを復号する復号ステップと、復号ステップで復号した映像フレームから、ぼかし強度決定ステップで除去すると決定した高周波信号を除去する第２の予測参照フレームぼかしステップと、第２の予測参照フレームぼかしステップで高周波信号を除去した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成ステップと、復号ステップで復号した映像フレームと、第２の予測画像生成ステップで生成した予測画像とを加算して出力する加算ステップとを備える。
本発明の第４の態様に係る動画像処理方法は、連続する映像フレームからなる動画像を処理する動画像処理方法であって、映像フレームごとに、フィルタ処理を行うか否かを決定し、フィルタ処理を行うと決定した場合に、フィルタ処理を行うループ内フィルタ特性を決定するループ内フィルタ決定ステップと、入力された映像フレームに、ループ内フィルタ決定ステップで決定した特性のフィルタでフィルタ処理を行う入力画像フィルタ処理ステップと、フィルタ処理された映像フレームを符号化する画像符号化ステップと、画像符号化ステップで符号化した映像フレームを復号した予測参照フレームを生成する局所復号ステップと、ループ内フィルタ決定ステップで決定した特性のフィルタで予測参照フレームにフィルタ処理を行うループ内フィルタ処理ステップと、ループ内フィルタ処理ステップがフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像生成ステップとを備え、入力画像フィルタ処理ステップ、およびループ内フィルタ処理ステップで、同様の特性のフィルタでフィルタ処理を行い、画像符号化ステップにおいて、入力画像フィルタ処理ステップで出力した映像フレームと、予測画像生成ステップで生成した予測画像との減算処理の結果を符号化することを特徴とする。
本発明の第４の態様に係る動画像処理方法は、さらに符号化された映像フレームを復号する復号ステップと、復号ステップで復号した映像フレームに、ループ内フィルタ決定ステップで決定した特性のフィルタでフィルタ処理を行う第２のループ内フィルタ処理ステップと、第２のループ内フィルタ処理ステップでフィルタ処理を行った映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成ステップと、復号ステップで復号した映像フレームと、第２の予測画像生成ステップで生成した予測画像とを加算して出力する加算ステップとを備える。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、連続する映像フレームからなる動画像を処理させる動画像処理プログラムであって、コンピュータに、映像フレームをぼかす強度を決定する（ぼかさないと決定することも含む。）ぼかし強度決定処理と、ぼかし強度決定処理における決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかし処理とを実行させ、ぼかし強度決定処理で、映像フレームが所定数（１以上の数）連続するとぼかす強度を変化させることを特徴とする。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、ぼかし強度決定処理で、周期的にぼかす強度を変化させる。また、コンピュータに、ぼかし強度決定処理で、１フレームおきにぼかす強度を変化させる。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、ぼかし強度決定処理で、映像フレーム間の画素値変化に応じてぼかす強度を決定させる。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、画像ぼかし処理で出力した映像フレームを符号化する画像符号化処理を実行させ、ぼかし強度決定処理において、画像符号化処理で映像フレームを符号化する際の符号化方法に応じてぼかす強度を決定させる。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、画像ぼかし処理で出力した映像フレームを符号化する画像符号化処理を実行させ、ぼかし強度決定処理において、画像符号化処理で映像フレームを符号化する際の符号化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決定させる。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、さらに画像符号化処理で符号化した映像フレームを復号して予測参照フレームを生成する局所復号処理と、予測参照フレームの高周波信号を除去する予測参照フレームぼかし処理と、予測参照フレームぼかし処理で高周波信号を除去した予測参照フレームから、動き補償予測の予測画像を生成する予測画像生成処理とを実行させ、予測参照フレームぼかし処理において、ぼかし強度決定処理で映像フレームから除去すると決定した高周波信号を予測参照フレームから除去させ、画像符号化処理において、画像ぼかし処理で出力した映像フレームと、予測画像生成処理で生成した予測画像との減算処理の結果を符号化させる。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、さらに画像符号化処理で符号化した映像フレームを復号する復号処理と、復号処理で復号した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成処理と、復号処理で復号した映像フレームと、第２の予測画像生成処理で生成した予測画像とを加算して出力する加算処理とを実行させる。
本発明の第５の態様に係る動画像処理プログラムは、コンピュータに、画像符号化処理で符号化した映像フレームを復号する復号処理と、復号処理で復号した映像フレームから、ぼかし強度決定処理で除去すると決定した高周波信号を除去する第２の予測参照フレームぼかし処理と、第２の予測参照フレームぼかし処理で高周波信号を除去した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成処理と、復号処理で復号した映像フレームと、第２の予測画像生成処理で生成した予測画像とを加算して出力する加算処理とを実行させてもよい。
本発明の第６の態様に係る動画像処理プログラムは、コンピュータに、連続する映像フレームからなる動画像を処理させる動画像処理プログラムであって、コンピュータに、映像フレームごとに、フィルタ処理を行うか否かを決定し、フィルタ処理を行うと決定した場合に、フィルタ処理を行うループ内フィルタ特性を決定するループ内フィルタ決定処理と、入力された映像フレームに、ループ内フィルタ決定処理で決定した特性のフィルタでフィルタ処理を行う入力画像フィルタリング実行処理と、フィルタ処理された映像フレームを符号化する画像符号化処理と、画像符号化処理で符号化した映像フレームを復号した予測参照フレームを生成する局所復号処理と、ループ内フィルタ決定処理で決定した特性のフィルタで予測参照フレームにフィルタ処理を行うループ内フィルタリング実行処理と、ループ内フィルタリング実行処理でフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像生成処理とを実行させ、入力画像フィルタリング実行処理、およびループ内フィルタリング実行処理で、同様の特性のフィルタでフィルタ処理を実行させ、画像符号化処理で、入力画像フィルタリング実行処理が出力した映像フレームと、予測画像生成処理で生成した予測画像との減算処理の結果を符号化させることを特徴とする。
本発明の第６の態様に係る動画像処理プログラムは、コンピュータに、さらに符号化された映像フレームを復号する復号処理と、復号処理で復号した映像フレームに、ループ内フィルタ決定処理で決定した特性のフィルタでフィルタ処理を行う第２のループ内フィルタリング実行処理と、第２のループ内フィルタリング実行処理でフィルタ処理を行った映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成処理と、復号処理で復号した映像フレームと、第２の予測画像生成処理で生成した予測画像とを加算して出力する加算処理とを実行させる。
本発明の第１の効果は、映像フレームごとにぼかす強度を制御するので、視聴者に、ぼかす処理が施されているか否かを容易には検知されずに、動画像の高周波信号を除去することができることである。
特に、ぼかす処理が施されている映像フレームとぼかす処理が施されていない映像フレームとが周期的になるように構成されている場合には、視聴者には、ぼかす処理が施されているか否かについてより容易には検知されずに、動画像の高周波信号を除去することができる。
本発明の第２の効果は、ぼかす処理が施されていることが検知されにくく、かつ動画像を符号化した際に主観画質を向上できることである。
その理由は、第１にぼかす処理が施されている映像フレームとぼかす処理が施されていない映像フレームとで動画像を構成することにより、再生時にぼけが検知されにくいからである。第２に、ぼかす処理が施されている映像フレームでは高周波信号が除去されているので、発生符号量を削減でき、小さい量子化ステップで量子化できるようになり、量子化誤差を削減できるからである。
装置が、映像フレームから除去する高周波信号を、映像フレーム間の画素値変化や、映像フレームを符号化する際の符号化方法に応じて決定するように構成されている場合には、人間の視覚特性を活かして、ぼかす処理を施したことを視聴者に検知されにくくすることができる。
装置が、符号化された映像フレームを復号した予測参照フレームから高周波信号を除去する際に、符号化時のぼかす処理と同様に高周波信号を除去して予測画像を生成するように構成されている場合には、ぼかす処理が施された映像フレームを、正しく復号することができる。
装置が、高周波信号が除去されて符号化された映像フレームを復号した映像フレームから、動き補償予測の予測画像を生成するように構成されている場合には、ＭＰＥＧ−２などの符号化方式で符号化された動画像データを復号する動画復号化装置と同様な構成で、ぼかす処理が施された映像フレームを復号することができる。
特に、ぼかす処理が施されている映像フレームとぼかす処理が施されていない映像フレームとが周期的になるように構成されている場合には、視聴者には、ぼかす処理が施されているか否かについてより容易には検知されずに、動画像の高周波信号を除去することができる。
本発明の第２の効果は、ぼかす処理が施されていることが検知されにくく、かつ動画像を符号化した際に主観画質を向上できることである。
その理由は、第１にぼかす処理が施されている映像フレームとぼかす処理が施されていない映像フレームとで動画像を構成することにより、再生時にぼけが検知されにくいからである。第２に、ぼかす処理が施されている映像フレームでは高周波信号が除去されているので、発生符号量を削減でき、小さい量子化ステップで量子化できるようになり、量子化誤差を削減できるからである。
装置が、映像フレームから除去する高周波信号を、映像フレーム間の画素値変化や、映像フレームを符号化する際の符号化方法に応じて決定するように構成されている場合には、人間の視覚特性を活かして、ぼかす処理を施したことを視聴者に検知されにくくすることができる。
装置が、符号化された映像フレームを復号した予測参照フレームから高周波信号を除去する際に、符号化時のぼかす処理と同様に高周波信号を除去して予測画像を生成するように構成されている場合には、ぼかす処理が施された映像フレームを、正しく復号することができる。
装置が、高周波信号が除去されて符号化された映像フレームを復号した映像フレームから、動き補償予測の予測画像を生成するように構成されている場合には、ＭＰＥＧ−２などの符号化方式で符号化された動画像データを復号する動画復号化装置と同様な構成で、ぼかす処理が施された映像フレームを復号することができる。
図１は、動画像処理装置の第１の実施例を示すブロック図である。
図２は、ぼかす映像フレームとぼかさない映像フレームとが交互になっている映像の構成を示す説明図である。
図３は、動画像処理装置の第２の実施例を示すブロック図である。
図４は、第２の実施例の動画像処理装置の動作を模式的に示すフローチャートである。
図５は、復号装置の構成例を示すブロック図である。
図６は、復号装置の動作を模式的に示すフローチャートである。
図７は、第３の実施例における復号装置の構成を示すブロック図である。
図８は、動画像処理装置の第４の実施例を示すブロック図である。
図９は、第４の実施例の動画像処理装置の動作を模式的に示すフローチャートである。
図１０は、第４の実施例における復号装置の構成を示すブロック図である。
図１１は、第４の実施例における復号装置の動作を模式的に示すフローチャートである。
図１２は、動画像処理装置がコンピュータシステムで実現される場合の構成例を示すブロック図である。
図２は、ぼかす映像フレームとぼかさない映像フレームとが交互になっている映像の構成を示す説明図である。
図３は、動画像処理装置の第２の実施例を示すブロック図である。
図４は、第２の実施例の動画像処理装置の動作を模式的に示すフローチャートである。
図５は、復号装置の構成例を示すブロック図である。
図６は、復号装置の動作を模式的に示すフローチャートである。
図７は、第３の実施例における復号装置の構成を示すブロック図である。
図８は、動画像処理装置の第４の実施例を示すブロック図である。
図９は、第４の実施例の動画像処理装置の動作を模式的に示すフローチャートである。
図１０は、第４の実施例における復号装置の構成を示すブロック図である。
図１１は、第４の実施例における復号装置の動作を模式的に示すフローチャートである。
図１２は、動画像処理装置がコンピュータシステムで実現される場合の構成例を示すブロック図である。
本発明の第１の実施例について、図面を参照して説明する。図１は、本発明による動画像処理装置の第１の実施例を示すブロック図である。
図１に示す動画像処理装置は、映像フレームをぼかす強度を決定するぼかし強度決定装置２０１と、映像フレームの高周波信号を除去して画像にぼかす処理を施す画像ぼかし装置２０２とを含む。
ぼかし強度決定装置２０１は、入力画像が入力された場合に、各映像フレームにぼかす処理を施すか否か、および映像フレームにぼかす処理を施す場合のぼかす強度を決定する。なお、本実施例および以下の実施例では、ぼかす強度は、映像フレームから除去される高周波信号の周波数に相当する。
ぼかす強度は連続する映像フレーム間で一定ではない。ぼかし強度決定装置２０１は、例えば、ぼかす処理を施す映像フレームとぼかす処理を施さない映像フレームとが交互になるようにぼかし強度を決定し、強くぼかす映像フレームと弱くぼかす映像フレームとが交互になるようにぼかし強度を決定する。すなわち、ぼかし強度決定装置２０１は、映像フレームに施すぼかす処理の強度を、周期的に変化させる。また、ぼかし強度決定装置２０１がぼかす強度を変化させる周期は一定であってもよいし、一定でなくてもよい。つまり、非周期的にぼかす強度を変化させてもよい。
図２は、ぼかす映像フレームとぼかさない映像フレームとが交互になっている映像の構成を示す説明図である。
なお、ぼかし強度決定装置２０１は、図２に示すように、１つの映像フレームごとにぼかす強度を変化させなくてもよい。例えば、ぼかし強度決定装置２０１は、２つの映像フレームごとにぼかす強度を変化させてもよい。
ぼかし強度決定装置２０１は、ぼかす強度を、輝度値の変化量など映像フレーム自体の特徴を考慮して決定する。具体的には、ぼかし強度決定装置２０１は、例えば、映像の平均移動量（動きベクトル量）が１６画素で、その動き量が考慮された輝度値の変化量が１画素あたり２の場合に、強くぼかすと決定する。
また、ぼかし強度決定装置２０１は、入力画像が符号化される際の符号化方法を考慮してぼかす強度を決定してもよい。ぼかし強度決定装置２０１は、例えば、フレーム間予測を採用している映像フレームと、そうでない映像フレームとでぼかす強度を変化させてもよい。
ぼかし強度決定装置２０１は、各映像フレームをぼかす強度を、例えば、１０段階のうちのいずれかに決定する。
ぼかし強度決定装置２０１は、各映像フレームにぼかす処理を施すか否かを決定し、および前記ぼかす処理を施すよう決定した場合、映像フレームぼかし処理におけるぼかす強度を決定する。この場合、画像ぼかし装置２０２は、ぼかす処理を施すと決定された映像フレームの高周波信号をぼかす強度に応じて除去して出力する。画像ぼかし装置２０２は、ぼかす処理を施さないと決定された映像フレームには、ぼかす処理を施さずに出力する。高周波信号を除去するために、例えば、低域通過フィルタが用いられる。
具体的には、ぼかし強度決定装置２０１は、映像フレームを強くぼかす場合には、例えば、最大周波数（例えば、４．２ＭＨｚ）の５０％程度の周波数以上の高周波信号（例えば、２．１ＭＨｚ以上の信号）を除去する。
また、ぼかし強度決定装置２０１は、映像フレームを弱くぼかす場合には、例えば、最大周波数（例えば、４．２ＭＨｚ）の９０％程度の周波数以上の高周波信号（例えば、３．８ＭＨｚ以上の信号）を除去する。
なお、本明細書では、映像フレームから高周波信号を除去することを、ぼかす処理を施すという。
以上に述べたように、本実施例によれば、映像フレームごとにぼかす強度を制御し、ぼかす処理が施されている映像フレームとぼかす処理が施されていない映像フレームとが交互に構成されている映像を出力するので、視聴者に、ぼかす処理が施されているか否かを容易には検知されずに、動画像（映像フレーム）の高周波信号を除去することができる。
そのため、視聴者にぼけが検知されないようにしつつ、映像フレームを符号化するための符号量を減らし、低ビットレートでの符号化を実現することができる。
また、高周波信号を全く除去しなかった場合、すなわち、ぼかす処理を全く行わなかった場合には、発生符号量が増える。その場合、低ビットレートで符号化するために、量子化ステップを大きくする必要がある。その結果、量子化誤差が生じて画質が低下する。
しかし、本実施例では、ぼかす処理が施された映像フレームでは高周波信号が除去されているため、全体として発生符号量が削減される。従って、低ビットレートで符号化する場合でも、小さい量子化ステップで量子化できるようになり、量子化誤差を削減することができる。そのため、量子化誤差による画質の低下を検知されにくくすることができる。
つまり、視聴者にぼかす処理が施されたことを検知されにくく、かつ動画像（映像フレーム）を符号化した際の量子化誤差を削減するため、全ての映像フレームの高周波信号を除去した場合や、全く高周波信号を除去しない場合に比べ、主観画質（視聴者が感じる画質）を向上させることができる。
次に、本発明の第２の実施例について、図面を参照して説明する。図３は、本発明による動画像処理装置の第２の実施例を示すブロック図である。
第２の実施例に係る動画像処理装置は、図３に示すように映像フレームのぼかす強度を決定するぼかし強度決定装置（ぼかし強度決定手段）３０１と、映像フレームの高周波信号を除去して画像をぼかす画像ぼかし装置（画像ぼかし手段）３０２と、入力画像を符号化する画像符号化装置（画像符号化手段）３０３と、符号化される画像の予測参照フレームを生成する局所復号化装置（局所復号手段）３０４と、予測参照フレームを格納（記憶）するフレームメモリ（第１の記憶手段）３０５と、予測参照フレームを符号化中の入力画像と同じ強度でぼかす予測参照フレームぼかし装置（予測参照フレームぼかし手段）３０６と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置（予測画像生成手段）３０７とを有する。
なお、本実施例では、動画像処理装置として、ＭＰＥＧ符号化方式による符号化を行う装置を想定する。しかし、本発明による動画像処理装置は、ＭＰＥＧ符号化方式による符号化を行うものに限られない。
ぼかし強度決定装置３０１は、入力画像が入力された場合に、各映像フレームにぼかす処理を施すか否かを決定し、および映像フレームにぼかす処理を施す場合にはぼかす強度（映像フレームから除去する信号の周波数）を決定する。
ぼかす強度は一定ではない。ぼかし強度決定装置３０１は、例えば、ぼかす処理を施す映像フレームとぼかす処理を施さない映像フレームとが交互になるように決定し、強くぼかす映像フレームと弱くぼかす映像フレームとが交互になるように決定する。
ぼかし強度決定装置３０１は、ぼかす強度を、画像符号化装置３０３が出力した情報にもとづいて決定する。例えば、符号化方法にもとづいてぼかす強度を決定し、画像の映像フレーム間での画素値の変化などにもとづいてぼかす強度を決定し、符号化方法と画像の映像フレーム間での画素値の変化との組合せにもとづいて、ぼかす強度を決定する
ぼかし強度決定装置３０１は、映像フレームをぼかした強度や、どのようなぼかす処理が施されたのかを示すぼかし強度情報を、画像符号化装置３０３および予測参照フレームぼかし装置３０６に出力する。
画像ぼかし装置３０２は、入力画像のうち、ぼかし強度決定装置３０１がぼかす処理を施すと決定した映像フレームを、ぼかし強度決定装置３０１が決定したぼかし強度でぼかして（ぼかす処理を施して）、画像符号化装置３０３に出力する。ぼかす処理を施すために、例えば、低域通過フィルタが用いられる。
また、画像ぼかし装置３０２は、入力画像のうち、ぼかし強度決定装置３０１がぼかす処理を施さないと決定した映像フレームを、ぼかさずに画像符号化装置３０３に出力する。
画像符号化装置３０３は、画像ぼかし装置３０２が出力した映像フレームを符号化して出力する。画像符号化装置３０３は、ぼかし強度情報もあわせて符号化し、符号化した動画像データ（映像フレーム）がぼかし強度情報を含むように符号化する。
局所復号化装置３０４は、後に符号化される映像フレームの動き補償予測のための予測参照フレームとして用いるために、画像符号化装置３０３が符号化した映像フレームを復号する。フレームメモリ３０５は、局所復号化装置３０４が復号した映像フレームを記憶する。
予測参照フレームぼかし装置３０６は、フレームメモリ３０５が記憶している映像フレーム（予測参照フレーム）にぼかす処理を施す。予測参照フレームぼかし装置３０６は、ぼかし強度決定装置３０１が出力したぼかし強度情報にもとづいて、ぼかし強度情報が示す方法と同様な方法でぼかす処理を施す。
予測画像生成装置３０７は、ぼかす処理が施された予測参照フレームを用いて、予測画像を生成する。
画像ぼかし装置３０２が出力した映像フレームから、予測画像生成装置３０７が生成した予測画像が減算され、減算結果が画像符号化装置３０３に入力される。また、予測画像生成装置３０７が生成した予測画像は、局所復号化装置３０４が復号した映像フレームに加算処理されてフレームメモリ３０５に記憶される。減算処理は、例えば、減算器によって行われ、加算処理は、例えば、加算器によって行われる。
次に、第２の実施例の動画像処理装置の動作について、図面を参照して説明する。図４は、第２の実施例の動画像処理装置の動作を模式的に示すフローチャートである。図４に示す処理は、まず、予測参照フレームを用いないで符号化された映像フレームが出力され、次に、予測参照フレームを用いて符号化された映像フレームが出力されるまでの過程における処理である。
ぼかし強度決定装置３０１は、入力画像が入力された場合に、各映像フレームにぼかす処理を施すか否かを決定し、および映像フレームにぼかす処理を施す場合のぼかす強度（映像から除去する信号の周波数）を決定する（ステップＳ１０１、Ｓ１０２）。
画像ぼかし装置３０２は、入力画像のうち、ぼかし強度決定装置３０１がぼかすと決定した映像フレームを、ぼかし強度決定装置３０１が決定したぼかし強度でぼかして（ぼかす処理を施して）、画像符号化装置３０３に出力する（ステップＳ１０３）。
画像符号化装置３０３は、画像ぼかし装置３０２が出力した映像フレームを符号化して最初のフレームに関するデータとして出力する（ステップＳ１０４）。
画像符号化装置３０３が出力した映像フレームは後に符号化される映像フレームの予測参照フレームとして用いられるので、局所復号化装置３０４は、画像符号化装置３０３が出力した映像フレームを復号する（ステップＳ１０５）。予測参照フレームぼかし装置３０６は、フレームメモリ３０５が記憶している映像フレーム（予測参照フレーム）にぼかす処理（フィルタ処理）を施す（ステップＳ１０６）。
予測画像生成装置３０７は、ぼかす処理（フィルタ処理）が施された予測参照フレームを用いて、予測画像を生成する（ステップＳ１０７）。予測画像生成装置６０７が生成した予測画像は、減算器によって画像ぼかし装置３０２が出力した映像フレームから減算される（ステップＳ１０８）。
画像符号化装置３０３は、減算器の出力を符号化して、２番目のフレームに関するデータとして出力する（ステップＳ１０９、Ｓ１１０）。
次に、符号化された動画像の復号について説明する。図５は、復号装置の構成例を示すブロック図である。
図５に示す復号装置は、符号化された動画像を復号する画像復号化装置（復号手段）４０１と、復号された映像フレームを予測参照フレームとして使用するために格納（記憶）するフレームメモリ（第２の記憶手段）４０２と、予測参照フレームにぼかす処理を施す予測参照フレームぼかし装置（第２の予測参照フレームぼかし手段）４０３と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置（第２の予測画像生成手段）４０４とを含む。
動画像処理装置は、図５に例示したような復号装置の機能を含んでいてもよい。
画像復号化装置４０１は、符号化された映像フレームを復号する。なお、画像復号化装置４０１は、符号化されたぼかし強度情報も同時に復号する。そして、画像復号化装置４０１は、復号したぼかし強度情報を予測参照フレームぼかし装置４０３に出力する。
フレームメモリ４０２は、画像復号化装置４０１が復号した映像フレームを予測参照フレームとして用いるために、画像復号化装置４０１が復号した映像フレーム（予測参照フレーム）を記憶する。
予測参照フレームぼかし装置４０３は、画像復号化装置４０１が復号したぼかし強度情報にもとづいて、フレームメモリ４０２が記憶している予測参照フレームに、符号化時と同じ方法および同じ強度でぼかす処理を施す。
予測画像生成装置４０４は、予測参照フレームぼかし装置４０３がぼかす処理を施した予測参照フレームを用いて予測画像を生成する。予測画像生成装置４０４が生成した予測画像は、画像復号化装置４０１が復号した映像フレームに加算処理されて出力される。加算処理は、例えば、加算器（加算手段）によって行われる。
次に、復号装置の動作について、図面を参照して説明する。図６は、復号装置の動作を模式的に示すフローチャートである。図６に示す処理は、予測参照フレームを用いて復号を行う場合を例にした処理である。
画像復号化装置４０１は、予測参照フレームを用いないで符号化された映像フレームが入力された場合に、符号化された映像フレームを復号する（ステップＳ２０１）。
予測参照フレームぼかし装置４０３は、予測参照フレームに、符号化時と同じ処理および同じ強度でぼかす処理（フィルタ処理）を施す（ステップＳ２０２）。予測画像生成装置４０４は、予測参照フレームぼかし装置４０３がぼかす処理（フィルタ処理）を施した予測参照フレームを用いて、予測画像を生成する（ステップＳ２０３）。
予測画像生成装置４０４が生成した予測画像は、加算器で、画像復号化装置７０１が復号した映像フレームに加算処理される。そして、加算器から加算結果が出力される（ステップＳ２０４、Ｓ２０５）。
動画像処理装置が含む各装置の動作は、プログラム制御にしたがって処理を実行するＣＰＵによって行われてもよい。具体的には、動画像処理装置が、コンピュータに、連続する映像フレームからなる動画像を処理させる動画像処理プログラムであって、コンピュータに、映像フレームをぼかす強度を決定する（ぼかさないと決定することも含む。）ぼかし強度決定処理と、ぼかし強度決定処理における決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかし処理とを実行させ、前記ぼかし強度決定処理で、映像フレームが所定数（１以上の数）連続するとぼかす強度を変化させることを特徴とする動画像処理プログラムを搭載する。ＣＰＵが前記各処理を実行してもよい。
本実施例によれば、ぼかし強度決定装置３０１の決定にもとづいて、映像フレームごとにぼかす処理を施すか否か、およびぼかす処理を施す際のぼかす強度を変化させて、映像フレームの符号化および復号を行うことができる。
従って、第１の実施例と同様に、視聴者に、ぼかす処理が施されているか否かを容易には検知されずに動画像の高周波信号を除去し、主観画質を向上させることができる。
次に、本発明の第３の実施例について説明する。動画像処理装置の構成は、図３に示された第２の実施例の動画像処理装置の構成と同じである。ただし、第３の実施例では、復号装置は図７に示すように構成される。すなわち、予測参照フレームぼかし装置４０３に相当するものを備えていない。
なお、符号化処理を行う動画像処理装置が、図７に例示したような復号装置の機能を含んでいてもよい。
図７に示す復号装置は、符号化された映像データを復号する画像復号化装置５０１と、復号された映像フレームを予測参照フレームとして使用するために格納（記憶）するフレームメモリ５０２と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置５０３とを含む。
図７に示す復号装置は、図５に示す復号装置から、予測参照フレームぼかし装置４０３を除いた構成である。図７に示す復号装置は、例えば、ＭＰＥＧ−２などの符号化方式で符号化された動画像データを復号する動画復号化装置の構成と同様の構成である。
入力画像は、図３に示す動画像処理装置で符号化されている。従って、動き補償予測に用いられる予測参照フレームは、それぞれ映像フレームごとに異なる強度でぼかされている。
一方、符号化された映像フレームは、図７に示す復号装置が復号する。図７に示す復号装置は、予測参照フレームをぼかす手段を備えていない。従って、図７に示す復号装置は、符号化時に用いた予測参照フレームと合致する予測参照フレームを生成することができないので、図３に示す動画像処理装置で符号化された映像フレームを正しく復号することができない。
そのため、復号された映像フレームは、図３に示す動画像処理装置が符号化する前の映像フレームとは異なる。動き補償予測による予測残差は、符号化時にぼけた予測参照フレームと、ぼけた入力映像フレームとの差分から構成されている。映像フレームを復号する際、この予測残差はぼけていない予測参照フレームに加算される。
通常のＭＰＥＧ−２方式などで符号化した場合のように、入力画像をぼかさずに符号化した場合の画像データ（映像フレーム）を図７に示す復号装置で復号した場合の画像データ（映像フレーム）と、入力画像をぼかして符号化する図３に示す動画像処理装置で符号化した画像データ（映像フレーム）を図７に示す復号装置で復号した場合の画像データ（映像フレーム）とを比較すると、復号後の画像データ（映像フレーム）の違いは、予測残差の高周波信号の有無である。
そのため、本実施例では、図３に示す動画像処理装置で符号化した動画データを、図７に示す復号装置で復号した場合に、正しく画像データ（映像フレーム）復号することはできない。しかし、高周波信号は人間の視覚特性上検知されにくいため、その差（符号化前の画像データ（映像フレーム）と復号後の画像データ（映像フレーム）との差）を視聴者に検知されにくくすることができる。
また、ぼかす処理を施した映像フレームには高周波信号が少ししか含まれないため、符号化が簡単になる。したがって発生符号量を減少させることができる。そして、減少した符号量を、ぼかす処理を施していない映像フレームに割り当てることができるので、ぼかす処理を施していない映像フレームの画質を向上させることができる。従って、本実施例によれば、映像全体として主観画質を向上させることができる。
次に、本発明の第４の実施例について、図面を参照して説明する。本発明の第４の実施例における動画像処理装置は、Ｈ．２６１方式（ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）のＨ．２６１勧告にもとづく方式）などのように、ループ内フィルタが採用されている符号化方式において、入力画像をループ内フィルタと同じフィルタ特性でフィルタリングして予測残差を小さくし、発生符号量を少なくする。
本実施例では、映像フレームをＨ．２６１方式で符号化する場合、およびＨ．２６１方式で符号化された映像フレームを復号する場合を例に説明する。図８は、本発明による動画像処理装置の第４の実施例を示すブロック図である。
図８に示す動画像処理装置は、ループ内フィルタの種類を決定するループ内フィルタ決定装置（ループ内フィルタ決定手段）６０１と、入力画像に対して、符号化ループ内に備えられているループ内フィルタと等しいフィルタを用いてフィルタ処理を施す入力画像フィルタ処理装置（入力画像フィルタ処理手段）６０２と、入力画像を符号化する画像符号化装置（画像符号化手段）６０３と、符号化される画像の予測参照フレームを生成する局所復号化装置（局所復号手段）６０４と、予測参照フレームを格納（記憶）するフレームメモリ（第１の記憶手段）６０５と、予測参照フレームの高周波信号を除去するループ内フィルタ処理装置（ループ内フィルタ処理手段）６０６と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置（予測画像生成手段）６０７とを含む。
ループ内フィルタ決定装置６０１は、映像フレームにもとづいて、各映像フレームにぼかす処理（フィルタ処理）を施すか否か、および使用するループ内フィルタの種類を決定する。ループ内フィルタ決定装置６０１は、画像符号化装置６０３の出力による発生符号量や、画像データの複雑さなどを考慮してループ内フィルタの種類を決定する。
また、ループ内フィルタ決定装置６０１は、使用するループ内フィルタの種類を示すフィルタ情報を、画像符号化装置６０３およびループ内フィルタ処理装置６０６に出力する。
入力画像フィルタ処理装置６０２は、映像フレームのうち、ループ内フィルタ決定装置６０１がぼかす処理を施すと決定した映像フレームを、ループ内フィルタ決定装置６０１が決定したループ内フィルタでぼかして（ぼかす処理（フィルタ処理）を施して）、画像符号化装置６０３に出力する。
また、入力画像フィルタ処理装置６０２は、入力画像のうち、ループ内フィルタ決定装置６０１がぼかす処理を施さないと決定した映像フレームを、ぼかす処理（フィルタ処理）を施さないで画像符号化装置６０３に出力する。
画像符号化装置６０３は、入力画像フィルタ処理装置６０２が出力した映像フレームと、ループ内フィルタ決定装置６０１が出力したフィルタ情報とを符号化して出力する。
局所復号化装置６０４は、後に符号化される映像フレームの動き補償予測のための予測参照フレームとして用いるために、画像符号化装置６０３が符号化した映像フレームを復号する。フレームメモリ６０５は、局所復号化装置６０４が復号した映像フレームを記憶する。
ループ内フィルタ装置６０６は、フレームメモリ６０５が記憶している映像フレーム（予測参照フレーム）にぼかす処理を施す。なお、ループ内フィルタ装置６０６は、ループ内フィルタ決定装置６０１が出力したフィルタ情報にもとづいて、入力画像フィルタ処理装置６０２と同様なフィルタを用いて予測参照フレームにぼかす処理（フィルタ処理）を施す。
予測画像生成装置６０７は、ぼかす処理（フィルタ処理）が施された予測参照フレームを用いて、予測画像を生成する。入力画像フィルタ処理装置６０２が出力した映像フレームから、予測画像生成装置６０７が生成した予測画像が減算される。また、予測画像生成装置６０７が生成した予測画像は、局所復号化装置６０４が復号した映像フレームに加算処理されてフレームメモリ６０５に記憶される。フィルタ処理を施すために、例えば、低域通過フィルタが用いられる。
次に、第４の実施例の動画像処理装置の動作について、図面を参照して説明する。図９は、第４の実施例の動画像処理装置の動作を模式的に示すフローチャートである。
ループ内フィルタ決定装置６０１は、画像データ（映像フレーム）が入力された場合に、各映像フレームにぼかす処理（フィルタ処理）を施すか否か、および使用するループ内フィルタの種類を決定する（ステップＳ３０１、Ｓ３０２）。
入力画像フィルタ処理装置６０２は、映像フレームのうち、ループ内フィルタ決定装置６０１がぼかす処理を施すと決定した映像フレームを、ループ内フィルタ決定装置６０１が決定したループ内フィルタでぼかす。すなわち、ぼかす処理（フィルタ処理）が施される。そして、入力画像フィルタ処理装置６０２は、ぼかし処理が施された映像フレームを画像符号化装置６０３に出力する（ステップＳ３０３）。
画像符号化装置６０３は、入力画像フィルタ処理装置６０２が出力した映像フレームを符号化して、最初のフレームに関するデータとして出力する（ステップＳ３０４）。
画像符号化装置６０３が出力した映像フレームは後に符号化される映像フレームの予測参照フレームとして用いられるので、局所復号化装置６０４は、画像符号化装置６０３が出力した映像フレームを復号する（ステップＳ３０５）。ループ内フィルタ装置６０６は、フレームメモリ６０５が記憶している映像フレーム（予測参照フレーム）にぼかす処理（フィルタ処理）を施す（ステップＳ３０６）。
予測画像生成装置６０７は、ぼかす処理（フィルタ処理）が施された予測参照フレームを用いて、予測画像を生成する（ステップＳ３０７）。予測画像生成装置６０７が生成した予測画像は、減算器にて入力画像フィルタ処理装置６０２が出力した映像フレームから減算される（ステップＳ３０８）。
画像符号化装置６０３は、減算器の出力を符号化して、符号化された映像フレームのデータを出力する（ステップＳ３０９、Ｓ３１０）。
次に、符号化された動画像の復号について説明する。第４の実施例では、図１０に示す復号装置で復号が行われる。
図１０に示す復号装置は、符号化された動画像を復号する画像復号化装置（復号手段）７０１と、復号された映像フレームを予測参照フレームとして使用するために格納（記憶）しておくフレームメモリ（第２の記憶手段）７０２と、予測参照フレームの高周波信号を除去するループ内フィルタ処理装置（第２のループ内フィルタ処理手段）７０３と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置（第２の予測画像生成手段）７０４とを含む。
なお、動画像処理装置が、図１０に例示したような復号装置の機能を含んでいてもよい。
画像復号化装置７０１は、符号化された映像フレームとフィルタ情報とを復号する。画像復号化装置７０１は、復号したフィルタ情報を、ループ内フィルタ処理装置７０３に出力する。フレームメモリ７０２は、画像復号化装置７０１が復号した映像フレームを、予測参照フレームとして用いるために記憶する。ループ内フィルタ装置７０３は、画像復号化装置７０１が出力したフィルタ情報にもとづいて、フレームメモリ７０２が記憶している予測参照フレームに、ぼかす処理（フィルタ処理）を施す。
予測画像生成装置７０４は、フィルタ処理が施された予測参照フレームを用いて、予測画像を生成する。予測画像生成装置７０４が生成した予測画像は、画像復号化装置７０１が復号した映像フレームに加算されて出力される。
次に、復号装置の動作について、図面を参照して説明する。図１１は、第４の実施例の復号装置の動作を模式的に示すフローチャートである。
画像復号化装置７０１は、符号化された映像フレームを復号する（ステップＳ４０１）。
ループ内フィルタ装置７０３は、予測参照フレームに、符号化時と同じ処理および同じ強度でぼかす処理（フィルタ処理）を施す（ステップＳ４０２）。予測画像生成装置７０４は、ループ内フィルタ装置７０３がぼかす処理（フィルタ処理）を施した予測参照フレームを用いて、予測画像を生成する（ステップＳ４０３）。
予測画像生成装置７０４が生成した予測画像は、加算器で、画像復号化装置７０１が復号した映像フレームに加算処理され、加算器から加算結果が出力される（ステップＳ４０４、Ｓ４０５）。
なお、動画像処理装置が含む各装置の動作は、プログラム制御にしたがって処理を実行するＣＰＵに行わせてもよい。具体的には、動画像処理装置が、コンピュータに、映像フレームごとに、フィルタ処理を行うか否かを決定し、フィルタ処理を行うと決定した場合に、フィルタ処理を行うループ内フィルタ特性を決定するループ内フィルタ決定処理と、入力された映像フレームに、ループ内フィルタ決定処理で決定した特性のフィルタでフィルタ処理を行う入力画像フィルタリング実行処理と、フィルタ処理された映像フレームを符号化する画像符号化処理と、画像符号化処理で符号化した映像フレームを復号した予測参照フレームを生成する局所復号処理と、ループ内フィルタ決定処理で決定した特性のフィルタで予測参照フレームにフィルタ処理を行うループ内フィルタリング実行処理と、ループ内フィルタリング実行処理でフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像生成処理とを実行させ、入力画像フィルタリング実行処理、およびループ内フィルタリング実行処理で、同様の特性のフィルタでフィルタ処理を実行させ、画像符号化処理で、入力画像フィルタリング実行処理が出力した映像フレームと、予測画像生成処理で生成した予測画像との減算処理の結果を符号化させることを特徴とする動画像処理プログラムを搭載する。前記動画像処理プログラムはＣＰＵに実行させてもよい。
本実施例によれば、予測参照フレームに対してフィルタ処理を施したループ内フィルタと同じ特性のフィルタを用いて、フィルタ処理を入力画像に施すので、予測参照フレームおよび入力画像から高周波信号が同程度除去され、予測残差を小さくすることができる。そのため、符号化に必要な符号量を削減することができる。
また、本実施例における復号装置は、Ｈ．２６１方式などの符号化方式の復号装置と同様な構成であるので、画像符号化を行う部分のみを変更して本実施例を実現することができる。
図１２は、第１の実施例の動画像処理装置がコンピュータシステムで実現される場合の構成例を示すブロック図である。
図１２に示す構成例では、コンピュータシステムは、プロセッサ８０１を有する。プロセッサ８０１には、入力データバッファ８１１および出力データバッファ８１２と、必要なプログラムを格納したプログラムメモリ８０２が接続されている。
プログラムメモリ８０２に格納されるプログラムモジュールとして、メインプログラムの他に、ぼかし強度決定処理８１３および画像ぼかし処理８１４が含まれている。メインプログラムは、動画像処理を実行する主プログラムである。ぼかし強度決定処理プログラム８１３は、ぼかし強度決定装置２０１の機能を実現するためのプログラムである。画像ぼかし処理プログラム８１４は、画像ぼかし装置２０２の機能を実現するためのプログラムである。メインプログラムおよび各機能モジュールをプロセッサ８０１が実行することによって、第１の実施例の動画像処理装置における動画像処理が実行される。
上記した第２から第４の実施例の動画像処理装置も、同様に各ブロックの機能を実現するプログラムモジュールをコンピュータシステムに実装することによって実現される。
次に、本発明による動画像処理装置のより具体的な実施例について説明する。
ここでは、ＳＤＴＶ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）サイズ（水平方向：７２０画素、垂直方向：４８０画素、１秒あたり２９．９７フレーム）の動画像を、図３に示す動画像処理装置に入力して、ＭＰＥＧ符号化方式で符号化する場合を例にする。
画像符号化装置３０３は、映像フレームを、１つの映像フレームを独立に符号化するフレーム（Ｉピクチャ）、過去の映像フレームから予測を行い予測誤差を符号化するフレーム（Ｐピクチャ）、および過去と未来の映像フレームから予測をおこない予測誤差を符号化するフレーム（Ｂピクチャ）の３種類のピクチャのいずれかに符号化する。
ここでは、入力された動画像のうちＢピクチャとして符号化される映像フレームのみ画像ぼかし装置３０２でぼかし処理が施される、ＩおよびＰピクチャとして符号化される映像フレームはぼかし処理が施されることなくそのまま符号化される場合を例にする。ぼかし処理を施すか否かの決定は、ぼかし強度決定装置３０１にて行われる。
このようにピクチャの種類に応じて異なるぼかし処理が施された入力画像は、画像符号化装置３０３にて符号化される。画像符号化装置３０３は、離散コサイン変換、量子化、可変長符号化を用いたＭＰＥＧ方式と同様の方法の符号化に加え、入力画像をどのようにぼかしたかの情報もあわせて符号化する。符号化された映像フレームは、局所復号化装置３０４で復号化され、予測参照フレームとして使用するために、フレームメモリ３０５に格納される。符号化されている映像フレームがＢピクチャの場合は、予測参照フレームぼかし装置３０６は、フレームメモリ３０５に格納された予測参照フレームにぼかし処理を施す。このとき、画像ぼかし装置３０２が入力画像をぼかした方法と同様の方法で予測参照フレームをぼかす。
予測画像生成装置３０７は、ぼかした予測参照フレームを用いて予測画像を生成する。そして、入力画像と予測画像との差分がとられ、差分が符号化される。符号化されている映像フレームがＰピクチャの場合は、予測参照フレームぼかし装置３０６は、ぼかし処理を行わず、予測画像生成装置３０７で予測画像が生成され、入力画像との差分がとられ差分が符号化される。
符号化された動画像データを復号する際に、図４に示された画像復号化装置４０１によって、映像フレームが復元される。その際に、符号化時に映像フレームがどのようにぼかされたかの情報も復号される。復号された映像フレームは、予測参照フレームとして用いるためにフレームメモリ４０２に格納される。
復号されているフレームがＢピクチャの場合には、フレームメモリ４０２に格納された予測参照フレームは、予測参照フレームぼかし装置４０３において符号化時と同じ方法でぼかされる。予測画像生成装置４０４は、ぼかされた予測参照フレームから予測画像を生成する。そして、画像復号化装置４０１の復号結果である予測残差と予測画像と加算され復号が完了する。復号しているフレームがＰピクチャの場合は、予測参照フレームぼかし装置４０３は、予測参照フレームをぼかさない。予測画像生成装置４０４は、予測画像を生成し、復号された予測残差と予測画像と加算されて復号が完了する。
図１に示す動画像処理装置は、映像フレームをぼかす強度を決定するぼかし強度決定装置２０１と、映像フレームの高周波信号を除去して画像にぼかす処理を施す画像ぼかし装置２０２とを含む。
ぼかし強度決定装置２０１は、入力画像が入力された場合に、各映像フレームにぼかす処理を施すか否か、および映像フレームにぼかす処理を施す場合のぼかす強度を決定する。なお、本実施例および以下の実施例では、ぼかす強度は、映像フレームから除去される高周波信号の周波数に相当する。
ぼかす強度は連続する映像フレーム間で一定ではない。ぼかし強度決定装置２０１は、例えば、ぼかす処理を施す映像フレームとぼかす処理を施さない映像フレームとが交互になるようにぼかし強度を決定し、強くぼかす映像フレームと弱くぼかす映像フレームとが交互になるようにぼかし強度を決定する。すなわち、ぼかし強度決定装置２０１は、映像フレームに施すぼかす処理の強度を、周期的に変化させる。また、ぼかし強度決定装置２０１がぼかす強度を変化させる周期は一定であってもよいし、一定でなくてもよい。つまり、非周期的にぼかす強度を変化させてもよい。
図２は、ぼかす映像フレームとぼかさない映像フレームとが交互になっている映像の構成を示す説明図である。
なお、ぼかし強度決定装置２０１は、図２に示すように、１つの映像フレームごとにぼかす強度を変化させなくてもよい。例えば、ぼかし強度決定装置２０１は、２つの映像フレームごとにぼかす強度を変化させてもよい。
ぼかし強度決定装置２０１は、ぼかす強度を、輝度値の変化量など映像フレーム自体の特徴を考慮して決定する。具体的には、ぼかし強度決定装置２０１は、例えば、映像の平均移動量（動きベクトル量）が１６画素で、その動き量が考慮された輝度値の変化量が１画素あたり２の場合に、強くぼかすと決定する。
また、ぼかし強度決定装置２０１は、入力画像が符号化される際の符号化方法を考慮してぼかす強度を決定してもよい。ぼかし強度決定装置２０１は、例えば、フレーム間予測を採用している映像フレームと、そうでない映像フレームとでぼかす強度を変化させてもよい。
ぼかし強度決定装置２０１は、各映像フレームをぼかす強度を、例えば、１０段階のうちのいずれかに決定する。
ぼかし強度決定装置２０１は、各映像フレームにぼかす処理を施すか否かを決定し、および前記ぼかす処理を施すよう決定した場合、映像フレームぼかし処理におけるぼかす強度を決定する。この場合、画像ぼかし装置２０２は、ぼかす処理を施すと決定された映像フレームの高周波信号をぼかす強度に応じて除去して出力する。画像ぼかし装置２０２は、ぼかす処理を施さないと決定された映像フレームには、ぼかす処理を施さずに出力する。高周波信号を除去するために、例えば、低域通過フィルタが用いられる。
具体的には、ぼかし強度決定装置２０１は、映像フレームを強くぼかす場合には、例えば、最大周波数（例えば、４．２ＭＨｚ）の５０％程度の周波数以上の高周波信号（例えば、２．１ＭＨｚ以上の信号）を除去する。
また、ぼかし強度決定装置２０１は、映像フレームを弱くぼかす場合には、例えば、最大周波数（例えば、４．２ＭＨｚ）の９０％程度の周波数以上の高周波信号（例えば、３．８ＭＨｚ以上の信号）を除去する。
なお、本明細書では、映像フレームから高周波信号を除去することを、ぼかす処理を施すという。
以上に述べたように、本実施例によれば、映像フレームごとにぼかす強度を制御し、ぼかす処理が施されている映像フレームとぼかす処理が施されていない映像フレームとが交互に構成されている映像を出力するので、視聴者に、ぼかす処理が施されているか否かを容易には検知されずに、動画像（映像フレーム）の高周波信号を除去することができる。
そのため、視聴者にぼけが検知されないようにしつつ、映像フレームを符号化するための符号量を減らし、低ビットレートでの符号化を実現することができる。
また、高周波信号を全く除去しなかった場合、すなわち、ぼかす処理を全く行わなかった場合には、発生符号量が増える。その場合、低ビットレートで符号化するために、量子化ステップを大きくする必要がある。その結果、量子化誤差が生じて画質が低下する。
しかし、本実施例では、ぼかす処理が施された映像フレームでは高周波信号が除去されているため、全体として発生符号量が削減される。従って、低ビットレートで符号化する場合でも、小さい量子化ステップで量子化できるようになり、量子化誤差を削減することができる。そのため、量子化誤差による画質の低下を検知されにくくすることができる。
つまり、視聴者にぼかす処理が施されたことを検知されにくく、かつ動画像（映像フレーム）を符号化した際の量子化誤差を削減するため、全ての映像フレームの高周波信号を除去した場合や、全く高周波信号を除去しない場合に比べ、主観画質（視聴者が感じる画質）を向上させることができる。
次に、本発明の第２の実施例について、図面を参照して説明する。図３は、本発明による動画像処理装置の第２の実施例を示すブロック図である。
第２の実施例に係る動画像処理装置は、図３に示すように映像フレームのぼかす強度を決定するぼかし強度決定装置（ぼかし強度決定手段）３０１と、映像フレームの高周波信号を除去して画像をぼかす画像ぼかし装置（画像ぼかし手段）３０２と、入力画像を符号化する画像符号化装置（画像符号化手段）３０３と、符号化される画像の予測参照フレームを生成する局所復号化装置（局所復号手段）３０４と、予測参照フレームを格納（記憶）するフレームメモリ（第１の記憶手段）３０５と、予測参照フレームを符号化中の入力画像と同じ強度でぼかす予測参照フレームぼかし装置（予測参照フレームぼかし手段）３０６と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置（予測画像生成手段）３０７とを有する。
なお、本実施例では、動画像処理装置として、ＭＰＥＧ符号化方式による符号化を行う装置を想定する。しかし、本発明による動画像処理装置は、ＭＰＥＧ符号化方式による符号化を行うものに限られない。
ぼかし強度決定装置３０１は、入力画像が入力された場合に、各映像フレームにぼかす処理を施すか否かを決定し、および映像フレームにぼかす処理を施す場合にはぼかす強度（映像フレームから除去する信号の周波数）を決定する。
ぼかす強度は一定ではない。ぼかし強度決定装置３０１は、例えば、ぼかす処理を施す映像フレームとぼかす処理を施さない映像フレームとが交互になるように決定し、強くぼかす映像フレームと弱くぼかす映像フレームとが交互になるように決定する。
ぼかし強度決定装置３０１は、ぼかす強度を、画像符号化装置３０３が出力した情報にもとづいて決定する。例えば、符号化方法にもとづいてぼかす強度を決定し、画像の映像フレーム間での画素値の変化などにもとづいてぼかす強度を決定し、符号化方法と画像の映像フレーム間での画素値の変化との組合せにもとづいて、ぼかす強度を決定する
ぼかし強度決定装置３０１は、映像フレームをぼかした強度や、どのようなぼかす処理が施されたのかを示すぼかし強度情報を、画像符号化装置３０３および予測参照フレームぼかし装置３０６に出力する。
画像ぼかし装置３０２は、入力画像のうち、ぼかし強度決定装置３０１がぼかす処理を施すと決定した映像フレームを、ぼかし強度決定装置３０１が決定したぼかし強度でぼかして（ぼかす処理を施して）、画像符号化装置３０３に出力する。ぼかす処理を施すために、例えば、低域通過フィルタが用いられる。
また、画像ぼかし装置３０２は、入力画像のうち、ぼかし強度決定装置３０１がぼかす処理を施さないと決定した映像フレームを、ぼかさずに画像符号化装置３０３に出力する。
画像符号化装置３０３は、画像ぼかし装置３０２が出力した映像フレームを符号化して出力する。画像符号化装置３０３は、ぼかし強度情報もあわせて符号化し、符号化した動画像データ（映像フレーム）がぼかし強度情報を含むように符号化する。
局所復号化装置３０４は、後に符号化される映像フレームの動き補償予測のための予測参照フレームとして用いるために、画像符号化装置３０３が符号化した映像フレームを復号する。フレームメモリ３０５は、局所復号化装置３０４が復号した映像フレームを記憶する。
予測参照フレームぼかし装置３０６は、フレームメモリ３０５が記憶している映像フレーム（予測参照フレーム）にぼかす処理を施す。予測参照フレームぼかし装置３０６は、ぼかし強度決定装置３０１が出力したぼかし強度情報にもとづいて、ぼかし強度情報が示す方法と同様な方法でぼかす処理を施す。
予測画像生成装置３０７は、ぼかす処理が施された予測参照フレームを用いて、予測画像を生成する。
画像ぼかし装置３０２が出力した映像フレームから、予測画像生成装置３０７が生成した予測画像が減算され、減算結果が画像符号化装置３０３に入力される。また、予測画像生成装置３０７が生成した予測画像は、局所復号化装置３０４が復号した映像フレームに加算処理されてフレームメモリ３０５に記憶される。減算処理は、例えば、減算器によって行われ、加算処理は、例えば、加算器によって行われる。
次に、第２の実施例の動画像処理装置の動作について、図面を参照して説明する。図４は、第２の実施例の動画像処理装置の動作を模式的に示すフローチャートである。図４に示す処理は、まず、予測参照フレームを用いないで符号化された映像フレームが出力され、次に、予測参照フレームを用いて符号化された映像フレームが出力されるまでの過程における処理である。
ぼかし強度決定装置３０１は、入力画像が入力された場合に、各映像フレームにぼかす処理を施すか否かを決定し、および映像フレームにぼかす処理を施す場合のぼかす強度（映像から除去する信号の周波数）を決定する（ステップＳ１０１、Ｓ１０２）。
画像ぼかし装置３０２は、入力画像のうち、ぼかし強度決定装置３０１がぼかすと決定した映像フレームを、ぼかし強度決定装置３０１が決定したぼかし強度でぼかして（ぼかす処理を施して）、画像符号化装置３０３に出力する（ステップＳ１０３）。
画像符号化装置３０３は、画像ぼかし装置３０２が出力した映像フレームを符号化して最初のフレームに関するデータとして出力する（ステップＳ１０４）。
画像符号化装置３０３が出力した映像フレームは後に符号化される映像フレームの予測参照フレームとして用いられるので、局所復号化装置３０４は、画像符号化装置３０３が出力した映像フレームを復号する（ステップＳ１０５）。予測参照フレームぼかし装置３０６は、フレームメモリ３０５が記憶している映像フレーム（予測参照フレーム）にぼかす処理（フィルタ処理）を施す（ステップＳ１０６）。
予測画像生成装置３０７は、ぼかす処理（フィルタ処理）が施された予測参照フレームを用いて、予測画像を生成する（ステップＳ１０７）。予測画像生成装置６０７が生成した予測画像は、減算器によって画像ぼかし装置３０２が出力した映像フレームから減算される（ステップＳ１０８）。
画像符号化装置３０３は、減算器の出力を符号化して、２番目のフレームに関するデータとして出力する（ステップＳ１０９、Ｓ１１０）。
次に、符号化された動画像の復号について説明する。図５は、復号装置の構成例を示すブロック図である。
図５に示す復号装置は、符号化された動画像を復号する画像復号化装置（復号手段）４０１と、復号された映像フレームを予測参照フレームとして使用するために格納（記憶）するフレームメモリ（第２の記憶手段）４０２と、予測参照フレームにぼかす処理を施す予測参照フレームぼかし装置（第２の予測参照フレームぼかし手段）４０３と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置（第２の予測画像生成手段）４０４とを含む。
動画像処理装置は、図５に例示したような復号装置の機能を含んでいてもよい。
画像復号化装置４０１は、符号化された映像フレームを復号する。なお、画像復号化装置４０１は、符号化されたぼかし強度情報も同時に復号する。そして、画像復号化装置４０１は、復号したぼかし強度情報を予測参照フレームぼかし装置４０３に出力する。
フレームメモリ４０２は、画像復号化装置４０１が復号した映像フレームを予測参照フレームとして用いるために、画像復号化装置４０１が復号した映像フレーム（予測参照フレーム）を記憶する。
予測参照フレームぼかし装置４０３は、画像復号化装置４０１が復号したぼかし強度情報にもとづいて、フレームメモリ４０２が記憶している予測参照フレームに、符号化時と同じ方法および同じ強度でぼかす処理を施す。
予測画像生成装置４０４は、予測参照フレームぼかし装置４０３がぼかす処理を施した予測参照フレームを用いて予測画像を生成する。予測画像生成装置４０４が生成した予測画像は、画像復号化装置４０１が復号した映像フレームに加算処理されて出力される。加算処理は、例えば、加算器（加算手段）によって行われる。
次に、復号装置の動作について、図面を参照して説明する。図６は、復号装置の動作を模式的に示すフローチャートである。図６に示す処理は、予測参照フレームを用いて復号を行う場合を例にした処理である。
画像復号化装置４０１は、予測参照フレームを用いないで符号化された映像フレームが入力された場合に、符号化された映像フレームを復号する（ステップＳ２０１）。
予測参照フレームぼかし装置４０３は、予測参照フレームに、符号化時と同じ処理および同じ強度でぼかす処理（フィルタ処理）を施す（ステップＳ２０２）。予測画像生成装置４０４は、予測参照フレームぼかし装置４０３がぼかす処理（フィルタ処理）を施した予測参照フレームを用いて、予測画像を生成する（ステップＳ２０３）。
予測画像生成装置４０４が生成した予測画像は、加算器で、画像復号化装置７０１が復号した映像フレームに加算処理される。そして、加算器から加算結果が出力される（ステップＳ２０４、Ｓ２０５）。
動画像処理装置が含む各装置の動作は、プログラム制御にしたがって処理を実行するＣＰＵによって行われてもよい。具体的には、動画像処理装置が、コンピュータに、連続する映像フレームからなる動画像を処理させる動画像処理プログラムであって、コンピュータに、映像フレームをぼかす強度を決定する（ぼかさないと決定することも含む。）ぼかし強度決定処理と、ぼかし強度決定処理における決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかし処理とを実行させ、前記ぼかし強度決定処理で、映像フレームが所定数（１以上の数）連続するとぼかす強度を変化させることを特徴とする動画像処理プログラムを搭載する。ＣＰＵが前記各処理を実行してもよい。
本実施例によれば、ぼかし強度決定装置３０１の決定にもとづいて、映像フレームごとにぼかす処理を施すか否か、およびぼかす処理を施す際のぼかす強度を変化させて、映像フレームの符号化および復号を行うことができる。
従って、第１の実施例と同様に、視聴者に、ぼかす処理が施されているか否かを容易には検知されずに動画像の高周波信号を除去し、主観画質を向上させることができる。
次に、本発明の第３の実施例について説明する。動画像処理装置の構成は、図３に示された第２の実施例の動画像処理装置の構成と同じである。ただし、第３の実施例では、復号装置は図７に示すように構成される。すなわち、予測参照フレームぼかし装置４０３に相当するものを備えていない。
なお、符号化処理を行う動画像処理装置が、図７に例示したような復号装置の機能を含んでいてもよい。
図７に示す復号装置は、符号化された映像データを復号する画像復号化装置５０１と、復号された映像フレームを予測参照フレームとして使用するために格納（記憶）するフレームメモリ５０２と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置５０３とを含む。
図７に示す復号装置は、図５に示す復号装置から、予測参照フレームぼかし装置４０３を除いた構成である。図７に示す復号装置は、例えば、ＭＰＥＧ−２などの符号化方式で符号化された動画像データを復号する動画復号化装置の構成と同様の構成である。
入力画像は、図３に示す動画像処理装置で符号化されている。従って、動き補償予測に用いられる予測参照フレームは、それぞれ映像フレームごとに異なる強度でぼかされている。
一方、符号化された映像フレームは、図７に示す復号装置が復号する。図７に示す復号装置は、予測参照フレームをぼかす手段を備えていない。従って、図７に示す復号装置は、符号化時に用いた予測参照フレームと合致する予測参照フレームを生成することができないので、図３に示す動画像処理装置で符号化された映像フレームを正しく復号することができない。
そのため、復号された映像フレームは、図３に示す動画像処理装置が符号化する前の映像フレームとは異なる。動き補償予測による予測残差は、符号化時にぼけた予測参照フレームと、ぼけた入力映像フレームとの差分から構成されている。映像フレームを復号する際、この予測残差はぼけていない予測参照フレームに加算される。
通常のＭＰＥＧ−２方式などで符号化した場合のように、入力画像をぼかさずに符号化した場合の画像データ（映像フレーム）を図７に示す復号装置で復号した場合の画像データ（映像フレーム）と、入力画像をぼかして符号化する図３に示す動画像処理装置で符号化した画像データ（映像フレーム）を図７に示す復号装置で復号した場合の画像データ（映像フレーム）とを比較すると、復号後の画像データ（映像フレーム）の違いは、予測残差の高周波信号の有無である。
そのため、本実施例では、図３に示す動画像処理装置で符号化した動画データを、図７に示す復号装置で復号した場合に、正しく画像データ（映像フレーム）復号することはできない。しかし、高周波信号は人間の視覚特性上検知されにくいため、その差（符号化前の画像データ（映像フレーム）と復号後の画像データ（映像フレーム）との差）を視聴者に検知されにくくすることができる。
また、ぼかす処理を施した映像フレームには高周波信号が少ししか含まれないため、符号化が簡単になる。したがって発生符号量を減少させることができる。そして、減少した符号量を、ぼかす処理を施していない映像フレームに割り当てることができるので、ぼかす処理を施していない映像フレームの画質を向上させることができる。従って、本実施例によれば、映像全体として主観画質を向上させることができる。
次に、本発明の第４の実施例について、図面を参照して説明する。本発明の第４の実施例における動画像処理装置は、Ｈ．２６１方式（ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）のＨ．２６１勧告にもとづく方式）などのように、ループ内フィルタが採用されている符号化方式において、入力画像をループ内フィルタと同じフィルタ特性でフィルタリングして予測残差を小さくし、発生符号量を少なくする。
本実施例では、映像フレームをＨ．２６１方式で符号化する場合、およびＨ．２６１方式で符号化された映像フレームを復号する場合を例に説明する。図８は、本発明による動画像処理装置の第４の実施例を示すブロック図である。
図８に示す動画像処理装置は、ループ内フィルタの種類を決定するループ内フィルタ決定装置（ループ内フィルタ決定手段）６０１と、入力画像に対して、符号化ループ内に備えられているループ内フィルタと等しいフィルタを用いてフィルタ処理を施す入力画像フィルタ処理装置（入力画像フィルタ処理手段）６０２と、入力画像を符号化する画像符号化装置（画像符号化手段）６０３と、符号化される画像の予測参照フレームを生成する局所復号化装置（局所復号手段）６０４と、予測参照フレームを格納（記憶）するフレームメモリ（第１の記憶手段）６０５と、予測参照フレームの高周波信号を除去するループ内フィルタ処理装置（ループ内フィルタ処理手段）６０６と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置（予測画像生成手段）６０７とを含む。
ループ内フィルタ決定装置６０１は、映像フレームにもとづいて、各映像フレームにぼかす処理（フィルタ処理）を施すか否か、および使用するループ内フィルタの種類を決定する。ループ内フィルタ決定装置６０１は、画像符号化装置６０３の出力による発生符号量や、画像データの複雑さなどを考慮してループ内フィルタの種類を決定する。
また、ループ内フィルタ決定装置６０１は、使用するループ内フィルタの種類を示すフィルタ情報を、画像符号化装置６０３およびループ内フィルタ処理装置６０６に出力する。
入力画像フィルタ処理装置６０２は、映像フレームのうち、ループ内フィルタ決定装置６０１がぼかす処理を施すと決定した映像フレームを、ループ内フィルタ決定装置６０１が決定したループ内フィルタでぼかして（ぼかす処理（フィルタ処理）を施して）、画像符号化装置６０３に出力する。
また、入力画像フィルタ処理装置６０２は、入力画像のうち、ループ内フィルタ決定装置６０１がぼかす処理を施さないと決定した映像フレームを、ぼかす処理（フィルタ処理）を施さないで画像符号化装置６０３に出力する。
画像符号化装置６０３は、入力画像フィルタ処理装置６０２が出力した映像フレームと、ループ内フィルタ決定装置６０１が出力したフィルタ情報とを符号化して出力する。
局所復号化装置６０４は、後に符号化される映像フレームの動き補償予測のための予測参照フレームとして用いるために、画像符号化装置６０３が符号化した映像フレームを復号する。フレームメモリ６０５は、局所復号化装置６０４が復号した映像フレームを記憶する。
ループ内フィルタ装置６０６は、フレームメモリ６０５が記憶している映像フレーム（予測参照フレーム）にぼかす処理を施す。なお、ループ内フィルタ装置６０６は、ループ内フィルタ決定装置６０１が出力したフィルタ情報にもとづいて、入力画像フィルタ処理装置６０２と同様なフィルタを用いて予測参照フレームにぼかす処理（フィルタ処理）を施す。
予測画像生成装置６０７は、ぼかす処理（フィルタ処理）が施された予測参照フレームを用いて、予測画像を生成する。入力画像フィルタ処理装置６０２が出力した映像フレームから、予測画像生成装置６０７が生成した予測画像が減算される。また、予測画像生成装置６０７が生成した予測画像は、局所復号化装置６０４が復号した映像フレームに加算処理されてフレームメモリ６０５に記憶される。フィルタ処理を施すために、例えば、低域通過フィルタが用いられる。
次に、第４の実施例の動画像処理装置の動作について、図面を参照して説明する。図９は、第４の実施例の動画像処理装置の動作を模式的に示すフローチャートである。
ループ内フィルタ決定装置６０１は、画像データ（映像フレーム）が入力された場合に、各映像フレームにぼかす処理（フィルタ処理）を施すか否か、および使用するループ内フィルタの種類を決定する（ステップＳ３０１、Ｓ３０２）。
入力画像フィルタ処理装置６０２は、映像フレームのうち、ループ内フィルタ決定装置６０１がぼかす処理を施すと決定した映像フレームを、ループ内フィルタ決定装置６０１が決定したループ内フィルタでぼかす。すなわち、ぼかす処理（フィルタ処理）が施される。そして、入力画像フィルタ処理装置６０２は、ぼかし処理が施された映像フレームを画像符号化装置６０３に出力する（ステップＳ３０３）。
画像符号化装置６０３は、入力画像フィルタ処理装置６０２が出力した映像フレームを符号化して、最初のフレームに関するデータとして出力する（ステップＳ３０４）。
画像符号化装置６０３が出力した映像フレームは後に符号化される映像フレームの予測参照フレームとして用いられるので、局所復号化装置６０４は、画像符号化装置６０３が出力した映像フレームを復号する（ステップＳ３０５）。ループ内フィルタ装置６０６は、フレームメモリ６０５が記憶している映像フレーム（予測参照フレーム）にぼかす処理（フィルタ処理）を施す（ステップＳ３０６）。
予測画像生成装置６０７は、ぼかす処理（フィルタ処理）が施された予測参照フレームを用いて、予測画像を生成する（ステップＳ３０７）。予測画像生成装置６０７が生成した予測画像は、減算器にて入力画像フィルタ処理装置６０２が出力した映像フレームから減算される（ステップＳ３０８）。
画像符号化装置６０３は、減算器の出力を符号化して、符号化された映像フレームのデータを出力する（ステップＳ３０９、Ｓ３１０）。
次に、符号化された動画像の復号について説明する。第４の実施例では、図１０に示す復号装置で復号が行われる。
図１０に示す復号装置は、符号化された動画像を復号する画像復号化装置（復号手段）７０１と、復号された映像フレームを予測参照フレームとして使用するために格納（記憶）しておくフレームメモリ（第２の記憶手段）７０２と、予測参照フレームの高周波信号を除去するループ内フィルタ処理装置（第２のループ内フィルタ処理手段）７０３と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置（第２の予測画像生成手段）７０４とを含む。
なお、動画像処理装置が、図１０に例示したような復号装置の機能を含んでいてもよい。
画像復号化装置７０１は、符号化された映像フレームとフィルタ情報とを復号する。画像復号化装置７０１は、復号したフィルタ情報を、ループ内フィルタ処理装置７０３に出力する。フレームメモリ７０２は、画像復号化装置７０１が復号した映像フレームを、予測参照フレームとして用いるために記憶する。ループ内フィルタ装置７０３は、画像復号化装置７０１が出力したフィルタ情報にもとづいて、フレームメモリ７０２が記憶している予測参照フレームに、ぼかす処理（フィルタ処理）を施す。
予測画像生成装置７０４は、フィルタ処理が施された予測参照フレームを用いて、予測画像を生成する。予測画像生成装置７０４が生成した予測画像は、画像復号化装置７０１が復号した映像フレームに加算されて出力される。
次に、復号装置の動作について、図面を参照して説明する。図１１は、第４の実施例の復号装置の動作を模式的に示すフローチャートである。
画像復号化装置７０１は、符号化された映像フレームを復号する（ステップＳ４０１）。
ループ内フィルタ装置７０３は、予測参照フレームに、符号化時と同じ処理および同じ強度でぼかす処理（フィルタ処理）を施す（ステップＳ４０２）。予測画像生成装置７０４は、ループ内フィルタ装置７０３がぼかす処理（フィルタ処理）を施した予測参照フレームを用いて、予測画像を生成する（ステップＳ４０３）。
予測画像生成装置７０４が生成した予測画像は、加算器で、画像復号化装置７０１が復号した映像フレームに加算処理され、加算器から加算結果が出力される（ステップＳ４０４、Ｓ４０５）。
なお、動画像処理装置が含む各装置の動作は、プログラム制御にしたがって処理を実行するＣＰＵに行わせてもよい。具体的には、動画像処理装置が、コンピュータに、映像フレームごとに、フィルタ処理を行うか否かを決定し、フィルタ処理を行うと決定した場合に、フィルタ処理を行うループ内フィルタ特性を決定するループ内フィルタ決定処理と、入力された映像フレームに、ループ内フィルタ決定処理で決定した特性のフィルタでフィルタ処理を行う入力画像フィルタリング実行処理と、フィルタ処理された映像フレームを符号化する画像符号化処理と、画像符号化処理で符号化した映像フレームを復号した予測参照フレームを生成する局所復号処理と、ループ内フィルタ決定処理で決定した特性のフィルタで予測参照フレームにフィルタ処理を行うループ内フィルタリング実行処理と、ループ内フィルタリング実行処理でフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像生成処理とを実行させ、入力画像フィルタリング実行処理、およびループ内フィルタリング実行処理で、同様の特性のフィルタでフィルタ処理を実行させ、画像符号化処理で、入力画像フィルタリング実行処理が出力した映像フレームと、予測画像生成処理で生成した予測画像との減算処理の結果を符号化させることを特徴とする動画像処理プログラムを搭載する。前記動画像処理プログラムはＣＰＵに実行させてもよい。
本実施例によれば、予測参照フレームに対してフィルタ処理を施したループ内フィルタと同じ特性のフィルタを用いて、フィルタ処理を入力画像に施すので、予測参照フレームおよび入力画像から高周波信号が同程度除去され、予測残差を小さくすることができる。そのため、符号化に必要な符号量を削減することができる。
また、本実施例における復号装置は、Ｈ．２６１方式などの符号化方式の復号装置と同様な構成であるので、画像符号化を行う部分のみを変更して本実施例を実現することができる。
図１２は、第１の実施例の動画像処理装置がコンピュータシステムで実現される場合の構成例を示すブロック図である。
図１２に示す構成例では、コンピュータシステムは、プロセッサ８０１を有する。プロセッサ８０１には、入力データバッファ８１１および出力データバッファ８１２と、必要なプログラムを格納したプログラムメモリ８０２が接続されている。
プログラムメモリ８０２に格納されるプログラムモジュールとして、メインプログラムの他に、ぼかし強度決定処理８１３および画像ぼかし処理８１４が含まれている。メインプログラムは、動画像処理を実行する主プログラムである。ぼかし強度決定処理プログラム８１３は、ぼかし強度決定装置２０１の機能を実現するためのプログラムである。画像ぼかし処理プログラム８１４は、画像ぼかし装置２０２の機能を実現するためのプログラムである。メインプログラムおよび各機能モジュールをプロセッサ８０１が実行することによって、第１の実施例の動画像処理装置における動画像処理が実行される。
上記した第２から第４の実施例の動画像処理装置も、同様に各ブロックの機能を実現するプログラムモジュールをコンピュータシステムに実装することによって実現される。
次に、本発明による動画像処理装置のより具体的な実施例について説明する。
ここでは、ＳＤＴＶ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）サイズ（水平方向：７２０画素、垂直方向：４８０画素、１秒あたり２９．９７フレーム）の動画像を、図３に示す動画像処理装置に入力して、ＭＰＥＧ符号化方式で符号化する場合を例にする。
画像符号化装置３０３は、映像フレームを、１つの映像フレームを独立に符号化するフレーム（Ｉピクチャ）、過去の映像フレームから予測を行い予測誤差を符号化するフレーム（Ｐピクチャ）、および過去と未来の映像フレームから予測をおこない予測誤差を符号化するフレーム（Ｂピクチャ）の３種類のピクチャのいずれかに符号化する。
ここでは、入力された動画像のうちＢピクチャとして符号化される映像フレームのみ画像ぼかし装置３０２でぼかし処理が施される、ＩおよびＰピクチャとして符号化される映像フレームはぼかし処理が施されることなくそのまま符号化される場合を例にする。ぼかし処理を施すか否かの決定は、ぼかし強度決定装置３０１にて行われる。
このようにピクチャの種類に応じて異なるぼかし処理が施された入力画像は、画像符号化装置３０３にて符号化される。画像符号化装置３０３は、離散コサイン変換、量子化、可変長符号化を用いたＭＰＥＧ方式と同様の方法の符号化に加え、入力画像をどのようにぼかしたかの情報もあわせて符号化する。符号化された映像フレームは、局所復号化装置３０４で復号化され、予測参照フレームとして使用するために、フレームメモリ３０５に格納される。符号化されている映像フレームがＢピクチャの場合は、予測参照フレームぼかし装置３０６は、フレームメモリ３０５に格納された予測参照フレームにぼかし処理を施す。このとき、画像ぼかし装置３０２が入力画像をぼかした方法と同様の方法で予測参照フレームをぼかす。
予測画像生成装置３０７は、ぼかした予測参照フレームを用いて予測画像を生成する。そして、入力画像と予測画像との差分がとられ、差分が符号化される。符号化されている映像フレームがＰピクチャの場合は、予測参照フレームぼかし装置３０６は、ぼかし処理を行わず、予測画像生成装置３０７で予測画像が生成され、入力画像との差分がとられ差分が符号化される。
符号化された動画像データを復号する際に、図４に示された画像復号化装置４０１によって、映像フレームが復元される。その際に、符号化時に映像フレームがどのようにぼかされたかの情報も復号される。復号された映像フレームは、予測参照フレームとして用いるためにフレームメモリ４０２に格納される。
復号されているフレームがＢピクチャの場合には、フレームメモリ４０２に格納された予測参照フレームは、予測参照フレームぼかし装置４０３において符号化時と同じ方法でぼかされる。予測画像生成装置４０４は、ぼかされた予測参照フレームから予測画像を生成する。そして、画像復号化装置４０１の復号結果である予測残差と予測画像と加算され復号が完了する。復号しているフレームがＰピクチャの場合は、予測参照フレームぼかし装置４０３は、予測参照フレームをぼかさない。予測画像生成装置４０４は、予測画像を生成し、復号された予測残差と予測画像と加算されて復号が完了する。
本発明は、ＤＶＤへの長時間記録や、狭い通信ネットワーク帯域での映像配信を実現するために、低ビットレートでの符号化を実現する動画像処理装置に適用することができる。
Claims (15)
- 連続する映像フレームからなる動画像を処理する動画像処理装置において、
映像フレームをぼかす強度を決定するぼかし強度決定手段と、
前記ぼかし強度決定手段の決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかし手段を備え、
前記ぼかし強度決定手段はぼかす強度を周期的又は１フレームおきに変化させ、
前記ぼかし強度決定手段は、画像の映像フレーム間での画素値の変化に基づいてぼかす強度を決定する
ことを特徴とする動画像処理装置。 - 連続する映像フレームからなる動画像を処理する動画像処理装置において、
映像フレームをぼかす強度を決定するぼかし強度決定手段と、
前記ぼかし強度決定手段の決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかし手段を備え、
前記ぼかし強度決定手段はボケを検知しづらくするため１フレームおきにぼかす強度を変化させ、
前記画像ぼかし手段が出力した映像フレームを符号化する画像符号化手段を備え、
前記ぼかし強度決定手段は、前記画像符号化手段における映像フレームを符号化する際の符号化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決定する
ことを特徴とする動画像処理装置。 - 画像符号化手段が符号化した映像フレームを復号して予測参照フレームを生成する局所復号手段と、
前記予測参照フレームを記憶する第１の記憶手段と、
前記予測参照フレームの高周波信号を除去する予測参照フレームぼかし手段と、
前記予測参照フレームぼかし手段が高周波信号を除去した予測参照フレームから、動き補償予測の予測画像を生成する予測画像生成手段を備え、
前記予測参照フレームぼかし手段は、ぼかし強度決定手段が映像フレームから除去すると決定された高周波信号を前記予測参照フレームから除去し、
前記画像符号化手段は、画像ぼかし手段が出力した映像フレームと、前記予測画像生成手段が生成した予測画像との減算処理の結果を符号化する
ことを特徴とする請求項２記載の動画像処理装置。 - 画像符号化手段が符号化した映像フレームを復号する復号手段と、
前記復号手段が復号した映像フレームを記憶する第２の記憶手段と、
前記第２の記憶手段が記憶している映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成手段と、
前記復号手段が復号した映像フレームと、前記第２の予測画像生成手段が生成した予測画像とを加算して出力する加算手段とを備えた
ことを特徴とする請求項３記載の動画像処理装置。 - 画像符号化手段が符号化した映像フレームを復号する復号手段と、
前記復号手段が復号した映像フレームを記憶する第２の記憶手段と、
前記第２の記憶手段が記憶している映像フレームから、ぼかし強度決定手段が除去すると決定した高周波信号を除去する第２の予測参照フレームぼかし手段と、
前記第２の予測参照フレームぼかし手段が高周波信号を除去した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成手段と、
前記復号手段が復号した映像フレームと、前記第２の予測画像生成手段が生成した予測画像とを加算して出力する加算手段とを備えた
ことを特徴とする請求項３記載の動画像処理装置。 - 連続する映像フレームからなる動画像を処理する動画像処理方法において、
映像フレームをぼかす強度を決定するぼかし強度決定ステップと、
前記ぼかし強度決定ステップにおける決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかしステップを有し、
前記ぼかし強度決定ステップは、ぼかす強度を周期的又は１フレームおきに変化させるステップを含み、
前記ぼかし強度決定ステップは、画像の映像フレーム間での画素値の変化に基づいてぼかす強度を決定するステップを含むことを特徴とする動画像処理方法。 - 連続する映像フレームからなる動画像を処理する動画像処理方法において、
映像フレームをぼかす強度を決定するぼかし強度決定ステップと、
前記ぼかし強度決定ステップにおける決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかしステップを有し、
前記ぼかし強度決定ステップは、ボケを検知しづらくするために１フレームおきにぼかす強度を変化させるステップを含み、
前記画像ぼかしステップで出力した映像フレームを符号化する画像符号化ステップを有し、
前記ぼかし強度決定ステップは、前記画像符号化ステップにおいて映像フレームを符号化する際の符号化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決定するステップを含む
ことを特徴とする動画像処理方法。 - 前記画像符号化ステップで符号化した映像フレームを復号して予測参照フレームを生成する局所復号ステップと、
前記予測参照フレームの高周波信号を除去する予測参照フレームぼかしステップと、
前記予測参照フレームぼかしステップで高周波信号を除去した予測参照フレームから、動き補償予測の予測画像を生成する予測画像生成ステップを有し、
前記予測参照フレームぼかしステップは、
ぼかし強度決定ステップで映像フレームから除去すると決定した高周波信号を前記予測参照フレームから除去するステップと、
前記画像符号化ステップにおいて、画像ぼかしステップで出力した映像フレームと、前記予測画像生成ステップで生成した予測画像との減算処理の結果を符号化するステップを含む
ことを特徴とする請求項７記載の動画像処理方法。 - 画像符号化ステップで符号化した映像フレームを復号する復号ステップと、
前記復号ステップで復号した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成ステップと、
前記復号ステップで復号した映像フレームと、前記第２の予測画像生成ステップで生成した予測画像とを加算して出力する加算ステップとを備えた
ことを特徴とする請求項８記載の動画像処理方法。 - 画像符号化ステップで符号化した映像フレームを復号する復号ステップと、
前記復号ステップで復号した映像フレームから、ぼかし強度決定ステップで除去すると決定した高周波信号を除去する第２の予測参照フレームぼかしステップと、
前記第２の予測参照フレームぼかしステップで高周波信号を除去した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成ステップと、
前記復号ステップで復号した映像フレームと、前記第２の予測画像生成ステップで生成した予測画像とを加算して出力する加算ステップとを備えた
ことを特徴とする請求項８記載の動画像処理方法。 - コンピュータに、連続する映像フレームからなる動画像を処理するステップを実行させる動画像処理プログラムにおいて、
前記動画像処理ステップは、
映像フレームをぼかす強度を決定するぼかし強度決定ステップと、
前記ぼかし強度決定ステップにおける決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかしステップを有し、
前記ぼかし強度決定ステップは、ぼかす強度を周期的又は１フレームおきに変化させるステップを含み、
前記ぼかし強度決定ステップは、画像の映像フレーム間での画素値の変化に基づいてぼかす強度を決定するステップを含む
ことを特徴とする動画像処理プログラム。 - コンピュータに、連続する映像フレームからなる動画像を処理するステップを実行させる動画像処理プログラムにおいて、
前記動画像処理ステップは、
映像フレームをぼかす強度を決定するぼかし強度決定ステップと、
前記ぼかし強度決定ステップにおける決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかしステップを有し、
前記ぼかし強度決定ステップは、ボケを検知しづらくするために１フレームおきにぼかす強度を変化させるステップを含み、
前記画像ぼかしステップで出力した映像フレームを符号化する画像符号化ステップを備え、
前記ぼかし強度決定ステップは、前記画像符号化ステップにおいて映像フレームを符号化する際の符号化方法と映像フレーム間の画素値変化とに応じてぼかす強度を決定するステップを含む
ことを特徴とする動画像処理プログラム。 - 前記画像符号化ステップで符号化した映像フレームを復号して予測参照フレームを生成する局所復号ステップと、
前記予測参照フレームの高周波信号を除去する予測参照フレームぼかしステップと、
前記予測参照フレームぼかしステップで高周波信号を除去した予測参照フレームから、動き補償予測の予測画像を生成する予測画像生成ステップを備え、
前記予測参照フレームぼかしステップは、
ぼかし強度決定ステップで映像フレームから除去すると決定した高周波信号を前記予測参照フレームから除去するステップと、
前記画像符号化ステップにおいて、画像ぼかしステップで出力した映像フレームと、前記予測画像生成ステップで生成した予測画像との減算処理の結果を符号化するステップを有する
ことを特徴とする請求項１２記載の動画像処理プログラム。 - 画像符号化ステップで符号化した映像フレームを復号する復号ステップと、
前記復号ステップで復号した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成ステップと、
前記復号ステップで復号した映像フレームと、前記第２の予測画像生成ステップで生成した予測画像とを加算して出力する加算ステップとを備えた
ことを特徴とする請求項１３記載の動画像処理プログラム。 - 画像符号化ステップで符号化した映像フレームを復号する復号ステップと、
前記復号ステップで復号した映像フレームから、ぼかし強度決定ステップで除去すると決定した高周波信号を除去する第２の予測参照フレームぼかしステップと、
前記第２の予測参照フレームぼかしステップで高周波信号を除去した映像フレームから、動き補償予測の予測画像を生成する第２の予測画像生成ステップと、
前記復号ステップで復号した映像フレームと、前記第２の予測画像生成ステップで生成した予測画像とを加算して出力する加算ステップとを備えた
ことを特徴とする請求項１３記載の動画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008500507A JP5516842B2 (ja) | 2006-02-15 | 2007-02-07 | 動画像処理装置、動画像処理方法、および動画像処理プログラム |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006037695 | 2006-02-15 | ||
| JP2006037695 | 2006-02-15 | ||
| PCT/JP2007/052547 WO2007094329A1 (ja) | 2006-02-15 | 2007-02-07 | 動画像処理装置、動画像処理方法、および動画像処理プログラム |
| JP2008500507A JP5516842B2 (ja) | 2006-02-15 | 2007-02-07 | 動画像処理装置、動画像処理方法、および動画像処理プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012203906A Division JP5534261B2 (ja) | 2006-02-15 | 2012-09-18 | 動画像処理装置、動画像処理方法、および動画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2007094329A1 JPWO2007094329A1 (ja) | 2009-07-09 |
| JP5516842B2 true JP5516842B2 (ja) | 2014-06-11 |
Family
ID=38371507
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008500507A Active JP5516842B2 (ja) | 2006-02-15 | 2007-02-07 | 動画像処理装置、動画像処理方法、および動画像処理プログラム |
| JP2012203906A Active JP5534261B2 (ja) | 2006-02-15 | 2012-09-18 | 動画像処理装置、動画像処理方法、および動画像処理プログラム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012203906A Active JP5534261B2 (ja) | 2006-02-15 | 2012-09-18 | 動画像処理装置、動画像処理方法、および動画像処理プログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP5516842B2 (ja) |
| WO (1) | WO2007094329A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102057680A (zh) * | 2008-07-04 | 2011-05-11 | 株式会社东芝 | 运动图像编码/解码方法和装置 |
| WO2010064674A1 (ja) * | 2008-12-03 | 2010-06-10 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| WO2011005303A1 (en) * | 2009-07-06 | 2011-01-13 | Thomson Licensing | Methods and apparatus for spatially varying residue coding |
| US11479503B2 (en) * | 2017-07-24 | 2022-10-25 | Nippon Electric Glass Co., Ltd. | Chemically strengthened glass and method for manufacturing chemically strengthened glass |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5158014A (ja) * | 1974-11-18 | 1976-05-21 | Nippon Telegraph & Telephone | Fureemukanfugokahoshiki |
| JPS5244512A (en) * | 1975-10-06 | 1977-04-07 | Nippon Telegr & Teleph Corp <Ntt> | Between-frame coding equipment |
| JPH02288788A (ja) * | 1989-04-28 | 1990-11-28 | Victor Co Of Japan Ltd | 予測符号化装置 |
| JPH0468770A (ja) * | 1990-07-05 | 1992-03-04 | Canon Inc | 画像符号化方式 |
| JPH05236460A (ja) * | 1992-02-17 | 1993-09-10 | Sony Corp | ビデオ信号の符号化回路 |
| JPH0638197A (ja) * | 1992-06-30 | 1994-02-10 | Sony Corp | 符号器、復号器、および符号化方法 |
| JPH07107462A (ja) * | 1993-09-29 | 1995-04-21 | Oki Electric Ind Co Ltd | 動画像符号化方法 |
| JPH0984024A (ja) * | 1995-09-20 | 1997-03-28 | Matsushita Electric Ind Co Ltd | 動画像信号の符号化装置 |
| JP2002247576A (ja) * | 2001-02-15 | 2002-08-30 | Sharp Corp | 動画像符号化方法 |
| JP2003179933A (ja) * | 2001-09-12 | 2003-06-27 | Matsushita Electric Ind Co Ltd | 画像符号化方法および画像復号化方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03212085A (ja) * | 1990-01-17 | 1991-09-17 | Mitsubishi Electric Corp | 動画像符号化伝送装置 |
| JP3046379B2 (ja) * | 1990-03-26 | 2000-05-29 | 株式会社東芝 | 画像符号化装置 |
| JP2002077909A (ja) * | 2000-08-24 | 2002-03-15 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化装置および画像符号化方法およびその方法を記述したプログラムを記録した記録媒体 |
| JP3702185B2 (ja) * | 2001-01-26 | 2005-10-05 | 日本電信電話株式会社 | 画像符号化装置と画像復号装置および画像符号化方法と画像復号方法および画像符号化プログラムを記録した記録媒体と画像復号プログラムを記録した記録媒体および画像符号化プログラムと画像復号プログラム |
-
2007
- 2007-02-07 JP JP2008500507A patent/JP5516842B2/ja active Active
- 2007-02-07 WO PCT/JP2007/052547 patent/WO2007094329A1/ja active Application Filing
-
2012
- 2012-09-18 JP JP2012203906A patent/JP5534261B2/ja active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5158014A (ja) * | 1974-11-18 | 1976-05-21 | Nippon Telegraph & Telephone | Fureemukanfugokahoshiki |
| JPS5244512A (en) * | 1975-10-06 | 1977-04-07 | Nippon Telegr & Teleph Corp <Ntt> | Between-frame coding equipment |
| JPH02288788A (ja) * | 1989-04-28 | 1990-11-28 | Victor Co Of Japan Ltd | 予測符号化装置 |
| JPH0468770A (ja) * | 1990-07-05 | 1992-03-04 | Canon Inc | 画像符号化方式 |
| JPH05236460A (ja) * | 1992-02-17 | 1993-09-10 | Sony Corp | ビデオ信号の符号化回路 |
| JPH0638197A (ja) * | 1992-06-30 | 1994-02-10 | Sony Corp | 符号器、復号器、および符号化方法 |
| JPH07107462A (ja) * | 1993-09-29 | 1995-04-21 | Oki Electric Ind Co Ltd | 動画像符号化方法 |
| JPH0984024A (ja) * | 1995-09-20 | 1997-03-28 | Matsushita Electric Ind Co Ltd | 動画像信号の符号化装置 |
| JP2002247576A (ja) * | 2001-02-15 | 2002-08-30 | Sharp Corp | 動画像符号化方法 |
| JP2003179933A (ja) * | 2001-09-12 | 2003-06-27 | Matsushita Electric Ind Co Ltd | 画像符号化方法および画像復号化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5534261B2 (ja) | 2014-06-25 |
| JP2013017221A (ja) | 2013-01-24 |
| JPWO2007094329A1 (ja) | 2009-07-09 |
| WO2007094329A1 (ja) | 2007-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4455487B2 (ja) | 復号化装置及び復号化方法及びプログラム | |
| US9414086B2 (en) | Partial frame utilization in video codecs | |
| JP5360430B2 (ja) | デブロッキングフィルタ処理装置、デブロッキングフィルタ処理方法 | |
| EP2323407A1 (en) | Video image encoding method, video image decoding method, video image encoding apparatus, video image decoding apparatus, program and integrated circuit | |
| US20110069752A1 (en) | Moving image encoding/decoding method and apparatus with filtering function considering edges | |
| US20130028322A1 (en) | Moving image prediction encoder, moving image prediction decoder, moving image prediction encoding method, and moving image prediction decoding method | |
| JP5133290B2 (ja) | 動画像符号化装置および復号装置 | |
| JP5137687B2 (ja) | 復号装置及び復号方法、プログラム | |
| JP5534261B2 (ja) | 動画像処理装置、動画像処理方法、および動画像処理プログラム | |
| JP4592562B2 (ja) | 画像復号装置 | |
| JP4643437B2 (ja) | 情報処理装置 | |
| JP6253406B2 (ja) | 画像符号化装置、撮像装置、画像符号化方法、及びプログラム | |
| KR101345294B1 (ko) | 영상의 양자화 장치 및 방법 | |
| TWI782853B (zh) | 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法 | |
| WO2008007717A1 (en) | Dynamic image decoding device and dynamic image encoding device | |
| JP5913929B2 (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム | |
| JP4570081B2 (ja) | 動画像エラー隠蔽方法および装置 | |
| JP4719108B2 (ja) | 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4223577B2 (ja) | 画像符号化装置とその方法、および、画像復号化装置とその方法 | |
| JP2005260989A (ja) | 画像処理装置及び画像処理方法 | |
| US20210409744A1 (en) | Image decoding device, image decoding method, and program | |
| JP2010010768A (ja) | 画像符号化装置及び画像符号化方法 | |
| JPH03283785A (ja) | ブロック符号化信号復号化装置 | |
| JP6012307B2 (ja) | 動画像符号化装置及びその制御方法、並びに、プログラム | |
| JP5298487B2 (ja) | 画像符号化装置、画像復号化装置、および画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140318 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5516842 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |