JP4104593B2 - 画像処理システムの損失ブロック復旧装置及びその方法 - Google Patents
画像処理システムの損失ブロック復旧装置及びその方法 Download PDFInfo
- Publication number
- JP4104593B2 JP4104593B2 JP2004370253A JP2004370253A JP4104593B2 JP 4104593 B2 JP4104593 B2 JP 4104593B2 JP 2004370253 A JP2004370253 A JP 2004370253A JP 2004370253 A JP2004370253 A JP 2004370253A JP 4104593 B2 JP4104593 B2 JP 4104593B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- lost
- cost
- lost block
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
- H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、動画像処理技術に関し、特に、デジタル動画像処理において、損失ブロックの特性によって異なるエラー隠し方法を適用する画像処理システムの損失ブロック復旧装置及びその方法に関する。
最近、マルチメディアコンテンツサービスに対する関心が高まるにつれて、通信媒体を通して伝送される多様な動画像信号をエラーなしに復元するための動画像処理技術の重要性が次第に大きくなっている。
前記動画像は、場面の特性及び動きの程度が互いに異なる複数枚のフレームにより構成され、前記フレームは、画像符号化の単位となる１６×１６ピクセルサイズの複数のマクロブロックにより構成される。
前記動画像は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、可変長さ符号化技法及び動き補償符号化技法などにより圧縮されて伝送されるが、前記符号化過程または伝送チャネルを通して伝送される過程で発生したエラーにより動画像ブロックが損失する場合は、復元された画像の画質が低下する。
受信側で前記損失ブロックを補完して元の映像に近く復旧するために、様々なエラー隠し（ｅｒｒｏｒ ｃｏｎｃｅａｌｍｅｎｔ）技法が適用されるが、各動画像ブロックに最も適したエラー隠し技法を選択するためには、該当損失ブロックの特性を正確に把握すべきである。即ち、前記損失ブロックの特性は、前記受信側のデコーダで各動画像ブロック別に適用が可能な最適のエラー隠し技法を選択する重要な基準として活用されることができる。
従って、本発明の目的は、受信側で伝送時に損失した画像ブロックの特性を自動で判断し、前記画像ブロックの特性に最も適したエラー隠し方法を適用して、エラーを復旧する画像処理システムの損失ブロック復旧装置及びその方法を提供することにある。
上記目的を達成するために、本発明は、例えば、以下の手段を提供する。
（項目１）
受信された画像ブロック中に損失ブロックが存在するか否かを判断する損失ブロック検出部と、
前記損失ブロックが発生した現在フレームと以前フレームとで、隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出するピクセル差算出部と、
前記損失ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する分散値算出部と、
前記時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較して、損失ブロックの特性を判断するブロック特性決定部と、
前記損失ブロックの特性によって、最適のエラー隠し方法を適用して該当損失ブロックを復旧する損失ブロック復旧部と、
から構成されることを特徴とする画像処理システムの損失ブロック復旧装置。
（項目２）
前記ピクセル差算出部は、
下記式により隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出することを特徴とする項目１に記載の画像処理システムの損失ブロック復旧装置：
（項目１）
受信された画像ブロック中に損失ブロックが存在するか否かを判断する損失ブロック検出部と、
前記損失ブロックが発生した現在フレームと以前フレームとで、隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出するピクセル差算出部と、
前記損失ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する分散値算出部と、
前記時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較して、損失ブロックの特性を判断するブロック特性決定部と、
前記損失ブロックの特性によって、最適のエラー隠し方法を適用して該当損失ブロックを復旧する損失ブロック復旧部と、
から構成されることを特徴とする画像処理システムの損失ブロック復旧装置。
（項目２）
前記ピクセル差算出部は、
下記式により隣接ピクセル間の時間的差値（ｃｏｓｔ１）を算出することを特徴とする項目１に記載の画像処理システムの損失ブロック復旧装置：
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値で、ｐｒｅｖｉは、以前フレームで現在損失ブロックと同一位置にあるブロック周囲のピクセル値である。
（項目３）
前記分散値算出部は、
下記式によりモーションベクトル分散値（ｃｏｓｔ２）を算出することを特徴とする項目１に記載の画像処理システムの損失ブロック復旧装置：
（項目３）
前記分散値算出部は、
下記式によりモーションベクトル分散値（ｃｏｓｔ２）を算出することを特徴とする項目１に記載の画像処理システムの損失ブロック復旧装置：
式中、ＭＶｉｘおよびＭＶｉｙは、それぞれＭＶｉの水平成分及び垂直成分である。
（項目４）
前記ブロック特性決定部は、
前記ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）がそれぞれ第１の臨界値（Ｔ１）以下であると、前記損失ブロックの特性を第１の類型に決定し、前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第３の臨界値（Ｔ３）以下であると、前記損失ブロックの特性を第２の類型に決定し、前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第５の臨界値（Ｔ５）以上であると、前記損失ブロックの特性を第３の類型に決定し、前記ピクセル間の時間的差値（ｃｏｓｔ１）が第４の臨界値（Ｔ４）以上であると、前記損失ブロックの特性を第４の類型に決定することを特徴とする項目１に記載の画像処理システムの損失ブロック復旧装置（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
（項目５）
前記第１の類型は、ほとんど動きのないブロックで、前記第２の類型は、画像が全体的に同じような動きを有するブロックで、前記第３の類型は、一定の方向性なしに動く対象のあるブロックで、前記第４の類型は、画像フレーム間の場面転換が発生したブロックであることを特徴とする項目４に記載の画像処理システムの損失ブロック復旧装置。
（項目６）
前記エラー隠し方法は、
時間的方法を利用して前記損失ブロックを復旧する第１の方法と、
空間的方法を利用して前記損失ブロックを復旧する第２の方法と、
動きを考慮した時間的エラー隠し方法を利用して前記損失ブロックを復旧する第３の方法と、
から構成されることを特徴とする項目１に記載の画像処理システムの損失ブロック復旧装置。
（項目７）
前記第１の方法は、
前記損失ブロックがほとんど動きのないブロックの場合に適用されることを特徴とする項目６に記載の画像処理システムの損失ブロック復旧装置。
（項目８）
前記第２の方法は、
前記損失ブロックが一定の方向性なしに動く対象のあるブロック、または画像フレーム間の場面転換が発生するブロックの場合に適用されることを特徴とする項目６に記載の画像処理システムの損失ブロック復旧装置。
（項目９）
前記第３の方法は、
画像が全体的に同じような動きを有するブロックの場合に適用されることを特徴とする項目６に記載の画像処理システムの損失ブロック復旧装置。
（項目１０）
通信網を通して伝送される画像フレームを受信して画像処理する過程において、
損失ブロックに対する費用関数を利用して、前記損失ブロックの特性を決定する段階と、
前記損失ブロックの特性に最適なエラー隠し方法を適用して、前記損失ブロックを復旧する段階と、
から構成されることを特徴とする画像処理システムの損失ブロック復旧方法。
（項目１１）
前記損失ブロックの特性を決定する段階は、
損失ブロックに対する費用関数を算出する段階と、
前記費用関数を既設定された臨界値と比較して損失ブロックの特性を決定する段階と、
から構成されることを特徴とする項目１０に記載の画像処理システムの損失ブロック復旧方法。
（項目１２）
前記費用関数を算出する段階は、
現在フレームと以前フレームとに対して、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、
損失した動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、
から構成されることを特徴とする項目１１に記載の画像処理システムの損失ブロック復旧方法。
（項目１３）
前記ピクセル間の時間的差値（ｃｏｓｔ１）は、
下記式により計算されることを特徴とする項目１２に記載の画像処理システムの損失ブロック復旧方法：
（項目４）
前記ブロック特性決定部は、
前記ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）がそれぞれ第１の臨界値（Ｔ１）以下であると、前記損失ブロックの特性を第１の類型に決定し、前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第３の臨界値（Ｔ３）以下であると、前記損失ブロックの特性を第２の類型に決定し、前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第５の臨界値（Ｔ５）以上であると、前記損失ブロックの特性を第３の類型に決定し、前記ピクセル間の時間的差値（ｃｏｓｔ１）が第４の臨界値（Ｔ４）以上であると、前記損失ブロックの特性を第４の類型に決定することを特徴とする項目１に記載の画像処理システムの損失ブロック復旧装置（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
（項目５）
前記第１の類型は、ほとんど動きのないブロックで、前記第２の類型は、画像が全体的に同じような動きを有するブロックで、前記第３の類型は、一定の方向性なしに動く対象のあるブロックで、前記第４の類型は、画像フレーム間の場面転換が発生したブロックであることを特徴とする項目４に記載の画像処理システムの損失ブロック復旧装置。
（項目６）
前記エラー隠し方法は、
時間的方法を利用して前記損失ブロックを復旧する第１の方法と、
空間的方法を利用して前記損失ブロックを復旧する第２の方法と、
動きを考慮した時間的エラー隠し方法を利用して前記損失ブロックを復旧する第３の方法と、
から構成されることを特徴とする項目１に記載の画像処理システムの損失ブロック復旧装置。
（項目７）
前記第１の方法は、
前記損失ブロックがほとんど動きのないブロックの場合に適用されることを特徴とする項目６に記載の画像処理システムの損失ブロック復旧装置。
（項目８）
前記第２の方法は、
前記損失ブロックが一定の方向性なしに動く対象のあるブロック、または画像フレーム間の場面転換が発生するブロックの場合に適用されることを特徴とする項目６に記載の画像処理システムの損失ブロック復旧装置。
（項目９）
前記第３の方法は、
画像が全体的に同じような動きを有するブロックの場合に適用されることを特徴とする項目６に記載の画像処理システムの損失ブロック復旧装置。
（項目１０）
通信網を通して伝送される画像フレームを受信して画像処理する過程において、
損失ブロックに対する費用関数を利用して、前記損失ブロックの特性を決定する段階と、
前記損失ブロックの特性に最適なエラー隠し方法を適用して、前記損失ブロックを復旧する段階と、
から構成されることを特徴とする画像処理システムの損失ブロック復旧方法。
（項目１１）
前記損失ブロックの特性を決定する段階は、
損失ブロックに対する費用関数を算出する段階と、
前記費用関数を既設定された臨界値と比較して損失ブロックの特性を決定する段階と、
から構成されることを特徴とする項目１０に記載の画像処理システムの損失ブロック復旧方法。
（項目１２）
前記費用関数を算出する段階は、
現在フレームと以前フレームとに対して、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、
損失した動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、
から構成されることを特徴とする項目１１に記載の画像処理システムの損失ブロック復旧方法。
（項目１３）
前記ピクセル間の時間的差値（ｃｏｓｔ１）は、
下記式により計算されることを特徴とする項目１２に記載の画像処理システムの損失ブロック復旧方法：
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値で、ｐｒｅｖｉは、以前フレームで現在損失ブロックと同一位置にあるブロック周囲のピクセル値である。
（項目１４）
前記モーションベクトル分散値（ｃｏｓｔ２）は、下記式により算出されることを特徴とする項目１２に記載の画像処理システムの損失ブロック復旧方法：
（項目１４）
前記モーションベクトル分散値（ｃｏｓｔ２）は、下記式により算出されることを特徴とする項目１２に記載の画像処理システムの損失ブロック復旧方法：
式中、ＭＶｉｘ及びＭＶｉｙは、それぞれＭＶｉの水平成分及び垂直成分である。
（項目１５）
前記損失ブロックの特性を決定する段階は、
前記ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）がそれぞれ第１の臨界値（Ｔ１）以下であると、前記損失ブロックの特性を第１の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第３の臨界値（Ｔ３）以下であると、前記損失ブロックの特性を第２の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第５の臨界値（Ｔ５）以上であると、前記損失ブロックの特性を第３の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第４の臨界値（Ｔ４）以上であると、前記損失ブロックの特性を第４の類型に決定する段階と、
から構成されることを特徴とする項目１０に記載の画像処理システムの損失ブロック復旧方法（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
（項目１６）
前記第１の類型は、ほとんど動きのないブロックで、前記第２の類型は、画像が全体的に同じような動きを有するブロックで、前記第３の類型は、一定の方向性なしに動く対象のあるブロックで、前記第４の類型は、画像フレーム間の場面転換が発生したブロックであることを特徴とする項目１５に記載の画像処理システムの損失ブロック復旧方法。
（項目１７）
前記損失ブロックを復旧する段階は、
前記損失ブロックが第１の類型であると、第１の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第３の類型または第４の類型であると、第２の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第２の類型であると、第３の方法により損失ブロックを復旧する段階と、
から構成されることを特徴とする項目１０に記載の画像処理システムの損失ブロック復旧方法。
（項目１８）
前記第１の方法は、
前記損失ブロックを以前フレームの同一位置のブロックに代替する時間的方法であることを特徴とする項目１７に記載の画像処理システムの損失ブロック復旧方法。
（項目１９）
前記第２の方法は、
前記損失ブロックの隣接ピクセルから、線形補間を行って前記損失ブロックを復旧する空間的方法であることを特徴とする項目１７に記載の画像処理システムの損失ブロック復旧方法。
（項目２０）
前記第３の方法は、
前記損失ブロックの周辺ブロックのモーションベクトルを利用して、前記損失ブロックを以前フレームの最も適した位置のブロックに代替する動きを考慮した時間的エラー隠し方法であることを特徴とする項目１７に記載の画像処理システムの損失ブロック復旧方法。
（項目２１）
前記動きを考慮した時間的エラー隠し方法は、
前記損失ブロックの周辺ブロックのモーションベクトルの中間値を算出する段階と、
前記モーションベクトルの中間値を前記損失ブロックのモーションベクトルとして設定する段階と、
以前フレームで最適の位置のブロックを算出して前記損失ブロックを代替する段階と、
から構成されることを特徴とする項目２０に記載の画像処理システムの損失ブロック復旧方法。
（項目２２）
伝送された画像フレームに損失ブロックが存在するか否かを確認する段階と、
現在フレームと以前フレームとに対し、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、
損失した動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、
前記隣接ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較する段階と、
比較の結果によって前記損失ブロックの特性を決定する段階と、
前記決定された損失ブロックの特性を参照して、該当損失ブロックを復旧する段階と、
から構成されることを特徴とする画像処理システムの損失ブロック復旧方法。
（項目２３）
前記ピクセル間の時間的差値（ｃｏｓｔ１）は、
下記式により計算されることを特徴とする項目２２に記載の画像処理システムの損失ブロック復旧方法：
（項目１５）
前記損失ブロックの特性を決定する段階は、
前記ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）がそれぞれ第１の臨界値（Ｔ１）以下であると、前記損失ブロックの特性を第１の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第３の臨界値（Ｔ３）以下であると、前記損失ブロックの特性を第２の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第５の臨界値（Ｔ５）以上であると、前記損失ブロックの特性を第３の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第４の臨界値（Ｔ４）以上であると、前記損失ブロックの特性を第４の類型に決定する段階と、
から構成されることを特徴とする項目１０に記載の画像処理システムの損失ブロック復旧方法（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
（項目１６）
前記第１の類型は、ほとんど動きのないブロックで、前記第２の類型は、画像が全体的に同じような動きを有するブロックで、前記第３の類型は、一定の方向性なしに動く対象のあるブロックで、前記第４の類型は、画像フレーム間の場面転換が発生したブロックであることを特徴とする項目１５に記載の画像処理システムの損失ブロック復旧方法。
（項目１７）
前記損失ブロックを復旧する段階は、
前記損失ブロックが第１の類型であると、第１の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第３の類型または第４の類型であると、第２の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第２の類型であると、第３の方法により損失ブロックを復旧する段階と、
から構成されることを特徴とする項目１０に記載の画像処理システムの損失ブロック復旧方法。
（項目１８）
前記第１の方法は、
前記損失ブロックを以前フレームの同一位置のブロックに代替する時間的方法であることを特徴とする項目１７に記載の画像処理システムの損失ブロック復旧方法。
（項目１９）
前記第２の方法は、
前記損失ブロックの隣接ピクセルから、線形補間を行って前記損失ブロックを復旧する空間的方法であることを特徴とする項目１７に記載の画像処理システムの損失ブロック復旧方法。
（項目２０）
前記第３の方法は、
前記損失ブロックの周辺ブロックのモーションベクトルを利用して、前記損失ブロックを以前フレームの最も適した位置のブロックに代替する動きを考慮した時間的エラー隠し方法であることを特徴とする項目１７に記載の画像処理システムの損失ブロック復旧方法。
（項目２１）
前記動きを考慮した時間的エラー隠し方法は、
前記損失ブロックの周辺ブロックのモーションベクトルの中間値を算出する段階と、
前記モーションベクトルの中間値を前記損失ブロックのモーションベクトルとして設定する段階と、
以前フレームで最適の位置のブロックを算出して前記損失ブロックを代替する段階と、
から構成されることを特徴とする項目２０に記載の画像処理システムの損失ブロック復旧方法。
（項目２２）
伝送された画像フレームに損失ブロックが存在するか否かを確認する段階と、
現在フレームと以前フレームとに対し、前記損失ブロックに隣接したピクセル間の時間的差値（ｃｏｓｔ１）を算出する段階と、
損失した動画像ブロックに対する周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する段階と、
前記隣接ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較する段階と、
比較の結果によって前記損失ブロックの特性を決定する段階と、
前記決定された損失ブロックの特性を参照して、該当損失ブロックを復旧する段階と、
から構成されることを特徴とする画像処理システムの損失ブロック復旧方法。
（項目２３）
前記ピクセル間の時間的差値（ｃｏｓｔ１）は、
下記式により計算されることを特徴とする項目２２に記載の画像処理システムの損失ブロック復旧方法：
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値で、ｐｒｅｖｉは、以前フレームで現在損失ブロックと同一位置にあるブロック周囲のピクセル値である。
（項目２４）
前記モーションベクトル分散値（ｃｏｓｔ２）は、
下記式により算出されることを特徴とする項目２２に記載の画像処理システムの損失ブロック復旧方法：
（項目２４）
前記モーションベクトル分散値（ｃｏｓｔ２）は、
下記式により算出されることを特徴とする項目２２に記載の画像処理システムの損失ブロック復旧方法：
式中、ＭＶｉｘ及びＭＶｉｙは、それぞれＭＶｉの水平成分及び垂直成分である。
（項目２５）
前記損失ブロックの特性を決定する段階は、
前記ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）がそれぞれ第１の臨界値（Ｔ１）以下であると、前記損失ブロックの特性を第１の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第３の臨界値（Ｔ３）以下であると、前記損失ブロックの特性を第２の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第５の臨界値（Ｔ５）以上であると、前記損失ブロックの特性を第３の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第４の臨界値（Ｔ４）以上であると、前記損失ブロックの特性を第４の類型に決定する段階と、
から構成されることを特徴とする項目２２に記載の画像処理システムの損失ブロック復旧方法（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
（項目２６）
前記第１の類型は、ほとんど動きのないブロックで、前記第２の類型は、画像が全体的に同じような動きを有するブロックで、前記第３の類型は、一定の方向性なしに動く対象のあるブロックで、前記第４の類型は、画像フレーム間の場面転換が発生したブロックであることを特徴とする項目２５に記載の画像処理システムの損失ブロック復旧方法。
（項目２７）
前記損失ブロックを復旧する段階は、
前記損失ブロックが第１の類型であると、第１の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第３の類型または第４の類型であると、第２の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第２の類型であると、第３の方法により損失ブロックを復旧する段階と、
から構成されることを特徴とする項目２２に記載の画像処理システムの損失ブロック復旧方法。
（項目２８）
前記損失ブロックが、第１の類型、第２の類型、第３の類型及び第４の類型以外の特性を有する場合、第３の方法により損失ブロックを復旧する段階をさらに含んで構成されることを特徴とする項目２７に記載の画像処理システムの損失ブロック復旧方法。
（項目２９）
前記第１の方法は、
前記損失ブロックを以前フレームの同一位置のブロックに代替する時間的方法であることを特徴とする項目２７に記載の画像処理システムの損失ブロック復旧方法。
（項目３０）
前記第２の方法は、
前記損失ブロックの隣接ピクセルから、線形補間を行って前記損失ブロックを復旧する空間的方法であることを特徴とする項目２７に記載の画像処理システムの損失ブロック復旧方法。
（項目３１）
前記第３の方法は、
前記損失ブロックの周辺ブロックのモーションベクトルを利用して、前記損失ブロックを以前フレームの最も適した位置のブロックに代替する動きを考慮した時間的エラー隠し方法であることを特徴とする項目２７に記載の画像処理システムの損失ブロック復旧方法。
（項目３２）
前記動きを考慮した時間的エラー隠し方法は、
前記損失ブロックの周辺ブロックのモーションベクトルの中間値を算出する段階と、
前記モーションベクトルの中間値を前記損失ブロックのモーションベクトルとして設定する段階と、
以前フレームで最適の位置のブロックを算出して前記損失ブロックを代替する段階と、
から構成されることを特徴とする項目３１に記載の画像処理システムの損失ブロック復旧方法。
（項目２５）
前記損失ブロックの特性を決定する段階は、
前記ピクセル間の時間的差値（ｃｏｓｔ１）及びモーションベクトル分散値（ｃｏｓｔ２）がそれぞれ第１の臨界値（Ｔ１）以下であると、前記損失ブロックの特性を第１の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第３の臨界値（Ｔ３）以下であると、前記損失ブロックの特性を第２の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第２の臨界値（Ｔ２）以上で、前記モーションベクトル分散値（ｃｏｓｔ２）が第５の臨界値（Ｔ５）以上であると、前記損失ブロックの特性を第３の類型に決定する段階と、
前記ピクセル間の時間的差値（ｃｏｓｔ１）が第４の臨界値（Ｔ４）以上であると、前記損失ブロックの特性を第４の類型に決定する段階と、
から構成されることを特徴とする項目２２に記載の画像処理システムの損失ブロック復旧方法（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
（項目２６）
前記第１の類型は、ほとんど動きのないブロックで、前記第２の類型は、画像が全体的に同じような動きを有するブロックで、前記第３の類型は、一定の方向性なしに動く対象のあるブロックで、前記第４の類型は、画像フレーム間の場面転換が発生したブロックであることを特徴とする項目２５に記載の画像処理システムの損失ブロック復旧方法。
（項目２７）
前記損失ブロックを復旧する段階は、
前記損失ブロックが第１の類型であると、第１の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第３の類型または第４の類型であると、第２の方法により損失ブロックを復旧する段階と、
前記損失ブロックが第２の類型であると、第３の方法により損失ブロックを復旧する段階と、
から構成されることを特徴とする項目２２に記載の画像処理システムの損失ブロック復旧方法。
（項目２８）
前記損失ブロックが、第１の類型、第２の類型、第３の類型及び第４の類型以外の特性を有する場合、第３の方法により損失ブロックを復旧する段階をさらに含んで構成されることを特徴とする項目２７に記載の画像処理システムの損失ブロック復旧方法。
（項目２９）
前記第１の方法は、
前記損失ブロックを以前フレームの同一位置のブロックに代替する時間的方法であることを特徴とする項目２７に記載の画像処理システムの損失ブロック復旧方法。
（項目３０）
前記第２の方法は、
前記損失ブロックの隣接ピクセルから、線形補間を行って前記損失ブロックを復旧する空間的方法であることを特徴とする項目２７に記載の画像処理システムの損失ブロック復旧方法。
（項目３１）
前記第３の方法は、
前記損失ブロックの周辺ブロックのモーションベクトルを利用して、前記損失ブロックを以前フレームの最も適した位置のブロックに代替する動きを考慮した時間的エラー隠し方法であることを特徴とする項目２７に記載の画像処理システムの損失ブロック復旧方法。
（項目３２）
前記動きを考慮した時間的エラー隠し方法は、
前記損失ブロックの周辺ブロックのモーションベクトルの中間値を算出する段階と、
前記モーションベクトルの中間値を前記損失ブロックのモーションベクトルとして設定する段階と、
以前フレームで最適の位置のブロックを算出して前記損失ブロックを代替する段階と、
から構成されることを特徴とする項目３１に記載の画像処理システムの損失ブロック復旧方法。
このような目的を達成するために、本発明に係る画像処理システムの損失ブロック復旧装置は、受信された画像ブロック中に損失ブロックが存在するか否かを判断する損失ブロック検出部と、前記損失ブロックが発生した現在フレームと以前フレームとで、隣接ピクセル間の時間的差値ｃｏｓｔ１を算出するピクセル差算出部と、前記損失ブロックに対する周辺ブロックのモーションベクトル分散値ｃｏｓｔ２を算出する分散値算出部と、前記時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較して、損失ブロックの特性を判断するブロック特性決定部と、前記損失ブロックの特性によって、最適のエラー隠し方法を適用して該当損失ブロックを復旧する損失ブロック復旧部と、から構成されることを特徴とする。
本発明により通信網を通して伝送される画像フレームを受信して画像処理する過程における画像処理システムの損失ブロック復旧方法は、損失ブロックに対する費用関数を利用して、前記損失ブロックの特性を決定する段階と、前記損失ブロックの特性に最適なエラー隠し方法を適用して、前記損失ブロックを復旧する段階と、から構成されることを特徴とする。
本発明に係る画像処理システムの損失ブロック復旧方法は、伝送された画像フレームに損失ブロックが存在するか否かを確認する段階と、現在フレームと以前フレームとに対し、前記損失ブロックに隣接したピクセル間の時間的差値
を算出する段階と、損失した動画像ブロックに対する周辺ブロックのモーションベクトル分散値ｃｏｓｔ２を算出する段階と、前記隣接ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較する段階と、比較の結果によって前記損失ブロックの特性を決定する段階と、前記決定された損失ブロックの特性を参照して、該当損失ブロックを復旧する段階と、から構成されることを他の特徴とする。
本発明に係る画像処理システムの損失ブロック復旧装置及びその方法は、伝送中に損失したブロックの特性を自動で判断し、前記損失ブロックの特性によって、流動的に最適のエラー隠し方法を適用して画像を復元することにより、受信端のエラー復元性能を向上できるという効果がある。
また、本発明に係る画像処理システムの損失ブロック復旧装置及びその方法は、損失ブロックの特性によって、最適のエラー隠し方法を適用して画像を復元することにより、元の画像に最も近接した復元画像を再生できるという効果がある。
以下、添付の図面を参照して、本発明に係る画像処理システムの損失ブロック復旧装置及びその方法の実施形態を説明する。
図１は、本発明に係る画像処理システムの損失ブロック復旧装置の構成を示すブロック図である。
図１に示すように、本発明に係る画像処理システムの損失ブロック復旧装置は、伝送された動画像ブロック中に損失ブロックが存在するか否かを判断する損失ブロック検出部１０と、前記損失ブロック検出部１０により損失ブロックが検出されると、現在フレームと以前フレームとで、隣接ピクセル間の時間的差値
を算出するピクセル差算出部２０と、前記損失ブロック検出部１０により損失ブロックが検出されると、前記損失ブロックに対する周辺ブロックのモーションベクトルに対し分散値を算出する分散値算出部３０と、前記隣接ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較して、損失ブロックの特性を判断するブロック特性決定部４０と、前記ブロック特性決定部４０により判断された損失ブロックの特性によって、エラー隠し方法を適用して該当損失ブロックを復旧する損失ブロック復旧部５０と、から構成される。
前記ピクセル差算出部２０は、現在フレームと以前フレームとで、前記損失ブロックの隣接ピクセル間の時間的差値ｃｏｓｔ１を、数式１及び数式２を利用して算出する。このとき、前記費用関数は、現在フレームと以前フレームとの時間的差が所定の臨界値（Ｔｈｒｅｓｈｏｌｄ）を超える隣接ピクセルの数として定義される。
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値で、ｐｒｅｖｉは、以前フレームで現在損失ブロックと同一位置にあるブロック周囲のピクセル値である。
前記ピクセル間の時間的差値ｃｏｓｔ１が小さい場合は、前記損失ブロックが、以前フレームと現在フレーム間に大きな変化がないことを意味し、前記ピクセル間の時間的差値ｃｏｓｔ１が大きい場合は、前記損失ブロックの動きが大きいか、または場面転換が起ったことを意味する。
前記分散値算出部３０は、損失ブロックに対する周辺ブロックのモーションベクトル分散値ｃｏｓｔ２を数式３及び数式４を利用して算出する。
式中、ＭＶｉｘ及びＭＶｉｙは、それぞれ
の水平成分及び垂直成分である。
前記モーションベクトル分散値ｃｏｓｔ２が小さい場合は、前記損失ブロック周囲の７つのモーションベクトルが類似した値を有することを意味し、前記モーションベクトル分散値ｃｏｓｔ２が大きい場合は、モーションベクトルが広く分布して周囲ブロックのモーションが一定でないことを意味する。
前記ブロック特性決定部４０は、前記ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較して、前記損失ブロックの特性を決定する。
前記損失ブロックの特性は、大きく「場面転換（ｓｃｅｎｅ ｃｈａｎｇｅ）」、「対象移動（ｏｂｊｅｃｔ ｍｏｖｉｎｇ）」、「停止（ｎｏ ｍｏｖｅｍｅｎｔ）」、「カメラ移動（ｃａｍｅｒａ ｍｏｖｉｎｇ）」及び「その他（ｏｔｈｅｒｗｉｓｅ）」の５つに分類することができる。
前記「場面転換」は、画面（フレーム）間の場面転換が起こったブロックで、前記「対象移動」は、一定の方向性なしに動く対象のあるブロックで、前記「停止」は、停止したカメラ画像の背景のようにほとんど動きのないブロックで、前記「カメラ移動」は、カメラ自体が動いて画像が全体的に同じような動きを有するブロックで、前記「その他」は、以上の４つの分類に属しないブロックをいう。
表１は、前記ブロック特性決定部４０の損失ブロック特性判断の基準となる臨界値の実施例を示すもので、各臨界値は、数式１〜数式４に適用して統計的に算出した値である。
前記ブロック特性決定部４０は、前記損失ブロックのピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を算出し、各費用関数が何れの臨界値範囲と一致するかを判断して、前記損失ブロックの特性を決定する。
図２は、前記表１で定義した各損失ブロックの特性別分布を示す分布図で、動きが小さいか、または現在フレームと以前フレームとの差が小さい損失ブロックは左側下方に分布し、動きが大きいか、または画面間の時間的差が大きい損失ブロックは右側上方に分布することが分かる。
前記損失ブロック復旧部５０は、前記ブロック特性決定部４０により決定された損失ブロックの特性によって、最適のエラー隠し方法を適用して該当損失ブロックを復旧する。
前記エラー隠し方法は、画像データを復号化する過程で、損失ブロックの周辺情報を利用してエラーを隠すもので、前記情報によって、時間的代替隠し（ｔｅｍｐｏｒａｌ ｒｅｐｌａｃｅｍｅｎｔ ｃｏｎｃｅａｌｍｅｎｔ）、空間的隠し（ｓｐａｔｉａｌ ｃｏｎｃｅａｌｍｅｎｔ）及び動き補償された時間的隠し（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｔｅｍｐｏｒａｌ ｃｏｎｃｅａｌｍｅｎｔ）に分類することができる。
表２は、前記損失ブロックの特性による最適のエラー隠し方法を定義したものである。
前記損失ブロックの特性が「場面転換」または「対象移動」であると、空間的隠しを利用して該当損失ブロックを復旧し、前記損失ブロックの特性が「停止」であると、時間的代替隠しを利用して該当損失ブロックを復旧し、前記損失ブロックが「カメラ移動」であると、動き補償された時間的隠しを利用して該当損失ブロックのエラーを復旧する。即ち、画像画面間の相関性がほとんどない場合は、空間的隠しを適用し、画像画面間の相関性が高い場合は、時間的代替隠しを適用する。
図３は、本発明に係る画像処理システムの損失ブロック復旧方法を示すフローチャートで、以下、本発明に係る画像処理システムの損失ブロック復旧装置の動作について図を参照して詳細に説明する。
送信側（図示せず）から画像フレームを受信すると（ステップＳ１１）、前記損失ブロック検出部１０は、前記画像フレームに損失ブロックが存在するか否かを判断する（ステップＳ１２）。
前記画像フレームで損失ブロックが検出されると、現在フレームで損失ブロックの周囲に隣接するピクセルと、以前フレームの同一位置に存在するピクセル間の時間的差値ｃｏｓｔ１を算出し（ステップＳ１３）、前記現在フレームで損失ブロックに対する周辺ブロックのモーションベクトル分散値ｃｏｓｔ２を算出する（ステップＳ１４）。このとき、前記ピクセル間の時間的差値ｃｏｓｔ１は、前記数式１及び数式２を利用して算出し、前記モーションベクトル分散値ｃｏｓｔ２は、前記数式３及び数式４を利用して算出する。
前記ブロック特性決定部４０は、前記ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２を既設定された臨界値と比較して（ステップＳ１５）、前記損失ブロックの特性を決定する（ステップＳ１６）。
前記既設定された臨界値は、４つの損失ブロックの特性と費用関数間の関係を実験を通して統計的に分析して算出した値である。前記既設定された臨界値は、前記表１のようである。
前記ピクセル間の時間的差値ｃｏｓｔ１及びモーションベクトル分散値ｃｏｓｔ２がそれぞれ第１の臨界値Ｔ１以下であると、前記損失ブロックの特性は「停止」で、前記ピクセル間の時間的差値ｃｏｓｔ１が第２の臨界値Ｔ２以上で、前記モーションベクトル分散値ｃｏｓｔ２が第３の臨界値Ｔ３以下であると、前記損失ブロックの特性は「カメラ移動」で、前記ピクセル間の時間的差値ｃｏｓｔ１が第２の臨界値Ｔ２以上で、前記モーションベクトル分散値ｃｏｓｔ２が第５の臨界値Ｔ５以上であると、前記損失ブロックの特性は「対象移動」で、前記ピクセル間の時間的差値ｃｏｓｔ１が第４の臨界値Ｔ４以上であると、前記損失ブロックの特性は「場面転換」である（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５）。
前記損失ブロック復旧部５０は、前記ブロック特性決定部４０により決定された損失ブロックの特性によって、最適のエラー隠し方法を適用して該当損失ブロックを復旧する。このとき、前記損失ブロックの特性別最適のエラー隠し方法は前記表２のようである。
前記損失ブロックの特性が「場面転換」または「対象移動」であると（ステップＳ１７）、空間的隠しを利用して該当損失ブロックを復旧し（ステップＳ１８）、前記損失ブロックの特性が「停止」であると（ステップＳ１９）、現在フレームのブロックと以前フレームのブロックとが非常に類似するので、時間的代替隠しを利用して該当損失ブロックを復旧する（ステップＳ２０）。そして、前記損失ブロックの特性が「カメラ移動」であると（ステップＳ２１）、損失ブロックの動きと周辺ブロックの動きとがほとんど一致するので、動き補償された時間的隠しを利用して該当損失ブロックのエラーを復旧する（ステップＳ２２）。
前記空間的隠しは、損失ブロックの隣接ピクセルから、線形補間（ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を通して前記損失ブロックを復旧する方法で、前記時間的代替隠しは、前記損失ブロックを以前フレームの同一位置のブロックに代替して復旧する方法である。
前記動き補償された時間的隠しは、損失ブロック周辺の復旧可能なモーションベクトルを利用して、以前フレームで最も適した位置のブロックを探索した後、前記損失ブロックを該当ブロックに代替して復旧する方法である。このとき、前記損失ブロックの周辺ブロックのモーションベクトルを検出してそのモーションベクトルの中間値を算出し、前記中間値を前記損失ブロックのモーションベクトルとして設定する。
本発明において、前記空間的隠しは、画像画面間の相関性がほとんどない場合にエラー復旧効率が大きく、前記時間的代替隠しは、画像画面間の相関性が高い場合にエラー復旧効率が大きいことを利用して、前記損失ブロックの特性によって最適のエラー隠し方法を適用する。
図４〜図５は、本発明に係る画像処理システムの損失ブロック復旧装置及びその方法の性能を比較するための模擬実験結果を示すもので、前記模擬実験に用いられたコーデックはＨ．２６３で、画像のサイズはＱＣＩＦ、ＣＩＦで、目標ビット率は前記ＱＣＩＦが１１２Ｋｂｐｓ、ＣＩＦが３２２Ｋｂｐｓである。
図４は、特定の画像に対するフレーム別ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）を示すグラフで、全体的に時間的代替隠し及び空間的隠しのうち良い性能を有する方法を流動的に適用していることが分かる。即ち、大部分のフレームで時間的代替隠しの性能が良く、動きの大きい幾つかのフレームでは空間的隠しの性能が良いことが分かるが、本発明に係る損失ブロック復旧方法は、前記空間的隠しの性能が良いフレームでは、時間的代替隠しでない空間的隠しを適用していることが分かる。
前記ＰＳＮＲは、復元画像の客観的な画質評価を示すもので、前記ＰＳＮＲが高いほど元の画像の保存率が高いことを意味する。
図５は、混合画像に対するフレーム別ＰＳＮＲを示すグラフで、前記ＰＳＮＲが急激に変化する部分は「場面転換」が発生した部分である。
本発明による方法は、「場面転換」が発生した部分では空間的隠しを適用し、残り部分では時間的代替隠しを適用することが分かる。
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
Claims (17)
- 画像の損失ブロックを復旧する装置であって、
前記装置は、
受信された画像ブロック中に損失ブロックが存在するか否かを決定する損失ブロック検出部と、
現在フレームの損失ブロックの隣接ピクセルと、以前フレームの対応するピクセルとの間の時間的差値（ｃｏｓｔ１）を算出するピクセル差算出部と、
前記損失ブロックの周辺ブロックのモーションベクトル分散値（ｃｏｓｔ２）を算出する分散値算出部と、
前記時間的差値（ｃｏｓｔ１）および前記モーションベクトル分散値（ｃｏｓｔ２）を既設定された臨界値と比較することによって、前記損失ブロックの特性を決定するブロック特性決定部であって、
前記時間的差値（ｃｏｓｔ １ ）および前記モーションベクトル分散値（ｃｏｓｔ ２ ）が第１の臨界値（Ｔ１）以下である場合には、前記ブロック特性決定部は、前記損失ブロックの特性を、ほとんど動きのないブロックと決定し、
前記時間的差値（ｃｏｓｔ １ ）が第２の臨界値（Ｔ２）以上であり、かつ前記モーションベクトル分散値（ｃｏｓｔ ２ ）が第３の臨界値（Ｔ３）以下である場合には、前記ブロック特性決定部は、前記損失ブロックの特性を、画像が全体的に同じような動きを有するブロックと決定し、
前記時間的差値（ｃｏｓｔ １ ）が前記第２の臨界値（Ｔ２）以上であり、かつ前記モーションベクトル分散値（ｃｏｓｔ ２ ）が第５の臨界値（Ｔ５）以上である場合には、前記ブロック特性決定部は、前記損失ブロックの特性を、一定の方向性なしに動く対象を有しているブロックと決定し、
前記時間的差値（ｃｏｓｔ １ ）が第４の臨界値（Ｔ４）以上である場合には、前記ブロック特性決定部は、前記損失ブロックの特性を、画像フレーム間で場面転換が発生したブロックと決定し、
Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５である、ブロック特性決定部と、
前記損失ブロックの特性によって最適のエラー隠し方法を適用することによって前記損失ブロックを復旧する損失ブロック復旧部であって、
前記損失ブロックの特性がほとんど動きのないブロックであると決定された場合には、前記損失ブロックを復旧するための前記最適のエラー隠し方法は、時間的方法であり、
前記損失ブロックの特性が一定の方向性なしに動く対象を有しているブロックであると決定されるか、前記損失ブロックの特性が画像フレーム間で場面転換が発生したブロックであると決定された場合には、前記損失ブロックを復旧するための前記最適のエラー隠し方法は、空間的方法であり、
前記損失ブロックの特性が画像が全体的に同じような動きを有するブロックであると決定された場合には、前記損失ブロックを復旧するための前記最適のエラー隠し方法は、動きを考慮した時間的エラー隠し方法である、損失ブロック復旧部と
を備えている、装置。 - 前記ピクセル差算出部は、
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値であり、ｐｒｅｖｉは、前記以前フレームで前記現在損失ブロックと同一位置にあるブロック周囲のピクセル値である、請求項１に記載の装置。 - 前記分散値算出部は、
式中、ＭＶ ｉｘ はＭＶ ｉ の水平成分であり、ＭＶ ｉｙ は、ＭＶ ｉ の垂直成分である、請求項１に記載の装置。 - 通信網を通して伝送される画像フレームを受信して画像処理するプロセス中に画像の損失ブロックを復旧する方法であって、
前記方法は、
現在フレームの損失ブロックの隣接ピクセルと、以前フレームの対応するピクセルとの間の時間的差値（ｃｏｓｔ １ ）を算出することと、
前記損失ブロックの周辺ブロックのモーションベクトル分散値（ｃｏｓｔ ２ ）を算出することと、
前記時間的差値（ｃｏｓｔ １ ）および前記モーションベクトル分散値（ｃｏｓｔ ２ ）を既設定された臨界値と比較することによって、前記損失ブロックの特性を決定することであって、
前記時間的差値（ｃｏｓｔ １ ）および前記モーションベクトル分散値（ｃｏｓｔ ２ ）が第１の臨界値（Ｔ１）以下である場合には、前記損失ブロックの特性が、ほとんど動きのないブロックと決定され、
前記時間的差値（ｃｏｓｔ １ ）が第２の臨界値（Ｔ２）以上であり、かつ前記モーションベクトル分散値（ｃｏｓｔ ２ ）が第３の臨界値（Ｔ３）以下である場合には、前記損失ブロックの特性が、画像が全体的に同じような動きを有するブロックと決定され、
前記時間的差値（ｃｏｓｔ １ ）が前記第２の臨界値（Ｔ２）以上であり、かつ前記モーションベクトル分散値（ｃｏｓｔ ２ ）が第５の臨界値（Ｔ５）以上である場合には、前記損失ブロックの特性が、一定の方向性なしに動く対象を有しているブロックと決定され、
前記時間的差値（ｃｏｓｔ １ ）が第４の臨界値（Ｔ４）以上である場合には、前記損失ブロックの特性が、画像フレーム間で場面転換が発生したブロックと決定され、
Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５である、ことと、
前記損失ブロックの決定された特性に基づいたエラー隠し方法を適用することによって前記損失ブロックを復旧することであって、
前記損失ブロックの特性がほとんど動きのないブロックであると決定された場合には、前記損失ブロックは、時間的方法を介して復旧され、
前記損失ブロックの特性が一定の方向性なしに動く対象を有しているブロックであると決定されるか、前記損失ブロックの特性が画像フレーム間で場面転換が発生したブロックであると決定された場合には、前記損失ブロックは、空間的方法を介して復旧され、
前記損失ブロックの特性が画像が全体的に同じような動きを有するブロックであると決定された場合には、前記損失ブロックは、動きを考慮した時間的エラー隠し方法を介して復旧される、ことと
を包含する、方法。 - 前記時間的差値（ｃｏｓｔ１）は、
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値であり、ｐｒｅｖｉは、前記以前フレームで前記現在損失ブロックと同一位置にあるブロック周囲のピクセル値である、請求項４に記載の方法。 - 前記モーションベクトル分散値（ｃｏｓｔ２）は、
式中、ＭＶ ｉｘ は、ＭＶ ｉ の水平成分であり、ＭＶ ｉｙ は、ＭＶ ｉ の垂直成分である、請求項４に記載の方法。 - 前記時間的方法は、
前記損失ブロックを前記以前フレームの同一位置のブロックに代替する方法である、請求項４に記載の方法。 - 前記空間的方法は、
前記損失ブロックに隣接するピクセルから、線形補間を行って前記損失ブロックを復旧する方法である、請求項４に記載の方法。 - 前記動きを考慮した時間的エラー隠し方法は、
前記損失ブロックの周辺ブロックのモーションベクトルを利用して、前記損失ブロックを前記以前フレームの最も適した位置のブロックに代替する方法である、請求項４に記載の方法。 - 前記動きを考慮した時間的エラー隠し方法は、
前記損失ブロックの周辺モーションベクトルの中間値を算出することと、
前記モーションベクトルの中間値を前記損失ブロックのモーションベクトルとして設定することと、
前記以前フレームの最適の位置のブロックを算出して前記損失ブロックを代替することと
を包含する、請求項９に記載の方法。 - 画像の損失ブロックを復旧する方法であって、
前記方法は、
伝送された画像フレームに損失ブロックが存在するか否かを確認することと、
現在フレームの損失ブロックの隣接ピクセルと、以前フレームの対応するピクセルとの間の時間的差値（ｃｏｓｔ １ ）を算出することと、
前記損失ブロックの周辺ブロックのモーションベクトル分散値（ｃｏｓｔ ２ ）を算出することと、
前記時間的差値（ｃｏｓｔ １ ）および前記モーションベクトル分散値（ｃｏｓｔ ２ ）を既設定された臨界値と比較することによって、前記損失ブロックの特性を決定することであって、
前記時間的差値（ｃｏｓｔ １ ）および前記モーションベクトル分散値（ｃｏｓｔ ２ ）が第１の臨界値（Ｔ１）以下である場合には、前記損失ブロックの特性が、ほとんど動きのないブロックと決定され、
前記時間的差値（ｃｏｓｔ １ ）が第２の臨界値（Ｔ２）以上であり、かつ前記モーションベクトル分散値（ｃｏｓｔ ２ ）が第３の臨界値（Ｔ３）以下である場合には、前記損失ブロックの特性が、画像が全体的に同じような動きを有するブロックと決定され、
前記時間的差値（ｃｏｓｔ １ ）が前記第２の臨界値（Ｔ２）以上であり、かつ前記モーションベクトル分散値（ｃｏｓｔ ２ ）が第５の臨界値（Ｔ５）以上である場合には、前記損失ブロックの特性が、一定の方向性なしに動く対象を有しているブロックと決定され、
前記時間的差値（ｃｏｓｔ １ ）が第４の臨界値（Ｔ４）以上である場合には、前記損失ブロックの特性が、画像フレーム間で場面転換が発生したブロックと決定され、
Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５である、ことと、
前記損失ブロックの決定された特性に基づいたエラー隠し方法を適用することによって前記損失ブロックを復旧することであって、
前記損失ブロックの特性がほとんど動きのないブロックであると決定された場合には、前記損失ブロックは、時間的方法を介して復旧され、
前記損失ブロックの特性が一定の方向性なしに動く対象を有しているブロックであると決定されるか、前記損失ブロックの特性が画像フレーム間で場面転換が発生したブロックであると決定された場合には、前記損失ブロックは、空間的方法を介して復旧され、
前記損失ブロックの特性が画像が全体的に同じような動きを有するブロックであると決定された場合には、前記損失ブロックは、動きを考慮した時間的エラー隠し方法を介して復旧される、ことと
を包含する、方法。 - 前記時間的差値（ｃｏｓｔ１）は、
式中、ｃｕｒｒｉは、前記損失ブロック周囲のピクセル値であり、ｐｒｅｖｉは、前記以前フレームで前記現在損失ブロックと同一位置にあるブロック周囲のピクセル値である、請求項１１に記載の方法。 - 前記モーションベクトル分散値（ｃｏｓｔ２）は、
式中、ＭＶ ｉｘ は、ＭＶ ｉ の水平成分であり、ＭＶ ｉｙ は、ＭＶ ｉ の垂直成分である、請求項１１に記載の方法。 - 前記時間的方法は、
前記損失ブロックを前記以前フレームの同一位置のブロックに代替する方法である、請求項１１に記載の方法。 - 前記空間的方法は、
前記損失ブロックに隣接するピクセルから、線形補間を行って前記損失ブロックを復旧する方法である、請求項１１に記載の方法。 - 前記動きを考慮した時間的エラー隠し方法は、
前記損失ブロックの周辺ブロックのモーションベクトルを利用して、前記損失ブロックを前記以前フレームの最も適した位置のブロックに代替する方法である、請求項１１に記載の方法。 - 前記動きを考慮した時間的エラー隠し方法は、
前記損失ブロックの周辺モーションベクトルの中間値を算出することと、
前記モーションベクトルの中間値を前記損失ブロックのモーションベクトルとして設定することと、
前記以前フレームの最適の位置のブロックを算出して前記損失ブロックを代替することと
を包含する、請求項１６に記載の方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20030096868A KR100621005B1 (ko) | 2003-12-24 | 2003-12-24 | 영상 오류 복구장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005192218A JP2005192218A (ja) | 2005-07-14 |
| JP4104593B2 true JP4104593B2 (ja) | 2008-06-18 |
Family
ID=34545909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004370253A Expired - Fee Related JP4104593B2 (ja) | 2003-12-24 | 2004-12-21 | 画像処理システムの損失ブロック復旧装置及びその方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7684492B2 (ja) |
| EP (1) | EP1549079B1 (ja) |
| JP (1) | JP4104593B2 (ja) |
| KR (1) | KR100621005B1 (ja) |
| CN (1) | CN100562124C (ja) |
| AT (1) | ATE525860T1 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050001935A1 (en) * | 2003-07-03 | 2005-01-06 | Shinya Kiuchi | Image processing device, image display device, and image processing method |
| KR100692600B1 (ko) * | 2005-02-22 | 2007-03-13 | 삼성전자주식회사 | 움직임 추정 장치 및 방법 |
| JP2009507412A (ja) * | 2005-09-01 | 2009-02-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ誤り耐性の符号化／復号に関する方法及び装置 |
| US7916796B2 (en) * | 2005-10-19 | 2011-03-29 | Freescale Semiconductor, Inc. | Region clustering based error concealment for video data |
| KR100771138B1 (ko) * | 2005-12-29 | 2007-10-29 | 엠텍비젼 주식회사 | 촬영 장치 및 영상 보정 방법 |
| JP4730183B2 (ja) * | 2006-04-17 | 2011-07-20 | 株式会社日立製作所 | 映像表示装置 |
| KR100834625B1 (ko) * | 2006-07-27 | 2008-06-02 | 삼성전자주식회사 | 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법 |
| KR100801155B1 (ko) * | 2006-08-24 | 2008-02-05 | 한양대학교 산학협력단 | Ｈ．２６４에서의 저복잡도를 가지는 공간적 에러 은닉방법 |
| US8509313B2 (en) * | 2006-10-10 | 2013-08-13 | Texas Instruments Incorporated | Video error concealment |
| KR101490521B1 (ko) * | 2007-10-10 | 2015-02-06 | 삼성전자주식회사 | 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템 |
| KR100943068B1 (ko) * | 2008-02-29 | 2010-02-18 | 전남대학교산학협력단 | 곡선 보간을 이용한 에러복원방법 |
| US20110249127A1 (en) * | 2010-04-07 | 2011-10-13 | Cisco Technology, Inc. | Estimating Video Quality Corruption in Lossy Networks |
| US8976873B2 (en) * | 2010-11-24 | 2015-03-10 | Stmicroelectronics S.R.L. | Apparatus and method for performing error concealment of inter-coded video frames |
| KR101910110B1 (ko) | 2011-09-26 | 2018-12-31 | 삼성디스플레이 주식회사 | 표시 장치 및 그 구동 방법 |
| US9865226B2 (en) * | 2014-09-05 | 2018-01-09 | International Business Machines Corporation | Image color correction for electronic displays |
| US10291931B2 (en) * | 2016-10-13 | 2019-05-14 | Ati Technologies Ulc | Determining variance of a block of an image based on a motion vector for the block |
| CN107657591A (zh) * | 2017-09-05 | 2018-02-02 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| US10992938B2 (en) * | 2018-09-28 | 2021-04-27 | Ati Technologies Ulc | Spatial block-level pixel activity extraction optimization leveraging motion vectors |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05244468A (ja) * | 1992-02-28 | 1993-09-21 | Mitsubishi Electric Corp | 画像受信装置 |
| US5247363A (en) * | 1992-03-02 | 1993-09-21 | Rca Thomson Licensing Corporation | Error concealment apparatus for hdtv receivers |
| US5943444A (en) * | 1993-03-31 | 1999-08-24 | Canon Kabushiki Kaisha | Image reproducing apparatus |
| US5621467A (en) * | 1995-02-16 | 1997-04-15 | Thomson Multimedia S.A. | Temporal-spatial error concealment apparatus and method for video signal processors |
| KR100197368B1 (ko) * | 1995-12-23 | 1999-06-15 | 전주범 | 영상 에러 복구 장치 |
| KR100388802B1 (ko) | 1998-11-16 | 2003-10-22 | 엘지전자 주식회사 | 오류은폐장치및방법 |
| KR100587280B1 (ko) * | 1999-01-12 | 2006-06-08 | 엘지전자 주식회사 | 오류 은폐방법 |
| US7110454B1 (en) * | 1999-12-21 | 2006-09-19 | Siemens Corporate Research, Inc. | Integrated method for scene change detection |
| KR100774453B1 (ko) | 2001-03-15 | 2007-11-08 | 엘지전자 주식회사 | 인터넷의 실시간 영상 전송을 위한 에러 은닉 방법 |
| US20050033505A1 (en) * | 2002-12-05 | 2005-02-10 | Premier Wireless, Inc. | Traffic surveillance and report system |
-
2003
- 2003-12-24 KR KR20030096868A patent/KR100621005B1/ko not_active IP Right Cessation
-
2004
- 2004-12-08 US US11/006,562 patent/US7684492B2/en not_active Expired - Fee Related
- 2004-12-13 EP EP20040029464 patent/EP1549079B1/en not_active Not-in-force
- 2004-12-13 AT AT04029464T patent/ATE525860T1/de not_active IP Right Cessation
- 2004-12-21 JP JP2004370253A patent/JP4104593B2/ja not_active Expired - Fee Related
- 2004-12-24 CN CNB2004100997740A patent/CN100562124C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1549079B1 (en) | 2011-09-21 |
| CN1665308A (zh) | 2005-09-07 |
| JP2005192218A (ja) | 2005-07-14 |
| EP1549079A2 (en) | 2005-06-29 |
| EP1549079A3 (en) | 2005-12-21 |
| ATE525860T1 (de) | 2011-10-15 |
| KR100621005B1 (ko) | 2006-09-08 |
| US7684492B2 (en) | 2010-03-23 |
| KR20050065104A (ko) | 2005-06-29 |
| US20050141622A1 (en) | 2005-06-30 |
| CN100562124C (zh) | 2009-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4104593B2 (ja) | 画像処理システムの損失ブロック復旧装置及びその方法 | |
| Thaipanich et al. | Low complexity algorithm for robust video frame rate up-conversion (FRUC) technique | |
| US8243790B2 (en) | Treating video information | |
| US8654848B2 (en) | Method and apparatus for shot detection in video streaming | |
| Chen et al. | An error concealment algorithm for entire frame loss in video transmission | |
| Hanjalic et al. | Image and video databases: restoration, watermarking and retrieval | |
| US20080151101A1 (en) | Preprocessor method and apparatus | |
| Yang et al. | Quality enhancement of frame rate up-converted video by adaptive frame skip and reliable motion extraction | |
| EP1938615A1 (en) | Adaptive gop structure in video streaming | |
| EP2002650A1 (en) | Preprocessor method and apparatus | |
| KR20000014401A (ko) | 오류 은폐 방법 | |
| Wu et al. | A temporal error concealment method for H. 264/AVC using motion vector recovery | |
| US20090003461A1 (en) | Error concealing method and apparatus adaptive to characteristics of blocks adjacent to lost block | |
| JP2004096752A (ja) | 動きベクトルを近似する方法、該方法を実行するコンピュータプログラム、該プログラムを記憶するデータ記憶媒体、該方法を実行するように適合した装置、及び該装置を備える受信機 | |
| US20060104365A1 (en) | Bi-directional temporal error concealment | |
| US20050013496A1 (en) | Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder | |
| US8503520B2 (en) | Method and apparatus for encoding a flash picture occurring in a video sequence, and for decoding corresponding data for a flash picture | |
| KR100711204B1 (ko) | 선택적 에러 은닉 장치 및 방법 | |
| JP4837909B2 (ja) | 画像処理システムの損失ブロック特性判断装置及びその方法 | |
| Zhao et al. | A highly effective error concealment method for whole frame loss | |
| US11778224B1 (en) | Video pre-processing using encoder-aware motion compensated residual reduction | |
| Chung et al. | A novel intra-fame error concealment algorithm for H. 264 AVC | |
| KR20050092535A (ko) | 선택적 에러 은닉 장치 및 방법 | |
| Ren et al. | Dirt detection for archive film restoration using an adaptive spatio-temporal approach | |
| Kim | Geometric-based error concealment for concealing transmission errors and improving visual quality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071227 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080325 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140404 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |