JP4756594B2 - Image decoding apparatus and method, and computer program - Google Patents
Image decoding apparatus and method, and computer program Download PDFInfo
- Publication number
- JP4756594B2 JP4756594B2 JP2006080263A JP2006080263A JP4756594B2 JP 4756594 B2 JP4756594 B2 JP 4756594B2 JP 2006080263 A JP2006080263 A JP 2006080263A JP 2006080263 A JP2006080263 A JP 2006080263A JP 4756594 B2 JP4756594 B2 JP 4756594B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- frame
- difference
- current frame
- partial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、フレーム毎に画像データが符号化された符号化画像データを復号する画像復号化装置及び方法、並びに画像復号化装置を実現するためのコンピュータプログラムに関する。 The present invention relates to an image decoding apparatus and method for decoding encoded image data obtained by encoding image data for each frame, and a computer program for realizing the image decoding apparatus.
画像データ（より具体的には、動画像データ）のデータサイズを圧縮するための技術の一つにＭＰＥＧ（Moving Picture coding Expert Group）技術がある。ＭＰＥＧ技術では、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）等を利用した画面内（空間的）相関関係を利用したデータ圧縮と、フレーム間予測を行う動き補償（ＭＣ：Motion Compensation）等を利用した画面間（時間的）相関関係を利用したデータ圧縮とを組み合わせることで、画質の劣化を抑制しつつも、画像データのデータサイズを圧縮することができる。 One of the techniques for compressing the data size of image data (more specifically, moving picture data) is a moving picture coding expert group (MPEG) technique. In MPEG technology, data compression using in-screen (spatial) correlation using DCT (Discrete Cosine Transform), etc., motion compensation (MC: Motion Compensation) that performs inter-frame prediction, etc. are used. By combining data compression using inter-screen (temporal) correlation, it is possible to compress the data size of image data while suppressing deterioration in image quality.
ここで、画像データを圧縮する符号化の際に、画像品質（特に、シーンチェンジが行われる画像以外の画像品質）を劣化させないために、特許文献１には、符号化する画像データのピクチャタイプを判定し、Ｉピクチャであるときは画像データの輝度差分合計値を算出し、記憶していた直前のＩピクチャ又はＰピクチャの輝度差分合計値と置き換え記憶し、Ｐピクチャであるときは画像データの輝度差分合計値を算出し、記憶していた直前のＩピクチャ又はＰピクチャの輝度差分合計値との差分からシーンチェンジを検出し、シーンチェンジ後最初に表示されるＰピクチャの符号化ビット割り当て量を増やす技術が開示されている。
Here, in order to prevent image quality (particularly, image quality other than an image subjected to a scene change) from being deteriorated during encoding for compressing image data,
他方、圧縮された画像データを復号する際に、シーンチェンジが検出された場合に補間処理を行うことで、画像データ中に含まれるエラーブロックについてのエラー補間処理を行う技術が、本願発明者等によって開発されている。 On the other hand, when decoding compressed image data, a technique for performing error interpolation processing on error blocks included in image data by performing interpolation processing when a scene change is detected is disclosed by the present inventors. Developed by.
上述したシーンチェンジを検出する手法では、Ｐピクチャの全体の輝度差分値と、その一つ前にあるＩピクチャ又はＰピクチャ全体の輝度差分値とを比較している。ここで、画像データを復号する際には、圧縮された画像データが復号器に伝送される途中で、一部のデータ（例えば、一部のマクロブロック）が欠落してしまうおそれがある。この場合、一部のデータが欠落したＰピクチャの全体の輝度差分値と、その一つ前にあるＩピクチャ又はＰピクチャ全体の輝度差分値とが比較される。このため、欠落したデータの内容・サイズ等によっては、本来シーンチェンジではない場面で、シーンチェンジが誤検出されてしまいかねない。 In the above-described method of detecting a scene change, the luminance difference value of the entire P picture is compared with the luminance difference value of the entire previous I picture or P picture. Here, when decoding image data, some data (for example, some macroblocks) may be lost while the compressed image data is transmitted to the decoder. In this case, the brightness difference value of the entire P picture from which some data is missing is compared with the brightness difference value of the entire previous I picture or P picture. For this reason, depending on the content, size, etc. of the missing data, a scene change may be erroneously detected in a scene that is not a scene change.
同様に、画像データ中には、画面中における位置及びその輝度が一定期間（例えば、数秒間、数十秒間或いは数分間）固定されている部分画像が含まれていることがある。例えば、地上波デジタル放送であれば、画面の両端を黒く塗りつぶすための部分画像が含まれた画像データが放送されている。或いは、例えばニュース番組等において、文字スーパーの如く表示される時刻表示や番組名やロゴ等の部分映像が含まれた画像データが放送されている。この部分映像については、輝度が一定期間固定されているため、部分映像以外の映像がシーンチェンジしている場合であっても、Ｐピクチャの全体の輝度差分値と、その一つ前にあるＩピクチャ又はＰピクチャ全体の輝度差分値とが、大きく異ならない状況が発生し得る。このため、部分映像の内容・大きさ等によっては、本来シーンチェンジが発生している場面で、シーンチェンジが検出されない状況が発生し得る。 Similarly, the image data may include a partial image whose position on the screen and its luminance are fixed for a certain period (for example, several seconds, several tens of seconds, or several minutes). For example, in the case of terrestrial digital broadcasting, image data including partial images for painting both ends of the screen in black is broadcast. Alternatively, for example, in a news program, image data including a time display that is displayed like a character supermarket or a partial video such as a program name or a logo is broadcast. Since the luminance of this partial video is fixed for a certain period, even if the video other than the partial video has undergone a scene change, the luminance difference value of the entire P picture and the preceding I A situation may occur in which the luminance difference value of the entire picture or P picture is not significantly different. For this reason, depending on the content and size of the partial video, a situation in which a scene change is not detected can occur in a scene where a scene change has occurred.
本発明は、例えば上述した従来の問題点に鑑みなされたものであり、例えばシーンチェンジを効率的に検出しながら補間処理を施す画像復号化装置及び方法、並びにコンピュータをこのような画像復号化装置として機能させるためのコンピュータプログラムを提供することを課題とする。 The present invention has been made in view of, for example, the above-described conventional problems. For example, an image decoding apparatus and method for performing an interpolation process while efficiently detecting a scene change, and a computer using such an image decoding apparatus. It is an object of the present invention to provide a computer program that functions as a computer program.
上記課題を解決するために、請求項１に記載の画像復号化装置は、フレーム毎に画像データが符号化された符号化画像データを復号する画像復号化装置であって、フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成手段と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定手段と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定手段と、前記現フレームにおける前記画像データに対して、前記第１判定手段及び前記第２判定手段の夫々による判定結果に応じた補間処理であって且つ画像データ中のエラーブロックについてのエラーを補間する補間処理を施す補間手段とを備え、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して前記現フレームにおける前記画像データを用いて補間処理を施し、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でないと判定された場合、前記現フレームにおける前記部分画像データに対して前記前フレームにおける前記画像データを用いて補間処理を施し、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でなく前記第２差分が前記閾値以上であると判定された場合、前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、前記現フレームにおける前記画像データを用いて補間処理を施す。
In order to solve the above-described problem, an image decoding device according to
上記課題を解決するために、請求項４に記載の画像復号化方法は、フレーム毎に画像データが符号化された符号化画像データを復号する復号化方法であって、フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成工程と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定工程と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定工程と、前記現フレームにおける前記画像データに対して、前記第１判定工程及び前記第２判定工程の夫々による判定結果に応じた補間処理であって且つ画像データ中のエラーブロックについてのエラーを補間する補間処理を施す補間工程とを備え、前記補間工程は、前記第１判定工程により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定工程により前記第１差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して前記現フレームにおける前記画像データを用いて補間処理を施し、前記補間工程は、前記第１判定工程により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定工程により前記第１差分が前記閾値以上でないと判定された場合、前記現フレームにおける前記部分画像データに対して前記前フレームにおける前記画像データを用いて補間処理を施し、前記補間工程は、前記第１判定工程により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定工程により前記第１差分が前記閾値以上でなく前記第２差分が前記閾値以上であると判定された場合、前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、前記現フレームにおける前記画像データを用いて補間処理を施す。
In order to solve the above problem, an image decoding method according to claim 4 is a decoding method for decoding encoded image data in which image data is encoded for each frame, wherein the code is encoded for each frame. Generating the image data by decoding the converted image data, and partial image data included in the image data and having a fixed position and brightness in the frame for at least a fixed period of time. A first determination step of determining whether or not the image is included in a previous frame located in front; and a difference between a luminance value of the partial image data in the previous frame and a luminance value of the partial image data in the current frame A luminance value of a part of the image data excluding the first difference and the partial image data in the previous frame, and the partial image data in the current frame. A second determination step of determining whether or not at least one of the second differences, which is a difference from a part of the luminance values of the image data, is equal to or greater than a predetermined threshold, and for the image data in the current frame An interpolation process according to a determination result by each of the first determination process and the second determination process, and performing an interpolation process for interpolating an error for an error block in the image data , In the interpolation step, when the first determination step determines that the partial image data is included in the previous frame, and the second determination step determines that the first difference is greater than or equal to the threshold value. An interpolation process is performed on the entire image data of the current frame by using the image data in the current frame, and the interpolation step includes the first determination step and the part When it is determined that the image data is included in the previous frame, and the second determination step determines that the first difference is not equal to or greater than the threshold, the partial image data in the current frame is Interpolation processing is performed using the image data in the previous frame, and the interpolation step is determined by the first determination step that the partial image data is included in the previous frame, and the second determination step When it is determined that the first difference is not equal to or greater than the threshold and the second difference is equal to or greater than the threshold, a part of the image data excluding the partial image data in the current frame is Interpolation processing is performed using the image data .
上記課題を解決するために、請求項５に記載のコンピュータプログラムによれば、コンピュータを、フレーム毎に画像データが符号化された符号化画像データを、フレーム毎に復号することで前記画像データを生成する生成手段と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定手段と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定手段と、前記現フレームにおける前記画像データに対して、前記第１判定手段及び前記第２判定手段の夫々による判定結果に応じた補間処理であって且つ画像データ中のエラーブロックについてのエラーを補間する補間処理を施す補間手段として機能させ、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して前記現フレームにおける前記画像データを用いて補間処理を施し、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でないと判定された場合、前記現フレームにおける前記部分画像データに対して前記前フレームにおける前記画像データを用いて補間処理を施し、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でなく前記第２差分が前記閾値以上であると判定された場合、前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、前記現フレームにおける前記画像データを用いて補間処理を施す。 In order to solve the above problems, according to a computer program according to claim 5, the computer, the coded image data which the image data is encoded for each frame, the image data by decoding for each frame Generation means for generating and partial image data included in the image data and having a fixed position and brightness in the frame for at least a fixed period are included in the previous frame located before the current frame First determination means for determining whether or not, a first difference which is a difference between a luminance value of the partial image data in the previous frame and a luminance value of the partial image data in the current frame, and the partial image in the previous frame The luminance value of a part of the image data excluding data and the image data excluding the partial image data in the current frame Second determination means for determining whether or not at least one of the second differences, which is a difference from the luminance value of the portion, is greater than or equal to a predetermined threshold, and the first determination for the image data in the current frame And an interpolation process for performing an interpolation process for interpolating an error for an error block in the image data , according to a determination result by each of the first determination unit and the second determination unit . When it is determined that the partial image data is included in the previous frame by one determination unit, and the first difference is determined to be greater than or equal to the threshold value by the second determination unit, the current frame Interpolation processing is performed on the entire image data using the image data in the current frame, and the interpolation means determines that the partial image data is received by the first determination means. When it is determined that the frame is included in the previous frame and the second determination unit determines that the first difference is not equal to or greater than the threshold, the partial image data in the current frame Interpolation processing is performed using the image data, and the interpolation means determines that the partial image data is included in the previous frame by the first determination means and the first determination means by the first determination means. When it is determined that the difference is not equal to or greater than the threshold and the second difference is equal to or greater than the threshold, the image data in the current frame with respect to a part of the image data excluding the partial image data in the current frame Is used to perform interpolation processing .
本発明の作用及び他の利得は、次に説明する実施の形態から明らかにされよう。 The operation and other advantages of the present invention will become apparent from the embodiments described below.
以下、発明を実施するための最良の形態として、本発明の画像復号化装置及び方法、並びにコンピュータプログラムに係る実施形態の説明を進める。 Hereinafter, as the best mode for carrying out the invention, description will be given of an embodiment according to an image decoding apparatus and method and a computer program of the present invention.
（画像復号化装置の実施形態）
本発明の画像復号化装置に係る実施形態は、フレーム毎に画像データが符号化された符号化画像データを復号する画像復号化装置であって、フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成手段と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定手段と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定手段と、前記現フレームにおける前記画像データに対して、前記第１判定手段及び前記第２判定手段の夫々による判定結果に応じた補間処理を施す補間手段とを備える。
(Embodiment of Image Decoding Device)
An embodiment according to an image decoding apparatus of the present invention is an image decoding apparatus that decodes encoded image data obtained by encoding image data for each frame, and decodes the encoded image data for each frame. A generating unit for generating the image data, and a previous frame in which the partial image data included in the image data and whose position and brightness in the frame are fixed for at least a fixed period are positioned before the current frame. First determination means for determining whether or not the image is included, a first difference which is a difference between a luminance value of the partial image data in the previous frame and a luminance value of the partial image data in the current frame; A luminance value of a part of the image data excluding the partial image data in the previous frame and the image data excluding the partial image data in the current frame. At least one of the second difference is a difference between a portion of the luminance values of a second determining means for determining whether a predetermined threshold value or more, with respect to the image data in the current frame, the second Interpolation means for performing an interpolation process according to the determination results of the first determination means and the second determination means.
本発明の画像復号化装置に係る実施形態によれば、フレーム毎に画像データが符号化された符号化画像データが復号される。これにより、画像データをディスプレイ等に画像として表示することができる。 According to the embodiment of the image decoding apparatus of the present invention, encoded image data obtained by encoding image data for each frame is decoded. Thereby, the image data can be displayed as an image on a display or the like.
具体的には、生成手段の動作により、符号化画像データが復号される。この結果、画像データが生成される。 Specifically, the encoded image data is decoded by the operation of the generation unit. As a result, image data is generated.
このとき、第１判定手段の動作により、画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かが判定される。部分画像データは、画像データの一部であって、画像データ中に含まれている。部分画像データは、部分画像データにより示される部分画像の、フレーム中における位置（具体的には、例えばディスプレイの表示面上における表示位置）や輝度が、少なくとも一定期間（例えば、数秒、数十秒、数分間或いはそれ以上）固定されている又は一定である。この部分画像データが、現在補間処理の対象となっている現フレームの一つ前に位置するフレームである前フレームに含まれているか否かが判定される。 At this time, due to the operation of the first determination means, the partial image data included in the image data and having a fixed position and brightness in the frame for at least a fixed period is included in the previous frame located before the current frame. It is determined whether it is included. The partial image data is a part of the image data and is included in the image data. In the partial image data, the position of the partial image indicated by the partial image data in the frame (specifically, for example, the display position on the display surface of the display) or the brightness is at least a certain period (for example, several seconds or several tens of seconds). A few minutes or more) fixed or constant. It is determined whether or not this partial image data is included in a previous frame that is a frame positioned immediately before the current frame that is currently subject to interpolation processing.
加えて、第２判定手段の動作により、前フレームにおける部分画像データの輝度値と現フレームにおける部分画像データの輝度値との差分である第１差分が所定の閾値以上であるか否かが判定される。更に、第２判定手段の動作により、前フレームにおける部分画像データを除く画像データの一部の輝度値と現フレームにおける部分画像データを除く画像データの一部の輝度値との差分である第２差分が所定の閾値以上であるか否かが判定される。これにより、第１差分が所定の閾値以上であれば、部分画像データにシーンチェンジが生じていることを認識することができる。同様に、第２差分が所定の閾値以上であれば、部分画像データ以外の画像データの一部にシーンチェンジが生じていることを認識することができる。 In addition, it is determined whether or not the first difference, which is the difference between the luminance value of the partial image data in the previous frame and the luminance value of the partial image data in the current frame, is greater than or equal to a predetermined threshold by the operation of the second determination means. Is done. Further, by the operation of the second determination means, a second difference which is a difference between a luminance value of a part of the image data excluding the partial image data in the previous frame and a luminance value of a part of the image data excluding the partial image data in the current frame. It is determined whether the difference is greater than or equal to a predetermined threshold. Thus, if the first difference is equal to or greater than a predetermined threshold, it can be recognized that a scene change has occurred in the partial image data. Similarly, if the second difference is equal to or greater than a predetermined threshold, it can be recognized that a scene change has occurred in a part of the image data other than the partial image data.
そして、補間手段の動作により、第１判定手段及び第２判定手段の夫々の判定結果に応じて、現フレームにおける画像データの全体に対して、現フレームにおける画像データを用いて補間処理（つまり、フレーム内補間処理）が施されたり、現フレームにおける部分画像データを除く画像データの一部に対して、現フレームにおける部分画像データを除く画像データの一部を用いて補間処理（つまり、フレーム内補間処理）が施されたり、又は現フレームにおける画像データに対して補間処理が施されない。この結果、復号された画像データに対して補間処理が行われることで、画像データに含まれるエラーを補正することができる。 Then, by the operation of the interpolation means, the entire image data in the current frame is subjected to interpolation processing using the image data in the current frame according to the respective determination results of the first determination means and the second determination means (that is, Interpolation processing (that is, intra-frame interpolation processing) using a part of the image data excluding the partial image data in the current frame for a part of the image data excluding the partial image data in the current frame Interpolation processing) or no interpolation processing is performed on the image data in the current frame. As a result, an interpolation process is performed on the decoded image data, whereby an error included in the image data can be corrected.
このように、本実施形態に係る画像復号化装置によれば、シーンチェンジが生じているか否かに応じて、補間処理を行う対象を変えることができる。 As described above, according to the image decoding apparatus according to the present embodiment, it is possible to change the target to be subjected to the interpolation processing depending on whether or not a scene change has occurred.
ここで、部分画像データが含まれている画像データの全体における輝度値の差分を算出した場合には、部分画像データの位置及び輝度が固定的であることに起因して、差分が本来の値よりも小さくなりかねない。これは、シーンチェンジの誤検出にもつながるため、好ましいとは言えない。しかるに、本実施形態に係る画像復号化装置によれば、画像データを、部分画像データとそれ以外の画像データの一部とに分離して、輝度値の差分を算出することができる。つまり、部分画像データ及び該部分画像データを除く画像データの一部のいずれにシーンチェンジが生じているかを好適に認識することができる。 Here, when the difference of the luminance value in the entire image data including the partial image data is calculated, the difference is the original value because the position and luminance of the partial image data are fixed. It can be smaller. This leads to erroneous detection of a scene change and is not preferable. However, according to the image decoding apparatus according to the present embodiment, the difference between the luminance values can be calculated by separating the image data into partial image data and a part of other image data. That is, it is possible to preferably recognize which of the partial image data and a part of the image data excluding the partial image data has a scene change.
そして、部分画像データとそれ以外の画像データの一部とに分離して輝度値の差分を算出しているため、差分の算出（言い換えれば、シーンチェンジの検出）に対する処理負荷を低減することができる。 Since the difference between the brightness values is calculated separately for the partial image data and a part of the other image data, the processing load for the difference calculation (in other words, the detection of the scene change) can be reduced. it can.
本発明の画像復号化装置に係る実施形態の他の態様は、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して補間処理を施す。 In another aspect of the embodiment of the image decoding apparatus of the present invention, the interpolation means determines that the partial image data is included in the previous frame by the first determination means, and the second When the determination means determines that the first difference is greater than or equal to the threshold, interpolation processing is performed on the entire image data of the current frame.
この態様によれば、部分画像データにおけるシーンチェンジを検出することで、画像データの全体におけるシーンチェンジを検出することができる。つまり、本来位置や輝度が固定的である部分画像データにシーンチェンジが生じていれば、画像データの全体にもシーンチェンジが生じていると認識することができる。これにより、画像データの全体の輝度差分を算出することなく、画像データ全体のシーンチェンジを検出することができる。これにより、シーンチェンジを効率的に検出しつつ、補間処理を施すことができる。 According to this aspect, it is possible to detect a scene change in the entire image data by detecting a scene change in the partial image data. In other words, if a scene change has occurred in partial image data that originally has a fixed position and brightness, it can be recognized that a scene change has also occurred in the entire image data. Thereby, the scene change of the whole image data can be detected without calculating the luminance difference of the whole image data. As a result, the interpolation process can be performed while efficiently detecting the scene change.
本発明の画像復号化装置に係る実施形態の他の態様は、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でなく前記第２差分が前記閾値以上であると判定された場合、前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して補間処理を施す。 In another aspect of the embodiment of the image decoding apparatus of the present invention, the interpolation means determines that the partial image data is included in the previous frame by the first determination means, and the second When the determination unit determines that the first difference is not equal to or greater than the threshold value and the second difference is equal to or greater than the threshold value, an interpolation process is performed on a part of the image data excluding the partial image data in the current frame. Apply.
この態様によれば、部分画像データにシーンチェンジが生じていない場合には、該部分画像データを除く画像データの一部における差分を算出することで、該部分画像データを除く画像データの一部におけるシーンチェンジを検出することができる。これにより、画像データの全体の輝度差分を算出することなく、画像データの一部のシーンチェンジを検出することができる。これにより、シーンチェンジを効率的に検出しつつ、補間処理を施すことができる。 According to this aspect, when a scene change has not occurred in the partial image data, a part of the image data excluding the partial image data is calculated by calculating a difference in a part of the image data excluding the partial image data. Can detect a scene change. Thereby, a scene change of a part of the image data can be detected without calculating the overall luminance difference of the image data. As a result, the interpolation process can be performed while efficiently detecting the scene change.
この態様では、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でなく前記第２差分が前記閾値以上であると判定された場合、前記現フレームにおける前記部分画像データに対して、前記前フレームにおける前記部分画像データを用いて補間処理を施すように構成してもよい。 In this aspect, the interpolation means determines that the partial image data is included in the previous frame by the first determination means, and the first difference is not greater than or equal to the threshold value by the second determination means. When it is determined that the second difference is equal to or greater than the threshold value, an interpolation process may be performed on the partial image data in the current frame using the partial image data in the previous frame. .
このように構成すれば、シーンチェンジが生じていない部分画像データに対してはフレーム間補間処理が行われる。これにより、シーンチェンジを効率的に検出しつつ、補間処理を施すことができる。 With this configuration, inter-frame interpolation processing is performed on partial image data in which no scene change has occurred. As a result, the interpolation process can be performed while efficiently detecting the scene change.
本発明の画像復号化装置に係る実施形態の他の態様は、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分及び前記第２差分の夫々が前記閾値以上でないと判定された場合、前記現フレームにおける前記画像データに対して補間処理を施さない。 In another aspect of the embodiment of the image decoding apparatus of the present invention, the interpolation means determines that the partial image data is included in the previous frame by the first determination means, and the second When it is determined by the determination means that each of the first difference and the second difference is not equal to or greater than the threshold, no interpolation processing is performed on the image data in the current frame.
この態様によれば、シーンチェンジが発生していない場合には補間処理を施さない。これにより、画像復号化装置に不必要な動作を行わせることがなくなる。 According to this aspect, no interpolation processing is performed when no scene change has occurred. This prevents unnecessary operations from being performed by the image decoding apparatus.
本発明の画像復号化装置に係る実施形態の他の態様は、前記第２判定手段は、前記前フレームにおける前記画像データの輝度値と前記現フレームにおける前記画像データの輝度値との差分である第３差分が、前記閾値以上であるか否かを更に判定し、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていないと判定され、且つ前記第２判定手段により前記第３差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して補間処理を施す。 In another aspect of the embodiment of the image decoding apparatus of the present invention, the second determination means is a difference between a luminance value of the image data in the previous frame and a luminance value of the image data in the current frame. It is further determined whether or not a third difference is greater than or equal to the threshold, and the interpolation means determines that the partial image data is not included in the previous frame by the first determination means, and the first difference 2 When the determination unit determines that the third difference is greater than or equal to the threshold value, interpolation processing is performed on the entire image data of the current frame.
この態様によれば、部分画像データを画像データが含んでいない場合には、画像データの全体における差分が算出される。従って、シーンチェンジを効率的に検出しつつ、補間処理を施すことができる。 According to this aspect, when the image data does not include the partial image data, the difference in the entire image data is calculated. Therefore, interpolation processing can be performed while efficiently detecting scene changes.
本発明の画像復号化装置に係る実施形態の他の態様は、前記第２判定手段は、前記前フレームにおける前記画像データの輝度値と前記現フレームにおける前記画像データの輝度値との差分である第３差分が、前記閾値以上であるか否かを更に判定し、前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていないと判定され、且つ前記第２判定手段により前記第３差分が前記閾値以上でないと判定された場合、前記現フレームにおける前記画像データに対して補間処理を施さない。 In another aspect of the embodiment of the image decoding apparatus of the present invention, the second determination means is a difference between a luminance value of the image data in the previous frame and a luminance value of the image data in the current frame. It is further determined whether or not a third difference is greater than or equal to the threshold, and the interpolation means determines that the partial image data is not included in the previous frame by the first determination means, and the first difference 2 When the determination unit determines that the third difference is not greater than or equal to the threshold value, no interpolation processing is performed on the image data in the current frame.
この態様によれば、シーンチェンジが発生していない場合には補間処理を施さない。これにより、画像復号化装置に不必要な動作を行わせることがなくなる。 According to this aspect, no interpolation processing is performed when no scene change has occurred. This prevents unnecessary operations from being performed by the image decoding apparatus.
本発明の画像復号化装置に係る実施形態の他の態様は、前記部分画像データは、フレームの端部に位置する画像を示す。 In another aspect of the embodiment of the image decoding apparatus of the present invention, the partial image data indicates an image located at an end of a frame.
この態様によれば、例えば後述するサイドパネルを示す部分画像データを含む画像データに対して、シーンチェンジを効率的に検出しつつ、補間処理を施すことができる。 According to this aspect, for example, interpolation processing can be performed on image data including partial image data indicating a side panel described later while efficiently detecting a scene change.
（画像復号化方法の実施形態）
本発明の画像復号化方法に係る実施形態は、フレーム毎に画像データが符号化された符号化画像データを復号する復号化方法であって、フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成工程と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定工程と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定工程と、前記第１判定工程及び前記第２判定工程の夫々による判定結果に応じて、(i)前記現フレームにおける前記画像データの全体に対して、該現フレームにおける前記画像データを用いて補間処理を施す、(ii)前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、該現フレームにおける前記部分画像データを除く前記画像データの一部を用いて補間処理を施す、又は(iii)前記現フレームにおける前記画像データに対して補間処理を施さない補間工程とを備える。
(Embodiment of Image Decoding Method)
An embodiment according to an image decoding method of the present invention is a decoding method for decoding encoded image data in which image data is encoded for each frame, wherein the encoded image data is decoded for each frame. A generating step for generating the image data in a previous frame in which the partial image data included in the image data and whose position and brightness in the frame are fixed for at least a fixed period are positioned before the current frame; A first determination step for determining whether or not the image is included in the first frame, a first difference that is a difference between a luminance value of the partial image data in the previous frame and a luminance value of the partial image data in the current frame, and the previous The luminance value of a part of the image data excluding the partial image data in the frame and the image data excluding the partial image data in the current frame A second determination step of determining whether at least one of the second differences, which is a difference from the luminance value of the unit, is equal to or greater than a predetermined threshold, and a determination by each of the first determination step and the second determination step Depending on the result, (i) performing an interpolation process on the entire image data in the current frame using the image data in the current frame, (ii) excluding the partial image data in the current frame An interpolation process is performed on a part of the image data using a part of the image data excluding the partial image data in the current frame, or (iii) an interpolation process is performed on the image data in the current frame. An interpolation step that is not applied.
本発明の画像復号化方法に係る実施形態によれば、上述した本発明の画像復号化装置に係る実施形態が有する利益と同様の利益を享受することができる。 According to the embodiment relating to the image decoding method of the present invention, it is possible to receive the same benefits as the benefits of the above-described embodiment according to the image decoding device of the present invention.
尚、上述した本発明の画像復号化装置に係る実施形態における各種態様に対応して、本発明の画像復号化方法に係る実施形態も各種態様を採ることが可能である。 Incidentally, in response to the various aspects of the embodiment of the image decoding apparatus of the present invention described above, the embodiment of the image decoding method of the present invention can also adopt various aspects.
（コンピュータプログラムの実施形態）
本発明のコンピュータプログラムに係る実施形態は、フレーム毎に画像データが符号化された符号化画像データを復号する画像復号化装置であって、フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成手段と、前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定手段と、前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定手段と、前記第１判定手段及び前記第２判定手段の夫々による判定結果に応じて、(i)前記現フレームにおける前記画像データの全体に対して、該現フレームにおける前記画像データを用いて補間処理を施す、(ii)前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、該現フレームにおける前記部分画像データを除く前記画像データの一部を用いて補間処理を施す、又は(iii)前記現フレームにおける前記画像データに対して補間処理を施さない補間手段とを備える画像復号化装置（即ち、上述した本発明の画像復号化装置に係る実施形態）に備えられたコンピュータを制御するコンピュータプログラムであって、前記コンピュータを、前記生成手段、前記第１判定手段、前記第２判定手段、前記補間手段及び前記制御手段のうち少なくとも一部として機能させる。
(Embodiment of computer program)
An embodiment according to the computer program of the present invention is an image decoding device that decodes encoded image data in which image data is encoded for each frame, by decoding the encoded image data for each frame. Generation means for generating the image data, and partial image data that is included in the image data and whose position and brightness in the frame are fixed for at least a fixed period are included in a previous frame located before the current frame; First determination means for determining whether or not the image is included; a first difference that is a difference between a luminance value of the partial image data in the previous frame and a luminance value of the partial image data in the current frame; and the previous frame The brightness value of a part of the image data excluding the partial image data and the partial image data in the current frame are excluded. Second determination means for determining whether at least one of the second differences, which is a difference from a part of luminance values of the image data, is equal to or greater than a predetermined threshold; the first determination means; and the second determination means (I) performing an interpolation process on the entire image data in the current frame using the image data in the current frame, and (ii) the partial image in the current frame. An interpolation process is performed on a part of the image data excluding data using a part of the image data excluding the partial image data in the current frame, or (iii) the image data in the current frame And a computer program for controlling a computer provided in an image decoding apparatus (that is, an embodiment according to the above-described image decoding apparatus of the present invention) provided with an interpolating means that does not perform interpolation processing. A gram, said computer, said generating means, said first determination means, said second determination means, to function as at least one portion of said interpolation means and said control means.
本発明のコンピュータプログラムに係る実施形態によれば、当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明の画像復号化装置に係る実施形態を比較的簡単に実現できる。 According to the embodiment of the computer program of the present invention, if the computer program is read from a recording medium such as a ROM, a CD-ROM, a DVD-ROM, and a hard disk that stores the computer program and executed by the computer, or If the computer program is downloaded to a computer via communication means and then executed, the above-described embodiment of the image decoding apparatus of the present invention can be realized relatively easily.
尚、上述した本発明の画像復号化装置に係る実施形態における各種態様に対応して、本発明のコンピュータプログラムに係る実施形態も各種態様を採ることが可能である。 Incidentally, in response to the various aspects of the embodiment of the image decoding apparatus of the present invention described above, the embodiment of the computer program of the present invention can also adopt various aspects.
本実施形態のこのような作用及び他の利得は次に説明する実施例から更に明らかにされよう。 Such an operation and other advantages of the present embodiment will be further clarified from examples described below.
以上説明したように、本発明の画像復号化装置に係る実施形態によれば、生成手段と、第１判定手段と、第２判定手段と、補間手段とを備える。本発明の画像復号化方法に係る実施形態によれば、生成工程と、第１判定工程と、第２判定工程と、補間工程とを備える。本発明のコンピュータプログラムに係る実施形態によれば、コンピュータを本発明の画像復号化装置に係る実施形態として機能させる。従って、シーンチェンジを効率的に検出しながら、補間処理を施すことができる。 As described above, according to the embodiment of the image decoding apparatus of the present invention, the generation unit, the first determination unit, the second determination unit, and the interpolation unit are provided. According to the embodiment of the image decoding method of the present invention, the image decoding method includes a generation step, a first determination step, a second determination step, and an interpolation step. According to the embodiment of the computer program of the present invention, the computer is caused to function as the embodiment of the image decoding device of the present invention. Therefore, interpolation processing can be performed while efficiently detecting scene changes.
以下、本発明の実施例を図面に基づいて説明する。 Embodiments of the present invention will be described below with reference to the drawings.
（１） 基本構成
初めに、図１を参照して、本実施例に係る画像復号化装置１の基本構成について説明する。ここに、図１は、本実施例に係る画像復号化装置１の基本構成を概念的に示すブロック図である。
(1) Basic Configuration First, the basic configuration of the
図１に示すように、本実施例に係る画像復号化装置１は、復号部１１と、エラー検出部１２と、判定部１３と、補間処理部１４と、画像データ出力選択部１５とを備えている。
As shown in FIG. 1, the
復号部１１は、本発明における「生成手段」の一具体例を構成しており、例えば放送回線を介して、有線又は無線の各種通信回線を介して、或いは光ディスク等の情報記録媒体を介して画像復号化装置１に入力される符号化画像データの復号処理をフレーム毎に行う。画像データの符号化方式は、１フレームを複数のマクロブロックに分割して夫々のマクロブロック毎に符号化を行い、且つ時間的に近傍のフレーム間で動き補償予測をマクロブロック毎に行う符号化方式（例えば、ＭＰＥＧや、Ｈ．２６１や、ベクトル量子化等）が一具体例として挙げられる。
The
復号部１１は、復号された画像データを、判定部１３及び画像データ出力選択部１５の夫々へ出力する。また、復号部１１は、必要に応じて（具体的には、画像データに対して補間処理を行う必要がある場合には）、復号された画像データを、補間処理部１４へ出力する。
The
更に、復号部１１は、エラー解析用符号化データをエラー検出部１２へ出力する。エラー解析用符号化データは、符号化画像データのヘッダーデータであってもよいし、符号化画像データ自体であってもよい。
Further, the
エラー検出部１２は、復号部１１から出力されるエラー解析用符号化データに基づいて、復号部１１において復号されているマクロブロックにエラーが生じているか否かを検出する。具体的には、例えば、規格書で規定されているシンタックスとの不一致が生じているか、或いは規定された可変長符号語には存在しない符号語が存在しているかに応じて、エラーが生じているか否かが検出される。エラーが検出された場合には、エラー検出部１２は、エラー信号を復号部１１及び判定部１３へ出力する。
Based on the error analysis encoded data output from the
判定部１３は、本発明における「第１判定手段」及び「第２判定手段」の一具体例を構成しており、画像データが示す画像に、該画像の一部として、サイドパネルが含まれているか否か（具体的には、画像データに、該画像データの一部として、サイドパネルを示す部分画像データが含まれているか否か）を判定する。加えて、判定部１３は、サイドパネルにシーンチェンジが生じているか否か及びサイドパネルを除く画像の一部にシーンチェンジが生じているか否か、更にはこれに加えて画像全体にシーンチェンジが生じているか否かを判定する。
The
シーンチェンジの判定は、前フレームにおけるサイドパネル又はサイドパネルを除く画像の一部の輝度値（具体的には、輝度信号のＤＣ成分の平均値）と、現フレームにおけるサイドパネル又はサイドパネルを除く画像の一部の輝度値との差分が、所定の閾値以上であるか否かによる。前フレームにおけるサイドパネル又はサイドパネルを除く画像の一部の輝度値と、現フレームにおけるサイドパネル又はサイドパネルを除く画像の一部の輝度値との差分が、所定の閾値以上であれば、現フレームにおけるサイドパネル又はサイドパネルを除く画像の一部にシーンチェンジが生じていると判定される。他方、前フレームにおけるサイドパネル又はサイドパネルを除く画像の一部の輝度値と、現フレームにおけるサイドパネル又はサイドパネルを除く画像の一部の輝度値との差分が、所定の閾値以上でなければ、現フレームにおけるサイドパネル又はサイドパネルを除く画像の一部にシーンチェンジが生じていないと判定される。 Scene change is determined by excluding the side panel or the luminance value of a part of the image excluding the side panel in the previous frame (specifically, the average value of the DC component of the luminance signal) and the side panel or side panel in the current frame. It depends on whether or not a difference from a luminance value of a part of the image is a predetermined threshold value or more. If the difference between the luminance value of a part of the image excluding the side panel or side panel in the previous frame and the luminance value of a part of the image excluding the side panel or side panel in the current frame is equal to or greater than a predetermined threshold, It is determined that a scene change has occurred in a part of the image excluding the side panel or the side panel in the frame. On the other hand, the difference between the luminance value of a part of the image excluding the side panel or the side panel in the previous frame and the luminance value of a part of the image excluding the side panel or the side panel in the current frame is not greater than or equal to a predetermined threshold value. It is determined that no scene change has occurred in a part of the image excluding the side panel or the side panel in the current frame.
このため、シーンチェンジの判定の際に用いられる所定の閾値は、シーンチェンジを検出することができるように、好適な値が設定されることが好ましい。具体的には、この閾値の値は、例えばシーンチェンジの際に想定される差分に応じて、実験的、経験的、数学的又は理論的に、若しくはシミュレーション等を用いて個別具体的に、より適切な所定の値を指定することが好ましい。例えば、複数種類の動画から実際にシーンチェンジが生じている箇所を抽出すると共に、抽出された箇所における画像の輝度の変化をサンプリングし、該輝度の変化の平均値等を閾値として設定してもよい。 For this reason, it is preferable that the predetermined threshold value used in the scene change determination is set to a suitable value so that the scene change can be detected. Specifically, the value of this threshold is more specifically determined experimentally, empirically, mathematically or theoretically or individually using simulation or the like depending on the difference assumed at the time of the scene change. It is preferable to specify an appropriate predetermined value. For example, it is possible to extract a part where a scene change has actually occurred from a plurality of types of moving images, sample a change in luminance of an image at the extracted part, and set an average value of the change in luminance as a threshold value. Good.
ここで、サイドパネルについて、図２を参照して説明する。ここに、図２は、画像データが示す画像の一部としてのサイドパネルを概念的に示す平面図である。 Here, the side panel will be described with reference to FIG. FIG. 2 is a plan view conceptually showing the side panel as a part of the image indicated by the image data.
図２に示すように、例えば地上波デジタル放送では、実際の番組（例えば、ニュース番組や、ドラマ番組や、バラエティー番組等）に相当する画像の両端部分に、黒色の画像が表示される。この黒色の画像が、サイドパネルである。このサイドパネルは、画像データ中に、該当する画素に黒表示をするデータ（部分画像データ）が含まれることで、ディスプレイに表示される。言い換えれば、サイドパネルは、画像を表示するディスプレイの機能に関係なく、ディスプレイに入力される画像データに基づいてディスプレイに表示される。サイドパネルは、例えばＨＤ（High Definition）方式の画像であれば、図２の横方向に、夫々１６０画素程度の幅を有している。 As shown in FIG. 2, for example, in terrestrial digital broadcasting, black images are displayed at both ends of an image corresponding to an actual program (for example, a news program, a drama program, a variety program, etc.). This black image is the side panel. The side panel is displayed on the display when the image data includes data (partial image data) for displaying black in the corresponding pixel. In other words, the side panel is displayed on the display based on the image data input to the display regardless of the function of the display that displays the image. For example, in the case of an HD (High Definition) image, the side panel has a width of about 160 pixels in the horizontal direction of FIG.
再び図１において、補間処理部１４は、本発明における「補間手段」の一具体例を構成しており、フレーム毎に（或いは、フレームの一部のマクロブロック毎に）、画像データに対して補間処理を施す。より具体的には、補間処理の対象となっている現フレームを用いて現フレームの補間処理を行うフレーム内補間処理や、補間処理の対象となっている現フレームの一つ前にある前フレームを用いて現フレームの補間処理を行うフレーム間補間処理を施す。
In FIG. 1 again, the
尚、フレーム間補間処理は、必ずしも現フレームの一つ前にある前フレームを用いる必要はなく、例えば現フレームの複数個前にあるフレームを用いてもよいし、或いは現フレームの一つ後ろ又は複数個後ろにあるフレームを用いてもよい。 In the inter-frame interpolation process, it is not always necessary to use the previous frame immediately before the current frame. For example, a frame before a plurality of current frames may be used. Multiple frames behind may be used.
画像データ出力選択部１５は、復号部１１から出力される画像データを画像復号化装置１から外部に出力するか、又は補間処理部１４から出力される画像データ（つまり、補間処理が施された画像データ）を出力するかを適宜選択し、選択された画像データを画像復号化装置１の外部に出力する。
The image data
（２） 動作原理
続いて、図３を参照して、本実施例に係る画像復号化装置１の動作原理について説明する。ここに、図３は、本実施例に係る画像復号化装置１におけるシーンチェンジ検出及び補間処理に関する動作の流れを概念的に示すフローチャートである。
(2) Operation Principle Next, with reference to FIG. 3, the operation principle of the
尚、図３においては、判定部１３におけるシーンチェンジの検出及び補間処理部１４における補間処理に主眼をおいて説明している。このため、符号化画像データの復号等は、図１を参照して説明した態様で行われる。
In FIG. 3, the description is focused on the scene change detection in the
図３に示すように、初めに、判定部１３の動作により、補間処理の対象となっている（言い換えれば、現在復号されている）現フレームの一つ前にある（言い換えれば、現フレームの前に復号された）前フレームにサイドパネルが含まれているか否かが判定される（ステップＳ１１）。
As illustrated in FIG. 3, first, the operation of the
具体的には、例えば、前フレームの更に一つ前にある前々フレームと比較して、所定の領域の輝度が変化していないか及び該輝度が変化しない領域の位置が変化していないか否かに基づいて、前フレームにサイドパネルが含まれているか否かを判定してもよい。例えば、前フレームの更に一つ前にある前々フレームにサイドパネルが含まれている場合、該サイドパネルが占める領域の輝度が前フレームにおいても変化していなければ、前フレームにサイドパネルが含まれていると判定してもよい。他方、例えば、前フレームの更に一つ前にある前々フレームにサイドパネルが含まれている場合、該サイドパネルが占める領域の輝度が前フレームにおいても変化していれば、前フレームにサイドパネルが含まれていないと判定してもよい。 Specifically, for example, whether the brightness of the predetermined area has not changed and the position of the area in which the brightness does not change has changed compared to the previous frame immediately before the previous frame. Based on whether or not, it may be determined whether or not a side panel is included in the front frame. For example, when a side panel is included in the frame immediately before the previous frame, if the brightness of the area occupied by the side panel does not change in the previous frame, the side panel is included in the previous frame. It may be determined that On the other hand, for example, when a side panel is included in the previous frame that is one layer before the previous frame, if the brightness of the area occupied by the side panel is changed in the previous frame, the side panel is displayed in the previous frame. May be determined not to be included.
或いは、例えば、前フレームが現れるまでの一定時間（例えば、２から３秒間、５秒間、数秒間、数十秒間或いは数分間）、所定の領域の輝度が変化していないか及び該輝度が変化しない領域の位置が変化していないか否かに基づいて、前フレームにサイドパネルが含まれているか否かを判定してもよい。例えば、前フレームが現れるまでの一定時間に、フレーム中の所定の領域の輝度が変化しておらず、且つ輝度が変化しない領域の位置も変化しなければ、前フレームにサイドパネルが含まれていると判定してもよい。他方、例えば、前フレームが現れるまでの一定時間に、フレーム中の所定の領域の輝度が変化していれば、又は輝度が変化しない領域が含まれていたとしても該領域の位置が変化していれば、前フレームにサイドパネルが含まれていないと判定してもよい。 Or, for example, a certain time until the previous frame appears (for example, 2 to 3 seconds, 5 seconds, several seconds, several tens of seconds, or several minutes), whether or not the luminance of a predetermined area has changed and the luminance changes It may be determined whether or not a side panel is included in the previous frame based on whether or not the position of the non-performing region has changed. For example, if the brightness of a predetermined area in the frame does not change and the position of the area where the brightness does not change does not change during a certain time until the previous frame appears, a side panel is included in the previous frame. It may be determined that On the other hand, for example, if the brightness of a predetermined area in the frame changes during a certain time until the previous frame appears, or even if an area where the brightness does not change is included, the position of the area has changed. If so, it may be determined that the side frame is not included in the front frame.
或いは、輝度や位置やフレーム中における大きさが一定時間変化しないサイドパネルの性質を考慮して、その位置における輝度が変化していないか否かに基づいて、前フレームにサイドパネルが含まれているか否かを判定してもよい。例えば、上述の如くサイドパネルはフレームの両端に夫々１６０画素の大きさを有していることから、フレーム両端の１６０画素の輝度が変化していなければ、前フレームにサイドパネルが含まれていると判定してもよい。他方、フレーム両端の１６０画素の輝度が変化していれば、前フレームにサイドパネルが含まれていないと判定してもよい。 Alternatively, the side panel is included in the previous frame based on whether or not the brightness at that position has changed, taking into account the nature of the side panel where the brightness, position, and size in the frame do not change for a certain period of time. It may be determined whether or not. For example, since the side panel has a size of 160 pixels at both ends of the frame as described above, if the luminance of 160 pixels at both ends of the frame has not changed, the side panel is included in the previous frame. May be determined. On the other hand, if the luminance of 160 pixels at both ends of the frame is changed, it may be determined that the side panel is not included in the previous frame.
ステップＳ１１における判定の結果、前フレームにサイドパネルが含まれていると判定された場合には（ステップＳ１１：Ｙｅｓ）、続いて、判定部１３の動作により、サイドパネルにシーンチェンジが生じているか否かが判定される（ステップＳ１２）。この判定は、上述したとおり、前フレームにおけるサイドパネルの輝度と現フレームにおけるサイドパネルの輝度（具体的には、前フレームにおいてサイドパネルが占める領域と同じ現フレーム中の領域の輝度）との差分が、所定の閾値以上であるか否かに基づいて行われる。
As a result of the determination in step S11, if it is determined that a side panel is included in the previous frame (step S11: Yes), then, whether or not a scene change has occurred in the side panel due to the operation of the
ステップＳ１２における判定の結果、サイドパネルにシーンチェンジが生じていると判定された場合には（ステップＳ１２：Ｙｅｓ）、サイドパネルの間に表示される画像にも当然シーンチェンジが生じていると判定される。言い換えれば、現フレームの全体にシーンチェンジが生じていると判定される。このため、補間処理部１４の動作により、現フレームにおける画像データが示す画像の全体に対して、フレーム内補間処理が施される（ステップＳ１３）。
As a result of the determination in step S12, if it is determined that a scene change has occurred on the side panel (step S12: Yes), it is naturally determined that a scene change has also occurred in the images displayed between the side panels. Is done. In other words, it is determined that a scene change has occurred in the entire current frame. For this reason, the operation of the
その後、補間処理が施された画像データが、補間処理部１４から画像データ出力選択部１５へ出力され、画像データ出力選択部１５は、補間処理部１４から出力される画像データを、画像復号化装置１の外部に出力する。
Thereafter, the interpolated image data is output from the
他方、ステップＳ１２における判定の結果、サイドパネルにシーンチェンジが生じていないと判定された場合には（ステップＳ１２：Ｎｏ）、続いて、判定部１３の動作により、画像データが示す画像のうちサイドパネルを除く一部の画像にシーンチェンジが生じているか否かが判定される（ステップＳ１４）。この判定は、上述したとおり、前フレームにおける画像データが示す画像のうちサイドパネルを除く一部の画像の輝度と現フレームにおける画像データが示す画像のうちサイドパネルを除く一部の画像の輝度（具体的には、前フレームにおいてサイドパネルを除く一部の画像が占める領域と同じ現フレーム中の領域の輝度）との差分が、所定の閾値以上であるか否かに基づいて行われる。
On the other hand, as a result of the determination in step S12, when it is determined that no scene change has occurred in the side panel (step S12: No), the side of the image indicated by the image data is subsequently operated by the operation of the
ステップＳ１４における判定の結果、画像データが示す画像のうちサイドパネルを除く一部の画像にシーンチェンジが生じていると判定された場合には（ステップＳ１４：Ｙｅｓ）、補間処理部１４の動作により、現フレームにおける画像データが示す画像のうちサイドパネルを除く一部の画像に対して、フレーム内補間処理が施される（ステップＳ１５）。
As a result of the determination in step S14, when it is determined that a scene change has occurred in some of the images indicated by the image data excluding the side panel (step S14: Yes), the operation of the
この際、補間処理部１４の動作により、現フレームにおけるサイドパネルに対しては、フレーム間補間処理が施されることが好ましい。
At this time, it is preferable that inter-frame interpolation processing is performed on the side panel in the current frame by the operation of the
その後、補間処理が施された画像データが、補間処理部１４から画像データ出力選択部１５へ出力され、画像データ出力選択部１５は、補間処理部１４から出力される画像データを、画像復号化装置１の外部に出力する。
Thereafter, the interpolated image data is output from the
他方、ステップＳ１４における判定の結果、画像データが示す画像のうちサイドパネルを除く一部の画像にシーンチェンジが生じていないと判定された場合には（ステップＳ１４：Ｎｏ）、現フレームにおける画像データが示す画像の全体には、シーンチェンジが生じていないと判定される。このため、現フレームにおける画像データが示す画像に対しては、補間処理が施されない。従って、この現フレームに関しては、復号部１１から出力される画像データが画像データ出力選択部１５へ出力され、画像データ出力選択部１５は、復号部１１から出力される画像データを、画像復号化装置１の外部に出力する。
On the other hand, as a result of the determination in step S14, when it is determined that no scene change has occurred in some of the images indicated by the image data except for the side panel (step S14: No), the image data in the current frame It is determined that no scene change has occurred in the entire image indicated by. For this reason, the interpolation process is not performed on the image indicated by the image data in the current frame. Accordingly, with respect to the current frame, the image data output from the
他方、ステップＳ１１における判定の結果、前フレームにサイドパネルが含まれていないと判定された場合には（ステップＳ１１：Ｎｏ）、続いて、判定部１３の動作により、現フレームにおける画像データが示す画像の全体にシーンチェンジが生じているか否かが判定される（ステップＳ１６）。この判定は、上述したとおり、前フレームにおける画像データが示す画像の全体の輝度と現フレームにおける画像データが示す画像の全体の輝度（具体的には、前フレームにおいて画像データが示す画像が占める領域と同じ現フレームにおける領域の輝度）との差分が、所定の閾値以上であるか否かに基づいて行われる。
On the other hand, as a result of the determination in step S11, when it is determined that no side panel is included in the previous frame (step S11: No), the image data in the current frame is then shown by the operation of the
ステップＳ１６における判定の結果、現フレームにおける画像データが示す画像の全体にシーンチェンジが生じていると判定された場合には（ステップＳ１６：Ｙｅｓ）、補間処理部１４の動作により、現フレームにおける画像データが示す画像の全体に対して、フレーム内補間処理が施される（ステップＳ１７）。
As a result of the determination in step S16, if it is determined that a scene change has occurred in the entire image indicated by the image data in the current frame (step S16: Yes), the image in the current frame is operated by the operation of the
その後、補間処理が施された画像データが、補間処理部１４から画像データ出力選択部１５へ出力され、画像データ出力選択部１５は、補間処理部１４から出力される画像データを、画像復号化装置１の外部に出力する。
Thereafter, the interpolated image data is output from the
他方、ステップＳ１６における判定の結果、現フレームにおける画像データが示す画像の全体にシーンチェンジが生じていないと判定された場合には（ステップＳ１６：Ｎｏ）、現フレームにおける画像データが示す画像に対しては、補間処理が施されない。従って、この現フレームに関しては、復号部１１から出力される画像データが画像データ出力選択部１５へ出力され、画像データ出力選択部１５は、復号部１１から出力される画像データを、画像復号化装置１の外部に出力する。
On the other hand, as a result of the determination in step S16, when it is determined that no scene change has occurred in the entire image indicated by the image data in the current frame (step S16: No), the image indicated by the image data in the current frame is determined. Therefore, no interpolation processing is performed. Accordingly, with respect to the current frame, the image data output from the
以上説明したように、本実施例に係る画像復号化装置１によれば、シーンチェンジが生じているか否かに応じて、補間処理を行う対象を変えることができる。
As described above, according to the
ここで、サイドパネルが含まれている画像の全体における輝度値の差分を算出した場合には、サイドパネルの位置及び輝度が固定的であることに起因して、差分が本来の値よりも小さくなりかねない。これは、シーンチェンジの誤検出にもつながるため、好ましいとは言えない。しかるに、本実施例に係る画像復号化装置１によれば、画像データが示す画像を、サイドパネルと該サイドパネルを除く画像の一部とに分離して、輝度値の差分を算出することができる。つまり、サイドパネル及び該サイドパネルを除く画像の一部のいずれにシーンチェンジが生じているかを好適に認識することができる。これにより、シーンチェンジの誤検出を極力減らすことができ、その結果、高い精度でのシーンチェンジ検出を実現することができる。
Here, when the difference in luminance value in the entire image including the side panel is calculated, the difference is smaller than the original value because the position and luminance of the side panel are fixed. It can be. This leads to erroneous detection of a scene change and is not preferable. However, according to the
加えて、サイドパネルと該サイドパネルを除く画像の一部とに分離して輝度値の差分を算出しているため、差分の算出（言い換えれば、シーンチェンジの検出）に対する処理負荷を低減することができる。 In addition, since the difference in luminance value is calculated separately for the side panel and a part of the image excluding the side panel, the processing load for the difference calculation (in other words, detection of a scene change) is reduced. Can do.
尚、上述の説明では、一つのフレーム中の画像を、サイドパネルとサイトパネルを除く画像に分離する態様について説明を進めた。しかしながら、サイドパネル以外の所定の画像と該所定の画像を除く画像とに分離する態様であっても、上述した構成及び動作を採用することで、上述した各種利益を享受することができる。この態様について、図４を参照して説明する。ここに、図４は、画像データが示す画像の一部としての文字スーパーを概念的に示す平面図である。 In the above description, the description has been made on an aspect in which an image in one frame is separated into images excluding the side panel and the site panel. However, even if the image is separated into a predetermined image other than the side panel and an image excluding the predetermined image, the various benefits described above can be enjoyed by employing the above-described configuration and operation. This aspect will be described with reference to FIG. FIG. 4 is a plan view conceptually showing a character supermarket as a part of the image indicated by the image data.
図４に示すように、例えばニュース番組等で表示されるチャンネル画像や、番組名等の文字スーパーは、その位置及び輝度が一定である。従って、このような文字スーパーに対しても、上述したサイドパネルと同様の動作を行うことで、上述した各種利益を享受することができる。 As shown in FIG. 4, for example, channel images displayed in news programs or the like, and character superimposes such as program names have constant positions and brightness. Therefore, the above-described various benefits can be enjoyed by performing the same operation as the above-described side panel for such a character supermarket.
また、文字スーパー以外であっても、輝度及び表示される位置が一定期間固定されている画像であれば、該画像に対して上述したサイドパネルと同様の動作を行うことで、上述した各種利益を享受することができる。 In addition to the character supermarket, if the brightness and the position to be displayed are fixed for a certain period, the above-described various benefits can be obtained by performing the same operation as the above-described side panel. Can be enjoyed.
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴なう画像復号化装置及び方法、並びにコンピュータプログラムもまた本発明の技術的範囲に含まれるものである。 The present invention is not limited to the above-described embodiments, and can be appropriately changed without departing from the gist or concept of the invention that can be read from the claims and the entire specification, and image decoding accompanied by such changes is possible. The apparatus and method, and the computer program are also included in the technical scope of the present invention.
１ 画像復号化装置
１１ 復号部
１２ エラー検出部
１３ 判定部
１４ 補間処理部
１５ 画像データ出力選択部
DESCRIPTION OF
Claims (5)
フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成手段と、
前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定手段と、
前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定手段と、
前記現フレームにおける前記画像データに対して、前記第１判定手段及び前記第２判定手段の夫々による判定結果に応じた補間処理であって且つ画像データ中のエラーブロックについてのエラーを補間する補間処理を施す補間手段と
を備え、
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して前記現フレームにおける前記画像データを用いて補間処理を施し、
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でないと判定された場合、前記現フレームにおける前記部分画像データに対して前記前フレームにおける前記画像データを用いて補間処理を施し、
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でなく前記第２差分が前記閾値以上であると判定された場合、前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、前記現フレームにおける前記画像データを用いて補間処理を施すことを特徴とする画像復号化装置。 An image decoding apparatus for decoding encoded image data in which image data is encoded for each frame,
Generating means for generating the image data by decoding the encoded image data for each frame;
Determining whether or not partial image data included in the image data and having a fixed position and brightness in a frame for at least a fixed period is included in a previous frame positioned before the current frame; 1 determination means;
A first difference that is a difference between a luminance value of the partial image data in the previous frame and a luminance value of the partial image data in the current frame and a luminance of a part of the image data excluding the partial image data in the previous frame Second determination means for determining whether at least one of the second differences, which is a difference between a value and a luminance value of a part of the image data excluding the partial image data in the current frame, is greater than or equal to a predetermined threshold value When,
Interpolation processing for interpolating an error for an error block in the image data, which is interpolation processing according to the determination results by the first determination means and the second determination means for the image data in the current frame and an interpolation means for performing,
The interpolation means determines that the partial image data is included in the previous frame by the first determination means, and determines that the first difference is equal to or greater than the threshold by the second determination means. The entire image data of the current frame is subjected to an interpolation process using the image data in the current frame,
The interpolating unit determines that the partial image data is included in the previous frame by the first determining unit and determines that the first difference is not equal to or greater than the threshold by the second determining unit. , Subjecting the partial image data in the current frame to interpolation using the image data in the previous frame,
The interpolating means determines that the partial image data is included in the previous frame by the first determining means, and the second difference is not equal to or greater than the threshold value by the second determining means, and the second difference. Is determined to be greater than or equal to the threshold value, an interpolation process is performed on the part of the image data excluding the partial image data in the current frame using the image data in the current frame. An image decoding apparatus.
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていないと判定され、且つ前記第２判定手段により前記第３差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して前記現フレームにおける前記画像データを用いて補間処理を施すことを特徴とする請求項１に記載の画像復号化装置。 The second determination means further determines whether or not a third difference that is a difference between the luminance value of the image data in the previous frame and the luminance value of the image data in the current frame is equal to or greater than the threshold value. ,
The interpolation means determines that the partial image data is not included in the previous frame by the first determination means, and determines that the third difference is equal to or greater than the threshold value by the second determination means. 2. The image decoding apparatus according to claim 1, wherein interpolation processing is performed on the entire image data of the current frame using the image data in the current frame.
フレーム毎に、前記符号化画像データを復号することで前記画像データを生成する生成工程と、
前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定工程と、
前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定工程と、
前記現フレームにおける前記画像データに対して、前記第１判定工程及び前記第２判定工程の夫々による判定結果に応じた補間処理であって且つ画像データ中のエラーブロックについてのエラーを補間する補間処理を施す補間工程と
を備え、
前記補間工程は、前記第１判定工程により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定工程により前記第１差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して前記現フレームにおける前記画像データを用いて補間処理を施し、
前記補間工程は、前記第１判定工程により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定工程により前記第１差分が前記閾値以上でないと判定された場合、前記現フレームにおける前記部分画像データに対して前記前フレームにおける前記画像データを用いて補間処理を施し、
前記補間工程は、前記第１判定工程により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定工程により前記第１差分が前記閾値以上でなく前記第２差分が前記閾値以上であると判定された場合、前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、前記現フレームにおける前記画像データを用いて補間処理を施すことを特徴とする画像復号化方法。 A decoding method for decoding encoded image data in which image data is encoded for each frame,
For each frame, a generation step of generating the image data by decoding the encoded image data;
Determining whether or not partial image data included in the image data and having a fixed position and brightness in a frame for at least a fixed period is included in a previous frame positioned before the current frame; 1 determination process;
A first difference that is a difference between a luminance value of the partial image data in the previous frame and a luminance value of the partial image data in the current frame and a luminance of a part of the image data excluding the partial image data in the previous frame A second determination step of determining whether at least one of the second differences, which is a difference between a value and a luminance value of a part of the image data excluding the partial image data in the current frame, is equal to or greater than a predetermined threshold When,
Interpolation processing according to the determination results of the first determination step and the second determination step for the image data in the current frame and interpolating errors for error blocks in the image data a and an interpolation step of applying,
In the interpolation step, it is determined in the first determination step that the partial image data is included in the previous frame, and in the second determination step, the first difference is determined to be greater than or equal to the threshold value. The entire image data of the current frame is subjected to an interpolation process using the image data in the current frame,
In the interpolation step, the first determination step determines that the partial image data is included in the previous frame, and the second determination step determines that the first difference is not greater than or equal to the threshold value. , Subjecting the partial image data in the current frame to interpolation using the image data in the previous frame,
In the interpolation step, it is determined in the first determination step that the partial image data is included in the previous frame, and in the second determination step, the first difference is not equal to or greater than the threshold value, and the second difference. Is determined to be greater than or equal to the threshold value, an interpolation process is performed on the part of the image data excluding the partial image data in the current frame using the image data in the current frame. An image decoding method.
フレーム毎に画像データが符号化された符号化画像データを、フレーム毎に復号することで前記画像データを生成する生成手段と、
前記画像データに含まれており、且つフレーム中における位置及び輝度が少なくとも一定期間固定的である部分画像データが、現フレームの前に位置する前フレーム中に含まれているか否かを判定する第１判定手段と、
前記前フレームにおける前記部分画像データの輝度値と前記現フレームにおける前記部分画像データの輝度値との差分である第１差分及び前記前フレームにおける前記部分画像データを除く前記画像データの一部の輝度値と前記現フレームにおける前記部分画像データを除く前記画像データの一部の輝度値との差分である第２差分の少なくとも一方が、所定の閾値以上であるか否かを判定する第２判定手段と、
前記現フレームにおける前記画像データに対して、前記第１判定手段及び前記第２判定手段の夫々による判定結果に応じた補間処理であって且つ画像データ中のエラーブロックについてのエラーを補間する補間処理を施す補間手段と
して機能させ、
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上であると判定された場合、前記現フレームの前記画像データの全体に対して前記現フレームにおける前記画像データを用いて補間処理を施し、
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でないと判定された場合、前記現フレームにおける前記部分画像データに対して前記前フレームにおける前記画像データを用いて補間処理を施し、
前記補間手段は、前記第１判定手段により前記部分画像データが前記前フレーム中に含まれていると判定され、且つ前記第２判定手段により前記第１差分が前記閾値以上でなく前記第２差分が前記閾値以上であると判定された場合、前記現フレームにおける前記部分画像データを除く前記画像データの一部に対して、前記現フレームにおける前記画像データを用いて補間処理を施すことを特徴とするコンピュータプログラム。 Computer
The image data for each frame is encoded encoded image data, and generating means for generating the image data by decoding for each frame,
Determining whether or not partial image data included in the image data and having a fixed position and brightness in a frame for at least a fixed period is included in a previous frame positioned before the current frame; 1 determination means;
A first difference that is a difference between a luminance value of the partial image data in the previous frame and a luminance value of the partial image data in the current frame and a luminance of a part of the image data excluding the partial image data in the previous frame Second determination means for determining whether at least one of the second differences, which is a difference between a value and a luminance value of a part of the image data excluding the partial image data in the current frame, is greater than or equal to a predetermined threshold value When,
Interpolation processing for interpolating an error for an error block in the image data, which is interpolation processing according to the determination results by the first determination means and the second determination means for the image data in the current frame Interpolation means for applying
To function ,
The interpolation means determines that the partial image data is included in the previous frame by the first determination means, and determines that the first difference is equal to or greater than the threshold by the second determination means. The entire image data of the current frame is subjected to an interpolation process using the image data in the current frame,
The interpolating unit determines that the partial image data is included in the previous frame by the first determining unit and determines that the first difference is not equal to or greater than the threshold by the second determining unit. , Subjecting the partial image data in the current frame to interpolation using the image data in the previous frame,
The interpolating means determines that the partial image data is included in the previous frame by the first determining means, and the second difference is not equal to or greater than the threshold value by the second determining means, and the second difference. Is determined to be greater than or equal to the threshold value, an interpolation process is performed on the part of the image data excluding the partial image data in the current frame using the image data in the current frame. Computer program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006080263A JP4756594B2 (en) | 2006-03-23 | 2006-03-23 | Image decoding apparatus and method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006080263A JP4756594B2 (en) | 2006-03-23 | 2006-03-23 | Image decoding apparatus and method, and computer program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2007259022A JP2007259022A (en) | 2007-10-04 |
| JP2007259022A5 JP2007259022A5 (en) | 2009-04-09 |
| JP4756594B2 true JP4756594B2 (en) | 2011-08-24 |
Family
ID=38632820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006080263A Expired - Fee Related JP4756594B2 (en) | 2006-03-23 | 2006-03-23 | Image decoding apparatus and method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4756594B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03250887A (en) * | 1990-02-28 | 1991-11-08 | Sony Corp | Video signal encoder |
| JP3200108B2 (en) * | 1991-10-04 | 2001-08-20 | キヤノン株式会社 | Image processing method and apparatus |
| JP2001309383A (en) * | 2000-04-18 | 2001-11-02 | Matsushita Electric Ind Co Ltd | Picture encoder and method for encoding picture |
| JP2005006275A (en) * | 2002-11-22 | 2005-01-06 | Matsushita Electric Ind Co Ltd | Device, method, and program for generating interpolation frame |
-
2006
- 2006-03-23 JP JP2006080263A patent/JP4756594B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007259022A (en) | 2007-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2654298B1 (en) | Detection of video feature based on variance metric | |
| US7856059B2 (en) | Determining the number of unidirectional and bidirectional motion compensated frames to be encoded for a video sequence and detecting scene cuts in the video sequence | |
| RU2668056C1 (en) | Image processing device and image processing method | |
| US20070098071A1 (en) | Picture coding device, method, and program thereof | |
| WO2004008773A1 (en) | Filtering intensity decision method, moving picture encoding method, and moving picture decoding method | |
| JP2004254327A (en) | Image coding method and image decoding method | |
| JPH1075457A (en) | Moving object detector in moving image | |
| US20180109794A1 (en) | Temporal Local Activity for Quantization Parameter (QP) Offset for Video Coding | |
| JP5137687B2 (en) | Decoding device, decoding method, and program | |
| US8228985B2 (en) | Method and apparatus for encoding and decoding based on intra prediction | |
| JP4251153B2 (en) | Video coding system conversion device | |
| WO2005086491A1 (en) | System and method for global indication of mpeg impairments in compressed digital video | |
| JP2001211453A (en) | Video signal processing unit and video signal processing method | |
| JP4756594B2 (en) | Image decoding apparatus and method, and computer program | |
| JP3888533B2 (en) | Image coding apparatus according to image characteristics | |
| JP2010093627A (en) | Moving picture encoding device | |
| JP4192149B2 (en) | Data processing apparatus and data processing method | |
| JP2002171530A (en) | Re-encoder provided with superimpose function and its method | |
| JP4029520B2 (en) | Video decoding apparatus and method | |
| JP2002016924A (en) | Transcoding device and transcoding method | |
| JP2001197505A (en) | Video signal processing unit and video signal processing method | |
| JP4193162B2 (en) | Image signal encoding device | |
| JP4228537B2 (en) | Image signal decoding / encoding device | |
| JP6027158B2 (en) | Video switching device provided with encoding device and video switching method including encoding method | |
| JP4398390B2 (en) | Fade detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090224 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110506 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110526 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |