JP5115345B2

JP5115345B2 - Storage / reproduction device, storage device, and storage / reproduction method

Info

Publication number: JP5115345B2
Application number: JP2008153084A
Authority: JP
Inventors: 真巳冨田; 正志太田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-06-11
Filing date: 2008-06-11
Publication date: 2013-01-09
Anticipated expiration: 2028-06-11
Also published as: JP2009302755A

Description

本発明は、動画像データを符号化して記憶及び／または復号して再生する記憶再生装置、記憶装置、再生装置及び記憶再生方法に関する。 The present invention relates to a storage / reproduction device, a storage device, a reproduction device, and a storage / reproduction method for encoding and storing and / or decoding moving image data.

テレビ放送やストリーミングなどにより取得される動画像データが記録される場合には、無圧縮では非常にデータ量が大きくなるため、一般的には圧縮されてから記録される。
動画像データを圧縮する方法の１つとして、例えば、フレーム内の画素を間引くことにより圧縮する方法や、時間方向に関連性があるフレームを抽出し、そのうちの一部を間引くことによりデータ量を縮小する方法がある。
フレーム内の画素を間引いて動画像データを圧縮する方法としては、例えば特許文献１に開示された技術がある。
特許文献１には、間引き画像の無効画像に対応する過去フレームの有効画素に関する情報を収集した前半フレーム対応点テーブルと、間引き画像の無効画素に対応する未来フレームの有効画素に関する情報を収集した後半フレーム対応点テーブルを作成し、作成したテーブルを参照してフレーム内補間を施した現在フレームのフレーム間補間を行うことにより、画素間引きを行った動画像データを少ないメモリ容量で高速に復元するとともに、画質低下を防止する動画像変換装置が開示されている。 When moving image data acquired by television broadcasting or streaming is recorded, the amount of data becomes very large without compression, so that it is generally recorded after being compressed.
One of the methods for compressing moving image data is, for example, a method of compressing by thinning out pixels in a frame, or extracting a frame that is related in the time direction and thinning a part of the frame to reduce the amount of data. There is a way to reduce.
As a method of compressing moving image data by thinning out pixels in a frame, for example, there is a technique disclosed in Patent Document 1.
In Patent Document 1, the first half frame correspondence point table that collects information about effective pixels of past frames corresponding to invalid images of a thinned image and the second half of information about effective pixels of future frames that correspond to invalid pixels of a thinned image are disclosed. By creating a frame correspondence point table and performing inter-frame interpolation of the current frame that has been subjected to intra-frame interpolation with reference to the created table, the moving image data that has undergone pixel decimation is restored at high speed with a small memory capacity. A moving image conversion apparatus that prevents image quality degradation is disclosed.

特開２００６−３４５４４５号公報JP 2006-345445 A

一方、時間方向に関連のあるフレームを間引く方法としては、時間方向に関連性がある複数のフレームのうち、所定の時間間隔で間引く方法と、再生時に間引いた影響が少なくなるように不連続に間引く方法とがある。 On the other hand, as a method of thinning out frames that are related in the time direction, among a plurality of frames that are related in the time direction, a method of thinning out at a predetermined time interval and a method that discontinuously reduces the influence of thinning out during playback. There is a method of thinning out.

しかし、フレームを間引いて圧縮した場合、再生時に間引いたフレームを高速で復元することは難しく、再生時の画質が非常に低下してしまう、という不利益が生じる。 However, when the frames are thinned out and compressed, it is difficult to restore the thinned frames at the time of reproduction, and there is a disadvantage that the image quality at the time of reproduction is extremely lowered.

本発明はこのような不利益を解消するためになされたものであり、間引いたフレームを再生する時にも画質の劣化を抑えた記憶再生装置、記憶装置、再生装置及び記憶再生方法を提供することを目的とする。 The present invention has been made to eliminate such disadvantages, and provides a storage / reproduction device, a storage device, a reproduction device, and a storage / reproduction method in which deterioration of image quality is suppressed even when a thinned frame is reproduced. With the goal.

上述した不利益を解消するために、第１の発明の記憶再生装置は、入力された動画像データを構成する複数のフレームのうち、少なくとも１つの他のフレームから補間可能であるフレームを検出する間引きフレーム検出部と、前記間引きフレーム検出部が検出した、少なくとも１つの他のフレームから補間可能であるフレームを削除する間引き処理部と、前記入力された動画像データから、前記間引き処理部が削除したフレームを除いて圧縮及び／または符号化する符号化部と、前記符号化部により符号化された動画像データを記憶する記憶部と、前記間引き処理部により削除されたフレームに関する情報を前記記憶部により記憶された前記動画像データに多重化して記憶する間引き情報記憶部と、再生要求に応じて、前記間引き情報記憶部に記憶された、削除されたフレームに関する情報を再生する間引き情報再生部と、前記記憶部に記憶された動画像データを、前記間引き情報再生部が再生した前記削除されたフレームに関する情報を基に復号化する復号化部と、前記間引き情報再生部が再生した前記削除されたフレームに関する情報と、前記復号化部が復号した前記動画像データとを基に、前記間引き処理部により削除されたフレームを補間するフレーム補間処理部と、を有し、前記間引きフレーム検出部は、前記動画像データに対して前後のフレームとの差分をとり比較する動き検出処理及び／または各フレームの輝度分布算出処理を行い、前記動き検出処理の結果、動きがないフレームを少なくとも１つの他のフレームから補間可能であるフレームとし、前記動き検出処理の結果、所定のしきい値よりも動きが少ないフレームについて、当該フレーム内に所定の大きさより大きい対象物が存在しない場合に、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームであるとし、当該フレーム内に所定の大きさより大きい対象物が存在する場合には、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームではないとする。 In order to eliminate the disadvantages described above, the storage / reproduction device according to the first aspect of the invention detects a frame that can be interpolated from at least one other frame among a plurality of frames constituting the input moving image data. A thinning frame detection unit, a thinning processing unit that deletes a frame that can be interpolated from at least one other frame detected by the thinning frame detection unit, and the thinning processing unit deletes from the input moving image data an encoding unit for compressing and / or encoding except frame, a storage unit for storing the moving image data encoded by the encoding unit, the storage information for a frame that has been deleted by the thinning processing unit and thinning information storage unit for storing multiplexed in the video data stored by the parts, in accordance with the reproduction request, the thinning information storage unit A thinned-out information reproducing unit that reproduces the stored information relating to the deleted frame, and the moving image data stored in the storage unit is decoded based on the information relating to the deleted frame reproduced by the thinned-out information reproducing unit A frame deleted by the decimation processing unit based on the information on the deleted frame reproduced by the decimation information reproducing unit and the moving image data decoded by the decoding unit. a frame interpolation section for interpolating, have a, the decimation frame detection section, a motion detection process and / or brightness distribution calculation processing of each frame are compared taking the difference between the front and rear of the frame with respect to the moving image data As a result of the motion detection process, a frame having no motion is made a frame that can be interpolated from at least one other frame, and the motion detection process As a result, for a frame that moves less than a predetermined threshold, when there is no object larger than a predetermined size in the frame, the frame can be interpolated from at least one other frame. When there is an object larger than a predetermined size in the frame, the frame is not a frame that can be interpolated from at least one other frame.

第２の発明の記憶装置は、入力された動画像データを構成する複数のフレームのうち、少なくとも１つの他のフレームから補間可能であるフレームを検出する間引きフレーム検出部と、前記間引きフレーム検出部が検出した、少なくとも１つの他のフレームから補間可能であるフレームを削除する間引き処理部と、前記間引き処理部により削除されたフレームに関する情報を記憶する間引き情報記憶部と、前記入力された動画像データから、前記間引き処理部が削除したフレームを除いて圧縮及び／または符号化する符号化部と、前記符号化部により符号化された動画像データを記憶する記憶部と、を有し、前記間引き情報記憶部は、前記間引き処理部により削除されたフレームに関する情報を前記記憶部により記憶された前記動画像データに多重化して記憶し、前記間引きフレーム検出部は、前記動画像データに対して前後のフレームとの差分をとり比較する動き検出処理及び／または各フレームの輝度分布算出処理を行い、前記動き検出処理の結果、動きがないフレームを少なくとも１つの他のフレームから補間可能であるフレームとし、前記動き検出処理の結果、所定のしきい値よりも動きが少ないフレームについて、当該フレーム内に所定の大きさより大きい対象物が存在しない場合に、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームであるとし、当該フレーム内に所定の大きさより大きい対象物が存在する場合には、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームではないとする。 According to a second aspect of the present invention, there is provided a thinned frame detecting unit that detects a frame that can be interpolated from at least one other frame among a plurality of frames constituting input moving image data, and the thinned frame detecting unit , A thinning processing unit that deletes a frame that can be interpolated from at least one other frame, a thinning information storage unit that stores information on the frame deleted by the thinning processing unit, and the input moving image from the data, comprising: a coding unit for compressing and / or encoding except frames the thinning processing section deletes, and a storage unit for storing the moving image data encoded by the encoding unit, the The thinning information storage unit stores the information on the frames deleted by the thinning processing unit in the moving image data stored in the storage unit The decimation frame detection unit performs a motion detection process for comparing the moving image data with a difference between the previous and subsequent frames and / or a luminance distribution calculation process for each frame, and the motion detection process. As a result, a frame having no motion is determined to be a frame that can be interpolated from at least one other frame. As a result of the motion detection process, a frame having a motion less than a predetermined threshold is smaller than a predetermined size in the frame. If there is no large object, the frame is a frame that can be interpolated from at least one other frame, and if there is an object larger than a predetermined size in the frame, the frame is at least Assume that it is not a frame that can be interpolated from one other frame .

第３の発明の記憶再生方法は、入力された動画像データを構成する複数のフレームのうち、少なくとも１つの他のフレームから補間可能であるフレームを検出する第１の工程と、前記第１の工程において検出された、少なくとも１つの他のフレームから補間可能であるフレームを削除する第２の工程と、前記入力された動画像データから、前記間引き処理部が削除したフレームを除いて圧縮及び／または符号化する第３の工程と、前記第３の工程において符号化された動画像データを記憶する第４の工程と、前記第２の工程において削除されたフレームに関する情報を前記第４の工程において記憶された前記動画像データに多重化して記憶する第５の工程と、再生要求に応じて、前記第５の工程において記憶された、削除されたフレームに関する情報を再生する第６の工程と、前記第４の工程において記憶された動画像データを、前記第６の工程において再生された前記削除されたフレームに関する情報を基に復号化する第７の工程と、前記第６の工程において再生された前記削除されたフレームに関する情報と、前記第７の工程において復号された前記動画像データとを基に、前記第２の工程において削除されたフレームを補間する第８の工程と、を有し、前記第２の工程において、前記動画像データに対して前後のフレームとの差分をとり比較する動き検出処理及び／または各フレームの輝度分布算出処理を行い、前記動き検出処理の結果、動きがないフレームを少なくとも１つの他のフレームから補間可能であるフレームとし、前記動き検出処理の結果、所定のしきい値よりも動きが少ないフレームについて、当該フレーム内に所定の大きさより大きい対象物が存在しない場合に、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームであるとし、当該フレーム内に所定の大きさより大きい対象物が存在する場合には、当該フレームを少なくとも１つの他のフレームから補間可能であるフレームではないとする。
According to a third aspect of the present invention, there is provided a storage / reproduction method comprising: a first step of detecting a frame that can be interpolated from at least one other frame among a plurality of frames constituting the input moving image data; A second step of deleting a frame that can be interpolated from at least one other frame detected in the step; and compressing and / or excluding the frame deleted by the thinning-out processing unit from the input moving image data Alternatively, the third step of encoding, the fourth step of storing the moving image data encoded in the third step, and the information on the frame deleted in the second step of the fourth step a fifth step of multiplexing and stored in the memory is the moving image data is in, in response to the reproduction request, the stored in the fifth step, regarding the frame that was removed A sixth step of reproducing the information to be reproduced, and a seventh step of decoding the moving image data stored in the fourth step based on the information on the deleted frame reproduced in the sixth step. A frame deleted in the second step based on the step, information on the deleted frame reproduced in the sixth step, and the moving image data decoded in the seventh step; It possesses the eighth step you interpolation, a, in the second step, the motion detection process and / or the luminance distribution calculation process of each frame is taken comparing the difference between the front and rear of the frame with respect to the moving image data As a result of the motion detection process, a frame having no motion is determined as a frame that can be interpolated from at least one other frame. For a frame with little movement, when there is no object larger than a predetermined size in the frame, the frame is a frame that can be interpolated from at least one other frame. When a large object exists, it is assumed that the frame is not a frame that can be interpolated from at least one other frame .

本発明は、間引いたフレームを再生する時にも画質の劣化を抑えた記憶再生装置、記憶装置、再生装置及び記憶再生方法を提供することを目的とする。 It is an object of the present invention to provide a storage / reproduction device, a storage device, a reproduction device, and a storage / reproduction method in which deterioration of image quality is suppressed even when a thinned frame is reproduced.

以下、本発明の実施形態について説明する。
図１は、本発明の実施形態の記憶再生装置１００の構成の一例を示すブロック図である。
本発明の実施形態の記憶再生装置１００は、画像入力部１と、間引きフレーム検出部２と、間引き処理部３と、間引き情報記憶部４と、符号化部５と、記憶部６と、間引き情報再生部７と、復号化部８と、フレーム補間処理部９と、画像出力部１０と、を有する。 Hereinafter, embodiments of the present invention will be described.
FIG. 1 is a block diagram showing an example of the configuration of a storage / reproduction device 100 according to an embodiment of the present invention.
The storage / reproduction device 100 according to the embodiment of the present invention includes an image input unit 1, a thinned frame detection unit 2, a thinning processing unit 3, a thinning information storage unit 4, an encoding unit 5, a storage unit 6, and a thinning unit. An information reproduction unit 7, a decoding unit 8, a frame interpolation processing unit 9, and an image output unit 10 are included.

画像入力部１は、外部からの動画像データの入力を受け付ける。
間引きフレーム検出部２は、画像入力部１に入力された動画像データの各フレームのうち、間引いても動画像データ全体の再生時には復元が容易（間引きによる画質の劣化などが少ない）であるフレームを検出する。間引いても再生時に容易に復元可能であるフレームの検出方法については、詳しくは後述する。
間引き処理部３は、間引きフレーム検出部２が検出した、間引いても再生時に容易に復元可能であるフレームを間引く処理を行う。すなわち、間引き処理部３は、間引きフレーム検出部２が検出したフレームを削除する。 The image input unit 1 accepts input of moving image data from the outside.
The thinned frame detection unit 2 is a frame that can be easily restored during reproduction of the entire moving image data (there is little deterioration in image quality due to thinning) among the frames of the moving image data input to the image input unit 1 even if thinned out. Is detected. A method for detecting a frame that can be easily restored during reproduction even after thinning will be described in detail later.
The thinning-out processing unit 3 performs processing for thinning out frames detected by the thinning-out frame detection unit 2 that can be easily restored even during thinning. That is, the thinning processing unit 3 deletes the frame detected by the thinning frame detection unit 2.

間引き情報記憶部４は、間引き処理部３が間引いたフレームに関する情報を、記憶媒体２０に記憶する。記憶媒体２０は、例えばＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）等の光ディスクや、ＨＤＤ（Hard Disc Drive）等により構成される。間引かれたフレームに関する情報については、詳しくは後述する。
符号化部５は、間引き処理部３が間引いたフレームを除く残りのフレームにより構成される動画像データを圧縮符号化する。圧縮符号化の方法としては、例えばＭＰＥＧやＨ．２６４／ＡＶＣのような圧縮方式を利用すればよい。 The thinning information storage unit 4 stores information on the frames thinned out by the thinning processing unit 3 in the storage medium 20. The storage medium 20 includes, for example, an optical disc such as a DVD (Digital Versatile Disc) or a BD (Blu-ray Disc), an HDD (Hard Disc Drive), or the like. Details regarding the thinned frames will be described later.
The encoding unit 5 compresses and encodes moving image data composed of the remaining frames excluding the frames thinned out by the thinning processing unit 3. Examples of compression encoding methods include MPEG and H.264. A compression method such as H.264 / AVC may be used.

記憶部６は、間引き処理部３が間引いたフレームに関する情報と、符号化部５において符号化された動画像データとを記憶媒体２０に記憶する記憶デバイスである。
間引き情報再生部７は、記憶部６に記憶された、間引かれたフレームに関する情報を読み出す。
復号化部８は、記憶媒体２０から圧縮符号化された動画像データを復号し、無圧縮の動画像データに戻す。 The storage unit 6 is a storage device that stores, in the storage medium 20, information related to the frames thinned out by the thinning-out processing unit 3 and moving image data encoded by the encoding unit 5.
The thinning information reproduction unit 7 reads information regarding the thinned frames stored in the storage unit 6.
The decoding unit 8 decodes the compressed and encoded moving image data from the storage medium 20 and returns it to uncompressed moving image data.

フレーム補間処理部９は、フレーム補間処理を行う。フレーム補間処理とは、間引き情報再生部７が再生した、間引かれたフレームに関する情報を基に間引かれたフレームを復元し、復号化部８が復号した、間引き処理部３によりフレームが間引かれた動画像データと合わせて補間を行う処理である。フレーム補間処理の詳細については後述する。
画像出力部１０は、フレーム補間処理部９によってフレーム補間処理された動画像データを、図１に図示しない表示部等に出力する。これにより、ユーザが動画像を視聴することが出来る。 The frame interpolation processing unit 9 performs frame interpolation processing. The frame interpolation process is a process in which a thinned frame is restored by the thinning processing unit 3 restored by the thinning information reproducing unit 7 based on information about the thinned frame and decoded by the decoding unit 8. This is a process of performing interpolation together with the drawn moving image data. Details of the frame interpolation processing will be described later.
The image output unit 10 outputs the moving image data subjected to the frame interpolation processing by the frame interpolation processing unit 9 to a display unit or the like not shown in FIG. Thereby, the user can view the moving image.

以下、間引きフレーム検出部２における、間引いても再生時に容易に復元可能であるフレームの検出方法について説明する。
図２は、間引きフレーム検出部２における、間引いても再生時に容易に復元可能であるフレームの検出方法について説明するためのフローチャートである。 Hereinafter, a method of detecting a frame in the thinned frame detection unit 2 that can be easily restored even during thinning during reproduction will be described.
FIG. 2 is a flowchart for explaining a frame detection method in the thinned frame detection unit 2 that can be easily restored during reproduction even after thinning.

ステップＳＴ１：
間引きフレーム検出部２は、まず、画像入力部１に入力された動画像データの各フレームごとに、前後のフレームとの差分をとり、動き検出を行う。動き検出の方法としては、例えば、勾配法やブロックマッチング法等により動きベクトルを算出する方法を採ればよい。
ステップＳＴ２：
ステップＳＴ１における動き検出により、動きが検出された場合はステップＳＴ４に進み、検出されなかった場合はステップＳＴ３に進む。 Step ST1:
The thinned-out frame detection unit 2 first performs motion detection by taking a difference from the previous and next frames for each frame of the moving image data input to the image input unit 1. As a motion detection method, for example, a method of calculating a motion vector by a gradient method or a block matching method may be employed.
Step ST2:
If motion is detected by the motion detection in step ST1, the process proceeds to step ST4, and if not detected, the process proceeds to step ST3.

ステップＳＴ３：
間引きフレーム検出部２は、ステップＳＴ１において動きが検出されなかったフレームを間引いても再生時に容易に復元可能であるフレームとする。すなわち、当該フレームを間引きフレームと決定する。
ステップＳＴ４：
間引きフレーム検出部２は、ステップＳＴ１において検出された動きが大きいフレームであるか否かの判定を行う。動きが大きいフレームであるか否かの判定は、例えばフレーム差分による動きベクトルの絶対値が所定のしきい値以上である場合に動きが大きい、所定のしきい値未満である場合に動きが小さい、と判定するようにすればよい。
動きが大きいフレームであると判定した場合はステップＳＴ６に進み、動きが小さいと判定した場合はステップＳＴ５に進む。 Step ST3:
The thinned-out frame detection unit 2 sets a frame that can be easily restored at the time of reproduction even if a frame in which no motion is detected in step ST1 is thinned out. That is, the frame is determined as a thinned frame.
Step ST4:
The thinned frame detection unit 2 determines whether or not the motion detected in step ST1 is a large frame. The determination of whether or not the frame has a large motion is, for example, that the motion is large when the absolute value of the motion vector based on the frame difference is equal to or greater than a predetermined threshold, and the motion is small when the absolute value is less than the predetermined threshold It may be determined that.
If it is determined that the frame has a large motion, the process proceeds to step ST6, and if it is determined that the motion is small, the process proceeds to step ST5.

ステップＳＴ５：
間引きフレーム検出部２は、ステップＳＴ４において動きが小さいと判定されたフレームを間引いても再生時に容易に復元可能であるフレームとする。すなわち、当該フレームを間引きフレームと決定する。
ステップＳＴ６：
間引きフレーム検出部２は、ステップＳＴ１において検出された動きが一定方向のフレームが所定のフレーム数以上連続しているか否かの判定を行う。動きが一定方向であるか否かの判定は、例えば動きベクトルの向きが所定の範囲内にある場合は動きが一定方向であると判定し、所定の範囲外である場合は動きが一致方向ではないと判定するようにすればよい。また、所定のフレーム数は、例えば経験的に求められた所定のしきい値である。
動きが所定の範囲内であるフレームが所定のフレーム数以上連続していると判定した場合はステップＳＴ７に進み、そうでない場合はステップＳＴ８に進む。
ステップＳＴ７：
間引きフレーム検出部２は、ステップＳＴ６において動きが一定方向のフレームが所定のフレーム数以上連続していると判定された全てのフレームを、間引いても再生時に容易に復元可能であるフレームとする。すなわち、当該フレームを間引きフレームと決定する。 Step ST5:
The thinned frame detection unit 2 sets a frame that can be easily restored at the time of reproduction even if the frame determined to have a small motion in step ST4 is thinned. That is, the frame is determined as a thinned frame.
Step ST6:
The thinned-out frame detection unit 2 determines whether or not the frames detected in step ST1 have a predetermined direction for a predetermined number of frames or more. Whether the motion is in a certain direction is determined, for example, when the direction of the motion vector is within a predetermined range, it is determined that the motion is in a certain direction, and when it is outside the predetermined range, the motion is in the matching direction. It may be determined that there is no. The predetermined number of frames is, for example, a predetermined threshold value obtained empirically.
If it is determined that the number of frames within a predetermined range continues for a predetermined number of frames, the process proceeds to step ST7, and if not, the process proceeds to step ST8.
Step ST7:
The thinned-out frame detection unit 2 sets all frames determined to have a predetermined number of continuous frames in step ST6 as frames that can be easily restored at the time of reproduction even if they are thinned out. That is, the frame is determined as a thinned frame.

ステップＳＴ８：
間引きフレーム検出部２は、画像入力部１に入力された動画像データの各フレームに対して、ヒストグラムをとる。この場合のヒストグラムは、動画像データのフレーム内の各画素の輝度分布を指す。すなわち、動画像データ内の画素単位の輝度レベルの累積和を算出することにより、ヒストグラムをとることができる。
ステップＳＴ９：
間引きフレーム検出部２は、コントラストが高いフレームが所定のフレーム以上連続しているか否かを判定する。各フレームのコントラストが高いか否かは、ヒストグラムにおいて、輝度分布の最大値と最小値との差が大きいか否かにより判定する。輝度分布の最大値と最小値との差が大きい場合はコントラストが高い、差が小さい場合はコントラストが低いと判定する。なお、所定のフレーム数は、例えば経験的に求められた所定のしきい値である。
コントラストが高いフレームが所定のフレーム以上連続していると判定した場合はステップＳＴ１１に進み、そうでない場合はステップＳＴ１０に進む。 Step ST8:
The thinned frame detection unit 2 takes a histogram for each frame of moving image data input to the image input unit 1. The histogram in this case indicates the luminance distribution of each pixel in the frame of moving image data. That is, a histogram can be taken by calculating the cumulative sum of luminance levels in pixel units in moving image data.
Step ST9:
The thinned frame detection unit 2 determines whether or not frames having high contrast are continuous for a predetermined frame or more. Whether or not the contrast of each frame is high is determined by whether or not the difference between the maximum value and the minimum value of the luminance distribution is large in the histogram. When the difference between the maximum value and the minimum value of the luminance distribution is large, it is determined that the contrast is high, and when the difference is small, the contrast is low. Note that the predetermined number of frames is, for example, a predetermined threshold value determined empirically.
If it is determined that frames with high contrast are continuous for a predetermined frame or more, the process proceeds to step ST11. If not, the process proceeds to step ST10.

ステップＳＴ１０：
間引きフレーム検出部２は、ステップＳＴ９において、コントラストが低いフレームが所定のフレーム数以上連続していると判定された全てのフレームを間引いても再生時に容易に復元可能であるフレームとする。すなわち、当該フレームを間引きフレームと決定する。
ステップＳＴ１１：
間引きフレーム検出部２は、暗いクレームが所定のフレーム数以上連続しているか否かを判定する。各フレームが暗いか否かは、各フレームの輝度平均の絶対値が所定のしきい値より小さいか否かにより判定する。各フレームの輝度平均の絶対値が所定のしきい値より小さい場合は暗い、所定のしきい値より大きい場合は暗くないと判定する。なお、所定のフレーム数は、例えば経験的に求められた所定のしきい値である。
暗いフレームが所定のフレーム数以上連続している場合はステップＳＴ１２に進み、そうでない場合はステップＳＴ１３に進む。 Step ST10:
In step ST9, the thinned-out frame detection unit 2 sets the frames that can be easily restored at the time of reproduction even if all the frames that are determined to have consecutive frames having a low contrast for a predetermined number of frames or more are thinned out. That is, the frame is determined as a thinned frame.
Step ST11:
The thinned frame detection unit 2 determines whether or not dark claims continue for a predetermined number of frames or more. Whether or not each frame is dark is determined by whether or not the absolute value of the average luminance of each frame is smaller than a predetermined threshold value. When the absolute value of the average luminance of each frame is smaller than a predetermined threshold value, it is determined to be dark, and when larger than the predetermined threshold value, it is determined not to be dark. Note that the predetermined number of frames is, for example, a predetermined threshold value determined empirically.
If dark frames continue for a predetermined number of frames or more, the process proceeds to step ST12. Otherwise, the process proceeds to step ST13.

ステップＳＴ１２：
間引きフレーム検出部２は、ステップＳＴ１１において、暗いフレームが所定のフレーム数以上連続していると判定された全てのフレームを間引いても再生時に容易に復元可能であるフレームとする。すなわち、当該フレームを間引きフレームと決定する。
ステップＳＴ１３：
間引きフレーム検出部２は、ステップＳＴ１１において暗いフレームが所定数連続していると判定されたフレームに含まれないフレームに対して、間引いた場合に再生時に容易に復元可能ではないフレームと判定する。 Step ST12:
The thinned-out frame detection unit 2 sets the frames that can be easily restored at the time of reproduction even if all the frames that have been determined to be dark frames that are determined to be continuous for a predetermined number or more in step ST11. That is, the frame is determined as a thinned frame.
Step ST13:
The thinned frame detection unit 2 determines that a frame that is not included in the frame determined to have a predetermined number of consecutive dark frames in step ST11 is a frame that cannot be easily restored during reproduction when thinned.

すなわち、間引きフレーム検出部２は、
・ステップＳＴ２において動きありと検出されたフレーム
・ステップＳＴ４において動きが大きいと判定されたフレーム、ステップＳＴ６において動きが一定方向である所定の数以上の連続したフレームに含まれないと判定されたフレーム
・ステップＳＴ９において所定の数以上の連続したコントラストが低いフレームに含まれないと判定されたフレーム
・ステップＳＴ１１において所定の数以上の連続した暗いフレームに含まれないと判定されたフレーム
に対しては、間引いた場合に再生時に容易に復元可能ではないフレームと判定して、当該フレームを間引かないように決定する。 That is, the thinned frame detection unit 2
A frame that has been detected as having motion in step ST2, a frame that has been determined to have a large motion in step ST4, and a frame that has been determined not to be included in a predetermined number of consecutive frames in which the motion is in a certain direction in step ST6 -Frames determined not to be included in low frames having a predetermined number or more of consecutive contrasts in step ST9-For frames determined not to be included in a predetermined number or more of dark frames in step ST11 If the frame is thinned out, it is determined that the frame cannot be easily restored at the time of reproduction, and the frame is determined not to be thinned out.

そして、間引きフレーム検出部２は、
・ステップＳＴ２において動きがないと検出されたフレーム
・ステップＳＴ４において動きが小さいと判定されたフレーム
・ステップＳＴ６において動きが一定方向である所定の数以上の連続したフレームに含まれると判定されたフレーム
・ステップＳＴ９において所定の数以上の連続した、コントラストが低いフレームに含まれると判定されたフレーム
・ステップＳＴ１１において所定の数以上の連続した、暗いフレームに含まれると判定されたフレーム
に対しては、間引いた場合に再生時に容易に復元可能であるフレームと判定して、当該フレームを間引くように決定する。 And the thinned frame detection unit 2
A frame that has been detected as having no motion in step ST2 A frame that has been determined to have a small motion in step ST4 A frame that has been determined to be included in a predetermined number or more of consecutive frames in which the motion is in a certain direction in step ST6 -Frames determined to be included in a predetermined number or more of low-contrast frames in step ST9-For frames determined to be included in a predetermined number of continuous or dark frames in step ST11 If the frame is thinned out, it is determined that the frame can be easily restored at the time of reproduction, and the frame is decided to be thinned out.

本実施形態の記憶再生装置１００においては、記録時に間引かれたフレームが再生時には補間されて再生される。そのため、周囲のフレームから補間可能なフレームに対して、間引きフレーム検出部２は間引き可能であると決定している。
動きがないフレームは、直前のフレームと同一であると考えられるため、直前のフレームを参照フレームとすることにより再生時に補間が可能である。
動きが小さいフレームは、前後のフレームを参照することにより、視聴者に気づかれにくいレベルで補間することが可能である。ただし、画像内において大きい対象物の動きが小さくても、視聴者には気づかれやすいため、このような大きい対象物を含むフレームに関しては、間引きフレーム検出部２が間引かないように決定することにより、動画像の質を落とさないようにすることができる。
動きが一定方向である連続したフレーム、例えばパン、チルト、スクロール等の動きを含む複数のフレームは、動きの開始点と終了点のフレームを参照フレームとすることにより、容易に補間が可能である。
所定の数以上の連続した、コントラストが低いフレームや暗いフレームは、前後のフレームを参照フレームとすることにより、補間が可能である。 In the storage / reproduction device 100 of the present embodiment, frames thinned out during recording are interpolated and reproduced during reproduction. For this reason, the thinned frame detection unit 2 determines that thinning is possible for frames that can be interpolated from surrounding frames.
Since a frame without motion is considered to be the same as the immediately preceding frame, interpolation can be performed during playback by using the immediately preceding frame as a reference frame.
Frames with small motion can be interpolated at a level that is difficult for the viewer to notice by referring to the previous and next frames. However, even if the movement of a large object in the image is small, it is easy for the viewer to notice. Therefore, with respect to a frame including such a large object, the thinned-out frame detection unit 2 is determined not to thin out the frame. Thus, the quality of the moving image can be prevented from being deteriorated.
A plurality of frames including movements such as panning, tilting, scrolling, etc., in which the movement is in a constant direction, can be easily interpolated by setting the movement start point and end point frames as reference frames. .
More than a predetermined number of consecutive low-contrast frames and dark frames can be interpolated by using the preceding and following frames as reference frames.

なお、上述した図２における各ステップにおいて、所定数のフレームという表現が複数回現れるが、これらは同じ数のフレームである必要はなく、それぞれ経験的に定められた数のフレームであればよい。上述した図２における各ステップにおける所定のしきい値という表現も同様である。
また、図２に示すフローチャートにおいて、ステップＳＴ１からＳＴ７までの動き検出に関する一連のステップと、ステップＳＴ８からＳＴ１２までの輝度分布に関する一連のステップとは、互いに独立であり、これらのステップの実行される順序は逆であってもよい。また、これらの一連のステップのうち、いずれか片方のみが実行されてもよい。 In addition, in each step in FIG. 2 described above, the expression “a predetermined number of frames” appears a plurality of times. However, these need not be the same number of frames, and may be a predetermined number of frames. The expression “predetermined threshold value” in each step in FIG. 2 is the same.
In the flowchart shown in FIG. 2, a series of steps relating to motion detection from steps ST1 to ST7 and a series of steps relating to luminance distribution from steps ST8 to ST12 are independent of each other, and these steps are executed. The order may be reversed. Further, only one of these series of steps may be executed.

次に、記憶再生装置１００の記録時の動作例について説明する。
図３は、記憶再生装置１００の記録時の動作例について説明するためのフローチャートである。
ステップＳＴ２１：
画像入力部１は、動画像データを入力する。
ステップＳＴ２２：
間引きフレーム検出部２は、ステップＳＴ１において入力された動画像データを構成するフレームの中から、上述したような決定方法により、間引くフレームを検出し決定する。 Next, an operation example during recording of the storage / reproduction device 100 will be described.
FIG. 3 is a flowchart for explaining an operation example at the time of recording of the storage / reproduction device 100.
Step ST21:
The image input unit 1 inputs moving image data.
Step ST22:
The thinned frame detection unit 2 detects and determines a thinned frame from the frames constituting the moving image data input in step ST1 by the determination method as described above.

ステップＳＴ２３：
間引き処理部３は、間引き処理を行う。すなわち、間引き処理部３は、ステップＳＴ２２において決定された間引くフレームを削除し、それ以外のフレームを残す。
ステップＳＴ２４：
符号化部５は、ステップＳＴ２１において入力された動画像データの、ステップＳＴ２３において間引かれたフレーム以外のフレームを所定の圧縮符号化方法で圧縮符号化する。なお、符号化の際には間引かれたフレームの分だけ動画像データが不連続となるため、間引かれたフレームのところは符号化の速度を落とす等して調整する。 Step ST23:
The thinning processing unit 3 performs a thinning process. That is, the thinning processing unit 3 deletes the thinned frame determined in step ST22 and leaves other frames.
Step ST24:
The encoding unit 5 compresses and encodes frames of the moving image data input in step ST21 other than the frames thinned out in step ST23 using a predetermined compression encoding method. Note that since the moving image data is discontinuous for the thinned frames at the time of coding, the thinned frames are adjusted by reducing the coding speed or the like.

ステップＳＴ２５：
記憶部６は、ステップＳＴ２４において圧縮符号化された動画像データを記憶媒体２０に記憶する。
ステップＳＴ２６：
間引き情報記憶部４は、ステップＳＴ２３において間引かれたフレームに関する情報を、ステップＳＴ２５において記憶媒体２０に記憶された動画像データに多重化して記憶する。
間引かれたフレームに関する情報としては、例えば、間引かれたフレームの固有番号、間引かれた理由、補間の際に参照するフレームの固有番号、補間方法等である。
間引かれたフレームの固有番号とは、間引かれたフレームに与えられた固有の番号（フレーム番号）である。
間引かれた理由とは、図２のフローチャートにおいて示したように、動きがない、動きが小さい、動きが一定方向である所定の数以上の連続したフレーム、所定の数以上の連続したコントラストが低いフレーム、所定の数以上の連続した暗いフレーム等の理由である。各理由は、例えば予め所定のパラメータと対応付けられ、間引かれた理由は、各理由に対応付けられたパラメータで記憶されるようにすればよい。
補間の際に参照するフレームの固有番号は、間引かれたフレームを再生時に補間するために参照するフレームの番号である。
補間方法は、上記説明したような、間引かれた理由に応じた、補間方法である。例えば、動きがないフレームの場合は「コピー」が補間方法となり、一定方向に動く所定数のフレームの場合は、「フレームごとの動き量の算出」が補間方法となる。
間引き情報記憶部４は、上述したような各情報を、例えば動画像データのプライベートストリーム（ビデオ或いはオーディオストリーム以外の、ヘッダ情報等のテキストデータを記憶するストリーム）等として、ステップＳＴ１５においてすでに記憶されている動画像データ（のビデオストリーム）に多重化して記憶する。 Step ST25:
The storage unit 6 stores the moving image data compressed and encoded in step ST24 in the storage medium 20.
Step ST26:
The thinning information storage unit 4 multiplexes and stores the information on the frames thinned out in step ST23 into the moving image data stored in the storage medium 20 in step ST25.
The information regarding the thinned frame includes, for example, the unique number of the thinned frame, the reason for thinning, the unique number of the frame referred to during interpolation, the interpolation method, and the like.
The thinned frame unique number is a unique number (frame number) given to the thinned frame.
As shown in the flowchart of FIG. 2, the thinned-out reason is that there is no motion, small motion, a predetermined number or more of continuous frames in which the motion is in a certain direction, and a predetermined number or more of continuous contrast. This is because of low frames, more than a predetermined number of consecutive dark frames, etc. Each reason may be associated with, for example, a predetermined parameter in advance, and the thinned reason may be stored as a parameter associated with each reason.
The unique number of the frame that is referred to during interpolation is the number of the frame that is referred to in order to interpolate the thinned frame during reproduction.
The interpolation method is an interpolation method according to the thinned-out reason as described above. For example, in the case of a frame having no motion, “copy” is an interpolation method, and in the case of a predetermined number of frames moving in a fixed direction, “calculation of motion amount for each frame” is an interpolation method.
The thinning information storage unit 4 has already stored each piece of information as described above, for example, as a private stream of moving image data (a stream storing text data such as header information other than video or audio streams) in step ST15. It is multiplexed and stored in the moving image data (video stream).

次に、記憶再生装置１００の再生時の動作例について説明する。
図４は、記憶再生装置１００の再生時の動作例について説明するためのフローチャートである。
ステップＳＴ３１：
間引き情報再生部７は、図１に図示しない操作部等を介したユーザの再生要求に応じて、記憶媒体２０から間引かれたフレームに関する情報を読み出す。 Next, an example of the operation during playback of the storage / playback apparatus 100 will be described.
FIG. 4 is a flowchart for explaining an operation example at the time of reproduction of the storage / reproduction device 100.
Step ST31:
The thinning information reproduction unit 7 reads out information about the thinned frames from the storage medium 20 in response to a user's reproduction request via an operation unit (not shown in FIG. 1).

ステップＳＴ３２：
復号化部８は、記憶媒体２０から圧縮符号化された動画像データを読み出し、復号化する。
復号化の際には、ステップＳＴ３１において読み出された間引かれたフレームに関する情報を基に、間引かれたフレームのために不連続となった部分に関して復号化速度を調整する。
ステップＳＴ３３：
フレーム補間処理部９は、ステップＳＴ３１において読み出された間引かれたフレームに関する情報と、ステップＳＴ３２において復号化された動画像データを基に、参照フレームを参照することにより間引かれたフレームを補間する。 Step ST32:
The decoding unit 8 reads out the compressed and encoded moving image data from the storage medium 20 and decodes it.
At the time of decoding, based on the information on the thinned frame read out in step ST31, the decoding speed is adjusted for a portion that becomes discontinuous due to the thinned frame.
Step ST33:
The frame interpolation processing unit 9 refers to the frame that has been thinned by referring to the reference frame based on the information on the thinned frame read in step ST31 and the moving image data decoded in step ST32. Interpolate.

ステップＳＴ３４：
画像出力部１０は、ステップＳＴ３３において間引かれたフレームが補間された動画像データを表示装置等に出力する。 Step ST34:
The image output unit 10 outputs the moving image data in which the frames thinned out in step ST33 are interpolated to a display device or the like.

以上説明したように、本実施形態の記憶再生装置１００によれば、間引きフレーム検出部２が、入力された動画像データのフレームのうち、再生時に容易に補間が可能であるフレームを検出し、間引き処理部３がこのフレームを間引く（削除する）。そして、その後符号化部５がフレームを間引いた動画像データを符号化し、記憶部６が間引かれたデータに関する情報と動画像データとを多重化して記憶媒体２０に記憶するため、動画像データを圧縮符号化して記憶する際のデータ量を間引かない場合と比較して削減することができる。また、間引かれて記憶された動画像データの再生時には、間引き情報再生部７が間引かれたフレームに関する情報を再生し、復号化部８が間引かれなかったフレームを復号化した後、フレーム補間処理部９が間引かれたフレームを補間する。このため、フレームの間引きにより圧縮時のデータ量を削減しても、間引かない場合と比較して大きく画質を低下させることがない。 As described above, according to the storage / reproduction device 100 of the present embodiment, the thinned-out frame detection unit 2 detects frames that can be easily interpolated during reproduction from among the frames of the input moving image data, The thinning processing unit 3 thins out (deletes) this frame. Then, the encoding unit 5 encodes the moving image data with the frames thinned out, and the storage unit 6 multiplexes the information about the thinned data and the moving image data and stores them in the storage medium 20. Can be reduced as compared with the case where the amount of data when storing and compressing and storing is compressed. Further, at the time of reproduction of moving image data that has been thinned and stored, the thinning information reproduction unit 7 reproduces information on the thinned frame, and the decoding unit 8 decodes the frame that has not been thinned, The frame interpolation processing unit 9 interpolates the thinned frames. For this reason, even if the amount of data at the time of compression is reduced by thinning out the frames, the image quality is not greatly deteriorated as compared with the case of not thinning out.

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更並びに代替を行ってもよい。 The present invention is not limited to the embodiment described above.
That is, when implementing the present invention, various modifications and alternatives may be made to the components of the above-described embodiments within the technical scope of the present invention or an equivalent scope thereof.

なお、上述した実施形態では、動画像データの記憶及び再生を行う場合について説明しているが、動画像データと音声データとが多重化されているデータについても本実施形態の記憶再生装置１００は適用可能である。この場合は、例えば動画像データの各フレームのうち、間引かれて記憶され、再生の際に補間されるフレームについては、間引かれたフレームに関する情報等にタイムスタンプ等を記憶しておき、再生の際に音声データと同期をとるようにすればよい。 In the above-described embodiment, the case of storing and reproducing moving image data has been described. However, the storage / reproducing apparatus 100 of the present embodiment also applies to data in which moving image data and audio data are multiplexed. Applicable. In this case, for example, among the frames of the moving image data, the frames are thinned out and stored, and for the frames to be interpolated at the time of reproduction, a time stamp or the like is stored in information about the thinned frames, etc. What is necessary is just to synchronize with audio | voice data at the time of reproduction | regeneration.

また、上述した実施形態の記憶再生装置１００は、図３に示す記憶する工程と、図４に示す再生する工程との両方を実行しているが、本発明はこれには限定されない。すなわち、本発明では、例えば、図３に示す記憶する工程を実行する記憶装置と、図４に示す再生する工程を実行する再生装置とを、別々の構成として用意してもよい。この場合、例えば記憶装置は上述した実施形態の画像入力部１と、間引きフレーム検出部２と、間引き処理部３と、間引き情報記録部４と、符号化部５と、記憶部６とを有する構成とし、再生装置は間引き情報再生部７と、復号化部８と、フレーム補間処理部９と、画像出力部１０とを有する構成とすればよい。 Moreover, although the storage / reproducing apparatus 100 of embodiment mentioned above has performed both the process to memorize | store as shown in FIG. 3, and the process to reproduce | regenerate shown in FIG. 4, this invention is not limited to this. That is, in the present invention, for example, a storage device that executes the storing step shown in FIG. 3 and a reproducing device that executes the reproducing step shown in FIG. 4 may be prepared as separate configurations. In this case, for example, the storage device includes the image input unit 1, the thinned frame detection unit 2, the thinning processing unit 3, the thinning information recording unit 4, the encoding unit 5, and the storage unit 6 of the above-described embodiment. The playback apparatus may be configured to include a thinning information playback unit 7, a decoding unit 8, a frame interpolation processing unit 9, and an image output unit 10.

図１は、本発明の実施形態の記憶再生装置の構成の一例を示すブロック図である。FIG. 1 is a block diagram showing an example of the configuration of a storage / playback apparatus according to an embodiment of the present invention. 図２は、間引きフレーム検出部における、間引いても再生時に容易に復元可能であるフレームの検出方法について説明するためのフローチャートである。FIG. 2 is a flowchart for explaining a frame detection method in the thinned frame detection unit that can be easily restored during reproduction even after thinning. 図３は、記憶再生装置の記録時の動作例について説明するためのフローチャートである。FIG. 3 is a flowchart for explaining an operation example at the time of recording of the storage / reproduction device. 図４は、記憶再生装置の再生時の動作例について説明するためのフローチャートである。FIG. 4 is a flowchart for explaining an operation example during reproduction of the storage / reproduction device.

Explanation of symbols

１００…記憶再生装置、１…画像入力部、２…フレーム検出部、３…処理部、４…間引き情報記憶部、５…符号化部、６…記憶部、７…間引き情報再生部、８…復号化部、９…フレーム補間処理部、１０…画像出力部、２０…記憶媒体 DESCRIPTION OF SYMBOLS 100 ... Memory | storage reproduction | regeneration apparatus, 1 ... Image input part, 2 ... Frame detection part, 3 ... Processing part, 4 ... Thinning-out information storage part, 5 ... Encoding part, 6 ... Storage part, 7 ... Thinning-out information reproduction part, 8 ... Decoding unit, 9 ... frame interpolation processing unit, 10 ... image output unit, 20 ... storage medium

Claims

A decimation frame detection unit for detecting a frame that can be interpolated from at least one other frame among a plurality of frames constituting the input moving image data;
A decimation processing unit that deletes a frame that can be interpolated from at least one other frame detected by the decimation frame detection unit;
An encoding unit that compresses and / or encodes the input moving image data except for the frame deleted by the decimation processing unit;
A storage unit for storing moving image data encoded by the encoding unit;
A decimation information storage unit that multiplexes and stores information on frames deleted by the decimation processing unit in the moving image data stored by the storage unit;
In response to a reproduction request, a decimation information reproduction unit that reproduces information about the deleted frame stored in the decimation information storage unit,
A decoding unit that decodes the moving image data stored in the storage unit based on information on the deleted frame reproduced by the thinning information reproduction unit;
A frame interpolation processing unit for interpolating the frames deleted by the thinning processing unit based on the information on the deleted frame reproduced by the thinning information reproducing unit and the moving image data decoded by the decoding unit; ,
I have a,
The thinned frame detection unit performs a motion detection process and / or a luminance distribution calculation process of each frame by comparing the moving image data with a difference between the previous and next frames,
As a result of the motion detection process, a frame having no motion is a frame that can be interpolated from at least one other frame,
As a result of the motion detection process, if there is no object larger than a predetermined size in the frame for which the motion is less than a predetermined threshold, the frame can be interpolated from at least one other frame. A storage / reproducing apparatus that determines that a frame is a frame that is not interpolable from at least one other frame when an object larger than a predetermined size exists in the frame .

The decimation frame detection unit, the motion detection processing result, according to claim 1, motion is constant direction frame is a frame can be interpolated from at least one other frame consecutive frames or more predetermined number Storage and playback device.

As a result of the luminance distribution calculation process, the thinned frame detection unit is a frame in which a frame in which a predetermined number of frames having a contrast value lower than a predetermined threshold value can be interpolated from at least one other frame. The storage / reproducing apparatus according to claim 1 .

As a result of the luminance distribution calculation process, the thinned frame detection unit is a frame in which a frame in which a predetermined number of frames having a luminance value lower than a predetermined threshold value can be interpolated from at least one other frame. The storage / reproducing apparatus according to claim 1 .

A decimation frame detection unit for detecting a frame that can be interpolated from at least one other frame among a plurality of frames constituting the input moving image data;
A decimation processing unit that deletes a frame that can be interpolated from at least one other frame detected by the decimation frame detection unit;
A thinning information storage unit for storing information on the frames deleted by the thinning processing unit;
An encoding unit that compresses and / or encodes the input moving image data except for the frame deleted by the decimation processing unit;
A storage unit for storing moving image data encoded by the encoding unit;
Have
The thinning information storage unit multiplexes and stores information on the frames deleted by the thinning processing unit in the moving image data stored by the storage unit,
The thinned frame detection unit performs a motion detection process and / or a luminance distribution calculation process of each frame by comparing the moving image data with a difference between the previous and next frames,
As a result of the motion detection process, a frame having no motion is a frame that can be interpolated from at least one other frame,
As a result of the motion detection process, if there is no object larger than a predetermined size in the frame for which the motion is less than a predetermined threshold, the frame can be interpolated from at least one other frame. A storage device that is a certain frame, and in the case where an object larger than a predetermined size exists in the frame, the frame is not a frame that can be interpolated from at least one other frame .

A first step of detecting a frame that can be interpolated from at least one other frame among a plurality of frames constituting the input moving image data;
A second step of deleting frames that can be interpolated from at least one other frame detected in the first step;
A third step of compressing and / or encoding the input moving image data excluding the frame deleted by the thinning processing unit;
A fourth step of storing the moving image data encoded in the third step;
A fifth step of multiplexing and storing information on the frames deleted in the second step in the moving image data stored in the fourth step;
A sixth step of reproducing information on the deleted frame stored in the fifth step in response to a reproduction request;
A seventh step of decoding the moving image data stored in the fourth step on the basis of information on the deleted frame reproduced in the sixth step;
Information about the frame wherein is deleted reproduced in the sixth step, based on said moving image data decoded in said seventh step, you interpolation frames that have been deleted in the second step An eighth step;
I have a,
In the second step, a motion detection process and / or a luminance distribution calculation process for each frame is performed to compare the moving image data with a difference between previous and next frames.
As a result of the motion detection process, a frame having no motion is a frame that can be interpolated from at least one other frame,
As a result of the motion detection process, if there is no object larger than a predetermined size in the frame for which the motion is less than a predetermined threshold, the frame can be interpolated from at least one other frame. A storage / reproducing method in which a frame is assumed to be a frame, and when an object larger than a predetermined size exists in the frame, the frame is not a frame that can be interpolated from at least one other frame .