JPH1023408A - Method for encoding picture signal - Google Patents
Method for encoding picture signalInfo
- Publication number
- JPH1023408A JPH1023408A JP16810696A JP16810696A JPH1023408A JP H1023408 A JPH1023408 A JP H1023408A JP 16810696 A JP16810696 A JP 16810696A JP 16810696 A JP16810696 A JP 16810696A JP H1023408 A JPH1023408 A JP H1023408A
- Authority
- JP
- Japan
- Prior art keywords
- image
- similarity
- image frame
- frame signals
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、複数の静止画像デ
ータおよび長時間の動画像データを圧縮し、蓄積する場
合などにおける画像符号化技術に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image encoding technique for compressing and storing a plurality of still image data and long-time moving image data.
【０００２】[0002]
【従来の技術】従来の画像符号化方法では、静止画像の
場合にはフレーム内での画像圧縮・符号化を行ない、動
画像の場合には時間的順序はそのままにフレーム内での
圧縮符号化あるいはフレーム間での動き情報を検出し、
この動き情報を用いて情報量を削減する画像圧縮・符号
化を行なっていた。2. Description of the Related Art In a conventional image coding method, in the case of a still image, the image is compressed and encoded in a frame, and in the case of a moving image, the image is compressed and encoded in the frame without changing the temporal order. Alternatively, detecting motion information between frames,
Image compression / encoding to reduce the amount of information has been performed using this motion information.
【０００３】[0003]
【発明が解決しようとする課題】上記従来の画像符号化
方法では、複数の画像中の異なるフレームにシーンの類
似する画像が含まれている場合でも、各々別々のフレー
ムとして圧縮・符号化することになる。このように類似
するシーンを別々に符号化すると、各々のフレームで画
像符号化を行ない、冗長な符号が存在することになり、
符号量が増大することになる。In the above-mentioned conventional image coding method, even when different frames in a plurality of images include similar images of a scene, they are compressed and coded as separate frames. become. If such similar scenes are separately encoded, image encoding is performed for each frame, and redundant codes exist.
The code amount will increase.
【０００４】本発明は、符号量の増大を抑制する画像信
号符号化方法を提供することを課題とする。An object of the present invention is to provide an image signal encoding method for suppressing an increase in the amount of code.
【０００５】[0005]
【課題を解決するための手段】上記の課題を解決するた
め、本発明による第１の発明は、静止画像信号あるいは
動画像信号を符号化する画像信号符号化方法において、
複数の画像フレーム信号間で類似度または特徴量を算出
する過程と、該算出された類似度または特徴量の値に従
って前記複数の画像フレーム信号の並べ替えを行う過程
と、該並べ替えた画像フレーム信号を圧縮符号化する過
程と、を有することを特徴とする。According to a first aspect of the present invention, there is provided an image signal encoding method for encoding a still image signal or a moving image signal.
Calculating a similarity or a feature value between the plurality of image frame signals; reordering the plurality of image frame signals according to the calculated similarity or feature value; Compression encoding the signal.
【０００６】本発明による第２の発明は、静止画像信号
あるいは動画像信号を符号化する画像信号符号化方法に
おいて、複数の画像フレーム信号間で類似度または特徴
量を算出する過程と、該算出された類似度または特徴量
の値に従って前記複数の画像フレーム信号をグループ化
する過程と、該グループ化によりまとめられたグループ
毎の画像フレーム信号を該グループ毎に圧縮符号化する
過程と、を有することを特徴とする。According to a second aspect of the present invention, there is provided an image signal encoding method for encoding a still image signal or a moving image signal, wherein a similarity or a feature amount is calculated between a plurality of image frame signals, and the calculation is performed. Grouping the plurality of image frame signals according to the value of the similarity or the feature amount obtained, and compressing and encoding the image frame signals of each group combined by the grouping for each group. It is characterized by the following.
【０００７】本発明による第３の発明は、静止画像信号
あるいは動画像信号を符号化する画像信号符号化方法に
おいて、複数の画像フレーム信号間で類似度または特徴
量を算出する過程と、該算出された類似度または特徴量
の値に従って前記複数の画像フレーム信号をグループ化
する過程と、該グループ化された各グループ内で前記類
似度または特徴量の値に従って画像フレーム信号の並べ
替えを行う過程と、該並べ替えられたグループ毎の画像
フレーム信号を、該グループ毎に圧縮符号化する過程
と、を有することを特徴とする。According to a third aspect of the present invention, there is provided an image signal encoding method for encoding a still image signal or a moving image signal, wherein a similarity or a feature amount is calculated between a plurality of image frame signals, and the calculation is performed. Grouping the plurality of image frame signals according to the calculated similarity or feature value, and rearranging the image frame signals according to the similarity or feature value within each of the grouped groups. And a step of compression-encoding the rearranged image frame signals of each group for each group.
【０００８】本発明による第４の発明は、上記第２、第
３の発明において、グループ毎に圧縮符号化する過程の
前に、該グループを前記類似度または特徴量の値に従っ
て並べ替えを行う過程を有することを特徴とする。According to a fourth aspect of the present invention, in the above second and third aspects, prior to the step of compression-encoding for each group, the groups are rearranged according to the value of the similarity or feature amount. It is characterized by having a process.
【０００９】本発明による第５の発明は、上記第３の発
明において、複数の画像フレーム信号間で類似度または
特徴量を算出する過程では、類似度または特徴量として
第１の類似度または特徴量と第２の類似度または特徴量
を算出し、該算出された類似度または特徴量の値に従っ
て前記複数の画像フレーム信号をグループ化する過程で
は、前記第１の類似度または特徴量の値に従ってグルー
プ化を行い、該グループ化された各グループ内で前記類
似度または特徴量の値に従って画像フレーム信号の並べ
替えを行う過程では、前記第２の類似度または特徴量の
値に従って並べ替えを行うことを特徴とする。According to a fifth aspect of the present invention, in the third aspect, the step of calculating the similarity or the feature amount between the plurality of image frame signals includes the first similarity or the feature amount as the similarity or the feature amount. Calculating a quantity and a second similarity or feature quantity, and grouping the plurality of image frame signals according to the calculated similarity or feature quantity value. In the step of rearranging the image frame signals according to the value of the similarity or the feature amount within each grouped group, the rearrangement is performed according to the value of the second similarity or the feature amount. It is characterized by performing.
【００１０】以上の第２、３、４、５の発明により、一
層、符号量の増大を抑制して効率良く画像信号を圧縮符
号化する。According to the second, third, fourth, and fifth aspects of the present invention, an increase in the code amount is further suppressed, and the image signal is efficiently compressed and encoded.
【００１１】本発明による第６の発明は、上記第１〜第
５の発明において、前記類似度または特徴量は、複数の
画像フレーム信号間で画素値または動きベクトルの比較
により、あるいは画像フレームの画素値または動きベク
トルから算出したものであることを特徴とする。この第
６の発明により、グループ化、あるいは画像信号の並べ
替えを容易にする。According to a sixth aspect of the present invention, in the first to fifth aspects, the similarity or the feature amount is obtained by comparing pixel values or motion vectors between a plurality of image frame signals, or by comparing an image frame. It is characterized by being calculated from a pixel value or a motion vector. According to the sixth aspect, grouping or rearrangement of image signals is facilitated.
【００１２】本発明による第７の発明は、上記第１、第
３〜第５の発明において、複数の画像フレーム信号間で
類似度または特徴量を算出する過程では、まず各１枚ず
つの画像フレーム信号あるいは前記複数の画像フレーム
信号またはその中の複数のまとまった画像フレーム信号
毎に類似度または特徴量を算出し、並べ替えを行う過程
では、該類似度または特徴量に基づいてシーンの類似す
る画像フレーム信号が隣接するように該並べ替えを行う
ことを特徴とする。According to a seventh aspect of the present invention, in the first, third to fifth aspects of the present invention, in the process of calculating the degree of similarity or characteristic amount between a plurality of image frame signals, one image is first used for each image frame signal. In the process of calculating a similarity or a feature for each of the frame signals or the plurality of image frame signals or a plurality of integrated image frame signals therein and performing the rearrangement, the similarity of the scene is determined based on the similarity or the feature. The rearrangement is performed so that the image frame signals to be arranged are adjacent to each other.
【００１３】本発明による第８の発明は、上記第１、第
３〜第５の発明において、複数の画像フレーム信号間で
類似度または特徴量を算出する過程では、まず規格化さ
れた画像符号化技術を用いて圧縮された符号化データを
伸長して該画像フレーム信号を生成し、次に該生成され
た各１枚ずつの画像フレーム信号あるいは前記複数の画
像フレーム信号またはその中の複数のまとまった画像フ
レーム信号毎に類似度または特徴量を算出し、並べ替え
を行う過程では、該類似度または特徴量に基づいてシー
ンの類似する画像フレーム信号が隣接するように該並べ
替えを行うことを特徴とする。According to an eighth aspect of the present invention, in the first, third to fifth aspects of the present invention, in the process of calculating the similarity or feature amount between a plurality of image frame signals, first, a standardized image code is used. The image data is generated by decompressing the encoded data that has been compressed using the encoding technique, and then the generated image frame signals or the plurality of image frame signals or the plurality of image frame signals therein are generated. In the process of calculating the degree of similarity or feature amount for each of the grouped image frame signals and performing the rearrangement, the rearrangement is performed based on the degree of similarity or the amount of characteristic so that image frame signals having similar scenes are adjacent to each other. It is characterized by.
【００１４】本発明による第９の発明は、上記第１、第
３〜第５の発明において、複数の画像フレーム信号間で
類似度または特徴量を算出する過程では、まず原画像デ
ータから画像処理により最終的に符号化して出力する画
像フレーム信号を生成し、次に該生成された各１枚ずつ
の画像フレーム信号あるいは前記複数の画像フレーム信
号またはその中の複数のまとまった画像フレーム信号毎
に類似度または特徴量を算出し、並べ替えを行う過程で
は、該類似度または特徴量に基づいてシーンの類似する
画像フレーム信号が隣接するように該並べ替えを行うこ
とを特徴とする。According to a ninth aspect of the present invention, in the first, third to fifth aspects of the present invention, in the process of calculating the degree of similarity or characteristic amount between a plurality of image frame signals, image processing is first performed from original image data. To generate an image frame signal to be finally encoded and output, and then generate each of the generated image frame signals or each of the plurality of image frame signals or a plurality of integrated image frame signals therein. In the process of calculating the similarity or the feature amount and performing the rearrangement, the rearrangement is performed based on the similarity or the feature amount so that the image frame signals having similar scenes are adjacent to each other.
【００１５】以上の第７、８、９の発明により、種々の
映像ソースに対しての本発明の適用を容易にするととも
に、第８、第９の発明により、一層、符号量の増大を抑
制して効率良く画像信号を圧縮符号化する。According to the seventh, eighth, and ninth aspects, the present invention can be easily applied to various video sources, and the eighth and ninth aspects can further suppress an increase in the code amount. And efficiently compresses and encodes the image signal.
【００１６】本発明では、画像情報蓄積を目的とする場
合など、符号化時に静止画像でのフレーム順序、動画像
での時間順序を要求されない画像信号符号化時に、各１
枚ずつの画像フレーム信号あるいは全画像フレーム信号
またはその中の複数のまとまった画像フレーム信号毎に
画像を比較するなどして、シーンの類似するフレーム画
像を隣接するように並べ替えたり、グループ化したりし
て、フレーム間の相関性を利用し圧縮することにより、
フレーム画像間の冗長度をなくして符号量の増大を抑制
し、画像信号を効率良く圧縮符号化する。According to the present invention, when encoding an image signal which does not require a frame order in a still image and a time order in a moving image when encoding, for example, for the purpose of storing image information, each one is used.
Sorting or grouping similar frame images of scenes adjacent to each other, such as by comparing images for each image frame signal, all image frame signals, or a plurality of integrated image frame signals among them By compressing using the correlation between frames,
Eliminating redundancy between frame images suppresses an increase in the code amount, and efficiently compresses and encodes image signals.
【００１７】[0017]
【発明の実施の形態】以下、本発明の実施形態例を、図
を用いて詳細に説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
【００１８】〔実施形態例１〕本発明の第１の実施形態
例の画像信号符号化方法を、図１、図２、図３を用いて
説明する。[Embodiment 1] An image signal encoding method according to a first embodiment of the present invention will be described with reference to FIGS. 1, 2 and 3. FIG.
【００１９】図１は、本実施形態例を実現するための構
成例を示すブロック図である。本実施形態例は、複数の
静止画像データあるいは長時間の動画像データを圧縮
し、蓄積する場合に適用した例であり、図１の構成例
は、画像信号入力部２０、画像信号出力部２１、画像信
号圧縮符号化部２２、画像信号伸長部２３、第１次画像
信号蓄積部２４、第２次画像信号圧縮符号化部２５、第
２次画像信号伸長部２６、および第２次画像信号蓄積部
２７を有する。FIG. 1 is a block diagram showing a configuration example for realizing this embodiment. The present embodiment is an example in which a plurality of still image data or long-time moving image data are compressed and stored, and the configuration example in FIG. 1 includes an image signal input unit 20 and an image signal output unit 21. , Image signal compression / encoding unit 22, image signal decompression unit 23, primary image signal storage unit 24, secondary image signal compression / encoding unit 25, secondary image signal decompression unit 26, and secondary image signal It has a storage unit 27.
【００２０】図２は本実施形態例におけるフレーム画像
（本発明における画像フレーム信号を指す）本来のフレ
ーム順序の説明図であり、複数のフレーム画像１０が、
第１フレーム画像１、第２フレーム画像２、第３フレー
ム画像３、第４フレーム画像４、第ｎ−２フレーム画像
ｎ−２、第ｎ−１フレーム画像ｎ−１、第ｎフレーム画
像ｎというように、本来のフレーム順序で並んでいる様
子を示している。図３は本実施形態例によって並べ替え
られたフレーム画像の説明図であり、図３において図２
と同一の番号を振ってあるフレーム画像は図２と同一の
フレーム画像である。FIG. 2 is a diagram for explaining the original frame order of a frame image (indicating an image frame signal in the present invention) in this embodiment.
The first frame image 1, the second frame image 2, the third frame image 3, the fourth frame image 4, the (n-2) th frame image n-2, the (n-1) th frame image n-1, and the nth frame image n In this manner, the frames are arranged in the original frame order. FIG. 3 is an explanatory diagram of the frame images rearranged according to the embodiment, and FIG.
2 are the same frame images as those in FIG.
【００２１】画像信号圧縮符号化部２２では、フレーム
順序の入れ替えはほとんどなく、フレーム相関や動画像
データの場合には動き補償などの信号処理を加えた画像
信号圧縮符号化を行なう。これにより符号化されたデー
タを第１次画像信号蓄積部２７において蓄積記録する。
第２次画像信号圧縮符号化部２８では、次に述べるフレ
ーム間順序を無視した並べ替えを用いることによる符号
化を行なう。The image signal compression encoding section 22 rarely changes the frame order, and performs image signal compression encoding including signal processing such as motion compensation in the case of frame correlation or moving image data. Thus, the encoded data is stored and recorded in the primary image signal storage unit 27.
The secondary image signal compression encoder 28 performs encoding by using rearrangement that ignores the inter-frame order described below.
【００２２】第２次画像信号圧縮符号化部２８では、一
旦、蓄積記録された符号化データを伸長したのち、図２
における１からｎまでの各フレームを比較し、同一画像
あるいは類似している画像であると判断できる画像を、
図３の例に示すように並べ替える。図３の例では、第ｎ
フレームと第ｎ−２フレーム、第３フレーム、第１フレ
ームが類似する画像集合であると判断されてまとめられ
ている。また最後のフレームでは第ｎ−１フレーム、第
４フレーム、第２フレームが類似するフレーム画像集合
であると判断されてまとめられている。The secondary image signal compression / encoding unit 28 once decompresses the accumulated and recorded encoded data,
By comparing each frame from 1 to n in the above, an image that can be determined to be the same image or a similar image is
Rearrange as shown in the example of FIG. In the example of FIG.
The frame and the (n-2) th frame, the third frame, and the first frame are determined to be similar image sets and are combined. In the last frame, the (n-1) th frame, the fourth frame, and the second frame are determined to be similar frame image sets and are combined.
【００２３】フレームの相関などにより類似していると
判断されない画像は、次の類似フレーム画像集合として
扱われ、フレームの順が決定される。このとき、第一番
目の類似フレーム画像集合ともっとも相関のある類似フ
レーム画像集合を第二番目の類似フレーム画像集合とし
て並べる。そして並べ替えられたフレーム画像データを
符号化する。Images that are not determined to be similar due to frame correlation or the like are treated as the next similar frame image set, and the frame order is determined. At this time, a similar frame image set most correlated with the first similar frame image set is arranged as a second similar frame image set. Then, the rearranged frame image data is encoded.
【００２４】なお、フレーム画像の類似の判断には、例
えば、複数のフレーム画像間の同位置の画素値の絶対値
差分、またはフレーム画像間の輝度値の差の二乗和等か
ら算出した類似度、あるいは複数のフレーム画像間の動
きベクトル等の比較により算出した類似度、あるいはフ
レーム画像とフレーム画像の差から求めた相関係数など
を用いることができる。あるいは、フレーム画像の輝度
の平均値などの特徴量を算出して、この特徴量の大小、
またはフレーム間の特徴量の差を用いて、類似画像集合
のグループ化や、最適化、並べ替え等を行っても良い。The similarity between the frame images is determined, for example, by calculating the similarity calculated from the absolute value difference of the pixel value at the same position between a plurality of frame images, or the sum of squares of the difference between the luminance values between the frame images. Alternatively, a similarity calculated by comparing a motion vector or the like between a plurality of frame images, a correlation coefficient obtained from a difference between frame images, or the like can be used. Alternatively, a feature amount such as the average value of the luminance of the frame image is calculated,
Alternatively, grouping, optimization, rearrangement, and the like of similar image sets may be performed using the difference in the feature amount between frames.
【００２５】このようにしてフレーム順序が最適化され
たフレーム画像の圧縮符号データを第２次画像信号蓄積
部２７において蓄積記録する。ここで、元のフレーム順
序を示す情報は、例えば、各フレーム画像の圧縮符号デ
ータに付与する。The compressed code data of the frame image having the optimized frame order is stored and recorded in the secondary image signal storage unit 27. Here, the information indicating the original frame order is added to, for example, the compression code data of each frame image.
【００２６】第２次画像信号伸長部２６では、第２次画
像信号蓄積部２７に蓄積記録された画像符号データから
元のフレーム順序の情報に基づいてフレーム順序を元に
戻したフレーム画像信号の列に戻して符号化し、第１次
画像信号蓄積部２４において一時記録する。さらに画像
信号伸長部２３において画像符号を伸長し、画像出力部
２１で画像として出力する。The secondary image signal decompression unit 26 converts the frame image signal whose frame order has been restored from the image code data stored in the secondary image signal storage unit 27 based on the information of the original frame order. The image is returned to the column and encoded, and is temporarily recorded in the primary image signal storage unit 24. Further, the image code is expanded in the image signal expansion unit 23 and output as an image in the image output unit 21.
【００２７】このようにフレームの順番にこだわらず各
フレーム画像を比較し、類似するフレーム画像であると
判断した場合に隣り合うようにフレーム画像を並べ替え
ることにより、画像符号化時に画像の持つ冗長度を省
き、効率良く画像を符号化することができる。As described above, the frame images are compared regardless of the order of the frames, and when the frame images are determined to be similar, the frame images are rearranged so as to be adjacent to each other. It is possible to efficiently encode an image with a reduced degree.
【００２８】なお、上記では、複数のフレーム画像を類
似フレーム画像集合にグループ化する例を示したが、さ
らに各類似フレーム画像集合の中のフレーム画像を、例
えば、比較した画像間の差が最小のもの、すなわち類似
度の最大のものを順に並べたり、特徴量の大きい順また
は小さい順に並べたりすることにより、シーンの類似す
る画像が隣り合うように並べ替えても良い。その各類似
フレーム画像の並べ替え時には、グループ化の際に用い
た類似度や特徴量とは異なる類似度や特徴量を用いても
良い。また、グループ化を行わずに、全フレーム画像、
あるいはその中のまとまった複数のフレーム画像を、上
記と同様にして類似するシーンが隣り合うように並べて
も良い。グループ化に関しては、このように類似度や特
徴量に従って並べ替えを行った後で、特徴量の差や類似
度がある閾値以上であるフレーム画像をシーンが変わる
部分であるとして、そのフレーム画像の前後でグループ
分けを行ってもよい。In the above description, an example in which a plurality of frame images are grouped into a similar frame image set has been described, but the frame images in each similar frame image set are further compared, for example, with the smallest difference between the compared images. By sorting the images having the highest similarity in order, or by increasing or decreasing the amount of feature, images having similar scenes may be rearranged. When rearranging the similar frame images, a similarity or a feature amount different from the similarity or the feature amount used in grouping may be used. Also, without performing grouping, all frame images,
Alternatively, a plurality of frame images contained therein may be arranged such that similar scenes are adjacent to each other in the same manner as described above. With regard to grouping, after rearranging according to the similarity and the feature amount in this way, a frame image in which the difference in the feature amount or the similarity is equal to or greater than a certain threshold is regarded as a portion where the scene changes, and the frame image Grouping may be performed before and after.
【００２９】〔実施形態例２〕上記第１の実施形態例で
は、第１次画像信号蓄積部において蓄積された画像デー
タを用いてさらにフレーム画像並べ替えによる符号化を
行なったが、第１次画像信号蓄積部におけるデータをＭ
ＰＥＧ２符号として、ＭＰＥＧ２符号からさらに情報圧
縮を行なって、一層、効率良く画像信号を符号化するこ
とが可能であり、その例が本発明の第２の実施形態例で
ある。[Second Embodiment] In the first embodiment, the encoding by the frame image rearrangement is further performed by using the image data accumulated in the primary image signal accumulating unit. The data in the image signal storage unit is M
As the PEG2 code, it is possible to further efficiently compress the image signal by further compressing the information from the MPEG2 code, and this is an example of the second embodiment of the present invention.
【００３０】本発明の第２の実施形態例の画像信号符号
化方法を図４を用いて説明する。図４は、本実施形態例
を実現するための構成例を示すブロック図であり、本構
成例は、画像信号入力部３０、画像信号出力部３１、画
像信号圧縮符号化部３２、画像信号伸長部３３、第１次
画像信号蓄積部３４、第２次画像信号伸長部３５、第３
次画像信号圧縮符号化部３６、第２次画像信号圧縮符号
化部３７、第３次画像信号伸長部３８、および第２次画
像信号蓄積部３９を有する。An image signal encoding method according to a second embodiment of the present invention will be described with reference to FIG. FIG. 4 is a block diagram showing a configuration example for realizing the present embodiment. This configuration example includes an image signal input unit 30, an image signal output unit 31, an image signal compression and encoding unit 32, and an image signal decompression unit. Unit 33, primary image signal storage unit 34, secondary image signal decompression unit 35, third
It has a next image signal compression encoding section 36, a second image signal compression encoding section 37, a third image signal decompression section 38, and a second image signal accumulation section 39.
【００３１】画像信号圧縮符号化部３２では、画像信号
入力部３０で入力された画像信号をＭＰＥＧ２符号に符
号化する。これにより符号化されたＭＰＥＧ２符号を、
第１次画像信号蓄積部３４において蓄積記録する。第２
次画像信号伸長部３５では、蓄積記録されたＭＰＥＧ２
符号を伸長し、複数の各フレーム画像データに戻した
後、第２次画像信号圧縮符号化部３７において各フレー
ム画像の比較による類似度や相関係数、特徴量等を用い
て第１の実施形態例と同様にグループ化を行ったり、フ
レーム画像の並べ替えを行なって類似するフレーム画像
を隣接させたりして符号化する。この画像符号は、第２
次画像信号蓄積部３９で蓄積記録する。The image signal compression / encoding section 32 encodes the image signal input by the image signal input section 30 into an MPEG2 code. The MPEG2 code thus coded is
The primary image signal accumulating section 34 accumulates and records. Second
In the next image signal decompression unit 35, the stored and recorded MPEG2
After the code is decompressed and returned to a plurality of frame image data, the second image signal compression / encoding unit 37 uses a similarity, a correlation coefficient, a feature amount, and the like obtained by comparing the frame images in the first embodiment. Similar to the embodiment, grouping is performed, or frame images are rearranged and similar frame images are adjacently encoded. This image code is
The next image signal accumulating section 39 accumulates and records.
【００３２】第３次画像信号伸長部３８において復号お
よびフレーム順序を元に戻し、第３次画像信号圧縮符号
化部３６においてＭＰＥＧ２符号化を行なう。符号化さ
れたデータを第１次画像信号蓄積部３４で記録し、画像
信号伸長部３３で画像符号を伸長し、画像出力部３１で
画像として出力する。The tertiary image signal decompression unit 38 restores the decoding and frame order, and the tertiary image signal compression encoding unit 36 performs MPEG2 encoding. The encoded data is recorded in the primary image signal storage unit 34, the image code is expanded in the image signal expansion unit 33, and the image output unit 31 outputs it as an image.
【００３３】このようにＭＰＥＧ２符号化された画像デ
ータを用いて、フレームの順番にこだわらず各フレーム
画像を比較し、類似するフレーム画像であると判断した
場合に隣り合うようにフレーム画像を並べ替えることに
より、画像符号化時に画像の持つ冗長度を省き、一層、
効率良く画像を符号化することができる。Using the image data thus coded by MPEG2, each frame image is compared irrespective of the order of the frames, and when it is determined that the frame images are similar, the frame images are rearranged so as to be adjacent to each other. This eliminates the redundancy of the image at the time of image encoding,
An image can be efficiently encoded.
【００３４】〔実施形態例３〕上記実施形態例では、第
１次画像信号蓄積部において蓄積された画像データを用
いてさらにフレーム画像並べ替えによる符号化、および
ＭＰＥＧ２符号からさらに情報圧縮を行なって画像符号
化する例を示したが、中間的に画像符号化したデータを
蓄積記録することなく、直接、映像ソースから与えられ
るフレーム画像を、類似フレーム画像が隣接するように
並べ替えることにより、上記実施形態例と同様に効率良
く画像符号化することが可能である。この例が本発明の
第３の実施形態例である。[Embodiment 3] In the above-described embodiment, the image data accumulated in the primary image signal accumulating section is further used for encoding by rearranging frame images and for further compressing information from MPEG2 code. Although an example of image encoding has been shown, the frame image directly given from the video source is rearranged such that similar frame images are adjacent to each other without storing and recording intermediately image-encoded data. Image coding can be performed efficiently as in the case of the embodiment. This is a third embodiment of the present invention.
【００３５】本発明の第３の実施形態例の画像信号符号
化方法を図５を用いて説明する。図５は、本実施形態例
を実現するための構成例を示すブロック図であり、本構
成例は、画像信号入力部４０、画像信号出力部４１、画
像信号圧縮符号化部４２、画像信号伸長部４３、および
画像信号蓄積部４４を有する。An image signal encoding method according to a third embodiment of the present invention will be described with reference to FIG. FIG. 5 is a block diagram illustrating a configuration example for realizing the present embodiment. The configuration example includes an image signal input unit 40, an image signal output unit 41, an image signal compression encoding unit 42, and an image signal decompression unit. It has a unit 43 and an image signal storage unit 44.
【００３６】画像入力部４０において入力された画像
を、画像信号圧縮符号化部４２においてフレーム画像比
較し、フレーム入れ替えを行なって圧縮符号化し、画像
信号蓄積部４４において蓄積記録する。画像信号伸長部
４３において符号を伸長しフレーム順序を元に戻して、
画像を画像出力部４１において出力する。The image input in the image input section 40 is compared with a frame image in an image signal compression / encoding section 42, the frames are exchanged, compression-encoded, and stored in an image signal accumulation section 44. The code is expanded in the image signal expansion unit 43 to restore the frame order,
The image is output in the image output unit 41.
【００３７】このように、直接、各入力フレーム画像を
比較し、類似するフレーム画像であると判断した場合に
は、第１の実施形態例と同様にグループ化したり、並べ
替えしたりして、類似するフレーム画像が隣り合うよう
に並べ替えることにより、画像符号化時に画像の持つ冗
長度を省き、効率良く画像信号を符号化することができ
る。As described above, each input frame image is directly compared, and if it is determined that they are similar frame images, they are grouped or rearranged in the same manner as in the first embodiment. By rearranging similar frame images so as to be adjacent to each other, it is possible to omit the redundancy of the image at the time of image encoding and to efficiently encode the image signal.
【００３８】以上では本発明の３つの実施形態例を述べ
たが、本発明の精神を脱することなく種々の変更が可能
なことは言うまでもない。上記実施形態例ではＭＰＥＧ
２による符号データを用いてさらにフレーム並べ替えに
よる圧縮符号化などを行なったが、単にＤＣＴ変換され
て伝送される動画像信号、動き補償による符号化された
画像、画像データベースなどに用いられる複数の静止画
像データなど、複数枚の静止画像および動画像データを
用いて圧縮符号化することが可能である。また、本発明
は、全フレーム画像に対しても、その一部分の複数のフ
レーム画像に対しても適用可能である。Although three embodiments of the present invention have been described above, it goes without saying that various modifications can be made without departing from the spirit of the present invention. In the above embodiment, MPEG
Compression coding and the like by frame rearrangement are further performed using the coded data according to 2 above, but a plurality of moving image signals simply transmitted by DCT conversion, images coded by motion compensation, a plurality of It is possible to perform compression encoding using a plurality of still images and moving image data such as still image data. In addition, the present invention can be applied to all frame images and a part of the plurality of frame images.
【００３９】[0039]
【発明の効果】以上説明したように、本発明によれば、
各１枚ずつの画像フレーム信号あるいは全画像フレーム
信号、またはその中の複数のまとまったフレーム画像毎
に画像を比較するなどして求めた類似度や特徴量に従っ
てシーンの類似する画像が隣接するよう画像フレーム信
号を並べ替えたり、あるいは類似フレーム画像集合にグ
ループ化したりした後、フレーム間の相関性を利用して
圧縮するようにしたので、画像信号の持つ冗長度をなく
して画像信号を効率良く圧縮符号化することができる。
この新しい画像信号符号化方法により、従来では不可能
であった高効率の画像圧縮・符号化による映像蓄積記録
が可能となる。As described above, according to the present invention,
According to the degree of similarity and the feature amount obtained by comparing images for each image frame signal or all image frame signals, or for a plurality of integrated frame images therein, images having similar scenes are adjacent to each other. After the image frame signals are rearranged or grouped into a similar frame image set, they are compressed using the correlation between frames, so that the redundancy of the image signals is eliminated and the image signals are efficiently processed. Can be compression encoded.
This new image signal encoding method enables high-efficiency image compression / encoding and image storage / recording that were not possible in the past.
【図面の簡単な説明】[Brief description of the drawings]
【図１】本発明の第１の実施形態例の画像信号符号化方
法の説明図である。FIG. 1 is an explanatory diagram of an image signal encoding method according to a first embodiment of the present invention.
【図２】上記第１の実施形態例における画像のフレーム
順序の説明図である。FIG. 2 is an explanatory diagram of a frame order of an image in the first embodiment.
【図３】上記第１の実施形態例における画像のフレーム
順序を入れ替えた画像列の説明図である。FIG. 3 is an explanatory diagram of an image sequence in which the frame order of images in the first embodiment is changed.
【図４】本発明の第２の実施形態例の画像符号化方法の
説明図である。FIG. 4 is an explanatory diagram of an image encoding method according to a second embodiment of the present invention.
【図５】本発明の第３の実施形態例の画像符号化方法の
説明図である。FIG. 5 is an explanatory diagram of an image encoding method according to a third embodiment of the present invention.
１…第１フレーム画像 ２…第２フレーム画像 ３…第３フレーム画像 ４…第４フレーム画像 ｎ−２…第ｎ−２フレーム画像 ｎ−１…第ｎ−１フレーム画像 ｎ…第ｎフレーム画像 １０…フレーム画像 ２０…画像信号入力部 ２１…画像信号出力部 ２２…画像信号圧縮符号化部 ２３…画像信号伸長部 ２４…第１次画像信号蓄積部 ２５…第２次画像信号圧縮符号化部 ２６…第２次画像信号伸長部 ２７…第２次画像信号蓄積部 ３０…画像信号入力部 ３１…画像信号出力部 ３２…画像信号圧縮符号化部 ３３…画像信号伸長部 ３４…第１次画像信号蓄積部 ３５…第２次画像信号伸長部 ３６…第３次画像信号圧縮符号化部 ３７…第２次画像信号圧縮符号化部 ３８…第３次画像信号伸長部 ３９…第２次画像信号蓄積部 ４０…画像信号入力部 ４１…画像信号出力部 ４２…画像信号圧縮符号化部 ４３…画像信号伸長部 ４４…画像信号蓄積部 DESCRIPTION OF SYMBOLS 1 ... 1st frame image 2 ... 2nd frame image 3 ... 3rd frame image 4 ... 4th frame image n-2 ... n-2nd frame image n-1 ... n-1st frame image n ... nth frame image DESCRIPTION OF SYMBOLS 10 ... Frame image 20 ... Image signal input part 21 ... Image signal output part 22 ... Image signal compression encoding part 23 ... Image signal decompression part 24 ... Primary image signal accumulation part 25 ... Secondary image signal compression encoding part 26 secondary image signal decompression unit 27 secondary image signal storage unit 30 image signal input unit 31 image signal output unit 32 image signal compression encoding unit 33 image signal decompression unit 34 primary image Signal storage unit 35: secondary image signal decompression unit 36: tertiary image signal compression / encoding unit 37: secondary image signal compression / encoding unit 38: tertiary image signal decompression unit 39: secondary image signal Storage unit 40 ... Image signal input unit 41 The image signal output section 42 ... image signal compression-coding section 43 ... image signal decompression section 44 ... image signal storage unit
Claims (9)
化する画像信号符号化方法において、 複数の画像フレーム信号間で類似度または特徴量を算出
する過程と、 該算出された類似度または特徴量の値に従って前記複数
の画像フレーム信号の並べ替えを行う過程と、 該並べ替えた画像フレーム信号を圧縮符号化する過程
と、 を有することを特徴とする画像信号符号化方法。1. An image signal encoding method for encoding a still image signal or a moving image signal, comprising: calculating a similarity or a feature amount between a plurality of image frame signals; A method of rearranging the plurality of image frame signals according to the value of: and a step of compression-encoding the rearranged image frame signals.
化する画像信号符号化方法において、 複数の画像フレーム信号間で類似度または特徴量を算出
する過程と、 該算出された類似度または特徴量の値に従って前記複数
の画像フレーム信号をグループ化する過程と、 該グループ化によりまとめられたグループ毎の画像フレ
ーム信号を該グループ毎に圧縮符号化する過程と、 を有することを特徴とする画像信号符号化方法。2. An image signal encoding method for encoding a still image signal or a moving image signal, comprising the steps of: calculating a similarity or a characteristic amount between a plurality of image frame signals; Grouping the plurality of image frame signals according to the value of, and compressing and encoding the image frame signals of each group grouped by the grouping for each group. Encoding method.
化する画像信号符号化方法において、 複数の画像フレーム信号間で類似度または特徴量を算出
する過程と、 該算出された類似度または特徴量の値に従って前記複数
の画像フレーム信号をグループ化する過程と、 該グループ化された各グループ内で前記類似度または特
徴量の値に従って画像フレーム信号の並べ替えを行う過
程と、 該並べ替えられたグループ毎の画像フレーム信号を、該
グループ毎に圧縮符号化する過程と、 を有することを特徴とする画像信号符号化方法。3. An image signal encoding method for encoding a still image signal or a moving image signal, comprising: calculating a similarity or a feature amount between a plurality of image frame signals; Grouping the plurality of image frame signals according to the values of the following: and rearranging the image frame signals according to the value of the similarity or feature amount in each of the grouped groups. Compressing and encoding the image frame signals of each group for each group.
に、該グループを前記類似度または特徴量の値に従って
並べ替えを行う過程を有する、 ことを特徴とする請求項２または請求項３に記載の画像
信号符号化方法。4. The method according to claim 2, further comprising a step of rearranging the groups according to the value of the similarity or the feature amount before the step of compression-encoding for each group. The image signal encoding method according to the above.
は特徴量を算出する過程では、類似度または特徴量とし
て第１の類似度または特徴量と第２の類似度または特徴
量を算出し、 該算出された類似度または特徴量の値に従って前記複数
の画像フレーム信号をグループ化する過程では、前記第
１の類似度または特徴量の値に従ってグループ化を行
い、 該グループ化された各グループ内で前記類似度または特
徴量の値に従って画像フレーム信号の並べ替えを行う過
程では、前記第２の類似度または特徴量の値に従って並
べ替えを行う、 ことを特徴とする請求項３に記載の画像信号符号化方
法。5. In the process of calculating a similarity or a feature amount between a plurality of image frame signals, a first similarity or a feature amount and a second similarity or a feature amount are calculated as the similarity or the feature amount. In the step of grouping the plurality of image frame signals according to the calculated similarity or feature value, the grouping is performed according to the first similarity or feature value. 4. The image according to claim 3, wherein in the step of rearranging the image frame signals according to the value of the similarity or the characteristic amount, the rearrangement is performed according to the value of the second similarity or the characteristic amount. Signal encoding method.
フレーム信号間で画素値または動きベクトルの比較によ
り、あるいは画像フレームの画素値または動きベクトル
から算出したものである、 ことを特徴とする請求項１、請求項２、請求項３、請求
項４、請求項５のいずれかに記載の画像信号符号化方
法。6. The similarity or feature amount is calculated by comparing pixel values or motion vectors between a plurality of image frame signals, or calculated from pixel values or motion vectors of image frames. An image signal encoding method according to any one of claims 1, 2, 3, 4, and 5.
は特徴量を算出する過程では、まず各１枚ずつの画像フ
レーム信号あるいは前記複数の画像フレーム信号または
その中の複数のまとまった画像フレーム信号毎に類似度
または特徴量を算出し、 並べ替えを行う過程では、該類似度または特徴量に基づ
いてシーンの類似する画像フレーム信号が隣接するよう
に該並べ替えを行う、 ことを特徴とする請求項１、請求項３、請求項４、請求
項５のいずれかに記載の画像信号符号化方法。7. In the process of calculating the degree of similarity or characteristic amount between a plurality of image frame signals, first, each of the plurality of image frame signals, the plurality of image frame signals, or a plurality of integrated image frame signals therein. In the process of calculating the similarity or the feature amount for each image and performing the rearrangement, the rearrangement is performed based on the similarity or the feature amount so that the image frame signals similar to the scene are adjacent to each other. The image signal encoding method according to any one of claims 1, 3, 4, and 5.
は特徴量を算出する過程では、まず規格化された画像符
号化技術を用いて圧縮された符号化データを伸長して該
画像フレーム信号を生成し、次に該生成された各１枚ず
つの画像フレーム信号あるいは前記複数の画像フレーム
信号またはその中の複数のまとまった画像フレーム信号
毎に類似度または特徴量を算出し、 並べ替えを行う過程では、該類似度または特徴量に基づ
いてシーンの類似する画像フレーム信号が隣接するよう
に該並べ替えを行う、 ことを特徴とする請求項１、請求項３、請求項４、請求
項５のいずれかに記載の画像信号符号化方法。8. In the process of calculating a similarity or a feature amount between a plurality of image frame signals, first, coded data compressed by using a standardized image coding technique is expanded to convert the image frame signals. Then, the degree of similarity or feature amount is calculated for each of the generated image frame signals or the plurality of image frame signals or each of a plurality of integrated image frame signals, and rearrangement is performed. In the process, the rearrangement is performed based on the similarity or the feature amount so that image frame signals having similar scenes are adjacent to each other. The image signal encoding method according to any one of the above.
は特徴量を算出する過程では、まず原画像データから画
像処理により最終的に符号化して出力する画像フレーム
信号を生成し、次に該生成された各１枚ずつの画像フレ
ーム信号あるいは前記複数の画像フレーム信号またはそ
の中の複数のまとまった画像フレーム信号毎に類似度ま
たは特徴量を算出し、 並べ替えを行う過程では、該類似度または特徴量に基づ
いてシーンの類似する画像フレーム信号が隣接するよう
に該並べ替えを行う、 ことを特徴とする請求項１、請求項３、請求項４、請求
項５のいずれかに記載の画像信号符号化方法。9. In the process of calculating a similarity or a feature amount between a plurality of image frame signals, first, an image frame signal to be finally encoded and output from original image data by image processing is generated. Calculating a similarity or a feature amount for each of the obtained one image frame signal or each of the plurality of image frame signals or a plurality of combined image frame signals, and performing the rearrangement in the process of performing the rearrangement. 6. The image according to claim 1, wherein the rearrangement is performed such that similar image frame signals of a scene are adjacent based on the feature amount. Signal encoding method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16810696A JPH1023408A (en) | 1996-06-28 | 1996-06-28 | Method for encoding picture signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16810696A JPH1023408A (en) | 1996-06-28 | 1996-06-28 | Method for encoding picture signal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1023408A true JPH1023408A (en) | 1998-01-23 |
Family
ID=15861965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16810696A Pending JPH1023408A (en) | 1996-06-28 | 1996-06-28 | Method for encoding picture signal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1023408A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006020330A (en) * | 2004-07-01 | 2006-01-19 | Thomson Licensing | Process and device for compressing video documents |
| JP2007158807A (en) * | 2005-12-06 | 2007-06-21 | Sony Corp | Recording and reproducing device and method, recorder and recording method, reproducing device and reproducing method, and program |
| JP2011044140A (en) * | 2009-08-20 | 2011-03-03 | Xerox Corp | Generation of video content from image set |
| JP2020167479A (en) * | 2019-03-28 | 2020-10-08 | 日本電信電話株式会社 | Encoding apparatus, encoding method, and encoding program |
-
1996
- 1996-06-28 JP JP16810696A patent/JPH1023408A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006020330A (en) * | 2004-07-01 | 2006-01-19 | Thomson Licensing | Process and device for compressing video documents |
| JP4734047B2 (en) * | 2004-07-01 | 2011-07-27 | トムソン ライセンシング | Process and apparatus for compressing video documents |
| KR101163774B1 (en) | 2004-07-01 | 2012-07-06 | 톰슨 라이센싱 | Device and process for video compression |
| JP2007158807A (en) * | 2005-12-06 | 2007-06-21 | Sony Corp | Recording and reproducing device and method, recorder and recording method, reproducing device and reproducing method, and program |
| JP4674535B2 (en) * | 2005-12-06 | 2011-04-20 | ソニー株式会社 | Recording / reproducing apparatus and recording / reproducing method, recording apparatus and recording method, and reproducing apparatus and reproducing method |
| JP2011044140A (en) * | 2009-08-20 | 2011-03-03 | Xerox Corp | Generation of video content from image set |
| JP2020167479A (en) * | 2019-03-28 | 2020-10-08 | 日本電信電話株式会社 | Encoding apparatus, encoding method, and encoding program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3888597B2 (en) | Motion compensation coding apparatus and motion compensation coding / decoding method | |
| KR0160610B1 (en) | Method and device for variable length image compression and decompression | |
| US5386234A (en) | Interframe motion predicting method and picture signal coding/decoding apparatus | |
| US6163573A (en) | Equipment and method for compressing picture data | |
| US5777677A (en) | Approximate MPEG decoder with compressed reference frames | |
| US6157741A (en) | Image processing apparatus and image processing method | |
| EP0827344A2 (en) | Video decoder | |
| US5991445A (en) | Image processing apparatus | |
| JP3918263B2 (en) | Compression encoding apparatus and encoding method | |
| JP3463291B2 (en) | Method and apparatus for decoding and displaying a compressed digital video sequence | |
| JP4274653B2 (en) | Moving picture composition apparatus and moving picture composition method | |
| JPH08256308A (en) | Method for arranging and restoring bit stream in digital video tape recorder and data compressing apparatus and decompressing apparatus suitable therefor | |
| JPH1023408A (en) | Method for encoding picture signal | |
| EP1083752A1 (en) | Video decoder with reduced memory | |
| US20060130103A1 (en) | Video playback device | |
| US6034730A (en) | Module switching type picture compressing and reproducing apparatus | |
| JPH0795536A (en) | Device and method for reversely reproducing moving image | |
| JP2001309388A (en) | Error image supplementing method in image decoder | |
| KR100210124B1 (en) | Data deformatting circuit of picture encoder | |
| US20040202251A1 (en) | Faster block processing structure for MPEG decoders | |
| JP3948442B2 (en) | Motion compensation decoding apparatus | |
| KR960013232B1 (en) | Fixed rate video signal compressing encoding/decoding method | |
| KR950008640B1 (en) | Image compression coding method and decoding method for bit fixation | |
| JPH10164594A (en) | Compression encoding method for moving image and device therefor | |
| JPH06276482A (en) | Picture signal coding method, coder, decoding method and decoder |