JP3587376B2

JP3587376B2 - Image information playback device

Info

Publication number: JP3587376B2
Application number: JP2000323183A
Authority: JP
Inventors: 安弘加藤
Original assignee: Funai Electric Co Ltd
Current assignee: Funai Electric Co Ltd
Priority date: 2000-10-23
Filing date: 2000-10-23
Publication date: 2004-11-10
Anticipated expiration: 2020-10-23
Also published as: JP2002135705A

Description

【０００１】
【発明の属する技術分野】
本発明は、光ディスク等に記録された情報を倍速再生させる画像情報再生装置に係り、特に、高速再生時の動画像が滑らかで自然に見える表示を実現し得る画像情報再生装置に関する。
【０００２】
【従来の技術】
原画像を分割して作られる符号化単位であるブロックから画像を生成してモニタ等の画面に表示するとき、動画像が可能な限り自然で滑らかに見えるようにするために各種の提案がなされている。
例えば、ブロック歪みを低減して滑らかな復号画像を得ることを目的とする領域拡大を用いた画像の反復変換符号化装置及び復号装置が知られている（特開平８−７０４５５号公報参照）。
このものは、符号化の単位である隣接したブロック同志の間をお互いに重なり合うように生成させる手段として、オーバーラップブロック生成回路を備えている。
このオーバーラップブロック生成回路を設けると、再生処理（復号化）時にブロックを周辺の画像を含むように拡大してお互いに重なり合うようにし、さらに複数のブロックが重なり合った領域については重みづけ加算を行うので、ブロック歪みがなく滑らかな復号画像を得ることができるというものである。
【０００３】
ところで、この種の装置を含み、ＪＰＥＧ圧縮データを高速再生する装置においては、通常速度に対する倍速再生（再生倍率数）をｎとした場合、これに対応するｎフレームに１フレームの割合で画像データを抜き出し再生していた。
例えば、２倍速再生の場合、隣接したブロックの画像データが順次抜き出され、再生倍率数ｎにおいては数ブロックで１つといった割合で取り出される。
すると、再生された画像データと次に再生された画像データとの連続性が失われ、再生画像がコマ送り表示状態となるために、動画像が不自然で滑らかに見えなくなるという問題が生じていた。
【０００４】
そこで、このような不具合を解消することを目的としたＪＰＥＧ圧縮データ高速再生装置が提案されている（特開平９−１３０７９６公報参照）。
この装置は、再生倍率数の連続するフレームの画面データ群のそれぞれから、他のフレームと重複しない部分の画面データを抜き出して合成することにより、１フレーム分の画面データを再構成する制御部と、この制御部によって再構成された画面データの復号を行う復号器とを備えている。
そして、２倍速再生等を行う場合、制御部が記憶装置から１フレーム分の画面データを作業バッファに転送した後、この作業バッファ側より復号器バッファに対してデータを転送させる。
【０００５】
このとき、作業バッファ内の画面データの一部（部分画面データ）を、走査線位置が他のフレームについての部分画面データの走査線位置と重複しないように転送する。
このようにすると、従来であれば全く表示されていなかった画面データからも部分画面データを取り出し、かつこの部分画面データの集合として１フレーム分の画面データを再構成し、さらに再構成後の画面データに基づく再生出力を行える。
これにより、圧縮前の画像を再生するときに、ＪＰＥＧ圧縮データ中の「場面」が短時間であっても欠落することなく、滑らかな動きの高速再生を実現できるというものである。
【０００６】
【発明が解決しようとする課題】
ところが、上記従来のＪＰＥＧ圧縮データ高速再生装置は、倍速再生時に記憶装置から１フレーム分の画面データを作業バッファに転送した後、他のフレームと重複しない部分の画面データを抜き出して合成するため、短時間の「場面」を欠落させないような表示は可能であるが、動きを示す物に軌跡が残るような表示はできず、やはり動画像が不自然に見えるという欠点があった。
【０００７】
本発明は、上記課題に鑑みて創案されたもので、光ディスク等の記録情報を倍速再生するとき、動きを示す物に軌跡が残るようにして動画像が滑らかに見える表示を行うことができる画像情報再生装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明のうち請求項１に記載の発明は、画像データを記憶するメモリと、前記メモリから読み出された再生倍速数に等しい所定のフレーム数の画像データを記憶する作業バッファと、前記作業バッファから順次読み出された所定数のフレームの各々の画像データを合成して１フレーム分の画面データにデータ処理された合成画像データを記憶する復号器バッファと、前記復号器バッファの合成画像データを画面表示すべく出力する復号器と、装置全体を制御する制御手段とを備え、前記制御手段は、前記作業バッファから読み出した所定数の各フレームのそれぞれの画像データに対して、これら画像データを構成する画素の各色成分の輝度を、各フレームの読み出し順に漸次高くなる割合で、且つ全フレームの合計輝度が前記作業バッファからの読み出し時の輝度となる範囲内の割合で異なるように重み付けする演算処理を行い、この画素の各色成分の輝度が互いに異なるようにデータ処理された各フレームのそれぞれの画像データを合成する加算処理を行って１フレーム分の画面データの合成画像データを生成して、この合成画像データを前記復号器バッファに記憶させたのちに出力させる制御処理を行うことを特徴としている。また、請求項２に記載の発明は、前記制御手段が、合成画像をＭｉｘ、再生倍速数をＮ、フレーム番号をｉ、ｉ番面のフレームの輝度をｌｕｍｉとしたときに、

の式に基づく演算処理を行って合成画像データを生成することを特徴としている。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について、図示例を参照しながら説明する。
図１は、本発明に係る画像情報再生装置の電気的構成を示すブロック線図である。
この画像情報再生装置は、ＤＶＤ（ＤｉｇｉｔａｌＶｉｄｅｏＤｉｓｃ）等の光ディスクに記録された画像データを再生するもので、所定方式で圧縮後、解凍された画像データを記憶するメモリ１と、このメモリ１から読み出した画像データを処理して画像を再生するための作業バッファ２、復号器バッファ３、復号器４および制御部５を備えて構成されている。
【００１０】
作業バッファ２は、メモリ１から読み出される複数フレームに対応した画像データを一時的に保持する。復号器バッファ３は、作業バッファ２から取り出される画像データで画面表示用の画面データを再構成するための記憶領域である。復号器４は、復号器バッファ３内で再構成された画面データの復号（再生）処理を行うものである。
制御部５は、マイクロコンピュータやプロセッサが用いられ、前記作業バッファ２から複数フレームの画像データを取り出すとき、それぞれの画像データを構成する画素の各色成分の輝度が所要の割合で異なるように重みづけを行い、これらの画像データを合成した後、この合成画像データを１フレーム分の画面データとして復号器バッファ３より復号器側に出力させる構成となっている。
【００１１】
次に、上記画像情報再生装置の再生動作について、図を参照しつつ説明する。この画像情報再生装置は、再生動作を指令するリモコンの入力操作によって、再生倍率数ｎでの高速再生が可能であり、ユーザーがリモコンで所望の倍速再生を入力すると、この倍速指令信号に基づき制御部５が動作を開始する。
ユーザーが、例えば、４倍速の再生操作を行うと、制御部５はこれに応じて一連の読み取り動作を実行させた後、その画像データを順次メモリ１に記憶させる。
そして、このメモリ１から再生倍率数ｎ＝４に等しいフレーム数４に対応する画像データを読み出して作業バッファ２に記憶させる。
【００１２】
つぎに、制御部５は、これら４フレームの各画像データを構成する画素の各色成分（基準は、カラーの３原色Ｒ，Ｇ，Ｂであるが、その他の色成分も含む）の輝度が所要の割合で異なるように重みづけの演算処理を行った後、これら４フレーム分の画像データを加算処理（平均化）する。
制御部５が、この重みづけ処理を行うときは、画面上で動きを示す物が軌跡を残す表示となるように、全フレームの画像データの輝度を最大値とした範囲内で、各色成分の輝度が前記画像データの取り出し順に漸次高くなる割合にし、これらの合成画像を生成させる。
【００１３】
但し、この合成画像を生成するために、本例では、下式（１）に基づく演算を行う。

ここで、「Ｍｉｘ」は合成画像、「N 」は再生倍速数、「ｉ」はフレーム番号である。「ｌｕｍｉ」（ルミナンス）は、フレームｉ番目の輝度であり、演算処理時に注目される画素（ピクセル）の輝度を示している。各色成分Ｒ，Ｇ，Ｂの輝度は、各フレームの画像データ毎に異なり、それぞれの数値データで演算処理が実行されることになる。
【００１４】
すなわち、この制御部５は、上記（１）式における再生倍速数「N 」に４を、フレーム番号「ｉ」に０〜３までの数字を、「ｌｕｍｉ」にＲ，Ｇ，Ｂの各色成分の輝度データをそれぞれ代入しつつ演算する。これによって、図２の模式図で示す如くフレームＦ１が輝度１／１５のフレームＦ１１に、フレームＦ２が輝度２／１５のフレームＦ１２に、フレームＦ３が輝度４／１５のフレームＦ１３に、フレームＦ４が輝度８／１５のフレームＦ１４となる。つまり、各フレームＦ１〜Ｆ４の画像データは、各々の画素の各色成分の輝度を時間経過に伴い大きな割合で重み付けした画像データにデータ処理した各フレームＦ１１〜Ｆ１４にそれぞれ変換される。そして、これら４フレームＦ１１〜Ｆ１４分のデータが加算されることにより、フレームＦで示すような合計輝度１の合成画像データが得られる。なお，この合計輝度１は、作業バッファ２からの取り出し時の輝度に等しいものである。
【００１５】
制御部５は、この合成画像データを１フレームＦの画面データとして復号器バッファ３より復号器４側に出力させる。
これにより、モニタの画面には、４フレームＦ１１〜Ｆ１４分が重ね合わされた状態に表示され、動画像が自然で滑らかに見える。
例えば、ボールの飛んでいる場面の画像データがメモリ１に記憶されたとき、従来のように１フレーム分のみが作業バッファ２に読み出されると、図３（ａ）に示す如く画面６にはボール７が実線の状態で表示される。
【００１６】
一方、この実施の形態では、図２に示したように、４フレームＦ１〜Ｆ４分を作業バッファ２に読み出し、その各フレームＦ１〜Ｆ４の画像データを、各々の画素の各色成分の輝度が時間経過に伴い大きな割合で重み付けされた画像データにデータ処理したフレームＦ１１〜Ｆ１４に変換して、この各フレームＦ１１〜Ｆ１４の各々の画像データを合成処理した場合、図３（ｂ）〜（ｅ）の各画面６に破線で示されるように、合成されたボールの各画像の輝度が時間的に後になる程大きな割合で重み付けているので、ボールが連続的な表示状態となり、且つ時間的に後になる程大きな輝度で表示されるから、動画像に欠落が生じないだけでなく、図３（ｅ）に示す画面６で明らかな如くボール７の飛跡が若干残るような表示となる。よって、ユーザーには、残像により動画像が自然で滑らかに見えるものである。なお、上記実施の形態においては、４倍速再生について説明したが、２倍速あるいは５倍速といった高速再生の場合も、上式（１）に基づいて演算処理を行うことにより、滑らかで自然な動画像の再生を実現できる。
【００１７】
【発明の効果】
以上説明したように、本発明のうち請求項１に記載の発明は、作業バッファから再生倍速数に等しいフレーム数の画像データを取り出すとき、それぞれの画像データにおける画素の各色成分の輝度を、時間経過が後になるフレームに従って順次大きくなる所定の割合で重み付けして互いに異ならせ、この輝度を異ならせた各フレームの画像データを合成し、１フレーム分の合成画像データとして出力させるから、従来のように欠落部分が生じることがなく、動きを示す物が画面上で軌跡の残るように表示され、動画像が滑らかに見える高速再生を実現できる効果がある。また、請求項２に記載の発明は、再生倍速数を任意に高く設定した再生においても、再生倍速数に対応したフレーム数の各画像データにおける画素の各色成分の輝度を、時間経過が後になるフレームに従って順次大きくなる好適な割合で重み付けする演算処理を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る画像情報再生装置の電気的構成を示すブロック線図である。
【図２】制御部による画像データの処理過程を説明するための模式図である。
【図３】動画像が画面に表示される状態を説明するための例示図である。
【符号の説明】
１メモリ
２作業バッファ
５制御手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image information reproducing apparatus for reproducing information recorded on an optical disk or the like at double speed, and more particularly to an image information reproducing apparatus capable of realizing a display in which a moving image at the time of high-speed reproduction looks smooth and natural.
[0002]
[Prior art]
When an image is generated from a block which is a coding unit created by dividing an original image and displayed on a screen such as a monitor, various proposals have been made to make the moving image look as natural and smooth as possible. ing.
For example, an iterative transform coding apparatus and decoding apparatus for an image using region enlargement for the purpose of obtaining a smooth decoded image by reducing block distortion are known (see Japanese Patent Application Laid-Open No. 8-70455).
This is provided with an overlap block generation circuit as means for generating adjacent blocks which are units of encoding so as to overlap each other.
When the overlap block generation circuit is provided, the blocks are enlarged so as to include the peripheral image so as to overlap each other at the time of reproduction processing (decoding) so that the blocks overlap each other. Therefore, a smooth decoded image without block distortion can be obtained.
[0003]
By the way, in an apparatus including this kind of apparatus and reproducing JPEG compressed data at a high speed, if the double-speed reproduction (the number of reproduction magnifications) with respect to the normal speed is n, the image data is divided into n frames corresponding to this at a rate of one frame. Was playing out.
For example, in the case of double speed reproduction, image data of adjacent blocks are sequentially extracted, and at a reproduction magnification number n, one block is extracted at a rate of several blocks.
Then, the continuity between the reproduced image data and the next reproduced image data is lost, and the reproduced image enters a frame-by-frame display state, which causes a problem that the moving image becomes unnatural and cannot be seen smoothly. Was.
[0004]
Accordingly, a JPEG compressed data high-speed reproducing apparatus for solving such a problem has been proposed (see Japanese Patent Application Laid-Open No. Hei 9-130796).
The apparatus includes a control unit that reconstructs one frame of screen data by extracting and combining screen data of a portion that does not overlap with another frame from each of the screen data groups of frames having consecutive reproduction magnification numbers. And a decoder for decoding the screen data reconstructed by the control unit.
When performing double-speed playback or the like, the control unit transfers one frame of screen data from the storage device to the work buffer, and then causes the work buffer to transfer the data to the decoder buffer.
[0005]
At this time, a part of the screen data (partial screen data) in the work buffer is transferred so that the scanning line position does not overlap with the scanning line position of the partial screen data for another frame.
In this manner, the partial screen data is also extracted from the screen data which was not displayed at all in the past, and the screen data for one frame is reconstructed as a set of the partial screen data. Reproduction output based on data can be performed.
As a result, when an image before compression is reproduced, "scenes" in JPEG compressed data are not lost even in a short time, and high-speed reproduction of smooth motion can be realized.
[0006]
[Problems to be solved by the invention]
However, the conventional JPEG-compressed data high-speed reproduction apparatus described above transfers one frame of screen data from the storage device to the work buffer during double-speed reproduction, and then extracts and combines screen data of a portion that does not overlap with other frames. Although it is possible to display such that a "scene" for a short time is not lost, it is not possible to display such that a locus remains on an object indicating a motion, and there is a disadvantage that a moving image looks unnatural.
[0007]
SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and when performing double-speed playback of recorded information on an optical disc or the like, an image capable of displaying a moving image so that a moving image looks smooth by leaving a locus on a moving object. It is intended to provide an information reproducing apparatus.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, an invention according to claim 1 of the present invention stores a memory for storing image data and image data of a predetermined number of frames equal to the reproduction speed read out from the memory. A work buffer, a decoder buffer for combining image data of each of a predetermined number of frames sequentially read from the work buffer, and storing combined image data subjected to data processing into screen data for one frame; A decoder for outputting the combined image data in the decoder buffer for screen display; and control means for controlling the entire apparatus, wherein the control means comprises a control unit for controlling the image data of each of a predetermined number of frames read from the work buffer. In contrast, the luminance of each color component of the pixels constituting the image data is gradually increased in the reading order of each frame, and the sum of all the frames is An arithmetic process is performed in which the luminance is weighted so as to be different at a rate within the range of the luminance at the time of reading from the work buffer. It is characterized by performing an addition process of synthesizing data to generate synthesized image data of screen data for one frame, and performing a control process of storing the synthesized image data in the decoder buffer and outputting the synthesized image data . . Also, the invention according to claim 2 is characterized in that the control means sets the mixed image to Mix, the reproduction speed to N, the frame number to i, and the luminance of the i-th frame to lumi.

Is performed by performing arithmetic processing based on the following equation:
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the illustrated examples.
FIG. 1 is a block diagram showing an electrical configuration of an image information reproducing apparatus according to the present invention.
This image information reproducing apparatus reproduces image data recorded on an optical disk such as a DVD (Digital Video Disc). The memory 1 stores compressed and decompressed image data after being compressed by a predetermined method. It comprises a work buffer 2, a decoder buffer 3, a decoder 4, and a control unit 5 for processing the read image data and reproducing the image.
[0010]
The work buffer 2 temporarily stores image data corresponding to a plurality of frames read from the memory 1. The decoder buffer 3 is a storage area for reconstructing screen data for screen display with image data taken out from the work buffer 2. The decoder 4 decodes (reproduces) the screen data reconstructed in the decoder buffer 3.
The control unit 5 uses a microcomputer or a processor, and when extracting image data of a plurality of frames from the work buffer 2, weights the luminance of each color component of a pixel constituting each image data so as to differ at a required ratio. And synthesizes these image data, and then outputs the synthesized image data to the decoder side from the decoder buffer 3 as screen data for one frame.
[0011]
Next, a reproducing operation of the image information reproducing apparatus will be described with reference to the drawings. This image information reproducing apparatus can perform high-speed reproduction at a reproduction magnification number n by an input operation of a remote controller for instructing a reproducing operation. When a user inputs a desired double-speed reproduction with the remote controller, control is performed based on the double-speed command signal. The unit 5 starts operating.
When the user performs, for example, a quadruple-speed playback operation, the control unit 5 executes a series of reading operations in response to the operation, and then sequentially stores the image data in the memory 1.
Then, the image data corresponding to the number of frames 4 equal to the reproduction magnification number n = 4 is read out from the memory 1 and stored in the work buffer 2.
[0012]
Next, the control unit 5 needs the luminance of each color component of the pixels constituting each of the image data of these four frames (the reference is the three primary colors R, G, and B, but also includes other color components). After performing weighting arithmetic processing so as to differ at the ratio of, the image data for these four frames is added (averaged).
When performing the weighting process, the control unit 5 sets each of the color components within a range in which the luminance of the image data of all the frames is the maximum value so that a moving object on the screen leaves a locus. The composite image is generated by making the luminance gradually increase in the order of extracting the image data.
[0013]
However, in order to generate this composite image, in this example, an operation based on the following equation (1) is performed.

Here, “ Mix ” is a composite image, and “ N ” " Is the reproduction speed, and " i " is the frame number. “ Lumi ” (luminance) is the luminance of the i-th frame, and indicates the luminance of a pixel (pixel) that is noticed during the arithmetic processing. The luminance of each of the color components R, G, and B is different for each frame of image data, and the arithmetic processing is performed with the respective numerical data.
[0014]
That is, the control unit 5 sets the reproduction multiple speed “N” in the above equation (1) to 4, a frame number “ i ” to a number from 0 to 3 , and “ lumi ” to the R, G, and B color components. The calculation is performed while substituting the luminance data of. Thereby, as shown in the schematic diagram of FIG. 2, the frame F1 becomes a frame F11 having a luminance of 1/15, the frame F2 becomes a frame F12 having a luminance of 2/15, the frame F3 becomes a frame F13 having a luminance of 4/15, and the frame F4 becomes a frame F4. The frame F14 has a luminance of 8/15. That is, the image data of each of the frames F1 to F4 is converted into image data in which the luminance of each color component of each pixel is weighted at a large rate with the lapse of time into image data F11 to F14. Then, by adding the data of these four frames F11 to F14, composite image data having a total luminance of 1 as shown by the frame F is obtained. Note that the total luminance 1 is equal to the luminance at the time of taking out from the work buffer 2.
[0015]
The control unit 5 causes the decoder buffer 3 to output the synthesized image data as screen data of one frame F to the decoder 4 side.
As a result, the four frames F11 to F14 are displayed in a superimposed state on the monitor screen, and the moving image looks natural and smooth.
For example, when image data of a scene where a ball is flying is stored in the memory 1, if only one frame is read out to the work buffer 2 as in the related art, the screen 6 is displayed on the screen 6 as shown in FIG. 7 is displayed as a solid line.
[0016]
On the other hand, in this embodiment, as shown in FIG. 2, four frames F1 to F4 are read out to the work buffer 2, and the image data of each of the frames F1 to F4 is converted into the luminance of each color component of each pixel. FIGS. 3B to 3E show a case where the image data weighted at a large rate is converted into frames F11 to F14 as the process progresses, and the image data of each of the frames F11 to F14 is synthesized. As shown by a broken line in each screen 6 of the figure, the luminance of each image of the synthesized ball is weighted at a higher rate as the time is later, so that the ball is in a continuous display state , and since degree is displayed in large luminance made, not only is no Ji raw missing moving image, track apparent as the ball 7 on the screen 6 shown in FIG. 3 (e) is slightly remains such a display. Therefore, the moving image looks natural and smooth to the user due to the afterimage. In the above embodiment, quadruple speed playback has been described. However, in the case of high speed playback such as double speed or quintuple speed, a smooth and natural moving image can be obtained by performing arithmetic processing based on the above equation (1). Playback can be realized.
[0017]
【The invention's effect】
As described above, according to the first aspect of the present invention, when the image data of the number of frames equal to the reproduction speed is taken out from the work buffer, the luminance of each color component of the pixel in each image data is obtained by time. Weighting is performed at a predetermined ratio that sequentially increases in accordance with the later frames, and the weights are made different from each other. The image data of each frame having the different brightness is synthesized and output as synthesized image data for one frame. There is no dropout portion, and an object indicating movement is displayed on the screen so that the trajectory remains, so that there is an effect that a high-speed reproduction in which a moving image looks smooth can be realized. Further, according to the second aspect of the present invention , even in the reproduction in which the reproduction speed is set arbitrarily high, the luminance of each color component of the pixel in each image data of the number of frames corresponding to the reproduction speed is changed with time. An arithmetic process of weighting at a suitable ratio that sequentially increases according to the frame can be performed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an electrical configuration of an image information reproducing apparatus according to the present invention.
FIG. 2 is a schematic diagram for explaining a process of processing image data by a control unit.
FIG. 3 is an exemplary diagram for explaining a state in which a moving image is displayed on a screen.
[Explanation of symbols]
1 memory 2 work buffer 5 control means

Claims

A memory for storing image data ,
A work buffer for storing image data of a predetermined number of frames equal to the reproduction speed read from the memory ,
A decoder buffer for combining image data of each of a predetermined number of frames sequentially read from the work buffer and storing combined image data that has been subjected to data processing into screen data for one frame;
A decoder for outputting the synthesized image data of the decoder buffer for screen display,
Control means for controlling the entire apparatus,
The control means, for each image data of each frame of a predetermined number read from the work buffer, the luminance of each color component of the pixels constituting these image data, at a rate of gradually increasing in the reading order of each frame, In addition, a calculation process is performed in which weighting is performed so that the total luminance of all the frames is different from the luminance at the time of reading from the work buffer, and data processing is performed such that the luminance of each color component of this pixel is different from each other. A control process is performed to generate combined image data of one frame of screen data by performing an addition process of combining the respective image data of the frames, store the combined image data in the decoder buffer, and then output the combined image data. An image information reproducing apparatus , characterized in that:

When the control means sets the mixed image to Mix, the playback speed to N, the frame number to i, and the luminance of the i-th frame to lumi,

2. The image information reproducing apparatus according to claim 1, wherein the composite image data is generated by performing an arithmetic process based on the following equation .