JPH10257501A - Image reproducing device - Google Patents

Image reproducing device

Info

Publication number
JPH10257501A
JPH10257501A JP5766797A JP5766797A JPH10257501A JP H10257501 A JPH10257501 A JP H10257501A JP 5766797 A JP5766797 A JP 5766797A JP 5766797 A JP5766797 A JP 5766797A JP H10257501 A JPH10257501 A JP H10257501A
Authority
JP
Japan
Prior art keywords
frame
image
still image
output
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5766797A
Other languages
Japanese (ja)
Other versions
JP3609571B2 (en
Inventor
Shinichiro Koto
晋一郎 古藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP5766797A priority Critical patent/JP3609571B2/en
Publication of JPH10257501A publication Critical patent/JPH10257501A/en
Application granted granted Critical
Publication of JP3609571B2 publication Critical patent/JP3609571B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image reproducing device that adaptively selects a frame in a motion image signal decoded from motion image coding data to enable to reproduce a still image with high and almost constant image quality. SOLUTION: A moving image signal that is obtained by reading moving image coded data recorded on an optical disk 11 through an optical disk drive part 10 and by decoding the data through a decode part 20 is outputted from a moving image output part 22 and a frame with the highest image quality is selected among plural frames including a frame designated by a user and its adjacent frames from the moving image signal via a user interface 32 and the image signal of the frame is outputted via a still image output interface 23.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は動画像符号化データ
を復号して画像を再生する画像再生装置に係り、特に動
画像のみならず動画像から選択された静止画像をも再生
可能とした画像再生装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image reproducing apparatus which reproduces an image by decoding moving image encoded data, and more particularly to an image reproducing apparatus which can reproduce not only a moving image but also a still image selected from the moving images. It relates to a playback device.

【0002】[0002]

【従来の技術】動画像信号を取り込んで、その中の特定
のフレームの画像を静止画像として二次利用するものと
しては、ビデオプリンタ装置やビデオキャプチャ装置が
知られている。従来のビデオプリンタ装置やビデオキャ
プチャ装置は、VTRやレーザディスク装置等の映像機
器からアナログのTV画像信号を入力し、ユーザにより
選択された特定のフレームをサンプリングして、静止画
像として印刷あるいは表示する構成が一般的である。
2. Description of the Related Art Video printers and video capture devices are known as devices that capture a moving image signal and secondary use of a specific frame image as a still image. 2. Description of the Related Art Conventional video printers and video capture devices input an analog TV image signal from a video device such as a VTR or a laser disk device, sample a specific frame selected by a user, and print or display a still image. The configuration is common.

【0003】しかし、VTRやレーザディスク装置等か
ら出力されるTV画像信号は、静止画像として二次利用
するには十分な解像度が確保されているとは言い難い。
さらに、TV画像信号はインタレース走査が行われてい
るために、画像の動きが速い場合には、フレーム画像の
印刷あるいは表示を行うとフィールド間の画像のずれが
顕著に現れてしまい、またフィールド表示を行うと垂直
解像度が低下し、高精細な印刷は困難である。
However, it is hard to say that a TV image signal output from a VTR, a laser disk device, or the like has a sufficient resolution for secondary use as a still image.
Furthermore, since interlaced scanning is performed on the TV image signal, if the movement of the image is fast, printing or displaying the frame image will cause a noticeable image shift between the fields, When the display is performed, the vertical resolution decreases, and it is difficult to perform high-definition printing.

【0004】一方、近年、動画像符号化の国際標準であ
るMPEG−2に基づく符号化方式(以下、MPEG−
2符号化方式という)を用いて圧縮した符号化データを
記憶するディジタルビデオディスク(DVD)とその再
生装置(DVDプレーヤ)が実用化され、これにより民
生機器レベルで高精細な画像が再生可能となりつつあ
る。MPEG−2符号化方式は、周知の通り動画像信号
に対してディジタル処理による動き補償予測直交変換符
号化によって高能率の圧縮符号化を行う方式であり、符
号化データはディジタルデータとして蓄積されているこ
ともあり、従来のアナログ映像機器に比べて高画質な記
録が期待されている。
On the other hand, in recent years, an encoding system based on MPEG-2, which is an international standard for moving image encoding (hereinafter referred to as MPEG-
Digital video disc (DVD) and its playback device (DVD player) that store encoded data compressed using the two-encoding method have been put into practical use, and this enables high-definition images to be reproduced at the consumer device level. It is getting. As is well known, the MPEG-2 encoding method is a method for performing high-efficiency compression encoding of motion picture signals by motion-compensated prediction orthogonal transform encoding by digital processing. The encoded data is stored as digital data. Therefore, high-quality recording is expected compared to conventional analog video equipment.

【0005】しかし、MPEG−2符号化方式は、直交
変換係数を量子化して可変長符号化を行う非可逆符号化
であるため、画像の性質と符号化装置の特性によりフレ
ーム毎に均一な画質を得ることは一般に困難である。ま
た、再生される動画像の画質を向上させるため、一般的
に動き補償予測の参照画像として用いられるフレームに
対しては、参照画像として用いられないフレームよりも
相対的に高いSNRで符号化を行う方法がとられてお
り、このこともフレーム毎の画質が一定しない原因とな
っている。
[0005] However, the MPEG-2 encoding method is an irreversible encoding method in which an orthogonal transform coefficient is quantized to perform variable-length encoding. Therefore, uniform image quality is obtained for each frame depending on the characteristics of the image and the characteristics of the encoding device. Is generally difficult to obtain. Also, in order to improve the image quality of a reproduced moving image, encoding is generally performed at a higher SNR for a frame used as a reference image for motion compensation prediction than for a frame not used as a reference image. The method is performed, which also causes the image quality of each frame to be inconsistent.

【0006】従って、MPEG−2符号化方式により得
られた動画像符号化データから復号される動画像中の特
定のフレームを選択して、静止画像の印刷あるいは表示
を行うと、選択されるフレームに応じて画質が変化して
しまうことになる。
Therefore, when a specific frame in a moving image to be decoded is selected from the moving image encoded data obtained by the MPEG-2 encoding method and a still image is printed or displayed, the selected frame is The image quality changes according to the image quality.

【0007】[0007]

【発明が解決しようとする課題】上述したように、従来
のビデオプリンタ装置やビデオキャプチャ装置でアナロ
グのTV画像信号を取り込んで静止画像を印刷あるいは
表示する場合、一般に解像度が十分でなく、またインタ
レース走査の影響もあって高精細な印刷や表示が困難で
あった。
As described above, when a conventional video printer device or video capture device captures an analog TV image signal and prints or displays a still image, the resolution is generally insufficient and the interface is not sufficient. High-definition printing and display were difficult due to the influence of race scanning.

【0008】さらに、MPEG−2のような高能率動画
像符号化方式による動画像符号化データから復号された
動画像信号では、アナログのTV画像信号に比較して解
像度は高いが、フレーム毎に画質が異なるため、特定の
フレームを選択して印刷あるいは表示を行う場合、選択
されるフレームに応じて画質が異なってしまうという問
題があった。
Further, a moving picture signal decoded from moving picture coded data by a high efficiency moving picture coding method such as MPEG-2 has a higher resolution than an analog TV picture signal, but has a higher resolution for each frame. Since the image quality is different, there is a problem that when a specific frame is selected for printing or display, the image quality is different depending on the selected frame.

【0009】本発明は、動画像符号化データから復号さ
れた動画像信号を通常の動画像再生に加えて高画質な静
止画像信号としても二次利用することを可能とするため
に、復号された動画像中のフレームを適応的に選択して
静止画像信号として出力することができ、しかも画質が
ほぼ一定した高画質の静止画像を再生することができる
画像再生装置を提供することを目的とする。
According to the present invention, a moving picture signal decoded from coded moving picture data is decoded in order to enable secondary use as a high-quality still picture signal in addition to normal moving picture reproduction. An image reproducing apparatus capable of adaptively selecting a frame in a moving image and outputting the selected image as a still image signal, and reproducing a high-quality still image having almost constant image quality. I do.

【0010】[0010]

【課題を解決するための手段】上記課題を解決するた
め、本発明は動画像符号化データから画質の異なる複数
種類のフレームよりなる動画像信号を復号して出力する
画像再生装置において、復号された動画像信号について
例えばユーザにより指定されたフレームおよびその近傍
のフレームを含む複数のフレームから最も高画質のフレ
ームを選択するフレーム選択手段と、動画像信号のうち
フレーム選択手段によって選択されたフレームの画像信
号を静止画像信号として出力する静止画像出力手段とを
有することを特徴とする。
According to the present invention, there is provided an image reproducing apparatus for decoding and outputting a moving image signal comprising a plurality of types of frames having different image qualities from encoded moving image data. Frame selecting means for selecting a frame of the highest image quality from a plurality of frames including a frame specified by a user and a frame in the vicinity of the frame specified by the user, and a frame selected by the frame selecting means in the moving image signal. A still image output means for outputting an image signal as a still image signal.

【0011】このように本発明では、ユーザにより指定
されたフレームとほぼ同様のシーンで、かつ最も高画質
な一つのフレームが自動的に選択され、そのフレームの
の画像信号が静止画像信号として出力される。こうして
出力される静止画像信号は平均的に画質が一定してお
り、ユーザにより指定されたフレームの種類によって大
きく変化してしまうことはない。
As described above, according to the present invention, one frame having the same image quality as the frame specified by the user and having the highest image quality is automatically selected, and the image signal of that frame is output as a still image signal. Is done. The still image signal output in this way has an average constant image quality, and does not significantly change depending on the type of frame specified by the user.

【0012】また、出力された動画像信号について例え
ばユーザにより第1段階で指定されたフレームおよびそ
の近傍のフレームを含むフレーム群を選択するフレーム
群選択手段と、動画像信号のうちフレーム群選択手段に
より選択されたフレーム群の画像信号を出力するフレー
ム群出力手段を有し、フレーム選択手段においては該フ
レーム群から第2段階で指定されたフレームを選択する
ようにしてもよい。フレーム群選択手段は、例えば指定
されたフレームおよびその近傍のフレームのうちからよ
り高画質の複数のフレームをフレーム群として選択すれ
ばよい。
Further, a frame group selecting means for selecting a frame group including a frame designated by the user in the first stage and a frame in the vicinity of the output moving image signal, and a frame group selecting means of the moving image signal And a frame group output unit for outputting an image signal of the frame group selected by the above-described method, and the frame selection unit may select the frame specified in the second stage from the frame group. The frame group selecting means may select, for example, a plurality of frames of higher image quality from the designated frame and its neighboring frames as a frame group.

【0013】このようにすると、ユーザにより指定され
たフレームの近傍でシーンチェンジ等があり、ユーザの
意図に反したフレームが自動選択されるような場合、ユ
ーザにより第1段階で指定されたフレームおよびその近
傍のフレームを含むフレーム群の画像信号を出力してユ
ーザに提示し、次候補を選択することが可能となり、ユ
ーザの意図したフレームを効率的に選択することが可能
となる。
With this configuration, when a scene change or the like occurs near the frame specified by the user and a frame that is contrary to the user's intention is automatically selected, the frame specified by the user in the first step and the An image signal of a frame group including a frame in the vicinity is output and presented to the user, so that the next candidate can be selected, and the frame intended by the user can be efficiently selected.

【0014】フレーム選択手段では、例えばユーザによ
り指定されたフレームおよびその近傍のフレームを含む
複数のフレームから、フレーム内符号化されたフレー
ム、前方予測符号化されたフレーム、両方向予測符号化
されたフレームの優先順位でフレームの選択を行う。
In the frame selecting means, for example, from a plurality of frames including a frame designated by the user and a frame in the vicinity thereof, an intra-frame coded frame, a forward coded frame, a bidirectional predicted coded frame Frame is selected in the priority order.

【0015】MPEG−2符号化方式で用いられる動き
補償予測直交変換符号化では、一般にランダムアクセス
を可能とするとともに、符号化装置と復号装置との直交
変換および逆直交変換における誤差の蓄積を防ぐ目的
で、周期的にフレーム内符号化画像であるIピクチャが
挿入されるので、Iピクチャから離れるに従って画質は
低下する傾向にある。また、Iピクチャおよび前方予測
符号化を行うPピクチャは、それ以降の符号化画像の参
照画像として用いられるため、参照画像として用いられ
ない両方向予測符号化画像であるBピクチャよりも小さ
な量子化スケールで符号化を行い、相対的な画質を上げ
ることで、動画像全体としての符号化効率を向上させる
方法がとられる。
In the motion compensated predictive orthogonal transform coding used in the MPEG-2 coding method, random access is generally enabled, and accumulation of errors in orthogonal transform and inverse orthogonal transform between a coding device and a decoding device is prevented. For the purpose, an I-picture, which is an intra-frame coded image, is inserted periodically, so that the image quality tends to decrease as the distance from the I-picture increases. In addition, since the I picture and the P picture for which the forward prediction coding is performed are used as reference images for the subsequent coded images, the quantization scale is smaller than the B picture which is a bidirectional prediction coded image that is not used as a reference image. In order to improve the relative image quality, a method of improving the coding efficiency of the entire moving image is used.

【0016】これらのことから、時間的に隣接したフレ
ーム中ではIピクチャ、PピクチャおよびBピクチャの
順で、相対的に画質がよいと考えられる。従って、この
順位に従って優先的にフレームを選択して出力すること
によって、より高画質なフレームを選択することが可能
となる。
From these facts, it is considered that the picture quality is relatively good in the order of I picture, P picture and B picture in temporally adjacent frames. Therefore, by selecting and outputting a frame preferentially in accordance with this order, it is possible to select a frame with higher image quality.

【0017】フレーム選択手段は、例えばユーザにより
指定されたフレームおよびその近傍のフレームを含む複
数のフレームのフレーム内平均量子化スケールを算出
し、該フレーム内平均量子化スケールが最小のフレーム
を該複数のフレームから選択するようにしてもよい。
The frame selecting means calculates an average quantization scale within a plurality of frames including, for example, a frame specified by a user and a frame in the vicinity thereof, and determines the plurality of frames having the minimum average quantization scale within the plurality of frames. Frame may be selected.

【0018】一般に、類似した画像では量子化スケール
と画質は相関が強く、量子化スケールが小さくなるほど
高画質である。MPEG−2符号化方式では、画像フレ
ーム内のマクロブロック毎に量子化幅を可変とする枠組
みがとられており、各マクロブロックの量子化幅の情報
は符号化データに多重化されている。従って、ユーザに
より指定されたフレームの近傍フレームで、この量子化
スケールのフレーム内の平均値を計算し、その値が最小
のフレームを選択することにより、高画質なフレームを
選択することが可能となる。
In general, a similar image has a strong correlation between the quantization scale and the image quality, and the smaller the quantization scale, the higher the image quality. In the MPEG-2 encoding method, a framework is employed in which the quantization width is variable for each macroblock in an image frame, and information on the quantization width of each macroblock is multiplexed with encoded data. Therefore, it is possible to select a high-quality frame by calculating an average value in the frame of this quantization scale in a frame near the frame specified by the user and selecting a frame having the minimum value. Become.

【0019】また、上記のフレーム内平均量子化スケー
ルに対して、ユーザにより指定されたフレームからの時
間間隔に応じて減少する重み関数により重み付けを行
い、該重み付けを行った後のフレーム内平均量子化スケ
ールが最小のフレームを該複数のフレームから選択する
ようにしてもよい。こうすることにより、時間的な精度
と画質とのバランスが最適なフレームを選択することが
可能となる。
Further, the above-mentioned average quantization scale within a frame is weighted by a weighting function that decreases in accordance with a time interval from a frame designated by a user, and the average quantization scale within a frame after the weighting is performed. The frame with the smallest scale may be selected from the plurality of frames. By doing so, it is possible to select a frame with the best balance between temporal accuracy and image quality.

【0020】一方、MPEG−2符号化方式では、符号
化フレームと表示フレームとでフレーム周波数が異なる
符号化を行うことが可能である。このように動画像符号
化データが表示フレームと符号化フレームとで異なるフ
レームレートで符号化されている場合、フレーム選択手
段は符号化フレーム単位でフレームの選択を行うことが
好ましい。
On the other hand, in the MPEG-2 encoding method, it is possible to perform encoding with different frame frequencies between the encoded frame and the display frame. When the moving image encoded data is encoded at different frame rates for the display frame and the encoded frame as described above, it is preferable that the frame selecting unit selects the frame in units of the encoded frame.

【0021】例えば、フレーム周波数24Hzの映画を
フィールド周波数60Hzのディスプレイで表示できる
ように符号化を行う場合、符号化を行う際は24Hzの
ノンインタレース走査画像として符号化を行い、再生時
に周期的に60Hzで3フィールド期間表示を行うこと
を指示するデータを多重し、3フィールド表示の場合は
第3フィールドでは第1フィールドと同じものを表示す
る。従って、再生時の30Hzの表示フレームの構成
と、符号化および復号時の24Hzの符号化フレーム構
成とが異なるものとなり、時間的に異なるフィールドか
ら表示フレームが構成される場合がある。
For example, when encoding a movie having a frame frequency of 24 Hz so that it can be displayed on a display having a field frequency of 60 Hz, the encoding is performed as a non-interlaced scan image of 24 Hz at the time of encoding, and the encoding is performed periodically during reproduction. In this case, data indicating that a display is performed at 60 Hz for a three-field period is multiplexed. Therefore, the configuration of the display frame of 30 Hz at the time of reproduction and the configuration of the encoded frame of 24 Hz at the time of encoding and decoding are different, and the display frame may be composed of temporally different fields.

【0022】この場合、フレーム表示の際にインタレー
ス走査による乱れが生じることがあるが、符号化フレー
ム単位で選択したフレームを静止画像信号として出力す
ることにより、常にノンインタレース走査画像として静
止画像出力を行うことが可能となり、垂直解像度の高い
高精細の静止画像出力が可能となる。
In this case, disturbance may occur due to interlaced scanning during frame display. However, by outputting a frame selected in units of encoded frames as a still image signal, a still image is always output as a non-interlaced scanned image. Output can be performed, and a high-definition still image with high vertical resolution can be output.

【0023】静止画像出力手段は、静止画像信号の出力
形式を変換する手段を有することが望ましい。この変換
は、例えばソフトウェアにより実現される。このように
することにより、静止画像の印刷や表示を行う出力機器
のフォーマットに合わせて、通常のアナログ画像信号、
ディジタル画像信号、あるいはプリンタ出力信号等の信
号を選択・変更することが可能となる。
The still image output means preferably has means for converting the output format of the still image signal. This conversion is realized by, for example, software. In this way, a normal analog image signal,
A signal such as a digital image signal or a printer output signal can be selected and changed.

【0024】静止画像出力手段は、フレーム選択手段に
より選択されたフレームがノンインタレース走査画像か
インタレース走査画像かを判定し、ノンインタレース走
査画像の場合は該フレームの画像信号を静止画像信号と
して出力し、インタレース走査画像の場合は偶数フィー
ルドおよび奇数フィールドのいずれか一方のフィールド
のみを静止画像信号として出力するか、または偶数フィ
ールドおよび奇数フィールドの両方の画像信号を静止画
像信号として出力するようにしてもよい。このようにす
ると、動きを伴う画像をインタレース走査した場合に生
じるフレーム画像の乱れが防止され、しかも動きを伴わ
ないインタレース画像、あるいはノンインタレース画像
においては、垂直解像度の高い静止画像出力が得られ
る。
The still image output means determines whether the frame selected by the frame selection means is a non-interlaced scanned image or an interlaced scanned image. If the frame is a non-interlaced scanned image, the image signal of the frame is converted to a still image signal , And in the case of an interlaced scanning image, only one of the even field and the odd field is output as a still image signal, or the image signal of both the even field and the odd field is output as a still image signal You may do so. In this way, a frame image is not disturbed when interlaced scanning is performed on an image with motion, and a still image output with a high vertical resolution is output for an interlaced image without motion or a non-interlaced image. can get.

【0025】ここで、フレーム選択手段により選択され
たフレームがノンインタレース走査画像かインタレース
走査画像かの判定は、例えば動画像符号化データに多重
されたフレーム走査情報を検出することによって行うこ
とができ、この場合には特別なハードウェアを必要とし
ない。
Here, the determination as to whether the frame selected by the frame selection means is a non-interlaced scanning image or an interlaced scanning image is performed by detecting, for example, frame scanning information multiplexed on moving image encoded data. In this case, no special hardware is required.

【0026】また、隣接する偶数ライン間と隣接する奇
数ライン間の相関および隣接するライン間の相関を算出
し、これらの相関の大きさの大小関係から、特別な付加
情報を必要とすることなしに、ノンインタレース走査画
像かインタレース走査画像かの判定を行うことも可能で
ある。
Further, the correlation between adjacent even-numbered lines and the correlation between adjacent odd-numbered lines and the correlation between adjacent lines are calculated, and no special additional information is required based on the magnitude relationship between these correlations. Alternatively, it is possible to determine whether the image is a non-interlaced scan image or an interlaced scan image.

【0027】[0027]

【発明の実施の形態】以下、本発明の実施形態を図面を
参照して説明する。 (第1の実施形態)図1に、本発明の一実施形態に係る
画像再生装置の構成を示す。この画像再生装置は大きく
分けて、光ディスクドライブ部10と、デコード部20
および静止画像となるフレームの選択等のためのユーザ
インタフェースを含むデコード制御部30からなる。
Embodiments of the present invention will be described below with reference to the drawings. (First Embodiment) FIG. 1 shows a configuration of an image reproducing apparatus according to an embodiment of the present invention. The image reproducing apparatus is roughly divided into an optical disk drive unit 10 and a decoding unit 20.
And a decoding control unit 30 including a user interface for selecting a frame to be a still image.

【0028】光ディスクドライブ部10にセットされた
光ディスク11は、例えばディジタルビデオディスク
(DVD)であり、MPEG−2符号化方式により動画
像信号を符号化した動画像符号化データがピット列のよ
うなマーク列として記録されている。この光ディスク1
1に記録された動画像符号化データは、制御回路13に
よる制御の下で光ピックアップ12により読み取られ
る。読み取られた動画像符号化データは、制御回路13
により適宜処理された後、エラー訂正回路14によりエ
ラーがあれば訂正される。エラー訂正回路14を通した
動画像符号化データが光ディスクドライブ部10から出
力され、デコード部20に渡される。
The optical disk 11 set in the optical disk drive unit 10 is, for example, a digital video disk (DVD). Moving image coded data obtained by coding a moving image signal according to the MPEG-2 coding method has a pit sequence. Recorded as a mark string. This optical disk 1
The moving image encoded data recorded in 1 is read by the optical pickup 12 under the control of the control circuit 13. The read encoded video data is transmitted to the control circuit 13.
After being appropriately processed by, the error correction circuit 14 corrects any errors. The moving image encoded data that has passed through the error correction circuit 14 is output from the optical disk drive unit 10 and passed to the decoding unit 20.

【0029】デコード部20では、デコード制御部30
におけるデコーダ制御回路31からの指示に基づいて符
号化データの出力要求を光ディスクドライブ部10へ出
し、その要求に従って光ディスクドライブ部10から入
力される動画像符号化データをデコーダ回路21で復号
して動画像信号を出力する。この動画像信号は、動画像
出力部22から画像モニタに出力される。また、静止画
像出力部23からは動画像信号中の選択されたフレーム
の画像信号が静止画像出力として例えばビデオプリンタ
装置やビデオキャプチャ装置に出力される。
In the decoding section 20, the decoding control section 30
Sends an encoded data output request to the optical disk drive unit 10 based on the instruction from the decoder control circuit 31 in the above, and decodes the moving image encoded data input from the optical disk drive unit 10 by the decoder circuit 21 in accordance with the request. Outputs an image signal. This moving image signal is output from the moving image output unit 22 to an image monitor. The still image output unit 23 outputs the image signal of the selected frame in the moving image signal as a still image output to, for example, a video printer or a video capture device.

【0030】デコード制御部30は、デコーダ制御回路
31をユーザからの指示に基づいてユーザインタフェー
ス32を介して制御することにより、動画像出力、また
は動画像中の静止画像として出力したいフレームの指
定、および指定されたフレームに基づいて選択されたフ
レームの静止画像出力等の指示を行うことができるよう
に構成されている。以下、このデコード制御部30の動
作を詳しく説明する。
The decoding control unit 30 controls the decoder control circuit 31 via the user interface 32 based on an instruction from the user to output a moving image or to specify a frame to be output as a still image in a moving image. It is configured such that an instruction such as a still image output of a frame selected based on a designated frame can be given. Hereinafter, the operation of the decode control unit 30 will be described in detail.

【0031】MPEG−2符号化方式は、図2にそのシ
ンタックス構造を示したように、シーケンス、GOP(G
roup of Pictures) 、ピクチャ、マクロブロックMBの
階層構造を持つ符号化構成となっている。動画像あるい
は静止画像のサーチは、ピクチャヘッダPHを順次サー
チすることにより行うことが可能である。また、符号化
ビットストリームとは別途にサーチテーブルを持ち、符
号化ビットストリーム上での動画像あるいは静止画像の
サーチを実現することも可能である。
The MPEG-2 encoding system has a sequence, GOP (G
roup of Pictures), pictures, and macroblocks MB. The search for a moving image or a still image can be performed by sequentially searching the picture header PH. It is also possible to have a search table separately from the coded bit stream and realize a search for a moving image or a still image on the coded bit stream.

【0032】さらに、MPEG−2符号化方式では、画
像の性質と予測方式や量子化幅(以下、量子化スケール
という)といつた符号化パラメータに応じて、復号画像
の画質が変化するのが一般的である。図3は、横軸にフ
レーム、縦軸にフレーム毎の原画像対復号画像のSNR
の例を示したものである。同図に示したように通常、隣
接したフレーム間では画像が類似しているにも関わら
ず、フレーム単位のSNRの変動、つまり画質変動は非
常に大きなものとなる。従って、ほぼ同一内容の画像で
あっても、選択されるフレームによって画質が大きく異
なってしまう。
Further, in the MPEG-2 encoding method, the picture quality of a decoded image changes according to the characteristics of the image, the encoding method such as the prediction method and the quantization width (hereinafter referred to as quantization scale). General. FIG. 3 shows the SNR of the original image versus the decoded image for each frame on the horizontal axis and the frame on the vertical axis
This is an example. As shown in the figure, normally, although the images are similar between adjacent frames, the fluctuation of the SNR in the frame unit, that is, the fluctuation of the image quality is very large. Therefore, even if the images have substantially the same contents, the image quality greatly differs depending on the selected frame.

【0033】そこで、本実施形態ではユーザインタフェ
ース32を介してユーザにより指定されたフレームおよ
びその近傍のフレームを含む複数のフレームについて、
デコーダ制御回路31においてフレーム毎にその画質を
反映した評価値(コスト)を算出し、コスト最小のフレ
ームを静止画像信号として出力するようにデコード部2
0の制御を行う。
Therefore, in the present embodiment, a plurality of frames including a frame designated by the user via the user interface 32 and its neighboring frames are
The decoder control circuit 31 calculates an evaluation value (cost) reflecting the image quality for each frame, and outputs the frame with the minimum cost as a still image signal.
0 is controlled.

【0034】図4に、本実施形態におけるデコーダ制御
回路31でのフレーム選択法の例を示す。図中、構軸は
フレーム、縦軸は評価値を示している。デコーダ制御回
路31は、ユーザインタフェース32を介してユーザに
より指定されたフレーム41およびその近傍のフレーム
を含む複数のフレーム42について上記の評価値43を
算出し、これが最小となるフレーム44を静止画像とし
て選択して、静止画像出力部23を介して静止画像信号
を出力する。
FIG. 4 shows an example of a frame selection method in the decoder control circuit 31 in this embodiment. In the figure, the axis of composition represents the frame, and the axis of ordinate represents the evaluation value. The decoder control circuit 31 calculates the above-described evaluation value 43 for a plurality of frames 42 including a frame 41 specified by the user via the user interface 32 and a frame in the vicinity thereof, and sets a frame 44 having the minimum value as a still image. Select and output a still image signal via the still image output unit 23.

【0035】図5は、静止画像出力部23の構成を示す
ブロック図である。CPU51、静止画像メモリ52、
命令メモリ53、プログラムインタフェース54および
静止画像出力インタフェース55がバス56によって接
続されている。
FIG. 5 is a block diagram showing the configuration of the still image output unit 23. CPU 51, still image memory 52,
An instruction memory 53, a program interface 54, and a still image output interface 55 are connected by a bus 56.

【0036】デコード制御部30で選択されたフレーム
に関する動画像符号化データが光ディスクドライブ部1
0により読み取られ、デコード部20内のデコーダ回路
21で選択されたフレームが静止画像信号として復号さ
れる。復号された静止画像信号57は、CPU51によ
る制御下でバス57を介して静止画像メモリ52に記録
される。
The moving image encoded data relating to the frame selected by the decode control unit 30 is transmitted to the optical disk drive unit 1.
0, and the frame selected by the decoder circuit 21 in the decoding unit 20 is decoded as a still image signal. The decoded still image signal 57 is recorded in the still image memory 52 via the bus 57 under the control of the CPU 51.

【0037】静止画像メモリ52に記録された静止画像
信号は、CPU51によって命令メモリ53に記録され
たソフトウェアにより所定の出力信号形式(フォーマッ
ト)に変換され、静止画像出力インタフェース55より
出力される。ここで、命令メモリ53がROMで構成さ
れる場合は、そのROMを交換することにより、用途に
合わせて出力フ信号形式を容易に変更することが可能で
ある。また、命令メモリ53がRAMあるいはフラッシ
ュメモリのような書き換え可能メモリにより構成される
場合は、プログラムインタフェース54によりフォーマ
ット変換ソフトウェアを外部よりダウンロードすること
で、出力信号形式を容易に変更することが可能となる。
The still image signal recorded in the still image memory 52 is converted into a predetermined output signal format (format) by the software recorded in the instruction memory 53 by the CPU 51 and output from the still image output interface 55. Here, when the instruction memory 53 is composed of a ROM, it is possible to easily change the output signal format according to the application by exchanging the ROM. When the instruction memory 53 is configured by a rewritable memory such as a RAM or a flash memory, it is possible to easily change the output signal format by downloading the format conversion software from the outside by the program interface 54. Become.

【0038】(第2の実施形態)次に、図6および図7
を参照して第2の実施形態について説明する。本実施形
態においては、画像再生装置の全体的な構成については
第1の実施形態と同様であり、デコーダ制御回路31で
のフレーム選択法のみが第1の実施形態と異なってい
る。
(Second Embodiment) Next, FIGS. 6 and 7
The second embodiment will be described with reference to FIG. In the present embodiment, the overall configuration of the image reproducing apparatus is the same as that of the first embodiment, and only the frame selection method in the decoder control circuit 31 is different from the first embodiment.

【0039】図3に示したように、MPEG−2符号化
方式では、符号化パラメータにより隣接するフレーム間
でもフレームの種類(ピクチャタイプ)によって大きな
画質変動を伴っている。すなわち、MPEG−2符号化
方式ではフレーム内符号化を行うIピクチャ、前方予測
を行うPピクチャ、両方向予測を行うBピクチャの順で
相対的に画質のよい符号化を行う。これは、Iピクチャ
はそれ以降の参照画像のベースになり、PピクチャはI
ピクチャと同様に参照画像として用いられることから、
ピクチャタイプ毎に画質を変化させることにより、動画
像としての総合的な画質を上げるために一般的に用いら
れる手法である。従って、一般に内容の類似性の高い隣
接する複数のフレーム内では、Iピクチャ、Pピクチ
ャ、Bピクチャの順に画質が高くなっている。
As shown in FIG. 3, in the MPEG-2 encoding method, a large variation in image quality is caused depending on the type of frame (picture type) even between adjacent frames depending on the encoding parameter. That is, in the MPEG-2 encoding method, relatively high-quality encoding is performed in the order of an I picture for performing intra-frame encoding, a P picture for performing forward prediction, and a B picture for performing bidirectional prediction. This means that the I picture is the basis for subsequent reference pictures, and the P picture is
Since it is used as a reference image like a picture,
This is a method generally used to increase the overall image quality of a moving image by changing the image quality for each picture type. Therefore, generally, in a plurality of adjacent frames having high similarity in content, the image quality is higher in the order of the I picture, the P picture, and the B picture.

【0040】そこで、本実施形態では図4の縦軸に示し
た前述の評価値としてピクチャタイプ(フレームの種
類)を用い、図6に示すようにユーザにより選択された
フレーム60に最も近いIピクチャ61を自動選択する
か、あるいは、図7に示すようにユーザにより選択され
たフレーム70に最も近いPピクチャ71を自動選択す
ることによって、高画質フレームの自動選択を行う。
Therefore, in this embodiment, the picture type (frame type) is used as the above-mentioned evaluation value shown on the vertical axis of FIG. 4, and the I picture closest to the frame 60 selected by the user as shown in FIG. Automatic selection of a high-quality frame is performed by automatically selecting 61 or by automatically selecting a P picture 71 closest to the frame 70 selected by the user as shown in FIG.

【0041】(第3の実施形態)次に、本発明の第3の
実施形態として、フレーム選択の他の態様を図8および
図9を用いて説明する。
(Third Embodiment) Next, as a third embodiment of the present invention, another mode of frame selection will be described with reference to FIGS.

【0042】図8は、本実施形態におけるフレーム選択
に係る部分の構成を示すブロック図である。本実施形態
では、デコーダ回路81およびデコーダ制御回路83の
構成が第1の実施形態と若干異なり、さらに平均量子化
スケール算出回路82が追加されている。デコーダ回路
81はマクロブロック単位の量子化スケールを示す量子
化スケール情報84およびフレーム同期信号85を出力
し、平均量子化スケール算出回路82により各フレーム
毎の平均量子化スケールを算出する。算出された平均量
子化スケールを評価値として、デコーダ制御回路83に
よりフレームの自動選択がなされる。
FIG. 8 is a block diagram showing a configuration of a portion related to frame selection in the present embodiment. In this embodiment, the configurations of a decoder circuit 81 and a decoder control circuit 83 are slightly different from those of the first embodiment, and an average quantization scale calculation circuit 82 is further added. The decoder circuit 81 outputs quantization scale information 84 indicating a quantization scale in macroblock units and a frame synchronization signal 85, and an average quantization scale calculation circuit 82 calculates an average quantization scale for each frame. The decoder control circuit 83 automatically selects a frame using the calculated average quantization scale as an evaluation value.

【0043】図9は、このフレーム自動選択の具体例を
示す図であり、91はユーザにより指定されたフレーム
95の近傍フレームおいて算出された各フレームの平均
量子化スケールの値の例を示している。この例では、評
価値として算出された平均量子化スケールの値そのもの
を用いることが可能であり、その場合はフレーム95が
最も高画質のフレームとして検出される。
FIG. 9 is a diagram showing a specific example of the automatic frame selection. Reference numeral 91 denotes an example of the value of the average quantization scale of each frame calculated in a frame near the frame 95 specified by the user. ing. In this example, the value of the average quantization scale itself calculated as the evaluation value can be used, and in that case, the frame 95 is detected as the frame with the highest image quality.

【0044】また、時間方向の解像度に重きをおく場
合、すなわちユーザにより指定されたフレームにより近
い画像で、かつ高画質のフレームを選択する要求がある
場合には、算出された平均量子化スケール91に対し
て、ユーザにより指定されたフレームからのフレーム間
隔に応じた重み関数92を乗じた重み付き平均量子化ス
ケール93を算出し、算出された重み付き平均量子化ス
ケール93の値を評価値としてコスト最小のフレーム9
4を選択フレームとする。
When emphasis is placed on the resolution in the time direction, that is, when there is a request to select a high-quality frame with an image closer to the frame specified by the user, the calculated average quantization scale 91 is used. , A weighted average quantization scale 93 multiplied by a weight function 92 corresponding to a frame interval from the frame designated by the user is calculated, and the value of the calculated weighted average quantization scale 93 is used as an evaluation value. The lowest cost frame 9
4 is a selected frame.

【0045】(第4の実施形態)次に、図10〜図11
を参照して本発明の第4の実施形態を説明する。これま
での実施形態では、ユーザにより指定されたフレームお
よびその近傍のフレームを含む複数のフレームから最も
高画質のフレームの画像信号を静止画像出力として選択
している。これに対して、本実施形態ではユーザによる
指定を2段階に分け、まず第1段階でユーザにより指定
されたフレームおよびその近傍のフレームを含むフレー
ム群を静止画像出力の候補フレームとして出力し、これ
らの候補フレームから第2段階でユーザにより指定され
たフレームを静止画像出力として最終的に選択する。
(Fourth Embodiment) Next, FIGS.
A fourth embodiment of the present invention will be described with reference to FIG. In the embodiments described above, the image signal of the frame with the highest image quality is selected as a still image output from a plurality of frames including a frame specified by the user and frames in the vicinity thereof. On the other hand, in the present embodiment, the designation by the user is divided into two stages. First, a frame group including the frame designated by the user and its neighboring frames in the first stage is output as a still image output candidate frame. Finally, a frame specified by the user in the second stage is selected as a still image output from the candidate frames.

【0046】図10は、本実施形態におけるフレーム選
択の手順を示すフローチャートであり、また図11は静
止画像出力の候補フレームからユーザが選択する際に用
いるGUI(グラフィカルユーザインタフェース)の例
を示している。
FIG. 10 is a flowchart showing the procedure for selecting a frame in the present embodiment. FIG. 11 shows an example of a GUI (graphical user interface) used when the user selects from candidate frames for still image output. I have.

【0047】まず、ユーザにより動画像中の静止画像出
力として希望する特定のフレームがタイムコードまたは
特殊再生機能(ジョグアンドシャトル再生、一時停止
等)等を利用して指定される(ステップS101)。そ
して、指定されたフレームおよびその近傍のフレームを
含むフレーム群である候補フレームの静止画像信号が復
号される(ステップS102)。
First, a specific frame desired as a still image output in a moving image is designated by the user using a time code or a special reproduction function (jog and shuttle reproduction, pause, etc.) (step S101). Then, a still image signal of a candidate frame which is a frame group including the designated frame and its neighboring frames is decoded (step S102).

【0048】次に、候補フレームの画像の画質の評価値
が計算され(ステップS103)、さらに候補フレーム
112の画像が縮小されて一覧表示される(ステップS
104)。この際、各候補フレーム112の画像の時刻
113および画質(評価値)114も併せて表示され
る。また、候補フレームはソート115により設定され
た時刻順あるいは画質順に表示される。図11は候補フ
レームを画質順にソートして表示した例を示している。
さらに、候補フレームの中の一つをユーザの指定より特
定のフレームをフルサイズ表示に切り替えることも可能
である。
Next, the evaluation value of the image quality of the image of the candidate frame is calculated (step S103), and the image of the candidate frame 112 is reduced and displayed in a list (step S103).
104). At this time, the time 113 and the image quality (evaluation value) 114 of the image of each candidate frame 112 are also displayed. The candidate frames are displayed in the order of time or image quality set by the sort 115. FIG. 11 shows an example in which candidate frames are sorted and displayed in image quality order.
Further, it is also possible to switch one of the candidate frames to the full size display of a specific frame according to the user's specification.

【0049】次に、ユーザにより次候補116および前
候補117の操作が適宜行われて候補フレームの選択が
行われ(ステップS106)、これらから最終的に静止
画像出力を行うフレームが決定されると(ステップS1
07)、その決定されたフレームの静止画像信号が静止
画像出力部23により出力信号形式が適宜変換された
後、出力される(ステップS108)。
Next, the user operates the next candidate 116 and the previous candidate 117 as appropriate to select a candidate frame (step S106), and finally decides a frame from which a still image is to be output. (Step S1
07), the still image signal of the determined frame is output after the output signal format is appropriately converted by the still image output unit 23 (step S108).

【0050】(第5の実施形態)次に、図12〜図16
を用いて本発明の第5の実施形態を説明する。本実施形
態では、図1中の静止画像出力部23において、静止画
像出力として選択されたフレームがインタレース走査画
像かノンインタレース走査画像かを判定し、インタレー
ス走査画像の場合は偶数フィールドおよび奇数フィール
ドのいずれか一方のフィールドのみを静止画像信号とし
て出力するか、または偶数フィールドおよび奇数フィー
ルドの両方の画像信号を静止画像信号として出力するよ
うに構成されている。
(Fifth Embodiment) Next, FIGS.
A fifth embodiment of the present invention will be described with reference to FIG. In the present embodiment, the still image output unit 23 in FIG. 1 determines whether the frame selected as the still image output is an interlaced scan image or a non-interlaced scan image. Either one of the odd fields is output as a still image signal, or the image signals of both the even and odd fields are output as a still image signal.

【0051】図12は、本実施形態に係る要部の構成を
示すブロック図である。本実施形態では、デコーダ回路
121およびデコーダ制御回路123の構成が第1の実
施形態と若干異なり、さらに表示形態判定/変換回路1
22が追加されている。表示形態判定/変換回路122
は、図1中の静止画像出力部23に含まれる。
FIG. 12 is a block diagram showing a configuration of a main part according to this embodiment. In the present embodiment, the configurations of the decoder circuit 121 and the decoder control circuit 123 are slightly different from those of the first embodiment.
22 have been added. Display form determination / conversion circuit 122
Are included in the still image output unit 23 in FIG.

【0052】図13(a)に示すように、時間的に水平
方向に移動するオブジェクトが含まれる動画像は、フレ
ーム構成の静止画像として見たとき、各フレームがイン
タレース走査画像である場合(b)とノンインタレース
走査画像である場合(c)とで、その品質が大きく異な
る。すなわち、ノンインタレース走査画像では垂直解像
度の高い乱れのない静止画像となるのに対して、インタ
レース走査画像ではフィールド間の時刻が異なるため、
ライン毎の時刻の違いが悪影響を及ぼしてしまい、良好
な静止画像とはならない。
As shown in FIG. 13A, when a moving image including an object moving in the horizontal direction in time is viewed as a still image having a frame structure, each frame is an interlaced scan image ( The quality differs greatly between b) and the case of non-interlaced scanning image (c). That is, in a non-interlaced scanning image, a still image having a high vertical resolution and no disturbance is obtained, whereas in an interlaced scanning image, the time between fields is different.
The difference in time for each line has an adverse effect and does not result in a good still image.

【0053】一方、動きがない画像はフレーム構成の静
止画像として見たとき、インタレース走査、ノンインタ
レース走査ともに垂直解像度の高い乱れのない画像とな
る。従って、静止画像出力を行う場合、ノンインタレー
ス走査画像では、常にフレーム構成の画像信号を出力
し、インタレース走査画像では、動きがあるときはフィ
ールド構成の画像信号、動きがないときはフレーム構成
の画像信号をそれぞれ出力することが最適であると考え
られる。
On the other hand, when an image having no motion is viewed as a still image having a frame structure, both interlaced scanning and non-interlaced scanning are images with high vertical resolution and no disturbance. Therefore, when a still image is output, a non-interlaced scanning image always outputs a frame-structured image signal, and an interlaced scanning image has a field-structured image signal when there is motion, and a frame-structured image signal when there is no motion. It is considered that it is optimal to output the respective image signals.

【0054】そこで、本実施形態においては、表示形態
/判定変換回路122により静止画像の最適な表示形
態、すなわち静止画像信号としてフレーム構成の画像信
号を出力して表示すべきか(これをフレーム表示とい
う)、あるいはフィールド構成の画像信号を出力して表
示すべきか(これをフィールド表示という)を判定す
る。そして、フレーム表示の場合はフレーム構成の画像
信号を出力し、フィールド表示と判定した場合は、偶数
または奇数のラインを2度ずつ出力して静止画像信号と
して出力するか、あるいは、さらに画面内の領域毎の動
き量に応じた補正を加えてフレーム構成の画像信号を再
構成し、静止画像信号として出力する。
Therefore, in the present embodiment, whether the display mode / judgment conversion circuit 122 should output and display the optimum display mode of a still image, that is, an image signal having a frame configuration as a still image signal (this is called frame display) ) Or to output and display an image signal having a field configuration (this is referred to as field display). Then, in the case of frame display, an image signal of a frame configuration is output, and in the case of field display, even or odd lines are output twice and output as still image signals, or An image signal having a frame configuration is reconstructed by adding a correction according to the amount of motion for each region, and is output as a still image signal.

【0055】すなわち、デコーダ制御回路123で静止
画像として選択された画像がノンインタレース走査画像
の場合は、フレーム表示と判定してフレーム構成の画像
信号を静止画像信号として出力する。
That is, when the image selected as a still image by the decoder control circuit 123 is a non-interlaced scanning image, it is determined to be a frame display, and an image signal having a frame configuration is output as a still image signal.

【0056】一方、デコーダ制御回路123で静止画像
として選択された画像がインタレース画像の場合は、画
像に動きがあるときはフィールド表示と判定してフィー
ルド構成の画像信号(偶数フィールドおよび奇数フィー
ルドのいずれか一方のフィールドのみの画像信号)を静
止画像信号として出力するが、動きのない画像ではフレ
ーム表示と判定してフレーム構成の画像信号を静止画像
信号として出力する。みのようにすることで、垂直解像
度が高く、かつインタレース走査による乱れのない静止
画像を出力することが可能である。
On the other hand, when the image selected as a still image by the decoder control circuit 123 is an interlaced image, if there is motion in the image, it is determined to be a field display, and the image signal having the field configuration (even and odd fields) is displayed. An image signal of only one of the fields) is output as a still image signal. However, in the case of an image having no motion, it is determined that a frame is displayed, and an image signal having a frame configuration is output as a still image signal. By doing so, it is possible to output a still image with high vertical resolution and no disturbance due to interlaced scanning.

【0057】ここで、表示形態/判定変換回路122で
のフィールド/フレーム表示形態の判定には、例えば符
号化データ中に含まれる原画像の走査情報を利用するこ
とが可能である。具体的には、MPEG−2符号化方式
では全フレームがノンインタレース走査画像である場合
には、図14および図15に示すシンタックスエレメン
トのうち、sequence-extension()内のprogressive-se
quenceフラグによりインタレース走査画像/ノンインタ
レース走査画像の判定が可能である。また、各フレーム
の画像がインタレース走査画像かあるいはノンインタレ
ース走査画像かの判定は、picture-coding-extensio
n()内のprogressive-frame フラグによって可能であ
る。
Here, for the determination of the field / frame display mode in the display mode / judgment conversion circuit 122, for example, scanning information of the original image included in the encoded data can be used. Specifically, when all frames are non-interlaced scanned images in the MPEG-2 encoding method, of the syntax elements shown in FIGS. 14 and 15, progressive-sequence in sequence-extension () is used.
The interlace scan image / non-interlace scan image can be determined by the quence flag. The determination of whether the image of each frame is an interlaced scanning image or a non-interlaced scanning image is made by picture-coding-extensio
This is possible with the progressive-frame flag in n ().

【0058】図16に、本実施形態におけるフィールド
表示/フレーム表示形態判定回路の他の構成例を示す。
図中、130はフレーム画像を示しており、131は偶
数フィールドの画素、132は奇数フィールドの画素を
それぞれ示している。第1の加算器133は、同一フィ
ールド内のライン間相関、つまり偶数フィールドのライ
ン間および奇数フィールドのライン間相関の総和を算出
する。第2の加算器134は、同一フレーム内のライン
間相関を算出する。そして、比較器135により第1の
加算器133で算出されたフィールド内相関と、第2の
加算器134で算出されたフレーム内相関の大小比較を
行う。この比較の結果、フレーム内相関がフィールド内
相関を上回る場合はフレーム表示、それ以外の場合はフ
ィールド表示に自動的に切り替えることにより、最適な
表示形態を自動的に設定することが可能となる。
FIG. 16 shows another example of the configuration of the field display / frame display mode determination circuit in this embodiment.
In the figure, 130 indicates a frame image, 131 indicates pixels in an even field, and 132 indicates pixels in an odd field. The first adder 133 calculates the correlation between the lines in the same field, that is, the sum of the correlation between the lines in the even field and the correlation between the lines in the odd field. The second adder 134 calculates a correlation between lines in the same frame. The comparator 135 compares the intra-field correlation calculated by the first adder 133 with the intra-frame correlation calculated by the second adder 134. As a result of the comparison, when the intra-frame correlation exceeds the intra-field correlation, the display is automatically switched to the frame display, otherwise, the display is automatically switched to the field display, so that the optimal display mode can be automatically set.

【0059】(第6の実施形態)次に、図17を参照し
て本発明の第6の実施形態を説明する。MPEG−2符
号化方式では、フレームレート24Hzの映画をフィー
ルドレート60Hzのディスプレイで表示可能とするた
めに、一般に3:2プルダウンと呼ばれる手法を用いて
フレームレート変換を行っている。図17は、このフレ
ームレート変換の説明図である。
(Sixth Embodiment) Next, a sixth embodiment of the present invention will be described with reference to FIG. In the MPEG-2 encoding system, a frame rate conversion is generally performed using a method called 3: 2 pull-down so that a movie having a frame rate of 24 Hz can be displayed on a display having a field rate of 60 Hz. FIG. 17 is an explanatory diagram of this frame rate conversion.

【0060】図17において、140〜144はフレー
ムレート24Hzの連続するフレームであり、これを単
位として符号化および復号が行われる。一方、復号後の
表示に際しては、復号された各フレームを3フィールド
期間、2フィールド期間と交互に表示時間を変化させて
表示を行うことにより、フィールドレート60Hzのデ
イスプレイでの表示を可能としている。すなわち、この
場合には符号化フレームのフレームレートは24Hz、
表示フレームのフレームレートは60Hzと異なってい
る。
In FIG. 17, reference numerals 140 to 144 denote continuous frames having a frame rate of 24 Hz. Encoding and decoding are performed in units of frames. On the other hand, at the time of display after decoding, the decoded frames are displayed by alternately changing the display time between the three-field period and the two-field period, thereby enabling display at a display with a field rate of 60 Hz. That is, in this case, the frame rate of the encoded frame is 24 Hz,
The frame rate of the display frame is different from 60 Hz.

【0061】3フィールド表示および2フィールド表示
においては、復号された各フレームの画像をインタレー
ス走査して偶数ラインと奇数ラインに分割し、これらを
表示フィールドの位相に合わせて選択して出力を行う。
また、3フィールド期間表示の場合は、第1フィールド
と第3フィールドとは同じ画像信号が表示される。従っ
て、表示フレームにおいては前述したインタレース走査
の影響が出るフレームと出ないフレームが混在すること
となる。
In the three-field display and the two-field display, the decoded image of each frame is interlaced and divided into even lines and odd lines, and these are selected and output in accordance with the phase of the display field. .
In the case of the three-field period display, the same image signal is displayed in the first field and the third field. Therefore, in the display frame, a frame affected by the interlaced scanning and a frame not affected by the interlaced scanning are mixed.

【0062】例えば、図17において表示フィールド1
50および151で構成される表示フレームは、共に同
じ符号化フレーム140から構成されているため、イン
タレース走査による画像の乱れは発生しないが、表示フ
ィールド152および153で構成される表示フレーム
は、時刻の異なる二つの符号化フレーム140および1
41から構成されるため、インタレース走査による乱れ
が発生してしまい、動きがある場合はフレーム形態での
静止画像出力は困難となる。
For example, in FIG.
Since the display frame composed of the display frames 50 and 151 is composed of the same encoded frame 140, the image is not disturbed by the interlaced scanning. Two encoded frames 140 and 1
Since it is composed of 41, disturbance due to interlaced scanning occurs, and it is difficult to output a still image in a frame form when there is motion.

【0063】そこで、本実施形態では静止画像出力を表
示フイールド150〜162から構成せずに、符号化フ
レーム140〜144から選択して出力することによっ
て、3:2プルダウン時においても、高精細でかつイン
タレース走査の影響のない静止画像出力を可能としてい
る。
Therefore, in the present embodiment, the still image output is not composed of the display fields 150 to 162 but is selected and output from the coded frames 140 to 144. Still image output without the influence of interlaced scanning is enabled.

【0064】[0064]

【発明の効果】以上説明したように、本発明によれば動
画像符号化データから画質の異なる複数種類のフレーム
よりなる動画像信号を復号して動画像を再生し、必要に
応じて静止画像を出力する画像再生装置において、動画
像信号中のユーザにより指定されたフレームの近傍で、
最も高画質のフレームを選択して静止画像信号として出
力することにより、ユーザにより指定されたフレームと
ほぼ同様のシーンで、かつ画質が一定した高画質な静止
画像を再生することが可能となる。
As described above, according to the present invention, a moving picture signal composed of a plurality of types of frames having different image qualities is decoded from the coded moving picture data to reproduce the moving picture, and if necessary, the still picture is reproduced. In the image reproducing device that outputs the image, in the vicinity of the frame specified by the user in the moving image signal,
By selecting the frame with the highest image quality and outputting it as a still image signal, it becomes possible to reproduce a high-quality still image with almost the same scene and the same image quality as the frame specified by the user.

【0065】また、第1段階で指定されたフレームおよ
びその近傍のフレームを含むフレーム群を選択してユー
ザに提示し、そのフレーム群から第2段階で指定された
フレームを選択して静止画像信号を出力することによ
り、ユーザにより指定されたフレームの近傍でシーンチ
ェンジ等があり、ユーザの意図に反したフレームが自動
選択されるような場合でも、最終的にユーザの意図した
フレームを効率的に選択して静止画像として再生するこ
とができる。
Further, a frame group including the frame designated in the first stage and its neighboring frames is selected and presented to the user, and the frame designated in the second stage is selected from the frame group to obtain a still image signal. By outputting a frame, even if there is a scene change in the vicinity of the frame specified by the user and a frame contrary to the user's intention is automatically selected, the frame intended by the user is eventually efficiently It can be selected and reproduced as a still image.

【0066】さらに、選択されたフレームがノンインタ
レース走査画像かインタレース走査画像かを判定し、ノ
ンインタレース走査画像の場合は該フレームの画像信号
を静止画像信号として出力し、インタレース走査画像の
場合は偶数フィールドおよび奇数フィールドのいずれか
一方のフィールドのみを静止画像信号として出力する
か、または偶数フィールドおよび奇数フィールドの両方
の画像信号を静止画像信号として出力することにより、
動きを伴う画像をインタレース走査した場合に生じるフ
レーム画像の乱れが防止され、しかも動きを伴わないイ
ンタレース画像、あるいはノンインタレース画像におい
ては、垂直解像度の高い静止画像を再生することができ
る。
Further, it is determined whether the selected frame is a non-interlaced scanned image or an interlaced scanned image. If the selected frame is a non-interlaced scanned image, the image signal of the frame is output as a still image signal, and the interlaced scanned image is output. In the case of outputting only one of the even field and the odd field as a still image signal, or outputting both the even field and the odd field image signal as a still image signal,
Disturbance of a frame image generated when an interlaced scan is performed on a moving image is prevented, and a still image with a high vertical resolution can be reproduced in an interlaced image or a non-interlaced image without a moving image.

【0067】また、動画像符号化データが表示フレーム
と符号化フレームとで異なるフレームレートで符号化さ
れている場合には、符号化フレーム単位でフレームの選
択を行って静止画像信号として出力することで、常にノ
ンインタレース走査画像として静止画像出力を行うこと
ができ、垂直解像度の高い高精細の静止画像出力が可能
となる。
In the case where the encoded video data is encoded at different frame rates for the display frame and the encoded frame, it is necessary to select a frame for each encoded frame and output it as a still image signal. Thus, a still image can always be output as a non-interlaced scan image, and a high-definition still image with a high vertical resolution can be output.

【0068】さらに、本発明によれば静止画像信号の生
成に際して出力形式をソフトウェア処理で変換する機能
を付加することによって、静止画像の印刷や表示を行う
出力機器のフォーマットなどに応じてソフトウェアの変
更のみで容易に静止画像の出力信号形式を変更すること
が可能となる。
Further, according to the present invention, the function of converting the output format by software processing when generating a still image signal is added, so that the software can be changed according to the format of the output device for printing or displaying the still image. It is possible to easily change the output signal format of a still image only by using the above.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施形態に係る画像再生装置の
構成を示すブロック図
FIG. 1 is a block diagram showing a configuration of an image reproducing apparatus according to a first embodiment of the present invention.

【図2】MPEG−2符号化方式のシンタックス構造を
説明する図
FIG. 2 is a view for explaining the syntax structure of the MPEG-2 encoding method;

【図3】MPEG−2符号化方式におけるフレーム単位
の画質変動の例を示す図
FIG. 3 is a diagram showing an example of image quality fluctuation in a frame unit in the MPEG-2 encoding method.

【図4】同実施形態に係る自動フレーム選択の概要を説
明するための図
FIG. 4 is an exemplary view for explaining an outline of automatic frame selection according to the embodiment;

【図5】同実施形態における静止画像出力部の構成を示
すブロック図
FIG. 5 is a block diagram showing the configuration of a still image output unit according to the embodiment;

【図6】本発明の第2の実施形態に係るフレーム選択方
法を説明するための図
FIG. 6 is a view for explaining a frame selection method according to a second embodiment of the present invention;

【図7】本発明の第2の実施形態に係る他のフレーム選
択方法を説明するための図
FIG. 7 is a diagram for explaining another frame selection method according to the second embodiment of the present invention.

【図8】本発明の第3の実施形態に係る要部の構成を示
すブロック図
FIG. 8 is a block diagram showing a configuration of a main part according to a third embodiment of the present invention.

【図9】同実施形態に係るフレーム選択方法を説明する
ための図
FIG. 9 is an exemplary view for explaining a frame selection method according to the embodiment;

【図10】本発明の第4の実施形態に係るフレーム選択
手順を示すフローチャート
FIG. 10 is a flowchart showing a frame selection procedure according to a fourth embodiment of the present invention.

【図11】同実施形態におけるGUI(グラフィカルユ
ーザインタフェース)の例を示す図
FIG. 11 is an exemplary view showing an example of a GUI (graphical user interface) in the embodiment.

【図12】本発明の第5の実施形態に係る要部の構成を
示すブロック図
FIG. 12 is a block diagram showing a configuration of a main part according to a fifth embodiment of the present invention.

【図13】インタレース走査によるフレーム画像の乱れ
の例を示す図
FIG. 13 is a diagram showing an example of disturbance of a frame image due to interlaced scanning.

【図14】MPEG−2符号化方式におけるシーケンス
ヘッダの一部を示す図
FIG. 14 is a diagram showing a part of a sequence header in the MPEG-2 encoding method;

【図15】MPEG−2符号化方式におけるピクチャヘ
ッダの一部を示す図
FIG. 15 is a diagram showing a part of a picture header in the MPEG-2 encoding method;

【図16】本発明の第6の実施形態に係る要部の構成を
示すブロック図
FIG. 16 is a block diagram showing a configuration of a main part according to a sixth embodiment of the present invention.

【図17】本発明の第7の実施形態を説明するためのフ
レームレート変換の例を示す図
FIG. 17 is a diagram illustrating an example of frame rate conversion for explaining a seventh embodiment of the present invention;

【符号の説明】[Explanation of symbols]

10…光ディスクドライブ部 11…光ディスク 12…光ピックアップ 13…光ディスクドライブ制御回路 14…エラー訂正回路 20…デコード部 21…デコーダ回路 22…動画像出力部 23…静止画像出力部 30…デコード制御部 31…デコーダ制御回路 32…ユーザインタフェース 51…CPU 52…静止画像メモリ 53…命令メモリ 54…プログラムインタフェース 55…静止画像出力インタフェース 56…バス 81…デコーダ回路 82…平均量子化スケール算出回路 83…デコーダ制御回路 121…デコーダ回路 122…表示形態判定/変換回路 123…デコーダ制御回路 130…フレーム画像 131…偶数フィールドラインの画素 132…奇数フィールドラインの画素 133…フィールド相関算出回路 134…フレーム相関算出回路 135…比較器 DESCRIPTION OF SYMBOLS 10 ... Optical disk drive part 11 ... Optical disk 12 ... Optical pickup 13 ... Optical disk drive control circuit 14 ... Error correction circuit 20 ... Decoding part 21 ... Decoder circuit 22 ... Moving image output part 23 ... Still image output part 30 ... Decode control part 31 ... Decoder control circuit 32 User interface 51 CPU 52 Still image memory 53 Instruction memory 54 Program interface 55 Still image output interface 56 Bus 81 Decoder circuit 82 Average quantization scale calculation circuit 83 Decoder control circuit 121 ... Decoder circuit 122 ... Display form determination / conversion circuit 123 ... Decoder control circuit 130 ... Frame image 131 ... Even field line pixel 132 ... Odd field line pixel 133 ... Field correlation calculation circuit 134 ... Frame correlation calculation circuit 135 ... Comparator

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】動画像符号化データから画質の異なる複数
種類のフレームよりなる動画像信号を復号する動画像復
号手段と、 前記動画像信号を出力する動画像出力手段と、 前記動画像信号について指定されたフレームおよびその
近傍のフレームを含む複数のフレームから最も高画質の
フレームを選択するフレーム選択手段と、 前記動画像信号のうち前記フレーム選択手段によって選
択されたフレームの画像信号を静止画像信号として出力
する静止画像出力手段とを有することを特徴とする画像
再生装置。
1. A moving picture decoding means for decoding a moving picture signal composed of a plurality of types of frames having different image qualities from moving picture coded data, a moving picture output means for outputting the moving picture signal, and the moving picture signal A frame selecting means for selecting a frame with the highest image quality from a plurality of frames including a designated frame and a frame in the vicinity thereof; and a still image signal for converting the image signal of the frame selected by the frame selecting means from the moving image signals An image reproducing apparatus, comprising: a still image output unit that outputs a still image.
【請求項2】動画像符号化データから画質の異なる複数
種類のフレームよりなる動画像信号を復号する動画像復
号手段と、 前記動画像信号を出力する動画像出力手段と、 前記動画像信号について第1段階で指定されたフレーム
およびその近傍のフレームを含むフレーム群を選択する
フレーム群選択手段と、 前記動画像信号のうち前記フレーム群選択手段により選
択されたフレーム群の画像信号を出力するフレーム群出
力手段と、 前記フレーム群から第2段階で指定されたフレームを選
択するフレーム選択手段と、 前記動画像信号のうち前記フレーム選択手段によって選
択されたフレームの画像信号を静止画像信号として出力
する静止画像出力手段とを有することを特徴とする画像
再生装置。
2. A moving picture decoding means for decoding a moving picture signal composed of a plurality of types of frames having different image qualities from moving picture encoded data, a moving picture output means for outputting the moving picture signal, and the moving picture signal. Frame group selecting means for selecting a frame group including the frame specified in the first stage and its neighboring frames; and a frame for outputting an image signal of the frame group selected by the frame group selecting means among the moving image signals Group output means, frame selection means for selecting a frame specified in the second stage from the frame group, and outputting, as a still image signal, an image signal of a frame selected by the frame selection means among the moving image signals An image reproducing apparatus comprising: a still image output unit.
【請求項3】前記フレーム選択手段は、前記指定された
フレームおよびその近傍のフレームを含む複数のフレー
ムから、フレーム内符号化されたフレーム、前方予測符
号化されたフレーム、両方向予測符号化されたフレーム
の優先順位でフレームの選択を行うことを特徴とする請
求項1または2に記載の画像再生装置。
3. The method according to claim 1, wherein said frame selecting means selects one of a plurality of frames including the designated frame and its neighboring frames, an intra-coded frame, a forward predicted coded frame, and a bidirectional predicted coded frame. 3. The image reproducing apparatus according to claim 1, wherein a frame is selected according to the priority of the frame.
【請求項4】前記フレーム選択手段は、前記指定された
フレームおよびその近傍のフレームを含む複数のフレー
ムのフレーム内平均量子化スケールを算出し、該フレー
ム内平均量子化スケールが最小のフレームを該複数のフ
レームから選択することを特徴とする請求項1または2
に記載の画像再生装置。
4. The frame selecting means calculates an intra-frame average quantization scale of a plurality of frames including the designated frame and its neighboring frames, and determines a frame having the smallest average intra-frame quantization scale. 3. The method according to claim 1, wherein the selection is made from a plurality of frames.
An image reproducing device according to claim 1.
【請求項5】前記フレーム選択手段は、前記指定された
フレームおよびその近傍のフレームを含む複数のフレー
ムのフレーム内平均量子化スケールを算出し、該フレー
ム内平均量子化スケールに対して、前記指定されたフレ
ームからの時間間隔に応じて減少する重み関数により重
み付けを行い、該重み付けを行った後のフレーム内平均
量子化スケールが最小のフレームを該複数のフレームか
ら選択することを特徴とする請求項1または2に記載の
画像再生装置。
5. The frame selecting means calculates an intra-frame average quantization scale of a plurality of frames including the specified frame and its neighboring frames, and calculates the specified intra-frame average quantization scale with respect to the specified frame. Weighting with a weighting function that decreases in accordance with a time interval from the weighted frame, and selecting a frame having the smallest average quantization scale in the frame after the weighting from the plurality of frames. Item 3. The image reproducing device according to item 1 or 2.
【請求項6】前記動画像符号化データは、表示フレーム
と符号化フレームとで異なるフレームレートで符号化さ
れており、 前記フレーム選択手段は前記符号化フレーム単位でフレ
ームの選択を行うことを特徴とする請求項1〜5のいず
れか1項に記載の画像再生装置。
6. The video coded data is coded at different frame rates for a display frame and a coded frame, and the frame selecting means selects a frame in units of the coded frame. The image reproducing device according to claim 1.
【請求項7】前記静止画像出力手段は、前記静止画像信
号の出力形式を変換する手段を有することを特徴とする
請求項1または2に記載の画像再生装置。
7. The image reproducing apparatus according to claim 1, wherein said still image output means has means for converting an output format of said still image signal.
【請求項8】前記静止画像出力手段は、前記フレーム選
択手段により選択されたフレームがノンインタレース走
査画像かインタレース走査画像かを判定し、ノンインタ
レース走査画像の場合は該フレームの画像信号を静止画
像信号として出力し、インタレース走査画像の場合は偶
数フィールドおよび奇数フィールドのいずれか一方のフ
ィールドの画像信号のみを静止画像信号として出力する
か、または偶数フィールドおよび奇数フィールドの両方
の画像信号を静止画像信号として出力することを特徴と
する請求項1、2または7に記載の画像再生装置。
8. The still image output means determines whether the frame selected by the frame selection means is a non-interlaced scanning image or an interlaced scanning image. If the frame is a non-interlaced scanning image, the image signal of the frame is determined. Is output as a still image signal, and in the case of an interlaced scanning image, only the image signal of one of the even field and the odd field is output as the still image signal, or the image signal of both the even field and the odd field 8. The image reproducing apparatus according to claim 1, wherein the image reproducing apparatus outputs the image as a still image signal.
JP5766797A 1997-03-12 1997-03-12 Image playback device Expired - Fee Related JP3609571B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5766797A JP3609571B2 (en) 1997-03-12 1997-03-12 Image playback device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5766797A JP3609571B2 (en) 1997-03-12 1997-03-12 Image playback device

Publications (2)

Publication Number Publication Date
JPH10257501A true JPH10257501A (en) 1998-09-25
JP3609571B2 JP3609571B2 (en) 2005-01-12

Family

ID=13062271

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5766797A Expired - Fee Related JP3609571B2 (en) 1997-03-12 1997-03-12 Image playback device

Country Status (1)

Country Link
JP (1) JP3609571B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027377A (en) * 2000-07-04 2002-01-25 Canon Inc Device and method for outputting picture and computer readable storage medium
KR100477846B1 (en) * 2002-10-09 2005-03-23 진기준 Original image reproducing/editing device and method thereof
JP2007189324A (en) * 2006-01-11 2007-07-26 Noritsu Koki Co Ltd Still picture extraction system
JP2008078726A (en) * 2006-09-19 2008-04-03 Fujifilm Corp Still image extraction device, method, and program
JP2008296453A (en) * 2007-05-31 2008-12-11 Canon Inc Dynamic image printing device and its control method
US7489852B2 (en) 2004-06-25 2009-02-10 Funai Electric Co., Ltd. Video reproducing apparatus
JP2011507404A (en) * 2007-12-10 2011-03-03 クゥアルコム・インコーポレイテッド Reference selection for video interpolation or extrapolation
JP2014027409A (en) * 2012-07-25 2014-02-06 Fujitsu Ltd Image selection method, image selection device, encoder, image selection system, image selection program, encoding program and image encoding selection program
JP2015080102A (en) * 2013-10-17 2015-04-23 キヤノン株式会社 Video processing apparatus and control method for video processing apparatus
EP2689395A4 (en) * 2011-03-25 2015-05-27 Ericsson Telefon Ab L M Method in streaming client for handling video streaming data, streaming client, computer programs and computer program products

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027377A (en) * 2000-07-04 2002-01-25 Canon Inc Device and method for outputting picture and computer readable storage medium
JP4573957B2 (en) * 2000-07-04 2010-11-04 キヤノン株式会社 Image control apparatus, image control method, and television receiver
KR100477846B1 (en) * 2002-10-09 2005-03-23 진기준 Original image reproducing/editing device and method thereof
US7489852B2 (en) 2004-06-25 2009-02-10 Funai Electric Co., Ltd. Video reproducing apparatus
JP2007189324A (en) * 2006-01-11 2007-07-26 Noritsu Koki Co Ltd Still picture extraction system
JP2008078726A (en) * 2006-09-19 2008-04-03 Fujifilm Corp Still image extraction device, method, and program
JP2008296453A (en) * 2007-05-31 2008-12-11 Canon Inc Dynamic image printing device and its control method
JP2011507404A (en) * 2007-12-10 2011-03-03 クゥアルコム・インコーポレイテッド Reference selection for video interpolation or extrapolation
US8953685B2 (en) 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US9426414B2 (en) 2007-12-10 2016-08-23 Qualcomm Incorporated Reference selection for video interpolation or extrapolation
EP2689395A4 (en) * 2011-03-25 2015-05-27 Ericsson Telefon Ab L M Method in streaming client for handling video streaming data, streaming client, computer programs and computer program products
US9161088B2 (en) 2011-03-25 2015-10-13 Telefonaktiebolaget L M Ericsson (Publ) Method in a streaming client for handling video streaming data, streaming client, computer programs and computer program products
JP2014027409A (en) * 2012-07-25 2014-02-06 Fujitsu Ltd Image selection method, image selection device, encoder, image selection system, image selection program, encoding program and image encoding selection program
JP2015080102A (en) * 2013-10-17 2015-04-23 キヤノン株式会社 Video processing apparatus and control method for video processing apparatus

Also Published As

Publication number Publication date
JP3609571B2 (en) 2005-01-12

Similar Documents

Publication Publication Date Title
US5835672A (en) Apparatus for coding and decoding a digital video signal having duplicate pictures and frames with fields originating from different film source frames
KR970007530B1 (en) Band compressed signal processing apparatus
US6226327B1 (en) Video coding method and apparatus which select between frame-based and field-based predictive modes
US6101313A (en) High efficiency encoding and decoding of picture signals and recording medium containing same
JP3360586B2 (en) Scan conversion apparatus and method
US5537215A (en) Apparatus for processing band-compressed signals having inter-frame and intra-frame signals
JP3302939B2 (en) Video signal decompressor for independently compressed even and odd field data
JP2885322B2 (en) Inter-field prediction encoding device and decoding device
JP3609571B2 (en) Image playback device
JP2000244929A (en) Moving picture re-encoding device
JPH09200695A (en) Method and device for decoding video data for high-speed reproduction
JP2755851B2 (en) Moving picture coding apparatus and moving picture coding method
JPH10136379A (en) Moving image coding method and its device
JP2957135B2 (en) Picture Jitter Prevention Device for High Speed Playback in Video Decoder
CN100375541C (en) Trick play reproduction of Motion Picture Experts Group code signal
JP2001352524A (en) Reproduction device and reproduction method
US7420616B2 (en) Video encoder with repeat field to repeat frame conversion
JP3721867B2 (en) Video display device and display method
JP3173508B2 (en) Moving picture decoding method and moving picture decoding apparatus
JP3564087B2 (en) Video recording and playback device
JP3085289B2 (en) Moving picture coding method and moving picture coding apparatus
JP2883592B2 (en) Moving picture decoding apparatus and moving picture decoding method
JP4867872B2 (en) Image processing apparatus, control method for the image processing apparatus, and program
JP2852118B2 (en) Moving picture coding method and moving picture coding apparatus
JPH0630332A (en) Coding and decoding device for moving image

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041014

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081022

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081022

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091022

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101022

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees