WO2009090865A1 - 動画像データ復号再生装置及び動画像データ復号装置 - Google Patents

動画像データ復号再生装置及び動画像データ復号装置 Download PDF

Info

Publication number
WO2009090865A1
WO2009090865A1 PCT/JP2009/000093 JP2009000093W WO2009090865A1 WO 2009090865 A1 WO2009090865 A1 WO 2009090865A1 JP 2009000093 W JP2009000093 W JP 2009000093W WO 2009090865 A1 WO2009090865 A1 WO 2009090865A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
data
output
decoding
unit
Prior art date
Application number
PCT/JP2009/000093
Other languages
English (en)
French (fr)
Inventor
Yusuke Yamanaka
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Publication of WO2009090865A1 publication Critical patent/WO2009090865A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Definitions

  • the present invention relates to a moving picture data decoding / playback apparatus and a moving picture data decoding apparatus that decode and output data encoded by a moving picture compression technique of the MPEG (Moving Picture Experts Group) method.
  • MPEG Motion Picture Experts Group
  • interframe prediction In the MPEG moving image compression technique, a compression technique called interframe prediction is used.
  • inter-frame prediction When decoding encoded data encoded by inter-frame prediction, not only encoded data of the frame but also past or future decoded data of the frame decoded in advance is necessary.
  • the encoded data can be decoded from an I picture (Intra ⁇ ⁇ Picture) that can be decoded only from the encoded data of the frame, the encoded data of the frame, and a past I picture or P picture previously decoded.
  • I picture Intra ⁇ ⁇ Picture
  • P picture Predictive Picture
  • B picture Bidirectionally Predictive Picture
  • GOP Group of Picture
  • a GOP is a unit that allows random access, and generally, an I picture is included at the head of the GOP.
  • the conventional moving image data decoding / playback apparatus performs high-speed playback in (1) a method in which all encoded data is decoded and the display interval is shortened, and (2) all the encoded data is displayed. There are a method of decoding and displaying unnecessary decoded data and (3) a method of decoding and displaying only necessary encoded data. The lower the number, the higher the processing performance in decoding and display.
  • the high-speed playback performed by the above-described moving picture data decoding / playback apparatus is to smoothly play back the encoded data that is discarded at the time of high-speed playback at 1.5 times speed or 2 times speed, but at high speed playback at 10 times speed or 50 times speed. Since this method cannot be applied due to limitations in processing performance, it has been high-speed skip reproduction in which only I pictures are reproduced. However, the interval between I pictures is every 0.5 seconds for digital broadcasting and every 2 seconds for one-segment broadcasting.
  • high-speed skip playback scenes tend to switch each time. As the playback speed is increased, the display interval of I pictures is shortened, so that scene switching is faster. For this reason, even if the user wants to search for and stop the target scene, if the target scene is not displayed, the user overlooks the target scene. That is, the visibility for the user is reduced during high-speed playback at 10 times speed or 50 times speed.
  • An object of the present invention is to provide a moving image data decoding / playback device and a moving image data decoding device capable of improving visibility for a user even during high-speed playback.
  • the present invention relates to a moving image data decoding / playback apparatus for decoding and outputting data encoded by a moving image compression technique of the MPEG system, and includes an I picture from data including an I picture that can be decoded only from the encoded data.
  • a data acquisition unit that acquires only the encoded data, a time indicated by time information corresponding to the encoded data of the I picture acquired by the data acquisition unit, and a code of the I picture that is output before the I picture
  • a time difference value that is a time difference indicated by time information corresponding to the digitized data is calculated, and an image display time per image calculated from a predetermined number of output images per second and a reproduction speed specified in advance.
  • the time difference value determines whether to output or discard the image of the I-picture encoded data acquired by the data acquisition unit
  • a video control unit a video decoding unit that decodes encoded data of an I picture determined to be output by the video control unit, an image of the data decoded by the data decoding unit, and a time difference value at the playback speed.
  • a video output unit that outputs only the divided time, and when the time difference value is larger than the determination value, the video control unit outputs an image of the encoded data of the I picture acquired by the data acquisition unit.
  • a moving picture data decoding / reproducing apparatus that determines and discards an image of encoded data of an I picture acquired by the data acquisition unit when the time difference value is equal to or less than the determination value.
  • the data acquisition unit separates only a packet including encoded data of I picture from data obtained by packetizing data including encoded data of I picture, and from the separated packet Obtain encoded data of an I picture.
  • the present invention relates to a user interface unit that accepts input from a user regarding the number of output sheets per unit time, a data acquisition unit that acquires only I pictures from picture data, and between each I picture acquired by the data acquisition unit A video control unit that determines an I picture to be output according to a relationship between a time difference, a reproduction speed, and the number of output sheets, a video decoding unit that decodes an I picture that is determined to be output by the video control unit, and the data
  • a moving image data decoding apparatus comprising: a video output unit that outputs a data image decoded by a decoding unit for a time corresponding to the time difference and the playback speed.
  • the user interface unit receives input from the user for a plurality of modes, and determines either or both of the playback speed and the number of output sheets according to the input mode.
  • the moving picture data decoding / playback apparatus and the moving picture data decoding apparatus According to the moving picture data decoding / playback apparatus and the moving picture data decoding apparatus according to the present invention, the switching of scenes in the display of only the I picture during the high speed playback of the data encoded by the moving picture compression technique of the MPEG system is controlled. be able to. For this reason, it is possible to output a moving image with high visibility for the user even during high-speed playback.
  • FIG. 1 is a block diagram showing a moving image data decoding / playback apparatus according to an embodiment
  • a moving image data decoding / playback apparatus performs high-speed playback using MPEG decoding / playback.
  • the MPEG system covers all MPEG such as MPEG2, MPEG4-SP and MPEG4-AVC.
  • FIG. 1 is a block diagram showing a moving image data decoding / playback apparatus according to an embodiment.
  • a moving image data decoding / playback apparatus 1 shown in FIG. 1 includes a PES separation unit 104, a video control unit 107, a video output unit 106, a video decoding unit 105, a demultiplexing control unit 101, a synchronization control unit 102, The system timer 103, the PES separation unit 108, the audio decoding unit 109, the audio output unit 110, the audio control unit 111, the user interface 201, the CPU 202, the input control unit 203, and the memory 204 are provided.
  • the PES separator 104, the video controller 107, the video output unit 106, and the video decoder 105 are mainly used.
  • the PES separation unit 104 separates only a packet including encoded data of an I picture from a PES (Packetized Elementary Stream) obtained by packetizing moving image data encoded by MPEG moving image compression technology, and performs the separation.
  • the encoded data of the I picture is acquired from the packet. Note that during normal playback, the PES separator 104 can separate packets having video data without distinguishing pictures.
  • the MPEG system covers all MPEG, but “I picture” is a term mainly used in MPEG2. In other MPEG systems, “I frame” may be used as a term corresponding to “I picture”.
  • the video control unit 107 displays the time indicated by the PTS (Present Time Stamp) corresponding to the encoded data of the I picture separated by the PES separation unit 104 and the I picture output by the video output unit 106 before the I picture.
  • a time difference (hereinafter referred to as “PTS difference value”) indicated by the PTS corresponding to the encoded data is calculated.
  • the PTS is time information and is included in the packet header of the PES.
  • the video control unit 107 multiplies a display time per image calculated from a predetermined number of output images per second and a playback speed specified in advance (hereinafter referred to as “determination value”).
  • the video decoding unit 105 When the PTS difference value is larger than (), the video decoding unit 105 is instructed to decode the encoded data, and the video output unit 106 is instructed to output an image.
  • the video control unit 107 discards the encoded data without decoding and outputting the encoded data. Note that during normal playback, the video control unit 107 instructs the video output unit 106 to output an image at a timing designated by the synchronization control unit 102.
  • the video output unit 106 outputs an image obtained by decoding the encoded data only for the time obtained by dividing the PTS difference value described above by the reproduction speed. Note that during normal reproduction, the video output unit 106 displays an image obtained by decoding the encoded data for a predetermined time.
  • output includes display on a display, printing on a printer, transmission to an external device, and the like.
  • the video output unit 106 may include not only an output interface but also an output device such as a display.
  • the output interface included in the video output unit 106 is realized by driver software of the output device.
  • FIG. 2 is a flowchart showing a high-speed playback operation of the moving image data decoding / playback apparatus 1 shown in FIG.
  • step S101 the video control unit 107 uses the video output unit 106 from the PTS corresponding to the encoded data of the I picture (hereinafter referred to as “output candidate image”) that can be output next after being separated by the PES separation unit 104.
  • the PTS difference value is obtained by subtracting the PTS corresponding to the I picture output immediately before.
  • step S102 the video control unit 107 displays the image display time per frame calculated from the PTS difference value acquired in step S101, the number of output images per second specified in advance, and the playback speed specified in advance.
  • the numerical value (judgment value) multiplied by is compared.
  • step S103 the video control unit 107 discards the encoded data of the output candidate image.
  • step S104 the video control unit 107 instructs the video decoding unit 105 to decode the encoded data of the output candidate image.
  • step S105 the video output unit 106 displays the image decoded in step S104 for the time obtained by dividing the PTS difference value by the reproduction speed.
  • step S106 the video control unit 107 determines whether or not high-speed playback is continued. If it is continued, the process returns to step S101, and if it is ended, the high-speed playback operation is terminated. .
  • the user of the moving image data decoding / playback apparatus 1 uses the user interface 201 to specify the playback speed at the time of high-speed playback and the number of output images per second. For example, when the user designates the playback speed as 10 times speed and the number of output sheets as 3, the CPU 202 sets these values for the playback speed and the number of output sheets in the video control unit 107.
  • FIG. 3 is a diagram illustrating an example of output / discard pictures during high-speed playback in which the playback speed is set to 10 times speed and the number of output sheets is set to 3.
  • the moving picture data decoding / playback apparatus 1 of the present embodiment calculates the discard / output and display time of each I picture based on the PTS of each I picture and the playback speed and output number specified in advance. can do. Therefore, by designating an arbitrary reproduction speed in high-speed reproduction and the number of output images to be displayed per second, it is possible to output a moving image with high visibility for the user even during high-speed reproduction.
  • the encoded data corresponding to the I picture may be acquired by the video decoding unit 105 instead of the PES separation unit 104.
  • the video control unit 107 acquires a PTS corresponding to the I picture from the video decoding unit 105.
  • acquisition of encoded data corresponding to an I picture may be performed by both the PES separation unit 104 and the video decoding unit 105.
  • the demultiplexing control unit 101 may input PES including encoded data of an I picture to the PES demultiplexing unit 104 instead of all PESs related to video data.
  • step S101 shown in FIG. 2 is the encoded data of the I picture (output candidate image) that can be output next from the PTS corresponding to the I picture output immediately before by the video output unit 106. By subtracting the PTS corresponding to, it can be applied to reverse playback.
  • the CPU 202 sets each value of the reproduction speed and the number of output sheets corresponding to each mode in the video control unit 202. According to this mode, for example, the playback speed is the same at 30 times speed, but the number of output sheets can be switched to 3 sheets in the high-speed smooth playback mode and 10 sheets in the high-speed repeat playback mode.
  • “high-speed playback small mode” or “high-speed playback large mode” may be selected as the designation mode of high-speed playback using the user interface 201.
  • the CPU 202 sets each value of the reproduction speed and the number of output sheets corresponding to each mode in the video control unit 202.
  • the combination is determined in advance by setting the playback speed to 10 times and the number of output sheets in the high speed playback small mode, and the number of output sheets to 5 in the high speed playback large mode.
  • the moving image data decoding / playback apparatus is useful as a playback apparatus for moving images recorded on an optical disk, a storage device, a recorder, a memory card, or the like.

Abstract

　動画像データ復号再生装置は、Ｉピクチャの符号化データのみを取得するデータ取得部と、取得したＩピクチャに対応する時間情報と、当該Ｉピクチャよりも先に出力されたＩピクチャに対応する時間情報の時間差値を算出し、１枚あたりの画像の表示時間と再生速度とを掛け合わせた判定値に対する時間差値の大小関係に応じて、データ取得部が取得したＩピクチャの画像の出力又は破棄を決定するビデオ制御部と、Ｉピクチャの符号化データを復号するビデオ復号部と、復号されたデータの画像を、時間差値を再生速度で割った時間だけ出力するビデオ出力部を備える。ビデオ制御部は、時間差値が判定値よりも大きいとき、取得したＩピクチャの符号化データの画像を出力すると決定し、時間差値が判定値以下のとき、取得したＩピクチャの符号化データの画像を破棄すると決定する。

Description

動画像データ復号再生装置及び動画像データ復号装置
　本発明は、ＭＰＥＧ（Moving Picture Experts Group）方式の動画像圧縮技術により符号化されたデータを復号して出力する動画像データ復号再生装置及び動画像データ復号装置に関する。
　ＭＰＥＧ方式の動画像圧縮技術では、フレーム間予測と呼ばれる圧縮技術が用いられる。フレーム間予測により符号化された符号化データを復号する際には、当該フレームの符号化データのみならず、予め復号された当該フレームの過去又は未来の復号データが必要である。
　符号化データには、当該フレームの符号化データのみから復号が可能なＩピクチャ（Intra Picture）と、当該フレームの符号化データと以前に復号された過去のＩピクチャ又はＰピクチャから復号が可能なＰピクチャ（Predictive Picture）と、当該フレームの符号化データと以前に復号された過去及び未来のＩピクチャ又はＰピクチャから復号が可能なＢピクチャ（Bidirectionally Predictive Picture）との３種類がある。
　Ｂピクチャを復号するためには未来のデータを必要とするため、符号化する場合には順を入れ替えて符号化する。一方、Ｉピクチャ及びＰピクチャは未来のデータを必要としないため、符号化する場合には順を入れ替えずに符号化する。
　ピクチャの集まりをＧＯＰ（Group of Picture）と呼ぶ。ＧＯＰはランダムアクセスが可能な単位であり、一般的にＧＯＰの先頭にはＩピクチャが含まれている。
　従来の動画像データ復号再生装置が高速再生を行う方法には、（１）全ての符号化データを復号し表示間隔を短くして全てを表示する方法と、（２）全ての符号化データを復号し不要な復号データを破棄して表示する方法と、（３）必要な符号化データのみ復号し表示する方法とがある。番号の若い方法ほど、復号や表示における処理性能がもとめられる。
　必要な符号化データのみ復号し表示する方法で行われる再生では、ＧＯＰの構成を取得し、取得したＧＯＰの構成から復号が不要なＢピクチャを判別して再生を行う高速スムーズ再生と、高速スムーズ再生が不可能である場合にＩピクチャのみの再生を行う高速スキップ再生とが切り替えられる（例えば、特許文献１参照）。また、復号が不要なＢピクチャの判別方法としては、通常再生の場合での表示累積時間と高速再生時の表示累積時間から行う方法がある（例えば、特許文献２参照）。
特開２００６－２１７６３５号公報 特開２００７－１２９４８９号公報
　上記説明した動画像データ復号再生装置が行う高速再生は、１．５倍速や２倍速の高速再生時に破棄する符号化データを抑え滑らかに再生するものであるが、１０倍速や５０倍速の高速再生には処理性能の限界があり適用できないため、Ｉピクチャのみの再生を行う高速スキップ再生であった。しかし、Ｉピクチャの間隔は、デジタル放送では０．５秒毎、ワンセグ放送では２秒毎である。高速スキップ再生を行うと場面が都度切り替わる傾向にあり、再生速度を速くすればするほどＩピクチャの表示間隔が短くなるため、場面の切り替わりが速くなる。このため、利用者が目的の場面を探索かつ停止したくても目的の場面が表示されずに過ぎてしまうと、利用者は目的の場面を見過ごしてしまう。すなわち、１０倍速や５０倍速の高速再生時には、利用者にとっての視認性が低下してしまう。
　本発明の目的は、高速再生時にもユーザにとっての視認性を向上可能な動画像データ復号再生装置及び動画像データ復号装置を提供することである。
　本発明は、ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータを復号して出力する動画像データ復号再生装置であって、符号化データのみから復号可能なＩピクチャを含むデータから、Ｉピクチャの符号化データのみを取得するデータ取得部と、前記データ取得部が取得したＩピクチャの符号化データに対応する時間情報が示す時間と、当該Ｉピクチャよりも先に出力されたＩピクチャの符号化データに対応する時間情報が示す時間の差分である時間差値を算出し、予め指定された１秒あたりの画像の出力枚数から算出した１枚あたりの画像の表示時間と予め指定された再生速度とを掛け合わせた判定値に対する前記時間差値の大小関係に応じて、前記データ取得部が取得したＩピクチャの符号化データの画像の出力又は破棄を決定するビデオ制御部と、前記ビデオ制御部が出力すると決定したＩピクチャの符号化データを復号するビデオ復号部と、前記データ復号部によって復号されたデータの画像を、前記時間差値を前記再生速度で割った時間だけ出力するビデオ出力部と、を備え、前記ビデオ制御部は、前記時間差値が前記判定値よりも大きいとき、前記データ取得部が取得したＩピクチャの符号化データの画像を出力すると決定し、前記時間差値が前記判定値以下のとき、前記データ取得部が取得したＩピクチャの符号化データの画像を破棄すると決定する動画像データ復号再生装置を提供する。
　上記動画像データ復号再生装置では、前記データ取得部は、Ｉピクチャの符号化データを含むデータをパケット化したデータから、Ｉピクチャの符号化データを含むパケットのみを分離し、当該分離したパケットからＩピクチャの符号化データを取得する。
　本発明は、単位時間当たりの出力枚数について、ユーザからの入力を受け付けるユーザインタフェース部と、ピクチャデータから、Ｉピクチャのみを取得するデータ取得部と、前記データ取得部が取得した各Ｉピクチャ間の時間差分と、再生速度と、前記出力枚数の関係に応じて、出力するＩピクチャを決定するビデオ制御部と、前記ビデオ制御部が出力すると決定したＩピクチャを復号するビデオ復号部と、前記データ復号部によって復号されたデータ画像を、前記時間差分と前記再生速度に応じた時間だけ出力するビデオ出力部と、を備えた動画像データ復号装置を提供する。
　上記動画像データ復号装置では、前記ユーザインタフェース部は、複数のモードについてユーザからの入力を受け付け、入力されたモードに応じて、前記再生速度と前記出力枚数のいずれか又は両方を決定する。
　本発明に係る動画像データ復号再生装置及び動画像データ復号装置によれば、ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータの高速再生時のＩピクチャのみの表示における場面の切り替わりを制御することができる。このため、高速再生時にもユーザにとって視認性の良い動画像を出力することができる。
一実施形態の動画像データ復号再生装置を示すブロック図 図１に示した動画像データ復号再生装置の高速再生動作を示すフローチャート 再生速度が１０倍速、出力枚数が３枚に設定されている高速再生時の出力・破棄ピクチャの一例を示す図
符号の説明
１　動画像データ復号再生装置
２　記録媒体
３　チューナ
４　表示デバイス
５　スピーカ
１０１　多重分離制御部
１０２　同期制御部
１０３　システムタイマ
１０４　ＰＥＳ分離部
１０５　ビデオ復号部
１０６　ビデオ出力部
１０７　ビデオ制御部
１０８　ＰＥＳ分離部
１０９　オーディオ復号部
１１０　オーディオ出力部
１１１　オーディオ制御部
２０１　ユーザインターフェース
２０２　ＣＰＵ
２０３　入力制御部
２０４　メモリ
　以下、本発明の実施形態について、図面を参照して説明する。なお、以下説明する実施形態の動画像データ復号再生装置は、ＭＰＥＧ方式の復号再生による高速再生を行う。ＭＰＥＧ方式とは、ＭＰＥＧ２やＭＰＥＧ４－ＳＰ、ＭＰＥＧ４－ＡＶＣ等のＭＰＥＧ全般が対象である。
　図１は、一実施形態の動画像データ復号再生装置を示すブロック図である。図１に示す動画像データ復号再生装置１は、ＰＥＳ分離部１０４と、ビデオ制御部１０７と、ビデオ出力部１０６と、ビデオ復号部１０５と、多重分離制御部１０１と、同期制御部１０２と、システムタイマ１０３と、ＰＥＳ分離部１０８と、オーディオ復号部１０９と、オーディオ出力部１１０と、オーディオ制御部１１１と、ユーザインターフェース２０１と、ＣＰＵ２０２と、入力制御部２０３と、メモリ２０４とを備える。ＭＰＥＧ方式の復号再生による高速再生には、主に、ＰＥＳ分離部１０４、ビデオ制御部１０７、ビデオ出力部１０６及びビデオ復号部１０５が用いられる。
　ＰＥＳ分離部１０４は、ＭＰＥＧ方式の動画像圧縮技術により符号化された動画像データをパケット化したＰＥＳ（Packetized Elementary Stream）から、Ｉピクチャの符号化データを含むパケットのみを分離して、当該分離したパケットからＩピクチャの符号化データを取得する。なお、通常再生時、ＰＥＳ分離部１０４は、ピクチャの区別なくビデオデータを有するパケットを分離することが可能である。なお、上述のように、本明細書においてＭＰＥＧ方式はＭＰＥＧ全般が対象であるが、「Ｉピクチャ」とは主にＭＰＥＧ２で用いられる用語である。他のＭＰＥＧ方式では「Ｉピクチャ」に該当する用語として「Ｉフレーム」が用いられることもある。
　ビデオ制御部１０７は、ＰＥＳ分離部１０４が分離したＩピクチャの符号化データに対応するＰＴＳ（Present Time Stamp）が示す時間と、当該Ｉピクチャよりも先にビデオ出力部１０６が出力したＩピクチャの符号化データに対応するＰＴＳが示す時間の差分（以下「ＰＴＳ差分値」という。）を算出する。なお、ＰＴＳは時間情報であり、ＰＥＳのパケットヘッダに含まれている。ビデオ制御部１０７は、予め指定された１秒あたりの画像の出力枚数から算出した１枚あたりの画像の表示時間と予め指定された再生速度とを掛け合わせた数値（以下「判定値」という。）よりもＰＴＳ差分値が大きい場合に、ビデオ復号部１０５に符号化データの復号を指示し、かつ、ビデオ出力部１０６に画像の出力を指示する。一方、ＰＴＳ差分値が判定値以下の場合、ビデオ制御部１０７は、符号化データの復号及び出力を行わずに当該符号化データを破棄する。なお、通常再生時、ビデオ制御部１０７は、同期制御部１０２によって指定されたタイミングで画像を出力するようビデオ出力部１０６に指示する。
　ビデオ出力部１０６は、符号化データを復号した画像を、前述したＰＴＳ差分値を再生速度で割った時間だけ出力する。なお、通常再生時、ビデオ出力部１０６は、符号化データを復号した画像を所定の時間だけ表示する。本明細書において、「出力」とは、ディスプレイへの表示やプリンタへの印字、外部装置への送信等を含む。また、ビデオ出力部１０６には、出力インターフェースだけでなく、ディスプレイ等の出力デバイスを含めても良い。ビデオ出力部１０６に含まれる出力インターフェースは、出力デバイスのドライバソフトによって実現される。
　次に、本実施形態の動画像データ復号再生装置１の高速再生動作について、図２のフローチャートを用いて説明する。図２は、図１に示した動画像データ復号再生装置１の高速再生動作を示すフローチャートである。
　まず、ステップＳ１０１では、ビデオ制御部１０７は、ＰＥＳ分離部１０４が分離した次に出力し得るＩピクチャ（以下「出力候補画像」という。）の符号化データに対応したＰＴＳからビデオ出力部１０６で直前に出力したＩピクチャに対応するＰＴＳを引いて、ＰＴＳ差分値を取得する。ステップＳ１０２では、ビデオ制御部１０７は、ステップＳ１０１で取得したＰＴＳ差分値と、予め指定された１秒あたりの画像の出力枚数から算出した１枚あたりの画像の表示時間と予め指定された再生速度とを掛け合わせた数値（判定値）を比較する。ＰＴＳ差分値が判定値以下のときはステップＳ１０３に進み、ＰＴＳ差分値が判定値よりも大きいときはステップＳ１０４に進む。
　ステップＳ１０３では、ビデオ制御部１０７は、出力候補画像の符号化データを破棄する。一方、ステップＳ１０４では、ビデオ制御部１０７は、出力候補画像の符号化データの復号をビデオ復号部１０５に指示する。ステップＳ１０４を行った後、ステップＳ１０５では、ビデオ出力部１０６は、ステップＳ１０４で復号された画像を、ＰＴＳ差分値を再生速度で割った時間だけ表示する。また、ステップＳ１０５又はステップＳ１０３を行った後、ステップＳ１０６では、ビデオ制御部１０７が高速再生の継続／終了を判断し、継続の場合はステップＳ１０１に戻り、終了の場合は高速再生動作を終了する。
　以下、本実施形態の動画像データ復号再生装置１の具体的な動作について説明する。動画像データ復号再生装置１のユーザは、ユーザインターフェース２０１を利用して、高速再生時の再生速度及び１秒あたりの画像の出力枚数を指定する。例えば、ユーザが再生速度を１０倍速、出力枚数を３枚に指定したとき、ＣＰＵ２０２は、これら再生速度及び出力枚数の各数値をビデオ制御部１０７に設定する。
　図３は、再生速度が１０倍速、出力枚数が３枚に設定されている高速再生時の出力・破棄ピクチャの一例を示す図である。図３に示すように、２秒間隔でＩピクチャがあり、ＰＴＳ＝０ｓのＩピクチャを出力していた場合、ＰＴＳ＝２ｓのＩピクチャのＰＴＳ差分値は２０００ｍｓ、上述した判定値は１／３×１０＝３３３３ｍｓであり、判定値よりもＰＴＳ差分値の方が小さいため、ビデオ制御部１０７はＰＴＳ＝２ｓのＩピクチャを破棄する。また、ＰＴＳ＝４ｓのＩピクチャのＰＴＳ差分値は４０００ｍｓ、判定値は３３３３ｍｓであり、判定値よりもＰＴＳ差分値の方が大きいため、ビデオ制御部１０７はＰＴＳ＝４ｓのＩピクチャを出力する。ＰＴＳ＝４ｓのＩピクチャの画像が表示される時間は４０００×１／１０＝４００ｍｓである。以降、同様に、ＰＴＳ＝６ｓのＩピクチャは破棄され、ＰＴＳ＝８ｓのＩピクチャは出力される。
　以上説明したように、本実施形態の動画像データ復号再生装置１によれば、ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータの高速再生時のＩピクチャのみの表示における場面の切り替わりを制御することができる。動画像データ復号再生装置１は、各Ｉピクチャの破棄／出力及び表示時間を、各ＩピクチャのＰＴＳと予め指定された再生速度及び出力枚数に基づいて算出するため、所望の再生速度で高速再生することができる。したがって、高速再生における任意の再生速度と１秒あたりに表示する出力枚数を指定することで、高速再生時にもユーザにとって視認性の良い動画像を出力することができる。
　なお、Ｉピクチャに該当する符号化データの取得は、ＰＥＳ分離部１０４ではなくビデオ復号部１０５が行っても良い。この場合、ビデオ制御部１０７は、Ｉピクチャに対応したＰＴＳをビデオ復号部１０５から取得する。また、Ｉピクチャに該当する符号化データの取得は、ＰＥＳ分離部１０４及びビデオ復号部１０５の両方が行っても良い。また、多重分離制御部１０１は、ビデオデータに関する全てのＰＥＳではなく、Ｉピクチャの符号化データを含むＰＥＳをＰＥＳ分離部１０４に入力しても良い。
　また、図２に示したステップＳ１０１で行うＰＴＳ差分値の算出は、ビデオ出力部１０６で直前に出力したＩピクチャに対応するＰＴＳから次に出力し得るＩピクチャ（出力候補画像）の符号化データに対応したＰＴＳを引くことで、逆順再生にも適用できる。
　また、ユーザインターフェース２０１を利用した再生速度及び出力枚数の具体的な指定に限らず、例えば、「高速なめらか再生モード」や「高速きりかえ再生モード」を選択できるようにしても良い。この場合、ＣＰＵ２０２は、各モードに対応した再生速度及び出力枚数の各数値をビデオ制御部２０２に設定する。この形態によれば、例えば再生速度は３０倍速で同じだが、出力枚数を高速なめらか再生モードであれば３枚、高速きりかえ再生モードであれば１０枚というように切り替えることができる。
　また、ユーザインターフェース２０１を利用した高速再生の指定形態として、例えば、「高速再生小モード」や「高速再生大モード」を選択できるようにしても良い。この場合、ＣＰＵ２０２は、各モードに対応した再生速度及び出力枚数の各数値をビデオ制御部２０２に設定する。この形態では、例えば高速再生小モードでは再生速度が１０倍速で出力枚数を３枚、高速再生大モードでは再生速度が５０倍速で出力枚数を５枚として予め組み合わせを定めておく。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、2008年1月16日出願の日本特許出願（特願2008－006811）に基づくものであり、その内容はここに参照として取り込まれる。
　本発明に係る動画像データ復号再生装置は、光ディスクやストレージデバイス、レコーダやメモリカード等に記録された動画像の再生装置等として有用である。

Claims (4)

  1. 　ＭＰＥＧ方式の動画像圧縮技術により符号化されたデータを復号して出力する動画像データ復号再生装置であって、
    　符号化データのみから復号可能なＩピクチャを含むデータから、Ｉピクチャの符号化データのみを取得するデータ取得部と、
    　前記データ取得部が取得したＩピクチャの符号化データに対応する時間情報が示す時間と、当該Ｉピクチャよりも先に出力されたＩピクチャの符号化データに対応する時間情報が示す時間の差分である時間差値を算出し、予め指定された１秒あたりの画像の出力枚数から算出した１枚あたりの画像の表示時間と予め指定された再生速度とを掛け合わせた判定値に対する前記時間差値の大小関係に応じて、前記データ取得部が取得したＩピクチャの符号化データの画像の出力又は破棄を決定するビデオ制御部と、
    　前記ビデオ制御部が出力すると決定したＩピクチャの符号化データを復号するビデオ復号部と、
    　前記データ復号部によって復号されたデータの画像を、前記時間差値を前記再生速度で割った時間だけ出力するビデオ出力部と、を備え、
    　前記ビデオ制御部は、前記時間差値が前記判定値よりも大きいとき、前記データ取得部が取得したＩピクチャの符号化データの画像を出力すると決定し、前記時間差値が前記判定値以下のとき、前記データ取得部が取得したＩピクチャの符号化データの画像を破棄すると決定する動画像データ復号再生装置。
  2. 　請求項１に記載の動画像データ復号再生装置であって、
    　前記データ取得部は、Ｉピクチャの符号化データを含むデータをパケット化したデータから、Ｉピクチャの符号化データを含むパケットのみを分離し、当該分離したパケットからＩピクチャの符号化データを取得する動画像データ復号再生装置。
  3. 　単位時間当たりの出力枚数について、ユーザからの入力を受け付けるユーザインタフェース部と、
    　ピクチャデータから、Ｉピクチャのみを取得するデータ取得部と、
    　前記データ取得部が取得した各Ｉピクチャ間の時間差分と、再生速度と、前記出力枚数の関係に応じて、出力するＩピクチャを決定するビデオ制御部と、
    　前記ビデオ制御部が出力すると決定したＩピクチャを復号するビデオ復号部と、
    　前記データ復号部によって復号されたデータ画像を、前記時間差分と前記再生速度に応じた時間だけ出力するビデオ出力部と、
    を備えた動画像データ復号装置。
  4. 　請求項３に記載の動画像データ復号装置であって、
    　前記ユーザインタフェース部は、複数のモードについてユーザからの入力を受け付け、入力されたモードに応じて、前記再生速度と前記出力枚数のいずれか又は両方を決定する動画像データ復号装置。
PCT/JP2009/000093 2008-01-16 2009-01-13 動画像データ復号再生装置及び動画像データ復号装置 WO2009090865A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008006811A JP2009171202A (ja) 2008-01-16 2008-01-16 動画像データ復号再生装置
JP2008-006811 2008-01-16

Publications (1)

Publication Number Publication Date
WO2009090865A1 true WO2009090865A1 (ja) 2009-07-23

Family

ID=40885257

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000093 WO2009090865A1 (ja) 2008-01-16 2009-01-13 動画像データ復号再生装置及び動画像データ復号装置

Country Status (2)

Country Link
JP (1) JP2009171202A (ja)
WO (1) WO2009090865A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934435A (zh) * 2010-06-11 2013-02-13 三菱电机株式会社 视频显示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109419A (ja) * 2004-09-10 2006-04-20 Canon Inc データ再生装置及びその制御方法、コンピュータプログラム、記録媒体
JP2007124576A (ja) * 2005-10-31 2007-05-17 Sharp Corp 映像再生装置、映像再生方法、映像再生プログラム、および、映像再生プログラムを記録した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109419A (ja) * 2004-09-10 2006-04-20 Canon Inc データ再生装置及びその制御方法、コンピュータプログラム、記録媒体
JP2007124576A (ja) * 2005-10-31 2007-05-17 Sharp Corp 映像再生装置、映像再生方法、映像再生プログラム、および、映像再生プログラムを記録した記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934435A (zh) * 2010-06-11 2013-02-13 三菱电机株式会社 视频显示装置
CN102934435B (zh) * 2010-06-11 2015-09-23 三菱电机株式会社 视频显示装置

Also Published As

Publication number Publication date
JP2009171202A (ja) 2009-07-30

Similar Documents

Publication Publication Date Title
JP4039417B2 (ja) 記録再生装置
KR100565869B1 (ko) 동기지연제어장치및방법
JPH0918870A (ja) タイミング検出回路及びその方法
JP2001204032A (ja) Ｍｐｅｇ復号装置
KR100975170B1 (ko) 화상 데이터 재생 장치 및 방법
JP4852453B2 (ja) 記録装置、映像再生装置、および、その特殊再生方法
US6999090B2 (en) Data processing apparatus, data processing method, information storing medium, and computer program
WO2009090865A1 (ja) 動画像データ復号再生装置及び動画像データ復号装置
JP2002010254A (ja) 特徴点検出方法および記録再生装置
JP4763589B2 (ja) 再生装置、および、その再生方法
US20030091331A1 (en) Method for implementing low-speed playback of a digital broadcast program
US20080292263A1 (en) Accessibility of Graphics During and After Trick Play
JP2001078146A (ja) 映像復号化方法，及びその装置
JP2002033712A (ja) パケット処理装置及びそのパケット出力方法
JP3184175B2 (ja) 復号化装置
JP4435733B2 (ja) データ処理装置
JPH11355719A (ja) 記録再生装置、記録再生方法、および提供媒体
JP2001223985A (ja) 情報記録装置、情報再生装置、情報記録再生装置及び方法
JP2004140723A (ja) デジタル映像情報の再生装置及び再生方法
JP4829767B2 (ja) 映像記録再生装置、その映像特殊再生方法
JP2009111531A (ja) 高速再生装置
JP2009218934A (ja) 映像再生装置及び映像再生方法
JP2005198203A (ja) 映像信号記録再生装置および方法
JP4390666B2 (ja) 圧縮映像データ及び圧縮音声データの復号再生方法及び復号再生装置
JP2004208315A (ja) 早送りモードのｍｐｅｇピクチャを復号し、表示する方法および装置、そのような装置が組み込まれたビデオドライバ回路およびデコーダボックス

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09702120

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09702120

Country of ref document: EP

Kind code of ref document: A1