JP3405190B2 - Decryption method - Google Patents
Decryption methodInfo
- Publication number
- JP3405190B2 JP3405190B2 JP11676298A JP11676298A JP3405190B2 JP 3405190 B2 JP3405190 B2 JP 3405190B2 JP 11676298 A JP11676298 A JP 11676298A JP 11676298 A JP11676298 A JP 11676298A JP 3405190 B2 JP3405190 B2 JP 3405190B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- decoding
- video
- data
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、符号化された映像
（以後符号化映像と呼ぶ）および音声（以後符号化音声
と呼ぶ）を復号する方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for decoding coded video (hereinafter referred to as coded video) and audio (hereinafter referred to as coded audio).
【０００２】[0002]
【従来の技術】近年計算機の性能向上により、パーソナ
ルコンピュータ（ＰＣ）においても、専用の機器を用い
ることなく、ソフトウェアで映像・音声信号を処理する
ことが実用的になってきた。2. Description of the Related Art With the recent improvement in computer performance, it has become practical to process video / audio signals by software without using a dedicated device even in a personal computer (PC).
【０００３】図１３は、一般的なパーソナルコンピュー
タ（以後ＰＣと呼ぶ）の構成について説明した図であ
る。ＰＣの一般的な構成は、演算装置であるCPU１３０
１、不揮発性記録媒体であるハードディスク１３０２、
揮発性記録媒体である外部メモリ（バッファ）１３０３
が、バス１３０５によって接続されているものである。FIG. 13 is a diagram for explaining the configuration of a general personal computer (hereinafter referred to as a PC). A general configuration of a PC is a CPU 130 which is a computing device.
1. a hard disk 1302 which is a non-volatile recording medium,
External memory (buffer) 1303 that is a volatile recording medium
Are connected by a bus 1305.
【０００４】また、ディジタルの映像や音声データをリ
アルタイムで伝送できるIEEE１３９４インターフェース
が規格化され、この規格に基づいたＰＣインターフェー
ス（IEEE１３９４端子１３０４）も近い将来商品化され
る。An IEEE 1394 interface capable of transmitting digital video and audio data in real time has been standardized, and a PC interface (IEEE 1394 terminal 1304) based on this standard will be commercialized in the near future.
【０００５】図１４はＰＣにおいて符号化された映像を
ソフトウェアで復号して再生する方法の一例を説明した
ブロック図である。図１４において、１４０１は映像入
力部、１４０２はバッファ、１４０３は映像復号部、１
４０４は映像出力部である。なおこの例では、符号化映
像が１フレーム単位でバッファに入力されるものとす
る。FIG. 14 is a block diagram illustrating an example of a method of decoding a video coded in a PC by software and reproducing the video. In FIG. 14, 1401 is a video input unit, 1402 is a buffer, 1403 is a video decoding unit, and 1403 is a video decoding unit.
Reference numeral 404 is a video output unit. In this example, it is assumed that the coded video is input to the buffer on a frame-by-frame basis.
【０００６】映像入力部１４０１から入力された符号化
映像は、１フレーム単位でバッファ１４０２に保持され
る。映像復号部１４０３は、バッファ１４０２から符号
化映像を取得して復号し、映像出力部１４０４に出力し
て再生する。The coded video input from the video input unit 1401 is held in the buffer 1402 on a frame-by-frame basis. The video decoding unit 1403 acquires the encoded video from the buffer 1402, decodes it, outputs it to the video output unit 1404, and plays it back.
【０００７】ここで、あるフレームの符号化映像を取得
して復号中に、次のフレームが同一バッファに入力され
ると、復号を正しく行うことができない。そのため、図
１４のようにバッファ０、バッファ１と２個用意し、バ
ッファ０のデータを復号中のときは、次のフレームの符
号化映像はバッファ１に入力することで、正しく再生を
行うことができる。If the next frame is input to the same buffer while the coded video of a certain frame is acquired and decoded, the decoding cannot be performed correctly. Therefore, as shown in FIG. 14, two buffers 0 and 1 are prepared, and when the data in the buffer 0 is being decoded, the encoded video of the next frame is input to the buffer 1 so that the reproduction is performed correctly. You can
【０００８】[0008]
【発明が解決しようとする課題】しかしながら、上記の
従来技術による方法を用いて、図１３のＰＣ上で映像ま
たは音声を再生させるとき、符号化映像の復号は膨大な
処理量を持つ演算を行う必要があり、通常、符号化映像
の復号に要する時間は、バッファへの入力に要する時間
よりも時間を要するため以下のような問題が生じる。However, when the video or audio is reproduced on the PC shown in FIG. 13 by using the above-mentioned method according to the prior art, the decoding of the coded video performs an operation having a huge amount of processing. However, the time required for decoding the encoded video is usually longer than the time required for input to the buffer, so that the following problems occur.
【０００９】一例として、図１３のハードディスク１３
０２に記録されている符号化映像を取得して再生すると
き、バス１３０５の混み具合等の状態によっては、符号
化映像の入力が遅延することもある。このとき、たとえ
ばバッファ０のフレームの映像復号が１／３０秒（ＮＴ
ＳＣ信号の１フレーム期間）以内に完了しても、バッフ
ァ１への次のフレームの符号化映像入力が完了していな
いと、バッファ１の復号化の処理を開始させることがで
きず、リアルタイムでの再生が困難となる。As an example, the hard disk 13 shown in FIG.
When the coded video recorded in 02 is acquired and played back, the input of the coded video may be delayed depending on the state of the congestion of the bus 1305. At this time, for example, the video decoding of the frame of the buffer 0 is 1/30 second (NT
Even if it is completed within one frame period of the SC signal), if the encoded video input of the next frame to the buffer 1 is not completed, the decoding process of the buffer 1 cannot be started, and in real time. Becomes difficult to reproduce.
【００１０】また、映像復号にあわせて音声復号も行う
とき、音声復号が早く終了しても、映像復号が終了する
まで、次に入力されるフレームのデータ入力を行うこと
ができない。これは、次フレームの音声復号をも遅延す
ることを意味する。音声の再生は、復号が遅延すると、
間延びしたように聞こえる。また逆に、フレーム落ちが
発生すると音飛びを生じ、いずれの場合も再生される音
声は非常に不快なものとなる。Further, when audio decoding is also performed along with video decoding, even if audio decoding ends early, data input of the next frame cannot be input until video decoding ends. This means that the audio decoding of the next frame is also delayed. When the decoding of the audio is delayed,
Sounds like a stretch. On the contrary, when dropped frames occur, skipping occurs, and in any case, the reproduced sound becomes very uncomfortable.
【００１１】一方映像信号は、フレーム落ちが２〜３フ
レームに１フレーム程度の割合で発生しても視覚的に大
きな妨害とはならない。On the other hand, in the video signal, even if frame drops occur at a rate of about 1 frame out of every 2 to 3 frames, it does not cause a great visual interference.
【００１２】これら不都合が生じないようにするため
に、バッファ数を増やす方法が考えられるが、バッファ
を増やすことで処理を行うＰＣの価格も上昇するという
問題がある。また、単にバッファ数を増加させるだけ
で、処理のスケジューリングを行わないと、CPUが遊休
状態になる可能性がある。In order to prevent these inconveniences from occurring, a method of increasing the number of buffers can be considered, but there is a problem that the cost of the PC for processing increases by increasing the number of buffers. Also, if the process is not scheduled by simply increasing the number of buffers, the CPU may be in an idle state.
【００１３】本発明では、従来までの技術における課題
を解決し、必要となるバッファの数を可能な限り削減
し、かつフレーム単位でのデータ入力、復号のスケジューリ
ングを行うことで、音声信号をリアルタイムで途切れる
ことなく再生させ、かつ映像出力レートが高くなるよう
な効率よい復号方法および復号プログラムを提供する。The present invention solves the problems in the conventional techniques, reduces the number of required buffers as much as possible, and schedules data input and decoding in frame units, so that a voice signal can be transmitted in real time. (EN) Provided are an efficient decoding method and a decoding program that can be reproduced without interruption and the video output rate can be increased.
【００１４】[0014]
【課題を解決するための手段】本願第1の発明は、符号
化映像データを復号単位で復号して再生する方法であっ
て、この復号単位の前記符号化映像データを入力し、こ
の符号化映像データを復号単位でｎ個のバッファ（ｎは
自然数）に保持するとき、入力処理番号、映像処理番
号、および映像処理候補番号を設定し、入力処理番号に
対応しているバッファに、復号単位の前記符号化映像デ
ータが入力されるよう制御し、復号単位の入力が終了し
たとき、この入力が終了したばかりのバッファの入力処
理番号を映像処理候補番号に入力し、新しい入力処理番
号として直前に入力処理番号を入力したばかりの映像処
理候補番号以外で、かつこの復号単位の入力が終了した
時点での前記映像処理番号以外である番号を入力し、前
記映像処理番号のバッファから前記符号化映像データを
取得し、取得された符号化映像データを復号し、前記復
号単位の前記映像復号ステップが終了したとき、前記映
像処理番号に前記映像処理候補番号を入力することを特
徴とする。The first invention of the present application is a method for decoding and reproducing coded video data in decoding units, wherein the coded video data in this decoding unit is input and When the video data is held in n buffers (n is a natural number) in decoding units, an input processing number, a video processing number, and a video processing candidate number are set, and the decoding unit is set in the buffer corresponding to the input processing number. When the coded video data is controlled to be input, and the input of the decoding unit is completed, the input processing number of the buffer that has just been input is input to the video processing candidate number and immediately before the new input processing number is input. Input a processing number other than the video processing candidate number that was just input, and a number other than the video processing number at the time when the input of the decoding unit is completed, and enter the video processing number Acquiring the coded video data from the file, decoding the acquired coded video data, and inputting the video processing candidate number to the video processing number when the video decoding step of the decoding unit is completed. Characterize.
【００１５】本願第２の発明は、符号化音声データおよ
び符号化映像データを復号単位で復号して再生する方法
であって、復号単位の符号化映像データおよび復号単位
の符号化音声データを多重化した多重化データを入力
し、この多重化データを復号単位でｎ個のバッファ（ｎ
は自然数）に保持するとき、入力処理番号、映像処理番
号、および映像処理候補番号を設定し、この入力処理番
号に対応しているバッファに、復号単位の多重化データ
が入力されるよう制御し、入力処理番号のバッファから
符号化音声データを抽出し、抽出された符号化音声デー
タを復号し、復号単位の音声復号ステップが終了したと
き、映像処理候補番号に抽出したばかりのバッファの入
力処理番号を入力し、新しい入力処理番号としてこの入
力したばかりの映像処理候補番号以外で、かつこの音声
復号ステップが終了した時点での映像処理番号以外であ
る番号を入力し、映像処理番号のバッファから符号化映
像データを抽出し、この抽出された符号化映像データを
復号し、復号単位の前記映像復号ステップが終了したと
き、映像処理番号に映像処理候補番号を入力することを
特徴とする。The second invention of the present application is a method for decoding and reproducing coded audio data and coded video data in decoding units, wherein coded video data in decoding units and coded audio data in decoding units are multiplexed. The multiplexed data that has been converted is input, and this multiplexed data is decoded by n buffers (n
Is a natural number), set the input processing number, video processing number, and video processing candidate number, and control the multiplexed data of the decoding unit to be input to the buffer corresponding to this input processing number. Input processing of the buffer just extracted to the video processing candidate number when the encoded audio data is extracted from the buffer of the input processing number, the extracted encoded audio data is decoded, and the audio decoding step of the decoding unit is completed Enter a number and enter a number other than the video processing candidate number just input as the new input processing number, and the video processing number at the time when this audio decoding step is completed, and then from the video processing number buffer. When the encoded video data is extracted, the extracted encoded video data is decoded, and the video decoding step of the decoding unit is completed, the video processing number Characterized by inputting an image processing candidate number.
【００１６】本願第3の発明は、符号化音声データおよ
び符号化映像データを復号単位で復号して再生する方法
であって、復号単位の符号化映像データおよび復号単位
の符号化音声データを多重化した多重化データを入力
し、この多重化データを復号単位でｎ個のバッファ（ｎ
は自然数）に保持するとき、入力処理番号、映像処理番
号、および映像処理候補番号を設定し、この入力処理番
号に対応しているバッファに、復号単位の多重化データ
が入力されるよう制御し、復号単位の入力が終了したと
き、音声処理番号および映像処理候補番号に入力が終了
したばかりのバッファの入力処理番号を設定し、新しい
入力処理番号として設定したばかりの音声処理番号以外
で、かつこの復号単位の入力が終了した時点での映像処
理番号以外である番号、もしくは映像処理候補番号以外
で、かつこの復号単位の入力が終了した時点での映像処
理番号以外である番号を入力し、前記音声処理番号のバ
ッファから前記符号化音声データを抽出し、前記抽出さ
れた符号化音声データを復号し、前記映像処理番号のバ
ッファから前記符号化映像データを抽出し、前記抽出さ
れた符号化映像データを復号し、前記復号単位の前記映
像復号ステップが終了したとき、前記映像処理番号に前
記映像処理候補番号を入力することを特徴とする。A third invention of the present application is a method for decoding and reproducing coded audio data and coded video data in decoding units, wherein the coded video data in decoding units and the coded audio data in decoding units are multiplexed. The multiplexed data that has been converted is input, and this multiplexed data is decoded by n buffers (n
Is a natural number), set the input processing number, video processing number, and video processing candidate number, and control the multiplexed data of the decoding unit to be input to the buffer corresponding to this input processing number. , When the decoding unit input is completed, set the input processing number of the buffer just input to the audio processing number and the video processing candidate number, other than the audio processing number just set as the new input processing number, and Enter a number other than the video processing number at the end of inputting this decoding unit, or a number other than the video processing candidate number and other than the video processing number at the end of inputting this decoding unit, The encoded audio data is extracted from the audio processing number buffer, the extracted encoded audio data is decoded, and the code is extracted from the video processing number buffer. Characterized in that the encoded video data is extracted, the extracted encoded video data is decoded, and when the video decoding step of the decoding unit is completed, the video processing candidate number is input to the video processing number. .
【００１７】本願第４の発明は、符号化音声データおよ
び符号化映像データを復号単位で復号して再生する方法
であって、前記復号単位の前記符号化映像データおよび
前記復号単位の前記符号化音声データを多重化した多重
化データが入力され、前記多重化データを前記復号単位
でｎ個のバッファ（ｎは自然数）に保持するとき、入力
処理番号、映像処理番号、音声処理番号、および映像処
理候補番号を設定し、前記多重化データの復号単位に対
応する時間間隔で基準信号を生成し、この基準信号が生
成されたとき、入力処理番号に対応しているバッファ
に、復号単位の多重化データの入力を開始し、復号単位
の入力が終了したとき、音声処理番号および映像処理候
補番号に入力が終了したばかりのバッファの入力処理番
号を設定し、新しい入力処理番号に設定したばかりの音
声処理番号以外で、かつこの復号単位の入力が終了した
時点での映像処理番号以外である番号、もしくは設定し
たばかりの映像処理候補番号以外で、かつこの復号単位
の入力が終了した時点での映像処理番号以外である番号
を入力し、音声処理番号のバッファから符号化音声デー
タを抽出し、この抽出された符号化音声データを復号
し、映像処理番号のバッファから符号化映像データを抽
出し、この抽出された符号化映像データを復号し、復号
単位の映像復号ステップが終了したとき、映像処理番号
に映像処理候補番号を入力することを特徴とする。A fourth invention of the present application is a method for decoding and reproducing coded audio data and coded video data in a decoding unit, wherein the coded video data in the decoding unit and the coding in the decoding unit. When multiplexed data obtained by multiplexing audio data is input and the multiplexed data is held in n buffers (n is a natural number) in the decoding unit, an input processing number, a video processing number, an audio processing number, and a video A processing candidate number is set, a reference signal is generated at a time interval corresponding to the decoding unit of the multiplexed data, and when this reference signal is generated, the decoding unit is multiplexed in the buffer corresponding to the input processing number. When the input of the encoded data is started and the input of the decoding unit is finished, the input processing number of the buffer just input is set to the audio processing number and the video processing candidate number, and the new processing number is set. Output processing number other than the audio processing number just set, and a video processing number other than the video processing number at the time when this decoding unit was input, or a video processing candidate number just set, and this decoding unit Enter a number other than the video processing number at the end of input, extract the encoded audio data from the audio processing number buffer, decode the extracted encoded audio data, and It is characterized in that encoded video data is extracted from, the extracted encoded video data is decoded, and when the video decoding step of the decoding unit is completed, the video processing candidate number is input to the video processing number.
【００１８】本願第5の発明は、符号化音声データを音
声復号単位で復号して再生する方法であって、音声復号
単位の符号化音声データをｍ個の音声バッファ（ｍは自
然数）に保持するとき、音声入力番号、音声処理番号を
設定し、音声復号単位に対応する時間間隔で音声基準信
号を生成し、この音声基準信号が生成されたとき、音声
入力番号に対応している音声バッファに、符号化音声デ
ータの入力を開始し、音声復号単位の符号化音声入力が
終了したとき、音声処理番号に音声入力番号を設定し、
新しい音声入力番号として音声処理番号以外である番号
を入力し、音声処理番号の音声バッファから前記符号化
音声データを取得し、前記抽出された符号化音声データ
を復号することを特徴とする。A fifth invention of the present application is a method for decoding and reproducing coded voice data in units of voice decoding, wherein the coded voice data in units of voice decoding is held in m voice buffers (m is a natural number). The audio input number and audio processing number are set, the audio reference signal is generated at the time interval corresponding to the audio decoding unit, and when this audio reference signal is generated, the audio buffer corresponding to the audio input number is generated. When the input of the encoded voice data is started and the encoded voice input in the voice decoding unit is finished, the voice input number is set to the voice processing number,
A number other than the voice processing number is input as a new voice input number, the encoded voice data is acquired from the voice buffer of the voice processing number, and the extracted encoded voice data is decoded.
【００１９】本願第6の発明は、符号化データを復号単
位で入力、復号して再生する方法であって、復号単位の
前記符号化データを入力し、符号化データに復号単位で
復号単位番号をつけ、符号化データを前記復号単位でバ
ッファに保持するときに、入力抑止信号の初期状態とし
てOFFを設定し、入力処理候補番号の初期値を設定し、
復号処理候補リストの初期状態として、空集合を設定
し、前記入力抑止信号がOFFの時に限り、入力処理候補
番号を復号単位番号とする前記符号化データのバッファ
への入力を開始し、入力処理候補番号に次の復号単位の
前記復号単位番号を設定し、復号単位の符号化データの
入力が終了したとき、復号処理候補リストの末尾に復号
単位の復号単位番号を追加し、復号処理が行われていな
いとき、もしくは復号単位の復号処理が終了したとき、
復号処理候補リストの先頭の要素の復号単位番号を持つ
符号化データを前記バッファから取得して復号処理を行
い、復号処理を行う復号単位番号を復号処理候補リスト
から除去し、復号処理候補リストの要素数がａ以上であ
れば、入力抑止信号をONにし、復号処理候補リストの要
素数がａ−１以下であれば、入力抑止信号をOFFにする
ことを特徴とする。The sixth invention of the present application is a method for inputting and decoding coded data in a decoding unit and reproducing the coded data, wherein the coded data in a decoding unit is input and the decoding unit number is set in the decoding unit in the decoding unit. When holding the encoded data in the buffer in the decoding unit, set OFF as the initial state of the input inhibition signal, set the initial value of the input processing candidate number,
As an initial state of the decoding process candidate list, an empty set is set, and only when the input suppression signal is OFF, the input process candidate number is used as a decoding unit number to start input of the encoded data into the buffer, and the input process is performed. When the decoding unit number of the next decoding unit is set to the candidate number and the input of the encoded data of the decoding unit is completed, the decoding unit number of the decoding unit is added to the end of the decoding process candidate list, and the decoding process is performed. If not, or when the decoding process of the decoding unit is completed,
The coded data having the decoding unit number of the first element of the decoding process candidate list is acquired from the buffer and the decoding process is performed, and the decoding unit number for performing the decoding process is removed from the decoding process candidate list. If the number of elements is a or more, the input inhibition signal is turned on, and if the number of elements in the decoding process candidate list is a-1 or less, the input inhibition signal is turned off.
【００２０】また、復号単位は映像の１フレームであ
り、映像復号処理のバッファの数は３以上、音声復号処
理のバッファの数は２以上であることを特徴とする。Further, the decoding unit is one frame of video, and the number of buffers for video decoding processing is 3 or more, and the number of buffers for audio decoding processing is 2 or more.
【００２１】[0021]
【発明の実施の形態】以下に、本発明をその実施の形態
を示す図面に基づいて説明する。なお、以下の実施形態
において、以前に説明した符号の説明は省略する。DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below with reference to the drawings showing the embodiments thereof. It should be noted that in the following embodiments, the description of the symbols described previously is omitted.
【００２２】（第１の実施形態）図１は、本発明の第1
の実施形態について説明したブロック図である。図１に
おいて、１０１はデータ入力部、１０２は入力制御部、
１０３はバッファ番号設定部、１０４はバッファ、１０
５は映像バッファ選択部、１０６は映像復号部、１０７
は映像出力部、１５１は入力処理番号、１５２は映像処
理番号、１５３は映像復号終了信号である。(First Embodiment) FIG. 1 shows a first embodiment of the present invention.
It is a block diagram explaining the embodiment of. In FIG. 1, 101 is a data input unit, 102 is an input control unit,
103 is a buffer number setting unit, 104 is a buffer, 10
5 is a video buffer selection unit, 106 is a video decoding unit, 107
Is a video output unit, 151 is an input processing number, 152 is a video processing number, and 153 is a video decoding end signal.
【００２３】なお以下の実施形態においては、１復号単
位を１フレームとし、バッファ１０３はバッファ番号が
０、１、２の３個の小バッファを持つものとする。ここ
に、小バッファ１つが１フレーム分のデータを記憶す
る。またデータ入力と映像復号とは別スレッドで動作す
るものとする。In the following embodiments, one decoding unit is one frame, and the buffer 103 has three small buffers having buffer numbers 0, 1, and 2. Here, one small buffer stores data for one frame. Further, it is assumed that the data input and the video decoding operate in separate threads.
【００２４】次に本実施形態の動作について説明する。
データ入力部１０１から入力された符号化映像データ
は、入力制御部１０２で、バッファ番号設定部１０３か
ら供給される入力処理番号１５１に対応する小バッファ
を指定され、バッファ１０４に保持される。Next, the operation of this embodiment will be described.
The encoded video data input from the data input unit 101 is designated by the input control unit 102 as a small buffer corresponding to the input processing number 151 supplied from the buffer number setting unit 103, and is held in the buffer 104.
【００２５】１フレームのデータが入力された後、映像
バッファ選択部１０５は、バッファ番号設定部１０３か
ら供給される映像処理番号１５２に対応する小バッファ
から、符号化映像データを抽出し、映像復号部１０６に
供給する。After the data of one frame is input, the video buffer selection unit 105 extracts the coded video data from the small buffer corresponding to the video processing number 152 supplied from the buffer number setting unit 103, and decodes the video data. It is supplied to the unit 106.
【００２６】映像復号部１０６で、符号化映像が復号さ
れ、映像出力部１０７より出力される。１フレームの映
像復号が終了したとき、映像復号終了信号１５３がバッ
ファ番号設定部１０３に供給される。The video decoding unit 106 decodes the encoded video and outputs it from the video output unit 107. When the video decoding of one frame is completed, the video decoding end signal 153 is supplied to the buffer number setting unit 103.
【００２７】図２は、本実施形態のバッファ番号設定部
１０３における、入力処理番号および映像処理番号の選
定について説明したタイムチャートである。図２におい
て、映像処理候補番号とは、現在の映像復号か完了した
時、次に復号すべきフレームが保持されている小バッフ
ァの番号であり、また、映像処理番号とは、現時点で映
像処理を行っている小バッファの番号のことである。FIG. 2 is a time chart explaining the selection of the input processing number and the video processing number in the buffer number setting unit 103 of this embodiment. In FIG. 2, the video processing candidate number is the number of the small buffer that holds the frame to be decoded next when the current video decoding is completed, and the video processing number is the current video processing number. It is the number of the small buffer that is performing.
【００２８】また、入力処理番号とは、図１の入力制御
部１０２にとっては現時点で書き込みを行うべき小バッ
ファの番号である。The input processing number is the number of the small buffer to be written at the present time for the input control unit 102 of FIG.
【００２９】バッファ番号設定部では小バッファ０、
１、２に対応した入力処理番号、映像処理番号のほか
に、映像処理候補番号が設定され、これらの初期値はす
べて「０」とする。In the buffer number setting section, the small buffer 0,
In addition to the input processing numbers and video processing numbers corresponding to 1 and 2, video processing candidate numbers are set, and their initial values are all "0".
【００３０】時刻T0に第０フレームのデータの入力が開
始され、入力処理番号０に対応している小バッファ０に
入力される。時刻T1で第０フレームの入力が完了する
と、映像処理候補番号が入力完了したばかりのバッファ
番号である「０」に更新され、新たな入力処理番号とし
て映像処理候補番号以外（すなわち「０」以外）、かつ
映像処理番号以外（すなわち「０」以外）の番号
（「１」または「２」のいずれでも良いが、この場合は
仮に説明の便宜上「１」とおく）の小バッファ１に設定
される。At time T0, the input of the 0th frame data is started and is input to the small buffer 0 corresponding to the input processing number 0. When the input of the 0th frame is completed at time T1, the video processing candidate number is updated to “0”, which is the buffer number just input, and a new input processing number other than the video processing candidate number (that is, other than “0”). ) And a number other than the video processing number (that is, other than “0”) (either “1” or “2”, but in this case, it is temporarily set to “1” for convenience of description). It
【００３１】同時に映像処理番号として映像処理候補番
号である「０」が設定される。映像バッファ選択部は、
映像処理番号０に対応する小バッファ０から符号化映像
が取得され、映像復号処理が始まる。At the same time, the video processing candidate number "0" is set as the video processing number. The video buffer selection section
The encoded video is acquired from the small buffer 0 corresponding to the video processing number 0, and the video decoding process starts.
【００３２】時刻T2に、第３フレームの符号化映像が、
入力処理番号０に対応する小バッファ０に入力される。At time T2, the encoded video of the third frame is
The data is input to the small buffer 0 corresponding to the input processing number 0.
【００３３】時刻T3で第3フレームの符号化映像の入力
が終了したとき、映像処理候補番号として入力処理番号
である「０」が設定され、新たな入力処理番号として、
時刻T3における映像処理番号以外（ずなわち「２」以
外）でかつ更新後の映像処理候補番号以外（すなわち
「０」以外）の番号である１が設定される。When the input of the coded video of the third frame is completed at time T3, the input processing number "0" is set as the video processing candidate number, and the new input processing number is set as
A number 1 other than the video processing number at time T3 (that is, other than "2", that is, other than the updated video processing candidate number) (that is, other than "0") is set.
【００３４】また時刻T4で、第４フレームの符号化映像
がバッファ１に入力が完了したとき、映像処理候補番号
として入力処理番号である「１」が設定され、新たな入
力処理番号として、時刻T4＋ΔTにおける映像処理候補
番号１と映像処理番号２以外の番号である「０」が指定
される（だたしΔTは微少時間）。At time T4, when the input of the encoded video of the fourth frame is completed in the buffer 1, the input processing number "1" is set as the video processing candidate number, and the new input processing number is set to the time. “0”, which is a number other than the image processing candidate number 1 and the image processing number 2 in T4 + ΔT, is designated (however, ΔT is a minute time).
【００３５】時刻T5で、バッファ２に格納されていた第
２フレームの映像復号が終了したとき、映像処理番号に
時刻T5における映像処理候補番号１が設定され、この時
点でバッファ１に保持されている第4フレームの復号が
開始される。At the time T5, when the video decoding of the second frame stored in the buffer 2 is completed, the video processing candidate number 1 at the time T5 is set in the video processing number, and the video processing candidate number 1 is held in the buffer 1 at this time. The decoding of the 4th frame is started.
【００３６】図２の場合、第３フレームの復号が行われ
ないことになるが、映像復号においては、数フレームに
１回程度フレーム落ちが生じても視覚的に大きな問題は
ない。In the case of FIG. 2, the decoding of the third frame is not performed, but in video decoding, there is no significant visual problem even if a frame drop occurs in several frames about once.
【００３７】以上説明したように、本実施形態によれ
ば、最低３フレーム分のバッファを用意すれば、映像復
号処理中のバッファに新たな符号化データが上書きされ
ることがないので、映像再生が、CPU能力に応じて可能
な限り高いレートで再生を行うことができる。As described above, according to the present embodiment, if a buffer for at least 3 frames is prepared, new encoded data will not be overwritten in the buffer during the video decoding process. However, it can play at the highest possible rate depending on the CPU power.
【００３８】なお、本実施形態では、３フレーム分の小
バッファを用意した場合について説明したが、４フレー
ム分以上の小バッファを用意した場合も、効果は３フレ
ーム分用意した場合と同様である。In this embodiment, the case where the small buffer for three frames is prepared has been described, but the effect is the same as when the small buffer for four frames or more is prepared. .
【００３９】（第２の実施形態）図３は、本発明の第２
の実施形態について説明したブロック図である。図３に
おいて、３０３はバッファ番号設定部、３０５は音声バ
ッファ選択部、３０６は音声復号部、３０７は音声出力
部、３５１は音声復号終了信号である。(Second Embodiment) FIG. 3 shows a second embodiment of the present invention.
It is a block diagram explaining the embodiment of. In FIG. 3, reference numeral 303 is a buffer number setting unit, 305 is a voice buffer selecting unit, 306 is a voice decoding unit, 307 is a voice output unit, and 351 is a voice decoding end signal.
【００４０】なお本実施形態においても、第1の実施形
態と同様に、バッファ１０４はバッファ番号が０、１、
２の３個の小バッファを持つものとする。また、本実施
形態においては、入力処理および音声処理を同一のスレ
ッドでの処理とし、１フレーム分の映像と音声が多重化
されたデータが小バッファに入力終了直後に音声処理が
開始されるものとする。したがって、同一のバッファ番
号の小バッファに同一フレームの映像データと音声デー
タとが含まれている。また映像処理は、前記入力処理お
よび音声処理のスレッドとは別のスレッドで処理を行う
ものとする。Also in this embodiment, the buffer 104 has buffer numbers 0, 1,
Assume that there are 3 small buffers of 2. Further, in the present embodiment, the input processing and the audio processing are processed in the same thread, and the audio processing is started immediately after the input of the data in which the video and the audio for one frame are multiplexed into the small buffer. And Therefore, the small buffer having the same buffer number contains the video data and the audio data of the same frame. The video processing is performed by a thread different from the threads for the input processing and the audio processing.
【００４１】次に本実施形態の動作について説明する。
データ入力部１０１から入力された、符号化映像と符号
化音声とが多重化されたデータは、入力制御部１０２
で、バッファ番号設定部３０３より供給される入力処理
番号１５１に対応する小バッファに保持される。Next, the operation of this embodiment will be described.
The data, which is input from the data input unit 101 and in which the encoded video and the encoded audio are multiplexed, is the input control unit 102.
Then, it is held in the small buffer corresponding to the input processing number 151 supplied from the buffer number setting unit 303.
【００４２】１フレームのデータが入力された後、音声
バッファ選択部３０５は、バッファ番号設定部３０３か
ら供給される入力処理番号１５１に対応する小バッファ
すなわちデータ入力が完了したばかりの小バッファか
ら、符号化音声データを抽出し、音声復号部３０６に供
給する。After the data of one frame is input, the audio buffer selection unit 305 selects from the small buffer corresponding to the input processing number 151 supplied from the buffer number setting unit 303, that is, the small buffer whose data input has just been completed. The encoded voice data is extracted and supplied to the voice decoding unit 306.
【００４３】音声復号部３０６で、符号化音声が復号さ
れ、音声出力部３０７より出力される。音声復号が完了
したとき、音声復号終了信号３５１がバッファ番号設定
部３０３に供給される。The speech decoding unit 306 decodes the encoded speech and outputs it from the speech output unit 307. When the voice decoding is completed, the voice decoding end signal 351 is supplied to the buffer number setting unit 303.
【００４４】また映像バッファ選択部１０５は、バッフ
ァ番号設定部３０３から供給される映像処理番号１５２
に対応するバッファ１０４内の小バッファから、符号化
映像データを抽出し、映像復号部１０６に供給する。映
像復号部１０６で、符号化映像が復号され、映像出力部
１０７より出力される。１フレームの映像復号が終了し
たとき、映像復号終了信号１５３がバッファ番号設定部
３０３に供給される。Further, the video buffer selection unit 105 has a video processing number 152 supplied from the buffer number setting unit 303.
The encoded video data is extracted from the small buffer in the buffer 104 corresponding to, and supplied to the video decoding unit 106. The video decoding unit 106 decodes the encoded video and outputs the video from the video output unit 107. When the video decoding of one frame is completed, the video decoding end signal 153 is supplied to the buffer number setting unit 303.
【００４５】図４は、本実施形態のバッファ番号設定部
３０３における、入力処理番号および映像処理番号の設
定について説明したタイムチャートである。図４におい
て、映像処理候補番号とは、現在の映像復号か完了した
時、次に復号すべきフレームが保持されている小バッフ
ァの番号であり、また、映像処理番号とは、現時点で映
像処理を行っている小バッファの番号のことである。FIG. 4 is a time chart explaining the setting of the input processing number and the video processing number in the buffer number setting unit 303 of this embodiment. In FIG. 4, the image processing candidate number is the number of the small buffer that holds the frame to be decoded next when the current image decoding is completed, and the image processing number is the image processing currently performed. It is the number of the small buffer that is performing.
【００４６】また、入力処理番号とは、図３の入力制御
部１０２にとってはフレームのデータを書き込む小バッ
ファの番号であり、音声バッファ選択部にとってフレー
ムのデータ中に多重化されている音声データを読み出す
小バッファの番号はある。The input processing number is the number of a small buffer into which the frame data is written for the input control unit 102 of FIG. 3, and the audio buffer selection unit stores the audio data multiplexed in the frame data. There is a small buffer number to read.
【００４７】バッファ番号設定部では、入力処理番号、
映像処理番号のほかに、映像処理候補番号が設定され、
これらの初期値はすべて「０」とする。In the buffer number setting section, the input processing number,
In addition to the video processing number, the video processing candidate number is set,
All of these initial values are “0”.
【００４８】従来の技術で述べたように、通常音声復号
処理は、映像復号処理よりも必要な演算が少なく、１フ
レームあたりの復号処理時間は、映像より音声のほうが
短い。また、音声再生の間延びや音飛びを防ぐため、音
声復号処理スレッドの優先度は映像復号処理スレッドの
優先度よりも高くすることがある。As described in the prior art, the normal audio decoding process requires less calculation than the video decoding process, and the decoding process time per frame is shorter for audio than for video. In addition, in order to prevent delays and skips in audio reproduction, the priority of the audio decoding processing thread may be set higher than the priority of the video decoding processing thread.
【００４９】時刻T0で、第０フレームのデータが入力処
理番号０に対応しているバッファ０に入力される。入力
が完了すると、直ちに入力が完了したばかりのバッファ
０から符号化音声が抽出され音声復号処理が始まる。At time T0, the 0th frame data is input to the buffer 0 corresponding to the input processing number 0. When the input is completed, the coded voice is immediately extracted from the buffer 0, which has just been input, and the voice decoding process is started.
【００５０】バッファ番号設定部３０３は、音声復号部
から音声復号終了信号を受信したのを受けすぐさま、映
像処理候補番号に入力処理番号を入力するとともに、新
たな入力処理番号として、映像処理番号と更新後の映像
処理候補番号以外の番号が設定する。Immediately after receiving the audio decoding end signal from the audio decoding unit, the buffer number setting unit 303 inputs the input processing number into the video processing candidate number and, at the same time, inputs the video processing number as a new input processing number. A number other than the updated video processing candidate number is set.
【００５１】ここに、新たな入力処理番号として映像処
理番号以外を選択するのは、その時点で映像処理を行っ
ている最中の小バッファへの上書きを防止するためであ
り、また、新たな入力処理番号として更新後の映像処理
候補番号以外を選択するのは、次に映像処理を行う予定
のデータが保存されている小バッファへの上書きを防止
するためである。Here, the reason other than the video processing number is selected as the new input processing number is to prevent overwriting in the small buffer during the video processing at that time, and a new input processing number is selected. The reason that the input process number other than the updated video process candidate number is selected is to prevent the small buffer in which the data to be subjected to the next video process is stored from being overwritten.
【００５２】また、映像復号部から映像復号終了信号を
受信したとき、新たな映像処理番号として、次に映像処
理を行う予定のデータが保存されているバッファ番号で
あるところの映像処理候補番号を設定する。When a video decoding end signal is received from the video decoding unit, a new video processing number is a video processing candidate number which is a buffer number in which data to be subjected to the next video processing is stored. Set.
【００５３】図4の時刻T1で、小バッファ１より抽出さ
れた第１フレームの音声復号が終了したとき、映像処理
候補番号としては、直前の入力処理番号であった「１」
が設定される。When the audio decoding of the first frame extracted from the small buffer 1 is completed at time T1 in FIG. 4, the immediately preceding input processing number is "1" as the video processing candidate number.
Is set.
【００５４】また、時刻T1における更新後の映像処理候
補番号は「１」で映像処理番号は「０」であるので、新
たな入力処理番号としては「２」が設定される。Further, since the updated video processing candidate number at time T1 is "1" and the video processing number is "0", "2" is set as a new input processing number.
【００５５】次に時刻T2では、バッファ０より抽出され
た第０フレームの映像復号が終了したことが通知される
ので、新たな映像処理番号として時刻T2における映像処
理候補番号である「１」が設定される。Next, at time T2, it is notified that the video decoding of the 0th frame extracted from the buffer 0 is completed. Therefore, the video processing candidate number "1" at time T2 is set as a new video processing number. Is set.
【００５６】同様に時刻T3では、バッファ０から抽出さ
れた第３フレームの音声復号の終了が通知され、映像処
理候補番号として直前の入力処理番号であった「０」が
設定される。また時刻T3における更新後の映像処理候補
番号が「０」で、映像処理番号が「２」であるので、新
たな入力処理番号は「０」および「２」以外の値である
「１」となる。Similarly, at time T3, the end of audio decoding of the third frame extracted from the buffer 0 is notified, and "0" which is the immediately preceding input processing number is set as the video processing candidate number. Further, since the updated video processing candidate number at time T3 is "0" and the video processing number is "2", the new input processing number is "1" which is a value other than "0" and "2". Become.
【００５７】本実施形態では、図４の第２フレームのよ
うに、音声復号終了信号が、ある映像復号期間中に複数
回発信された場合（時刻T3およびT4）、再生される映像
のフレーム落ちが発生する。In the present embodiment, when the audio decoding end signal is transmitted a plurality of times during a certain video decoding period (time T3 and T4) as in the second frame in FIG. 4, frame loss of the reproduced video is performed. Occurs.
【００５８】しかしながら映像信号は、数フレームに１
回程度フレーム落ちが発生しても視覚的には問題がな
い。However, the video signal is one in several frames.
Even if frame drops occur about twice, there is no visual problem.
【００５９】以上、本実施形態によれば、最低３フレー
ム分のバッファを用意し、本実施形態で示したバッファ
管理を行うことで、音声復号は１フレームも欠くことな
く入力され、かつ映像復号処理中のバッファに新たな多
重化データが上書きされることがないので、音声再生時
に音飛びが生じず、かつ映像再生も、CPU能力に応じて
可能な限り高いレートで再生を行うことができる。As described above, according to this embodiment, a buffer for at least 3 frames is prepared and the buffer management shown in this embodiment is performed, so that even one frame of audio decoding is input without fail and video decoding is performed. Since new multiplexed data is not overwritten in the buffer being processed, skipping does not occur during audio playback, and video playback can be performed at the highest possible rate according to the CPU capacity. .
【００６０】もし仮に、単に３フレーム分のバッファを
保持するのみで本実施形態のバッファ操作を行わないの
であれば、本来次に再生すべきデータが保持されている
バッファに上書きされる可能性があり、画像再生レート
の低下のみならず、音声再生が欠落する。If the buffer operation of this embodiment is not carried out but only the buffer for three frames is held, there is a possibility that the buffer which originally holds the next data to be reproduced may be overwritten. Yes, not only the image reproduction rate is lowered, but also the audio reproduction is lost.
【００６１】なお、復号された１フレームの音声信号は
非同期であるので、音声出力部にバッファと音声出力基
準信号を持ち、音声出力基準信号に従って１フレームず
つ再生すれば、音声が間延びしたりせず、正しく再生さ
れる。またこの音声出力基準信号を映像出力部にも供給
することで、映像と音声と同期を取りながら出力するこ
とが可能である。Since the decoded one-frame audio signal is asynchronous, the audio output section has a buffer and an audio output reference signal, and if one frame is reproduced in accordance with the audio output reference signal, the audio is delayed. No, it plays correctly. Further, by supplying the audio output reference signal to the video output unit, it is possible to output the video and audio in synchronization with each other.
【００６２】また本実施形態においては、入力処理が終
了したとき直ちに音声復号処理の開始を行っているが、
入力処理と合わせ音声復号処理が１フレーム期間内に終
了すれば、その限りではない。In the present embodiment, the voice decoding process is started immediately after the input process is completed.
This does not apply if the input process and the combined voice decoding process are completed within one frame period.
【００６３】なお、本実施形態では、３フレーム分の小
バッファを用意した場合について説明したが、４フレー
ム分以上の小バッファを用意した場合も、効果は３フレ
ーム分用意した場合と同様である。In this embodiment, the case where the small buffer for three frames is prepared has been described, but the effect is the same as when the small buffer for four frames or more is prepared. .
【００６４】（第３の実施形態）図５は、本発明の第３
の実施形態について説明した図である。図５において、
５０３はバッファ番号設定部、５５１は入力終了信号、
５５２は音声バッファ番号である。(Third Embodiment) FIG. 5 shows a third embodiment of the present invention.
It is a figure explaining the embodiment of. In FIG.
503 is a buffer number setting unit, 551 is an input end signal,
552 is a voice buffer number.
【００６５】なお本実施形態においても、第1の実施形
態と同様に、バッファ１０４はバッファ番号が０、１、
２の３個の小バッファを持つものとする。また本実施形
態においては、入力処理、音声処理および映像処理をそ
れぞれ別のスレッドで処理を行うものとする。Also in this embodiment, the buffer 104 has buffer numbers 0, 1, and 1, as in the first embodiment.
Assume that there are 3 small buffers of 2. Further, in the present embodiment, it is assumed that the input process, the voice process, and the video process are performed by different threads.
【００６６】次に本実施形態の動作について説明する。
データ入力部１０１から入力された、符号化映像、符号
化音声が多重化されたデータは、入力制御部１０２で、
入力処理番号１５１に対応する小バッファに保持され
る。Next, the operation of this embodiment will be described.
The data in which the coded video and the coded audio input from the data input unit 101 are multiplexed is input by the input control unit 102.
It is held in the small buffer corresponding to the input processing number 151.
【００６７】１フレームのデータの入力が完了したと
き、バッファ１０４は入力終了信号５５１をバッファ番
号設定部５０３に送信する。When the input of one frame of data is completed, the buffer 104 sends an input end signal 551 to the buffer number setting unit 503.
【００６８】バッファ番号設定部５０３は、入力終了信
号５５１を受信すると、音声処理番号５５２および映像
処理候補番号に入力処理番号が設定され、音声処理番号
５５２は直ちに音声バッファ選択部３０５に送信され
る。Upon receiving the input end signal 551, the buffer number setting unit 503 sets the input processing number in the audio processing number 552 and the video processing candidate number, and the audio processing number 552 is immediately transmitted to the audio buffer selection unit 305. .
【００６９】また新たな入力処理番号として、映像処理
番号以外かつ音声処理番号以外の番号が設定される。音
声バッファ選択部３０５は音声処理信号５５２に対応す
る小バッファから符号化音声データを抽出し、音声復号
部３０６に供給する。A number other than the video processing number and the audio processing number is set as a new input processing number. The audio buffer selection unit 305 extracts the encoded audio data from the small buffer corresponding to the audio processed signal 552 and supplies the encoded audio data to the audio decoding unit 306.
【００７０】映像復号の動作は、第２の実施形態と同様
である。図６は、本実施形態のバッファ番号設定部５０
３における、入力処理番号、音声処理番号および映像処
理番号の選定について説明したタイムチャートである。The video decoding operation is the same as in the second embodiment. FIG. 6 shows the buffer number setting unit 50 of this embodiment.
6 is a time chart explaining selection of an input processing number, an audio processing number, and a video processing number in No. 3.
【００７１】時刻T0において、第０フレーム目の多重化
データが入力処理番号０に対応している小バッファ０へ
の入力が開始される。時刻T1で入力が完了したとき、バ
ッファから入力終了信号５５１がバッファ番号設定部に
送信され、音声処理番号および映像処理候補番号に
「０」が設定され、新たな入力処理番号として映像処理
番号「０」および音声処理番号「０」以外の番号（この
場合は「１」）が設定される。同時に、バッファ０から
符号化音声が抽出され音声復号処理が始まる。At time T0, the input of the multiplexed data of the 0th frame to the small buffer 0 corresponding to the input processing number 0 is started. When the input is completed at time T1, the buffer sends an input end signal 551 to the buffer number setting section, sets the audio processing number and the video processing candidate number to "0", and sets the video processing number "" as a new input processing number. A number other than "0" and the voice processing number "0" (in this case, "1") is set. At the same time, the encoded voice is extracted from the buffer 0 and the voice decoding process is started.
【００７２】また、映像処理候補番号０が直ちに映像処
理番号に設定され、バッファ０から符号化映像が抽出さ
れ映像復号処理が始まる。Further, the image processing candidate number 0 is immediately set to the image processing number, the encoded image is extracted from the buffer 0, and the image decoding process is started.
【００７３】時刻T2で、第２フレームの多重化データの
バッファ２への入力が開始される。時刻T3で、第２フレ
ームの多重化データがバッファ２に入力が完了したと
き、音声処理番号及び映像処理候補番号に、入力が完了
したバッファ番号である「２」が設定され、第２フレー
ムの音声の復号が直ちに開始される。また新たな入力処
理番号として、時刻T3における映像処理番号「１」以外
で、かつ時刻T3における更新後の音声処理番号「２」以
外の番号である「０」が設定される。At time T2, the input of the multiplexed data of the second frame to the buffer 2 is started. At time T3, when the input of the multiplexed data of the second frame is completed in the buffer 2, the audio processing number and the video processing candidate number are set to “2” which is the buffer number of the input completed, and the second frame Audio decoding begins immediately. Further, as the new input processing number, "0" which is a number other than the video processing number "1" at time T3 and the updated audio processing number "2" at time T3 is set.
【００７４】一方時刻T4で、バッファ１から抽出された
第１フレームの映像復号が終了する。このとき、映像処
理番号として時刻T4の映像処理候補番号０が設定され、
次の映像復号処理はバッファ０に保持されている第3フ
レームの復号が始まる。On the other hand, at time T4, the video decoding of the first frame extracted from the buffer 1 is completed. At this time, the video processing candidate number 0 at time T4 is set as the video processing number,
In the next video decoding process, decoding of the third frame held in the buffer 0 starts.
【００７５】以上、本実施形態においては、最低３フレ
ーム分のバッファをを用意し、本実施形態で示したバッ
ファ管理を行うことで、音声復号は１フレームも欠くこ
となく可能で、音飛びなく再生でき、かつ映像復号処理
中のバッファに新たな符号化データが上書きされること
がないので、映像再生も、CPU能力に応じて可能な限り
高いレートで再生を行うことができる。As described above, in the present embodiment, a buffer for at least 3 frames is prepared, and the buffer management shown in the present embodiment is performed, so that voice decoding can be performed without missing one frame, and sound skipping does not occur. Since the coded data can be played back and new encoded data is not overwritten in the buffer during the video decoding process, the video playback can be performed at the highest possible rate according to the CPU capability.
【００７６】もし仮に、単に３フレーム分のバッファを
保持するのみで本実施形態のバッファ操作を行わないの
であれば、本来次に再生すべきデータが保持されている
バッファに上書きされる可能性があり、画像再生レート
の低下のみならず、音声再生が欠落する。If the buffer operation of this embodiment is not carried out but only the buffer for three frames is held, there is a possibility that the buffer which originally holds the data to be reproduced next may be overwritten. Yes, not only the image reproduction rate is lowered, but also the audio reproduction is lost.
【００７７】なお、第3の実施形態において、音声処理
信号５５２をバッファ番号設定部５０３から送信する構
成となっているが、バッファ１０４から直接送信する構
成も可能である。In the third embodiment, the voice processing signal 552 is transmitted from the buffer number setting unit 503, but it may be directly transmitted from the buffer 104.
【００７８】また本実施形態においては、１フレームの
入力が終了後直ちに音声復号を開始しているが、音声復
号処理がリアルタイム性を保持すれば、この限りではな
い。Further, in the present embodiment, the voice decoding is started immediately after the input of one frame is finished, but it is not limited to this as long as the voice decoding process maintains the real time property.
【００７９】なお、本実施形態では、３フレーム分の小
バッファを用意した場合について説明したが、４フレー
ム分以上の小バッファを用意した場合も、効果は３フレ
ーム分用意した場合と同様である。In the present embodiment, the case where the small buffers for three frames are prepared has been described, but the effect is the same as when the small buffers for four frames or more are prepared. .
【００８０】（第４の実施形態）図７は、本発明の第４
の実施形態について説明した図である。図７において、
７０１は基準信号生成部、７５１は基準信号である。(Fourth Embodiment) FIG. 7 shows a fourth embodiment of the present invention.
It is a figure explaining the embodiment of. In FIG.
Reference numeral 701 is a reference signal generator, and 751 is a reference signal.
【００８１】次に本実施形態の動作について、主として
第3の実施形態と異なる部分について説明する。Next, the operation of this embodiment will be described mainly with respect to differences from the third embodiment.
【００８２】本実施形態においては、第３の実施形態同
様、入力処理、音声処理、映像処理をそれぞれ別のスレ
ッドで実行させるものとする。In the present embodiment, as in the third embodiment, it is assumed that the input processing, the audio processing, and the video processing are executed by different threads.
【００８３】基準信号生成部７０１は、１フレーム期間
（NTSC信号の場合約１／３０秒）に１回基準信号７５１
を入力制御部１０２に供給する。入力制御部１０２は、
基準信号７５１が入力されたとき、データ入力部１０１
から多重化データを取得し始め、バッファ番号設定部１
０３から供給される入力処理番号１５１に対応する小バ
ッファに多重化データを供給する。１フレームのデータ
の入力が完了したとき、バッファ１０４は入力終了信号
５５１をバッファ番号設定部５０３に送信する。The reference signal generator 701 outputs the reference signal 751 once in one frame period (about 1/30 second for an NTSC signal).
Is supplied to the input control unit 102. The input control unit 102
When the reference signal 751 is input, the data input unit 101
Starts to acquire multiplexed data from the buffer number setting unit 1
Then, the multiplexed data is supplied to the small buffer corresponding to the input processing number 151 supplied from 03. When the input of the data of one frame is completed, the buffer 104 transmits the input end signal 551 to the buffer number setting unit 503.
【００８４】バッファ番号設定部５０３は、入力終了信
号５５１を受信すると、音声処理番号５５２および映像
処理候補番号に入力処理番号が設定され、音声処理番号
５５２は直ちに音声バッファ選択部３０５に送信され
る。また新たな入力処理番号として、映像処理番号と音
声処理番号以外の番号が設定される。音声バッファ選択
部３０５は音声処理信号５５２に対応する小バッファか
ら符号化音声データを抽出し、音声復号部３０６に供給
する。Upon receiving the input end signal 551, the buffer number setting unit 503 sets the input processing number in the audio processing number 552 and the video processing candidate number, and the audio processing number 552 is immediately transmitted to the audio buffer selection unit 305. . Further, a number other than the video processing number and the audio processing number is set as the new input processing number. The audio buffer selection unit 305 extracts the encoded audio data from the small buffer corresponding to the audio processed signal 552 and supplies the encoded audio data to the audio decoding unit 306.
【００８５】映像復号の動作は、第３の実施形態と同様
である。図８は、本実施形態のバッファ番号設定部５０
３における、入力処理番号、音声処理番号および映像処
理番号の選定について説明したタイムチャートである。The video decoding operation is similar to that of the third embodiment. FIG. 8 shows the buffer number setting unit 50 of this embodiment.
6 is a time chart explaining selection of an input processing number, an audio processing number, and a video processing number in No. 3.
【００８６】時刻T0で基準信号が入力されると、第０フ
レームの多重化データは、入力処理番号０に従い小バッ
ファ０に入力され始める。時刻T1で入力が完了したと
き、バッファから入力終了信号がバッファ番号設定部に
送信され、音声処理番号および映像処理候補番号に０が
設定され、新たな入力処理番号として映像処理番号０以
外かつ音声処理番号０以外の番号（この場合は１）が設
定される。同時に、バッファ０から符号化音声が抽出さ
れ音声復号処理が始まる。When the reference signal is input at time T0, the multiplexed data of the 0th frame starts to be input to the small buffer 0 according to the input processing number 0. When the input is completed at time T1, the input end signal is transmitted from the buffer to the buffer number setting unit, 0 is set to the audio processing number and the video processing candidate number, and a new input processing number other than video processing number 0 and audio is output. A number other than the process number 0 (1 in this case) is set. At the same time, the encoded voice is extracted from the buffer 0 and the voice decoding process is started.
【００８７】また、映像処理候補番号０が直ちに映像処
理番号に設定され、バッファ０から符号化映像が抽出さ
れ映像復号処理が始まる。Further, the image processing candidate number 0 is immediately set to the image processing number, the encoded image is extracted from the buffer 0, and the image decoding process is started.
【００８８】時刻T2で、次の基準信号が入力されると、
第１フレームの多重化データが、入力処理番号１に対応
する小バッファ１に入力される。At time T2, when the next reference signal is input,
The multiplexed data of the first frame is input to the small buffer 1 corresponding to the input processing number 1.
【００８９】その他の動作は、第３の実施形態と同様で
ある。以上、本実施形態においても、最低３フレーム分
のバッファを用意し、本実施形態で示したバッファ管理
を行うことで、映像、音声信号を効率よく復号、再生を
行うことができる。特に本実施形態のように、基準信号
を用いることにより、多重化データの入力が１フレーム
単位で遅延なく行われ、音声復号処理の遅延による異常
再生を防止することができる。Other operations are similar to those of the third embodiment. As described above, also in the present embodiment, a buffer for at least 3 frames is prepared and the buffer management shown in the present embodiment is performed, whereby the video and audio signals can be efficiently decoded and reproduced. Particularly, as in the present embodiment, by using the reference signal, multiplexed data can be input in units of one frame without delay, and abnormal reproduction due to delay in voice decoding processing can be prevented.
【００９０】なお、第２、第３、第4の実施形態におい
て、映像のみの再生、もしくは音声のみの再生を行うこ
とも可能である。In the second, third and fourth embodiments, it is also possible to reproduce only video or audio.
【００９１】（第５の実施形態）図９は、本発明の第５
の実施形態について説明した図である。図９において９
０１は基準信号生成部、９０２は音声データ入力部、９
０３は音声入力制御部、９０４はバッファ番号設定部、
９０５は音声バッファ、９０６は音声バッファ選択部、
９０７は音声復号部、９０８は音声出力部、９５１は基
準信号、である。(Fifth Embodiment) FIG. 9 shows the fifth embodiment of the present invention.
It is a figure explaining the embodiment of. 9 in FIG.
Reference numeral 01 is a reference signal generation unit, 902 is a voice data input unit, 9
03 is a voice input control unit, 904 is a buffer number setting unit,
905 is an audio buffer, 906 is an audio buffer selection unit,
Reference numeral 907 is a voice decoding unit, 908 is a voice output unit, and 951 is a reference signal.
【００９２】なお本実施形態では、音声バッファとして
0、1の2個の小バッファを持つものとする。また、音声
入力処理および音声復号処理ば別のスレッドで実行させ
るものとする。In the present embodiment, as an audio buffer
It has two small buffers, 0 and 1. Further, the voice input process and the voice decoding process are executed in different threads.
【００９３】次に本実施形態の動作について説明する。
基準信号生成部９０１は、１フレーム期間（NTSC信号の
場合約１／３０秒）に１回基準信号９５１を音声入力制
御部９０２に供給する。Next, the operation of this embodiment will be described.
The reference signal generation unit 901 supplies the reference signal 951 to the audio input control unit 902 once in one frame period (about 1/30 second for an NTSC signal).
【００９４】音声入力制御部９０３は、基準信号９５１
が入力されたとき、音声データ入力部９０２から符号化
音声データを取得し始め、バッファ番号設定部９０４よ
り供給される音声入力番号９５２に対応する音声バッフ
ァ９０５中の小バッファに保持される。１フレームの符
号化音声データの入力が完了したとき、音声バッファ９
０５は音声入力終了信号９５３をバッファ番号設定部９
０４に送信する。The voice input control section 903 receives the reference signal 951.
Is input, the encoded voice data is started to be acquired from the voice data input unit 902 and is stored in a small buffer in the voice buffer 905 corresponding to the voice input number 952 supplied from the buffer number setting unit 904. When the input of the encoded voice data of one frame is completed, the voice buffer 9
Reference numeral 95 designates the voice input end signal 953 as the buffer number setting unit 9
Send to 04.
【００９５】バッファ番号設定部９０４は、音声入力終
了信号９５３を受信すると、音声処理番号９５４は直ち
に音声バッファ選択部９０６に送信され、音声バッファ
選択部９０６は音声処理信号９５４に対応する音声バッ
ファ中９０５の小バッファから符号化音声データを抽出
し、音声復号部９０７に供給する。音声復号部９０７
は、符号化音声データを復号し、音声出力部９０８に供
給して音声再生を行う。When the buffer number setting unit 904 receives the voice input end signal 953, the voice processing number 954 is immediately transmitted to the voice buffer selecting unit 906, and the voice buffer selecting unit 906 stores in the voice buffer corresponding to the voice processing signal 954. The encoded audio data is extracted from the small buffer 905 and supplied to the audio decoding unit 907. Speech decoding unit 907
Decodes the encoded voice data and supplies it to the voice output unit 908 to reproduce the voice.
【００９６】図１０は、本実施形態のバッファ番号設定
部１０３における、音声入力番号および音声処理番号の
選定について説明したタイムチャートである。FIG. 10 is a time chart explaining the selection of the voice input number and the voice processing number in the buffer number setting unit 103 of this embodiment.
【００９７】時刻T0で基準信号が発生した時、音声入力
番号として０が設定され、第０フレームの符号化音声デ
ータの入力が開始される。入力先は音声バッファの小バ
ッファ0である。When the reference signal is generated at time T0, 0 is set as the voice input number, and the input of the coded voice data of the 0th frame is started. The input destination is the small buffer 0 of the voice buffer.
【００９８】時刻T1で第０フレームの音声入力が終了し
た時、音声処理番号に、音声入力番号である０が設定さ
れ、音声入力番号として０以外の数、すなわち１が設定
される。同時に音声処理番号０に対応する小バッファ0
から、第０フレームの符号化音声データを取得し、音声
復号が開始される。When the voice input of the 0th frame is completed at time T1, the voice input number is set to 0, which is a voice input number, and a number other than 0, that is, 1 is set as the voice input number. At the same time, small buffer 0 corresponding to voice processing number 0
Then, the encoded audio data of the 0th frame is acquired, and audio decoding is started.
【００９９】時刻T2で基準信号が発生した時、音声入力
番号１に対応する音声バッファの小バッファ1に第1フレ
ームの符号化音声データが入力される。When the reference signal is generated at time T2, the encoded voice data of the first frame is input to the small buffer 1 of the voice buffer corresponding to the voice input number 1.
【０１００】１フレームの音声復号処理は、現在主流の
CPUの性能であれば、通常１フレーム期間に比べ十分短
い時間で終了することができる、従って、時刻T3で第３
フレームの符号化音声の入力が終了した時、第２フレー
ムの復号が進行中であっても、時刻T4に次の符号化音声
の入力が開始されるまでに終了し、問題なく音声再生を
行うことができる。The voice decoding process for one frame is currently the mainstream.
As long as it is CPU performance, it can be completed in a time that is usually shorter than one frame period.
When the input of the encoded voice of the frame is finished, even if the decoding of the second frame is in progress, the input is finished by the start of the input of the next encoded voice at time T4, and the voice is reproduced without any problem be able to.
【０１０１】以上、本実施形態においては、最低２フレ
ーム分のバッファを用意すれば、ほとんどの場合音声復
号は１フレームも欠くことなく可能で、音飛びなく再生
できる。As described above, in the present embodiment, if a buffer for at least 2 frames is prepared, in most cases voice decoding can be performed without missing one frame and reproduction can be performed without skipping.
【０１０２】（第６の実施形態）図１１は、本発明の第
６の実施形態について説明したブロック図である。図１
１において１１０１はデータ入力部、１１０２は入力制
御部、１１０３は入力抑止信号設定部、１１０４はバッ
ファ、１１０５は映像処理候補リスト保持部、１１０６
は映像復号部、１１０７は映像出力部、１１５１は入力
候補フレーム番号、１１５２は入力抑止信号、１１５３
は入力終了信号、１１５４は映像処理フレーム番号、１
１５５は復号終了信号である。なお、本実施形態におい
て復号単位はフレーム、復号単位番号はフレーム番号で
ある。(Sixth Embodiment) FIG. 11 is a block diagram for explaining the sixth embodiment of the present invention. Figure 1
In FIG. 1, 1101 is a data input unit, 1102 is an input control unit, 1103 is an input suppression signal setting unit, 1104 is a buffer, 1105 is a video processing candidate list holding unit, 1106.
Is a video decoding unit, 1107 is a video output unit, 1151 is an input candidate frame number, 1152 is an input suppression signal, 1153.
Is an input end signal, 1154 is a video processing frame number, 1
Reference numeral 155 is a decoding end signal. In this embodiment, the decoding unit is a frame and the decoding unit number is a frame number.
【０１０３】次に本実施形態の動作について説明する。
データ入力部１１０１に入力された符号化映像データ
は、フレーム番号を入力候補フレーム番号１１５１とし
て入力制御部１１０２に供給される。入力制御部は、入
力抑止信号設定部１１０３より供給される入力抑止信号
１１５２がOFFならば、バッファ１１０３に入力候補フ
レームの符号化映像データを入力する。Next, the operation of this embodiment will be described.
The encoded video data input to the data input unit 1101 is supplied to the input control unit 1102 with the frame number as the input candidate frame number 1151. If the input suppression signal 1152 supplied from the input suppression signal setting unit 1103 is OFF, the input control unit inputs the coded video data of the input candidate frame to the buffer 1103.
【０１０４】符号化映像データの入力が完了した時、入
力終了信号１１５３を映像処理候補リスト保持部１１０
４に供給する。映像処理候補リスト保持部１１０４は、
保持されている映像処理候補リストに応じて入力抑止信
号設定部１１０３を制御する。When the input of the encoded video data is completed, the input end signal 1153 is sent to the video processing candidate list holding unit 110.
Supply to 4. The image processing candidate list holding unit 1104
The input suppression signal setting unit 1103 is controlled according to the held image processing candidate list.
【０１０５】映像復号部１１０６は映像処理候補リスト
保持部１１０５から映像処理フレーム１１５４を供給さ
れ、対応するフレームの復号を行い、映像出力部１１０
７に供給する。映像復号が終了した時、復号終了信号１
１５５を映像処理候補リスト保持部１１０５に供給す
る。The video decoding unit 1106 is supplied with the video processing frame 1154 from the video processing candidate list holding unit 1105, decodes the corresponding frame, and outputs the video output unit 110.
Supply to 7. Decoding end signal 1 when video decoding is completed
155 is supplied to the image processing candidate list holding unit 1105.
【０１０６】図１２は、本実施形態における入力候補フ
レーム番号、映像処理候補リスト、入力抑止信号、映像
処理フレームの動作について説明したタイムチャートで
ある。FIG. 12 is a time chart for explaining the operation of the input candidate frame number, the image processing candidate list, the input inhibition signal, and the image processing frame in this embodiment.
【０１０７】処理開始前、映像処理候補リストは空集合
（φ）、入力抑止信号はOFFとする。Before the start of processing, the image processing candidate list is set to an empty set (φ) and the input suppression signal is set to OFF.
【０１０８】時刻T0で入力部に第0フレームの符号化映
像データが入力された時、入力候補フレーム番号０を取
得する。入力抑止信号はOFFであるので、入力制御部は
時刻T1にバッファへの書き込みを開始し、次のフレーム
のフレーム番号を入力候補フレーム番号とする。When the encoded video data of the 0th frame is input to the input section at time T0, the input candidate frame number 0 is acquired. Since the input inhibition signal is OFF, the input control unit starts writing to the buffer at time T1 and sets the frame number of the next frame as the input candidate frame number.
【０１０９】時刻T2で入力が完了した時、映像候補処理
リストに、入力が完了した入力処理フレーム番号０が追
加されるが、直ちに映像処理候補リストの先頭要素、す
なわち０が映像処理フレームとなり、映像処理候補リス
トから除去され、映像復号処理が開始される。When the input is completed at time T2, the input processing frame number 0 of which the input is completed is added to the image candidate processing list, but immediately the first element of the image processing candidate list, that is, 0 becomes the image processing frame, It is removed from the image processing candidate list and the image decoding process is started.
【０１１０】時刻T3で、第1フレームのバッファへの入
力が完了した時、映像処理候補リストに１が追加される
が、映像復号は処理中であるので、映像処理候補リスト
は｛１｝となる。At time T3, when the input of the first frame into the buffer is completed, 1 is added to the image processing candidate list, but since the image decoding is in process, the image processing candidate list shows {1}. Become.
【０１１１】時刻T4で、第０フレームの映像復号が終了
したので、映像処理候補リストから１が除去されφとな
る。At time T4, since the 0th frame video decoding is completed, 1 is removed from the video processing candidate list to become φ.
【０１１２】時刻T5で、第3フレームの入力が完了した
時、直前の映像処理候補リストは｛２｝であったので、
後ろに３が追加され｛２，３｝となる。この時、映像処
理候補リストの要素数が２となったので、入力抑止信号
をONにする。At time T5, when the input of the third frame is completed, the immediately preceding image processing candidate list is {2}, so
3 is added to the end to make {2,3}. At this time, since the number of elements in the image processing candidate list is 2, the input inhibition signal is turned on.
【０１１３】時刻T6で入力候補フレーム番号が４である
が、このとき入力抑止信号がONであるので、第4フレー
ムの入力は行わない。The input candidate frame number is 4 at time T6, but since the input inhibition signal is ON at this time, the input of the fourth frame is not performed.
【０１１４】時刻T7で第1フレームの復号が終了した
時、映像処理候補リストの先頭の要素である２に対応す
る第2フレームの復号処理が開始され、映像処理候補リ
ストから２が除去される。同時に２が除去された後の映
像処理候補リストは｛３｝で、要素数が１であるので、
入力抑止信号をOFFとする。When the decoding of the first frame ends at time T7, the decoding process of the second frame corresponding to the first element 2 of the video processing candidate list is started, and 2 is removed from the video processing candidate list. . At the same time, the image processing candidate list after removing 2 is {3} and the number of elements is 1, so
Turn off the input suppression signal.
【０１１５】以上、本実施形態においては、映像復号処
理時間が、入力時間よりも比較的長い場合、入力処理と
復号処理の時間差により、バッファへの入力を抑止する
ことで、CPU資源を映像復号により多く割り当てること
ができ、結果として映像再生レートを向上させることが
できる。As described above, in the present embodiment, when the video decoding processing time is relatively longer than the input time, the CPU resource is video decoded by suppressing the input to the buffer due to the time difference between the input processing and the decoding processing. Therefore, more can be allocated, and as a result, the video reproduction rate can be improved.
【０１１６】なお本発明の復号方法は、復号装置として
実現できるほか、ＰＣ上で動作するプログラムとしても
実現できる。このプログラムは、磁気ディスクなどの記
録媒体に記録でき、他のＰＣへ容易に移植することがで
きる。また、上記プログラムは、ネットワークを介して
他のコンピュータに移動させることも可能である。The decoding method of the present invention can be realized not only as a decoding device but also as a program that operates on a PC. This program can be recorded in a recording medium such as a magnetic disk and can be easily ported to another PC. Further, the above program can be moved to another computer via a network.
【０１１７】[0117]
【発明の効果】以上述べたように、本発明によれば、符
号化映像または符号化音声をＰＣを用いて復号すると
き、最低３フレーム分のバッファを保持し本発明のバッ
ファ操作を行うことにより、データ入力、音声復号、映
像復号をより効率よく復号を行うことができる。As described above, according to the present invention, at the time of decoding coded video or coded audio using a PC, a buffer for at least 3 frames is held and the buffer operation of the present invention is performed. As a result, data input, voice decoding, and video decoding can be performed more efficiently.
【０１１８】もし仮に、単に３フレーム分のバッファを
保持するのみで本発明のバッファ操作を行わないのであ
れば、本来次に再生すべきデータが保持されているバッ
ファに上書きされる可能性があり、画像再生レートの低
下のみならず、音声再生が欠落する。If the buffer operation according to the present invention is not performed but only the buffer for three frames is held, there is a possibility that the buffer that originally holds the next data to be reproduced may be overwritten. , Not only the image reproduction rate is lowered, but also the audio reproduction is lost.
【０１１９】また、最低２フレーム分のバッファを保持
すれば、データ落ちを起こすことなく音声復号を行うこ
とができる。If a buffer for at least two frames is held, voice decoding can be performed without causing data loss.
【０１２０】また映像入力候補リストの要素数が２以上
の時は、次のフレームの符号化映像データの入力をスキ
ップすることで、映像復号化にＣＰＵ資源をより多く割
り当て、バスをより多く占有させることができる。When the number of elements in the video input candidate list is 2 or more, by skipping the input of the encoded video data of the next frame, more CPU resources are allocated for video decoding and more bus is occupied. Can be made.
【０１２１】さらに本発明では、実行するＰＣのアーキ
テクチャ（CPUの性能、バス速度、バス形態など）が、
現在主流である性能以上のものであれば有効であり、そ
の実施効果は大きい。Further, in the present invention, the architecture of the PC to be executed (CPU performance, bus speed, bus form, etc.) is
It is effective if the performance is higher than the mainstream at present, and its implementation effect is large.
【図１】本発明の第1の実施形態について説明したブロ
ック図FIG. 1 is a block diagram illustrating a first embodiment of the present invention.
【図２】本発明の第1の実施形態における復号方法につ
いて説明したタイミングチャートFIG. 2 is a timing chart explaining a decoding method according to the first embodiment of the present invention.
【図３】本発明の第２の実施形態について説明したブロ
ック図FIG. 3 is a block diagram illustrating a second embodiment of the present invention.
【図４】本発明の第２の実施形態における復号方法につ
いて説明したタイミングチャートFIG. 4 is a timing chart illustrating a decoding method according to the second embodiment of the present invention.
【図５】本発明の第３の実施形態について説明したブロ
ック図FIG. 5 is a block diagram illustrating a third embodiment of the present invention.
【図６】本発明の第３の実施形態における復号方法につ
いて説明したタイミングチャートFIG. 6 is a timing chart explaining a decoding method according to a third embodiment of the present invention.
【図７】本発明の第４の実施形態について説明したブロ
ック図FIG. 7 is a block diagram illustrating a fourth embodiment of the present invention.
【図８】本発明の第４の実施形態における復号方法につ
いて説明したタイミングチャートFIG. 8 is a timing chart explaining a decoding method according to a fourth embodiment of the present invention.
【図９】本発明の第５の実施形態について説明したブロ
ック図FIG. 9 is a block diagram illustrating a fifth embodiment of the present invention.
【図１０】本発明の第５の実施形態における復号方法に
ついて説明したタイミングチャートFIG. 10 is a timing chart illustrating a decoding method according to the fifth embodiment of the present invention.
【図１１】本発明の第６の実施形態について説明したブ
ロック図FIG. 11 is a block diagram illustrating a sixth embodiment of the present invention.
【図１２】本発明の第６の実施形態における復号方法に
ついて説明したタイミングチャートFIG. 12 is a timing chart illustrating a decoding method according to the sixth embodiment of the present invention.
【図１３】一般的なＰＣの構成について説明した模式図FIG. 13 is a schematic diagram illustrating the configuration of a general PC.
【図１４】従来までの映像復号方法について説明したブ
ロック図FIG. 14 is a block diagram illustrating a conventional video decoding method.
１０１，１１０１ データ入力部 １０２，１１０２ 入力制御部 １０３，３０３，５０３，９０４ バッファ番号設定部 １０４，１１０４ バッファ １０５ 映像バッファ選択部 １０６，１１０６ 映像復号部 １０７，１１０７ 映像出力部 １５１ 入力処理番号 １５２ 映像処理番号 １５３ 映像復号終了信号 ３０５，９０６ 音声バッファ選択部 ３０６，９０７ 音声復号部 ３０７，９０８ 音声出力部 ３５１ 音声復号終了信号 ５５１，１１５３ 入力終了信号 ５５２ 音声バッファ番号 ７０１，９０１ 基準信号生成部 ７５１，９５１ 基準信号 ９０２ 音声データ入力部 ９０３ 音声入力制御部 ９０５ 音声バッファ １１０３ 入力抑止信号設定部 １１０５ 映像処理候補リスト保持部 １１５１ 入力候補フレーム番号 １１５２ 入力抑止信号 １１５３ 入力終了信号 １１５４ 映像処理フレーム番号 １１５５ 復号終了信号 101,1101 Data input section 102, 1102 Input control unit 103, 303, 503, 904 Buffer number setting unit 104,1104 buffer 105 Video buffer selection section 106, 1106 video decoding unit 107,1107 Video output unit 151 Input processing number 152 Video processing number 153 Video decoding end signal 305,906 Audio buffer selection unit 306,907 Speech decoding unit 307,908 Audio output unit 351 Speech decoding end signal 551, 1153 Input end signal 552 voice buffer number 701, 901 Reference signal generator 751,951 Reference signal 902 Voice data input section 903 Voice input control unit 905 audio buffer 1103 Input suppression signal setting section 1105 Image processing candidate list holding unit 1151 Input candidate frame number 1152 Input suppression signal 1153 Input end signal 1154 Video processing frame number 1155 Decoding end signal
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/91 - 5/956,7/24 ─────────────────────────────────────────────────── ─── Continuation of the front page (58) Fields surveyed (Int.Cl. 7 , DB name) H04N 5/91-5 / 956,7 / 24
Claims (9)
再生する方法であって、前記復号単位の前記符号化映像
データを入力し、前記符号化映像データを前記復号単位
でｎ個のバッファ（ｎは自然数）に保持するとき、 入力処理番号、映像処理番号、および映像処理候補番号
を設定する処理番号設定ステップと、 前記入力処理番号に対応しているバッファに、前記復号
単位の前記符号化映像データが入力されるよう制御する
入力制御ステップと、 前記復号単位の前記符号化映像データ入力が終了したと
き、前記映像処理候補番号に前記入力が終了したばかり
のバッファに対応する入力処理番号を入力し、新たな前
記入力処理番号として前記入力処理番号を入力したばか
りの映像処理候補番号以外で、かつ前記符号化映像デー
タ入力が終了した時点での前記映像処理番号以外である
番号を入力する処理番号更新ステップと、 前記映像処理番号のバッファから前記符号化映像データ
を抽出する符号化映像データ抽出ステップと、 前記抽出された符号化映像データを復号する映像復号ス
テップと、 前記復号単位の前記映像復号ステップが終了したとき、
前記映像処理番号に前記映像処理候補番号を入力する映
像処理番号更新ステップとを有することを特徴とする復
号方法。1. A method for decoding and reproducing coded video data in decoding units, wherein the coded video data in the decoding unit is input, and the coded video data is n buffers in the decoding unit. (N is a natural number), a processing number setting step of setting an input processing number, a video processing number, and a video processing candidate number; and a code corresponding to the decoding unit in the buffer corresponding to the input processing number. An input control step of controlling input of encoded video data; and when the input of the encoded video data of the decoding unit is finished, the input processing number corresponding to the buffer whose input is just finished in the video processing candidate number. Is input, and the coded video data input ends except for the video processing candidate number that has just been input as the new input processing number. A processing number updating step of inputting a number other than the video processing number at the time point; a coded video data extracting step of extracting the coded video data from a buffer of the video processing number; the extracted coded video A video decoding step of decoding data, and when the video decoding step of the decoding unit is completed,
And a video processing number updating step of inputting the video processing candidate number to the video processing number.
タを復号単位で復号して再生する方法であって、前記復
号単位の前記符号化映像データおよび前記復号単位の前
記符号化音声データを多重化した多重化データを入力
し、前記多重化データを前記復号単位でｎ個のバッファ
（ｎは自然数）に保持するとき、 入力処理番号、映像処理番号、および映像処理候補番号
を設定する処理番号設定ステップと、 前記入力処理番号に対応しているバッファに、前記復号
単位の前記多重化データが入力されるよう制御する入力
制御ステップと、 前記入力処理番号のバッファから前記符号化音声データ
を抽出する符号化音声データ抽出ステップと、 前記抽出された符号化音声データを復号する音声復号ス
テップと、 前記復号単位の前記音声復号ステップが終了したとき、
前記映像処理候補番号に前記入力が終了したばかりのバ
ッファに対応する入力処理番号を入力し、新たな前記入
力処理番号として前記映像処理候補番号以外で、かつ前
記音声復号ステップが終了した時点での前記映像処理番
号以外である番号を入力する処理番号更新ステップと、 前記映像処理番号のバッファから前記符号化映像データ
を抽出する符号化映像データ抽出ステップと、 前記抽出された符号化映像データを復号する映像復号ス
テップと、 前記復号単位の前記映像復号ステップが終了したとき、
前記映像処理番号に前記映像処理候補番号を入力する映
像処理番号更新ステップとを有することを特徴とする復
号方法。2. A method for decoding and reproducing coded audio data and coded video data in decoding units, wherein the coded video data of the decoding unit and the coded audio data of the decoding unit are multiplexed. Processing number setting for inputting the multiplexed data that has been input and holding the multiplexed data in n buffers (n is a natural number) in the decoding unit, setting an input processing number, a video processing number, and a video processing candidate number. An input control step for controlling the multiplexed data of the decoding unit to be input to a buffer corresponding to the input processing number; and extracting the encoded audio data from the buffer of the input processing number. A coded voice data extraction step, a voice decoding step of decoding the extracted coded voice data, the voice decoding step of the decoding unit Upon completion,
At the time when the input processing number corresponding to the buffer that has just been input is input to the video processing candidate number, other than the video processing candidate number as the new input processing number, and the audio decoding step ends. A processing number updating step of inputting a number other than the video processing number; a coded video data extracting step of extracting the coded video data from a buffer of the video processing number; and decoding the extracted coded video data. And a video decoding step for performing the video decoding step of the decoding unit,
And a video processing number updating step of inputting the video processing candidate number to the video processing number.
タを復号単位で復号して再生する方法であって、前記復
号単位の前記符号化映像データおよび前記復号単位の前
記符号化音声データを多重化した多重化データを入力
し、前記多重化データを前記復号単位でｎ個のバッファ
（ｎは自然数）に保持するとき、 入力処理番号、映像処理番号、および映像処理候補番号
を設定する処理番号設定ステップと、 前記入力処理番号に対応しているバッファに、前記復号
単位の前記多重化データが入力されるよう制御する入力
制御ステップと、 前記復号単位の前記多重化データ入力が終了したとき、
前記音声処理番号および前記映像処理候補番号に前記入
力が終了したばかりのバッファに対応する入力処理番号
を設定し、新たな前記入力処理番号として前記入力処理
番号を設定したばかりの音声処理番号以外で、かつ前記
多重化データ入力が終了した時点での前記映像処理番号
以外である番号、もしくは前記入力処理番号を設定した
ばかりの映像処理候補番号以外で、かつ前記多重化デー
タ入力が終了した時点での前記映像処理番号以外である
番号を入力する処理番号更新ステップと、 前記音声処理番号のバッファから前記符号化音声データ
を抽出する符号化音声データ抽出ステップと、 前記抽出された符号化音声データを復号する音声復号ス
テップと、 前記映像処理番号のバッファから前記符号化映像データ
を抽出する符号化映像データ抽出ステップと、 前記抽出された符号化映像データを復号する映像復号ス
テップと、 前記復号単位の前記映像復号ステップが終了したとき、
前記映像処理番号に前記映像処理候補番号を入力する映
像処理番号更新ステップとを有することを特徴とする復
号方法。3. A method for decoding and reproducing encoded audio data and encoded video data in decoding units, wherein the encoded video data in the decoding unit and the encoded audio data in the decoding unit are multiplexed. Processing number setting for inputting the multiplexed data that has been input and holding the multiplexed data in n buffers (n is a natural number) in the decoding unit, setting an input processing number, a video processing number, and a video processing candidate number. An input control step for controlling the buffer corresponding to the input processing number so that the multiplexed data of the decoding unit is input, and when the multiplexed data input of the decoding unit is completed,
An input processing number corresponding to the buffer that has just been input is set to the audio processing number and the video processing candidate number, and a value other than the audio processing number that was just set to the input processing number as the new input processing number. , And a number other than the video processing number at the time when the multiplexed data input ends, or a video processing candidate number for which the input processing number has just been set, and at the time when the multiplexed data input ends. A processing number updating step of inputting a number other than the video processing number, an encoded audio data extracting step of extracting the encoded audio data from the buffer of the audio processing number, and the extracted encoded audio data. An audio decoding step of decoding, and an encoded video data extracting the encoded video data from the buffer of the video processing number. An extraction step, the video decoding step of decoding the extracted encoded video data, when the video decoding step of the decoding unit is ended,
And a video processing number updating step of inputting the video processing candidate number to the video processing number.
タを復号単位で復号して再生する方法であって、前記復
号単位の前記符号化映像データおよび前記復号単位の前
記符号化音声データを多重化した多重化データが入力さ
れ、前記多重化データを前記復号単位でｎ個のバッファ
（ｎは自然数）に保持するとき、 入力処理番号、映像処理番号、音声処理番号、および映
像処理候補番号を設定する処理番号設定ステップと、 前記多重化データの前記復号単位に対応する時間間隔で
基準信号を生成する基準信号生成ステップと、 前記基準信号が生成されたとき、前記入力処理番号に対
応しているバッファに、前記復号単位の前記多重化デー
タの入力を開始する入力制御ステップと、 前記復号単位の前記多重化データ入力が終了したとき、
前記音声処理番号および前記映像処理候補番号に前記入
力が終了したばかりのバッファに対応する入力処理番号
を設定し、新たな前記入力処理番号として前記入力処理
番号を設定したばかりの音声処理番号以外で、かつ前記
多重化データ入力が終了した時点での前記映像処理番号
以外である番号、もしくは前記入力処理番号を設定した
ばかりの前記映像処理候補番号以外で、かつ当該時点で
の前記映像処理番号以外である番号を入力する処理番号
更新ステップと、 前記音声処理番号のバッファから前記符号化音声データ
を抽出する符号化音声データ抽出ステップと、 前記抽出された符号化音声データを復号する音声復号ス
テップと、 前記映像処理番号のバッファから前記符号化映像データ
を抽出する符号化映像データ抽出ステップと、 前記抽出された符号化映像データを復号する映像復号ス
テップと、 前記復号単位の前記映像復号ステップが終了したとき、
前記映像処理番号に前記映像処理候補番号を入力する映
像処理番号更新ステップとを有することを特徴とする復
号方法。4. A method for decoding and reproducing coded audio data and coded video data in decoding units, wherein the coded video data in the decoding unit and the coded audio data in the decoding unit are multiplexed. When the multiplexed data is input and the multiplexed data is held in n buffers (n is a natural number) in the decoding unit, an input processing number, a video processing number, an audio processing number, and a video processing candidate number are set. A processing number setting step, a reference signal generation step of generating a reference signal at a time interval corresponding to the decoding unit of the multiplexed data, and when the reference signal is generated, it corresponds to the input processing number. In the buffer, an input control step of starting the input of the multiplexed data of the decoding unit, and when the input of the multiplexed data of the decoding unit is completed,
An input processing number corresponding to the buffer that has just been input is set to the audio processing number and the video processing candidate number, and a value other than the audio processing number that was just set to the input processing number as the new input processing number. , And a number other than the video processing number at the time when the multiplexed data input is completed, or a number other than the video processing candidate number for which the input processing number has just been set, and other than the video processing number at that time. A process number updating step of inputting a number that is a coded voice number, a coded voice data extraction step of extracting the coded voice data from the buffer of the voice process number, and a voice decoding step of decoding the extracted coded voice data. An encoded video data extracting step of extracting the encoded video data from the buffer of the video processing number; A video decoding step of decoding the extracted encoded video data, and when the video decoding step of the decoding unit is completed,
And a video processing number updating step of inputting the video processing candidate number to the video processing number.
号して再生する方法であって、 前記復号単位の前記符号化映像データを入力し、前記符
号化映像データに前記復号単位で復号単位番号をつけ、
前記符号化映像データを前記復号単位でバッファに保持
するときに、 入力抑止信号の初期状態としてOFFを設定する初期入力
抑止信号設定ステップと、 入力処理候補番号の初期値を設定する初期入力候補番号
設定ステップと、 復号処理候補リストの初期状態として、空集合を設定す
る初期復号処理候補リスト設定ステップと、 前記入力抑止信号がOFFの時に限り、入力処理候補番号
を復号単位番号とする前記符号化映像データのバッファ
への入力を開始する入力制御ステップと、 前記入力処理候補番号に次の復号単位の前記復号単位番
号を設定する入力処理候補番号更新ステップと、 前記復号単位の前記符号化映像データの入力が終了した
とき、前記復号処理候補リストの末尾に前記復号単位の
復号単位番号を追加する復号処理候補リスト追加ステッ
プと、 復号処理が行われていないとき、もしくは前記復号単位
の復号処理が終了したとき、前記復号処理候補リストの
先頭の要素の復号単位番号を持つ前記符号化映像データ
を前記バッファから取得して復号処理を行う復号ステッ
プと、 前記復号処理を行う復号単位番号を前記復号処理候補リ
ストから除去する復号処理候補リスト除去ステップと、 前記復号処理候補リストの要素数がａ以上であれば、前
記入力抑止信号をONにし、前記復号処理候補リストの要
素数がa−１以下であれば、前記入力抑止信号をOFFにす
る入力抑止信号設定ステップとを有することを特徴とす
る復号方法。Input 5. A coded video data decoding unit, a method for reproducing by decoding, type a Symbol encoded video data of said decoding unit, said marks
Decoding unit number is added to the encoded video data in the decoding unit,
An initial input inhibition signal setting step of setting OFF as the initial state of the input inhibition signal when holding the encoded video data in the buffer in the decoding unit, and an initial input candidate number for setting the initial value of the input processing candidate number Setting step, an initial decoding process candidate list setting step for setting an empty set as an initial state of the decoding process candidate list, and the encoding using the input process candidate number as a decoding unit number only when the input inhibition signal is OFF . An input control step of starting input of video data to a buffer, an input processing candidate number updating step of setting the decoding unit number of the next decoding unit to the input processing candidate number, and the encoded video data of the decoding unit When the input of is completed, the decoding process candidate list is added to add the decoding unit number of the decoding unit to the end of the decoding process candidate list. A step, when a decoding process is not performed, or when the decoding process of the decoding unit is ended, the coded video data <br/> with decoding unit number of the head elements of the decoding candidate list said A decoding step of performing a decoding process by acquiring from the buffer; a decoding process candidate list removing step of removing a decoding unit number for performing the decoding process from the decoding process candidate list; If there is, the input inhibition signal is turned on, and if the number of elements in the decoding process candidate list is a-1 or less, an input inhibition signal setting step of turning off the input inhibition signal is included. Method.
を特徴とする請求項１、２、３または４に記載の復号方
法。6. The decoding method according to claim 1, wherein the decoding unit is one frame of video.
する請求項１、２、３または４に記載の復号方法。7. The decoding method according to claim 1, wherein n is a natural number of 3 or more.
を特徴とする請求項５に記載の復号方法。8. The decoding method according to claim 5 , wherein the decoding unit is one frame of video.
する請求項５に記載の復号方法。9. The decoding method according to claim 5 , wherein a is a natural number of 2 or more.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11676298A JP3405190B2 (en) | 1998-04-27 | 1998-04-27 | Decryption method |
| CN98810852A CN1278386A (en) | 1997-09-05 | 1998-08-28 | Decoding method and recording medium carrying recorded decoding program |
| PCT/JP1998/003863 WO1999013647A1 (en) | 1997-09-05 | 1998-08-28 | Decoding method and recording medium carrying recorded decoding program |
| EP01123864A EP1193981A3 (en) | 1997-09-05 | 1998-08-28 | Decoding method and recording medium carrying recorded decoding program |
| KR1020007002256A KR20010023607A (en) | 1997-09-05 | 1998-08-28 | Decoding method and recording medium carrying recorded decoding program |
| EP98940625A EP1021046A4 (en) | 1997-09-05 | 1998-08-28 | Decoding method and recording medium carrying recorded decoding program |
| TW087114640A TW436728B (en) | 1997-09-05 | 1998-09-03 | Recording medium for recording the decoding method and decoding program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11676298A JP3405190B2 (en) | 1998-04-27 | 1998-04-27 | Decryption method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11313315A JPH11313315A (en) | 1999-11-09 |
| JP3405190B2 true JP3405190B2 (en) | 2003-05-12 |
Family
ID=14695118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11676298A Expired - Fee Related JP3405190B2 (en) | 1997-09-05 | 1998-04-27 | Decryption method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3405190B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4550295B2 (en) * | 2001-01-24 | 2010-09-22 | 株式会社平和 | Gaming machine and gaming machine control program |
-
1998
- 1998-04-27 JP JP11676298A patent/JP3405190B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11313315A (en) | 1999-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8639089B2 (en) | Video audio recording/playback apparatus and method | |
| JP4270379B2 (en) | Efficient transmission and reproduction of digital information | |
| JP3053541B2 (en) | Synchronous variable speed playback of digitally recorded audio and video | |
| US20080008455A1 (en) | Cpi data for steam buffer channels | |
| KR100657237B1 (en) | Method for generating additional information so as to guarantee seamless playback between data stream | |
| JP2010022003A (en) | Moving image file reproduction device, moving image file reproduction method, and program | |
| WO1999013647A1 (en) | Decoding method and recording medium carrying recorded decoding program | |
| US6577805B1 (en) | Picture recording and reproducing apparatus and method | |
| US6950472B2 (en) | Coded data transfer control method and storage and reproduction system | |
| JP3225956B2 (en) | Program information providing system, program information providing device, and recording / playback control device | |
| JP3405190B2 (en) | Decryption method | |
| KR100891065B1 (en) | Modifying video by inserting shadow intra pictures | |
| JP2005109829A (en) | Transport stream recording and editing device and recording and editing method | |
| US20080267597A1 (en) | Image data recording/playback device, system, and method | |
| JP2001043115A (en) | System and method for file management | |
| KR100677110B1 (en) | Apparatus for recording and/or editing of data ensuring seamless playback between data stream | |
| JPH09282797A (en) | Recording method and recording and reproducing device | |
| JP4048809B2 (en) | Data processing apparatus and method, recording medium, and program | |
| KR100657262B1 (en) | Recording medium for storing additional information so as to ensure seamless playback between data stream | |
| KR100532113B1 (en) | Appratus for recording and/or playback of data ensuring seamless playback between data stream | |
| JPH0234556B2 (en) | ||
| JPH0974535A (en) | Video data recording and reproducing device | |
| JP2002344877A (en) | Digital recording/reproducing device, recording medium used therefor, program, and recording medium recorded with program | |
| JP2004228758A (en) | Apparatus for recording and reproducing digital signal | |
| JP2001016270A (en) | Packet conversion processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080307 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090307 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100307 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |