JP5409535B2 - Video / audio conversion apparatus and video / audio conversion method - Google Patents
Video / audio conversion apparatus and video / audio conversion method Download PDFInfo
- Publication number
- JP5409535B2 JP5409535B2 JP2010160126A JP2010160126A JP5409535B2 JP 5409535 B2 JP5409535 B2 JP 5409535B2 JP 2010160126 A JP2010160126 A JP 2010160126A JP 2010160126 A JP2010160126 A JP 2010160126A JP 5409535 B2 JP5409535 B2 JP 5409535B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- video
- encoding
- decoding
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00007—Time or data compression or expansion
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B2020/10833—Copying or moving data from one record carrier to another
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データを入力として受け、高速にレート変換ダビングを行う映像音声変換装置とその方法に関するものである。 The present invention relates to a video / audio conversion apparatus and method for receiving rate-converted dubbing at high speed by receiving, as input, first multiplexed data in which first encoded video data and first encoded audio data are multiplexed. is there.
従来のHDD(Hard Disk Drive)/DVD(Digital Versatile Disc)レコーダなどの一般的な記録再生を行う記録再生装置において、HDDに記録しているDVDの記録容量より大きなサイズの映像音声データを、DVDに収まるサイズに変換するレート変換を行い、DVDに記録するレート変換ダビング機能を有しているものが存在する。 In a recording / reproducing apparatus that performs general recording / reproduction such as a conventional HDD (Hard Disk Drive) / DVD (Digital Versatile Disc) recorder, video / audio data having a size larger than the recording capacity of the DVD recorded in the HDD is recorded on a DVD. There is one having a rate conversion dubbing function for performing rate conversion for converting to a size that fits in a DVD and recording on a DVD.
一般的にレート変換ダビングは、HDD等に記録しているMPEG(Moving Picture Experts Group)等で圧縮された映像音声データの復号化を行い、復号化した映像音声データの表示制御を行いながら復号化した映像音声データの符号化を行い、DVD等に記録することで実現する。 In general, rate conversion dubbing is performed by decoding video / audio data compressed by MPEG (Moving Picture Experts Group), etc., recorded on an HDD, etc., and performing display control of the decoded video / audio data. The video / audio data is encoded and recorded on a DVD or the like.
しかしながら、上記制御では、復号化および符号化は、テレビの出力に同期してレート変換ダビングを行うこととなるため、表示時間と同じだけのダビング時間が必要となっていた。 However, in the above control, since decoding and encoding involve rate conversion dubbing in synchronization with the output of the television, dubbing time as much as the display time is required.
これを解決し、高速なレート変換ダビングを実現する方法として、例えば、特許文献1に記載されている映像音声データに関するレート変換ダビング方法がある。
As a method for solving this problem and realizing high-speed rate conversion dubbing, for example, there is a rate conversion dubbing method related to video / audio data described in
上記特許文献1に記載されているレート変換ダビングでは、まず、映像音声復号化部において所定の単位の映像音声データの復号化を開始する。復号化が完了すると映像音声復号化部から映像音声符号化部へ復号化完了通知が送られる。この完了通知を受信した映像音声符号化部では、直ちに復号化された映像音声データの符号化を開始する(符復号化の処理では、変換前の圧縮率より高い圧縮率で映像音声データの再圧縮を行う)。符号化が完了すると映像音声符号化部から映像音声復号化部へ符号化完了通知が送られる。この完了通知を受信した映像音声復号化部では、直ちに次の映像音声データの復号化を開始する。このような制御を行うことにより、映像音声復号化部および映像音声符号化部の処理は、テレビの出力に同期する必要がなくなるため、レート変換ダビングの処理時間を短縮することができる。
In the rate conversion dubbing described in
しかしながら、上記の特許文献1に記載されているレート変換技術では、逐次処理により映像音声復号化部と映像音声符号化部を切り替えながらレート変換ダビングを行う。これにより、映像音声復号化部および映像音声符号化部では、それぞれ停止期間が生じるため、処理の効率が低く、レート変換ダビングの処理時間は長くなってしまう。
However, in the rate conversion technique described in
本発明は、上記課題を解決するために、映像音声データに関するレート変換ダビング時に、映像音声復号化部および映像音声符号化部が高い効率で並列に動作することで、処理時間を短縮できる映像音声変換装置および方法を提供することを目的とする。 In order to solve the above-described problems, the present invention provides a video / audio that can shorten the processing time by the video / audio decoding unit and the video / audio encoding unit operating in parallel with high efficiency during rate conversion dubbing for video / audio data. It is an object to provide a conversion device and method.
上記目的を達成するために、本発明のある局面に係る映像音声変換装置は、第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データから、第二符号化映像データおよび第二符号化音声データが多重化された第二多重化データを生成する映像音声変換装置であって、第一多重化データから第一符号化映像データと第一符号化音声データを多重分離する分離部と、前記分離部で多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化部と、前記分離部で多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化部と、前記映像復号化部で生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化部と、前記音声復号化部で生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化部と、前記映像符号化部で生成された第二符号化映像データと前記音声符号化部で生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重部とを備え、前記分離部は、前記映像復号化部および前記音声復号化部での復号化の進行状況に基づいて、前記分離部での多重分離の停止および再開を制御し、前記映像復号化部は、前記分離部での多重分離の進行状況および前記映像符号化部での符号化の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、前記音声復号化部は、前記分離部での多重分離の進行状況および前記音声符号化部での符号化の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、前記映像符号化部は、前記映像復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記映像符号化部での符号化の停止および再開を制御し、前記音声符号化部は、前記音声復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記音声符号化部での符号化の停止および再開を制御し、前記多重部は、前記映像符号化部および前記音声符号化部での符号化の進行状況に基づいて、前記多重部での多重化の停止および再開を制御し、前記映像音声変換装置は、さらに、前記映像復号化部が生成した映像データの前記映像符号化部への転送と前記音声復号化部が生成した音声データの前記音声符号化部への転送のタイミングを調整する同期制御部を備え、前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を前記同期制御部へ通知し、前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、前記同期制御部は、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化部が生成した映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化部が生成した音声データの転送を行うことで映像データと音声データの同期制御を行い、前記映像復号化部は、前記映像符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、前記音声復号化部は、前記音声符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、前記映像符号化部は、前記映像復号化部が生成した映像データの符号化として、前記同期制御部で同期された映像データの符号化を行い、前記映像復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、前記音声符号化部は、前記音声復号化部が生成した音声データの符号化として、前記同期制御部で同期された音声データの符号化を行い、前記音声復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、前記同期制御部は、N倍の速度で同期制御を行い、前記Nは、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が動作可能なレート変換ダビングの変換速度の倍速値の最小値である。 In order to achieve the above object, a video / audio conversion device according to an aspect of the present invention provides a second code from first multiplexed data in which first encoded video data and first encoded audio data are multiplexed. A video / audio conversion device for generating second multiplexed data in which encoded video data and second encoded audio data are multiplexed, wherein the first encoded video data and the first encoding are generated from the first multiplexed data A demultiplexer for demultiplexing audio data, a video decoder for generating video data by decoding the first encoded video data demultiplexed by the demultiplexer, and a demultiplexer by the demultiplexer By decoding the first encoded audio data, an audio decoding unit that generates audio data and a second encoded video data are generated by encoding the video data generated by the video decoding unit. And a video encoding unit An audio encoding unit that generates second encoded audio data by encoding audio data generated by the audio decoding unit, a second encoded video data generated by the video encoding unit, and the A multiplexing unit that generates second multiplexed data by multiplexing the second encoded audio data generated by the audio encoding unit, and the separation unit includes the video decoding unit and the audio Based on the progress of decoding in the decoding unit, the demultiplexing unit is controlled to stop and restart the demultiplexing, and the video decoding unit performs the demultiplexing progress in the demultiplexing unit and the video code The audio decoding unit controls the stop and restart of decoding in the video decoding unit based on the progress of encoding in the encoding unit, and the audio decoding unit determines the progress of demultiplexing in the demultiplexing unit and the audio Based on the progress of encoding in the encoder Controlling the stop and restart of decoding in the audio decoding unit, the video encoding unit in accordance with the progress of decoding in the video decoding unit and the progress of multiplexing in the multiplexing unit Based on this, the stop and restart of encoding in the video encoding unit is controlled, and the audio encoding unit is configured to perform decoding progress in the audio decoding unit and multiplexing progress in the multiplexing unit. Based on the progress of encoding in the video encoding unit and the audio encoding unit, the multiplexing unit controls the stop and restart of encoding in the audio encoding unit. The video / audio conversion device further controls transfer of video data generated by the video decoding unit to the video encoding unit and generation by the audio decoding unit. Transfer of processed audio data to the audio encoder A synchronization control unit that adjusts the recording time, the separation unit further notifies the synchronization control unit of time information added to the first multiplexed data, and the time information relates to output of video data In addition to the video output time information and the audio output time information related to the output of the audio data, the synchronization control unit adjusts the reference time for counting up in proportion to the system reference time to the video output time information. The video decoding unit generates video data generated by the audio decoding unit in accordance with the transfer of the video data generated by the video decoding unit and the reference time for counting up in proportion to the system reference time reaching the audio output time information. The video data and the audio data are synchronized by transferring the audio data, and the video decoding unit is configured to perform the synchronization control as the progress of the encoding in the video encoding unit. Based on the progress of the synchronization control in the unit, controlling the stop and restart of the decoding in the video decoding unit, the speech decoding unit, as the progress of the encoding in the speech encoding unit, Based on the progress of the synchronization control in the synchronization control unit, the stop and restart of the decoding in the audio decoding unit is controlled, and the video encoding unit is configured to control the video data generated by the video decoding unit. As encoding, the video data synchronized by the synchronization control unit is encoded, and the decoding progress in the video decoding unit is encoded based on the progress of synchronization control in the synchronization control unit. The speech encoding unit encodes the speech data synchronized by the synchronization control unit as the speech data generated by the speech decoding unit, and controls the speech decoding. The progress of decryption , Based on the progress of the synchronization control in the synchronization control unit, to control the stop and restart of encoding, the synchronization control unit performs the synchronization control at N times speed, N is the separation unit, This is the minimum value of the double speed value of the rate conversion dubbing rate at which the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and the multiplexing unit can operate.
この構成によると、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部の処理速度の差を吸収するために、各処理部は、前後の処理部における処理の進行状況に基づいて、自身の処理の停止および再開を制御している。これにより、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最善な処理速度で動作することで高速なレート変換ダビングを行うことができる。 According to this configuration, in order to absorb the difference in processing speed between the separation unit, the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and the multiplexing unit, each processing unit Based on the progress of the process, the stop and restart of its own process is controlled. Accordingly, high-speed rate conversion dubbing can be performed by the separation unit, the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and the multiplexing unit operating at the optimum processing speed.
また、同期制御部が、映像データと音声データとの同期制御を行っている。これにより、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最善な処理速度で動作することで高速なレート変換ダビングを行うことができる。 In addition , the synchronization control unit performs synchronization control between the video data and the audio data. Accordingly, high-speed rate conversion dubbing can be performed by the separation unit, the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and the multiplexing unit operating at the optimum processing speed.
本発明の他の局面に係る映像音声変換装置は、第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データから、第二符号化映像データおよび第二符号化音声データが多重化された第二多重化データを生成する映像音声変換装置であって、第一多重化データから第一符号化映像データと第一符号化音声データを多重分離する分離部と、前記分離部で多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化部と、前記分離部で多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化部と、前記映像復号化部で生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化部と、前記音声復号化部で生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化部と、前記映像符号化部で生成された第二符号化映像データと前記音声符号化部で生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重部とを備え、前記分離部は、前記映像復号化部および前記音声復号化部での復号化の進行状況に基づいて、前記分離部での多重分離の停止および再開を制御し、前記映像復号化部は、前記分離部での多重分離の進行状況および前記映像符号化部での符号化の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、前記音声復号化部は、前記分離部での多重分離の進行状況および前記音声符号化部での符号化の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、前記映像符号化部は、前記映像復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記映像符号化部での符号化の停止および再開を制御し、前記音声符号化部は、前記音声復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記音声符号化部での符号化の停止および再開を制御し、前記多重部は、前記映像符号化部および前記音声符号化部での符号化の進行状況に基づいて、前記多重部での多重化の停止および再開を制御し、前記映像音声変換装置は、さらに、前記映像復号化部が生成した映像データの前記映像符号化部への転送と前記音声復号化部が生成した音声データの前記音声符号化部への転送のタイミングを調整する同期制御部を備え、前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を前記同期制御部へ通知し、前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、前記同期制御部は、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化部が生成した映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化部が生成した音声データの転送を行うことで映像データと音声データの同期制御を行い、前記映像復号化部は、前記映像符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、前記音声復号化部は、前記音声符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、前記映像符号化部は、前記映像復号化部が生成した映像データの符号化として、前記同期制御部で同期された映像データの符号化を行い、前記映像復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、前記音声符号化部は、前記音声復号化部が生成した音声データの符号化として、前記同期制御部で同期された音声データの符号化を行い、前記音声復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、前記映像音声変換装置は、さらに、前記同期制御部へ遅延の制御通知を行う遅延制御部と、前記同期制御部での同期制御に対して前記映像復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第一遅延検知部と、前記同期制御部での同期制御に対して前記音声復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第二遅延検知部と、前記同期制御部での同期制御に対して前記映像符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第三遅延検知部と、前記同期制御部での同期制御に対して前記音声符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第四遅延検知部を備え、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部の各々は、前記遅延制御部に対して、遅延を検知すれば遅延通知を行い、遅延の解消を検知すれば再開通知を行い、前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより遅延通知を受けると遅延の制御通知として前記同期制御部に同期制御の停止通知を行い、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより再開通知を受けると遅延の制御通知として前記同期制御部に同期制御の再開通知を行う。 The video / audio conversion device according to another aspect of the present invention includes a second encoded video data and a second code from the first multiplexed data in which the first encoded video data and the first encoded audio data are multiplexed. A video / audio conversion apparatus for generating second multiplexed data in which encoded audio data is multiplexed, wherein the first encoded video data and the first encoded audio data are demultiplexed from the first multiplexed data A video decoding unit for generating video data by decoding the first encoded video data demultiplexed by the demultiplexing unit, and the first encoded audio data demultiplexed by the demultiplexing unit An audio decoding unit that generates audio data by decoding; a video encoding unit that generates second encoded video data by encoding the video data generated by the video decoding unit; Generated by the speech decoder By encoding the audio data, the audio encoding unit that generates the second encoded audio data, the second encoded video data generated by the video encoding unit, and the audio encoding unit A multiplexing unit that generates second multiplexed data by multiplexing the second encoded audio data, and the demultiplexing unit performs decoding in the video decoding unit and the audio decoding unit. Based on the progress status, the demultiplexing unit is controlled to stop and restart the demultiplexing, and the video decoding unit is configured to perform the demultiplexing progress status in the demultiplexing unit and the encoding progress in the video encoding unit. Based on the situation, the video decoding unit controls the stop and restart of decoding, and the audio decoding unit performs the demultiplexing progress status in the demultiplexing unit and the encoding in the audio encoding unit. Based on the progress, the speech decoding unit The video encoding unit controls the stop and restart of encoding, and the video encoding unit determines whether the video encoding unit is based on the decoding progress in the video decoding unit and the multiplexing progress in the multiplexing unit. The speech encoding unit is configured to control the speech encoding unit based on a decoding progress in the speech decoding unit and a multiplexing progress in the multiplexing unit. The multiplexing unit controls the stopping and restarting of the multiplexing in the multiplexing unit based on the progress of the encoding in the video encoding unit and the audio encoding unit. The video / audio conversion apparatus further transfers the video data generated by the video decoding unit to the video encoding unit and the audio data generated by the audio decoding unit to the audio encoding unit. A synchronization controller that adjusts the transfer timing of In addition, the separation unit further notifies the synchronization control unit of time information added to the first multiplexed data, and the time information includes video output time information related to video data output and audio data. Audio output time information relating to output is included, and the synchronization control unit generates the video decoding unit in response to the reference time reaching the video output time information being counted up in proportion to the system reference time The video data is transferred, and the audio data generated by the audio decoding unit is transferred in accordance with the arrival of the audio output time information in accordance with the reference time counted up in proportion to the system reference time. Synchronous control of video data and audio data is performed, and the video decoding unit determines the progress of the synchronization control in the synchronization control unit as the progress of the encoding in the video encoding unit. Based on this, the video decoding unit controls the stop and restart of decoding, and the audio decoding unit performs the synchronization control in the synchronization control unit as the progress of encoding in the audio encoding unit. Based on the progress status, the audio decoding unit is controlled to stop and restart decoding, and the video encoding unit uses the synchronization control unit to encode video data generated by the video decoding unit. Encoding synchronized video data, and controlling the stop and restart of encoding based on the progress of synchronization control in the synchronization controller as the progress of decoding in the video decoder, The speech encoding unit encodes speech data synchronized by the synchronization control unit as encoding of speech data generated by the speech decoding unit, and progress of decoding in the speech decoding unit As the synchronization in the synchronization control unit Based on your progress, and controls the coding stop and restart the video-audio converting device further includes a delay control unit for controlling the notification of the delay to the synchronization control unit, in synchronization with the synchronization control unit A first delay detector for monitoring a delay of decoding in the video decoder for control and notifying the delay controller of a delay state; and the audio decoding for synchronization control in the synchronization controller A second delay detection unit that monitors a delay in decoding in the encoding unit and notifies the delay control unit of the delay state, and encoding in the video encoding unit with respect to synchronization control in the synchronization control unit A third delay detector for monitoring delay and notifying the delay controller to the delay controller; and monitoring a delay of encoding in the speech encoder with respect to synchronization control in the synchronization controller; A fourth delay detector that notifies the delay controller of the first delay Each of the detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit notifies the delay control unit when a delay is detected, and detects the cancellation of the delay. If the delay control unit receives a delay notification from any of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit, the delay control unit delays. As a control notification, a synchronization control stop notification is sent to the synchronization control unit, and a restart notification is sent from any of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit It intends rows resumption notification control in synchronization with the synchronization control unit as receiving the control notification of delay.
この構成によると、各遅延検知部が各処理部での処理の遅延を監視しており、その監視の結果に応じて同期制御部での処理を制御している。これにより、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最善な処理速度で動作することで高速なレート変換ダビングを行うことができる。 According to this configuration, each delay detection unit monitors the processing delay in each processing unit, and controls the processing in the synchronization control unit according to the monitoring result. Accordingly, high-speed rate conversion dubbing can be performed by the separation unit, the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and the multiplexing unit operating at the optimum processing speed.
また、前記第一遅延検知部は、前記映像復号化部が生成した映像データを前記映像復号化部から前記同期制御部へ転送する際に一時的に格納する第九中間バッファのデータ蓄積状況に基づいて前記映像復号化部での復号化の遅延を検知し、前記第二遅延検知部は、前記音声復号化部が生成した音声データを前記音声復号化部から前記同期制御部へ転送する際に一時的に格納する第十中間バッファのデータ蓄積状況に基づいて前記音声復号化部での復号化の遅延を検知し、前記第三遅延検知部は、前記同期制御部が同期制御した映像データを前記同期制御部から前記映像符号化部へ転送する際に一時的に格納する第十一中間バッファのデータ蓄積状況に基づいて前記映像符号化部での符号化の遅延を検知し、前記第四遅延検知部は、前記同期制御部が同期制御した音声データを前記同期制御部から前記音声符号化部へ転送する際に一時的に格納する第十二中間バッファのデータ蓄積状況に基づいて前記音声符号化部での符号化の遅延を検知してもよい。 Further, the first delay detection unit is configured to store data in a ninth intermediate buffer that temporarily stores the video data generated by the video decoding unit when the video data is transferred from the video decoding unit to the synchronization control unit. And detecting a delay in decoding by the video decoding unit, and the second delay detecting unit transfers the audio data generated by the audio decoding unit from the audio decoding unit to the synchronization control unit. The third delay detection unit detects video data that is synchronously controlled by the synchronization control unit based on the data accumulation state of the tenth intermediate buffer temporarily stored in the audio decoding unit. Detecting a delay in encoding in the video encoding unit based on the data accumulation state of the eleventh intermediate buffer temporarily stored when transferring from the synchronization control unit to the video encoding unit, The four delay detection unit The speech encoding unit performs encoding based on the data accumulation state of the twelfth intermediate buffer temporarily stored when the speech data controlled by the unit is transferred from the synchronization control unit to the speech encoding unit. A delay may be detected.
また、前記第一遅延検知部は、前記映像復号化部が生成した映像データのフレーム数と前記同期制御部が同期制御を行った映像データのフレーム数を監視することにより前記映像復号化部での復号化の遅延を検知し、前記第二遅延検知部は、前記音声復号化部が生成した音声データのフレーム数と前記同期制御部が同期制御を行った音声データのフレーム数を監視することにより前記音声復号化部での復号化の遅延を検知し、前記第三遅延検知部は、前記同期制御部が同期制御を行った映像データのフレーム数と前記映像符号化部が生成した第二符号化映像データのフレーム数を監視することにより前記映像符号化部での符号化の遅延を検知し、前記第四遅延検知部は、前記同期制御部が同期制御を行った音声データのフレーム数と前記音声符号化部が生成した第二符号化音声データのフレーム数を監視することにより前記音声符号化部での符号化の遅延を検知してもよい。 The first delay detector may be configured to monitor the number of frames of the video data generated by the video decoder and the number of frames of the video data subjected to synchronization control by the synchronization controller. The second delay detection unit monitors the number of frames of audio data generated by the audio decoding unit and the number of frames of audio data on which the synchronization control unit has performed synchronization control. The third delay detection unit detects the number of frames of video data that the synchronization control unit performs synchronization control and the second generated by the video encoding unit. By detecting the number of frames of the encoded video data, the delay of the encoding in the video encoding unit is detected, and the fourth delay detection unit is the number of frames of the audio data on which the synchronization control unit performs synchronization control And the voice It may detect the delay of coding in the audio coding unit by-coding unit monitors the number of frames of the second encoded audio data generated.
また、前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、第三遅延検知部および第四遅延検知部のいずれかから遅延通知を受けると前記同期制御部へ同期制御の停止信号を通知し、前記第一遅延検知部、前記第二遅延検知部、第三遅延検知部および第四遅延検知部のいずれかから再開通知を受けると前記同期制御部へ同期制御の再開信号を通知し、前記同期制御部は、前記遅延制御部から停止信号を受けると同期制御の状態を保持して同期制御を停止し、前記遅延制御部から再開信号を受けると保持している停止時の状態で同期制御を再開してもよい。 Further, the delay control unit, when receiving a delay notification from any of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit, performs synchronization control to the synchronization control unit. When a stop signal is notified and a restart notification is received from any of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit, a synchronization control restart signal is sent to the synchronization control unit When the stop signal is received from the delay control unit, the synchronization control unit holds the state of the synchronization control and stops the synchronization control. When the stop signal is received from the delay control unit, the synchronization control unit holds Synchronization control may be resumed in this state.
また、前記同期制御部は、N倍の速度で同期制御を行い、前記Nは、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が動作可能なレート変換ダビングの変換速度の倍速値の最小値であり、前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、第三遅延検知部および第四遅延検知部のいずれかから遅延通知を受けると、前記同期制御部へ同期制御で使用する前記Nの切り替え信号を通知し、前記第一遅延検知部、前記第二遅延検知部、第三遅延検知部および第四遅延検知部のいずれかから再開通知を受けると、前記同期制御部へ同期制御の再開信号を通知し、前記同期制御部は、前記遅延制御部から切り替え信号を受けると所定の値で減算した前記Nを同期制御の倍速値として使用し、前記遅延制御部から再開信号を受けると前記Nを同期制御の倍速値として使用してもよい。 Further, the synchronization control unit performs synchronization control at a speed of N times, where N is the separation unit, the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and The minimum value of the double speed conversion rate of rate conversion dubbing operable by the multiplexing unit, and the delay control unit includes the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth When a delay notification is received from any one of the delay detection units, the N switching signal used in the synchronization control is notified to the synchronization control unit, and the first delay detection unit, the second delay detection unit, and the third delay detection When a restart notification is received from any one of the first delay detection unit and the fourth delay detection unit, a synchronization control restart signal is notified to the synchronization control unit, and the synchronization control unit receives a switching signal from the delay control unit and receives a predetermined value. The subtracted N is the double speed value of synchronous control And using, may be used the N and receives a restart signal from the delay controller as the speed value of the synchronous control.
また、上述の映像音声変換装置は、さらに、前記同期制御部へ前記Nの通知を行う倍速通知部を備えていてもよい。 In addition, the video / audio conversion device described above may further include a double speed notification unit that notifies the synchronization control unit of the N.
また、前記倍速通知部は、外部からの指示により、通知する前記Nを選択してもよい。 Further, the double speed notification unit may select the N to be notified according to an instruction from the outside.
また、上述の映像音声変換装置は、さらに、前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定に応じた前記Nを前記倍速通知部に通知する動作モード判定部を備え、前記倍速通知部は、前記動作モード判定部から通知された前記Nを前記同期制御部へ通知してもよい。 In addition, the video / audio conversion device described above further includes demultiplexing in the demultiplexing unit, decoding in the video decoding unit, decoding in the audio decoding unit, encoding in the video encoding unit, An operation mode determination unit that notifies the N-speed notification unit of the N according to an operation setting that affects encoding in the speech encoding unit or multiplexing in the multiplexing unit, the double-speed notification unit, The N notified from the operation mode determination unit may be notified to the synchronization control unit.
この構成により、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最適に動作するN値を選択することで、最適なレート変換ダビングを行うことができる。このため、映像復号化部、音声復号化部、映像符号化部および音声符号化部は、高画質化、高音質化の処理に時間を割くことができ、クオリティの高い第二多重化データを生成することができる。 With this configuration, optimum rate conversion dubbing is performed by selecting an N value at which the separation unit, video decoding unit, audio decoding unit, video encoding unit, audio encoding unit, and multiplexing unit operate optimally. Can do. For this reason, the video decoding unit, the audio decoding unit, the video encoding unit, and the audio encoding unit can take time for high image quality and high sound quality processing, and the second multiplexed data with high quality. Can be generated.
また、上述の映像音声変換装置は、さらに、レート変換ダビング開始前に前記Nの測定を行い、測定した前記Nを前記倍速通知部に通知する倍速測定部を備え、前記倍速通知部は、前記倍速測定部から通知された前記Nを前記同期制御部へ通知してもよい。 In addition, the video / audio conversion device described above further includes a double speed measurement unit that performs the measurement of N before starting rate conversion dubbing and notifies the double speed notification unit of the measured N, wherein the double speed notification unit includes: The N notified from the double speed measuring unit may be notified to the synchronization control unit.
この構成により、事前に動作モードごとの最適なN値を決定することなく、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最適に動作するN値でレート変換ダビングを行うことができる。 With this configuration, the separation unit, the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and the multiplexing unit operate optimally without determining an optimal N value for each operation mode in advance. Rate conversion dubbing can be performed with N values.
また、上述の映像音声変換装置は、さらに、前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定に応じた動作モードを判定する動作モード判定部と、レート変換ダビング開始前に前記Nの測定を行う倍速測定部と、測定した前記Nを記録する倍速記録メモリとを備え、前記動作モード判定部は、動作モードに応じた前記Nが前記倍速記録メモリに記録されている場合は、記録されている前記Nを前記倍速通知部に通知し、動作モードに応じた前記Nが前記倍速記録メモリに記録されていない場合は、前記倍速測定部へ起動通知を行い、前記倍速測定部は、動作モードごとに最適な前記Nを測定し、前記倍速記録メモリ上に動作モードごとの前記Nを記録するとともに、前記倍速通知部へ前記Nを通知してもよい。 In addition, the video / audio conversion device described above further includes demultiplexing in the demultiplexing unit, decoding in the video decoding unit, decoding in the audio decoding unit, encoding in the video encoding unit, An operation mode determination unit that determines an operation mode according to an operation setting that affects the encoding in the speech encoding unit or the multiplexing in the multiplexing unit, and the double speed that measures the N before the start of rate conversion dubbing A measurement unit and a double speed recording memory for recording the measured N, and the operation mode determination unit records the N according to the operation mode when the N is recorded in the double speed recording memory. N is notified to the double speed notification unit, and when the N corresponding to the operation mode is not recorded in the double speed recording memory, the double speed measurement unit is notified of activation, and the double speed measurement unit Measure the optimal N , And records the N of each operating mode on the speed recording memory, it may notify the N to the speed notification unit.
この構成により、事前に動作モードごとの最適なN値を決定することなく、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最適に動作するN値でレート変換ダビングを行うことができる。また、同じ動作モードで動作する場合、レート変換ダビングを開始するまでの時間を短縮することができる。 With this configuration, the separation unit, the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and the multiplexing unit operate optimally without determining an optimal N value for each operation mode in advance. Rate conversion dubbing can be performed with N values. Further, when operating in the same operation mode, it is possible to shorten the time required to start rate conversion dubbing.
また、上述の映像音声変換装置は、さらに、同期制御を行う速度の倍率であるNをレート変換ダビング中に切り替えて、前記同期制御部へ通知する倍速通知部を備えてもよい。 The video / audio conversion device described above may further include a double speed notification unit that switches N, which is a magnification of the speed for performing the synchronization control, during rate conversion dubbing and notifies the synchronization control unit.
また、上述の映像音声変換装置は、さらに、所定の期間に前記遅延制御部による同期制御のタイミング調整の発生回数が所定の回数よりも大きい場合は、前記Nから所定の値を減算した値を前記Nとして、前記倍速通知部へ通知し、同期制御のタイミング調整が発生しなかった場合は、前記Nに所定の値を加算した値を前記Nとして、前記倍速通知部に通知する倍速測定部を備え、前記遅延制御部は、同期制御のタイミング調整が発生したことを前記倍速測定部へ通知し、前記倍速通知部は、前記倍速測定部から通知された前記Nを前記同期制御部へ通知してもよい。 Further, the video / audio conversion device described above further calculates a value obtained by subtracting a predetermined value from N when the number of times of the timing adjustment of the synchronization control by the delay control unit is larger than the predetermined number in a predetermined period. The double speed measurement unit that notifies the double speed notification unit as N, and when the synchronization control timing adjustment does not occur, a value obtained by adding a predetermined value to N is used as the N to notify the double speed notification unit The delay control unit notifies the double speed measurement unit that synchronization control timing adjustment has occurred, and the double speed notification unit notifies the synchronous control unit of the N notified from the double speed measurement unit May be.
この構成により、動作モードが切り替わった場合でも、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最適に動作するN値でレート変換ダビングを行うことができる。さらに、分離部に入力される第一多重化データに合わせて、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最適に動作するN値でレート変換ダビングを行うことができる。 With this configuration, even when the operation mode is switched, rate conversion dubbing is performed with N values at which the separation unit, video decoding unit, audio decoding unit, video encoding unit, audio encoding unit, and multiplexing unit operate optimally. be able to. Further, in accordance with the first multiplexed data input to the demultiplexing unit, the N value at which the demultiplexing unit, video decoding unit, audio decoding unit, video coding unit, audio coding unit, and multiplexing unit operate optimally Can perform rate conversion dubbing.
また、上述の映像音声変換装置は、さらに、前記Nにより、前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定を行う倍速判定部を備えてもよい。 Further, the video / audio conversion device described above further includes, according to the N, demultiplexing in the demultiplexing unit, decoding in the video decoding unit, decoding in the audio decoding unit, and in the video encoding unit. And a double speed determination unit that performs operation settings that affect the encoding in the speech encoding unit or the multiplexing in the multiplexing unit.
なお、本発明は、このような特徴的な処理部を備える映像音声変換装置として実現することができるだけでなく、映像音声変換装置に含まれる特徴的な処理部が実行する処理をステップとする映像音声変換方法として実現することができる。また、映像音声変換方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、CD−ROM(Compact Disc-Read Only Memory)等のコンピュータ読取可能な不揮発性の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。 Note that the present invention can be realized not only as a video / audio conversion device including such a characteristic processing unit, but also as a stepping process performed by the characteristic processing unit included in the video / audio conversion device. It can be realized as a voice conversion method. Also, it can be realized as a program for causing a computer to execute the characteristic steps included in the video / audio conversion method. Needless to say, such a program can be distributed via a computer-readable non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet.
本発明によれば、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部の処理速度の差を吸収するための調整制御を行うことにより、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が最善な処理速度で動作することで高速なレート変換ダビングを行うことができる。 According to the present invention, adjustment control for absorbing a difference in processing speed between the separation unit, the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and the multiplexing unit is performed. By performing the demultiplexing unit, the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and the multiplexing unit at high processing speed, high-speed rate conversion dubbing is performed. It can be performed.
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
(実施の形態1)
図1は、本発明の実施の形態1における映像音声変換装置の機能的な構成を示すブロック図である。
(Embodiment 1)
FIG. 1 is a block diagram showing a functional configuration of a video / audio conversion apparatus according to
実施の形態1では、HDD001およびDVD002は記録手段であり、HDD001には、例えばテレビ放送のMPEG等で圧縮された第一多重化データが記録されている。DVD002は、レート変換ダビング後の第二多重化データの記録のために用いる。また、記録手段はHDD、BD、SDカード等の記録媒体でもよい。
In the first embodiment, the
映像音声変換装置は、分離部101、映像復号化部102、音声復号化部103、映像符号化部104、音声符号化部105および多重部106より構成される。また、分離部101は、多重部106への時刻情報通知機能(SIG201)を有し、多重部106は時刻情報を利用して映像データと音声データの同期制御を行う機能を有する。以下、これらの各ブロックと信号の流れを説明する。
The video / audio conversion apparatus includes a
分離部101は、HDD001に記録されている第一多重化データの多重分離を行い、MPEG等で符号化された第一符号化映像データとAC−3(Audio Code number 3)等で符号化された第一符号化音声データに分離し、第一符号化映像データを第一中間バッファ301に、第一符号化音声データを第二中間バッファ302にそれぞれ格納する。また、分離部101は、第一多重化データに付加されている映像データおよび音声データに対する出力時刻情報(PTS)および復号時刻情報(DTS)、システム時刻基準情報(SCR)、ならびにプログラム時刻基準情報(PCR)などの時刻情報を多重部106へ通知(SIG201)する。
The
映像復号化部102は、第一中間バッファ301に格納された第一符号化映像データに対して復号化処理を行い、復号化した映像データを第三中間バッファ303に格納する。
The
音声復号化部103は、第二中間バッファ302に格納された第一符号化音声データに対して復号化処理を行い、復号化した音声データを第四中間バッファ304に格納する。
The
映像符号化部104は、第三中間バッファ303に格納された映像データをMPEG等の圧縮データへの符号化処理を行い、符号化した第二符号化映像データを第五中間バッファ305に格納する。このとき、映像復号化部102が復号化した映像データを別途高画質化や解像度変換などの映像処理をした後に映像符号化部104は符号化処理を行ってもよい。
The
音声符号化部105は、第四中間バッファ304に格納された音声データを所定の圧縮データへの符号化処理を行い、符号化した第二符号化音声データを第六中間バッファ306に格納する。このとき、音声復号化部103が復号化した音声データを別途高音質化などの音声処理をした後に音声符号化部105は符号化処理を行ってもよい。
The
映像符号化部104および音声符号化部105における符号化処理では、HDD001に記録する際の圧縮率と異なる圧縮率でデータを再圧縮(レート変換)する。再圧縮する方法は、例えば従来例で説明した方法があり、本実施の形態でも適用できる。
In the encoding process in the
多重部106は、分離部101より通知された時刻情報を用いて、第五中間バッファ305に格納された第二符号化映像データと第六中間バッファ306に格納された第二符号化音声データを、第一多重化データにおける第一符号化映像データと第一符号化音声データの間で時間軸上の関係が同じになるようにそれぞれ配置することにより第二多重化データを生成する。この制御により第二符号化映像データと第二符号化音声データの同期制御を行いながら多重化を行った後、第二多重化データをDVD002へ記録する。
The
また、映像音声変換装置は、映像データおよび音声データのうち一方のみを再圧縮してもよい。映像データのみを再圧縮する場合を説明する。分離部101は、第一多重化データの多重分離を行い、MPEG等で符号化された第一符号化映像データとAC−3等で符号化された第一符号化音声データに分離する。第一符号化映像データは、第一中間バッファ301に転送され、以降、映像復号化部102で復号化を行い、映像符号化部104で符号化を行い、第五中間バッファ305へ転送される。一方、第一符号化音声データは、第二中間バッファ302に転送されずに、第六中間バッファ306に直接転送される。多重部106は、第五中間バッファ305に格納された第二符号化映像データと第六中間バッファ306に格納された第一符号化音声データの多重化を行い、第二多重化データをDVD002へ記録する。ここでは、映像データの再圧縮の場合について説明したが、音声データのみの再圧縮の場合についても同様の処理を行う。
The video / audio conversion device may recompress only one of the video data and the audio data. A case where only video data is recompressed will be described. The
次に、分離部101、映像復号化部102、音声復号化部103、映像符号化部104、音声符号化部105および多重部106の処理速度の差による、各中間バッファのオーバーフローとアンダーフローの回避制御に関して説明する。分離部101、映像復号化部102、音声復号化部103、映像符号化部104、音声符号化部105および多重部106は、それぞれ、前段に存在する中間バッファ(分離部101には前段にバッファは存在しないため非該当)および後段に存在する中間バッファ(多重部106には後段に中間バッファは存在しないため非該当)のデータの蓄積状態を監視する。分離部101、映像復号化部102、音声復号化部103、映像符号化部104、音声符号化部105および多重部106は、それぞれ、前段に存在する中間バッファ内のデータ残量が所定の閾値を下回った場合は、中間バッファのアンダーフローが発生しないように、処理を停止し、データ残量が所定の閾値を上回った場合は、処理を再開する。また、後段に存在する中間バッファ内の空き残量が所定の閾値を下回った場合は、中間バッファのオーバーフローが発生しないように処理を停止し、空き残量が所定の閾値を上回った場合は、処理を再開する。
Next, the overflow and underflow of each intermediate buffer due to the difference in processing speed among the
この構成により、分離部101、映像復号化部102、音声復号化部103、映像符号化部104、音声符号化部105および多重部106が最善な処理速度でレート変換ダビングを実現することができる。また、第一多重化データの時刻情報を使用することで映像と音声の同期の取れた正確な再生を可能とする第二多重化データを生成することができる。
With this configuration, the
なお、本発明に係る映像音声変換装置の必須の構成要素は、分離部101と、映像復号化部102と、音声復号化部103と、映像符号化部104と、音声符号化部105と、多重部106とであり、その他の構成要素は映像音声変換装置の外部に備えられていてもよい。
The essential components of the video / audio conversion device according to the present invention are the
(実施の形態2)
図2は、本発明の実施の形態2における映像音声変換装置の機能的な構成を示すブロック図である。
(Embodiment 2)
FIG. 2 is a block diagram showing a functional configuration of the video / audio conversion apparatus according to
実施の形態1と同様に、HDD001およびDVD002は記録手段であり、HDD001には、例えばテレビ放送のMPEG等で圧縮された第一多重化データが記録されている。DVD002は、レート変換ダビング後の第二多重化データの記録のために用いる。また、記録手段はSDカード等でもよい。
Similar to the first embodiment, the
実施の形態2の映像音声変換装置は、分離部107と、映像復号化部108と、音声復号化部109と、映像符号化部110と、音声符号化部111と、多重部112と、同期制御部401と、第七中間バッファ501と、第八中間バッファ502と、第九中間バッファ503と、第十中間バッファ504と、第十一中間バッファ505と、第十二中間バッファ506と、第十三中間バッファ507と、第十四中間バッファ508とより構成される。
The video / audio conversion apparatus according to the second embodiment includes a
分離部107は、HDD001に記録されている第一多重化データの多重分離を行い、MPEG等で符号化された第一符号化映像データとAC−3等で符号化された第一符号化音声データに分離する。
The
映像復号化部108は、分離部107で多重分離された第一符号化映像データを復号化する。
The
音声復号化部109は、分離部107で多重分離された第一符号化音声データを復号化する。
The
映像符号化部110は、映像復号化部108で復号化された映像データを符号化する。
The
音声符号化部111は、音声復号化部109で復号化された音声データを符号化する。
The
多重部112は、映像符号化部110で符号化された第二符号化映像データと音声符号化部111で符号化された第二符号化音声データの多重化を行い、第二多重化データを生成する。
The
同期制御部401は、映像復号化部108が復号化した映像データの映像符号化部110への転送と音声復号化部109が復号化した音声データの音声符号化部111への転送のタイミングを調整する。
The
第七中間バッファ501は、分離部107が多重分離した第一符号化映像データを分離部107から映像復号化部108へ転送する際に一時的に格納する。
The seventh
第八中間バッファ502は、分離部107が多重分離した第一符号化音声データを分離部107から音声復号化部109へ転送する際に一時的に格納する。
The eighth
第九中間バッファ503は、映像復号化部108が復号化した映像データを映像復号化部108から同期制御部401へ転送する際に一時的に格納する。
The ninth
第十中間バッファ504は、音声復号化部109が復号化した音声データを音声復号化部109から同期制御部401へ転送する際に一時的に格納する。
The tenth
第十一中間バッファ505は、同期制御部401が同期制御した映像データを同期制御部401から映像符号化部110へ転送する際に一時的に格納する。
The eleventh
第十二中間バッファ506は、同期制御部401が同期制御した音声データを同期制御部401から音声符号化部111へ転送する際に一時的に格納する。
The twelfth
第十三中間バッファ507は、映像符号化部110が符号化した第二符号化映像データを映像符号化部110から多重部112へ転送する際に一時的に格納する。
The thirteenth
第十四中間バッファ508は、音声符号化部111が符号化した第二符号化音声データを音声符号化部111から多重部112へ転送する際に一時的に格納する。
The fourteenth
また、分離部107は、同期制御部401へ時刻情報を通知(SIG402)する機能を有する。以下、これらの各ブロックと信号の流れを説明する。
Further, the
図3は同期制御部401での同期制御タイミングを示している。図3の横軸は、レート変換ダビング開始からの経過時間tを示している。
FIG. 3 shows the synchronization control timing in the
レート変換ダビングの変換速度の倍速値をNとした場合、同期制御部401は、ビデオフレーム周期(例えばHDTV(High Definition Television)の1080iであれば1/29.97Hz)を1/N倍した周期で映像復号化部108が復号化した映像データの転送制御を行う。また、同期制御部401は、オーディオフレーム周期(例えばAAC(Advanced Audio Coding)であれば1024/48kHz)を1/N倍した周期で音声復号化部109が復号化した音声データの転送制御を行う。すなわち、N=1(1倍速)の場合は、映像および音声のフレーム周期で同期制御を行い、N=2(2倍速)の場合は、映像および音声のフレーム周期の1/2の周期で同期制御を行う。
When the double speed value of the rate conversion dubbing conversion speed is N, the
図4は同期制御部401での同期制御について説明するための図である。図4の横軸は、レート変換ダビング開始からの経過時間tを示し、縦軸は、時刻情報の値を示している。
FIG. 4 is a diagram for explaining the synchronization control in the
同期制御部401は、レート変換ダビング開始時にシステム基準時間STC(System Time Clock)をN値(Nの値)で乗算した値を求め、分離部107より通知される初回の時刻情報(タイムスタンプやSCR(System Clock Reference)、PCR(Program Clock Reference)など)から減算してstc_baseを求める。次に、同期制御部401は、前記映像データ転送の同期制御タイミングで、stc_baseにSTCを前記N値で乗算した値を加算して求めたSTC’と、分離部107より通知される時刻情報に含まれる映像データの出力に関する映像出力時刻情報(VPTS)を比較する。VPTSからSTC’を減算した値が所定の閾値より小さい、もしくは、STC’からVPTSを減算した値が所定の閾値より小さい場合は、同期制御部401は、映像復号化部108で復号化された映像データの転送制御を行う。VPTSからSTC’を減算した値が所定の閾値より大きい場合、同期制御部401は、該当の映像データの出力時間に達していないと判断し、黒データもしくは前回の同期制御タイミングで転送した映像データの転送制御を行う。STC’からVPTSを減算した値が所定の閾値より大きい場合、同期制御部401は、該当の映像データの出力時間を過ぎていると判断し、該当の映像データは転送を行わずに破棄し、次のVPTSとSTC’の比較を行う。映像データの欠落やエラーによりVPTSが不正値であった場合にも同様の制御となる。また、映像データが存在しない場合や映像データが欠落している場合に、新たなVPTSが分離部107より通知されなければ、同期制御部401は、黒データもしくは前回の同期制御タイミングで転送した映像データの転送制御を行う。stc_baseおよびSTC’を求める式を以下に示す。
The
stc_base=時刻情報−STC×N …式1
STC’=stc_base+STC×N …式2
stc_base = time information−STC ×
STC ′ = stc_base + STC ×
また、同期制御部401は、前記音声データ出力の同期制御タイミングで上記STC’と分離部107より通知される時刻情報に含まれる音声データの出力に関する音声出力時刻情報(APTS)を比較する。APTSからSTC’を減算した値が所定の閾値より小さい、もしくは、STC’からAPTSを減算した値が所定の閾値より小さい場合は、同期制御部401は、音声復号化部109で復号化された音声データの転送制御を行う。APTSからSTC’を減算した値が所定の閾値より大きい場合、同期制御部401は、該当の音声データの出力時間に達していないと判断し、無音データの転送制御を行う。STC’からAPTSを減算した値が所定の閾値より大きい場合、同期制御部401は、該当の音声データの出力時間を過ぎていると判断し、該当の音声データは転送を行わずに破棄し、次のAPTSとSTC’の比較を行う。音声データの欠落やエラーによりAPTSが不正値であった場合にも同様の制御となる。また、音声データが存在しない場合や、音声データが欠落している場合に、新たなAPTSが分離部107より通知されなければ、同期制御部401は、無音データの転送制御を行う。
In addition, the
これにより、映像符号化部110および音声符号化部111は、映像データと音声データの同期が取れた状態で符号化を行うことができる。また、多重部112では、映像データおよび音声データのフレーム周期と符号化済みフレーム数より決定される多重化の時間に対して、映像符号化部110および音声符号化部111が符号化した第二符号化映像データおよび第二符号化音声データを所定の順で多重化すればよいため、実施の形態1で示した同期制御は不要となる。
Accordingly, the
なお、分離部107が時刻情報を多重部112へ通知するタイミングが一定でないことによる時刻情報とSTC’のずれに関しては、リアルタイム性が要求される等倍のレート変換ダビングではないため、特に考慮する必要はない。
Note that the difference between the time information and STC ′ due to the timing at which the
レート変換ダビングの変換速度の倍速値のNについて説明する。N値は、実施の形態2で示す映像音声変換装置を用いて、同期制御に対して分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112に遅延が発生せずに、レート変換ダビングを行うことを保証障できる値である。以下にN値の算出式を示す。
N of the double speed value of the conversion speed of rate conversion dubbing will be described. The N value is determined by using the video / audio conversion apparatus shown in the second embodiment, with respect to synchronous control, the
N=min(S1,S2,S3,S4,S5,S6) …式3
N = min (S1, S2, S3, S4, S5, S6)
S1(S1min≦S1≦S1max):分離部107のスループットの倍率
S2(S2min≦S2≦S2max):映像復号化部108のスループットの倍率
S3(S3min≦S3≦S3max):音声復号化部109のスループットの倍率
S4(S4min≦S4≦S4max):映像符号化部110のスループットの倍率
S5(S5min≦S5≦S5max):音声符号化部111のスループットの倍率
S6(S6min≦S6≦S6max):多重部112のスループットの倍率
S1 (S1min ≦ S1 ≦ S1max): the throughput factor of the
Nを算出するための関数min()は引数の中から最小の値を求める関数となっている。また、各引数は分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111または多重部112のスループットの倍率を示しており、処理のゆらぎによりSiminからSimaxの値をとる(iは各ブロックの番号)。
The function min () for calculating N is a function for obtaining the minimum value from the arguments. Each argument indicates the throughput magnification of the
例えば、関数min()の引数となる各ブロックのスループットの倍率Sが以下の値をとる場合、Nは2.4となる。 For example, when the throughput factor S of each block that is an argument of the function min () takes the following values, N is 2.4.
S1(3.1≦S1≦4.9)
S2(2.7≦S2≦4.0)
S3(2.4≦S3≦4.1)
S4(3.4≦S4≦4.4)
S5(2.9≦S5≦4.7)
S6(2.8≦S6≦3.9)
S1 (3.1 ≦ S1 ≦ 4.9)
S2 (2.7 ≦ S2 ≦ 4.0)
S3 (2.4 ≦ S3 ≦ 4.1)
S4 (3.4 ≦ S4 ≦ 4.4)
S5 (2.9 ≦ S5 ≦ 4.7)
S6 (2.8 ≦ S6 ≦ 3.9)
最小のNを選択することで、同期制御に対して分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112が遅延することなくレート変換ダビングを行うことができる。
By selecting the minimum N, the
また、映像復号化部108は、映像符号化部110での符号化の進行状況として、同期制御部401での同期制御の進行状況に基づいて、映像復号化部108での復号化の停止および再開を制御してもよい。音声復号化部109は、音声符号化部111での符号化の進行状況として、同期制御部401での同期制御の進行状況に基づいて、音声復号化部109での復号化の停止および再開を制御してもよい。映像符号化部110は、映像復号化部108が生成した映像データの符号化として、同期制御部401で同期された映像データの符号化を行い、映像復号化部108での復号化の進行状況として、同期制御部401での同期制御の進行状況に基づいて、符号化の停止および再開を制御してもよい。音声符号化部111は、音声復号化部109が生成した音声データの符号化として、同期制御部401で同期された音声データの符号化を行い、音声復号化部109での復号化の進行状況として、同期制御部401での同期制御の進行状況に基づいて、符号化の停止および再開を制御してもよい。
In addition, the
また、分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112は、それぞれ、前段に存在する中間バッファ(分離部107には前段にバッファは存在しないため非該当)および後段に存在する中間バッファ(多重部112には後段に中間バッファは存在しないため非該当)のデータの蓄積状態を監視する。分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112は、それぞれ、前段に存在する中間バッファ内のデータ残量が所定の閾値を下回った場合は、中間バッファがアンダーフローしないように、処理を停止し、データ残量が所定の閾値を上回った場合は、処理を再開する。また、後段に存在する中間バッファ内の空き残量が所定の閾値を下回った場合は、中間バッファがオーバーフローしないように処理を停止し、空き残量が所定の閾値を上回った場合は、処理を再開する。これにより、同期制御の処理速度と分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112の処理速度との差による各中間バッファのオーバーフローやアンダーフローを回避することができる。
Further, the
この構成により、第一多重化データの時刻情報の異常や映像データおよび音声データの欠落等の異常系にも対応したN倍速のレート変換ダビングを実現することができる。また、第一多重化データの時刻情報を使用することで映像と音声の同期の取れた正確な再生を可能とする第二多重化データを生成することができる。 With this configuration, it is possible to realize N-times rate conversion dubbing corresponding to abnormal systems such as abnormal time information of the first multiplexed data and missing video data and audio data. Further, by using the time information of the first multiplexed data, it is possible to generate second multiplexed data that enables accurate reproduction in which video and audio are synchronized.
(実施の形態3)
図5は、実施の形態3における映像音声変換装置の機能的な構成を示すブロック図である。
(Embodiment 3)
FIG. 5 is a block diagram showing a functional configuration of the video / audio conversion apparatus according to the third embodiment.
実施の形態3における映像音声変換装置は、図2に示した実施の形態2における映像音声変換装置の構成に加え、倍速通知部1201と、遅延制御部701と、第一遅延検知部801と、第二遅延検知部802と、第三遅延検知部803と、第四遅延検知部804とを備える。
In addition to the configuration of the video / audio conversion device in the second embodiment shown in FIG. 2, the video / audio conversion device in the third embodiment includes a double
倍速通知部1201は、同期制御部401へレート変換ダビングの変換速度の倍速値を通知する。
The double
遅延制御部701は、同期制御部401へ遅延の制御通知(SIG702)を行う。
The
第一遅延検知部801は、映像復号化部108での復号化の遅延を検知する。
The first
第二遅延検知部802は、音声復号化部109での復号化の遅延を検知する。
The second
第三遅延検知部803は、映像符号化部110での符号化の遅延を検知する。
The third
第四遅延検知部804は、音声符号化部111での符号化の遅延を検知する。
The fourth
また、分離部107は、第一多重化データの異常時に、第一遅延検知部801、第二遅延検知部802、第三遅延検知部803および第四遅延検知部804を停止する機能を有する。以下、これらの各ブロックと信号の流れを説明する。
Further, the
倍速通知部1201は、レート変換ダビング開始時に実施の形態2の式3で求められるN値を超える値(例えば、N+1など)をN値として同期制御部401へ通知(SIG1202)する。同期制御部401は、倍速通知部1201からのN値を同期制御タイミングおよび前記STC’の計算値として使用する。
The double
第一遅延検知部801は、同期制御に対する映像復号化部108での復号化の遅延を検知する。第二遅延検知部802は、同期制御に対する音声復号化部109での復号化の遅延を検知する。第三遅延検知部803は、同期制御に対する映像符号化部110での符号化の遅延を検知する。第四遅延検知部804は、同期制御に対する音声符号化部111での符号化の遅延を検知する。第一遅延検知部801、第二遅延検知部802、第三遅延検知部803および第四遅延検知部804は、遅延を検知した場合に遅延制御部701へ遅延通知を行う。
The first
遅延制御部701は、第一遅延検知部801、第二遅延検知部802、第三遅延検知部803および第四遅延検知部804のいずれかから遅延通知を受けると、遅延の制御通知として同期制御部401に同期制御の停止通知を行う。同期制御の停止により遅延が解消されると、第一遅延検知部801、第二遅延検知部802、第三遅延検知部803および第四遅延検知部804のうち遅延通知を行ったブロックは、遅延制御部701へ再開通知を行う。遅延制御部701は、再開通知を受けると、遅延の制御通知として同期制御部401に同期制御の再開通知を行う(上記の制御を遅延制御と呼ぶ)。前記遅延制御により、実施の形態2の映像音声変換装置が保証障できるN倍を超える倍速で同期制御を行うことによる同期制御に対する分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112の処理の遅延を回避することができる。
When the
遅延制御方法の詳細について図6を参照しつつ説明する。簡略化のため数値は単純化している。図6の横軸は、レート変換ダビング開始からの経過時間tを示している。 Details of the delay control method will be described with reference to FIG. Numerical values are simplified for simplicity. The horizontal axis in FIG. 6 indicates the elapsed time t from the start of rate conversion dubbing.
同期制御部401は、遅延制御部701より停止通知を受けると、同期制御の停止を行うとともにそれぞれの同期制御の停止位置(映像データの同期制御の周期および音声データの同期制御の周期に対して進んだ位置)と停止時のSTC’(pastSTC’=40)を記録しておく。同期制御が停止している期間、分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112は動作を続ける。これにより、ボトルネックとなる部分が解消されると、第一遅延検知部801、第二遅延検知部802、第三遅延検知部803および第四遅延検知部804のうち遅延通知を行ったブロックは遅延制御部701へ再開通知を出し、遅延制御部701は遅延再開通知を受けると同期制御部401へ再開通知を出す。同期制御部401は、再開通知を受けると、停止前の映像データの転送タイミングと音声データの転送タイミングを保った状態で同期制御を再開する。このとき、停止期間にもSTCは進んでいるため、式2で求めるSTC’(=52)も進むことになり補正が必要となる。そこで、再開時のSTC’(preSTC’=52)と停止時のSTC’(pastSTC=40)の差分を補正値STC’_diffとしてSTC’より減算することで、再開時にも同期がずれることはない。また、式1のstc_base算出時には、STC’_diffは0クリアする。補正を含むSTC’の算出式を以下に示す。
Upon receiving the stop notification from the
STC’_diff=STC’_diff+(preSTC−pastSTC)
…式4
STC’=stc_base+STC×N−STC’_diff …式5
STC'_diff = STC'_diff + (preSTC-pastSTC)
...
STC ′ = stc_base + STC × N−STC′_diff Equation 5
STC’_diff:再開時の補正値
preSTC’:再開時のSTC’の値
pastSTC’:停止時のSTC’の値
STC'_diff: Correction value at restart preSTC ': STC' value at restart pastSTC ': STC' value at stop
このように同期制御タイミングの状態復帰とSTC’の補正を行うことにより、遅延制御後も映像データの転送タイミングと音声データの転送タイミングを乱すことなく同期制御を再開することができる。 By thus returning the state of the synchronization control timing and correcting the STC ', the synchronization control can be resumed without disturbing the transfer timing of the video data and the transfer timing of the audio data even after the delay control.
また、遅延制御部701は、第一遅延検知部801、第二遅延検知部802、第三遅延検知部803および第四遅延検知部804からの遅延通知、再開通知が重なった場合、例えば、各遅延検知部に対応するフラグを設けることで対応することができる。遅延制御部701は、各遅延検知部からの遅延通知によってフラグを立て、再開通知によりフラグを落とし、全てのフラグが落ちた時点で同期制御を再開する制御を行う。もしくは、複数の遅延通知に対して同数の再開通知が来た時点で同期制御を再開する制御を行うことで、第一遅延検知部801、第二遅延検知部802、第三遅延検知部803および第四遅延検知部804からの遅延通知、再開通知が重なった場合でも整合性を保った制御ができる。
In addition, the
なお、遅延制御方法は、同期制御の停止、再開制御ではなく、レート変換ダビングの倍速値であるN値の調整で行ってもよい。 Note that the delay control method may be performed by adjusting the N value, which is a double speed value of rate conversion dubbing, instead of stop / restart control of synchronous control.
図7はN値の調整による遅延制御方法について示した図である。図7の横軸は、レート変換ダビング開始からの経過時間tを示している。 FIG. 7 is a diagram showing a delay control method by adjusting the N value. The horizontal axis in FIG. 7 indicates the elapsed time t from the start of rate conversion dubbing.
遅延制御部701は、いずれかの遅延検知部からの遅延通知を受けると、同期制御部401へN値を通知する(2→1)。遅延制御部701からN値を受け取った同期制御部401は、システム基準時間STCを前記N値で乗算した値を求め、STC’から減算してstc_baseを補正する。また、同期制御部401は、同期制御のタイミング(フレーム周期×1/2→フレーム周期×1/1)とSTC’のカウントアップ値(2→1)をそれぞれ切り替えて同期制御を行う。これにより、ボトルネックとなる部分が解消されると、遅延通知を出した遅延検知部は遅延制御部701に再開通知を出す。遅延制御部701は、再開通知を受けると、同期制御部401へN値を通知する(1→2)。遅延制御部701からN値を受け取った同期制御部401は、システム基準時間STCを前記N値で乗算した値を求め、STC’から減算してstc_baseを補正する。同期制御部401は同期制御のタイミング(フレーム周期×1/1→フレーム周期×1/2)とSTC’のカウントアップ値(1→2)をそれぞれ切り替えて同期制御を行う。補正時のstc_baseの算出式を以下に示す。
When the
stc_base=STC’−STC×N …式6 stc_base = STC′−STC × N Equation 6
上記制御により、N値を調整することによる遅延制御を実現することができる。 With the above control, delay control by adjusting the N value can be realized.
次に第一遅延検知部801、第二遅延検知部802、第三遅延検知部803および第四遅延検知部804の詳細な動作について説明する。
Next, detailed operations of the first
第一遅延検知部801は、映像復号化部108での復号化の遅延を検知するために第九中間バッファ503内のデータ量を監視する。映像復号化部108での復号化が遅延することにより、第九中間バッファ503内のデータ量が遅延判定用の閾値を下回った場合、第一遅延検知部801は、同期制御を一時停止するために遅延制御部701へ遅延通知を行う。遅延制御部701の遅延制御によって同期制御が停止することにより、第一中間バッファ301内のデータは消費されないため、映像復号化部108での復号化によりデータ量は増加していく。データ量が増加し、再開判定用の閾値を上回った場合、第一遅延検知部801は、同期制御を再開するために遅延制御部701へ再開通知を行う。これにより、映像復号化部108の処理が遅延することによる第九中間バッファ503のアンダーフローの発生を、防ぐことができる。
The first
また、第三遅延検知部803は、映像符号化部110での符号化の遅延を検知するために第十一中間バッファ505内のデータ量を監視する。映像符号化部110での符号化が遅延することにより、第十一中間バッファ505内のデータ量が遅延判定用の閾値を上回った場合、第三遅延検知部803は、同期制御を一時停止するために遅延制御部701へ遅延通知を行う。遅延制御部701の遅延制御によって同期制御が停止することにより、第十一中間バッファ505へ映像データは供給されないため、映像符号化部110での符号化によりデータ量は減少していく。データ量が減少し、再開判定用の閾値を下回った場合、第三遅延検知部803は、同期制御を再開するために遅延制御部701へ再開通知を行う。これにより、映像符号化部110での符号化が遅延することによる第十一中間バッファ505のオーバーフローの発生を防ぐことができる。
The third
例えば、中間バッファのデータ量に閾値を設ける場合、映像データの解像度から1フレーム分のサイズを求め、閾値に用いてもよい。すなわち、復号化した映像データの解像度が1920×1080で1画素24bitの場合、1920×1080×24=49766400bit(6220800byte)単位で閾値を算出して用いる。 For example, when a threshold is provided for the data amount of the intermediate buffer, the size for one frame may be obtained from the resolution of the video data and used as the threshold. That is, when the resolution of the decoded video data is 1920 × 1080 and one pixel is 24 bits, the threshold value is calculated and used in units of 1920 × 1080 × 24 = 497766400 bits (6220800 bytes).
また、遅延検知方法は、中間バッファのデータ量の監視の代わりに、中間バッファに格納されたフレーム数を監視してもよい。 The delay detection method may monitor the number of frames stored in the intermediate buffer instead of monitoring the data amount of the intermediate buffer.
ここでは、映像復号化部108での復号化と映像符号化部110での符号化の遅延について説明したが、音声復号化部109での復号化と音声符号化部111での符号化の遅延についても、第二遅延検知部802と第四遅延検知部804において、同様の処理を行う。
Here, the decoding delay in the
なお、第一遅延検知部801は、映像復号化部108が生成した映像データのフレーム数と同期制御部401が同期制御を行った映像データのフレーム数を監視することにより映像復号化部108での復号化の遅延を検知してもよい。第二遅延検知部802は、音声復号化部109が生成した音声データのフレーム数と同期制御部401が同期制御を行った音声データのフレーム数を監視することにより音声復号化部109での復号化の遅延を検知してもよい。第三遅延検知部803は、同期制御部401が同期制御を行った映像データのフレーム数と映像符号化部110が生成した第二符号化映像データのフレーム数を監視することにより映像符号化部110での符号化の遅延を検知してもよい。第四遅延検知部804は、同期制御部401が同期制御を行った音声データのフレーム数と音声符号化部111が生成した第二符号化音声データのフレーム数を監視することにより音声符号化部111での符号化の遅延を検知してもよい。
The first
次に、異常系の遅延制御に関して説明する。図8は、音声データが第十中間バッファ504に供給されない場合のパターンを示した図である。それぞれのパターンにおける遅延制御について説明する。
Next, abnormal delay control will be described. FIG. 8 is a diagram showing a pattern when audio data is not supplied to the tenth
音声が存在しない第一多重化データにより、音声データが第十中間バッファ504に供給されない場合について説明する。分離部107は、例えばMPEGのシステムヘッダ等の情報を解析することで、第一符号化音声データが存在しないことを判定する。この判定により、第一多重化データに第一符号化音声データが存在しないと判定したら、分離部107は、第二遅延検知部802および第四遅延検知部804を停止(SIG703)する。この異常系の制御により、音声が存在しない第一多重化データが原因で第十中間バッファ504にデータが供給されない場合でも同期制御が停止することは無くなる。
A case will be described in which audio data is not supplied to the tenth
第一符号化音声データが欠落もしくは第一符号化音声データが不定な期間存在しないことにより、第十中間バッファ504に音声データが供給されない場合について説明する。分離部107は、SCRやPCRなどの時刻情報と音声出力時刻情報から、STC’に対して第一符号化音声データが存在しない期間を判定する。この判定により、第一多重化データに第一符号化音声データが存在しない期間と判定したら、分離部107は、第二遅延検知部802および第四遅延検知部804を停止する。この異常系の制御により、第一符号化音声データが欠落もしくは第一符号化音声データが不定な期間存在しないことが原因で第十中間バッファ504にデータが供給されない場合でも同期制御が停止することは無くなる。
A case will be described in which audio data is not supplied to the tenth
同期制御に対して分離部107の多重分離が遅延することにより、第十中間バッファ504に音声データが供給されない場合については、異常系の制御は必要なく、正常系の遅延制御を行えばよい。
When audio data is not supplied to the tenth
ここでは、音声データの場合について説明したが、映像データの場合についても同様の処理を行う。 Although the case of audio data has been described here, the same processing is performed for video data.
この構成により、実施の形態2と同等の異常系の機構を備えつつ、実施の形態2でのN値よりも大きなN値で同期制御を行い、同期制御に対する分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112の遅延に対しては遅延制御を行うことで、映像データと音声データの同期を乱すことなく、実施の形態2よりも高速なレート変換ダビングを実現できる。また、各ブロックの処理性能を上げた場合にも、N値を変更するだけで、この構成を変えることなくレート変換ダビングの性能を上げることができる。
With this configuration, while having an abnormal system mechanism equivalent to that of the second embodiment, synchronization control is performed with an N value larger than the N value in the second embodiment, and the
(実施の形態4)
図9は、実施の形態4における映像音声変換装置の機能的な構成を示すブロック図である。
(Embodiment 4)
FIG. 9 is a block diagram illustrating a functional configuration of the video / audio conversion device according to the fourth embodiment.
実施の形態4における映像音声変換装置は、図5に示した実施の形態3における映像音声変換装置の構成に加え、動作モード判定部1401を備える。以下、各ブロックと信号の流れを説明する。
The video / audio conversion apparatus according to the fourth embodiment includes an operation
動作モード判定部1401は、レート変換ダビング時の分離部107の多重分離、映像復号化部108での復号化、音声復号化部109での復号化、映像符号化部110での符号化、音声符号化部111での符号化、または多重部112の多重化に影響する各要素(例えば第一多重化データにおける映像データの解像度や第二多重化データにおける映像データの解像度、第一多重化データのビットレート、第二多重化データのビットレート、第一多重化データにおける映像データのフレームレート、第二多重化データにおける映像データのフレームレート、第一多重化データにおける音声データのサンプリング周波数、第二多重化データにおける音声データのサンプリング周波数、第一多重化データにおける映像データのコーデック、第二多重化データにおける映像データのコーデック、第一多重化データにおける音声データのコーデック、第二多重化データにおける音声データのコーデック、第一多重化データにおける音声データのチャンネル数、第二多重化データにおける音声データのチャンネル数、第一多重化データの多重化形式、または第二多重化データの多重化形式など、全ての要素を漏れなく指している)の判定を行い、動作モードを決定する。動作モードは、解像度、ビットレートなどの各要素の組み合わせに応じて、それぞれ動作モード1、2、3・・・といった具合に定義される。動作モード判定部1401は、図10に示す倍速情報テーブルから動作モードごとに最適なN値を選択して倍速通知部1201へ通知(SIG1402)する。N値を受け取った倍速通知部1201は、同期制御部401へN値を通知する。
The operation
この構成により、動作モードごとに分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112が最適に動作するN値を選択することで、最適なレート変換ダビングを行うことができる。さらに、N値が1未満の倍速で動作することにより、分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112に多くの処理時間を割り当てることができるため、映像復号化部108、音声復号化部109、映像符号化部110および音声符号化部111は、高画質化、高音質化の処理に時間を割くことができ、クオリティの高い第二多重化データを生成することができる。
With this configuration, the N value at which the
なお、本実施の形態では動作モードに応じてN値を決定する例を示したが、動作モードとは無関係に、倍速通知部1201は、外部からの指示により、通知するNを選択してもよい。
In this embodiment, an example in which the N value is determined according to the operation mode has been described. However, regardless of the operation mode, the double
(実施の形態5)
図11は、実施の形態5における映像音声変換装置の機能的な構成を示すブロック図である。
(Embodiment 5)
FIG. 11 is a block diagram illustrating a functional configuration of the video / audio conversion device according to the fifth embodiment.
実施の形態5における映像音声変換装置は、図5に示した実施の形態3における映像音声変換装置の構成に加え、倍速測定部1501を備える。また、遅延制御部701は、遅延発生の情報を倍速測定部1501に通知(SIG1503)する機能を有する。以下、これらの各ブロックと信号の流れを説明する。
The video / audio conversion apparatus according to the fifth embodiment includes a double speed measuring unit 1501 in addition to the configuration of the video / audio conversion apparatus according to the third embodiment shown in FIG. In addition, the
実施の形態5では、実施の形態4とは異なるレート変換ダビングのN値の選択方法として、レート変換ダビング開始前にN値を測定することによってN値を選択する方法について説明する。 In the fifth embodiment, a method for selecting an N value by measuring the N value before the start of rate conversion dubbing will be described as a method for selecting an N value for rate conversion dubbing different from that in the fourth embodiment.
図12は、レート変換ダビング開始前にN値を測定するための倍速測定方法を説明するためのフローチャートである。 FIG. 12 is a flowchart for explaining a double speed measurement method for measuring the N value before starting rate conversion dubbing.
S101では、倍速測定部1501は、前記式3で求められるN値を取得する。
In S101, the double speed measurement unit 1501 obtains the N value obtained by the
S102では、倍速測定部1501は、レート変換ダビング用のN値が決定した際に使用するN値をN’としてバッファ(図示せず)に退避する。 In S102, the double speed measurement unit 1501 saves the N value used when the N value for rate conversion dubbing is determined as N 'in a buffer (not shown).
S103では、倍速測定部1501は、N値に所定の値αを加算することで、レート変換ダビングで使用するN値を求める。 In S103, the double speed measurement unit 1501 obtains an N value to be used for rate conversion dubbing by adding a predetermined value α to the N value.
S104では、所定の期間のレート変換ダビングを実行し、倍速測定部1501は、遅延制御部701より遅延発生の情報(SIG1502)を受け、遅延制御の発生回数をカウントする。
In S104, rate conversion dubbing for a predetermined period is executed, and double speed measurement unit 1501 receives delay generation information (SIG 1502) from
S105では、倍速測定部1501は、遅延制御の発生回数と所定の閾値を判定する。ここで、遅延制御の発生回数が閾値を上回っていればS106へ進み、下回っていればS102へ戻り、N値をN’としてバッファ(図示せず)に退避して再度レート変換ダビングを行う。 In S105, the double speed measurement unit 1501 determines the number of occurrences of delay control and a predetermined threshold. Here, if the number of occurrences of delay control exceeds the threshold value, the process proceeds to S106, and if it is lower, the process returns to S102, and the N value is saved as N 'in a buffer (not shown) and rate conversion dubbing is performed again.
S106では、倍速測定部1501は、S102でバッファに退避しておいたN’の値をN値に代入することで、倍速通知部1201へ通知する実際のレート変換ダビングで使用するN値を決定する。
In S106, the double speed measurement unit 1501 determines the N value to be used in the actual rate conversion dubbing notified to the double
この構成により、事前に動作モードごとの最適なN値を決定することなく、分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112が最適に動作するN値でレート変換ダビングを行うことができる。
With this configuration, the
αの値は、小さな値を与えると最適なN値の精度は向上するが、最適な値に到達するまでに時間がかかることになる。また、大きな値を与えると、最適な値に到達するまでの時間は短縮するが、最適なN値の精度は下がる。なお、αの値は、装置固有で持つ値としても良いし、外部から与えても良い。 If the value of α is given a small value, the accuracy of the optimum N value is improved, but it takes time to reach the optimum value. If a large value is given, the time to reach the optimum value is shortened, but the accuracy of the optimum N value is lowered. The value of α may be a value unique to the device or may be given from the outside.
(実施の形態6)
図13は、実施の形態6における映像音声変換装置の機能的な構成を示すブロック図である。
(Embodiment 6)
FIG. 13 is a block diagram illustrating a functional configuration of the video / audio conversion device according to the sixth embodiment.
実施の形態6における映像音声変換装置は、図5に示した実施の形態3における映像音声変換装置の構成に加え、第二動作モード判定部1601、第二倍速測定部1602および倍速記録メモリ1603を備える。以下、これらの各ブロックと信号の流れを説明する。
The video / audio conversion apparatus according to the sixth embodiment includes a second operation
第二動作モード判定部1601は、分離部107での多重分離、映像復号化部108での復号化、音声復号化部109での復号化、映像符号化部110での符号化、音声符号化部111での符号化、または多重部112での多重化に影響する動作設定に応じた動作モードを判定する。動作モードは、前述したように、解像度、ビットレートなどの各要素の組み合わせに応じて、それぞれ動作モード1、2、3・・・といった具合に定義される。
The second operation
第二倍速測定部1602は、レート変換ダビング開始前に前記Nの測定を行う。
Second double
倍速記録メモリ1603は、測定した前記Nを記録する。
The double
第二動作モード判定部1601は、動作モードに応じた前記Nが倍速記録メモリ1603に記録されている場合は、記録されている前記Nを倍速通知部1201に通知(SIG1604)し、動作モードに応じた前記Nが倍速記録メモリ1603に記録されていない場合は、第二倍速測定部1602へ起動通知(SIG1605)を行う。
When the N corresponding to the operation mode is recorded in the double-
第二倍速測定部1602は、動作モードごとに最適な前記Nを測定し、倍速記録メモリ1603上に動作モードごとの前記Nを記録(SIG1607)するとともに、倍速通知部1201へ前記Nを通知(SIG1606)する。
The second double
実施の形態6では、実施の形態4および実施の形態5とは異なるレート変換ダビングのN値の選択方法について説明する。 In the sixth embodiment, an N value selection method for rate conversion dubbing different from that of the fourth and fifth embodiments will be described.
図14は、レート変換ダビング開始前にN値を測定するための倍速決定方法を説明するためのフローチャートである。 FIG. 14 is a flowchart for explaining a double speed determination method for measuring the N value before starting the rate conversion dubbing.
S201では、第二動作モード判定部1601は、レート変換ダビング時の動作に影響する各要素(例えば第一多重化データにおける映像データの解像度や第二多重化データにおける映像データの解像度、第一多重化データのビットレート、第二多重化データのビットレート、第一多重化データにおける映像データのフレームレート、第二多重化データにおける映像データのフレームレート、第一多重化データにおける音声データのサンプリング周波数、第二多重化データにおける音声データのサンプリング周波数、第一多重化データにおける映像データのコーデック、第二多重化データにおける映像データのコーデック、第一多重化データにおける音声データのコーデック、第二多重化データにおける音声データのコーデック、第一多重化データにおける音声データのチャンネル数、第二多重化データにおける音声データのチャンネル数、第一多重化データの多重化形式、または第二多重化データの多重化形式など、全ての要素を漏れなく指している)の判定を行い、動作モードを決定する。
In step S201, the second operation
S202では、第二動作モード判定部1601は、倍速記録メモリ1603に動作モードのN値が記録されているか判定を行う。N値が記録されていればS203に進み、記録されていなければS204に進む。
In S202, the second operation
S203では、第二動作モード判定部1601は、倍速記録メモリ1603から動作モードごとに最適なN値を選択し、倍速通知部1201へN値を通知(SIG1604)することで、レート変換ダビングで使用するN値を決定する。
In S203, the second operation
S204では、第二動作モード判定部1601が、第二倍速測定部1602へ起動通知(SIG1605)する。
In S204, the second operation
S205では、第二倍速測定部1602は、前記式3で求められるN値を取得する。
In S205, the second double
S206では、第二倍速測定部1602は、レート変換ダビング用のN値が決定した際に使用するN値をN’としてバッファ(図示せず)に退避する。
In S206, the second double
S207では、第二倍速測定部1602は、N値に所定の値αを加算することで、レート変換ダビングで使用するN値を求める。
In S207, the second double
S208では、所定の期間のレート変換ダビングを実行し、第二倍速測定部1602は、遅延制御部701より遅延発生の情報(SIG1502)を受け、遅延制御の発生回数をカウントする。
In S208, rate conversion dubbing for a predetermined period is executed, and the second double
S209では、第二倍速測定部1602は、遅延制御の発生回数と所定の閾値を判定する。ここで、遅延制御の発生回数が閾値を上回っていればS210へ進み、下回っていればS206へ戻り、N値をN’としてバッファ(図示せず)に退避して再度レート変換ダビングを行う。
In step S209, the second double
S210では、第二倍速測定部1602は、S206でバッファに退避しておいたN’の値をN値に代入する。
In S210, the second double
S211では、第二倍速測定部1602は、倍速記録メモリ1603にN値を記録(SIG1607)する。
In S211, the second double
S212では、第二倍速測定部1602は、倍速通知部1201へN値を通知(SIG1606)することで、レート変換ダビングで使用するN値を決定する。
In S212, the second double
この構成により、事前に動作モードごとの最適なN値を決定することなく、分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112が最適に動作するN値でレート変換ダビングを行うことができる。また、同じ動作モードで動作する場合、実施の形態5と比較して、レート変換ダビングを開始するまでの時間を短縮することができる。
With this configuration, the
αの値については、前述のように、小さな値を与えると最適なN値の精度は向上するが、最適な値に到達するまでに時間がかかることになる。また、大きな値を与えると、最適な値に到達するまでの時間は短縮するが、最適なN値の精度は下がる。なお、αの値は、装置固有で持つ値としても良いし、外部から与えても良い。 As described above, when the value of α is given a small value, the accuracy of the optimum N value is improved, but it takes time to reach the optimum value. If a large value is given, the time to reach the optimum value is shortened, but the accuracy of the optimum N value is lowered. The value of α may be a value unique to the device or may be given from the outside.
(実施の形態7)
図15は、実施の形態7における映像音声変換装置の機能的な構成を示すブロック図である。
(Embodiment 7)
FIG. 15 is a block diagram illustrating a functional configuration of the video / audio conversion device according to the seventh embodiment.
実施の形態7における映像音声変換装置は、図5に示した実施の形態3における映像音声変換装置の構成に加え、第三動作モード判定部1801および第三倍速測定部1802を備える。以下、これらの各ブロックと信号の流れを説明する。
The video / audio conversion device according to the seventh embodiment includes a third operation
倍速通知部1201は、同期制御部401へ通知する前記Nをレート変換ダビング中に切り替える。
The double
レート変換ダビング中に動作モードが切り替えられた場合、同期制御で使用しているN値が最適の値ではなくなるため、レート変換ダビングの速度が低下することが考えられる。実施の形態7ではレート変換ダビング中に動作モードが切り替えられた場合に、最適なN値に切り替える動作について説明する。 When the operation mode is switched during the rate conversion dubbing, the N value used in the synchronization control is not an optimal value, and therefore the rate conversion dubbing speed may be reduced. In the seventh embodiment, an operation of switching to an optimal N value when the operation mode is switched during rate conversion dubbing will be described.
図16はN値切り替えについて示した図である。図16の横軸は、レート変換ダビング開始からの経過時間tを示している。 FIG. 16 is a diagram showing N value switching. The horizontal axis in FIG. 16 indicates the elapsed time t from the start of rate conversion dubbing.
第三動作モード判定部1801は、レート変換ダビング中に動作モードの切り替えを監視する。動作モードが切り替えられると第三動作モード判定部1801は、動作モードごとに最適なN値を選択して倍速通知部1201へ通知(SIG1803)する。N値を受け取った倍速通知部1201は、同期制御部401へN値を通知(2→1)する。倍速通知部1201からN値を受け取った同期制御部401は、前記式6により新たなstc_baseを求める。また、同期制御部401は、同期制御部401のタイミング(フレーム周期×1/2→フレーム周期×1/1)とSTC’のカウントアップ値(2→1)をそれぞれ切り替えて同期制御を行う。
The third operation
上記制御により、レート変換ダビング中にN値を切り替えることが可能となる。 The above control makes it possible to switch the N value during rate conversion dubbing.
図17は、レート変換ダビング中に最適なN値を測定するための制御を説明するためのフローチャートである。 FIG. 17 is a flowchart for explaining control for measuring an optimum N value during rate conversion dubbing.
S301では、第三倍速測定部1802は、レート変換ダビング中に所定の期間の遅延発生回数をカウントする。
In S301, the third double
S302では、第三倍速測定部1802は、遅延制御の発生回数と所定の閾値を判定する。ここで、遅延制御の発生回数が閾値を上回っていればS303へ進み、下回っていればS304へ進む。
In S302, the third double
S303では、第三倍速測定部1802は、N値に所定の値βを減算することで、レート変換ダビングで使用するN値を求める。
In S303, the third double
S304では、第三倍速測定部1802は、遅延制御が発生しているかを判定する。ここで、遅延制御が発生していなければS305へ進み、発生していればS301へ戻り、再度、所定期間の遅延発生回数のカウントを行う。
In step S304, the third double
S305では、第三倍速測定部1802は、N値に所定の値γを加算することで、レート変換ダビングで使用するN値を求める。
In S305, the third double
S306では、第三倍速測定部1802は、N値を倍速通知部1201に通知(SIG1804)する。
In S306, the third double
S307では、倍速通知部1201は、N値に切り替えの制御を行う。
In S307, the double
この構成により、動作モードが切り替わった場合でも、分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112が最適に動作するN値でレート変換ダビングを行うことができる。さらに、分離部107に入力される第一多重化データに合わせて、分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112が最適に動作するN値でレート変換ダビングを行うことができる。
With this configuration, even when the operation mode is switched, the N value at which the
β、γの値については、αの値と同様、小さな値を与えると最適なN値の精度は向上するが、最適な値に到達するまでに時間がかかることになる。また、大きな値を与えると、最適な値に到達するまでの時間は短縮するが、最適なN値の精度は下がる。なお、β、γの値は、装置固有で持つ値としても良いし、外部から与えても良い。 As for the values of β and γ, as with the value of α, giving a small value improves the accuracy of the optimum N value, but it takes time to reach the optimum value. If a large value is given, the time to reach the optimum value is shortened, but the accuracy of the optimum N value is lowered. Note that the values of β and γ may be values inherent to the device or may be given from the outside.
(実施の形態8)
図18は、実施の形態8における映像音声変換装置の機能的な構成を示すブロック図である。
(Embodiment 8)
FIG. 18 is a block diagram illustrating a functional configuration of the video / audio conversion device according to the eighth embodiment.
実施の形態8における映像音声変換装置は、図2に示した実施の形態2における映像音声変換装置の構成に加え、倍速判定部1901と倍速通知部1905とを備える。以下、これらの各ブロックと信号の流れを説明する。
The video / audio conversion apparatus according to the eighth embodiment includes a double
倍速判定部1901は、レート変換ダビング開始時に倍速通知部1905よりN値を受け取り(SIG1902)、N値でのレート変換ダビングを実現できるように動作モードを設定(SIG1903)する。例えば、図19に示す倍速情報テーブルのようにN値ごとに動作モードを選択して、レート変換ダビング時の動作に影響する各要素(例えば第二多重化データにおける映像データの解像度、第二多重化データのビットレート、第二多重化データにおける映像データのフレームレート、第二多重化データにおける音声データのサンプリング周波数、第二多重化データにおける映像データのコーデック、第二多重化データにおける音声データのコーデック、第一多重化データにおける音声データのチャンネル数、第二多重化データにおける音声データのチャンネル数、または第二多重化データの多重化形式など、全ての要素を漏れなく指している)の設定を行う。N値がテーブルで定義されている範囲外であれば、テーブル上で最も近い値のN値に対応する動作モードで、分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112の設定を行い、N値を倍速通知部1905へ通知(SIG1904)する。倍速通知部1905は、倍速判定部1901から受け取ったN値を同期制御部401へ通知(SIG1906)する。
The double
また、動作モードの選択肢に分離部107、映像復号化部108、音声復号化部109、映像符号化部110、音声符号化部111および多重部112の優先度やモード変更の有無の選択を追加してもよい。
In addition, selection of the priority of the
この構成により、所定の倍率のレート変換ダビングに対し、高いクオリティの第二多重化データを生成することができる。 With this configuration, high-quality second multiplexed data can be generated for rate conversion dubbing at a predetermined magnification.
上記の各装置は、ハードウェアによって実現されていてもよい。 Each of the above devices may be realized by hardware.
また、上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。RAMまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。 Further, each of the above devices may be specifically configured as a computer system including a microprocessor, ROM, RAM, hard disk drive, display unit, keyboard, mouse, and the like. A computer program is stored in the RAM or hard disk drive. Each device achieves its functions by the microprocessor operating according to the computer program. Here, the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
さらに、上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしても良い。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。 Furthermore, some or all of the constituent elements constituting each of the above-described devices may be configured by a single system LSI (Large Scale Integration). The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. . A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしても良い。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしても良い。 Furthermore, some or all of the constituent elements constituting each of the above-described devices may be configured from an IC card that can be attached to and detached from each device or a single module. The IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like. The IC card or the module may include the super multifunctional LSI described above. The IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。 Further, the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な不揮発性の記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu-ray Disc(登録商標))、半導体メモリなどに記録したものとしても良い。また、これらの不揮発性の記録媒体に記録されている上記デジタル信号であるとしても良い。 Furthermore, the present invention relates to a non-volatile recording medium that can read the computer program or the digital signal, such as a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray). -ray Disc (registered trademark)), recorded on a semiconductor memory, or the like. The digital signal may be recorded on these non-volatile recording media.
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。 In the present invention, the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。 The present invention may be a computer system including a microprocessor and a memory, wherein the memory stores the computer program, and the microprocessor operates according to the computer program.
また、上記プログラムまたは上記デジタル信号を上記不揮発性の記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。 Further, another computer system independent by recording the program or the digital signal on the non-volatile recording medium and transferring the program or transferring the program or the digital signal via the network or the like. May be carried out.
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。 Furthermore, the above embodiment and the above modification examples may be combined.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
本発明にかかる映像音声変換装置およびその方法は、高速なレート変換ダビングを行う映像音声変換装置およびその方法等に有用である。 The video / audio conversion apparatus and method according to the present invention are useful for a video / audio conversion apparatus and method for performing high-speed rate conversion dubbing.
001 HDD
002 DVD
101、107 分離部
102、108 映像復号化部
103、109 音声復号化部
104、110 映像符号化部
105、111 音声符号化部
106、112 多重部
301 第一中間バッファ
302 第二中間バッファ
303 第三中間バッファ
304 第四中間バッファ
305 第五中間バッファ
306 第六中間バッファ
401 同期制御部
501 第七中間バッファ
502 第八中間バッファ
503 第九中間バッファ
504 第十中間バッファ
505 第十一中間バッファ
506 第十二中間バッファ
507 第十三中間バッファ
508 第十四中間バッファ
701 遅延制御部
801 第一遅延検知部
802 第二遅延検知部
803 第三遅延検知部
804 第四遅延検知部
1201、1905 倍速通知部
1401 動作モード判定部
1501 倍速測定部
1601 第二動作モード判定部
1602 第二倍速測定部
1603 倍速記録メモリ
1801 第三動作モード判定部
1802 第三倍速測定部
1901 倍速判定部
001 HDD
002 DVD
101, 107
Claims (28)
第一多重化データから第一符号化映像データと第一符号化音声データを多重分離する分離部と、
前記分離部で多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化部と、
前記分離部で多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化部と、
前記映像復号化部で生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化部と、
前記音声復号化部で生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化部と、
前記映像符号化部で生成された第二符号化映像データと前記音声符号化部で生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重部とを備え、
前記分離部は、前記映像復号化部および前記音声復号化部での復号化の進行状況に基づいて、前記分離部での多重分離の停止および再開を制御し、
前記映像復号化部は、前記分離部での多重分離の進行状況および前記映像符号化部での符号化の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、
前記音声復号化部は、前記分離部での多重分離の進行状況および前記音声符号化部での符号化の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、
前記映像符号化部は、前記映像復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記映像符号化部での符号化の停止および再開を制御し、
前記音声符号化部は、前記音声復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記音声符号化部での符号化の停止および再開を制御し、
前記多重部は、前記映像符号化部および前記音声符号化部での符号化の進行状況に基づいて、前記多重部での多重化の停止および再開を制御し、
前記映像音声変換装置は、さらに、前記映像復号化部が生成した映像データの前記映像符号化部への転送と前記音声復号化部が生成した音声データの前記音声符号化部への転送のタイミングを調整する同期制御部を備え、
前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を前記同期制御部へ通知し、
前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、
前記同期制御部は、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化部が生成した映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化部が生成した音声データの転送を行うことで映像データと音声データの同期制御を行い、
前記映像復号化部は、前記映像符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、
前記音声復号化部は、前記音声符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、
前記映像符号化部は、前記映像復号化部が生成した映像データの符号化として、前記同期制御部で同期された映像データの符号化を行い、前記映像復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化部は、前記音声復号化部が生成した音声データの符号化として、前記同期制御部で同期された音声データの符号化を行い、前記音声復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記同期制御部は、N倍の速度で同期制御を行い、
前記Nは、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が動作可能なレート変換ダビングの変換速度の倍速値の最小値である
映像音声変換装置。 Second multiplexed data in which second encoded video data and second encoded audio data are multiplexed from first multiplexed data in which first encoded video data and first encoded audio data are multiplexed A video / audio conversion device for generating
A separator for demultiplexing the first encoded video data and the first encoded audio data from the first multiplexed data;
A video decoding unit that generates video data by decoding the first encoded video data demultiplexed by the demultiplexing unit;
A speech decoding unit that generates speech data by decoding the first encoded speech data demultiplexed by the separation unit;
A video encoding unit that generates second encoded video data by encoding the video data generated by the video decoding unit;
A speech encoding unit that generates second encoded speech data by encoding speech data generated by the speech decoding unit;
Multiplexer for generating second multiplexed data by multiplexing the second encoded video data generated by the video encoder and the second encoded audio data generated by the audio encoder And
The demultiplexing unit controls stop and restart of demultiplexing in the demultiplexing unit based on the progress of decoding in the video decoding unit and the audio decoding unit,
The video decoding unit controls stop and restart of decoding in the video decoding unit based on a progress of demultiplexing in the demultiplexing unit and a progress of encoding in the video encoding unit. ,
The speech decoding unit controls stop and restart of decoding in the speech decoding unit based on the progress of demultiplexing in the separating unit and the progress of encoding in the speech encoding unit. ,
The video encoding unit controls stop and restart of encoding in the video encoding unit based on the progress of decoding in the video decoding unit and the progress of multiplexing in the multiplexing unit. ,
The speech encoding unit controls the stop and restart of encoding in the speech encoding unit based on the progress of decoding in the speech decoding unit and the progress of multiplexing in the multiplexing unit. ,
The multiplexing unit controls the stop and restart of multiplexing in the multiplexing unit based on the progress of encoding in the video encoding unit and the audio encoding unit,
The video / audio conversion device further includes a timing of transfer of the video data generated by the video decoding unit to the video encoding unit and a transfer of the audio data generated by the audio decoding unit to the audio encoding unit. A synchronization control unit for adjusting
The separation unit further notifies the synchronization control unit of time information added to the first multiplexed data,
The time information includes video output time information related to output of video data and audio output time information related to output of audio data,
The synchronization control unit transfers the video data generated by the video decoding unit in accordance with the arrival of the video output time information in accordance with a reference time that is counted up in proportion to the system reference time. In accordance with the fact that the reference time to be counted up in proportion to the audio output time information has been reached, the audio data generated by the audio decoding unit is transferred to perform synchronization control of the video data and audio data,
The video decoding unit stops and restarts decoding in the video decoding unit based on the progress of synchronization control in the synchronization control unit as the progress of encoding in the video encoding unit. Control
The speech decoding unit stops and restarts the decoding in the speech decoding unit based on the progress of synchronization control in the synchronization control unit as the progress of encoding in the speech encoding unit. Control
The video encoding unit encodes the video data synchronized by the synchronization control unit as encoding of the video data generated by the video decoding unit, and progress of decoding by the video decoding unit Based on the progress status of the synchronization control in the synchronization control unit, to control the stop and restart of the encoding,
The speech encoding unit encodes speech data synchronized by the synchronization control unit as encoding of speech data generated by the speech decoding unit, and progress of decoding in the speech decoding unit Based on the progress status of the synchronization control in the synchronization control unit, to control the stop and restart of the encoding,
The synchronization control unit performs synchronization control at N times speed,
N is the minimum double speed value of the rate conversion dubbing conversion rate at which the separation unit, the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and the multiplexing unit can operate. Value is a video / audio converter.
第一多重化データから第一符号化映像データと第一符号化音声データを多重分離する分離部と、
前記分離部で多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化部と、
前記分離部で多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化部と、
前記映像復号化部で生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化部と、
前記音声復号化部で生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化部と、
前記映像符号化部で生成された第二符号化映像データと前記音声符号化部で生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重部とを備え、
前記分離部は、前記映像復号化部および前記音声復号化部での復号化の進行状況に基づいて、前記分離部での多重分離の停止および再開を制御し、
前記映像復号化部は、前記分離部での多重分離の進行状況および前記映像符号化部での符号化の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、
前記音声復号化部は、前記分離部での多重分離の進行状況および前記音声符号化部での符号化の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、
前記映像符号化部は、前記映像復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記映像符号化部での符号化の停止および再開を制御し、
前記音声符号化部は、前記音声復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記音声符号化部での符号化の停止および再開を制御し、
前記多重部は、前記映像符号化部および前記音声符号化部での符号化の進行状況に基づいて、前記多重部での多重化の停止および再開を制御し、
前記映像音声変換装置は、さらに、前記映像復号化部が生成した映像データの前記映像符号化部への転送と前記音声復号化部が生成した音声データの前記音声符号化部への転送のタイミングを調整する同期制御部を備え、
前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を前記同期制御部へ通知し、
前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、
前記同期制御部は、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化部が生成した映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化部が生成した音声データの転送を行うことで映像データと音声データの同期制御を行い、
前記映像復号化部は、前記映像符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、
前記音声復号化部は、前記音声符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、
前記映像符号化部は、前記映像復号化部が生成した映像データの符号化として、前記同期制御部で同期された映像データの符号化を行い、前記映像復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化部は、前記音声復号化部が生成した音声データの符号化として、前記同期制御部で同期された音声データの符号化を行い、前記音声復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記映像音声変換装置は、さらに、
前記同期制御部へ遅延の制御通知を行う遅延制御部と、
前記同期制御部での同期制御に対して前記映像復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第一遅延検知部と、
前記同期制御部での同期制御に対して前記音声復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第二遅延検知部と、
前記同期制御部での同期制御に対して前記映像符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第三遅延検知部と、
前記同期制御部での同期制御に対して前記音声符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第四遅延検知部を備え、
前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部の各々は、前記遅延制御部に対して、遅延を検知すれば遅延通知を行い、遅延の解消を検知すれば再開通知を行い、
前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより遅延通知を受けると遅延の制御通知として前記同期制御部に同期制御の停止通知を行い、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより再開通知を受けると遅延の制御通知として前記同期制御部に同期制御の再開通知を行い、
前記同期制御部は、N倍の速度で同期制御を行い、
前記Nは、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が動作可能なレート変換ダビングの変換速度の倍速値の最小値よりも大きい
映像音声変換装置。 Second multiplexed data in which second encoded video data and second encoded audio data are multiplexed from first multiplexed data in which first encoded video data and first encoded audio data are multiplexed A video / audio conversion device for generating
A separator for demultiplexing the first encoded video data and the first encoded audio data from the first multiplexed data;
A video decoding unit that generates video data by decoding the first encoded video data demultiplexed by the demultiplexing unit;
A speech decoding unit that generates speech data by decoding the first encoded speech data demultiplexed by the separation unit;
A video encoding unit that generates second encoded video data by encoding the video data generated by the video decoding unit;
A speech encoding unit that generates second encoded speech data by encoding speech data generated by the speech decoding unit;
Multiplexer for generating second multiplexed data by multiplexing the second encoded video data generated by the video encoder and the second encoded audio data generated by the audio encoder And
The demultiplexing unit controls stop and restart of demultiplexing in the demultiplexing unit based on the progress of decoding in the video decoding unit and the audio decoding unit,
The video decoding unit controls stop and restart of decoding in the video decoding unit based on a progress of demultiplexing in the demultiplexing unit and a progress of encoding in the video encoding unit. ,
The speech decoding unit controls stop and restart of decoding in the speech decoding unit based on the progress of demultiplexing in the separating unit and the progress of encoding in the speech encoding unit. ,
The video encoding unit controls stop and restart of encoding in the video encoding unit based on the progress of decoding in the video decoding unit and the progress of multiplexing in the multiplexing unit. ,
The speech encoding unit controls the stop and restart of encoding in the speech encoding unit based on the progress of decoding in the speech decoding unit and the progress of multiplexing in the multiplexing unit. ,
The multiplexing unit controls the stop and restart of multiplexing in the multiplexing unit based on the progress of encoding in the video encoding unit and the audio encoding unit,
The video / audio conversion device further includes a timing of transfer of the video data generated by the video decoding unit to the video encoding unit and a transfer of the audio data generated by the audio decoding unit to the audio encoding unit. A synchronization control unit for adjusting
The separation unit further notifies the synchronization control unit of time information added to the first multiplexed data,
The time information includes video output time information related to output of video data and audio output time information related to output of audio data,
The synchronization control unit transfers the video data generated by the video decoding unit in accordance with the arrival of the video output time information in accordance with a reference time that is counted up in proportion to the system reference time. In accordance with the fact that the reference time to be counted up in proportion to the audio output time information has been reached, the audio data generated by the audio decoding unit is transferred to perform synchronization control of the video data and audio data,
The video decoding unit stops and restarts decoding in the video decoding unit based on the progress of synchronization control in the synchronization control unit as the progress of encoding in the video encoding unit. Control
The speech decoding unit stops and restarts the decoding in the speech decoding unit based on the progress of synchronization control in the synchronization control unit as the progress of encoding in the speech encoding unit. Control
The video encoding unit encodes the video data synchronized by the synchronization control unit as encoding of the video data generated by the video decoding unit, and progress of decoding by the video decoding unit Based on the progress status of the synchronization control in the synchronization control unit, to control the stop and restart of the encoding,
The speech encoding unit encodes speech data synchronized by the synchronization control unit as encoding of speech data generated by the speech decoding unit, and progress of decoding in the speech decoding unit Based on the progress status of the synchronization control in the synchronization control unit, to control the stop and restart of the encoding,
The video / audio converter further includes:
A delay control unit for performing a delay control notification to the synchronization control unit;
A first delay detection unit that monitors a delay in decoding in the video decoding unit with respect to synchronization control in the synchronization control unit, and notifies the delay control unit of a delay state;
A second delay detection unit that monitors a delay in decoding in the speech decoding unit with respect to synchronization control in the synchronization control unit, and notifies the delay control unit of a delay state;
A third delay detection unit that monitors a delay in encoding in the video encoding unit with respect to the synchronization control in the synchronization control unit, and notifies the delay control unit of a delay state;
A fourth delay detection unit for monitoring a delay in encoding in the speech encoding unit with respect to the synchronization control in the synchronization control unit, and notifying the delay control unit of a delay state;
Each of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit makes a delay notification to the delay control unit if a delay is detected. If it is detected that there is a resolution,
When the delay control unit receives a delay notification from any of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit, the synchronization control is performed as a delay control notification. When a restart notification is received from any one of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit, a delay control notification is made. There rows resumption notification control in synchronization with the synchronization control unit as,
The synchronization control unit performs synchronization control at N times speed,
N is the minimum double speed value of the rate conversion dubbing conversion rate at which the separation unit, the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and the multiplexing unit can operate. Video / audio conversion device larger than the value .
前記第二遅延検知部は、前記音声復号化部が生成した音声データを前記音声復号化部から前記同期制御部へ転送する際に一時的に格納する第十中間バッファのデータ蓄積状況に基づいて前記音声復号化部での復号化の遅延を検知し、
前記第三遅延検知部は、前記同期制御部が同期制御した映像データを前記同期制御部から前記映像符号化部へ転送する際に一時的に格納する第十一中間バッファのデータ蓄積状況に基づいて前記映像符号化部での符号化の遅延を検知し、
前記第四遅延検知部は、前記同期制御部が同期制御した音声データを前記同期制御部から前記音声符号化部へ転送する際に一時的に格納する第十二中間バッファのデータ蓄積状況に基づいて前記音声符号化部での符号化の遅延を検知する
請求項2に記載の映像音声変換装置。 The first delay detection unit is based on a data accumulation state of a ninth intermediate buffer that temporarily stores the video data generated by the video decoding unit when the video data is transferred from the video decoding unit to the synchronization control unit. Detecting a decoding delay in the video decoding unit,
The second delay detection unit is based on a data accumulation state of a tenth intermediate buffer that temporarily stores the audio data generated by the audio decoding unit when the audio data is transferred from the audio decoding unit to the synchronization control unit. Detecting a decoding delay in the voice decoding unit,
The third delay detection unit is based on a data accumulation state of an eleventh intermediate buffer that temporarily stores the video data synchronously controlled by the synchronization control unit when the video data is transferred from the synchronization control unit to the video encoding unit. Detecting the encoding delay in the video encoding unit,
The fourth delay detection unit is based on a data accumulation state of a twelfth intermediate buffer that temporarily stores the audio data synchronously controlled by the synchronization control unit when the audio data is transferred from the synchronization control unit to the audio encoding unit. The video / audio conversion device according to claim 2, wherein an encoding delay in the audio encoding unit is detected.
前記第二遅延検知部は、前記音声復号化部が生成した音声データのフレーム数と前記同期制御部が同期制御を行った音声データのフレーム数を監視することにより前記音声復号化部での復号化の遅延を検知し、
前記第三遅延検知部は、前記同期制御部が同期制御を行った映像データのフレーム数と前記映像符号化部が生成した第二符号化映像データのフレーム数を監視することにより前記映像符号化部での符号化の遅延を検知し、
前記第四遅延検知部は、前記同期制御部が同期制御を行った音声データのフレーム数と前記音声符号化部が生成した第二符号化音声データのフレーム数を監視することにより前記音声符号化部での符号化の遅延を検知する
請求項2に記載の映像音声変換装置。 The first delay detection unit monitors the number of frames of video data generated by the video decoding unit and the number of frames of video data subjected to synchronization control by the synchronization control unit, thereby decoding in the video decoding unit. Detect delays in
The second delay detecting unit monitors the number of frames of the voice data generated by the voice decoding unit and the number of frames of the voice data subjected to synchronization control by the synchronization control unit, thereby decoding in the voice decoding unit. Detect delays in
The third delay detection unit monitors the number of frames of video data for which the synchronization control unit has performed synchronization control and the number of frames of second encoded video data generated by the video encoding unit, thereby monitoring the video encoding. Detection of encoding delay in
The fourth delay detection unit monitors the number of frames of audio data that the synchronization control unit has performed synchronization control and the number of frames of second encoded audio data generated by the audio encoding unit, thereby monitoring the audio encoding. The video / audio conversion device according to claim 2, wherein an encoding delay in the unit is detected.
前記同期制御部は、前記遅延制御部から停止信号を受けると同期制御の状態を保持して同期制御を停止し、前記遅延制御部から再開信号を受けると保持している停止時の状態で同期制御を再開する
請求項2に記載の映像音声変換装置。 When the delay control unit receives a delay notification from any one of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit, the synchronization control unit performs synchronization control. When a stop signal is notified and a restart notification is received from any of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit, the synchronization control unit performs synchronization control. Notify the resume signal,
When the synchronization control unit receives a stop signal from the delay control unit, the synchronization control unit holds the synchronization control state and stops the synchronization control. When the synchronization control unit receives a restart signal from the delay control unit, the synchronization control unit holds the synchronization control state. The video / audio conversion device according to claim 2, wherein the control is resumed.
第一多重化データから第一符号化映像データと第一符号化音声データを多重分離する分離部と、
前記分離部で多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化部と、
前記分離部で多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化部と、
前記映像復号化部で生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化部と、
前記音声復号化部で生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化部と、
前記映像符号化部で生成された第二符号化映像データと前記音声符号化部で生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重部とを備え、
前記分離部は、前記映像復号化部および前記音声復号化部での復号化の進行状況に基づいて、前記分離部での多重分離の停止および再開を制御し、
前記映像復号化部は、前記分離部での多重分離の進行状況および前記映像符号化部での符号化の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、
前記音声復号化部は、前記分離部での多重分離の進行状況および前記音声符号化部での符号化の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、
前記映像符号化部は、前記映像復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記映像符号化部での符号化の停止および再開を制御し、
前記音声符号化部は、前記音声復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記音声符号化部での符号化の停止および再開を制御し、
前記多重部は、前記映像符号化部および前記音声符号化部での符号化の進行状況に基づいて、前記多重部での多重化の停止および再開を制御し、
前記映像音声変換装置は、さらに、前記映像復号化部が生成した映像データの前記映像符号化部への転送と前記音声復号化部が生成した音声データの前記音声符号化部への転送のタイミングを調整する同期制御部を備え、
前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を前記同期制御部へ通知し、
前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、
前記同期制御部は、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化部が生成した映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化部が生成した音声データの転送を行うことで映像データと音声データの同期制御を行い、
前記映像復号化部は、前記映像符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、
前記音声復号化部は、前記音声符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、
前記映像符号化部は、前記映像復号化部が生成した映像データの符号化として、前記同期制御部で同期された映像データの符号化を行い、前記映像復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化部は、前記音声復号化部が生成した音声データの符号化として、前記同期制御部で同期された音声データの符号化を行い、前記音声復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記映像音声変換装置は、さらに、
前記同期制御部へ遅延の制御通知を行う遅延制御部と、
前記同期制御部での同期制御に対して前記映像復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第一遅延検知部と、
前記同期制御部での同期制御に対して前記音声復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第二遅延検知部と、
前記同期制御部での同期制御に対して前記映像符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第三遅延検知部と、
前記同期制御部での同期制御に対して前記音声符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第四遅延検知部を備え、
前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部の各々は、前記遅延制御部に対して、遅延を検知すれば遅延通知を行い、遅延の解消を検知すれば再開通知を行い、
前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより遅延通知を受けると遅延の制御通知として前記同期制御部に同期制御の停止通知を行い、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより再開通知を受けると遅延の制御通知として前記同期制御部に同期制御の再開通知を行い、
前記同期制御部は、N倍の速度で同期制御を行い、
前記Nは、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が動作可能なレート変換ダビングの変換速度の倍速値の最小値であり、
前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかから遅延通知を受けると、前記同期制御部へ同期制御で使用する前記Nの切り替え信号を通知し、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかから再開通知を受けると、前記同期制御部へ同期制御の再開信号を通知し、
前記同期制御部は、前記遅延制御部から切り替え信号を受けると所定の値で減算した前記Nを同期制御の倍速値として使用し、前記遅延制御部から再開信号を受けると前記Nを同期制御の倍速値として使用する
映像音声変換装置。 Second multiplexed data in which second encoded video data and second encoded audio data are multiplexed from first multiplexed data in which first encoded video data and first encoded audio data are multiplexed A video / audio conversion device for generating
A separator for demultiplexing the first encoded video data and the first encoded audio data from the first multiplexed data;
A video decoding unit that generates video data by decoding the first encoded video data demultiplexed by the demultiplexing unit;
A speech decoding unit that generates speech data by decoding the first encoded speech data demultiplexed by the separation unit;
A video encoding unit that generates second encoded video data by encoding the video data generated by the video decoding unit;
A speech encoding unit that generates second encoded speech data by encoding speech data generated by the speech decoding unit;
Multiplexer for generating second multiplexed data by multiplexing the second encoded video data generated by the video encoder and the second encoded audio data generated by the audio encoder And
The demultiplexing unit controls stop and restart of demultiplexing in the demultiplexing unit based on the progress of decoding in the video decoding unit and the audio decoding unit,
The video decoding unit controls stop and restart of decoding in the video decoding unit based on a progress of demultiplexing in the demultiplexing unit and a progress of encoding in the video encoding unit. ,
The speech decoding unit controls stop and restart of decoding in the speech decoding unit based on the progress of demultiplexing in the separating unit and the progress of encoding in the speech encoding unit. ,
The video encoding unit controls stop and restart of encoding in the video encoding unit based on the progress of decoding in the video decoding unit and the progress of multiplexing in the multiplexing unit. ,
The speech encoding unit controls the stop and restart of encoding in the speech encoding unit based on the progress of decoding in the speech decoding unit and the progress of multiplexing in the multiplexing unit. ,
The multiplexing unit controls the stop and restart of multiplexing in the multiplexing unit based on the progress of encoding in the video encoding unit and the audio encoding unit,
The video / audio conversion device further includes a timing of transfer of the video data generated by the video decoding unit to the video encoding unit and a transfer of the audio data generated by the audio decoding unit to the audio encoding unit. A synchronization control unit for adjusting
The separation unit further notifies the synchronization control unit of time information added to the first multiplexed data,
The time information includes video output time information related to output of video data and audio output time information related to output of audio data,
The synchronization control unit transfers the video data generated by the video decoding unit in accordance with the arrival of the video output time information in accordance with a reference time that is counted up in proportion to the system reference time. In accordance with the fact that the reference time to be counted up in proportion to the audio output time information has been reached, the audio data generated by the audio decoding unit is transferred to perform synchronization control of the video data and audio data,
The video decoding unit stops and restarts decoding in the video decoding unit based on the progress of synchronization control in the synchronization control unit as the progress of encoding in the video encoding unit. Control
The speech decoding unit stops and restarts the decoding in the speech decoding unit based on the progress of synchronization control in the synchronization control unit as the progress of encoding in the speech encoding unit. Control
The video encoding unit encodes the video data synchronized by the synchronization control unit as encoding of the video data generated by the video decoding unit, and progress of decoding by the video decoding unit Based on the progress status of the synchronization control in the synchronization control unit, to control the stop and restart of the encoding,
The speech encoding unit encodes speech data synchronized by the synchronization control unit as encoding of speech data generated by the speech decoding unit, and progress of decoding in the speech decoding unit Based on the progress status of the synchronization control in the synchronization control unit, to control the stop and restart of the encoding,
The video / audio converter further includes:
A delay control unit for performing a delay control notification to the synchronization control unit;
A first delay detection unit that monitors a delay in decoding in the video decoding unit with respect to synchronization control in the synchronization control unit, and notifies the delay control unit of a delay state;
A second delay detection unit that monitors a delay in decoding in the speech decoding unit with respect to synchronization control in the synchronization control unit, and notifies the delay control unit of a delay state;
A third delay detection unit that monitors a delay in encoding in the video encoding unit with respect to the synchronization control in the synchronization control unit, and notifies the delay control unit of a delay state;
A fourth delay detection unit for monitoring a delay in encoding in the speech encoding unit with respect to the synchronization control in the synchronization control unit, and notifying the delay control unit of a delay state;
Each of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit makes a delay notification to the delay control unit if a delay is detected. If it is detected that there is a resolution,
When the delay control unit receives a delay notification from any of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit, the synchronization control is performed as a delay control notification. When a restart notification is received from any one of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit, a delay control notification is made. As mentioned above, the synchronization control unit is notified of the restart of synchronization control,
The synchronization control unit performs synchronization control at N times speed,
N is the minimum double speed value of the rate conversion dubbing conversion rate at which the separation unit, the video decoding unit, the audio decoding unit, the video encoding unit, the audio encoding unit, and the multiplexing unit can operate. Value,
When the delay control unit receives a delay notification from any one of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit, synchronous control is performed to the synchronization control unit. When the N switching signal used in is notified and a restart notification is received from any of the first delay detection unit, the second delay detection unit, the third delay detection unit, and the fourth delay detection unit, Notify the synchronization control restart signal to the synchronization control unit,
When the synchronization control unit receives the switching signal from the delay control unit, the synchronization control unit uses the N subtracted by a predetermined value as a double speed value of the synchronization control, and receives the restart signal from the delay control unit, the N is used for synchronization control. It wants to use as a speed value
Film image speech conversion system.
請求項1に記載の映像音声変換装置。 The video / audio conversion apparatus according to claim 1, further comprising a double speed notification unit that notifies the synchronization control unit of the N.
請求項7に記載の映像音声変換装置。 The video / audio conversion apparatus according to claim 7, wherein the double speed notification unit selects N to be notified in accordance with an instruction from the outside.
前記倍速通知部は、前記動作モード判定部から通知された前記Nを前記同期制御部へ通知する
請求項7に記載の映像音声変換装置。 Further, demultiplexing in the demultiplexing unit, decoding in the video decoding unit, decoding in the audio decoding unit, encoding in the video encoding unit, encoding in the audio encoding unit, Or an operation mode determination unit for notifying the N-speed notification unit of the N according to the operation setting affecting the multiplexing in the multiplexing unit,
The video / audio conversion device according to claim 7, wherein the double speed notification unit notifies the synchronization control unit of the N notified from the operation mode determination unit.
前記倍速通知部は、前記倍速測定部から通知された前記Nを前記同期制御部へ通知する
請求項7に記載の映像音声変換装置。 Furthermore, the N speed measurement is performed before starting the rate conversion dubbing, and the double speed measurement unit that notifies the N of the measured N to the double speed notification unit,
The video / audio conversion device according to claim 7, wherein the double speed notification unit notifies the synchronization control unit of the N notified from the double speed measurement unit.
前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定に応じた動作モードを判定する動作モード判定部と、
レート変換ダビング開始前に前記Nの測定を行う倍速測定部と、
測定した前記Nを記録する倍速記録メモリとを備え、
前記動作モード判定部は、動作モードに応じた前記Nが前記倍速記録メモリに記録されている場合は、記録されている前記Nを前記倍速通知部に通知し、動作モードに応じた前記Nが前記倍速記録メモリに記録されていない場合は、前記倍速測定部へ起動通知を行い、
前記倍速測定部は、動作モードごとに最適な前記Nを測定し、前記倍速記録メモリ上に動作モードごとの前記Nを記録するとともに、前記倍速通知部へ前記Nを通知する
請求項7に記載の映像音声変換装置。 further,
Demultiplexing in the demultiplexing unit, decoding in the video decoding unit, decoding in the audio decoding unit, encoding in the video encoding unit, encoding in the audio encoding unit, or An operation mode determination unit that determines an operation mode according to an operation setting that affects multiplexing in the multiplexing unit;
A double speed measurement unit for measuring N before starting rate conversion dubbing;
A double speed recording memory for recording the measured N,
When the N corresponding to the operation mode is recorded in the double-speed recording memory, the operation mode determination unit notifies the recorded N to the double-speed notification unit, and the N corresponding to the operation mode is If it is not recorded in the double speed recording memory, perform a start notification to the double speed measurement unit,
8. The double speed measurement unit measures the optimum N for each operation mode, records the N for each operation mode on the double speed recording memory, and notifies the N to the double speed notification unit. Video / audio converter.
前記Nをレート変換ダビング中に切り替えて、前記同期制御部へ通知する倍速通知部を備える
請求項2に記載の映像音声変換装置。 further,
Wherein N a is switched in rate conversion dubbing video and audio converter according to claim 2 comprising a speed notification unit that notifies to said synchronization control unit.
所定の期間に前記遅延制御部による同期制御のタイミング調整の発生回数が所定の回数よりも大きい場合は、前記Nから所定の値を減算した値を前記Nとして、前記倍速通知部へ通知し、同期制御のタイミング調整が発生しなかった場合は、前記Nに所定の値を加算した値を前記Nとして、前記倍速通知部に通知する倍速測定部を備え、
前記遅延制御部は、同期制御のタイミング調整が発生したことを前記倍速測定部へ通知し、
前記倍速通知部は、前記倍速測定部から通知された前記Nを前記同期制御部へ通知する
請求項12に記載の映像音声変換装置。 further,
When the number of occurrences of the timing adjustment of the synchronization control by the delay control unit in a predetermined period is larger than the predetermined number, the value obtained by subtracting a predetermined value from N is notified to the double speed notification unit as N, When the timing adjustment of the synchronous control does not occur, a double speed measurement unit that notifies the double speed notification unit of the value obtained by adding a predetermined value to N as the N,
The delay control unit notifies the double speed measurement unit that the timing adjustment of the synchronization control has occurred,
The video / audio conversion apparatus according to claim 12, wherein the double speed notification unit notifies the synchronization control unit of the N notified from the double speed measurement unit.
請求項1に記載の映像音声変換装置。 Further, according to the N, the demultiplexing in the demultiplexing unit, the decoding in the video decoding unit, the decoding in the audio decoding unit, the encoding in the video encoding unit, and the audio encoding unit The video / audio conversion apparatus according to claim 1, further comprising: a double speed determination unit configured to perform an operation setting that affects the encoding of the video or the multiplexing in the multiplexing unit.
第一多重化データから映像データと音声データを多重分離する分離ステップと、
前記分離ステップで多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化ステップと、
前記分離ステップで多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化ステップと、
前記映像復号化ステップで生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化ステップと、
前記音声復号化ステップで生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化ステップと、
前記映像符号化ステップで生成された第二符号化映像データと前記音声符号化ステップで生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重ステップとを含み、
前記分離ステップでは、前記映像復号化ステップおよび前記音声復号化ステップでの復号化の進行状況に基づいて、多重分離の停止および再開を制御し、
前記映像復号化ステップでは、前記分離ステップでの多重分離の進行状況および前記映像符号化ステップでの符号化の進行状況に基づいて、復号化の停止および再開を制御し、
前記音声復号化ステップでは、前記分離ステップでの多重分離の進行状況および前記音声符号化ステップでの符号化の進行状況に基づいて、復号化の停止および再開を制御し、
前記映像符号化ステップでは、前記映像復号化ステップでの復号化の進行状況および前記多重ステップでの多重化の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化ステップでは、前記音声復号化ステップでの復号化の進行状況および前記多重ステップでの多重化の進行状況に基づいて、符号化の停止および再開を制御し、
前記多重ステップでは、前記映像符号化ステップおよび前記音声符号化ステップでの符号化の進行状況に基づいて、多重化の停止および再開を制御し、
前記映像音声変換方法は、さらに、前記映像復号化ステップで生成された映像データの前記映像符号化ステップでの符号化のための転送と前記音声復号化ステップで生成された音声データの前記音声符号化ステップでの符号化のための転送のタイミングを調整する同期制御ステップを含み、
前記分離ステップでは、さらに、前記第一多重化データに付加されている時刻情報を出力し、
前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、
前記同期制御ステップでは、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化ステップで生成された映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化ステップで生成された音声データの転送を行うことで映像データと音声データの同期制御を行い、
前記映像復号化ステップでは、前記映像符号化ステップでの符号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、復号化の停止および再開を制御し、
前記音声復号化ステップでは、前記音声符号化ステップでの符号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、復号化の停止および再開を制御し、
前記映像符号化ステップでは、前記映像復号化ステップで生成された映像データの符号化として、前記同期制御ステップで同期された映像データの符号化を行い、前記映像復号化ステップでの復号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化ステップでは、前記音声復号化ステップで生成された音声データの符号化として、前記同期制御ステップで同期された音声データの符号化を行い、前記音声復号化ステップでの復号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記同期制御ステップでは、N倍の速度で同期制御を行い、
前記Nは、前記分離ステップ、前記映像復号化ステップ、前記音声復号化ステップ、前記映像符号化ステップ、前記音声符号化ステップおよび前記多重ステップで動作可能な倍速値の最小値である
映像音声変換方法。 Second multiplexed data in which second encoded video data and second encoded audio data are multiplexed from first multiplexed data in which first encoded video data and first encoded audio data are multiplexed A video / audio conversion method for generating
A separation step of demultiplexing video data and audio data from the first multiplexed data;
A video decoding step of generating video data by decoding the first encoded video data demultiplexed in the separation step;
A speech decoding step of generating speech data by decoding the first encoded speech data demultiplexed in the separation step;
A video encoding step of generating second encoded video data by encoding the video data generated in the video decoding step;
A voice encoding step of generating second encoded voice data by encoding the voice data generated in the voice decoding step;
Multiplexing step of generating second multiplexed data by multiplexing the second encoded video data generated in the video encoding step and the second encoded audio data generated in the audio encoding step Including
In the separation step, based on the progress of the decoding in the video decoding step and the audio decoding step, the stop and restart of demultiplexing is controlled,
In the video decoding step, based on the progress of demultiplexing in the separation step and the progress of encoding in the video encoding step, control the stop and restart of decoding,
In the speech decoding step, the stop and restart of decoding are controlled based on the progress of demultiplexing in the separation step and the progress of encoding in the speech encoding step,
In the video encoding step, based on the progress of decoding in the video decoding step and the progress of multiplexing in the multiplexing step, control the stop and restart of encoding,
In the speech encoding step, based on the progress of decoding in the speech decoding step and the progress of multiplexing in the multiplexing step, the stop and restart of encoding are controlled,
In the multiplexing step, based on the progress of the encoding in the video encoding step and the audio encoding step, control the stop and restart of multiplexing,
The video / audio conversion method further includes transferring the video data generated in the video decoding step for encoding in the video encoding step and the audio code of the audio data generated in the audio decoding step. A synchronization control step of adjusting a transfer timing for encoding in the encoding step,
In the separation step, the time information added to the first multiplexed data is further output,
The time information includes video output time information related to output of video data and audio output time information related to output of audio data,
In the synchronization control step, the video data generated in the video decoding step is transferred in accordance with the reference time for counting up in proportion to the system reference time reaching the video output time information. Synchronous control of video data and audio data is performed by transferring the audio data generated in the audio decoding step in accordance with the arrival of the audio output time information in accordance with a reference time that counts up in proportion to time. Done
In the video decoding step, as the progress of the encoding in the video encoding step, the stop and restart of the decoding are controlled based on the progress of the synchronization control in the synchronization control step,
In the speech decoding step, as the progress of the encoding in the speech encoding step, the stop and restart of the decoding are controlled based on the progress of the synchronization control in the synchronization control step,
In the video encoding step, the video data synchronized in the synchronization control step is encoded as the video data generated in the video decoding step, and the decoding progress in the video decoding step As a situation, based on the progress of synchronization control in the synchronization control step, control the stop and restart of encoding,
In the speech encoding step, the speech data synchronized in the synchronization control step is encoded as the speech data generated in the speech decoding step, and the decoding progress in the speech decoding step As a situation, based on the progress of synchronization control in the synchronization control step, control the stop and restart of encoding,
In the synchronous control step, synchronous control is performed at a speed of N times,
N is the minimum double speed value operable in the separation step, the video decoding step, the audio decoding step, the video encoding step, the audio encoding step, and the multiplexing step. .
第一多重化データから映像データと音声データを多重分離する分離ステップと、
前記分離ステップで多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化ステップと、
前記分離ステップで多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化ステップと、
前記映像復号化ステップで生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化ステップと、
前記音声復号化ステップで生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化ステップと、
前記映像符号化ステップで生成された第二符号化映像データと前記音声符号化ステップで生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重ステップとを含み、
前記分離ステップでは、前記映像復号化ステップおよび前記音声復号化ステップでの復号化の進行状況に基づいて、多重分離の停止および再開を制御し、
前記映像復号化ステップでは、前記分離ステップでの多重分離の進行状況および前記映像符号化ステップでの符号化の進行状況に基づいて、復号化の停止および再開を制御し、
前記音声復号化ステップでは、前記分離ステップでの多重分離の進行状況および前記音声符号化ステップでの符号化の進行状況に基づいて、復号化の停止および再開を制御し、
前記映像符号化ステップでは、前記映像復号化ステップでの復号化の進行状況および前記多重ステップでの多重化の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化ステップでは、前記音声復号化ステップでの復号化の進行状況および前記多重ステップでの多重化の進行状況に基づいて、符号化の停止および再開を制御し、
前記多重ステップでは、前記映像符号化ステップおよび前記音声符号化ステップでの符号化の進行状況に基づいて、多重化の停止および再開を制御し、
前記映像音声変換方法は、さらに、前記映像復号化ステップで生成された映像データの前記映像符号化ステップでの符号化のための転送と前記音声復号化ステップで生成された音声データの前記音声符号化ステップでの符号化のための転送のタイミングを調整する同期制御ステップを含み、
前記分離ステップでは、さらに、前記第一多重化データに付加されている時刻情報を出力し、
前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、
前記同期制御ステップでは、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化ステップで生成された映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化ステップで生成された音声データの転送を行うことで映像データと音声データの同期制御を行い、
前記映像復号化ステップでは、前記映像符号化ステップでの符号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、復号化の停止および再開を制御し、
前記音声復号化ステップでは、前記音声符号化ステップでの符号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、復号化の停止および再開を制御し、
前記映像符号化ステップでは、前記映像復号化ステップで生成された映像データの符号化として、前記同期制御ステップで同期された映像データの符号化を行い、前記映像復号化ステップでの復号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化ステップでは、前記音声復号化ステップで生成された音声データの符号化として、前記同期制御ステップで同期された音声データの符号化を行い、前記音声復号化ステップでの復号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記映像音声変換方法は、さらに、
前記同期制御ステップでの同期制御のために遅延の制御通知を行う遅延制御ステップと、
前記同期制御ステップでの同期制御に対して前記映像復号化ステップでの復号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第一遅延検知ステップと、
前記同期制御ステップでの同期制御に対して前記音声復号化ステップでの復号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第二遅延検知ステップと、
前記同期制御ステップでの同期制御に対して前記映像符号化ステップでの符号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第三遅延検知ステップと、
前記同期制御ステップでの同期制御に対して前記音声符号化ステップでの符号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第四遅延検知ステップとを含み、
前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップの各々では、遅延を検知すれば遅延通知を行い、遅延の解消を検知すれば再開通知を行い、
前記遅延制御ステップでは、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかにおいて遅延通知が行われると遅延の制御通知として前記同期制御ステップでの同期制御のために同期制御の停止通知を行い、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかにおいて再開通知が行われると遅延の制御通知として前記同期制御ステップでの同期制御のために同期制御の再開通知を行い、
前記同期制御ステップでは、N倍の速度で同期制御を行い、
前記Nは、前記分離ステップ、前記映像復号化ステップ、前記音声復号化ステップ、前記映像符号化ステップ、前記音声符号化ステップおよび前記多重ステップで動作可能なレート変換ダビングの変換速度の倍速値の最小値よりも大きい
映像音声変換方法。 Second multiplexed data in which second encoded video data and second encoded audio data are multiplexed from first multiplexed data in which first encoded video data and first encoded audio data are multiplexed A video / audio conversion method for generating
A separation step of demultiplexing video data and audio data from the first multiplexed data;
A video decoding step of generating video data by decoding the first encoded video data demultiplexed in the separation step;
A speech decoding step of generating speech data by decoding the first encoded speech data demultiplexed in the separation step;
A video encoding step of generating second encoded video data by encoding the video data generated in the video decoding step;
A voice encoding step of generating second encoded voice data by encoding the voice data generated in the voice decoding step;
Multiplexing step of generating second multiplexed data by multiplexing the second encoded video data generated in the video encoding step and the second encoded audio data generated in the audio encoding step Including
In the separation step, based on the progress of the decoding in the video decoding step and the audio decoding step, the stop and restart of demultiplexing is controlled,
In the video decoding step, based on the progress of demultiplexing in the separation step and the progress of encoding in the video encoding step, control the stop and restart of decoding,
In the speech decoding step, the stop and restart of decoding are controlled based on the progress of demultiplexing in the separation step and the progress of encoding in the speech encoding step,
In the video encoding step, based on the progress of decoding in the video decoding step and the progress of multiplexing in the multiplexing step, control the stop and restart of encoding,
In the speech encoding step, based on the progress of decoding in the speech decoding step and the progress of multiplexing in the multiplexing step, the stop and restart of encoding are controlled,
In the multiplexing step, based on the progress of the encoding in the video encoding step and the audio encoding step, control the stop and restart of multiplexing,
The video / audio conversion method further includes transferring the video data generated in the video decoding step for encoding in the video encoding step and the audio code of the audio data generated in the audio decoding step. A synchronization control step of adjusting a transfer timing for encoding in the encoding step,
In the separation step, the time information added to the first multiplexed data is further output,
The time information includes video output time information related to output of video data and audio output time information related to output of audio data,
In the synchronization control step, the video data generated in the video decoding step is transferred in accordance with the reference time for counting up in proportion to the system reference time reaching the video output time information. Synchronous control of video data and audio data is performed by transferring the audio data generated in the audio decoding step in accordance with the arrival of the audio output time information in accordance with a reference time that counts up in proportion to time. Done
In the video decoding step, as the progress of the encoding in the video encoding step, the stop and restart of the decoding are controlled based on the progress of the synchronization control in the synchronization control step,
In the speech decoding step, as the progress of the encoding in the speech encoding step, the stop and restart of the decoding are controlled based on the progress of the synchronization control in the synchronization control step,
In the video encoding step, the video data synchronized in the synchronization control step is encoded as the video data generated in the video decoding step, and the decoding progress in the video decoding step As a situation, based on the progress of synchronization control in the synchronization control step, control the stop and restart of encoding,
In the speech encoding step, the speech data synchronized in the synchronization control step is encoded as the speech data generated in the speech decoding step, and the decoding progress in the speech decoding step As a situation, based on the progress of synchronization control in the synchronization control step, control the stop and restart of encoding,
The video / audio conversion method further includes:
A delay control step for performing a delay control notification for synchronization control in the synchronization control step;
A first delay detection step of monitoring a delay in decoding in the video decoding step with respect to the synchronization control in the synchronization control step, and notifying a delay situation for delay control in the delay control step;
A second delay detection step for monitoring a delay in decoding in the speech decoding step with respect to the synchronization control in the synchronization control step, and notifying a delay situation for delay control in the delay control step;
A third delay detection step of monitoring a delay in encoding in the video encoding step with respect to the synchronization control in the synchronization control step, and notifying a delay situation for delay control in the delay control step;
A fourth delay detection step of monitoring a delay in encoding in the speech encoding step with respect to the synchronization control in the synchronization control step and notifying a delay state for delay control in the delay control step. ,
In each of the first delay detection step, the second delay detection step, the third delay detection step, and the fourth delay detection step, a delay notification is performed if a delay is detected, and a restart notification is performed if a delay is detected. And
In the delay control step, when a delay notification is performed in any one of the first delay detection step, the second delay detection step, the third delay detection step, and the fourth delay detection step, the synchronization control is performed as a delay control notification. A synchronization control stop notification is made for the synchronization control in the control step, and a restart notification is made in any of the first delay detection step, the second delay detection step, the third delay detection step, and the fourth delay detection step. There rows resumption notification control synchronization for the synchronous control by the synchronous control step as the control notification is a delay takes place,
In the synchronous control step, synchronous control is performed at a speed of N times,
N is the minimum double speed value of the conversion speed of rate conversion dubbing operable in the separation step, the video decoding step, the audio decoding step, the video encoding step, the audio encoding step, and the multiplexing step. Video / audio conversion method larger than the value .
前記第二遅延検知ステップでは、前記音声復号化ステップで生成された音声データを前記同期制御ステップでの同期制御のために一時的に格納する第十中間バッファのデータ蓄積状況に基づいて前記音声復号化ステップでの復号化の遅延を検知し、
前記第三遅延検知ステップでは、前記同期制御ステップで同期制御された映像データを前記映像符号化ステップでの符号化のために一時的に格納する第十一中間バッファのデータ蓄積状況に基づいて前記映像符号化ステップでの符号化の遅延を検知し、
前記第四遅延検知ステップでは、前記同期制御ステップで同期制御された音声データを前記音声符号化ステップでの符号化のために一時的に格納する第十二中間バッファのデータ蓄積状況に基づいて前記音声符号化ステップでの符号化の遅延を検知する
請求項16に記載の映像音声変換方法。 In the first delay detection step, the video decoding is performed based on a data accumulation state of a ninth intermediate buffer that temporarily stores the video data generated in the video decoding step for synchronization control in the synchronization control step. Detecting the decoding delay in the conversion step,
In the second delay detection step, the speech decoding is performed based on a data accumulation state of a tenth intermediate buffer that temporarily stores the speech data generated in the speech decoding step for synchronization control in the synchronization control step. Detecting the decoding delay in the conversion step,
In the third delay detection step, the video data synchronously controlled in the synchronization control step is temporarily stored based on the data accumulation state of the eleventh intermediate buffer that temporarily stores the video data for encoding in the video encoding step. Detect the encoding delay in the video encoding step,
In the fourth delay detection step, the audio data synchronously controlled in the synchronization control step is temporarily stored based on the data accumulation state of the twelfth intermediate buffer for temporarily storing the audio data for encoding in the audio encoding step. The video / audio conversion method according to claim 16, wherein an encoding delay in the audio encoding step is detected.
前記第二遅延検知ステップでは、前記音声復号化ステップで生成された音声データのフレーム数と前記同期制御ステップで同期制御が行われた音声データのフレーム数を監視することにより前記音声復号化ステップでの復号化の遅延を検知し、
前記第三遅延検知ステップでは、前記同期制御ステップで同期制御が行われた映像データのフレーム数と前記映像符号化ステップで生成された映像データのフレーム数を監視することにより前記映像符号化ステップでの符号化の遅延を検知し、
前記第四遅延検知ステップでは、前記同期制御ステップで同期制御が行われた音声データのフレーム数と前記音声符号化ステップで生成された音声データのフレーム数を監視することにより前記音声符号化ステップでの符号化の遅延を検知する
請求項16に記載の映像音声変換方法。 In the first delay detection step, in the video decoding step, the number of frames of the video data generated in the video decoding step and the number of frames of the video data subjected to synchronization control in the synchronization control step are monitored. Detect the decryption delay of
In the second delay detection step, the number of frames of the voice data generated in the voice decoding step and the number of frames of the voice data subjected to synchronization control in the synchronization control step are monitored, thereby Detect the decryption delay of
In the third delay detection step, the video encoding step includes monitoring the number of frames of the video data subjected to the synchronization control in the synchronization control step and the number of frames of the video data generated in the video encoding step. Detect the encoding delay of
In the fourth delay detection step, by monitoring the number of frames of the audio data subjected to the synchronization control in the synchronization control step and the number of frames of the audio data generated in the audio encoding step, The video / audio conversion method according to claim 16, wherein a coding delay is detected.
前記同期制御ステップでは、前記遅延制御ステップで停止信号が通知されると同期制御の状態を保持して同期制御を停止し、前記遅延制御ステップで再開信号が通知されると保持している停止時の状態で同期制御を再開する
請求項16に記載の映像音声変換方法。 In the delay control step, when the delay notification is performed in any of the first delay detection step, the second delay detection step, the third delay detection step, and the fourth delay detection step, the synchronization control step A synchronization control stop signal is notified for synchronization control, and a restart notification is performed in any of the first delay detection step, the second delay detection step, the third delay detection step, and the fourth delay detection step. And a synchronous control restart signal for synchronous control in the synchronous control step,
In the synchronization control step, when the stop signal is notified in the delay control step, the state of the synchronization control is maintained and the synchronization control is stopped, and when the restart signal is notified in the delay control step, the stop time is maintained. The video / audio conversion method according to claim 16, wherein the synchronization control is resumed in a state of.
第一多重化データから映像データと音声データを多重分離する分離ステップと、
前記分離ステップで多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化ステップと、
前記分離ステップで多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化ステップと、
前記映像復号化ステップで生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化ステップと、
前記音声復号化ステップで生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化ステップと、
前記映像符号化ステップで生成された第二符号化映像データと前記音声符号化ステップで生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重ステップとを含み、
前記分離ステップでは、前記映像復号化ステップおよび前記音声復号化ステップでの復号化の進行状況に基づいて、多重分離の停止および再開を制御し、
前記映像復号化ステップでは、前記分離ステップでの多重分離の進行状況および前記映像符号化ステップでの符号化の進行状況に基づいて、復号化の停止および再開を制御し、
前記音声復号化ステップでは、前記分離ステップでの多重分離の進行状況および前記音声符号化ステップでの符号化の進行状況に基づいて、復号化の停止および再開を制御し、
前記映像符号化ステップでは、前記映像復号化ステップでの復号化の進行状況および前記多重ステップでの多重化の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化ステップでは、前記音声復号化ステップでの復号化の進行状況および前記多重ステップでの多重化の進行状況に基づいて、符号化の停止および再開を制御し、
前記多重ステップでは、前記映像符号化ステップおよび前記音声符号化ステップでの符号化の進行状況に基づいて、多重化の停止および再開を制御し、
前記映像音声変換方法は、さらに、前記映像復号化ステップで生成された映像データの前記映像符号化ステップでの符号化のための転送と前記音声復号化ステップで生成された音声データの前記音声符号化ステップでの符号化のための転送のタイミングを調整する同期制御ステップを含み、
前記分離ステップでは、さらに、前記第一多重化データに付加されている時刻情報を出力し、
前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、
前記同期制御ステップでは、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化ステップで生成された映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化ステップで生成された音声データの転送を行うことで映像データと音声データの同期制御を行い、
前記映像復号化ステップでは、前記映像符号化ステップでの符号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、復号化の停止および再開を制御し、
前記音声復号化ステップでは、前記音声符号化ステップでの符号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、復号化の停止および再開を制御し、
前記映像符号化ステップでは、前記映像復号化ステップで生成された映像データの符号化として、前記同期制御ステップで同期された映像データの符号化を行い、前記映像復号化ステップでの復号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化ステップでは、前記音声復号化ステップで生成された音声データの符号化として、前記同期制御ステップで同期された音声データの符号化を行い、前記音声復号化ステップでの復号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記映像音声変換方法は、さらに、
前記同期制御ステップでの同期制御のために遅延の制御通知を行う遅延制御ステップと、
前記同期制御ステップでの同期制御に対して前記映像復号化ステップでの復号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第一遅延検知ステップと、
前記同期制御ステップでの同期制御に対して前記音声復号化ステップでの復号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第二遅延検知ステップと、
前記同期制御ステップでの同期制御に対して前記映像符号化ステップでの符号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第三遅延検知ステップと、
前記同期制御ステップでの同期制御に対して前記音声符号化ステップでの符号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第四遅延検知ステップとを含み、
前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップの各々では、遅延を検知すれば遅延通知を行い、遅延の解消を検知すれば再開通知を行い、
前記遅延制御ステップでは、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかにおいて遅延通知が行われると遅延の制御通知として前記同期制御ステップでの同期制御のために同期制御の停止通知を行い、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかにおいて再開通知が行われると遅延の制御通知として前記同期制御ステップでの同期制御のために同期制御の再開通知を行い、
前記同期制御ステップでは、N倍の速度で同期制御を行い、
前記Nは、前記分離ステップ、前記映像復号化ステップ、前記音声復号化ステップ、前記映像符号化ステップ、前記音声符号化ステップおよび前記多重ステップで動作可能な倍速値の最小値であり、
前記遅延制御ステップでは、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかで遅延通知が行われると、前記同期制御ステップでの同期制御で使用する前記Nの切り替え信号を通知し、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかで再開通知が行われると、前記同期制御ステップでの同期制御の再開信号を通知し、
前記同期制御ステップでは、前記遅延制御ステップで切り替え信号が通知されると所定の値で減算した前記Nを同期制御の倍速値として使用し、前記遅延制御ステップで再開信号が通知されると前記Nを同期制御の倍速値として使用する
映像音声変換方法。 Second multiplexed data in which second encoded video data and second encoded audio data are multiplexed from first multiplexed data in which first encoded video data and first encoded audio data are multiplexed A video / audio conversion method for generating
A separation step of demultiplexing video data and audio data from the first multiplexed data;
A video decoding step of generating video data by decoding the first encoded video data demultiplexed in the separation step;
A speech decoding step of generating speech data by decoding the first encoded speech data demultiplexed in the separation step;
A video encoding step of generating second encoded video data by encoding the video data generated in the video decoding step;
A voice encoding step of generating second encoded voice data by encoding the voice data generated in the voice decoding step;
Multiplexing step of generating second multiplexed data by multiplexing the second encoded video data generated in the video encoding step and the second encoded audio data generated in the audio encoding step Including
In the separation step, based on the progress of the decoding in the video decoding step and the audio decoding step, the stop and restart of demultiplexing is controlled,
In the video decoding step, based on the progress of demultiplexing in the separation step and the progress of encoding in the video encoding step, control the stop and restart of decoding,
In the speech decoding step, the stop and restart of decoding are controlled based on the progress of demultiplexing in the separation step and the progress of encoding in the speech encoding step,
In the video encoding step, based on the progress of decoding in the video decoding step and the progress of multiplexing in the multiplexing step, control the stop and restart of encoding,
In the speech encoding step, based on the progress of decoding in the speech decoding step and the progress of multiplexing in the multiplexing step, the stop and restart of encoding are controlled,
In the multiplexing step, based on the progress of the encoding in the video encoding step and the audio encoding step, control the stop and restart of multiplexing,
The video / audio conversion method further includes transferring the video data generated in the video decoding step for encoding in the video encoding step and the audio code of the audio data generated in the audio decoding step. A synchronization control step of adjusting a transfer timing for encoding in the encoding step,
In the separation step, the time information added to the first multiplexed data is further output,
The time information includes video output time information related to output of video data and audio output time information related to output of audio data,
In the synchronization control step, the video data generated in the video decoding step is transferred in accordance with the reference time for counting up in proportion to the system reference time reaching the video output time information. Synchronous control of video data and audio data is performed by transferring the audio data generated in the audio decoding step in accordance with the arrival of the audio output time information in accordance with a reference time that counts up in proportion to time. Done
In the video decoding step, as the progress of the encoding in the video encoding step, the stop and restart of the decoding are controlled based on the progress of the synchronization control in the synchronization control step,
In the speech decoding step, as the progress of the encoding in the speech encoding step, the stop and restart of the decoding are controlled based on the progress of the synchronization control in the synchronization control step,
In the video encoding step, the video data synchronized in the synchronization control step is encoded as the video data generated in the video decoding step, and the decoding progress in the video decoding step As a situation, based on the progress of synchronization control in the synchronization control step, control the stop and restart of encoding,
In the speech encoding step, the speech data synchronized in the synchronization control step is encoded as the speech data generated in the speech decoding step, and the decoding progress in the speech decoding step As a situation, based on the progress of synchronization control in the synchronization control step, control the stop and restart of encoding,
The video / audio conversion method further includes:
A delay control step for performing a delay control notification for synchronization control in the synchronization control step;
A first delay detection step of monitoring a delay in decoding in the video decoding step with respect to the synchronization control in the synchronization control step, and notifying a delay situation for delay control in the delay control step;
A second delay detection step for monitoring a delay in decoding in the speech decoding step with respect to the synchronization control in the synchronization control step, and notifying a delay situation for delay control in the delay control step;
A third delay detection step of monitoring a delay in encoding in the video encoding step with respect to the synchronization control in the synchronization control step, and notifying a delay situation for delay control in the delay control step;
A fourth delay detection step of monitoring a delay in encoding in the speech encoding step with respect to the synchronization control in the synchronization control step and notifying a delay state for delay control in the delay control step. ,
In each of the first delay detection step, the second delay detection step, the third delay detection step, and the fourth delay detection step, a delay notification is performed if a delay is detected, and a restart notification is performed if a delay is detected. And
In the delay control step, when a delay notification is performed in any one of the first delay detection step, the second delay detection step, the third delay detection step, and the fourth delay detection step, the synchronization control is performed as a delay control notification. A synchronization control stop notification is made for the synchronization control in the control step, and a restart notification is made in any of the first delay detection step, the second delay detection step, the third delay detection step, and the fourth delay detection step. Is performed, a synchronous control restart notification is performed for the synchronous control in the synchronous control step as a delay control notification,
In the synchronous control step, synchronous control is performed at a speed of N times,
N is a minimum value of double speed values operable in the separation step, the video decoding step, the audio decoding step, the video encoding step, the audio encoding step, and the multiplexing step,
In the delay control step, when the delay notification is performed in any of the first delay detection step, the second delay detection step, the third delay detection step, and the fourth delay detection step, the synchronization control step The N switching signal used in the synchronous control is notified, and a restart notification is performed in any of the first delay detection step, the second delay detection step, the third delay detection step, and the fourth delay detection step. And a synchronization control restart signal in the synchronization control step,
In the synchronization control step, when the switching signal is notified in the delay control step, the N subtracted by a predetermined value is used as the double speed value of the synchronization control, and when the restart signal is notified in the delay control step, the N to use as the speed value of the synchronous control
Film image speech conversion method.
請求項15に記載の映像音声変換方法。 The video / audio conversion method according to claim 15, further comprising a double speed notification step of performing the notification of N for synchronization control in the synchronization control step.
請求項21に記載の映像音声変換方法。 The video / audio conversion method according to claim 21, wherein, in the double speed notification step, the N to be notified is selected by an instruction from the outside.
前記倍速通知ステップでは、前記動作モード判定ステップで通知された前記Nを前記同期制御ステップでの同期制御のために通知する
請求項21に記載の映像音声変換方法。 Further, demultiplexing in the separation step, decoding in the video decoding step, decoding in the audio decoding step, encoding in the video encoding step, encoding in the audio encoding step, Or an operation mode determination step of notifying the N according to the operation setting affecting the multiplexing in the multiplexing step for notification in the double speed notification step,
The video / audio conversion method according to claim 21, wherein in the double speed notification step, the N notified in the operation mode determination step is notified for synchronization control in the synchronization control step.
前記倍速通知ステップでは、前記倍速測定ステップで通知された前記Nを前記同期制御ステップでの同期制御のために通知する
請求項21に記載の映像音声変換方法。 Further, it includes a double speed measurement step of measuring the N before the start of rate conversion dubbing and notifying the measured N for notification in the double speed notification step,
The video / audio conversion method according to claim 21, wherein, in the double speed notification step, the N notified in the double speed measurement step is notified for synchronization control in the synchronization control step.
前記分離ステップでの多重分離、前記映像復号化ステップでの復号化、前記音声復号化ステップでの復号化、前記映像符号化ステップでの符号化、前記音声符号化ステップでの符号化、または前記多重ステップでの多重化に影響する動作設定に応じた動作モードを判定する動作モード判定ステップと、
レート変換ダビング開始前に前記Nの測定を行う倍速測定ステップと、
測定した前記Nを倍速記録メモリに記録する記録ステップとを含み、
前記動作モード判定ステップでは、動作モードに応じた前記Nが前記倍速記録メモリに記録されている場合は、記録されている前記Nを前記倍速通知ステップでの通知のために通知し、動作モードに応じた前記Nが前記倍速記録メモリに記録されていない場合は、前記倍速測定ステップでの測定のために起動通知を行い、
前記倍速測定ステップでは、動作モードごとに最適な前記Nを測定し、前記倍速記録メモリ上に動作モードごとの前記Nを記録するとともに、前記倍速通知ステップでの通知のために前記Nを通知する
請求項21に記載の映像音声変換方法。 further,
Demultiplexing in the separation step, decoding in the video decoding step, decoding in the audio decoding step, encoding in the video encoding step, encoding in the audio encoding step, or An operation mode determination step for determining an operation mode according to an operation setting that affects multiplexing in the multiplex step;
A double speed measurement step of measuring N before the start of rate conversion dubbing;
Recording the measured N in a double speed recording memory,
In the operation mode determination step, when the N corresponding to the operation mode is recorded in the double speed recording memory, the recorded N is notified for notification in the double speed notification step, and the operation mode is set. If the corresponding N is not recorded in the double speed recording memory, a start notification is made for measurement in the double speed measurement step,
In the double speed measurement step, the optimum N for each operation mode is measured, the N for each operation mode is recorded on the double speed recording memory, and the N is notified for notification in the double speed notification step. The video / audio conversion method according to claim 21.
前記Nをレート変換ダビング中に切り替えて、前記同期制御ステップでの同期制御のために通知する倍速通知ステップを含む
請求項16に記載の映像音声変換方法。 further,
By switching the N in rate conversion dubbing video and audio conversion method according to claim 16 including a double speed notification step of notifying for synchronization control in the synchronous control step.
所定の期間に前記遅延制御ステップによる同期制御のタイミング調整の発生回数が所定の回数よりも大きい場合は、前記Nから所定の値を減算した値を前記Nとして前記倍速通知ステップでの通知のために通知し、同期制御のタイミング調整が発生しなかった場合は、前記Nに所定の値を加算した値を前記Nとして、前記倍速通知ステップでの通知のために通知する倍速測定ステップを含み、
前記遅延制御ステップでは、同期制御のタイミング調整が発生したことを前記倍速測定ステップでのタイミング調整の発生回数の測定のために通知し、
前記倍速通知ステップでは、前記倍速測定ステップにおいて通知された前記Nを前記同期制御ステップでの同期制御のために通知する
請求項26に記載の映像音声変換方法。 further,
When the number of occurrences of the timing adjustment of the synchronization control by the delay control step is larger than the predetermined number in a predetermined period, the value obtained by subtracting the predetermined value from N is set as N to be notified in the double speed notification step When the timing adjustment of the synchronous control has not occurred, a double speed measurement step of notifying for the notification in the double speed notification step, where N is a value obtained by adding a predetermined value to N,
In the delay control step, it is notified for the measurement of the number of occurrences of the timing adjustment in the double speed measurement step that the synchronization control timing adjustment has occurred,
27. The video / audio conversion method according to claim 26, wherein in the double speed notification step, the N notified in the double speed measurement step is notified for synchronization control in the synchronization control step.
請求項15に記載の映像音声変換方法。 Further, according to the N, the demultiplexing in the separation step, the decoding in the video decoding step, the decoding in the audio decoding step, the encoding in the video encoding step, and the audio encoding step The video / audio conversion method according to claim 15, further comprising: a double speed determination step of performing an operation setting that affects the encoding of the video or the multiplexing in the multiplexing step.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010160126A JP5409535B2 (en) | 2010-07-14 | 2010-07-14 | Video / audio conversion apparatus and video / audio conversion method |
CN201180034032.8A CN103004185B (en) | 2010-07-14 | 2011-03-04 | Video-audio converting means and video-audio transform method |
PCT/JP2011/001283 WO2012008069A1 (en) | 2010-07-14 | 2011-03-04 | Audiovisual conversion device and audiovisual conversion method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010160126A JP5409535B2 (en) | 2010-07-14 | 2010-07-14 | Video / audio conversion apparatus and video / audio conversion method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012023576A JP2012023576A (en) | 2012-02-02 |
JP2012023576A5 JP2012023576A5 (en) | 2013-06-06 |
JP5409535B2 true JP5409535B2 (en) | 2014-02-05 |
Family
ID=45469089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010160126A Expired - Fee Related JP5409535B2 (en) | 2010-07-14 | 2010-07-14 | Video / audio conversion apparatus and video / audio conversion method |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP5409535B2 (en) |
CN (1) | CN103004185B (en) |
WO (1) | WO2012008069A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5779148B2 (en) * | 2012-07-06 | 2015-09-16 | 株式会社東芝 | Memory system |
DE112018007526T5 (en) * | 2018-04-27 | 2021-02-25 | Mitsubishi Electric Corporation | Data processing device, monitoring method and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001160967A (en) * | 1999-12-03 | 2001-06-12 | Nec Corp | Image-coding system converter and coding rate converter |
JP3753726B1 (en) * | 2004-10-13 | 2006-03-08 | シャープ株式会社 | Moving image re-encoding device, moving image editing device, program, and recording medium |
JPWO2008023763A1 (en) * | 2006-08-24 | 2010-01-14 | 株式会社ルネサステクノロジ | Data processing apparatus, data processing method, and recording / reproducing system |
-
2010
- 2010-07-14 JP JP2010160126A patent/JP5409535B2/en not_active Expired - Fee Related
-
2011
- 2011-03-04 CN CN201180034032.8A patent/CN103004185B/en not_active Expired - Fee Related
- 2011-03-04 WO PCT/JP2011/001283 patent/WO2012008069A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN103004185B (en) | 2015-08-05 |
WO2012008069A1 (en) | 2012-01-19 |
JP2012023576A (en) | 2012-02-02 |
CN103004185A (en) | 2013-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3094999B2 (en) | Audio / video synchronous playback device | |
JP4837744B2 (en) | Multiplexer, integrated circuit, multiplexing method, multiplexed program, computer-readable recording medium recording the multiplexed program, and computer-readable recording medium recording the multiplexed stream | |
US9489980B2 (en) | Video/audio synchronization apparatus and video/audio synchronization method | |
US8526501B2 (en) | Decoder and decoding method based on video and audio time information | |
CN108243350B (en) | Audio and video synchronization processing method and device | |
US20110116722A1 (en) | Coded stream reproduction device and coded stream reproduction method | |
JP2007324850A (en) | Stream data processor, and stream data processing method | |
JP4775208B2 (en) | REPRODUCTION METHOD, REPRODUCTION PROGRAM, AND REPRODUCTION DEVICE | |
US20070046817A1 (en) | Processor, processing method and processing program | |
JP4511952B2 (en) | Media playback device | |
JP5409535B2 (en) | Video / audio conversion apparatus and video / audio conversion method | |
JPH09247670A (en) | Information multiplexer | |
JP2007158432A (en) | Video recording device | |
US20060233528A1 (en) | Program, information processing device, information processing method, and recording medium | |
JP2010068232A (en) | Video recording and playback apparatus | |
JP5046907B2 (en) | Recording apparatus, control method therefor, and program | |
JP2006060699A (en) | Signal processor | |
JP2008054159A (en) | Video-audio multiplexing apparatus | |
JP4336879B2 (en) | Video / audio delay confirmation circuit and video / audio delay confirmation method used therefor | |
JP2012023576A5 (en) | ||
JP5168105B2 (en) | Audio reproduction device and audio reproduction method | |
JP5741064B2 (en) | Video / audio processing apparatus and video / audio processing method | |
JP2010233119A (en) | Video encoder apparatus, and encoded data output method used for the same | |
JP2000261811A (en) | Decoder | |
JP2008136001A (en) | Encoding method conversion device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130419 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130806 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5409535 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |