JPH1175171A - マルチメディアデータ符号化多重化方法、マルチメディアデータ符号化多重化装置、およびマルチメディアデータ符号化多重化プログラム記録媒体 - Google Patents

マルチメディアデータ符号化多重化方法、マルチメディアデータ符号化多重化装置、およびマルチメディアデータ符号化多重化プログラム記録媒体

Info

Publication number
JPH1175171A
JPH1175171A JP9308682A JP30868297A JPH1175171A JP H1175171 A JPH1175171 A JP H1175171A JP 9308682 A JP9308682 A JP 9308682A JP 30868297 A JP30868297 A JP 30868297A JP H1175171 A JPH1175171 A JP H1175171A
Authority
JP
Japan
Prior art keywords
information
video
encoded
audio
multimedia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9308682A
Other languages
English (en)
Inventor
Aki Yoneda
亜旗 米田
Takao Matsumoto
孝夫 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP9308682A priority Critical patent/JPH1175171A/ja
Publication of JPH1175171A publication Critical patent/JPH1175171A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams

Abstract

(57)【要約】 【課題】 映像・音声双方の符号化をマルチタスクオペ
レーティングシステム上で動作するソフトウエアプログ
ラムとして実現し、指定した任意の単位で同期した映像
音声符号化多重化情報を得られるようにする。 【解決手段】 符号化映像情報と符号化音声情報を、映
像バッファリング手段１０８と音声バッファリング手段
１０４とに一時的に蓄積し、符号化映像情報に基づいて
作成され、共に一時蓄積された映像ブロックレート情報
を用いて、映像音声同期手段１１０が時間情報を作成
し、これに従って、符号化映像読み出し手段１１５と符
号化音声読み出し手段１１３とが、一時的に蓄積された
符号化音声情報と符号化映像情報とを読み出すことで、
符号化するタイミングと多重化タイミングを分離する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はマルチメディアデー
タ符号化多重化方法、マルチメディアデータ符号化多重
化装置、およびマルチメディアデータ符号化多重化プロ
グラム記録媒体に関し、特にオペレーティングシステム
を有するコンピュータシステムにより、映像、及び音声
を含むマルチメディアデータがデジタル化され、符号化
され、時分割多重化されたマルチメディアデータ符号化
多重化情報を得るマルチメディアデータ符号化多重化方
法、マルチメディアデータ符号化多重化装置、及びマル
チメディアデータ符号化多重化プログラム記録媒体に関
する。
【０００２】
【従来の技術】近年のデジタル技術の発達により、従来
ではアナログの形でしか扱えなかった、マルチメディア
データ、すなわちビデオ映像のように映像と音声とを含
んでいる情報であっても、デジタル化、圧縮符号化、お
よび多重化の処理を行うことによりデジタル情報を得
て、これを記録、伝送などに用いることができるように
なってきた。かかる処理によって得られる符号化マルチ
メディアデータ多重化情報、例えば映像音声多重化情報
は、システムストリームなどと呼ばれ、通常、デジタル
化され符号化、及び圧縮化された映像情報の部分と、デ
ジタル化され符号化、及び圧縮化された音声情報の部分
とが、ある単位で交互にならべられた一次元の配列とな
っている。
【０００３】図２７に、かかる映像音声符号化多重化情
報の一例を示す。図中、２１０１は映像シーケンスヘッ
ダで、この後に符号化された映像情報が続くことを示
す。２１０２は符号化映像情報で、符号化（圧縮化）さ
れた映像情報であり、これを逆符号化（伸長化）する
と、ある再生時間を持つ映像となる。２１０３は音声シ
ーケンスヘッダで、この後に符号化された音声情報が続
くことを示す。２１０４は符号化音声情報で、符号化
（圧縮化）された音声情報であり、これを逆符号化（伸
長化）すると、ある再生時間を持つ音声となる。このよ
うな符号化映像音声多重化情報は、「時分割多重化され
た情報」とも呼ばれ、かかる情報を得るための処理を符
号化処理及び多重化処理という。
【０００４】このような符号化映像音声多重化情報を再
生するための装置は、再生時の映像と音声の同期のため
に、同時に再生しなければならない映像情報と音声情報
をいったんバッファに蓄積し、両者が揃ったところで、
両者を逆符号化し、再生するのが普通である。したがっ
て、再生装置の内部バッファの量が有限であることか
ら、図２７の符号化映像情報２１０２、及び符号化音声
情報２１０４は、再生装置のバッファの大きさの許す範
囲の量で交互に並べられていなければならない。すなわ
ち、再生装置の内部バッファが０．１秒分しか無いので
あれば、符号化映像情報２１０２、及び符号化音声情報
２１０４は、少なくとも再生時間が０．１秒以下の単位
で交互に並べられていなければならない。また、再生装
置の構成によっては、交互に並べられた映像と音声が、
それぞれ再生時間がちょうど同時間になるような量で並
べられなければならないという場合もある。
【０００５】映像および音声を符号化し、上記したよう
な符号化映像音声多重化情報を出力する装置の従来技術
による例を、図を用いて説明する。図２６は、従来技術
による音声付き映像符号化多重化装置の構成を示す図で
ある。図示するように、この装置は、映像音声入力手段
２００１、音声キャプチャ手段２００２、音声符号化手
段２００３、符号化音声格納手段２００４、映像キャプ
チャ手段２００５、映像符号化手段２００６、符号化映
像格納手段２００７、およびファイル管理手段２００８
を備えたものである。
【０００６】同図において、２００１はビデオカメラ等
で実現される映像音声入力手段であり、映像・音声を取
り込み、アナログ音声情報とアナログ映像情報とに分け
て出力するものである。２００２は音声キャプチャ手段
であり、映像音声入力手段２００１から出力されたアナ
ログ音声情報を入力し、離散的なデジタルデータからな
るデジタル音声情報として出力するものである。２００
３は音声符号化手段であり、音声キャプチャ手段２００
２より出力されたデジタル音声情報を入力し、冗長な情
報を除いて符号化することで圧縮し、符号化音声情報と
して、単位時間ごとに出力するものである。本例では、
上記単位時間を０．１秒とする。２００４は符号化音声
格納手段であり、音声符号化手段２００３より符号化音
声情報が出力された時、上記情報に音声シーケンスヘッ
ダを付加し、ファイル管理手段２００８に出力するもの
である。２００５は映像キャプチャ手段であり、映像音
声入力手段２００１から出力されたアナログ映像情報を
入力し、離散的なデジタルデータからなり、単位時間毎
の静止画像を表す複数の静止画像情報からなるデジタル
映像情報として出力するものである。２００６は映像符
号化手段であり、映像キャプチャ手段２００５より出力
されたデジタル映像情報を入力し、冗長な情報を除いて
符号化することで圧縮し、符号化映像情報として出力す
るものである。本例では、符号化映像情報は、個々の静
止画像の単位で出力するとする。静止画像は３０分の１
秒ごとに存在するとするので、符号化映像情報が出力さ
れる単位時間は、３０分の１秒である。２００７は符号
化映像格納手段であり、映像符号化手段２００６より符
号化映像情報が出力された時、上記情報に映像シーケン
スヘッダを付加し、ファイル管理手段２００８に出力す
るものである。２００８はファイル管理手段であり、入
力された情報を保存用記憶装置上のファイルに書き加え
ていくものである。
【０００７】ここでは、従来の技術による映像音声符号
化多重化装置によって得られる、符号化映像音声多重化
情報は、図２７に示すようなものであり、後の再生時の
ために、先述のような、交互に並べられた映像と音声
が、それぞれ再生時間がちょうど同時間になるような量
で並べられたものであり、また、それぞれの再生時間が
０．１秒以下であるものとする。
【０００８】図２８は、従来の技術による映像音声符号
化多重化装置を、情報の流れを主体に説明するための図
である。図中２００１は図２６の映像音声入力手段とし
て用いられるビデオカメラであり、他の符号は図２６と
同じである。従来の技術による映像音声符号化多重化装
置の動作を以下に図２８を用いて説明する。
【０００９】まず、ビデオカメラ２００１が映像・音声
をとりこみ、アナログ音声情報とアナログ映像情報とに
分けて出力する。そして、音声キャプチャ手段２００２
は、ビデオカメラ２００１より出力されたアナログ音声
情報を入力し、デジタル音声情報として出力する。一
方、映像キャプチャ手段２００５は、ビデオカメラ２０
０１より出力されたアナログ映像情報を入力し、デジタ
ル映像情報として出力する。
【００１０】映像符号化手段２００６は、映像キャプチ
ャ手段２００５より出力されたデジタル映像情報を入力
し、符号化して圧縮して、一枚の静止画像の符号化映像
情報として出力し、符号化映像格納手段２００７は、こ
の符号化映像情報の先頭に映像シーケンスヘッダを付与
して、出力する。ファイル管理手段２００８は、符号化
映像格納手段２００７が出力するシーケンスヘッダ付き
の符号化映像情報を、保存用記録装置のファイルに格納
する。
【００１１】従来の技術による映像音声符号化多重化装
置は、上記の映像符号化手段２００６による符号化か
ら、ファイル管理手段２００８によるファイルへの格納
までの動作を３回繰り返す。符号化映像情報は３０分の
１秒の単位で出力されるので、３回繰り返したところで
経過時間は０．１秒（１０分の１秒）である。
【００１２】ここで、音声符号化手段２００３は、先に
音声キャプチャ手段２００２から出力されたデジタル音
声情報を入力し、符号化して圧縮して、０．１秒分の符
号化音声情報として出力し、符号化音声格納手段２００
４は、この符号化音声情報の先頭に音声シーケンスヘッ
ダを付与して、出力する。ファイル管理手段２００８
は、符号化音声格納手段２００４が出力するシーケンス
ヘッダ付きの符号化音声情報を、ファイルに格納する。
【００１３】ビデオカメラ２００１からの映像・音声の
入力が続く間は、上記の処理が適宜繰り返され、これに
より、図２７に示すような、符号化映像情報、及び符号
化音声情報がそれぞれ０．１秒である符号化映像音声多
重化情報として、保存用記憶装置に格納するなど、記録
・伝送を行うことができる。
【００１４】
【発明が解決しようとする課題】従来技術による映像音
声符号化多重化装置は、前述の具体例で説明したよう
に、音声及び映像の符号化に際しては、それぞれの符号
化手段が完全に独立して動作し、それぞれいつも一定の
タイミングで、符号化情報を出力するものであった。す
なわち、前述の具体例によれば、映像符号化手段は常に
３０分の１秒に一回符号化映像情報を出力し、音声符号
化手段は常に１０分の１秒に一回符号化音声情報を出力
していた。
【００１５】すなわち、特に映像と音声の同期のための
特別な手段を用いなくても、出力される符号化情報を順
にファイルに付加していくだけで、映像と音声が同一の
再生時間（この場合１０分の１秒）の単位で交互に並べ
られた符号化映像音声多重化情報が得られた。このこと
を実現するため、従来技術では、音声、映像の符号化手
段としては、それぞれ独立して動作する専用ハードウエ
アを用いる必要があった。従って、専用ハードウエアを
用いず、汎用ＣＰＵを用いたマルチタスクオペレーティ
ングシステム上で動作するソフトウエアプログラムとし
て音声、映像の符号化手段を実現することは、上記のよ
うな従来技術の単純な応用によっては、きわめて困難な
こととなる。
【００１６】なぜなら、マルチタスクオペレーティング
システム上では、複数のプログラム（タスク）が並列し
て動作している際に、各プログラムが実行されるタイミ
ングについては、オペレーティングシステムが行うスケ
ジューリングや、デバイスドライバ等が発生させる割り
込み等によって決定されるものであり、映像符号化手
段、及び音声符号化手段からの要求に応じて均等に割り
当てられる保証はなく、上記のような一定の動作を常に
望むことはできない。
【００１７】例えば、音声キャプチャ手段と映像キャプ
チャ手段とを構成するデバイスドライバに対して、音声
キャプチャ手段が発生させる割り込みに対する優先度
が、映像キャプチャ手段が発生させる割り込みに対する
優先度よりも勝るものとなっていた場合には、ある期間
において音声符号化処理が映像符号化処理より優先的に
実行されることもあり得ることとなる。
【００１８】図２９は、かかる問題点を説明するための
図であり、上述のようなシステムにおいて、従来の技術
による映像音声符号化多重化装置を実現した場合に、処
理の結果得られる符号化多重化情報の一例を示すもので
ある。同図においては、映像と音声とのビットレート、
すなわち単位時間当たりの量は常に同じであるものとし
て、両者の再生時間の割合を示すものである。同図のＡ
区間においては、音声に対する符号化処理が優先的に行
われ、音声情報の再生時間の方が多いものとなっている
のに比べ、Ｂ区間においては、Ａ区間における処理を埋
め合わせるべく、映像符号化処理が行われたために映像
情報の再生時間が多いものとなっている。同図に示す多
重化情報では、全体として映像と音声との多重化が不均
衡なものとなってしまっているため、映像・音声双方に
対しての再生バッファを、相当に余裕のある量だけ有す
る再生装置でなければ処理が困難なものとなり、映像・
音声とぎれのような現象をひきおこす原因となり得るも
のとなる。
【００１９】さらに、マルチタスクオペレーティングシ
ステム上では、両符号化手段以外にもさまざまなプログ
ラムが常駐され動作しているので、かりに、映像及び音
声の符号化手段への割り当てを均等に行えるように計ら
ったとしても、なお、問題は残る。例えば、上記の例の
ように、音声符号化手段が常に１０分の１秒分の符号化
音声情報を出力することを期待されているとき、符号化
手段以外のプログラムがＣＰＵの動作時間を長期に渡り
消費してしまい、音声符号化手段にＣＰＵの動作時間が
渡された時には、前回動作した時間から１秒の時間がた
ってしまったとする。この場合、音切れを防ぐために１
秒分のデジタル音声情報をバッファリングしたとして
も、出力される符号化音声情報は、１秒分の固まりとな
ってしまい、これを上記の従来例に示した構成で符号化
映像音声多重化情報にすると、０．１秒の単位で映像と
音声が交互に並べられていなければならないところに、
１秒分の音声が並んでしまうことになる。このことは、
例えば、符号化映像音声多重化情報の再生装置のバッフ
ァが０．１秒分しかなかった時、バッファがあふれて映
像と音声とが途切れるといったような、致命的な結果を
生む。
【００２０】図３０はこのような問題点を説明するため
の図であり、上述のようなシステムにおいて、従来の技
術による映像音声符号化多重化装置を実現した場合に、
処理の結果得られる符号化多重化情報の一例を示すもの
である。同図のＡ区間に示されるように、符号化音声情
報と符号化映像情報とが、十分に短い時間間隔で処理さ
れた区間を示す。ところが、Ｂ区間では当該区間の始め
に他のプログラム等、すなわち映像・音声符号化処理以
外のプロセスが実行されていたために、映像・音声の符
号化情報の時間間隔が大きなものとなってしまってお
り、上述のような問題の原因となる多重化情報となって
しまっていることを示す。
【００２１】また、マルチタスクオペレーティングシス
テム上に、符号化手段以外にプログラムが常駐していな
い時であっても、問題が発生する可能性がある。一般的
に、ＣＰＵの動作が別のプログラム（タスク）に切り替
わる時には、なんらかのタスク切り替えのための作業が
必要となる。この作業時間の占める割合は、タスク切り
替えが頻繁に行われれば行われるほど増大し、トータル
での性能低下を招く。したがって、映像と音声とを細か
く交互に並べた符号化映像音声多重化情報を得ようとす
ると、従来例の構成では、音声符号化手段と映像符号化
手段とを頻繁にタスク切り替えしなければならず、タス
ク切り替えの作業時間により性能低下を招き、結果的に
タスク切り替えの時間までに符号化処理が間に合わず、
映像や音途切れの原因となる可能性がある。
【００２２】本発明は、上記の問題に鑑みてなされたも
のであり、映像と音声の両者の符号化をマルチタスクオ
ペレーティングシステム上で動作するソフトウエアプロ
グラムとして実現し、かつ、任意の単位で符号化映像情
報と符号化音声情報とが交互に並べられた符号化映像音
声多重化情報を得ることのできる映像音声符号化多重化
方法を提供することを目的とする。
【００２３】また、本発明は、映像と音声の両者の符号
化手段をマルチタスクオペレーティングシステム上で動
作するソフトウエアプログラムとして実現し、かつ、任
意の単位で符号化映像情報と符号化音声情報とが交互に
並べられた符号化映像音声多重化情報を得ることのでき
る映像音声符号化多重化装置を提供することを目的とす
る。
【００２４】また、本発明は、マルチタスクオペレーテ
ィングシステムを有するコンピュータシステムにおい
て、映像と音声の両者の符号化をソフトウエアプログラ
ムによって行い、かつ、任意の単位で符号化映像情報と
符号化音声情報とが交互に並べられた符号化映像音声多
重化情報を得ることのできる映像音声符号化多重化プロ
グラムの記録媒体を提供することを目的とする。
【００２５】
【課題を解決するための手段】上記目的を達成するため
に、請求項１にかかるマルチメディアデータ符号化多重
化方法は、デジタル化された映像、及びデジタル化され
た音声を含むデジタルマルチメディアデータが、符号化
され、時分割多重化されたマルチメディアデータ符号化
多重化情報を得るマルチメディアデータ符号化多重化方
法において、上記デジタル化された、デジタルマルチメ
ディアデータを符号化して、その再生時間がＴであり、
その量がＶである符号化マルチメディア情報を生成し、
上記再生時間Ｔ、および上記量Ｖに基づいてブロックレ
ート情報を生成するマルチメディアデータ符号化ステッ
プと、上記マルチメディアデータ符号化ステップにおい
て生成された上記符号化マルチメディア情報と、上記ブ
ロックレート情報とを、一時蓄積用記憶手段に一時蓄積
する符号化マルチメディア情報バッファリングステップ
と、上記一時蓄積されたブロックレート情報を用いて取
得される、上記時分割多重化における時間間隔を示す同
期間隔時間情報に対応する量の、上記一時蓄積された符
号化マルチメディア情報を読み出す符号化マルチメディ
ア情報読み出しステップと、上記符号化マルチメディア
読み出しステップにおいて読み出された符号化マルチメ
ディア情報に対して、多重化処理を行ってマルチメディ
アデータ符号化多重化情報を生成する符号化マルチメデ
ィア情報同期ステップとを含むものである。
【００２６】また、請求項２にかかるマルチメディアデ
ータ符号化多重化方法は、請求項１の方法において、上
記符号化マルチメディア情報バッファリングステップで
は、上記一時蓄積用記憶手段をリングバッファとして上
記一時蓄積するものであり、上記符号化マルチメディア
情報読み出しステップでは、上記一時蓄積用記憶手段を
リングバッファとして上記読み出しを行い、上記読み出
した符号化マルチメディア情報を削除するものである。
【００２７】また、請求項３にかかるマルチメディアデ
ータ符号化多重化方法は、請求項１または２の方法にお
いて、上記符号化マルチメディア情報同期ステップで
は、上記ブロックレート情報に含まれる、上記再生時間
Ｔを、上記同期間隔時間情報とし、これを上記符号化マ
ルチメディア情報読み出しステップに出力するものであ
る。
【００２８】また、請求項４にかかるマルチメディアデ
ータ符号化多重化方法は、請求項１ないし３のいずれか
の方法において、上記マルチメディアデータ符号化ステ
ップでは、上記ブロックレート情報として、上記符号化
マルチメディア情報の単位時間相当量を表す符号化マル
チメディア情報単位時間量を生成するものであり、上記
符号化マルチメディア情報読み出し手段は、上記符号化
マルチメディア情報単位時間量に基づいて、上記読み出
す量を決定するものである。
【００２９】また、請求項５にかかるマルチメディアデ
ータ符号化多重化方法は、デジタル化された映像、及び
デジタル化された音声を含むデジタルマルチメディアデ
ータが、符号化され、時分割多重化されたマルチメディ
アデータ符号化多重化情報を得るマルチメディアデータ
符号化多重化方法において、上記デジタル化された、デ
ジタルマルチメディアデータを符号化して、その再生時
間がＴであり、その量がＶである符号化マルチメディア
情報を生成するマルチメディアデータ符号化ステップ
と、設定された単位再生時間に対応する符号化マルチメ
ディア情報の量を示す符号化マルチメディア情報単位量
を用いて、上記マルチメディアデータ符号化ステップに
おいて生成された符号化マルチメディア情報に対して、
上記符号化マルチメディア情報単位量ごとに分割して一
時蓄積用記憶手段に一時蓄積する符号化マルチメディア
情報バッファリングステップと、上記一時蓄積された符
号化マルチメディア情報を読み出して、マルチメディア
データ符号化多重化情報を生成する符号化マルチメディ
ア情報同期ステップとを含むものである。
【００３０】また、請求項６にかかるマルチメディアデ
ータ符号化多重化方法は、請求項５の方法において、上
記マルチメディアデータ符号化ステップは、映像がデジ
タル化された、複数の静止画像情報からなる原映像情報
を符号化処理し、再生時間がＴｖであり、量がＶｖであ
る符号化映像情報を生成する映像符号化ステップと、音
声がデジタル化された原音声情報を符号化処理し、再生
時間がＴａであり、量がＶａである符号化音声情報を生
成する音声符号化ステップとを含むものであり、上記マ
ルチメディアバッファリングステップは、上記再生時間
Ｔｖに基づいて定められる再生時刻情報と、上記符号化
マルチメディア単位量の上記符号化映像情報とを、上記
一時蓄積用記憶手段上にすでに一時蓄積された符号化音
声情報同士の間隙部位が存在すれば当該間隙部位に、上
記間隙部位が存在しなければ直前に一時蓄積された符号
化音声情報に後続し、符号化音声情報の上記単位量分に
相当するだけ間隙をおいた部位に一時蓄積する映像バッ
ファリングステップと、上記再生時間Ｔａに基づいて定
められる再生時刻情報と、上記符号化マルチメディア単
位量の上記符号化音声情報とを、上記一時蓄積用記憶手
段上にすでに一時蓄積された符号化映像情報同士の間隙
部位が存在すれば当該間隙部位に、上記間隙部位が存在
しなければ直前に一時蓄積された符号化映像情報に後続
し、符号化映像情報の上記単位量分に相当するだけ間隙
をおいた部位に一時蓄積する音声バッファリングステッ
プとを含むものであり、上記符号化マルチメディア同期
ステップでは、上記一時蓄積用記憶手段において、上記
符号化映像情報、および上記符号化音声情報が間隙なく
一時蓄積された部分を読み出すものである。
【００３１】また、請求項７にかかるマルチメディアデ
ータ符号化多重化方法は、請求項５または６の方法にお
いて、上記符号化マルチメディア情報バッファリングス
テップでは、上記一時蓄積用記憶手段をリングバッファ
として上記一時蓄積するものであり、上記符号化マルチ
メディア情報読み出しステップでは、上記一時蓄積用記
憶手段をリングバッファとして上記読み出しを行い、上
記読み出した符号化マルチメディアデータを削除するも
のである。
【００３２】また、請求項８にかかるマルチメディアデ
ータ符号化多重化方法は、請求項５ないし７のいずれか
の方法において、上記一時蓄積用記憶手段上で、ある再
生時刻に再生すべき符号化音声情報を蓄積した位置であ
る音声蓄積位置と、当該再生時刻において再生すべき符
号化映像情報を蓄積した映像蓄積位置との差を蓄積位置
誤差として検出する蓄積位置誤差検出処理と、上記誤差
検出処理によって検出した蓄積位置誤差を補正する蓄積
位置誤差補正処理とを、定められた時間間隔をおいて行
う蓄積位置誤差補正ステップをさらに備えたものであ
る。
【００３３】また、請求項９にかかるマルチメディアデ
ータ符号化多重化方法は、請求項８の方法において、上
記蓄積位置誤差補正ステップの上記蓄積位置誤差補正処
理では、上記一時蓄積用記憶手段において、所定の符号
化マルチメディア情報を蓄積することにより行うもので
ある。
【００３４】また、請求項１０にかかるマルチメディア
データ符号化多重化方法は、請求項８の方法において、
上記蓄積位置誤差補正ステップの上記蓄積位置誤差補正
処理では、上記一時蓄積用記憶手段を一時的に拡大す
る、追加蓄積位置を設定することにより行うものであ
る。
【００３５】また、請求項１１にかかるマルチメディア
データ符号化多重化方法は、請求項１ないし１０のいず
れかの方法において、上記符号化マルチメディア情報バ
ッファリングステップにおいて、一時蓄積した符号化マ
ルチメディア情報の量が一定量を超えた場合に、上記一
時蓄積した符号化マルチメディアデータ量に基づいて、
ダミー情報挿入時間を算出し、上記符号化マルチメディ
ア情報バッファリングステップと、後述するダミー情報
挿入ステップとに出力する途切れ防止ステップと、上記
ダミー情報挿入時間が入力された場合、上記ダミー情報
挿入時間に相当する量の符号化マルチメディア情報を生
成し、上記符号化マルチメディア情報バッファリングス
テップにおいて一時蓄積されるように出力するダミー情
報挿入ステップとをさらに備え、上記符号化マルチメデ
ィア情報バッファリングステップでは、上記ダミー情報
挿入時間が入力された場合、上記マルチメディアデータ
符号化ステップにおいて生成される上記符号化マルチメ
ディア情報を、上記ダミー情報挿入時間に相当する量だ
け、一時蓄積せずに廃棄するものである。
【００３６】また、請求項１２にかかるマルチメディア
データ符号化多重化方法は、請求項１ないし１１のいず
れかの方法において、上記符号化マルチメディア情報バ
ッファリングステップにおいて、一時蓄積した符号化マ
ルチメディア情報の量が一定量を超えた場合に、上記一
時蓄積した符号化マルチメディアデータ量に基づいて、
ダミー情報挿入時間を算出し、上記符号化マルチメディ
アデータ符号化ステップと、後述するダミー情報挿入ス
テップとに出力する途切れ防止ステップと、上記ダミー
情報挿入時間が入力された場合、上記ダミー情報挿入時
間に相当する符号化マルチメディア情報を、上記符号化
マルチメディアバッファリングステップにおいて一時蓄
積されるように出力するダミー情報挿入ステップとをさ
らに備え、上記マルチメディアデータ符号化ステップで
は、上記ダミー情報挿入時間が入力された場合、当該ダ
ミー情報挿入時間に相当する量のデジタルマルチメディ
アデータを符号化せずに廃棄するものである。
【００３７】また、請求項１３にかかるマルチメディア
データ符号化多重化方法は、請求項１１の方法におい
て、上記マルチメディアデータ符号化ステップでは、上
記デジタルマルチメディアデータに対して、単独で復号
処理をすることができる独立符号化情報と、他の符号化
マルチメディア情報を参照することにより復号処理をす
ることができる差分符号化情報とを生成する符号化処理
を行い、上記独立符号化情報と、上記差分符号化情報と
からなる上記符号化マルチメディア情報を生成するもの
であり、上記符号化マルチメディア情報バッファリング
ステップでは、上記ダミー情報挿入時間に相当する量の
符号化マルチメディア情報を一時蓄積せずに廃棄した
後、後続の上記差分符号化情報を、上記独立符号化情報
に変換して一時蓄積するものである。
【００３８】また、請求項１４にかかるマルチメディア
データ符号化多重化方法は、請求項１２の方法におい
て、上記マルチメディアデータ符号化ステップでは、上
記デジタルマルチメディアデータに対して、単独で復号
処理をすることができる独立符号化情報と、他の符号化
マルチメディア情報を参照することにより復号処理をす
ることができる差分符号化情報とを生成する符号化処理
を行い、上記独立符号化情報と、上記差分符号化情報と
からなる上記符号化マルチメディア情報を生成するもの
であり、上記途切れ防止ステップでは、上記一時蓄積量
に基づいて決定されるダミー情報挿入時間を算出した
後、上記マルチメディアデータ符号化ステップにおい
て、符号化せずに廃棄されるデジタルマルチメディアデ
ータに後続する、上記差分符号化情報とされるべきデジ
タルマルチメディアデータの符号化処理に相当する時間
である挿入修正時間を算出し、上記ダミー情報挿入時間
に対して、上記挿入修正時間の加算処理による修正を行
うものである。
【００３９】また、請求項１５にかかるマルチメディア
データ符号化多重化方法は、請求項１ないし１４のいず
れかの方法において、当該符号化多重化処理を実行する
装置自体の性能を判定し、上記判定の結果に従って、上
記符号化マルチメディア情報バッファリング手段の用い
る一時蓄積用記憶手段手段の量を決定する、バッファ量
決定ステップをさらに備えたものである。
【００４０】また、請求項１６にかかるマルチメディア
データ符号化多重化装置は、デジタル化された映像、及
びデジタル化された音声を含むデジタルマルチメディア
データが、符号化され、時分割多重化されたマルチメデ
ィアデータ符号化多重化情報を得るマルチメディアデー
タ符号化多重化装置において、情報を記憶するものであ
り、情報の一時的な蓄積に用いられる一時蓄積用記憶手
段と、上記デジタル化された、デジタルマルチメディア
データを符号化して、その再生時間がＴであり、その量
がＶである符号化マルチメディア情報を生成し、上記再
生時間Ｔ、および上記量Ｖに基づいてブロックレート情
報を生成するマルチメディアデータ符号化手段と、上記
マルチメディアデータ符号化手段において生成された上
記符号化マルチメディア情報と、上記ブロックレート情
報とを、上記一時蓄積用記憶手段に一時蓄積する符号化
マルチメディア情報バッファリング手段と、上記一時蓄
積されたブロックレート情報を用いて取得される、上記
時分割多重化における時間間隔を示す同期間隔時間情報
に対応する量の、上記一時蓄積された符号化マルチメデ
ィア情報を読み出す符号化マルチメディア情報読み出し
手段と、上記符号化マルチメディア読み出し手段におい
て読み出された符号化マルチメディア情報に対して、上
記ブロックレート情報に基づいて取得される上記再生時
刻情報を付与し、多重化処理を行ってマルチメディアデ
ータ符号化多重化情報を生成する符号化マルチメディア
情報同期手段とを備えたものである。
【００４１】また、請求項１７にかかるマルチメディア
データ符号化多重化装置は、デジタル化された映像、及
びデジタル化された音声を含むデジタルマルチメディア
データが、符号化され、時分割多重化されたマルチメデ
ィアデータ符号化多重化情報を得るマルチメディアデー
タ符号化多重化装置において、情報を記憶するものであ
り、情報の一時的な蓄積に用いられる一時蓄積用記憶手
段と、上記デジタル化された、デジタルマルチメディア
データを符号化して、その再生時間がＴであり、その量
がＶである符号化マルチメディア情報を生成するマルチ
メディアデータ符号化手段と、設定された単位再生時間
に対応する符号化マルチメディア情報の量を示す符号化
マルチメディア情報単位量を用いて、上記マルチメディ
アデータ符号化手段において生成された符号化マルチメ
ディア情報に対して、上記符号化マルチメディア情報単
位量ごとに分割して一時蓄積用記憶手段に一時蓄積する
符号化マルチメディア情報バッファリング手段と、上記
一時蓄積された符号化マルチメディア情報を読み出し
て、マルチメディアデータ符号化多重化情報を生成する
符号化マルチメディア情報同期手段とを備えたものであ
る。
【００４２】また、請求項１８にかかるマルチメディア
データ符号化多重化プログラム記録媒体は、デジタル化
された映像、及びデジタル化された音声を含むデジタル
マルチメディアデータが、符号化され、時分割多重化さ
れたマルチメディアデータ符号化多重化情報を得るマル
チメディアデータ符号化多重化プログラムを記録したプ
ログラム記録媒体において、上記デジタル化された、デ
ジタルマルチメディアデータを符号化して、その再生時
間がＴであり、その量がＶである符号化マルチメディア
情報を生成し、上記再生時間Ｔ、および上記量Ｖに基づ
いてブロックレート情報を生成するマルチメディアデー
タ符号化ステップと、上記マルチメディアデータ符号化
ステップにおいて生成された上記符号化マルチメディア
情報と、上記ブロックレート情報とを、一時蓄積用記憶
手段に一時蓄積する符号化マルチメディア情報バッファ
リングステップと、上記一時蓄積されたブロックレート
情報を用いて取得される、上記時分割多重化における時
間間隔を示す同期間隔時間情報に対応する量の、上記一
時蓄積された符号化マルチメディア情報を読み出す符号
化マルチメディア情報読み出しステップと、上記符号化
マルチメディア読み出しステップにおいて読み出された
符号化マルチメディア情報に対して、上記ブロックレー
ト情報に基づいて取得される上記再生時刻情報を付与
し、多重化処理を行ってマルチメディアデータ符号化多
重化情報を生成する符号化マルチメディア情報同期ステ
ップとを含むマルチメディアデータ符号化多重化プログ
ラムを記録したものである。
【００４３】また、請求項１９にかかるマルチメディア
データ符号化多重化プログラム記録媒体は、デジタル化
された映像、及びデジタル化された音声を含むデジタル
マルチメディアデータが、符号化され、時分割多重化さ
れたマルチメディアデータ符号化多重化情報を得るマル
チメディアデータ符号化多重化プログラムを記録したプ
ログラム記録媒体において、上記デジタル化された、デ
ジタルマルチメディアデータを符号化して、その再生時
間がＴであり、その量がＶである符号化マルチメディア
情報を生成するマルチメディアデータ符号化ステップ
と、設定された単位再生時間に対応する符号化マルチメ
ディア情報の量を示す符号化マルチメディア情報単位量
を用いて、上記マルチメディアデータ符号化ステップに
おいて生成された符号化マルチメディア情報に対して、
上記符号化マルチメディア情報単位量ごとに分割して一
時蓄積用記憶手段に一時蓄積する符号化マルチメディア
情報バッファリングステップと、上記一時蓄積された符
号化マルチメディア情報を読み出して、マルチメディア
データ符号化多重化情報を生成する符号化マルチメディ
ア情報同期ステップとを含む上記マルチメディアデータ
符号化多重化プログラムを記録したものである。
【００４４】
【発明の実施の形態】
実施の形態１．本発明の実施の形態１による映像音声符
号化多重化装置は、映像、及び音声の符号化情報をバッ
ファに蓄え、一定量に達したとき取り出して符号化映像
音声多重化情報を得るものである。図１は、本発明の実
施の形態１による映像音声符号化多重化装置の構成を示
すブロック図である。図示するように、本実施の形態１
による符号化多重化装置は、映像音声入力手段１０１、
音声キャプチャ手段１０２、音声符号化手段１０３、音
声バッファリング手段１０４、映像キャプチャ手段１０
６、映像符号化手段１０７、映像バッファリング手段１
０８、映像音声同期手段１１０、ファイル管理手段１１
２、符号化音声読み出し手段１１３、及び符号化映像読
み出し手段１１５を備えたものである。
【００４５】同図において、映像音声入力手段１０１
は、例えばビデオカメラにおいて実現され、映像・音声
を取り込み、アナログ音声情報Ｓ１５０とアナログ映像
情報Ｓ１６０とに分けて出力するものである。音声キャ
プチャ手段１０２は、映像音声入力手段１０１から出力
されたアナログ音声情報Ｓ１５０を入力し、離散的なデ
ジタルデータである原音声情報Ｓ１５１として出力す
る。映像キャプチャ手段１０６は、映像音声入力手段１
０１から出力されたアナログ映像情報Ｓ１６０を入力
し、離散的なデジタルデータからなり、あらかじめ定義
された解像度を持つ単位時間毎の複数の静止画像情報か
らなるデジタルの原映像情報Ｓ１６１として出力する。
音声キャプチャ手段１０２，及び映像キャプチャ手段１
０６は、一般的なパーソナルコンピュータシステムにお
いて、ビデオキャプチャボードとして実現される。
【００４６】音声符号化手段１０３は、音声キャプチャ
手段１０２より出力された原音声情報Ｓ１５１を入力
し、冗長な情報を除いて符号化することで圧縮し、符号
化音声情報Ｓ１５２を出力する。映像符号化手段１０７
は、映像キャプチャ手段１０６より出力された原映像情
報Ｓ１６１を入力し、冗長な情報を除いて符号化するこ
とで圧縮し、符号化映像情報Ｓ１６２を出力する。映像
符号化手段１０７は、また、符号化映像情報Ｓ１６２の
大きさと再生時間とを示す情報である映像ブロックレー
ト情報Ｓ２０３を作成して、これを符号化映像情報Ｓ１
６２とともに出力する。本実施の形態においては、音声
符号化手段１０３は、入力される原音声情報Ｓ１５１に
よらず、常に一定のビットレート（単位時間あたりの情
報量）192Kbit/sec(Kbps) において、符号化音声情報Ｓ
１５２を出力するものとする。一方、映像符号化手段１
０７は、入力される原映像情報Ｓ１６１により、たえず
異なったビットレートで符号化映像情報Ｓ１６２を出力
するものであって、音声符号化手段のように、決まった
ビットレートで出力するものではないこととする。
【００４７】音声バッファリング手段１０４は、音声符
号化手段１０３が出力した符号化音声情報Ｓ１５２を、
内部に持つ音声バッファに一時的に蓄積する。映像バッ
ファリング手段１０８は、映像符号化手段１０７が出力
した符号化映像情報Ｓ１６２を、内部に持つ映像バッフ
ァに一時的に蓄積する。音声バッファ、および映像バッ
ファとしては、半導体メモリ等の高速な記憶装置によっ
て実現される。かかる一時的蓄積に用いられるバッファ
としてはFIFO(First-In-First-Out)構造をとること、す
なわち、先入れ先出しの処理を行い得るものであること
が望ましいものであり、かかるFIFO構造は、具体的に
は、リングバッファ等のアルゴリズムに従うことによっ
て実現することが可能である。ただし、必ずしもリング
バッファ等の特定の手法を必要とするものではない。
【００４８】音声バッファリング手段１０４は、音声バ
ッファに蓄積された符号化音声情報の量を符号化音声バ
ッファ量Ｓ１０５として保持し、音声バッファに対して
の符号化音声情報の蓄積、または音声バッファからの符
号化音声情報の読み出し、削除があった場合には、この
符号化音声バッファ量Ｓ１０５の更新を行う。映像バッ
ファリング手段１０７はまた、映像符号化手段１０７か
ら出力された映像ブロックレート情報Ｓ２０３を符号化
映像情報Ｓ１６２とともに一時蓄積する。
【００４９】符号化音声読み出し手段１１３は、後述す
る映像音声同期手段１１０が出力する音声時間情報Ｓ１
１４に基づいて、音声バッファリング手段１０４が一時
蓄積した符号化音声情報を読み出して、この読み出した
符号化音声情報Ｓ１５３を映像音声同期手段１１０に出
力する。符号化映像読み出し手段１１５は、後述する映
像音声同期手段１１０が出力する映像時間情報Ｓ１１６
に基づいて、映像バッファリング手段１０８が一時蓄積
した符号化映像情報を読み出して、この読み出した符号
化映像情報Ｓ１６３を映像音声同期手段１１０に出力す
る。本実施の形態では、符号化音声情報は常に同一のビ
ットレート（単位時間あたりの情報量）で音声符号化手
段１０３から出力されるものとするので、符号化音声読
み出し手段１１３は、音声時間情報１１４に対して、19
2Kbit を乗算した量だけの符号化音声情報Ｓ１５３を、
音声バッファリング手段１０４から読み出す。また、符
号化映像読み出し手段１１５は、映像時間情報Ｓ１１６
と同一の再生時間に相当する量の符号化映像情報Ｓ１６
３を映像バッファリング手段１０８から読み出すもので
あり、この再生時間相当量を判断するためには、映像符
号化手段１０７が作成した映像ブロックレート情報を用
いるものである。
【００５０】映像音声同期手段１１０は、符号化映像読
み出し手段１１５、及び符号化音声読み出し手段１１３
が読み出した符号化映像情報Ｓ１６３、及び符号化音声
情報Ｓ１５２に対して、それぞれにシーケンスヘッダを
付与し、交互に並べて出力するものであり、その作業の
ための内部バッファ１１１を持つ。内部バッファ１１１
としては、音声・映像用のバッファと同様に高速な記憶
装置が用いられる。ファイル管理手段１１２は、一般的
なオペレーティングシステムではファイルシステムとし
て存在するものであり、保存用記憶装置（一般的にはハ
ードディスク）上のファイルを管理するものであって、
映像音声同期手段１１０より出力された情報Ｓ１７１
を、保存用記憶装置内のファイルに格納する。
【００５１】図２は、本実施の形態１による映像音声符
号化多重化装置による、映像・音声処理の際の動作を説
明するための図である。また、図３は映像バッファリン
グ手段１０８における一時蓄積を説明するための図であ
る。同図において、Ｓ１６２は映像符号化手段１０７に
よって符号化処理された符号化映像情報である。映像符
号化手段１０７は、上述のように映像ブロックレート情
報Ｓ２０３を作成し、これを符号化映像情報Ｓ１６２と
ともに、映像バッファリング手段１０８に出力し、映像
バッファリング手段１０８はこれらを映像バッファに蓄
積する。映像ブロックレート情報Ｓ２０３は、符号化映
像情報のサイズを表す符号化映像量Ｓ２０１と、再生し
た時の再生時間である符号化映像時間情報Ｓ２０２とを
含んだものである。そして、このうち符号化映像時間情
報Ｓ２０２は、映像と音声との多重化における多重化単
位（時間間隔）を示す同期間隔時間情報として用いられ
るものである。
【００５２】このように構成された本実施の形態１によ
る映像音声符号化多重化装置による映像・音声処理の動
作を、図２に沿って、図１、および図３を参照しなが
ら、以下に説明する。まず、図２においてビデオカメラ
１０１が映像・音声をとりこみ、アナログ音声情報Ｓ１
５０とアナログ映像情報Ｓ１６０とに分けて出力する。
そして、音声キャプチャ手段１０２は、アナログ音声情
報Ｓ１５０を入力してデジタル化し、デジタルの原音声
情報Ｓ１５１を出力する。音声符号化手段１０３は、原
音声情報Ｓ１５１を符号化処理し、符号化音声情報Ｓ１
５２を出力する。ここで経過時間は0.05秒であったもの
とし、9.6Kbit の符号化音声情報が出力される。音声バ
ッファリング手段１０３は、この符号化音声情報を蓄積
し、符号化音声バッファ量Ｓ１０５を更新して、上記の
値9.6Kbit とし、これを保持する。
【００５３】一方、映像キャプチャ手段１０６は、アナ
ログ映像情報Ｓ１６０を入力してデジタル化し、デジタ
ルの原映像情報Ｓ１６１を出力する。映像符号化手段１
０７は、原映像情報Ｓ１６１を符号化処理し、符号化映
像情報Ｓ１６２を出力する。ここで経過時間は0.1 秒で
あったものとし、150Kbit の符号化映像情報が出力され
る。映像符号化手段１０７はこの符号化処理の結果に基
づいて、符号化映像情報のサイズを表す符号化映像量
と、再生した時の再生時間である符号化映像時間情報と
からなる映像ブロックレート情報Ｓ２０３を作成し、こ
れを符号化映像情報Ｓ１６２とともに出力する。
【００５４】映像バッファリング手段１０８は、映像ブ
ロックレート情報Ｓ２０３と、符号化映像情報Ｓ１６２
とを映像バッファに蓄積する。この際、映像ブロックレ
ート情報Ｓ２０３の持つ符号化映像時間情報Ｓ２０２に
ついては、後段の処理に用いるために、同期間隔時間情
報Ｓ１０９として保持するものである。そして、映像音
声同期手段１１０は、映像バッファリング手段１０８の
保持する同期間隔時間情報Ｓ１０９を取得して、この値
を音声時間情報Ｓ１１４として、符号化音声読み出し手
段１１３に出力する。同様に、映像音声同期手段１１０
は、同期間隔時間情報Ｓ１０９に基づく映像時間情報Ｓ
１１６を、符号化映像読み出し手段１１５にも出力す
る。この場合には、いずれも「0.1 秒」を示す音声時間
情報Ｓ１１４、および映像時間情報Ｓ１１６が出力され
ることとなる。
【００５５】符号化音声読み出し手段１１３は、「0.1
秒」を示す音声時間情報Ｓ１１４を入力され、0.1 秒に
相当する19.2Kbitの符号化音声情報を読み出すべきこと
を知り、音声バッファリング手段１０４の保持する符号
化音声バッファ量Ｓ１０５を参照して、これと比較す
る。ここでは符号化音声バッファ量Ｓ１０５は、上記の
ように9.6Kbit となっていて、読み出すべき量に満たな
いため、符号化音声読み出し手段１１３は、符号化音声
情報を読み出さない。
【００５６】一方、符号化映像読み出し手段１１５は、
「0.1 秒」を示す映像時間情報Ｓ１１６を入力され、0.
1 秒に相当する符号化映像情報を読み出すべきことを知
り、映像バッファリング手段１０８の保持する映像ブロ
ックレート情報Ｓ２０３を参照する。そして、符号化映
像読み出し手段１１５は、映像バッファリング手段１０
８の映像バッファに蓄積された符号化映像情報が、0.1
秒分であり、その量は150Kbit であることを知り、150K
bit 分の符号化映像情報Ｓ１６３を読み出し、当該読み
出した分の符号化映像情報Ｓ１６２と、映像ブロックレ
ート情報Ｓ２０３とを映像バッファリング手段１０８の
映像バッファより削除する。符号化映像読み出し手段１
１５は、読み出した符号化映像情報Ｓ１６３を映像音声
同期手段１１０に出力し、映像音声同期手段１１０は、
符号化映像情報Ｓ１６３を内部バッファ１１１に格納す
る。
【００５７】ここで、映像符号化処理が実行される。映
像符号化手段１０７は、原映像情報Ｓ１６１を符号化処
理し、符号化映像情報Ｓ１６２を出力する。ここで経過
時間は0.2 秒であったものとし、200Kbit の符号化映像
情報が出力されたとする。映像符号化手段１０７はこの
符号化処理の結果に基づいて、符号化映像情報のサイズ
を表す符号化映像量と、再生した時の再生時間である符
号化映像時間情報とからなる映像ブロックレート情報Ｓ
２０３を作成し、これを符号化映像情報Ｓ１６２ととも
に出力する。映像バッファリング手段１０８は、映像ブ
ロックレート情報Ｓ２０３と、符号化映像情報Ｓ１６２
とを映像バッファに蓄積する。やはり、映像ブロックレ
ート情報Ｓ２０３の持つ符号化映像時間情報Ｓ２０２に
ついては、同期間隔時間情報Ｓ１０９として保持する。
【００５８】一方、音声符号化も実行され、音声符号化
手段１０３は、原音声情報Ｓ１５１を符号化処理し、符
号化音声情報Ｓ１５２を出力する。ここで経過時間は0.
35秒であったものとし、67.2Kbitの符号化音声情報が出
力される。音声バッファリング手段１０３は、この符号
化音声情報を蓄積し、符号化音声バッファ量Ｓ１０５を
76.8Kbitに更新して、これを保持する。
【００５９】符号化音声読み出し手段１１３は、「0.1
秒」を示す音声時間情報Ｓ１１４を入力されており、0.
1 秒に相当する19.2Kbitの符号化音声情報を読み出すべ
きである。ここで、音声バッファリング手段１０４の保
持する符号化音声バッファ量Ｓ１０５を参照すると、上
記のように76.8Kbitとなっていて、読み出すべき量を超
えているため、符号化音声読み出し手段１１３は、19.2
Kbitの符号化音声情報Ｓ１５３を読み出し、当該読み出
した分の符号化音声情報Ｓ１５２を音声バッファリング
手段１０４の音声バッファから削除する。音声バッファ
リング手段１０４は、音声バッファからの削除があった
ので、符号化音声バッファ量Ｓ１０５を57.6Kbitに更新
して、これを保持する。
【００６０】符号化音声読み出し手段１１３は、読み出
した符号化音声情報Ｓ１５３を映像音声同期手段１１０
に出力し、映像音声同期手段１１０は、符号化音声情報
Ｓ１５３を内部バッファ１１１に格納する。この際、映
像音声同期手段１１０は、符号化音声情報Ｓ１５３を前
回入力された符号化映像情報と並べて、映像音声符号化
多重化情報Ｓ１７０を作成し、これをファイル管理手段
１１２に出力する。ファイル管理手段１１２は、映像音
声符号化多重化情報Ｓ１７０をファイルとして格納し、
またはファイルに追加格納する。図２に示す場合におい
ては、追加される映像音声符号化多重化情報Ｓ１７０
は、同期間隔時間情報Ｓ１０９に対応する量Ｓ１の符号
化映像情報と、同じく同期間隔時間情報Ｓ１０９に対応
する量Ｓ２の符号化音声情報とから構成されたものとな
っている。
【００６１】このように、本実施の形態１の映像音声符
号化多重化装置によれば、原映像情報Ｓ１６１に対する
符号化処理をして符号化映像情報Ｓ１６２を生成すると
ともに、当該符号化映像情報Ｓ１６２の大きさと再生時
間とを示す情報である映像ブロックレート情報Ｓ２０３
を作成して、これを符号化映像情報Ｓ１６２とともに出
力する映像符号化手段１０７と、これらを一時蓄積する
映像バッファリング手段１０８と、符号化音声情報を一
時蓄積する音声バッファリング手段１０４と、映像ブロ
ックレート情報Ｓ２０３に含まれる時間情報を用いて、
多重化処理に用いる同期間隔時間情報Ｓ１０９とし、ま
た、映像時間情報Ｓ１１６、および音声時間情報Ｓ１１
４として出力する音声同期手段１１０と、上記映像時間
情報Ｓ１１６に対応する量だけ符号化映像情報を読み出
す符号化映像読み出し手段１１５と、上記音声時間情報
Ｓ１１４に対応する量だけ符号化音声情報を読み出す符
号化音声読み出し手段１１３とを備えたことで、符号化
された情報を一旦バッファに貯え、映像と音声が交互に
出力できる量に達してから、両者を読み出し、並べ替え
を行った後、映像音声符号化多重化情報として、出力す
る。このため、音声と映像の符号化処理が常に均等にな
らなくても、映像と音声を同じ再生時間の単位で多重化
することができる。しかも、本実施の形態１では、符号
化映像情報とともに、映像ブロックレート情報も一時的
に蓄積し、それを用いて多重化を行うため、符号化映像
情報が固定ビットレートでなく、原映像情報やその他の
要因で単位時間あたり量が変わる変動ビットレートであ
っても、正確な映像と音声の多重化を行うことができ
る。
【００６２】なお、本実施の形態１では、映像音声符号
化多重化情報は記憶装置に保存するものとしたが、これ
は、ネットワークを介して外部に送信することもでき、
同様の効果が得られるので、転送量が動的に変わるネッ
トワークにデータを送信する際のレート制御などにも、
本発明は特に有効である。
【００６３】また、本実施の形態１によれば、符号化映
像情報が変動ビットレートとして出力され、符号化音声
情報は固定ビットレートで出力されるとしたが、このよ
うな形態に限定されるものではない。符号化音声情報が
変動ビットレートで出力されても、映像と同じように音
声ブロックレート情報を符号化音声情報と共に出力する
ことで、正確な映像と音声の多重化が行える。この場
合、映像と同じように、同期間隔時間情報として、音声
ブロックレート情報に含まれる時間情報( 符号化音声時
間情報) を用いてもよい。
【００６４】また、本実施の形態１によれば、同期間隔
時間情報として、映像ブロックレート情報に含まれる符
号化映像時間情報を用いるものとしたが、あらかじめ決
められた値を同期間隔時間情報として用いるものとする
ことも可能である。この場合には、該同期間隔時間情報
に近い値となるだけの符号化映像時間情報を用いること
として、該符号化映像時間情報と対応するだけの符号化
映像情報を読み出し、多重化に用いるものとすることが
できる。例えば、同期間隔時間情報が0.5 秒で、符号化
映像時間情報が0.3 秒のブロックと、符号化映像時間情
報が0.2 秒のブロックとがあった場合は、0.3 秒のブロ
ックに相当する符号化映像情報と、0. 2秒のブロックに
相当する符号化映像情報とを、同時に読み出せば良く、
本実施の形態１に示したような映像音声符号化多重化情
報を得ることができる。
【００６５】実施の形態２．本発明の実施の形態２によ
る映像音声符号化多重化装置は、実施の形態１と同様に
バッファに蓄えた符号化情報を、一定量に達したとき取
り出して多重化情報を得るものである。図４は、本発明
の実施の形態２による映像音声符号化多重化装置の構成
を示すブロック図である。図示するように、本実施の形
態２による符号化多重化装置は、映像音声入力手段１０
１、音声キャプチャ手段１０２、音声符号化手段１０
３、音声バッファリング手段１０４、映像キャプチャ手
段１０６、映像バッファリング手段１０８、映像音声同
期手段１１０、ファイル管理手段１１２、符号化音声読
み出し手段１１３、映像符号化手段３０１、及び符号化
映像読み出し手段３０２を備えたものである。
【００６６】図において、映像符号化手段３０１は、実
施の形態１における映像符号化手段１０７と同様に原映
像情報Ｓ１６１に対して符号化処理を行い、符号化映像
情報Ｓ１６２を生成するとともに、後述するように、当
該符号化映像情報Ｓ１６２についての、単位時間当たり
の量を示す符号化映像単位時間量Ｓ４０１（図５、およ
び図６に示す）を作成して、これを映像バッファリング
手段１０８に出力する。映像バッファリング手段１０８
は、符号化映像情報Ｓ１６２と、符号化映像単位時間量
Ｓ４０１とを蓄積する。符号化映像読み出し手段３０２
は、実施の形態１と同様に、入力される映像時間情報Ｓ
１１４に対応する量だけの符号化映像情報を読み出し、
また削除を行うものであるが、上記の読み出すべき量の
符号化映像情報の量を調査する際に、符号化映像単位時
間量Ｓ４０１を用いるものである。映像音声同期手段１
１０は、あらかじめ設定された値を有する同期間隔時間
情報Ｓ３０３を用いて、映像時間情報Ｓ１１４、および
音声時間情報Ｓ１１６として出力する。ここでは、同期
間隔時間情報Ｓ３０３は、0.1 秒に設定されているもの
とする。
【００６７】映像音声入力手段１０１、音声キャプチャ
手段１０２、音声符号化手段１０３、音声バッファリン
グ手段１０４、映像キャプチャ手段１０６、ファイル管
理手段１１２、および符号化音声読み出し手段１１３に
ついては実施の形態１と同様であり、説明を省略する。
また、実施の形態１と同様に、符号化音声情報Ｓ１５２
は、固定ビットレート192Kbps で音声符号化手段１０３
から出力されるものであり、符号化映像情報Ｓ１６２に
ついては、変動ビットレートで出力されるものとする。
【００６８】図５は、本実施の形態２による映像音声符
号化多重化装置による、映像・音声処理の際の動作を説
明するための図である。また、図６は映像バッファリン
グ手段１０８における一時蓄積を説明するための図であ
る。同図において、Ｓ１６２ａ、およびＳ１６２ｂは、
映像符号化手段３０１によって符号化処理された符号化
映像情報である。映像符号化手段３０１は、上述のよう
に符号化映像単位時間量Ｓ４０１を作成し、これを符号
化映像情報Ｓ１６２ａ、およびｂとともに、映像バッフ
ァリング手段１０８に出力し、映像バッファリング手段
１０８はこれらを映像バッファに蓄積する。図示するよ
うに、本実施の形態２においては、一つ以上の符号化映
像単位時間量Ｓ４０１が一時蓄積され得るものである。
同図に示すように、Ｓ４０１が示す量「150Kbit 」およ
び「200Kbit 」という情報は、蓄積された符号化映像情
報Ｓ１６２の最初の単位時間分（0.1 秒分）であるＳ１
６２ａの量は150Kbit であること、そして次の単位時間
分（0.1 秒分）であるＳ１６２ｂの量は200Kbit である
ことを意味している。すなわち、符号化映像単位時間量
Ｓ４０１は、映像符号化手段３０１が出力した符号化映
像情報Ｓ１６２を、その有する再生時間が単位時間（0.
1 秒）となるように分割するものとし（この例ではＳ１
６２→Ｓ１６２ａとＳ１６２ｂ）、当該分割したそれぞ
れの符号化映像情報（Ｓ１６２ａとＳ１６２ｂ）の量を
示す情報として作成される。
【００６９】このように構成された本実施の形態２によ
る映像音声符号化多重化装置による映像・音声処理の動
作を、図５に沿って、図４、および図６を参照しなが
ら、以下に説明する。まず、図５においてビデオカメラ
１０１が映像・音声をとりこみ、アナログ音声情報Ｓ１
５０とアナログ映像情報Ｓ１６０とに分けて出力する。
そして、音声キャプチャ手段１０２は、アナログ音声情
報Ｓ１５０を入力してデジタル化し、デジタルの原音声
情報Ｓ１５１を出力する。音声符号化手段１０３は、原
音声情報Ｓ１５１を符号化処理し、符号化音声情報Ｓ１
５２を出力する。ここで経過時間は0.05秒であったもの
とし、9.6Kbit の符号化音声情報が出力される。音声バ
ッファリング手段１０３は、この符号化音声情報を蓄積
し、符号化音声バッファ量Ｓ１０５を更新して、上記の
値9.6Kbit とし、これを保持する。
【００７０】一方、映像キャプチャ手段１０６は、アナ
ログ映像情報Ｓ１６０を入力してデジタル化し、デジタ
ルの原映像情報Ｓ１６１を出力する。ここで、他のプロ
グラムの実行があり、映像符号化処理が行われず、原映
像情報Ｓ１６１の出力が続く、という期間が0.2 秒間あ
ったものとする。その後映像符号化処理が実行されると
き、映像符号化手段３０１は0.2 秒分の原映像情報Ｓ１
６１を符号化処理して符号化映像情報Ｓ１６２を生成
し、これを映像バッファリング部１０８に出力する。経
過時間0.2 秒のうち最初の0.1 秒には150Kbit の、次の
0.1 秒には100Kbit の符号化映像情報が出力されたもの
として、映像符号化手段３０１は、「150Kbit 」、およ
び「200Kbit 」を示す符号化映像単位時間量Ｓ４０１を
作成し、これらをやはり映像バッファリング手段１０８
に出力する。映像バッファリング手段１０８は、映像符
号化手段３０１の出力した符号化映像情報Ｓ１６２と、
符号化映像単位時間量Ｓ４０１とを蓄積する。この場合
の蓄積の状態は、先に説明した図６に示すようなものと
なる。
【００７１】映像音声同期手段１１０は、あらかじめ設
定された値「0.1 秒」を有する同期間隔時間情報Ｓ３０
３を用いて、この値を音声時間情報Ｓ１１４として、符
号化音声読み出し手段１１３に、また映像時間情報Ｓ１
１６として、符号化映像読み出し手段１１５に、それぞ
れ出力する。
【００７２】符号化音声読み出し手段１１３は、「0.1
秒」を示す音声時間情報Ｓ１１４を入力され、0.1 秒に
相当する19.2Kbitの符号化音声情報を読み出すべきこと
を知り、音声バッファリング手段１０４の保持する符号
化音声バッファ量Ｓ１０５を参照して、これと比較す
る。ここでは符号化音声バッファ量Ｓ１０５は、上記の
ように9.6Kbit となっていて、読み出すべき量に満たな
いため、符号化音声読み出し手段１１３は、符号化音声
情報を読み出さない。
【００７３】一方、符号化映像読み出し手段１１５は、
「0.1 秒」を示す映像時間情報Ｓ１１６を入力され、0.
1 秒に相当する符号化映像情報を読み出すべきことを知
り、映像バッファリング手段１０８の保持する符号化映
像単位時間量Ｓ４０１を参照する。そして、符号化映像
読み出し手段１１５は、映像バッファリング手段１０８
の映像バッファに蓄積された最初の0.1 秒分の符号化映
像情報の量は150Kbitであることを知り、150Kbit 分の
符号化映像情報を読み出してＳ１６３として映像音声同
期手段１１０に出力し、当該読み出した分の符号化映像
情報Ｓ１６２ａと、Ｓ１６２ａに対応する、「150Kbit
」を示す符号化映像単位時間量Ｓ４０１とを映像バッ
ファリング手段１０８の映像バッファより削除する。映
像音声同期手段１１０は、符号化映像情報Ｓ１６３を内
部バッファ１１１に格納する。
【００７４】ここで、音声符号化が実行され、音声符号
化手段１０３は、原音声情報Ｓ１５１を符号化処理し、
符号化音声情報Ｓ１５２を出力する。ここで経過時間は
0.15秒であったものとし、28.8Kbitの符号化音声情報が
出力される。音声バッファリング手段１０４は、この符
号化音声情報を蓄積し、符号化音声バッファ量Ｓ１０５
を38.4Kbitに更新して、これを保持する。
【００７５】符号化音声読み出し手段１１３は、「0.1
秒」を示す音声時間情報Ｓ１１４を入力されており、0.
1 秒に相当する19.2Kbitの符号化音声情報を読み出すべ
きである。ここで、音声バッファリング手段１０４の保
持する符号化音声バッファ量Ｓ１０５を参照すると、上
記のように38.4Kbitとなっていて、読み出すべき量を超
えているため、符号化音声読み出し手段１１３は、19.2
Kbitの符号化音声情報Ｓ１５３を読み出し、当該読み出
した分の符号化音声情報Ｓ１５２を音声バッファリング
手段１０４の音声バッファから削除する。音声バッファ
リング手段１０４は、音声バッファからの削除があった
ので、符号化音声バッファ量Ｓ１０５を19.2Kbitに更新
して、これを保持する。
【００７６】符号化音声読み出し手段１１３は、読み出
した符号化音声情報Ｓ１５３を映像音声同期手段１１０
に出力し、映像音声同期手段１１０は、符号化音声情報
Ｓ１５３を内部バッファ１１１に格納する。この際、映
像音声同期手段１１０は、符号化音声情報Ｓ１５３を前
回入力された符号化映像情報と並べて、映像音声符号化
多重化情報Ｓ１７０を作成し、これをファイル管理手段
１１２に出力する。ファイル管理手段１１２は、映像音
声符号化多重化情報Ｓ１７０をファイルとして格納し、
またはファイルに追加格納する。図５に示す場合におい
ては、追加される映像音声符号化多重化情報Ｓ１７０
は、同期間隔時間情報Ｓ３０３に対応する量Ｓ１の符号
化映像情報と、同じく同期間隔時間情報Ｓ３０３に対応
する量Ｓ２の符号化音声情報とから構成されたものとな
っている。
【００７７】映像音声同期手段１１０は、再び、同期間
隔時間情報Ｓ３０３の値である「0.1 秒」を示す音声時
間情報Ｓ１１４、および映像時間情報Ｓ１１６を符号化
音声読み出し手段１１３、および符号化映像読み出し手
段３０２に出力する。符号化音声読み出し手段１１３
は、「0.1 秒」を示す音声時間情報Ｓ１１４を入力され
て、先と同様に19.2Kbitの符号化音声情報Ｓ１５３を読
み出し、音声バッファからの削除と、符号化音声バッフ
ァ量Ｓ１０５の更新を行う。符号化音声情報Ｓ１５３が
映像音声同期手段１１０に出力されると、映像音声多重
情報Ｓ１７０の作成と、ファイル管理手段１１２への出
力、そしてファイル管理手段１１２による追加格納とが
先と同様に行われる。
【００７８】このように、本実施の形態２の映像音声符
号化多重化装置によれば、原映像情報Ｓ１６１に対する
符号化処理をして符号化映像情報Ｓ１６２を生成すると
ともに、当該符号化映像情報Ｓ１６２の単位時間当たり
の量を示す情報である符号化映像単位時間量Ｓ４０１を
作成して、これを符号化映像情報Ｓ１６２とともに出力
する映像符号化手段３０１と、これらを一時蓄積する映
像バッファリング手段１０８と、符号化音声情報を一時
蓄積する音声バッファリング手段１０４と、あらかじめ
設定された同期間隔時間情報Ｓ１０９の値を用いて、映
像時間情報Ｓ１１６、および音声時間情報Ｓ１１４とし
て出力する音声同期手段１１０と、上記符号化映像単位
時間量Ｓ４０１を用いて、上記映像時間情報Ｓ１１６に
対応する量だけ符号化映像情報を読み出す符号化映像読
み出し手段１１５と、上記音声時間情報Ｓ１１４に対応
する量だけ符号化音声情報を読み出す符号化音声読み出
し手段１１３とを備えたことで、単位時間に相当する符
号化映像情報の量を示す符号化映像単位時間量を用いる
ことで、映像符号化手段が出力する符号化映像情報の量
によらず、上記単位時間に基づいた間隔において、音声
と映像との多重化が行える。すなわち、音声と映像の符
号化処理が常に均等にならなくても映像と音声を同じ再
生時間の単位で多重化することができるという実施の形
態１による多重化装置による効果に加えて、一回に出力
される符号化情報の単位が大きいものになっても、あら
かじめ設定された任意の単位で、音声と映像の多重化が
行えるという格別の効果が得られる。これにより他のプ
ログラムの動作等の理由により符号化手段の動作のタイ
ミングが間隔の開いたものとなった場合、例えば、映像
符号化手段３０１、および音声符号化手段１０３が動作
を１秒ごとに行ったとした場合においても、映像音声同
期手段は、0.1 秒単位に映像と音声が交互に並べられた
映像音声符号化多重化情報を出力することが可能とな
る。しかも、本実施の形態２では、符号化映像単位時間
量を用いることで、単位時間あたりに相当する量を調べ
て多重化するため、符号化映像情報が固定ビットレート
でなく、原映像情報やその他の要因で単位時間あたり量
が変わる変動ビットレートであっても、正確な映像と音
声の多重化を行うことができる。
【００７９】なお、実施の形態１と同様に本実施の形態
２でも、符号化映像情報が変動ビットレートとして出力
され、符号化音声情報は固定ビットレートで出力される
としたが、このような形態に限定されるものではない。
符号化音声情報が変動ビットレートで出力されても、映
像と同じように符号化音声単位時間量を符号化音声情報
と共に出力することで、正確な映像と音声の多重化が行
える。
【００８０】また、本実施の形態２によれば、同期間隔
時間情報と、符号化映像単位時間量の単位時間とを、同
じ時間(0.1秒) であるとしたが、これは異なる時間とし
ても構わない。この場合には、該同期間隔時間情報に近
い値となるだけの符号化映像時間情報を用いることとし
て、該符号化映像時間情報と対応するだけの符号化映像
情報を読み出して、多重化するものとすることができ
る。例えば、同期間隔時間情報が0.5 秒であり、符号化
映像単位時間量の単位時間が0.1 秒だった場合には、５
個分の符号化映像単位時間量の合計が示す量だけ、符号
化映像情報を同時に読み出せば良く、本実施の形態２に
示したような映像音声符号化多重化情報を得ることがで
きる。
【００８１】実施の形態３．本発明の実施の形態３によ
る映像音声符号化多重化装置は、符号化情報の廃棄、お
よびダミー情報の挿入を行うことにより、バッファあふ
れの防止と多重化処理における同期とを実現するもので
ある。図７は、本発明の実施の形態３による映像音声符
号化多重化装置の構成を示すブロック図である。図示す
るように、本実施の形態３による符号化多重化装置は、
映像音声入力手段１０１、音声キャプチャ手段１０２、
音声符号化手段１０３、音声バッファリング手段１０
４、映像キャプチャ手段１０６、映像符号化手段１０
７、映像音声同期手段１１０、ファイル管理手段１１
２、符号化音声読み出し手段１１３、符号化映像読み出
し手段１１５、符号化音声蓄積時間出力手段５０１、符
号化映像蓄積時間出力手段５０２、音声途切れ防止手段
５０３、ダミー映像挿入手段５０５、および映像バッフ
ァリング手段５０６を備えたものであり、実施の形態１
による映像音声符号化多重化装置に対して、符号化音声
蓄積時間出力手段５０１、符号化映像蓄積時間出力手段
５０２、音声途切れ防止手段５０３、およびダミー映像
挿入手段５０５を追加したものにほぼ相当する構成とな
っている。また、実施の形態１と同様に、符号化音声情
報Ｓ１５２は、固定ビットレート192Kbps で音声符号化
手段１０３から出力されるものであり、符号化映像情報
Ｓ１６２については、変動ビットレートで出力されるも
のとする。
【００８２】符号化音声蓄積時間出力手段５０１は、音
声バッファリング手段１０４の音声バッファに蓄積され
た全符号化音声情報に相当する原音声情報の再生時間を
求めて、これを出力する。上記のように、符号化音声情
報Ｓ１５２は、固定ビットレート192Kbps で出力される
ことから、符号化音声蓄積時間出力手段５０１は、音声
バッファリング手段１０４の音声バッファにおける蓄積
量を示す符号化音声バッファ量Ｓ１０５（図８に示す）
を用いて、固定ビットレートの値192Kbps を除算処理
し、得られた値を出力するものである。
【００８３】符号化映像蓄積時間出力手段５０２は、映
像バッファリング手段１０８の映像バッファに蓄積され
た全符号化映像情報に相当する原映像情報の再生時間を
求めて、これを出力する。本実施の形態３においても、
実施の形態１と同様に、映像符号化手段１０７は、符号
化映像情報Ｓ１６２の大きさと再生時間とを示す情報で
ある映像ブロックレート情報Ｓ２０３を作成して、これ
を符号化映像情報Ｓ１６２とともに出力するものである
ので、符号化映像蓄積時間出力手段５０２は、蓄積され
たすべての映像ブロックレート情報Ｓ２０３に含まれる
符号化映像時間情報Ｓ２０２の和を取得し、これを出力
するものである。
【００８４】音声途切れ防止手段５０３は、音声バッフ
ァリング手段１０４の音声バッファに蓄積される符号化
音声情報の量を監視し、一定量以上になった時に、ダミ
ー映像挿入時間Ｓ５０４を生成して、これを後述するダ
ミー映像挿入手段５０５と、映像バッファリング手段５
０６とに出力するものである。本実施の形態３において
は、上記一定量として音声の３秒分に相当する576Kbit
であるものとする。また、音声途切れ防止手段５０３に
おけるダミー映像挿入時間Ｓ５０４の取得にあたって
は、符号化音声蓄積時間出力手段５０１が出力する時間
（符号化音声蓄積時間）をＴ１、符号化映像蓄積時間出
力手段５０２が出力する時間（符号化映像蓄積時間）を
Ｔ２とし、Ｔ１からＴ２を減じて得られる時間Ｔ３とし
て算出されるものである。
【００８５】ダミー映像挿入手段５０５は、ダミー映像
挿入時間Ｓ５０４が入力されたとき、ダミー符号化映像
情報を作成して、映像バッファリング手段１０８に出力
するものである。また、該ダミー符号化映像情報に添付
する映像ブロックレート情報をも作成して出力するが、
この際映像ブロックレート情報Ｓ２０３に含まれる符号
化映像時間情報Ｓ２０２については、ダミー映像挿入時
間Ｓ５０４を用いて、該ダミー映像挿入時間Ｓ５０４と
同一の値となるよう作成するものである。また本実施の
形態３では、ダミー符号化映像を、ダミー映像挿入時間
Ｓ５０４に相当する再生時間を有し、「前回の静止画像
と同じ」を示す符号である符号化映像情報として作成す
るものとする。
【００８６】映像バッファリング手段５０６は、ダミー
映像挿入時間Ｓ５０４が入力されたとき、該ダミー映像
挿入時間に相当するだけの符号化映像情報を蓄積せずに
廃棄する。映像音声入力手段１０１、音声キャプチャ手
段１０２、音声符号化手段１０３、音声バッファリング
手段１０４、映像キャプチャ手段１０６、ファイル管理
手段１１２、符号化音声読み出し手段１１３、および符
号化映像読み出し手段１１５については実施の形態１と
同様であり、説明を省略する。
【００８７】図８は、本実施の形態１による映像音声符
号化多重化装置による、映像・音声処理の際の動作を説
明するための図である。以下に、本実施の形態３による
映像音声符号化多重化装置による映像・音声処理の動作
を、図８に沿って、図７を参照しながら説明する。ま
ず、図８においてビデオカメラ１０１が映像・音声をと
りこみ、アナログ音声情報Ｓ１５０とアナログ映像情報
Ｓ１６０とに分けて出力する。そして、音声キャプチャ
手段１０２は、アナログ音声情報Ｓ１５０を入力してデ
ジタル化し、デジタルの原音声情報Ｓ１５１を出力す
る。音声符号化手段１０３は、原音声情報Ｓ１５１を符
号化処理し、符号化音声情報Ｓ１５２を出力する。ここ
で経過時間は0.05秒であったものとし、9.6Kbit の符号
化音声情報が出力される。音声バッファリング手段１０
４は、この符号化音声情報を蓄積し、符号化音声バッフ
ァ量Ｓ１０５を更新して、上記の値9.6Kbit とし、これ
を保持する。
【００８８】一方、映像キャプチャ手段１０６は、アナ
ログ映像情報Ｓ１６０を入力してデジタル化し、デジタ
ルの原映像情報Ｓ１６１を出力する。映像符号化手段１
０７は、原映像情報Ｓ１６１を符号化処理し、符号化映
像情報Ｓ１６２を出力する。ここで経過時間は0.1 秒で
あったものとし、150Kbit の符号化映像情報が出力され
る。映像符号化手段１０７はこの符号化処理の結果に基
づいて、符号化映像情報のサイズを表す符号化映像量
と、再生した時の再生時間である符号化映像時間情報と
からなる映像ブロックレート情報Ｓ２０３を作成し、こ
れを符号化映像情報Ｓ１６２とともに出力する。
【００８９】映像バッファリング手段５０６は、映像ブ
ロックレート情報Ｓ２０３と、符号化映像情報Ｓ１６２
とを映像バッファに蓄積する。この際、映像ブロックレ
ート情報Ｓ２０３の持つ符号化映像時間情報Ｓ２０２に
ついては、後段の処理に用いるために、同期間隔時間情
報Ｓ１０９として保持するものである。そして、映像音
声同期手段１１０は、映像バッファリング手段５０６の
保持する同期間隔時間情報Ｓ１０９を取得して、この値
を音声時間情報Ｓ１１４として、符号化音声読み出し手
段１１３に出力する。同様に、映像音声同期手段１１０
は、同期間隔時間情報Ｓ１０９に基づく映像時間情報Ｓ
１１６を、符号化映像読み出し手段１１５にも出力す
る。この場合には、いずれも「0.1 秒」を示す音声時間
情報Ｓ１１４、および映像時間情報Ｓ１１６が出力され
ることとなる。
【００９０】符号化音声読み出し手段１１３は、「0.1
秒」を示す音声時間情報Ｓ１１４を入力され、0.1 秒に
相当する19.2Kbitの符号化音声情報を読み出すべきこと
を知り、音声バッファリング手段１０４の保持する符号
化音声バッファ量Ｓ１０５を参照して、これと比較す
る。ここでは符号化音声バッファ量Ｓ１０５は、上記の
ように9.6Kbit となっていて、読み出すべき量に満たな
いため、符号化音声読み出し手段１１３は、符号化音声
情報を読み出さない。
【００９１】一方、符号化映像読み出し手段１１５は、
「0.1 秒」を示す映像時間情報Ｓ１１６を入力され、0.
1 秒に相当する符号化映像情報を読み出すべきことを知
り、映像バッファリング手段１０８の保持する映像ブロ
ックレート情報Ｓ２０３を参照する。そして、符号化映
像読み出し手段１１５は、映像バッファリング手段１０
８の映像バッファに蓄積された符号化映像情報が、0.1
秒分であり、その量は150Kbit であることを知り、150K
bit 分の符号化映像情報Ｓ１６３を読み出し、当該読み
出した分の符号化映像情報Ｓ１６２と、映像ブロックレ
ート情報Ｓ２０３とを映像バッファリング手段１０８の
映像バッファより削除する。符号化映像読み出し手段１
１５は、読み出した符号化映像情報Ｓ１６３を映像音声
同期手段１１０に出力し、映像音声同期手段１１０は、
符号化映像情報Ｓ１６３を内部バッファ１１１に格納す
る。
【００９２】ここで、映像符号化処理が実行される。映
像符号化手段１０７は、原映像情報Ｓ１６１を符号化処
理し、符号化映像情報Ｓ１６２を出力する。ここで経過
時間は0.2 秒であったものとし、200Kbit の符号化映像
情報が出力されたとする。映像符号化手段１０７はこの
符号化処理の結果に基づいて、符号化映像情報のサイズ
を表す符号化映像量と、再生した時の再生時間である符
号化映像時間情報とからなる映像ブロックレート情報Ｓ
２０３を作成し、これを符号化映像情報Ｓ１６２ととも
に出力する。映像バッファリング手段５０６は、映像ブ
ロックレート情報Ｓ２０３と、符号化映像情報Ｓ１６２
とを映像バッファに蓄積する。やはり、映像ブロックレ
ート情報Ｓ２０３の持つ符号化映像時間情報Ｓ２０２に
ついては、同期間隔時間情報Ｓ１０９として保持する。
【００９３】ここで、他のプログラムの実行があり、音
声符号化処理が行われず、原音声情報Ｓ１５１の出力が
続く、という期間が４秒間あったものとする。その後音
声符号化処理が実行されるとき、音声符号化手段１０３
は４秒分の原音声情報Ｓ１５１を符号化処理して、768K
bit の符号化音声情報Ｓ１５２を生成し、これを音声バ
ッファリング手段１０４に出力する。音声バッファリン
グ手段１０４は、符号化音声情報Ｓ１５２を蓄積し、符
号化音声バッファ量Ｓ１０５は777.6Kbit に更新され
る。
【００９４】符号化音声読み出し手段１１３は、「0.1
秒」を示す音声時間情報Ｓ１１４を入力されており、0.
1 秒に相当する19.2Kbitの符号化音声情報を読み出すべ
きである。ここで、音声バッファリング手段１０４の保
持する符号化音声バッファ量Ｓ１０５を参照すると、上
記のように777.6Kbit となっていて、読み出すべき量を
超えているため、符号化音声読み出し手段１１３は、1
9.2Kbitの符号化音声情報Ｓ１５３を読み出し、当該読
み出した分の符号化音声情報Ｓ１５２を音声バッファリ
ング手段１０４の音声バッファから削除する。音声バッ
ファリング手段１０４は、音声バッファからの削除があ
ったので、符号化音声バッファ量Ｓ１０５を758.4Kbit
に更新して、これを保持する。
【００９５】符号化音声読み出し手段１１３は、読み出
した符号化音声情報Ｓ１５３を映像音声同期手段１１０
に出力し、映像音声同期手段１１０は、符号化音声情報
Ｓ１５３を内部バッファ１１１に格納する。この際、映
像音声同期手段１１０は、符号化音声情報Ｓ１５３を前
回入力された符号化映像情報と並べて、映像音声符号化
多重化情報Ｓ１７０を作成し、これをファイル管理手段
１１２に出力する。
【００９６】上記のように、符号化音声バッファ量Ｓ１
０５は758.4Kbit になっており、前述の一定の量である
576Kbit を超えているものである。そこで、音声途切れ
防止手段５０３は、符号化音声蓄積時間出力手段５０１
の出力Ｔ１と、符号化映像蓄積時間出力手段の出力Ｔ２
とを取得する。ここで、符号化音声蓄積時間出力手段５
０１の出力Ｔ１については、符号化音声バッファ量Ｓ１
０５を固定ビットレート192Kbps によって除算して、3.
95秒となるものである。一方、符号化映像蓄積時間出力
手段の出力Ｔ２については、蓄積されている映像ブロッ
クレート情報Ｓ２０３に含まれる符号化映像時間情報Ｓ
２０２から、0.2 秒となる。そこで、音声途切れ防止手
段５０３は、Ｔ３＝Ｔ１ーＴ２なるＴ３として、3.75秒
という値を得ることとなる。音声途切れ防止手段５０３
は値がＴ３であるダミー映像挿入時間Ｓ５０４を、ダミ
ー映像挿入手段５０５と、映像バッファリング手段５０
６とに出力する。
【００９７】ダミー映像挿入手段５０５は、ダミー映像
挿入時間Ｓ５０４を入力したので、ダミー映像挿入時間
Ｓ５０４に相当する再生時間を有し、「前回の静止画像
と同じ」を示す符号である符号化映像情報であるダミー
符号化映像を作成し、これを映像バッファリング手段５
０６に出力する。これに伴いダミー映像挿入手段５０５
は、ダミー映像挿入時間Ｓ５０４と同一の値を有する符
号化映像時間情報を含んだ映像ブロックレート情報を作
成し、ダミー符号化映像とともに映像バッファリング手
段５０６に出力する。ダミー映像挿入手段５０５から出
力されたダミー映像符号化情報と、これに伴う映像ブロ
ックレート情報とが、映像バッファにおいて蓄積され
る。
【００９８】ここで、映像音声同期手段１１０が取得す
る同期間隔時間情報Ｓ１０９は、先の「0.2 秒」を示す
符号化映像時間情報に基づくものであるので、映像音声
同期手段１１０は、「0.2 秒」を示す音声時間情報Ｓ１
１４、および映像時間情報Ｓ１１６を符号化音声読み出
し手段１１３、および符号化映像読み出し手段１１５に
それぞれ出力する。符号化音声読み出し手段１１３、お
よび符号化映像読み出し手段１１５は、0.2 秒分の符号
化音声情報Ｓ１５３、および符号化映像情報Ｓ１６３が
読み出して、映像音声同期手段１１０に出力し、映像音
声同期手段１１０では、映像音声符号化多重化情報Ｓ１
７０が作成される。また、音声バッファ、映像バッファ
における削除と、符号化音声バッファ量Ｓ１０５の更新
とが実行される。
【００９９】次に映像音声同期手段１１０が取得する同
期間隔時間情報Ｓ１０９は、ダミー映像符号化情報に伴
う、符号化映像時間情報に基づくものとなる。従って、
ダミー映像符号化情報に相当する「3.75秒」を示す同期
間隔時間情報Ｓ１０９が取得されることとなる。映像音
声同期手段１１０は、「3.75秒」を示す音声時間情報Ｓ
１１４、および映像時間情報Ｓ１１６を符号化音声読み
出し手段１１３、および符号化映像読み出し手段１１５
にそれぞれ出力する。符号化音声読み出し手段１１３は
Ｓ１１４に応じて、3.75秒に相当する符号化音声情報Ｓ
１５３を読み出して、映像音声同期手段１１０に出力す
る。一方符号化映像読み出し手段１１５は、3.75秒分の
符号化音声情報Ｓ１５３、すなわち蓄積されたダミー符
号化映像情報を読み出して、映像音声同期手段１１０に
出力し、映像音声同期手段１１０では、映像音声符号化
多重化情報Ｓ１７０が作成される。
【０１００】そして、本実施の形態３における映像バッ
ファリング手段５０６は、ダミー映像挿入時間Ｓ５０４
を入力した後は、映像符号化手段１０７から出力される
符号化映像情報Ｓ１６２に対して、ダミー映像挿入時間
Ｓ５０４に相当する量だけ、蓄積せずに廃棄する。
【０１０１】このように、本実施の形態３の映像音声符
号化多重化装置によれば、実施の形態１による映像音声
符号化多重化装置に対して、音声バッファに蓄積された
全符号化音声情報に相当する原音声情報の再生時間を求
めて出力する符号化音声蓄積時間出力手段５０１と、映
像バッファに蓄積された全符号化映像情報に相当する原
映像情報の再生時間を求めて出力する符号化映像蓄積時
間出力手段５０２と、ダミー映像挿入時間を求めて、符
号化映像情報の処理を制御する音声途切れ防止手段５０
３と、ダミー符号化映像情報を作成するダミー映像挿入
手段５０５とを追加する構成とし、映像バッファリング
手段５０６は、ダミー映像挿入時間を入力されたとき、
相当する時間だけ符号化映像情報を蓄積せずに廃棄する
ものとしたことで、音声バッファリング手段１０４内部
の音声バッファに符号化音声情報が蓄積されすぎ、バッ
ファがあふれるおそれが生じた際には、音声バッファに
蓄積された音声と同様の再生時間となるようにダミーの
符号化映像情報を映像バッファリング手段５０６に出力
し、両者の蓄積量を( 再生時間上) 同一にして、映像音
声同期手段１１０に映像音声の符号化情報を読み出させ
る。このため、ダミーの符号化映像情報を再生する時間
だけ、映像は止まってしまうが、符号化音声情報がバッ
ファからあふれ、映像と音声との同期がとれなくなる等
の事態を回避することが可能となる。
【０１０２】加えて、本実施の形態３に示したバッファ
あふれを回避する構成については、映像や音声がとぎれ
る可能性があるものの、バッファの大きさによらず、音
声と映像との同期を保証することができる。すなわち、
比較的小さなバッファでも、音声と映像とが同期した映
像音声符号化多重化情報を得ることができる。このこと
は、必要なメモリの量を低減できるという効果が得られ
る。加えて、本発明をテレビ電話、テレビ会議等の、イ
ンタラクティブ性を重視するシステムに応用した際に
は、バッファの量が小さいため、符号化のための遅延を
小さくでき、コミュニケーションの円滑化が図れるとい
う効果も得られる。
【０１０３】なお、本実施の形態３ではダミー符号化映
像情報として「前回の静止画像と同じ」という符号を用
いるものとしたが、これには限定されず、他の符号を用
いるものとしてもよい。例えば、ダミー符号化映像情報
を再生することにより、システムの負荷増大のため音切
れが発生する可能性がある旨を使用者に警告するメッセ
ージが表示されるよう設定するものとする等の応用が可
能である。
【０１０４】また、本実施の形態３では、ダミーの符号
化映像情報を出力した後、映像バッファリング手段５０
６が、入力されたダミー映像挿入時間Ｓ５０４に相当す
る時間の分だけ、符号化映像情報を蓄積せず廃棄するこ
ととしたが、これ以外の構成もとることができる。例え
ば、映像符号化手段１０７が、ダミー映像挿入時間Ｓ５
０４を入力されるものとし、当該ダミー映像挿入時間Ｓ
５０４に相当する分だけ、原映像情報を符号化せず廃棄
し、したがって符号化映像情報をダミー映像挿入時間の
分だけ出力しないという構成とすることも可能である。
かかる設定とすることで、符号化処理の中断によって負
荷を減少し、その分の計算機資源を他の計算に用いるこ
とができるという利点がある。
【０１０５】さらに、本実施の形態３では符号化音声情
報のバッファあふれを回避する構成としているものであ
る。これは、一般に音声の途切れの方が再生時に与える
影響が大きいことを考慮したものであるが、かかる構成
に限られるものではなく、これを符号化映像情報のバッ
ファあふれを回避するように構成するという応用も容易
に可能である。その場合、映像バッファリング手段は、
符号化映像情報があふれそうになった時に、その再生時
間に相当するダミーの符号化音声情報を音声バッファリ
ング手段に対して出力する。ダミーの符号化音声情報
は、無音状態をあらわす符号でもよいし、使用者に映像
切れが発生する可能性があることを警告するメッセージ
でもよい。そして、音声バッファあふれと、映像バッフ
ァあふれの双方を回避すべく、この両方を兼ね備えた構
成をとることも可能である。
【０１０６】また、本実施の形態３では、実施の形態１
において示した、映像ブロックレート情報を用いて同期
のとれた映像音声符号化多重化情報を作成する多重化装
置において、音声バッファあふれを回避する構成とした
が、実施の形態２において示した、符号化映像単位時間
量を用いる構成において、音声バッファあふれを回避す
るものとする応用も可能である。そして、映像バッファ
あふれ、または映像・音声双方のバッファあふれを回避
するものについても同様である。
【０１０７】さらに、本実施の形態３では、符号化音声
情報は固定ビットレートで出力されるとしたが、当然な
がら、音声ブロックレート情報や、符号化音声単位時間
量を用いることにより、音声も変動ビットレートで出力
されるものとして、映像音声符号化多重化装置を構成す
ることが可能である。
【０１０８】実施の形態４．本発明の実施の形態４によ
る映像音声符号化多重化装置は、ダミー情報の挿入によ
るバッファあふれの防止と多重化処理における同期との
実現を、フレーム間符号化を伴う処理において行うもの
である。図９、および図１０は、フレーム間符号化を伴
う処理におけるダミー符号化映像情報挿入による問題点
を説明するための図である。一般に、符号化映像情報と
は、MPEG(motion picture expert group) 規格などで規
定された圧縮符号化方式等を用いて符号化されたものを
いい、実施の形態１〜３に示した映像音声符号化多重化
装置においても、かかる規格に適合した符号化多重化情
報が得られるものである。
【０１０９】映像を対象とする場合は、映像がデジタル
化された、一連の静止画像（フレーム画像）からなる映
像データである原映像情報に対して、圧縮符号化処理を
行うものであり、この処理については、１フレーム（１
画面相当）の静止画像について、その空間的相関関係
（フレーム内の相関関係）に基づいて、冗長性を除いて
圧縮を行うフレーム内符号化と、時間的に近接する、例
えば連続するフレームの静止画像について、その時間的
相関関係（フレーム間の相関関係）に基づいて冗長性を
除いて圧縮を行うフレーム間符号化とがある。
【０１１０】従来の技術による映像符号化装置では、基
本的にフレーム内符号化を行うものであるが、フレーム
間符号化をも行うことで、高圧縮率の符号化データが得
られる。もっとも、フレーム間符号化を行うためには、
符号化の逆処理である復号化処理や、動き検出・動き補
償処理により、予測画像を生成し、この予測画像と符号
化対象画像との差分を取得するものであるので、これら
の処理を必要とする分、装置にとっての処理負担の増大
を招くこととはなる。フレーム間符号化を行う場合の予
測画像の生成については、直前に処理したデータに基づ
いて予測を行う順方向予測、直後に処理されるデータに
基づいて予測を行う逆方向予測、および順方向、または
逆方向予測を行う双方向予測のいずれかがなされる。フ
レーム内符号化を「Ｉ」(intra frame coding)、順方向
予測符号化を「Ｐ」(predictivecoding) 、双方向予測
符号化（逆方向を含む）を「Ｂ」(bidirectionally pre
dictive coding) と表記する。
【０１１１】図９は、フレーム内符号化と、順方向予測
符号化とを組み合わせて処理する場合を示している。順
方向予測符号化では、動画像の時間的な冗長性を利用し
て、一つ前の静止画像の符号化情報との差分のみを今回
の符号化情報とすることを実行する。同図において、Ｉ
と表示してあるものは、一つのフレーム画像においてフ
レーム内符号化が行われたものであって、他の符号化情
報に依存せず、独立して復号化ができる、独立符号化映
像情報であることを表す。Ｐと表示してあるものは、直
前に処理されたフレーム画像を用いて、順方向予測符号
化が行われたものであって、図示するような参照関係に
より、一つ前の符号化情報との差分のみを符号化してあ
り、復号化に際しては一つ前の符号化情報が必要となる
差分符号化映像情報であることを表す。同図に示すよう
に、フレーム内符号化と、順方向予測符号化とを組み合
わせて処理することで得られた符号化情報では、いくつ
かの独立符号化情報と、数多くの差分符号化情報とが配
列された形で構成されるものとなる。
【０１１２】図１０は、このような処理がなされる場合
において、実施の形態３で示したダミー符号化映像情報
挿入をそのまま応用した場合の問題点を説明するための
図である。実施の形態３に示した映像音声符号化多重化
装置において、図９に示すような符号化映像情報が出力
される予定であったときに、音声バッファにおいてバッ
ファあふれが発生しそうになり、図１０のＡ区間がダミ
ー映像に置き換えられたとする。この場合、図のＦ１で
示した符号化情報は、Ｆ０の符号化情報がダミー映像と
なってしまったため、差分を参照する符号化情報を失
い、復号化できなくなってしまう。Ｆ１が復号化できな
いと、Ｆ１を参照するＦ２も復号化できず、したがって
Ｆ３も復号化できない。よって、この符号化映像情報を
復号化する際、この部分で復号化処理が止まってしまう
という問題が発生する。
【０１１３】本実施の形態４による映像音声符号化多重
化装置は、上記の問題点を解決し得るものである。本実
施の形態４の映像音声符号化多重化装置は、図７に示す
実施の形態３に示したものと同じ構成であるが、映像バ
ッファリング手段５０６が、ダミー映像挿入時間Ｓ５０
４を入力された際の動作が実施の形態３とは異なるもの
となる。図１１は、本実施の形態４における映像バッフ
ァリング手段５０６の動作を説明するための図である。
【０１１４】同図において、８０１は、映像バッファリ
ング手段５０６に入力された符号化映像情報の構成を、
８０２は、映像バッファリング手段５０６の映像バッフ
ァに、実際に蓄積された符号化映像情報の構成を示して
いる。図中のＩやＰの記号は、図９〜１０と同一の意味
である。また、図中のＤは、挿入されるダミー符号化映
像情報である。ダミー符号化映像情報は実施の形態３と
同様に「前回の静止画像と同じ」という符号であり、こ
れは独立して復号化することができる独立符号化情報で
ある。
【０１１５】本実施の形態４による映像音声符号化多重
化装置の、映像・音声処理の際の動作は、ダミー映像挿
入時間Ｓ５０４を入力された際の映像バッファリング手
段５０６の動作を除いて、実施の形態３と同様のものと
なるので、かかる場合における映像バッファリング手段
５０６の動作のみを以下に説明する。
【０１１６】図１１に示すＷ時点に至るまで、X 区間の
符号化映像情報が入力され、このX区間の符号化映像情
報については、映像バッファリング手段によって、その
まま内部の映像バッファに格納される。
【０１１７】Ｗ時点以降、ダミー映像挿入手段５０５よ
り出力されたＡ区間のダミー符号化映像情報が映像バッ
ファリング手段５０６に入力され、映像バッファに蓄積
される。実施の形態３の場合と同様に、符号化映像情報
８０１に含まれる、Ａ区間に相当する符号化映像情報
は、映像バッファリング手段５０６によって、映像バッ
ファに蓄積されることなく廃棄される。
【０１１８】この後の動作は、実施の形態３とは異なる
ものとなり、廃棄を行った後の符号化映像情報につい
て、本実施の形態４における映像バッファリング手段５
０６は以下のような判定と処理とを実行する。すなわ
ち、廃棄の後に入力された符号化映像情報に対して、復
号化に際しては一つ前の符号化情報が必要となる差分符
号化映像情報（Ｐ符号）であるか、他の符号化情報に依
存せず、独立して復号化ができる、独立符号化映像情報
（Ｉ符号）であるかの判定を行い、Ｐ符号であれば蓄積
せずに廃棄して、ダミー符号化映像情報をその代わりに
蓄積する。一方Ｉ符号であれば、そのまま蓄積し、以後
はかかる判定処理を行わない。
【０１１９】図１１において、Ａ区間終了後に入力され
た符号化映像情報Ｆ１に対して、映像バッファリング手
段５０６は、上記の判定を実行し、Ｐ符号であるのでこ
れを廃棄して、「前回の静止画像と同じ」という符号で
あるダミー符号化映像情報（Ｄ符号）を蓄積する。すな
わち、Ｐ符号をＤ符号に変換して蓄積する。符号化映像
情報Ｆ２、およびＦ３についてもＦ１と同様に扱われ、
Ｄ符号化が蓄積されることとなる。続いて、符号化映像
情報Ｆ４が入力され、判定が実行されたとき、Ｆ４はＩ
符号であるのでこのまま蓄積され、この後に入力される
Ｆ５以降の符号化映像情報に対しては、判定が行われる
ことなくそのまま蓄積される。
【０１２０】実施の形態３の場合、映像バッファリング
手段５０６は図１０に示すように、ダミー映像挿入時間
Ｓ５０４に相当するＡ区間の符号化映像情報Ｓ１６２を
単純に廃棄するものであった。従って、同図を用いて説
明したように復号処理に際しての問題点が生ずるもので
あったが、本実施の形態４では、映像バッファリング手
段５０６の映像バッファに蓄積された符号化映像情報８
０２が、映像音声符号化多重化情報に用いられることと
なり、符号化映像情報８０２では、参照されるべきＩ符
号がないＰ符号については、Ｄ符号に変換することによ
って、かかる問題点を回避し得るものとなっている。す
なわち、本実施の形態４においては、実施の形態３に比
べて、映像が停止する（応用例によれば警告が表示され
る）時間が長くはなるものの、復号処理が停止する事態
には至らない。
【０１２１】このように、本実施の形態４による映像音
声符号化多重化装置によれば、実施の形態３と同じ構成
において、映像バッファリング手段５０６が、ダミー符
号化映像情報の挿入後に入力される符号化映像情報に対
して、独立符号化映像情報であるか、差分符号化映像情
報であるかの判定を行い、参照関係を必要とする差分符
号化映像情報である場合には、これをダミー符号化映像
情報に変換して蓄積するものとしたことで、符号化映像
情報の参照関係に矛盾をきたさぬようにして、復号処理
時における再生トラブルを防止することが可能となる。
従って、実施の形態３に示したバッファあふれの防止
が、より広範囲の符号化処理に対して、好適に実施でき
るという効果が得られる。
【０１２２】また、本実施の形態４では、映像符号化手
段１０７が出力した符号化映像情報Ｓ１６２における参
照関係を映像バッファリング手段５０６がチェックする
こととなるので、映像符号化手段１０７においては、ダ
ミー符号化映像情報が挿入されるか否かにかかわらず、
通常の符号化動作を続けることとして差し支えないもの
となる。実施の形態３において説明したように、ダミー
映像挿入時間を映像符号化手段に出力し、映像符号化手
段が符号化を停止するという構成とすることで、パフォ
ーマンス向上を図ることが可能であるが、かかる場合に
は、映像符号化手段がダミー映像挿入時間を解釈し、こ
れに対応した処理を行い得るものであることが必要であ
る。これに対して、本実施の形態４によるならば、ダミ
ー符号化映像情報挿入について考慮せずに、通常の符号
化動作を行う映像符号化手段を用いて、符号化映像情報
の参照関係に破綻を来すことなく、実施の形態３に示し
たバッファあふれの回避を好適に実行できるものとな
る。これは、映像符号化手段１０７としては、内部の動
作を外部から変更することができない市販されているソ
フトウエアモジュールや、ハードウエアなどを用いて
も、上述した効果を達成することができるということと
なる。
【０１２３】なお、本実施の形態では、参照することが
できなくなった差分符号化情報をダミーの符号にするも
のとしたが、これに限られるものではなく、参照関係を
必要としない独立符号化情報であるならば、どのような
ものでも適用することができる。例えば、音声があふれ
そうなことを示す画像を再生画面として持つ独立符号化
情報などを用いることもでき、同様の効果が得られる。
【０１２４】実施の形態５．本発明の実施の形態５によ
る映像音声符号化多重化装置は、実施の形態４と同様
に、ダミー情報の挿入によるバッファあふれの防止と多
重化処理における同期との実現を、フレーム間符号化を
伴う処理において行うものである。図１２は、本実施の
形態５による映像音声符号化多重化装置の構成を示すブ
ロック図である。同図において、音声途切れ防止手段５
０３は、図７に示す実施の形態３と同じ機能を有するも
のであるが、実施の形態３ではダミー映像挿入時間Ｓ５
０４を映像バッファリング手段５０６に出力していたの
に対して、本実施の形態５では映像符号化手段５０７に
出力するものである。
【０１２５】映像符号化手段５０７は、ダミー映像挿入
時間Ｓ５０４を入力されたとき、当該ダミー映像挿入時
間Ｓ５０４に相当する時間の分だけ、入力される原映像
情報Ｓ１６１に対して符号化処理を実行せずに、原映像
情報を廃棄し、従ってダミー映像挿入時間Ｓ５０４に相
当する分の符号化映像情報Ｓ１６２を出力しないもので
ある。また、本実施の形態４において映像符号化手段５
０７は、原映像情報のフレームごとに、定められた符号
化パターンに従って、フレーム内符号化と順方向予測符
号化とを実行するものとする。
【０１２６】以上の点を除いて、本実施の形態５による
映像音声符号化多重化装置は、実施の形態３による装置
と同様の構成である。また、図１３は、本実施の形態５
における、音声途切れ防止手段５０３と、映像符号化手
段５０７との動作を説明するための図である。同図にお
いて、９０１は映像符号化手段５０７が実行する予定で
あった符号化処理における符号化パターンを示してい
る。また、９０２は、映像符号化手段５０７から映像バ
ッファリング手段５０６に出力され、映像バッファにお
いて蓄積される符号化映像情報を示している。図中の
Ｉ、Ｐ、およびＤは実施の形態４と同様である。
【０１２７】本実施の形態５による、映像音声符号化多
重化装置の、映像・音声処理の際の動作について、以下
に図１２、および図１３を参照して説明する。通常時、
すなわち、音声バッファあふれのおそれのない状態にお
いては、実施の形態３と同様に、映像音声入力手段（ビ
デオカメラ）１０１による映像・音声の入力から、ファ
イル管理手段１１２による映像音声符号化多重化情報Ｓ
１７０の処理までが実行される。この場合、映像符号化
手段５０７では、図１３に示す時点Ｗまで予定通りのパ
ターンに従って符号化処理を行う。
【０１２８】Ｗ時点において、音声バッファリング手段
１０４の音声バッファにおいて、蓄積量が一定量を超え
たものとする。音声途切れ防止手段５０３は実施の形態
３と同様に動作して、Ｔ３を求める。実施の形態３の場
合、このＴ３を用いてダミー挿入時間Ｓ５０４としたも
のであるが、本実施の形態５では、本来のダミー挿入時
間である時間Ｔ３でなく、音声途切れ防止手段５０３に
よる以下のような判定処理で求められるダミー挿入時間
Ｓ５０４を用いるものである。
【０１２９】まず、音声途切れ防止手段５０３は、ダミ
ー符号化映像情報挿入開始の時点から、本来のダミー挿
入時間である時間Ｔ３だけ経過した時点において再生さ
れるべき符号化映像情報を特定して、当該符号化映像情
報が復号し得るものであるか否かを判定する。この判定
は、当該符号化映像情報に対して、符号化処理によって
Ｉ符号が得られるか、Ｐ符号が得られるかを符号化パタ
ーンの予定に従って調べることで実行される。当該符号
化映像情報が復号し得るものであれば、判定処理は終了
するが、復号し得ないものであれば、後続の符号化映像
情報に対して同様の判定を行い、これを繰り返すことに
よって、最初の復号し得る符号化映像情報を特定して、
その再生タイミングを取得する。かかる再生タイミング
を取得したならば、音声途切れ防止手段５０３は、ダミ
ー符号化映像情報挿入開始の時点から、当該再生タイミ
ングが示す時点までの時間を、ダミー挿入時間Ｓ５０４
として、これを出力する。
【０１３０】図１３に示す例では、まずＷ時点における
符号化映像情報の再生タイミングであるタイミングＰ１
を求め、該求めたＰ１に対して、本来のダミー挿入時間
に相当する時間Ｔ３を加算することによりタイミングＰ
２（ダミー挿入時間経過時点に相当）を求め、タイミン
グＰ２に相当する符号化映像情報であるＦ１を特定し
て、上記判定を行う。図示するようにＦ１に対しては、
Ｐ符号を得る順方向予測符号化処理が予定されており、
Ｐ符号、すなわち差分符号化映像情報であるＦ１は参照
関係を必要とし、Ｆ０がないと復号化ができないもので
あるが、Ｆ０はタイミングＰ１とタイミングＰ２との間
に相当する再生タイミングを有する符号化映像情報であ
り、符号化されない予定のものとなっているため、Ｆ１
は復号し得ないという判定結果が得られる。
【０１３１】音声途切れ防止手段５０３は、後続の符号
化映像情報に対して判定処理を行い、復号し得る符号化
映像情報として、Ｆ２を特定し、その再生タイミングで
あるＰ３を取得する。そして、Ｐ３−Ｐ２なる時間を演
算によって求め、該求めた時間を時間Ｔ３に加算するこ
とで、時間Ｔ４が得られる。この時間Ｔ４を、ダミー映
像符号化情報挿入開始より、符号化映像情報Ｆ２の再生
タイミングが示す時点までの時間、すなわちダミー挿入
時間Ｓ５０４として用いるものである。
【０１３２】音声途切れ防止手段５０３は、ダミー映像
挿入時間Ｓ５０４を、ダミー映像挿入手段５０５と、映
像符号化手段５０７とに出力する。ダミー映像挿入時間
Ｓ５０４を入力された映像符号化手段５０７において
は、ダミー挿入時間Ｓ５０４に相当する分だけ符号化を
休止する。一方、ダミー映像挿入手段５０５は実施の形
態３と同様の動作を行う。図１３において、時点Ｗから
Ｔ４の時間だけは映像符号化処理が行われず、該当する
分のダミー符号化映像情報が映像バッファに蓄積される
こととなる。その後、Ｆ２以降はＸ区間と同様に予定通
りの符号化処理が実行される。
【０１３３】このように、本実施の形態５による映像音
声符号化多重化装置によれば、実施の形態３と同じ構成
において、音声途切れ防止手段５０３が、参照関係の破
綻の有無についての判定処理の実行により修正したダミ
ー映像挿入時間Ｓ５０４を求め、これをダミー映像挿入
手段５０５と、映像符号化手段５０７とに出力し、映像
符号化手段５０７ではダミー映像挿入時間Ｓ５０４に対
応する時間だけ、映像符号化処理を停止するものとした
ことで、実施の形態４と同様に、符号化映像情報の参照
関係に矛盾をきたさぬようにして、復号処理時における
再生トラブルを防止することが可能となる。従って、本
実施の形態５においても、実施の形態３に示したバッフ
ァあふれの防止が、より広範囲の符号化処理に対して、
好適に実施できるという効果が得られる。
【０１３４】また、本実施の形態５では、ダミー映像挿
入時間の間、映像符号化手段はその動作を停止するの
で、符号化による計算機資源を他の( 例えば音声符号化
手段)プロセスに譲ることができ、他のプロセスの進捗
状況が好転するといった格別の効果を持つ。
【０１３５】そして、実施の形態４において説明したと
同様に、本実施の形態５においても、映像符号化手段と
しては、ダミー映像が挿入されたことは考慮せず符号化
処理を行うことができるので、内部の動作を変更できな
い、例えば市販の映像符号化手段を用いて本実施の形態
５による装置を実現することが可能である。
【０１３６】なお、本実施の形態５では、ダミー映像挿
入時間Ｓ５０４を入力した映像符号化手段５０７は、自
らその符号化動作を中止するものとして説明したが、こ
のことは、実際には、符号化動作を行う映像符号化モジ
ュールをコールするルーチンが、ダミー映像挿入時間の
間、そのコールを休止するといった方法によって実行す
ることができる。
【０１３７】実施の形態６．本発明の実施の形態６によ
る映像音声符号化多重化装置は、映像、及び音声の符号
化情報を用いてバッファにおいて、多重化情報とするも
のである。図１４は、本発明の実施の形態６による映像
音声符号化多重化装置の構成を示すブロック図である。
図示するように、本実施の形態６による符号化多重化装
置は、映像音声入力手段１０１、音声キャプチャ手段１
０２、音声符号化手段１０３、映像キャプチャ手段１０
６、映像符号化手段１０７、ファイル管理手段１１２、
音声バッファリング手段７０１、映像バッファリング手
段７０２、映像音声バッファ７０３、および映像音声同
期手段７０４を備えたものである。
【０１３８】同図において、音声バッファリング手段７
０１は、音声符号化手段１０３が出力した符号化音声情
報を一時的に蓄積するものである。実施の形態１におけ
る音声バッファリング手段と異なり、内部にバッファは
持たず、後述する映像音声バッファ７０３に一時蓄積を
行う。映像バッファリング手段７０２は、映像符号化手
段１０７が出力した符号化映像情報を一時的に蓄積する
ものである。実施の形態１における映像バッファリング
手段と異なり、内部にバッファは持たず、後述する映像
音声バッファ７０３に一時蓄積を行う。映像音声バッフ
ァ７０３は、半導体メモリ等の高速な記憶装置によって
実現され、符号化音声情報、及び符号化映像情報が一時
的に蓄積される。映像音声同期手段７０４は、上記映像
音声バッファ７０３のうち、符号化映像情報と符号化音
声情報とが隙間なく格納された部分を読み出し、これを
出力するものである。
【０１３９】映像音声入力手段１０１、音声キャプチャ
手段１０２、音声符号化手段１０３、映像キャプチャ手
段１０６、映像符号化手段１０７、およびファイル管理
手段１１２については実施の形態１と同様であり、説明
を省略する。
【０１４０】図１５は、本実施の形態６の音声符号化多
重化装置による、符号化、及び多重化の処理の一例を示
すフローチャート図である。図１６は本実施の形態６の
音声符号化多重化装置における、情報の流れを示す図で
ある。図１６に示すように、映像音声バッファ７０３に
ついては、符号化音声情報が格納されるブロックと、符
号化映像情報が格納されるブロックとが、実施の形態１
における同期間隔時間情報に対応した再生時間Ｔｍの単
位（すなわち、S1とS2の単位）で、あらかじめ交互に並
べられているものである。本実施の形態６では、上記の
時間Ｔｍを０．１秒、符号化映像情報のビットレート
（単位時間あたりの量）を1500Kbit/sec、符号化音声情
報のビットレートを192Kbit/sec とする。したがって、
S1は150Kbit 、S2は19.2Kbitとなる。さらにここでは、
映像シーケンスヘッダと音声シーケンスヘッダも、符号
化映像情報が格納されるブロックの前と、符号化音声情
報が格納されるブロックの前とに、あらかじめ書き込ま
れているものとする。
【０１４１】音声バッファリング手段７０１は符号化音
声情報を映像音声バッファ７０３に蓄積する際に、デー
タの蓄積された映像蓄積用ブロックに挟まれた、空の音
声蓄積用ブロックがあれば、そのような音声蓄積用ブロ
ックに前の方から蓄積し、ないならば空の音声蓄積用ブ
ロックに前の方から蓄積する。映像バッファリング手段
７０２による蓄積も同様である。
【０１４２】また、映像音声バッファ７０３は、実施の
形態１で説明したのと同様に、FIFO(First-In-First-Ou
t)構造をとること、すなわち、先入れ先出しの処理を行
い得るものであることが望ましいものであり、かかるFI
FO構造は、具体的には、リングバッファ等のアルゴリズ
ムに従うことによって実現することが可能である。すな
わち、符号化音声情報も符号化映像情報も順に先頭から
後尾へ向かって格納された後、格納が終わったものから
先頭から後尾へ向かって順に読み出され、読み出された
ブロックは空のブロックとなるように、読み出しと書き
込みとが実行される。情報の格納が後尾まで達した場合
は、すでに読み出され空となった先頭のブロックに戻っ
てまた新しい情報の格納を行う。ただし、必ずしもリン
グバッファ等の特定の手法を必要とするものではない。
【０１４３】このように構成された映像音声符号化多重
化装置の動作を、図１５のフローに従って、図１４、お
よび図１６を参照しながら、以下に説明する。図１５の
ステップ１において、ビデオカメラ１０１（図１６）か
らの映像・音声の入力があるとき、ステップ２以下が実
行される。ステップ２では、ビデオカメラ１０１が映像
・音声をとりこみ、アナログ音声情報Ｓ１５０とアナロ
グ映像情報Ｓ１６０とに分けて出力し、映像キャプチャ
手段１０６は、ビデオカメラ１０１より出力されたアナ
ログ映像情報Ｓ１６０を入力し、デジタル化して原映像
情報Ｓ１６１を出力する。そして、映像符号化手段１０
７は、原映像情報Ｓ１６１を符号化し、符号化映像情報
Ｓ１６２として出力する。静止画像２枚分にあたる０．
０６６秒分の100Kbit を出力したとする。
【０１４４】ステップ３において、映像バッファリング
手段７０２は、ステップ２で出力された100Kbit の符号
化映像情報Ｓ１６２を、映像音声バッファ７０３の映像
蓄積用のブロックに蓄積する。映像蓄積用ブロックの大
きさは、S1、すなわち150Kbit なので、この符号化映像
情報は、第１の映像蓄積用ブロックの途中まで格納され
ることとなる。
【０１４５】ステップ４では、映像音声同期手段７０４
によって、映像音声バッファ７０３において映像ブロッ
ク、音声ブロックともに満たされている部分があるか否
かが判定されるが、ここではいずれのブロックも満たさ
れてはいないので、ステップ６に移行し、音声キャプチ
ャ手段１０２は、ビデオカメラ１０１より出力されたア
ナログ音声情報Ｓ１５０を入力し、デジタル化して原音
声情報Ｓ１５１を出力する。そして、音声符号化手段１
０３は、原音声情報Ｓ１５１を符号化し、符号化音声情
報Ｓ１５２として出力する。ここでの経過時間が０．１
秒だったので、19.2Kbitの符号化音声情報Ｓ１５２を出
力する。
【０１４６】続いてステップ７で、音声バッファリング
手段７０１は、ステップ６で出力された19.2Kbitの符号
化音声情報Ｓ１５２を、映像音声バッファ７０３の音声
蓄積用のブロックに蓄積する。この量は音声蓄積用ブロ
ックの大きさであるS2なので、この情報は、第１の音声
蓄積用ブロックがちょうど一杯になるまで蓄積されるこ
ととなる。
【０１４７】ここで、他のプロセスにＣＰＵ処理の時間
をとられ、その後、ステップ８ではステップ４と同様の
判定が行われる。ここでは符号化映像ブロックが満たさ
れていないので、ステップ２が実行され、映像符号化手
段１０７に制御が移った時、ステップ３から１秒の時間
が経過していたとする。ステップ２では、映像符号化手
段１０７は、１秒分の符号化映像情報Ｓ１６２、1500Kb
itを出力する。
【０１４８】そして、ステップ３において、映像バッフ
ァリング手段７０２は、ステップ２で出力された1500Kb
itの符号化映像情報Ｓ１６３を、映像音声バッファ７０
３の映像蓄積用ブロックに蓄積する。この符号化映像情
報Ｓ１６３は、まず第１の映像蓄積用ブロックを満た
し、それから第２以降の複数の映像蓄積用ブロックに分
けて格納されることとなる。
【０１４９】次のステップ４の判定では、第１の映像蓄
積用ブロックと第１の音声蓄積用ブロックとが共に満た
されたので、ステップ５が実行される。ステップ５にお
いて、映像音声同期手段７０４は、第１の映像蓄積用ブ
ロックと第１の音声蓄積用ブロックとをシーケンスヘッ
ダと共に読み出し、これをファイル管理手段１１２に出
力する。また、映像音声バッファ７０３における、読み
出されたブロックは空のブロックとする。ファイル管理
手段１１２は、映像音声同期手段７０４より出力された
映像音声符号化多重化情報Ｓ１７０を、ファイルに追加
格納する。
【０１５０】次のステップ４の判定では、音声蓄積用ブ
ロックが満たされていないため、それ以上のバッファか
らの読み出し（ステップ５の実行）は行われず、ステッ
プ６に移行し、ここで音声符号化手段１０３に制御が移
る。先のステップ７より１．２秒分の時間経過があった
ので、音声符号化手段１０３は、１．２秒分の230.4Kbi
t の符号化音声情報Ｓ１５２を出力する。そして、ステ
ップ７において、音声バッファリング手段７０１は、ス
テップ６で出力された230.4Kbit の符号化音声情報Ｓ１
５３を、映像音声バッファ７０３の音声蓄積用ブロック
に蓄積する。この情報は、第２以降の複数の音声蓄積用
ブロックに分けて格納される。
【０１５１】ステップ８の判定では、直前のステップ７
までの段階で、第２から第１０までの映像蓄積用ブロッ
クと第２から第１０までの音声蓄積用ブロックが共に満
たされているので、ステップ９が実行され映像音声同期
手段７０４は、第２から第１０までの映像と音声の蓄積
用ブロックをシーケンスヘッダと共に順次読み出し、こ
れを出力する。また、映像音声バッファ７０３におけ
る、読み出されたブロックは空のブロックとする。そし
て、ファイル管理手段１１２は、出力された映像音声符
号化多重化情報Ｓ１７０をファイルに追加する。以上の
ような課程はステップ１の判定において、映像音声の入
力があるとされる間、繰り返される。
【０１５２】このように本実施の形態６による映像音声
符号化多重化装置では、映像バッファリング手段７０２
と、音声バッファリング手段７０１とによって、符号化
された映像と音声の情報を一旦バッファに貯えるとき、
映像と音声とに共通の、あらかじめ決められた単位で交
互に並べられたバッファである、映像音声バッファ７０
３を用いる。このため、映像と音声の両者が映像音声符
号化多重化情報Ｓ１７０として出力できる量に達した時
には、もうすでに映像と音声の並び替えが完了している
ので、映像音声同期手段７０４は、そのままバッファの
内容を読み出し、出力すればよい。このため、蓄積用ブ
ロックに符号化情報を格納した段階で同期化処理が完了
するという構成となり、実施の形態１による装置のよう
にブロックレート情報を蓄積し、管理する必要のあるも
のではない。さらに、映像と音声の並び替えのためのバ
ッファが不要なので、メモリの必要量も少なくてよい。
【０１５３】なお、図１５のフローチャートについて
は、映像符号化→バッファ量判定→音声符号化→バッフ
ァ量判定というアルゴリズムを採用しているが、これは
一例であって、映像符号化と音声符号化とを任意の順で
行った後に、バッファ量判定を行うアルゴリズムに従う
ことも可能であるし、これらのような固定的な処理手順
とせず、映像・音声それぞれの符号化、バッファ量判
定、及び読み出しから格納までを別個の動作として並行
的に行うことも可能であり、必ずしも同図のフローチャ
ートの流れに従って動作する必要があるものではない。
【０１５４】また、本実施の形態６においては、映像・
音声ともに符号化情報が固定ビットレートで出力される
ものとして説明したが、変動ビットレートである場合に
も対応可能である。この場合、例えば映像バッファリン
グ手段においては、一時蓄積を行う際の符号化音声情報
の出力ビットレートを記憶するものとして、符号化映像
情報を映像音声バッファに蓄積する際には、当該記憶し
たビットレートに基づいて、符号化音声情報の一時蓄積
に必要な領域の大きさを取得し、その分だけ間隙をおい
て符号化映像情報を一時蓄積する、というような設定と
することで対応することが可能である。
【０１５５】ただし、映像・音声とも固定ビットレート
である場合には、本実施の形態６に示したように、大き
さ、および位置の定められた蓄積用ブロックをあらかじ
め配置して、該ブロックに符号化情報を蓄積する構成を
採用することで、迅速に映像音声符号化多重化情報を得
られるという効果が特に顕著なものとなる。
【０１５６】実施の形態７．本発明の実施の形態７によ
る映像音声符号化多重化装置は、符号化音声情報、及び
符号化映像情報を一時蓄積する量を抑制して、保存用記
憶装置に格納するものである。図１７は、本発明の実施
の形態７による映像音声符号化多重化装置の構成図であ
る。図示するように、本実施の形態７による符号化多重
化装置は、映像音声入力手段１０１、音声キャプチャ手
段１０２、音声符号化手段１０３、映像キャプチャ手段
１０６、映像符号化手段１０７、音声バッファリング手
段８０１、映像バッファリング手段８０２、およびファ
イル管理手段８０３を備えたものであって、実施の形態
６による装置とは、映像音声バッファ（図１４の７０
３）、および映像音声同期手段（同図７０４）を備えな
い点が異なる。
【０１５７】同図において、音声バッファリング手段８
０１は、内部に音声バッファを有し、そのバッファが一
杯になると、その内容を保存用記憶装置に書き込むよう
に、ファイル管理手段８０３に出力するものである。映
像バッファリング手段８０２は、音声バッファリング手
段８０１と同様に、内部に、バッファを有し、そのバッ
ファが一杯になると、その内容を保存用記憶装置に書き
込むように、ファイル管理手段８０３に出力するもので
ある。音声バッファリング手段８０１の音声バッファ、
及び映像バッファリング手段８０２の映像バッファと
も、その大きさは、ファイル管理手段８０３が管理する
保存用記憶装置について、規定された最小の書き込み単
位の大きさと同じ大きさであるものとする。ファイル管
理手段８０３は、音声バッファリング手段８０１、及び
映像バッファリング手段８０２が書き込み位置を指定し
て出力する符号化情報を保存用記憶装置に格納する。
【０１５８】映像音声入力手段１０１、音声キャプチャ
手段１０２、音声符号化手段１０３、映像キャプチャ手
段１０６、および映像符号化手段１０７については実施
の形態１と同様であり、説明を省略する。
【０１５９】図１８は本実施の形態７の音声符号化多重
化装置による、符号化、及び多重化の処理の一例を示す
フローチャート図である。図１９は本実施の形態１の音
声符号化多重化装置における、情報の流れを示す図であ
る。図１９に示すように、音声バッファリング手段８０
１と映像バッファリング手段８０２の両者とも、保存用
記憶装置へ情報を書き込む際、保存用記憶装置上で、映
像と音声が交互に並ぶよう、再生時間Ｔｍの単位（すな
わち、情報の量としてはS1とS2の単位）で、他方が格納
される部分を飛ばして記録するよう、記録位置を指定す
るものである。保存用記憶装置として、一般的なハード
ディスク等を用いるのであれば、通常、その最小の書き
込み単位はセクタの大きさになるので、音声バッファリ
ング手段８０１、及び映像バッファリング手段８０２と
も、セクタの大きさだけの内部バッファをもち、セクタ
単位で書き込み指定を行うことになる。ここでは、セク
タの大きさを5008bit(626byte)、符号化映像情報のビッ
トレートを1500Kbit/sec、符号化音声情報のビットレー
トを200Kbit/sec 、再生時間Ｔｍを０．１秒とし、さら
に、各セクタの先頭に映像、及び音声を示す8bitのシー
ケンスヘッダをつけるものとする。従って、再生時間Ｔ
に対応する符号化映像情報の量は150Kbitで、セクタ30
個分、符号化音声情報の量は20Kbitで、セクタ４個分で
ある。ファイル管理手段８０３は、音声バッファリング
手段８０１、及び映像バッファリング手段８０２の指示
に従って、情報をセクタ単位に書き込むものとする。
【０１６０】このように構成された本実施の形態７によ
る映像音声符号化多重化装置の動作を、図１８のフロー
に従って、図１７および図１９を参照しながら、以下に
説明する。
【０１６１】図１８のステップ１において、ビデオカメ
ラ１０１からの映像・音声の入力があるとき、ステップ
２以下が実行される。ステップ２では、ビデオカメラ１
０１が映像・音声をとりこみ、アナログ音声情報Ｓ１５
０とアナログ映像情報Ｓ１６０とに分けて出力し、映像
キャプチャ手段１０６は、ビデオカメラ１０１より出力
されたアナログ映像情報Ｓ１６０を入力し、デジタル化
して原映像情報Ｓ１６１を出力する。そして、映像符号
化手段１０７は、原映像情報Ｓ１６１を符号化し、符号
化映像情報Ｓ１６２として出力する。静止画像２枚分に
あたる０．０６６秒分の100Kbit を出力したとする。
【０１６２】ステップ３では、映像バッファリング手段
８０２は、上記100Kbit の符号化映像情報Ｓ１６３を、
保存用記憶装置にシーケンスヘッダと一緒に書き込むよ
うにとの指示を付して、ファイル管理手段８０３に出力
し、この符号化映像情報Ｓ１６３は、保存用記憶装置の
ある位置よりセクタ20個にわたって格納される。
【０１６３】ステップ４では、音声キャプチャ手段１０
２は、ビデオカメラ１０１より出力されたアナログ音声
情報Ｓ１５０を入力し、デジタル化して原音声情報Ｓ１
５１を出力する。そして、音声符号化手段１０３は、原
音声情報Ｓ１５１を符号化し、符号化音声情報Ｓ１５２
として出力する。ここでの経過時間が０．１秒だったの
で、20Kbitの符号化音声情報Ｓ１５２を出力する。
【０１６４】続いてステップ５では、音声バッファリン
グ手段８０１は、上記20Kbitの符号化音声情報Ｓ１６３
を、保存用記憶装置にシーケンスヘッダと一緒に書き込
むようにとの指示を付して、ファイル管理手段８０３に
出力し、この符号化音声情報Ｓ１６３は、ステップ３で
書き込んだ先頭の位置から30セクタ離れたセクタより、
セクタ４個に格納される。
【０１６５】ここで、他のプロセスにＣＰＵ時間をとら
れたものとし、その後に実行されるステップ１の判定に
おいて、終了でないとされて、ステップ２が実行され、
映像符号化手段１０７に制御が移った時、先のステップ
３から１秒の時間が経過していたとする。ステップ２
で、映像符号化手段１０７は、１秒分の符号化映像情報
Ｓ１６２、1500Kbitを出力する。
【０１６６】そして、ステップ３で映像バッファリング
手段８０２は、ステップ２で出力された1500Kbitの符号
化映像情報を、保存用記憶装置に格納するように、ファ
イル管理手段８０３に出力する。符号化映像情報Ｓ１６
３は、先のステップ３で書き込んだセクタに続けて300
セクタ分格納される。その際、映像バッファリング手段
８０２からファイル管理手段８０３には、30セクタごと
に、音声用の４セクタ分の隙間をいれつつ格納するよう
指示がなされる。ファイル管理手段８０３によって、こ
の指示に従った格納が行われる。
【０１６７】ステップ４に移行して、音声符号化手段１
０３に制御が移った時、先のステップ５より１．２秒分
の時間経過があったとして、音声符号化手段１０３は、
１．２秒分、240Kbit の符号化音声情報Ｓ１５２を出力
する。続くステップ５において、音声バッファリング手
段８０１は、ステップ４で出力された240Kbit の符号化
音声情報を保存用記憶装置に格納するように、ファイル
管理手段８０３に出力する。符号化音声情報Ｓ１５３
は、先のステップ５で書き込んだ、最後のセクタから30
セクタ離れた所から、48セクタにわたって格納するよう
に、また、その際４セクタごとに、映像用の30セクタ分
の隙間をいれつつ格納するように、指示がつけられる。
ファイル管理手段８０３は、指示に従って符号化音声情
報Ｓ１５３を格納する。以上がステップ１で映像音声の
入力がない、すなわち終了したと判定されるまで繰り返
される。
【０１６８】上述のように本実施例の映像音声符号化多
重化装置では、容量の小さな内部バッファを持つ音声バ
ッファリング手段８０１と、映像バッファリング手段８
０２とを備え、符号化された映像と音声の情報をなるべ
くバッファにためず、保存用記憶装置に格納するもので
ある。そして、符号化映像情報の格納であれば、符号化
音声情報のための、符号化音声情報の格納であれば、符
号化映像情報のための隙間をあけつつ、格納するように
指示をして、ファイル管理手段８０３に符号化情報を渡
し、ファイル管理手段８０３は、この指示に従って符号
化情報を保存用記憶装置に格納する。このため、実施の
形態１、及び２で示した効果に加え、一時的に情報を貯
えるバッファを小さくできる上に、符号化情報のコピー
も１度ですむため、動作が迅速であるという効果も得ら
れる。
【０１６９】なお、ここでは、最終的に蓄積しようとす
る記憶装置を、一般的な、ハードディスクとして説明を
行ったが、例えば、取り外し可能のメモリカード等を最
終的な記憶装置とした場合は、この例で考慮したセクタ
の大きさなどにとらわれる必要がなく、バッファをさら
に小さくすることが可能である。なお、図１８のフロー
チャートについては、必ずしもこの手順で処理を行う必
要がない点は実施の形態６と同様である。
【０１７０】実施の形態８．本発明の実施の形態８によ
る映像音声符号化多重化装置は、実施の形態６の装置
を、リングバッファを用いて実現しようとする際に起こ
り得る問題点を回避するものである。
【０１７１】実施の形態６において説明したように、映
像音声符号化多重化装置における一時蓄積においては、
半導体メモリ等が用いられるものであって、一般に限定
された容量において、効率的にＦＩＦＯ構造を実現する
ことが望まれるものであって、リングバッファの手法に
よってメモリを用いることが一般的である。図２０は、
リングバッファの手法を説明するための図である。上述
のように、一時蓄積を行うバッファとしては、限定され
た容量のメモリが用いられるものとするが、メモリはそ
の蓄積部位を位置的に示すアドレスによって管理される
ものである。図示するように、アドレスａから、アドレ
スａ＋ｎまでのアドレスを有するメモリをバッファとし
て用いることとする。この際に、該メモリの蓄積部位に
ついて、アドレス番号の増加する方向に蓄積と、取り出
しとを行うものとし、かつ、アドレスａ＋ｎの次のアド
レスはアドレスａであるものとして扱うことで、図示す
るように、見かけ上エンドレスにメモリを用いることが
可能となる。このようにして用いることで、限られた容
量を効率的に使用して、ＦＩＦＯ構造を実現することが
できる。
【０１７２】図２１は、実施の形態６による映像音声符
号化多重化装置において、映像音声バッファ（図１６の
７０３）として、リングバッファ手法によって管理する
メモリを用いて実現する際に起こり得る問題点を説明す
るための図である。同図の７０１は、映像音声バッファ
における音声蓄積ブロックと、映像蓄積ブロックの構成
をあらわしている。説明のため、ここでは、符号化音声
情報のビットレートは384Kbps 、符号化映像情報のビッ
トレートは524Kbps であるものとし、音声蓄積ブロック
と映像蓄積ブロックとは、符号化多重化情報の再生処理
を実行するシステムの制約により、どれも同一の大きさ
であるように作成するものとし、音声と映像のビットレ
ートの差は、音声、および映像のブロックの個数によ
り、吸収されるものとする。すなわち、この例では、映
像と音声のビットレートの比が524:384 、すなわちおよ
そ1.36:1であることから、１個ないし２個の映像ブロッ
クに対して、１個の音声ブロックが並ぶ構成の多重化情
報が作成されることになる。
【０１７３】この構成をあらわしたのが７０１である。
同図では、映像音声バッファが無限の大きさを持つもの
であるように表現しているが、現実には使用できるメモ
リは限られているので、同図７０２に示すように、７０
１の一部（Ａ区間）を切り出し、これをリングバッファ
として、繰り返し用いることが実行される。ここで、本
来なら同図７０１のＢ区間における、音声蓄積ブロック
と映像蓄積ブロックとの並びが実現されなければならな
いところを、Ａ区間を切り出してこれをリングバッファ
として繰り返し用いるために、ブロックの構成に狂いが
生じ、音声と映像のブロックがずれてくることが起こり
得る。すなわち、同図の７０２ではリングバッファとし
て用いる一時記憶手段（メモリ）における映像と音声の
ビットレートの比は、1.4:1 であるので、本来の1.36:1
よりわずかに映像蓄積ブロックが多く、このためにずれ
が発生する。このずれを示したのが、７０２におけるT1
V,T1A,T2V,T2A...TnV,TnA である。TnV とTnA は、時刻
Tnに再生すべき映像の位置と、音声の位置とを、それぞ
れあらわしている。７０２に示すような、TnV とTnA と
の位置のずれは、リングバッファを繰り返し用いる毎に
増大していく。このような映像音声符号化多重化情報を
再生すると、再生装置のバッファがこのTnV とTnA の位
置のずれを吸収できなくなり、映像と音声の同期がとれ
なくなってしまう事態につながる。
【０１７４】このような問題を解消するには、映像音声
バッファにおける映像および音声蓄積ブロックの構成
を、リングバッファを再利用する直前に計算しなおし、
映像および音声蓄積ブロックの位置を正しいものに置き
換えればよい。しかし、そのような計算を行うと、実施
の形態６の装置の特徴である、あらかじめブロックの位
置を計算しておき、多重化が始まった後は、定められた
位置に符号化情報を格納するのみの動作を行うことで、
高速に多重化が為されるという効果が、計算による処理
負担の増大のために、損なわれることとなってしまう。
【０１７５】もちろん、映像音声バッファにおいて、映
像と音声のビットレートの正確な比が実現されていれ
ば、問題はない。しかし、現実にそれを実現するのは困
難が伴い、性能を犠牲にする結果を生む。たとえば、上
述のように、再生処理系の制限により、映像蓄積ブロッ
クと音声蓄積ブロックとが、すべて同じ大きさでなけれ
ばならない場合がある。また、コンピュータシステムに
よっては、映像および音声蓄積ブロックが、処理のため
に効率のよい境界（ワードバウンダリや、ハードディス
クのセクタの倍数の単位など）に、揃えられていること
を要求する場合もある。これらの制限にも対応して、か
つ、有限なメモリ空間において、映像と音声のビットレ
ートの正確な比を、ビットレートのすべての比におい
て、常に実現することは、困難である。本実施の形態８
による映像音声符号化多重化装置では、補正処理を行う
ことによって、かかる蓄積位置のずれの問題を防止し得
るものである。
【０１７６】図２２は、本実施の形態８による映像音声
符号化多重化装置の構成を示すブロック図である。図示
するように、本実施の形態８による映像音声符号化多重
化装置は、実施の形態６による装置に、蓄積ブロック誤
差補正手段９０１を追加した構成となっている。蓄積ブ
ロック誤差補正手段９０１は、時間間隔をおいて間欠的
に動作するものであって、ある再生時刻において再生す
べき符号化音声情報を蓄積した音声蓄積ブロックを検出
し、また、当該再生時刻において再生すべき符号化映像
情報を蓄積した映像蓄積ブロックを検出して、映像音声
バッファ９０２における上記音声蓄積ブロックと上記映
像蓄積ブロックとの配置位置の差を蓄積ブロック誤差と
して検出する誤差検出処理と、該検出した誤差の分を、
映像蓄積ブロックに、または音声蓄積ブロックに対し
て、ダミーのデータを挿入することにより、補正する補
正処理とを行うものである。補正処理において挿入する
ダミーのデータは、映像音声符号化多重化情報を復号化
し再生する復号器にとって、なんの意味も持たないデー
タを用いるものである。又映像音声バッファ９０２にお
いては、リングバッファ動作が実行されるものとする。
映像音声入力手段１０１、音声キャプチャ手段１０２、
音声符号化手段１０３、映像キャプチャ手段１０６、映
像符号化手段１０７、およびファイル管理手段１１２に
ついては実施の形態１と同様であり、音声バッファリン
グ手段７０１、および映像バッファリング手段７０２に
ついては実施の形態６と同様であるので、説明を省略す
る。
【０１７７】図２３は、本実施の形態８による映像音声
符号化多重化装置における、映像・音声処理の際の動作
を説明するための図である。同図に示すように、映像音
声バッファ９０２については、符号化音声情報が格納さ
れるブロックと、符号化映像情報が格納されるブロック
とが、実施の形態１における同期間隔時間情報に対応し
た再生時間Ｔの単位（すなわち、S1とS2の単位）で、あ
らかじめ交互に並べられているものである。本実施の形
態８では、符号化音声情報のビットレートは384Kbps 、
符号化映像情報のビットレートは524Kbps であるものと
し、音声蓄積ブロックと映像蓄積ブロックとは、符号化
多重化情報の再生処理を実行するシステムの制約によ
り、どれも同一の大きさであるように作成するものと
し、音声と映像のビットレートの差が、音声、および映
像のブロックの個数により、吸収されるようにＳ１、お
よびＳ２が設定されるものとする。すなわち、この例で
は、映像と音声のビットレートの比が524:384 、すなわ
ちおよそ1.36:1であることから、１個ないし２個の映像
ブロックに対して、１個の音声ブロックが並ぶ構成の多
重化情報が作成されることになる。
【０１７８】映像音声バッファ９０２については、前述
のように限られた容量において、リングバッファ動作を
するものとしているので、ブロックの個数はビットレー
ト比に正確に対応するものではなく、1.36:1ではなく、
1.4:1 となってしまっているので、リングバッファ動作
の繰り返しにより、上記のような問題が起こることとな
り、同一時刻における映像蓄積ブロックが、音声蓄積ブ
ロックより後方に位置するようになるというずれが生じ
る。そこで、本実施の形態８では、蓄積ブロック誤差補
正手段９０１が、設定された時間間隔で起動されて機能
し、映像蓄積ブロックにダミーデータを挿入して、映像
蓄積ブロックが音声蓄積ブロックの後方に位置するよう
になっていたものを、音声蓄積ブロックに追いつくよう
にすることで、映像と音声の同期を維持するものであ
る。
【０１７９】実施の形態６と同様に、映像シーケンスヘ
ッダと音声シーケンスヘッダも、符号化映像情報が格納
されるブロックの前と、符号化音声情報が格納されるブ
ロックの前とに、あらかじめ書き込まれているものとす
る。また、音声バッファリング手段７０１は符号化音声
情報を映像音声バッファ９０２に蓄積する際に、データ
の蓄積された映像蓄積用ブロックに挟まれた、空の音声
蓄積用ブロックがあれば、そのような音声蓄積用ブロッ
クに前の方から蓄積し、ないならば空の音声蓄積用ブロ
ックに前の方から蓄積する。映像バッファリング手段７
０２による蓄積も同様である。さらに、映像音声同期手
段７０４によって読み出された符号化情報が蓄積されて
いたブロックは、空のブロックとされる点も実施の形態
６と同様である。
【０１８０】このように構成された映像音声符号化多重
化装置の動作を、図２３に従って、図２２を参照しなが
ら、以下に説明する。図２３において、ビデオカメラ１
０１が映像・音声をとりこみ、アナログ音声情報Ｓ１５
０とアナログ映像情報Ｓ１６０とに分けて出力し、映像
キャプチャ手段１０６は、ビデオカメラ１０１より出力
されたアナログ映像情報Ｓ１６０を入力し、デジタル化
して原映像情報Ｓ１６１を出力する。そして、映像符号
化手段１０７は、原映像情報Ｓ１６１を符号化し、符号
化映像情報Ｓ１６２として出力する。映像バッファリン
グ手段７０２は、符号化映像情報Ｓ１６２を、映像音声
バッファ７０３の映像蓄積用のブロックに、先頭から分
割して蓄積する。映像バッファリング手段７０２は、蓄
積を行って一杯になったブロックについては「蓄積あ
り」の状態とする。
【０１８１】一方、音声キャプチャ手段１０２は、ビデ
オカメラ１０１より出力されたアナログ音声情報Ｓ１５
０を入力し、デジタル化して原音声情報Ｓ１５１を出力
する。そして、音声符号化手段１０３は、原音声情報Ｓ
１５１を符号化し、符号化音声情報Ｓ１５２として出力
する。音声バッファリング手段７０１は、符号化音声情
報Ｓ１５２を、映像音声バッファ７０３の音声蓄積用の
ブロックに、先頭から分割して蓄積する。音声バッファ
リング手段７０１は、蓄積を行って一杯になったブロッ
クについては「蓄積あり」の状態とする。
【０１８２】映像音声同期手段７０４は、映像音声バッ
ファ９０２において、「蓄積あり」の状態となっている
映像蓄積ブロックと音声蓄積ブロックとが連続している
部分について、該連続部分を読み出して、映像音声符号
化多重化情報Ｓ１７０としてファイル管理手段１１２に
出力する。また、映像音声同期手段１１０は、読み出し
た部分のブロックを「蓄積可」の状態とする。
【０１８３】ビデオカメラ１０１による映像・音声のと
りこみから、音声符号化手段１０３による符号化音声情
報Ｓ１５２の出力、および映像符号化手段１０７による
符号化映像情報Ｓ１６２の出力までは同様に行われる。
そして、音声バッファリング手段７０１、および映像バ
ッファリング手段７０２は、映像音声バッファ９０２に
おける、「蓄積可」の状態のブロックに符号化情報の蓄
積を行う。前述のようにリングバッファ動作が行われる
ことから、映像音声バッファの先頭部から最後尾部に向
けて蓄積が行われ、最後尾部に達したなら再び先頭部に
蓄積が行われることが繰り返される。映像音声同期手段
７０４による読み出しも、やはり先頭部から最後尾部に
向けて実行され、最後尾部に達したなら再び先頭部から
読み出され、読み出されたブロックは「蓄積可」の状態
とされることで、リングバッファ動作が維持される。
【０１８４】そして、本実施の形態８では、設定された
時間が経過した後に、蓄積ブロック誤差補正手段９０１
が機能する。蓄積ブロック誤差補正手段９０１は、映像
音声バッファ９０２において、最後に蓄積された符号化
映像情報の再生時刻を、当該符号化映像情報が内包する
フレーム情報に基づいて算出し、再生時刻Ｔ１を取得す
る。次にＴ１と同一の再生時刻を有する符号化音声情報
が蓄積された音声蓄積ブロックを、符号化音声情報のビ
ットレートに基づいて求める。最後に蓄積された映像蓄
積ブロックの位置と、上記求めた音声蓄積ブロックとの
位置の差である蓄積ブロック誤差が、１個のブロックの
大きさ以上であった場合には、補正処理を実行する。補
正処理は、当該最後に蓄積された映像蓄積ブロックに後
続する映像蓄積ブロックに対するダミーデータＳ１８０
の蓄積と、該ブロックを「蓄積あり」の状態とすること
により、なされる。映像・音声のとりこみが継続する間
は、以上の動作が繰り返し実行され、得られた映像音声
符号化多重化情報は、ファイル管理手段１１２によって
ファイルに格納される。
【０１８５】このように本実施の形態８の映像音声符号
化多重化装置によれば、実施の形態６の装置に蓄積ブロ
ック誤差補正手段９０１を追加する構成としたことで、
符号化された情報を、あらかじめ決められた単位で交互
に並べられたバッファに蓄積し、蓄積ブロック誤差補正
手段９０１が、定期的に映像と音声の同一の再生時刻を
持つ符号化情報の位置をチェックし、ずれが生じていた
ならば、ダミーデータの挿入によってこれを補正する処
理を行うので、実施の形態６と同様に、同期した多重化
情報を得ることを、少ないメモリを用いて、迅速に実行
でき、しかもリングバッファ手法を用いることによって
効率的なメモリ管理によるバッファの使用をしつつ、計
算のために処理負担を大きく増大することなしに、リン
グバッファ動作による同期のずれを回避することを可能
とする。
【０１８６】なお、本実施の形態８において、蓄積ブロ
ック誤差補正手段９０１は、蓄積ブロック誤差を検出す
る誤差検出処理として、まず、一番最後に蓄積された符
号化映像情報の再生時刻を検出し、それと同一の再生時
刻を持つ符号化音声情報の蓄積位置を検出する、という
処理をするものとしたが、このようなやり方に限定され
るものではなく、たとえば、符号化音声情報の再生時刻
を求めた上で、次に符号化映像情報の蓄積位置を求めて
もよい。また、再生時刻を検出するのに、符号化映像情
報に関しては、内包するフレーム情報を利用し、符号化
音声情報に関しては、あらかじめ規定されたビットレー
トを用いるものとしたが、これ以外にも、たとえば符号
化映像情報もあらかじめ規定されたビットレートを用い
て再生時刻を検出しても良いし、符号化音声情報も、も
しタイムスタンプ等の付加情報があるのなら、このよう
な情報を用いて再生時刻を検出してもよい。
【０１８７】上記のように、タイムスタンプ等を用いて
再生時刻を検出するならば、映像符号化手段１０７、お
よび音声符号化手段１０３が、あらかじめ規定されたビ
ットレートを守れず、ビットレート誤差を含んだ符号化
情報を出力したとしても、タイムスタンプ等により再生
時刻が検出できるので、本実施の形態８に示したものと
同一の構成において、ビットレート誤差を蓄積ブロック
誤差として検出し、これを補正することができるとい
う、副次的な効果も有する。
【０１８８】また、本実施の形態８において、蓄積ブロ
ック誤差補正手段９０１は、定期的に起動されて蓄積ブ
ロック誤差の検出を行った際、それが映像および蓄積ブ
ロックの一つ以上の大きさがあったら即補正を行うもの
としたが、これは、ある閾値を設けて、その閾値を超え
る蓄積ブロック誤差があった場合のみ、補正を行うこと
としも良い。復号器におけるバッファがあふれない程度
の閾値を設ければ、前記の目的を達成し、かつ、符号化
映像音声復号情報のいたるところで補正を行うのではな
く、まとめて補正を行うことができる。
【０１８９】さらに、本実施の形態８において、蓄積ブ
ロック誤差補正手段９０１は、蓄積された符号化情報の
再生時刻から蓄積ブロック誤差を検出するものとした
が、別の構成をとることもできる。たとえば、あらかじ
め一時記憶手段が潜在的に持つ誤差（本実施の形態８に
示した例でいえば、1.36:1のビットレート比にならなけ
ればならないところが、1.4:1 のビットレート比になっ
ている、という誤差）がわかっているのであるから、毎
回蓄積ブロック誤差を検出することなく、あらかじめわ
かっている誤差を、適宜ダミーデータを挿入することで
補正してもよい。ただしこの場合、前述の、ビットレー
ト誤差までも補正できるという副次的な効果は得られな
くなるが、蓄積ブロック誤差補正手段の構成が単純なも
のでも良いこととなるという効果が得られる。
【０１９０】実施の形態９．本発明の実施の形態９によ
る映像音声符号化多重化装置は、実施の形態８と同様
に、実施の形態６の装置を、リングバッファを用いて実
現しようとする際に起こり得る問題点を回避するもので
ある。
【０１９１】本実施の形態９による映像音声符号化装置
の構成は、図２２に示す実施の形態８による装置と同様
であり、蓄積ブロック誤差補正手段９０１の機能のみが
異なるものである。図２４は、本実施の形態９による映
像音声符号化多重化装置における、映像・音声処理の際
の動作を説明するための図である。同図において、蓄積
ブロック誤差補正手段９０１は、時間間隔をおいて間欠
的に動作するものであって、ある再生時刻において再生
すべき符号化音声情報を蓄積した音声蓄積ブロックを検
出し、また、当該再生時刻において再生すべき符号化映
像情報を蓄積した映像蓄積ブロックを検出して、映像音
声バッファ９０２における上記音声蓄積ブロックと上記
映像蓄積ブロックとの配置位置の差を蓄積ブロック誤差
として検出する誤差検出処理と、該検出した誤差の分
を、映像音声バッファとして用いる一時蓄積手段（メモ
リ）において、誤差補正用追加ブロックとして、映像蓄
積ブロック、または音声蓄積ブロックを追加し、当該追
加したブロックの使用がなされた後に、これを削除する
ことにより補正する補正処理とを行うものである。
【０１９２】このように構成された、本実施の形態９に
よる映像音声符号化多重化装置における、映像・音声処
理の動作は、蓄積ブロック誤差補正手段９０１の動作以
外は実施の形態８と同様であるので、蓄積ブロック誤差
補正手段９０１の動作のみを以下に説明する。
【０１９３】本実施の形態９においても、設定された時
間が経過した後に、蓄積ブロック誤差補正手段９０１が
機能する。そして、実施の形態８と同様に検出処理が行
われ、誤差の大きさによって補正処理の実行の有無が決
定される。補正処理が行われる場合、本実施の形態９に
おいては、以下のような処理がされるものである。蓄積
ブロック誤差補正手段９０１は、映像音声バッファ９０
２に対して、その最後尾部に、誤差補正用追加ブロック
Ｓ１８０を追加する。追加した時点において、当該ブロ
ックは「蓄積可」の状態である。蓄積ブロック誤差補正
手段９０１は、誤差補正用追加ブロックＳ１８０に対す
る蓄積の状況を監視する。
【０１９４】映像音声バッファ９０２に対してのリング
バッファ動作が続行され、誤差補正用追加ブロックに対
しての蓄積と読み出しとが実行されたとする。蓄積ブロ
ック誤差補正手段９０１は、誤差補正用追加ブロックＳ
１８０の状態が、「蓄積可」から「蓄積あり」に変更さ
れ、再び「蓄積可」に変更されたことによって、このこ
とを知る。そこで、蓄積ブロック誤差補正手段９０１
は、誤差補正用追加ブロックＳ１８０を削除する。映像
・音声のとりこみが継続する間は、以上の動作が繰り返
し実行され、得られた映像音声符号化多重化情報は、フ
ァイル管理手段１１２によってファイルに格納される。
【０１９５】このように本実施の形態９の映像音声符号
化多重化装置によれば、実施の形態６の装置に蓄積ブロ
ック誤差補正手段９０１を追加する構成としたことで、
符号化された情報を、あらかじめ決められた単位で交互
に並べられたバッファに蓄積し、蓄積ブロック誤差補正
手段９０１が、定期的に映像と音声の同一の再生時刻を
持つ符号化情報の位置をチェックし、ずれが生じていた
ならば、蓄積用ブロックの一時的な追加によってこれを
補正する処理を行うので、実施の形態６と同様に、同期
した多重化情報を得ることを、少ないメモリを用いて、
迅速に実行でき、しかもリングバッファ手法を用いるこ
とによって効率的なメモリ管理によるバッファの使用を
しつつ、計算のために処理負担を大きく増大することな
しに、リングバッファ動作による同期のずれを回避する
ことを可能とする。
【０１９６】なお、本実施の形態９においては、蓄積ブ
ロック誤差補正手段９０１は、誤差補正用追加ブロック
Ｓ１８０を、映像音声バッファ９０２の最後に追加する
ものとしたが、先頭部に追加することも可能であり、同
様の効果を得られる。
【０１９７】さらに、本実施の形態９において、実施の
形態８と同様に、符号化情報の再生時刻を検出するため
に他の方法を用いること、蓄積ブロック誤差の補正をあ
る閾値を超えた場合にのみ行うこと、または蓄積ブロッ
ク誤差を毎回求めることなく、あらかじめわかっている
誤差を補正することなどの応用をすることが可能であ
る。
【０１９８】また、実施の形態８、および９において
は、説明のため符号化音声情報、符号化映像情報ともブ
ロック単位で蓄積されるものとしたが、実施の形態６に
示したようにブロックの途中まで蓄積されるものとする
場合にも、応用し得るものである。この場合、補正処理
が行われる場合には、途中まで蓄積したブロックについ
ては、その蓄積内容をコピーすることで蓄積位置を移動
するものとして対応することが可能である。
【０１９９】なお、本発明の実施の形態６から実施の形
態９に示した映像音声符号化多重化装置において、実施
の形態３から実施の形態５に示したバッファあふれ回避
を実行するものとすることも可能である。例えば実施の
形態６〜９に示した装置において、実施の形態３に示し
た、符号化音声蓄積時間出力手段、および符号化映像蓄
積時間出力手段を追加し、これらは映像音声バッファを
監視するものとし、さらに音声途切れ防止手段とダミー
映像挿入手段とを追加することで、実施の形態３と同様
に、音声バッファのあふれを防止することが可能とな
る。
【０２００】実施の形態１０．本発明の実施の形態１０
による映像音声符号化多重化装置は、当該装置における
処理性能に応じて、用いるバッファの量を決定するもの
である。
【０２０１】図２５は、本発明の実施の形態１０による
映像音声符号化多重化装置の構成図である。図におい
て、１００１はバッファ量決定手段であり、動作するコ
ンピュータシステムの性能を判定し、その判定結果に従
い映像バッファリング手段１０８、および音声バッファ
リング手段１０４が用いるバッファの量を決定するもの
である。本実施の形態１０の装置では、まず暫定的に大
きなバッファを取得した後に、テスト的に映像と音声の
符号化と同期を行い、その際に使用したバッファの最大
値を最適なバッファ量とするものである。音声バッファ
リング手段１０４、および映像バッファリング手段１０
８は、最大符号化音声バッファ量、および最大符号化映
像バッファ量を記憶する機能を有し、内部に有する音声
バッファ、および映像バッファに蓄積された符号化音声
情報Ｓ１５２、および符号化映像情報Ｓ１６２の蓄積量
を監視して、最大符号化音声バッファ量、および最大符
号化映像バッファ量を更新する。
【０２０２】映像音声入力手段１０１、音声キャプチャ
手段１０２、音声符号化手段１０３、映像キャプチャ手
段１０６、映像符号化手段１０７、映像音声同期手段１
１０、ファイル管理手段１１２、符号化音声読み出し手
段１１３、および符号化映像読み出し手段１１５につい
ては、実施の形態１と同じであるので、説明は省略す
る。また、本実施の形態１０の場合にも、符号化映像情
報と符号化音声情報のビットレートは、実施の形態１と
同じであるとする。
【０２０３】このように構成された映像音声符号化多重
化装置の動作を以下に説明する。処理に先立って、まず
バッファ量決定手段１００１は、映像バッファリング手
段１０８が用いる映像バッファ、及び音声バッファリン
グ手段１０４が用いる音声バッファの量について、暫定
的に、十分であると考えられる大きい目の量を決定し、
両者のメモリ領域をオペレーティングシステムに要求す
ることで取得する。そして、バッファ量決定のためのテ
スト処理が実行される。
【０２０４】音声入力手段（ビデオカメラ）１０１によ
る映像・音声のとりこみから、ファイル管理手段１１２
による、映像音声符号化多重化情報のファイルへの格納
までは、実施の形態１と同様に実行される。その課程に
おいて、音声バッファリング手段１０４、および映像バ
ッファリング手段１０８は、内部に有する音声バッフ
ァ、および映像バッファに蓄積された符号化音声情報Ｓ
１５２、および符号化映像情報Ｓ１６２の蓄積量を監視
して、最大符号化音声バッファ量、および最大符号化映
像バッファ量を記憶し、また更新する。
【０２０５】あらかじめ定められた時間が経過するま
で、処理を繰り返す。その過程で、蓄積された符号化映
像情報と符号化音声情報の最大値が、それぞれ最大符号
化映像バッファ量と最大符号化音声バッファ量として記
録されることとなる。あらかじめ定められた時間が経過
したとき、符号化処理は中断される。バッファ量決定手
段１００１は、この時点で求められた最大符号化映像バ
ッファ量と、最大符号化音声バッファ量とを音声バッフ
ァリング手段１０４、および映像バッファリング手段１
０８から取得し、これらに対して、あらかじめ定めれら
た予備の量を余裕量として足した値を最適なバッファ量
と決定して、暫定的に取得した映像と音声のバッファの
サイズを補正する。
【０２０６】最適なバッファの量が取得できたところ
で、符号化処理を再開する。これ以後の符号化多重化処
理については、実施の形態１において説明したものと同
様となるので説明を省略する。
【０２０７】このように本実施の形態１０による映像音
声符号化多重化装置では、まず、バッファ量決定手段１
００１が、映像と音声のバッファの量を暫定的に決定
し、そのバッファを用いてテスト的に符号化処理を行
う。その際、実際に使用されたバッファの最大量を記録
し、その量を用いて最適な映像と音声のバッファの量を
決定する。映像バッファ、及び音声バッファへの符号化
情報の蓄積量については、映像と音声の符号化処理の時
間間隔が大きくなったり、両者の処理に偏りがある場合
等に、どちらかが大きなものとなる。均等に、かつ頻繁
に映像と音声の符号化処理が行われれば、いずれについ
てもあまり蓄積されることはなく、したがってバッファ
の量も小さなサイズとできるが、オペレーティングシス
テム上の負荷の増大等により映像と音声の符号化処理が
滞るようになると、同期化のためのバッファは大きいも
のとする必要が生じる。バッファのサイズを大きくする
とこの意味での余裕はあるが、使用しない分のメモリを
確保しておくことは、システム全体として、不経済なこ
ととなり、全体の性能低下につながる。そこで、本実施
の形態１０による装置では、まず、大き目のバッファを
取得した状態でテスト的に符号化処理を行い、そのシス
テムで本当に必要な同期化のためのバッファのサイズを
見極め、それを用いてバッファのサイズを補正してい
る。このため、不必要に大きなバッファを使用すること
なく、符号化処理を行える。
【０２０８】なお、本実施の形態１０の例では、最適な
バッファサイズを求めるのに、まず十分に大きいバッフ
ァを取得し、その上で符号化処理を行って最適なバッフ
ァサイズを求め、不必要なバッファを廃棄するとしてい
たが、本発明はこのような方法に限定されるものではな
い。逆に小さいバッファで符号化処理を行い、あふれた
ところで一旦符号化処理を中断して、バッファサイズを
少し大きくし、その上でさらに符号化処理を行うという
動作を、バッファからあふれなくなるまで続けて、最適
なバッファサイズを求めるという方法もとることができ
る。
【０２０９】また、本実施の形態１０の例では、テスト
的に符号化処理を行う際、通常と同じようにビデオカメ
ラより映像音声を入力するとしたが、テストを行うこと
が目的であるから、あらかじめテスト用のデジタル原音
声情報とデジタル原映像情報を貯えておき、それを音声
符号化手段と映像符号化手段に直接入力するという方法
をとっても良い。
【０２１０】さらに、本実施の形態１０の例では、テス
トを行って最適なバッファ量を検出するとしているが、
テストを行わないで、例えば動作するＣＰＵの型番や、
動作するオペレーティングシステムの型番等、または同
時に動作しているプロセスの数や種類等を調べて、ある
程度動作環境の能力の予測をし、その予測を利用して、
バッファサイズを決定してもよい。また、動作環境の能
力を、使用者に質問して得ても良い。
【０２１１】また、テストによってバッファ量を決定
し、ずっとその量で運用するということでなく、一定時
間ごとに、あるいはシステム立ち上げ後に上記テストを
行ってバッファ量の見直しを図るという運用形態をとる
ことも可能であり、システムの状況の変化に応じた設定
を行うことができる。
【０２１２】さらに、本実施の形態１０の例では、実施
の形態１に示したと同様の、音声と映像の別々のバッフ
ァを用いる形態をとるものとしたが、実施の形態６に示
したと同様の、音声と映像の共有バッファを用いる形態
についても応用が可能であり、同様の効果が得られる。
【０２１３】本発明の実施の形態１〜１０においては、
いずれもビデオカメラよりアナログの映像音声を入力
し、各キャプチャ手段によって、デジタル化した原映像
情報、及び原音声情報を得るものとしているが、デジタ
ルカメラ等の、デジタル入力できる周辺機器を用いた場
合、あるいは、デジタル化した映像・音声を記録装置や
通信経路より入力して用いる場合、これらのデジタル情
報を、各実施の形態で説明した原映像情報、及び原音声
情報として、符号化の段階より実行することも可能であ
り、映像音声符号化多重化について同様の効果が得られ
る。
【０２１４】また、いずれの実施の形態についても、映
像音声符号化多重化情報は、同装置において、記録保存
して利用するのみでなく、通信経路や記録媒体によって
他の装置で保存、あるいは利用することも可能である。
【０２１５】さらに、いずれの実施の形態についても、
このような映像音声符号化多重化処理を行う映像音声符
号化多重化プログラムを記録媒体に記録し、該記録した
プログラムをパーソナルコンピュータ、ワークステーシ
ョン等のコンピュータシステムにおいて実行すること
で、映像音声符号化多重化装置を実現することが可能で
ある。かかる記録媒体としては、フロッピーディスク、
ＣＤ−ＲＯＭ、光ディスク、磁気テープ等を用いること
ができるものであり、プログラムを記録し得るものであ
れば使用可能である。
【０２１６】
【発明の効果】請求項１のマルチメディアデータ符号化
多重化方法によれば、デジタル化された映像、及びデジ
タル化された音声を含むデジタルマルチメディアデータ
が、符号化され、時分割多重化されたマルチメディアデ
ータ符号化多重化情報を得るマルチメディアデータ符号
化多重化方法において、上記デジタル化された、デジタ
ルマルチメディアデータを符号化して、その再生時間が
Ｔであり、その量がＶである符号化マルチメディア情報
を生成し、上記再生時間Ｔ、および上記量Ｖに基づいて
ブロックレート情報を生成するマルチメディアデータ符
号化ステップと、上記マルチメディアデータ符号化ステ
ップにおいて生成された上記符号化マルチメディア情報
と、上記ブロックレート情報とを、一時蓄積用記憶手段
に一時蓄積する符号化マルチメディア情報バッファリン
グステップと、上記一時蓄積されたブロックレート情報
を用いて取得される、上記時分割多重化における時間間
隔を示す同期間隔時間情報に対応する量の、上記一時蓄
積された符号化マルチメディア情報を読み出す符号化マ
ルチメディア情報読み出しステップと、上記符号化マル
チメディア読み出しステップにおいて読み出された符号
化マルチメディア情報に対して、多重化処理を行ってマ
ルチメディアデータ符号化多重化情報を生成する符号化
マルチメディア情報同期ステップとを含むものであっ
て、デジタルマルチメディアデータを符号化処理して、
ブロックレート情報を付与して一時蓄積し、上記ブロッ
クレート情報を用いて所定の量ずつ読み出して多重化処
理することで、符号化処理と多重化処理とのタイミング
を分離して実行するので、符号化処理が均等、かつ頻繁
に実行されない場合にも、マルチメディアデータを構成
する映像、および音声について同期のとれたマルチメデ
ィアデータ符号化多重化情報を得ることが可能となる。
【０２１７】請求項２のマルチメディアデータ符号化多
重化方法によれば、請求項１の方法において、上記符号
化マルチメディア情報バッファリングステップでは、上
記一時蓄積用記憶手段をリングバッファとして上記一時
蓄積するものであり、上記符号化マルチメディア情報読
み出しステップでは、上記一時蓄積用記憶手段をリング
バッファとして上記読み出しを行い、上記読み出した符
号化マルチメディア情報を削除するものであって、リン
グバッファの手法によって符号化情報を一時蓄積するの
で、一時蓄積用記憶手段として用いられるメモリ等を効
率的に使用することが可能となる。
【０２１８】請求項３のマルチメディアデータ符号化多
重化方法によれば、請求項１または２の方法において、
上記符号化マルチメディア情報同期ステップでは、上記
ブロックレート情報に含まれる、上記再生時間Ｔを、上
記同期間隔時間情報とし、これを上記符号化マルチメデ
ィア情報読み出しステップに出力するものとしたこと
で、上記の効果が得られる。
【０２１９】請求項４のマルチメディアデータ符号化多
重化方法によれば、請求項１ないし３のいずれかの方法
において、上記マルチメディアデータ符号化ステップで
は、上記ブロックレート情報として、上記符号化マルチ
メディア情報の単位時間相当量を表す符号化マルチメデ
ィア情報単位時間量を生成するものであり、上記符号化
マルチメディア情報読み出し手段は、上記符号化マルチ
メディア情報単位時間量に基づいて、上記読み出す量を
決定するものであって、符号化マルチメディア情報を上
記単位時間単位で読み出して多重化処理するので、符号
化処理によって出力される符号化情報の量によらず、上
記単位時間を単位とする同期のとれたマルチメディア符
号化多重化情報が得られる。
【０２２０】請求項５のマルチメディアデータ符号化多
重化方法によれば、デジタル化された映像、及びデジタ
ル化された音声を含むデジタルマルチメディアデータ
が、符号化され、時分割多重化されたマルチメディアデ
ータ符号化多重化情報を得るマルチメディアデータ符号
化多重化方法において、上記デジタル化された、デジタ
ルマルチメディアデータを符号化して、その再生時間が
Ｔであり、その量がＶである符号化マルチメディア情報
を生成するマルチメディアデータ符号化ステップと、設
定された単位再生時間に対応する符号化マルチメディア
情報の量を示す符号化マルチメディア情報単位量を用い
て、上記マルチメディアデータ符号化ステップにおいて
生成された符号化マルチメディア情報に対して、上記符
号化マルチメディア情報単位量ごとに分割して一時蓄積
用記憶手段に一時蓄積する符号化マルチメディア情報バ
ッファリングステップと、上記一時蓄積された符号化マ
ルチメディア情報を読み出して、マルチメディアデータ
符号化多重化情報を生成する符号化マルチメディア情報
同期ステップとを含むものであって、単位量ごとに、並
べられた形式で一時蓄積された符号化マルチメディア情
報を読み出して、マルチメディアデータ符号化多重化情
報を得るので、符号化処理が均等に、かつ頻繁に実行さ
れない場合にも、同期のとれたマルチメディアデータ符
号化多重化情報を得ることを、並び替えのためのバッフ
ァを必要とせず、また、情報をコピーする動作を発生さ
せることなく、少ないメモリで、しかも迅速に実現す
る。
【０２２１】請求項６のマルチメディアデータ符号化多
重化方法によれば、請求項５の方法において、上記マル
チメディアデータ符号化ステップは、映像がデジタル化
された、複数の静止画像情報からなる原映像情報を符号
化処理し、再生時間がＴｖであり、量がＶｖである符号
化映像情報を生成する映像符号化ステップと、音声がデ
ジタル化された原音声情報を符号化処理し、再生時間が
Ｔａであり、量がＶａである符号化音声情報を生成する
音声符号化ステップとを含むものであり、上記マルチメ
ディアバッファリングステップは、上記再生時間Ｔｖに
基づいて定められる再生時刻情報と、上記符号化マルチ
メディア単位量の上記符号化映像情報とを、上記一時蓄
積用記憶手段上にすでに一時蓄積された符号化音声情報
同士の間隙部位が存在すれば当該間隙部位に、上記間隙
部位が存在しなければ直前に一時蓄積された符号化音声
情報に後続し、符号化音声情報の上記単位量分に相当す
るだけ間隙をおいた部位に一時蓄積する映像バッファリ
ングステップと、上記再生時間Ｔａに基づいて定められ
る再生時刻情報と、上記符号化マルチメディア単位量の
上記符号化音声情報とを、上記一時蓄積用記憶手段上に
すでに一時蓄積された符号化映像情報同士の間隙部位が
存在すれば当該間隙部位に、上記間隙部位が存在しなけ
れば直前に一時蓄積された符号化映像情報に後続し、符
号化映像情報の上記単位量分に相当するだけ間隙をおい
た部位に一時蓄積する音声バッファリングステップとを
含むものであり、上記符号化マルチメディア同期ステッ
プでは、上記一時蓄積用記憶手段において、上記符号化
映像情報、および上記符号化音声情報が間隙なく一時蓄
積された部分を読み出すものであって、映像・音声が単
位量ごとに、並べられた形式で一時蓄積された符号化マ
ルチメディア情報を読み出して、マルチメディアデータ
符号化多重化情報を得るものとしたことで、上記の効果
が得られる。
【０２２２】請求項７のマルチメディアデータ符号化多
重化方法によれば、請求項５または６の方法において、
上記符号化マルチメディア情報バッファリングステップ
では、上記一時蓄積用記憶手段をリングバッファとして
上記一時蓄積するものであり、上記符号化マルチメディ
ア情報読み出しステップでは、上記一時蓄積用記憶手段
をリングバッファとして上記読み出しを行い、上記読み
出した符号化マルチメディアデータを削除するものであ
って、リングバッファの手法によって符号化情報を一時
蓄積するので、一時蓄積用記憶手段として用いられるメ
モリ等を効率的に使用することが可能となる。
【０２２３】請求項８のマルチメディアデータ符号化多
重化方法によれば、請求項５ないし７のいずれかの方法
において、上記一時蓄積用記憶手段上で、ある再生時刻
に再生すべき符号化音声情報を蓄積した位置である音声
蓄積位置と、当該再生時刻において再生すべき符号化映
像情報を蓄積した映像蓄積位置との差を蓄積位置誤差と
して検出する蓄積位置誤差検出処理と、上記誤差検出処
理によって検出した蓄積位置誤差を補正する蓄積位置誤
差補正処理とを、定められた時間間隔をおいて行う蓄積
位置誤差補正ステップをさらに備えたものであって、一
時蓄積用記憶手段をリングバッファとして繰り返し用い
ることによって生じる、誤差を修正するので、計算のた
めに処理負担を大きく増大して、リングバッファ手法に
よる効率的な処理を損なうことなしに、リングバッファ
動作による同期のずれを回避することを可能とする。
【０２２４】請求項９のマルチメディアデータ符号化多
重化方法によれば、請求項８の方法において、上記蓄積
位置誤差補正ステップの上記蓄積位置誤差補正処理で
は、上記一時蓄積用記憶手段において、所定の符号化マ
ルチメディア情報を蓄積することにより行うものであっ
て、データ挿入により修正を行うことで、上記の効果が
得られる。
【０２２５】請求項１０のマルチメディアデータ符号化
多重化方法によれば、請求項８の方法において、上記蓄
積位置誤差補正ステップの上記蓄積位置誤差補正処理で
は、上記一時蓄積用記憶手段を一時的に拡大する、追加
蓄積位置を設定することにより行うものであって、一時
的に拡大した蓄積位置の使用によりデータ挿入と同様の
修正を行うことで、上記の効果が得られる。
【０２２６】請求項１１のマルチメディアデータ符号化
多重化方法によれば、請求項１ないし１０のいずれかの
方法において、上記符号化マルチメディア情報バッファ
リングステップにおいて、一時蓄積した符号化マルチメ
ディア情報の量が一定量を超えた場合に、上記一時蓄積
した符号化マルチメディアデータ量に基づいて、ダミー
情報挿入時間を算出し、上記符号化マルチメディア情報
バッファリングステップと、後述するダミー情報挿入ス
テップとに出力する途切れ防止ステップと、上記ダミー
情報挿入時間が入力された場合、上記ダミー情報挿入時
間に相当する量の符号化マルチメディア情報を生成し、
上記符号化マルチメディア情報バッファリングステップ
において一時蓄積されるように出力するダミー情報挿入
ステップとをさらに備え、上記符号化マルチメディア情
報バッファリングステップでは、上記ダミー情報挿入時
間が入力された場合、上記マルチメディアデータ符号化
ステップにおいて生成される上記符号化マルチメディア
情報を、上記ダミー情報挿入時間に相当する量だけ、一
時蓄積せずに廃棄するものであって、一時蓄積における
蓄積量が増大した場合に、符号化情報を一時蓄積せずに
廃棄し、代替となるダミー情報を挿入して同期を確保す
るので、符号化情報がバッファからあふれ、映像と音声
との同期がとれなくなる等の事態を回避できるのに加え
て、バッファ容量の抑制によるメモリの使用量の低減も
図ることが可能となる。
【０２２７】請求項１２のマルチメディアデータ符号化
多重化方法によれば、請求項１ないし１１のいずれかの
方法において、上記符号化マルチメディア情報バッファ
リングステップにおいて、一時蓄積した符号化マルチメ
ディア情報の量が一定量を超えた場合に、上記一時蓄積
した符号化マルチメディアデータ量に基づいて、ダミー
情報挿入時間を算出し、上記符号化マルチメディアデー
タ符号化ステップと、後述するダミー情報挿入ステップ
とに出力する途切れ防止ステップと、上記ダミー情報挿
入時間が入力された場合、上記ダミー情報挿入時間に相
当する符号化マルチメディア情報を、上記符号化マルチ
メディアバッファリングステップにおいて一時蓄積され
るように出力するダミー情報挿入ステップとをさらに備
え、上記マルチメディアデータ符号化ステップでは、上
記ダミー情報挿入時間が入力された場合、当該ダミー情
報挿入時間に相当する量のデジタルマルチメディアデー
タを符号化せずに廃棄するものであって、一時蓄積にお
ける蓄積量が増大した場合に、デジタル情報を符号化せ
ずに廃棄し、代替となるダミー情報を挿入して同期を確
保するので、符号化情報がバッファからあふれ、映像と
音声との同期がとれなくなる等の事態を回避できるのに
加えて、符号化処理を停止するため、装置資源を他の用
途に用いることにより活用を図ることができる。
【０２２８】請求項１３のマルチメディアデータ符号化
多重化方法によれば、請求項１１の方法において、上記
マルチメディアデータ符号化ステップでは、上記デジタ
ルマルチメディアデータに対して、単独で復号処理をす
ることができる独立符号化情報と、他の符号化マルチメ
ディア情報を参照することにより復号処理をすることが
できる差分符号化情報とを生成する符号化処理を行い、
上記独立符号化情報と、上記差分符号化情報とからなる
上記符号化マルチメディア情報を生成するものであり、
上記符号化マルチメディア情報バッファリングステップ
では、上記ダミー情報挿入時間に相当する量の符号化マ
ルチメディア情報を一時蓄積せずに廃棄した後、後続の
上記差分符号化情報を、上記独立符号化情報に変換して
一時蓄積するものであって、ダミー情報による代替処理
によって、復号処理が行い得なくなる差分符号化情報を
変換によって復号処理可能なものとするので、代替処理
による復号処理時のトラブルを防止することが可能とな
る。
【０２２９】請求項１４のマルチメディアデータ符号化
多重化方法によれば、請求項１２の方法において、上記
マルチメディアデータ符号化ステップでは、上記デジタ
ルマルチメディアデータに対して、単独で復号処理をす
ることができる独立符号化情報と、他の符号化マルチメ
ディア情報を参照することにより復号処理をすることが
できる差分符号化情報とを生成する符号化処理を行い、
上記独立符号化情報と、上記差分符号化情報とからなる
上記符号化マルチメディア情報を生成するものであり、
上記途切れ防止ステップでは、上記一時蓄積量に基づい
て決定されるダミー情報挿入時間を算出した後、上記マ
ルチメディアデータ符号化ステップにおいて、符号化せ
ずに廃棄されるデジタルマルチメディアデータに後続す
る、上記差分符号化情報とされるべきデジタルマルチメ
ディアデータの符号化処理に相当する時間である挿入修
正時間を算出し、上記ダミー情報挿入時間に対して、上
記挿入修正時間の加算処理による修正を行うものであっ
て、ダミー情報による代替処理によって、復号処理が行
い得なくなる差分符号化情報とされることになるデジタ
ルマルチメディアデータをダミー情報で代替するので、
代替処理による復号処理時のトラブルを防止することが
可能となる。
【０２３０】請求項１５のマルチメディアデータ符号化
多重化方法によれば、請求項１ないし１４のいずれかの
方法において、当該符号化多重化処理を実行する装置自
体の性能を判定し、上記判定の結果に従って、上記符号
化マルチメディア情報バッファリング手段の用いる一時
蓄積用記憶手段の量を決定する、バッファ量決定ステッ
プをさらに備えたものであって、当該装置の処理性能に
応じたバッファ量を決定するので、適切な量の一時蓄積
用記憶手段を用いることによって、コンピュータシステ
ム等の全体としての装置資源の活用を図ることが可能と
なる。
【０２３１】請求項１６のマルチメディアデータ符号化
多重化装置によれば、デジタル化された映像、及びデジ
タル化された音声を含むデジタルマルチメディアデータ
が、符号化され、時分割多重化されたマルチメディアデ
ータ符号化多重化情報を得るマルチメディアデータ符号
化多重化装置において、情報を記憶するものであり、情
報の一時的な蓄積に用いられる一時蓄積用記憶手段と、
上記デジタル化された、デジタルマルチメディアデータ
を符号化して、その再生時間がＴであり、その量がＶで
ある符号化マルチメディア情報を生成し、上記再生時間
Ｔ、および上記量Ｖに基づいてブロックレート情報を生
成するマルチメディアデータ符号化手段と、上記マルチ
メディアデータ符号化手段において生成された上記符号
化マルチメディア情報と、上記ブロックレート情報と
を、上記一時蓄積用記憶手段に一時蓄積する符号化マル
チメディア情報バッファリング手段と、上記一時蓄積さ
れたブロックレート情報を用いて取得される、上記時分
割多重化における時間間隔を示す同期間隔時間情報に対
応する量の、上記一時蓄積された符号化マルチメディア
情報を読み出す符号化マルチメディア情報読み出し手段
と、上記符号化マルチメディア読み出し手段において読
み出された符号化マルチメディア情報に対して、上記ブ
ロックレート情報に基づいて取得される上記再生時刻情
報を付与し、多重化処理を行ってマルチメディアデータ
符号化多重化情報を生成する符号化マルチメディア情報
同期手段とを備えたものであって、デジタルマルチメデ
ィアデータを符号化処理して、ブロックレート情報を付
与して一時蓄積し、上記ブロックレート情報を用いて所
定の量ずつ読み出して多重化処理することで、符号化処
理と多重化処理とのタイミングを分離して実行するの
で、符号化処理が均等、かつ頻繁に実行されない場合に
も、マルチメディアデータを構成する映像、および音声
について同期のとれたマルチメディアデータ符号化多重
化情報を得ることが可能となる。
【０２３２】請求項１７のマルチメディアデータ符号化
多重化装置によれば、デジタル化された映像、及びデジ
タル化された音声を含むデジタルマルチメディアデータ
が、符号化され、時分割多重化されたマルチメディアデ
ータ符号化多重化情報を得るマルチメディアデータ符号
化多重化装置において、情報を記憶するものであり、情
報の一時的な蓄積に用いられる一時蓄積用記憶手段と、
上記デジタル化された、デジタルマルチメディアデータ
を符号化して、その再生時間がＴであり、その量がＶで
ある符号化マルチメディア情報を生成するマルチメディ
アデータ符号化手段と、設定された単位再生時間に対応
する符号化マルチメディア情報の量を示す符号化マルチ
メディア情報単位量を用いて、上記マルチメディアデー
タ符号化手段において生成された符号化マルチメディア
情報に対して、上記符号化マルチメディア情報単位量ご
とに分割して一時蓄積用記憶手段に一時蓄積する符号化
マルチメディア情報バッファリング手段と、上記一時蓄
積された符号化マルチメディア情報を読み出して、マル
チメディアデータ符号化多重化情報を生成する符号化マ
ルチメディア情報同期手段とを備えたものであって、単
位量ごとに、並べられた形式で一時蓄積された符号化マ
ルチメディア情報を読み出して、マルチメディアデータ
符号化多重化情報を得るので、符号化処理が均等に、か
つ頻繁に実行されない場合にも、同期のとれたマルチメ
ディアデータ符号化多重化情報を得ることを、並び替え
のためのバッファを必要とせず、また、情報をコピーす
る動作を発生させることなく、少ないメモリで、しかも
迅速に実現する。
【０２３３】請求項１８のマルチメディアデータ符号化
多重化プログラム記録媒体によれば、デジタル化された
映像、及びデジタル化された音声を含むデジタルマルチ
メディアデータが、符号化され、時分割多重化されたマ
ルチメディアデータ符号化多重化情報を得るマルチメデ
ィアデータ符号化多重化プログラムを記録したプログラ
ム記録媒体において、上記デジタル化された、デジタル
マルチメディアデータを符号化して、その再生時間がＴ
であり、その量がＶである符号化マルチメディア情報を
生成し、上記再生時間Ｔ、および上記量Ｖに基づいてブ
ロックレート情報を生成するマルチメディアデータ符号
化ステップと、上記マルチメディアデータ符号化ステッ
プにおいて生成された上記符号化マルチメディア情報
と、上記ブロックレート情報とを、一時蓄積用記憶手段
に一時蓄積する符号化マルチメディア情報バッファリン
グステップと、上記一時蓄積されたブロックレート情報
を用いて取得される、上記時分割多重化における時間間
隔を示す同期間隔時間情報に対応する量の、上記一時蓄
積された符号化マルチメディア情報を読み出す符号化マ
ルチメディア情報読み出しステップと、上記符号化マル
チメディア読み出しステップにおいて読み出された符号
化マルチメディア情報に対して、上記ブロックレート情
報に基づいて取得される上記再生時刻情報を付与し、多
重化処理を行ってマルチメディアデータ符号化多重化情
報を生成する符号化マルチメディア情報同期ステップと
を含むマルチメディアデータ符号化多重化プログラムを
記録したものであって、コンピュータシステムにおいて
当該プログラムを実行することで、デジタルマルチメデ
ィアデータを符号化処理して、ブロックレート情報を付
与して一時蓄積し、上記ブロックレート情報を用いて所
定の量ずつ読み出して多重化処理することで、符号化処
理と多重化処理とのタイミングを分離して実行するの
で、マルチタスクオペレーティングシステム下等で実行
され、符号化処理が均等、かつ頻繁に実行されない場合
にも、マルチメディアデータを構成する映像、および音
声について同期のとれたマルチメディアデータ符号化多
重化情報を得ることが可能となる。
【０２３４】請求項１９のマルチメディアデータ符号化
多重化プログラム記録媒体によれば、デジタル化された
映像、及びデジタル化された音声を含むデジタルマルチ
メディアデータが、符号化され、時分割多重化されたマ
ルチメディアデータ符号化多重化情報を得るマルチメデ
ィアデータ符号化多重化プログラムを記録したプログラ
ム記録媒体において、上記デジタル化された、デジタル
マルチメディアデータを符号化して、その再生時間がＴ
であり、その量がＶである符号化マルチメディア情報を
生成するマルチメディアデータ符号化ステップと、設定
された単位再生時間に対応する符号化マルチメディア情
報の量を示す符号化マルチメディア情報単位量を用い
て、上記マルチメディアデータ符号化ステップにおいて
生成された符号化マルチメディア情報に対して、上記符
号化マルチメディア情報単位量ごとに分割して一時蓄積
用記憶手段に一時蓄積する符号化マルチメディア情報バ
ッファリングステップと、上記一時蓄積された符号化マ
ルチメディア情報を読み出して、マルチメディアデータ
符号化多重化情報を生成する符号化マルチメディア情報
同期ステップとを含む上記マルチメディアデータ符号化
多重化プログラムを記録したものであって、コンピュー
タシステムにおいて当該プログラムを実行することで、
単位量ごとに、並べられた形式で一時蓄積された符号化
マルチメディア情報を読み出して、マルチメディアデー
タ符号化多重化情報を得るので、マルチタスクオペレー
ティングシステム下等で実行され、符号化処理が均等
に、かつ頻繁に実行されない場合にも、同期のとれたマ
ルチメディアデータ符号化多重化情報を得ることを、並
び替えのためのバッファを必要とせず、また、情報をコ
ピーする動作を発生させることなく、少ないメモリで、
しかも迅速に実現する。
【図面の簡単な説明】
【図１】本発明の実施の形態１による映像音声符号化多
重化装置の構成を示すブロック図である。
【図２】同実施の形態の装置における動作を説明するた
めの図である。
【図３】同実施の形態の装置における一時蓄積の状態を
示す図である。
【図４】本発明の実施の形態２による映像音声符号化多
重化装置の構成を示すブロック図である。
【図５】同実施の形態の装置における動作を説明するた
めの図である。
【図６】同実施の形態の装置における一時蓄積の状態を
示す図である。
【図７】本発明の実施の形態３による映像音声符号化多
重化装置の構成を示すブロック図である。
【図８】同実施の形態の装置における動作を説明するた
めの図である。
【図９】予測符号化処理における参照関係を説明するた
めの図である。
【図１０】実施の形態３において、予測符号化処理を実
行する場合の問題点を説明するための図である。
【図１１】本発明の実施の形態４による映像音声符号化
多重化装置における処理を説明するための図である。
【図１２】本発明の実施の形態５による映像音声符号化
多重化装置の構成を示すブロック図である。
【図１３】同実施の形態の装置における処理を説明する
ための図である。
【図１４】本発明の実施の形態６による映像音声符号化
多重化装置の構成を示すブロック図である。
【図１５】同実施の形態の装置における処理の一例を示
すフローチャート図である。
【図１６】同実施の形態の装置における動作を説明する
ための図である。
【図１７】本発明の実施の形態７による映像音声符号化
多重化装置の構成を示すブロック図である。
【図１８】同実施の形態の装置における処理の一例を示
すフローチャート図である。
【図１９】同実施の形態の装置における動作を説明する
ための図である。
【図２０】リングバッファ手法を説明するための図であ
る。
【図２１】実施の形態６において、リングバッファ手法
を用いる場合の問題点を説明するための図である。
【図２２】本発明の実施の形態８による映像音声符号化
多重化装置の構成を示すブロック図である。
【図２３】同実施の形態の装置における動作を説明する
ための図である。
【図２４】本発明の実施の形態９による映像音声符号化
多重化装置の動作を説明するための図である。
【図２５】本発明の実施の形態１０による映像音声符号
化多重化装置の構成を示すブロック図である。
【図２６】従来の技術による映像音声符号化多重化装置
の構成を示すブロック図である。
【図２７】符号化映像音声符号化多重化情報を説明する
ための図である。
【図２８】従来の技術による映像音声符号化多重化装置
の動作を説明するための図である。
【図２９】従来の技術による映像音声符号化多重化処理
における、第１の問題点を説明するための図である。
【図３０】従来の技術による映像音声符号化多重化処理
における、第２の問題点を説明するための図である。
【符号の説明】
１０１，２００１ 映像音声入力手段（ビデオカメ
ラ） １０２，２００２ 音声キャプチャ手段 １０３，２００３ 音声符号化手段 １０４，７０１，８０１ 音声バッファリング手段 １０６，２００５ 映像キャプチャ手段 １０７，３０１，５０７，２００６ 映像符号化手段 １０８，５０６，７０２，８０２ 映像バッファリン
グ手段 １１０，７０４ 映像音声同期手段 １１１ 内部バッファ ７０３，９０２ 映像音声バッファ １１２，８０３，２００８ ファイル管理手段 １００１ バッファ量決定手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 5/907 Ｈ０４Ｎ 7/13 Ｚ 7/24

Claims (19)

    【特許請求の範囲】
  1. 【請求項１】 デジタル化された映像、及びデジタル化
    された音声を含むデジタルマルチメディアデータが、符
    号化され、時分割多重化されたマルチメディアデータ符
    号化多重化情報を得るマルチメディアデータ符号化多重
    化方法において、 上記デジタル化された、デジタルマルチメディアデータ
    を符号化して、その再生時間がＴであり、その量がＶで
    ある符号化マルチメディア情報を生成し、上記再生時間
    Ｔ、および上記量Ｖに基づいてブロックレート情報を生
    成するマルチメディアデータ符号化ステップと、 上記マルチメディアデータ符号化ステップにおいて生成
    された上記符号化マルチメディア情報と、上記ブロック
    レート情報とを、一時蓄積用記憶手段に一時蓄積する符
    号化マルチメディア情報バッファリングステップと、 上記一時蓄積されたブロックレート情報を用いて取得さ
    れる、上記時分割多重化における時間間隔を示す同期間
    隔時間情報に対応する量の、上記一時蓄積された符号化
    マルチメディア情報を読み出す符号化マルチメディア情
    報読み出しステップと、 上記符号化マルチメディア読み出しステップにおいて読
    み出された符号化マルチメディア情報に対して、多重化
    処理を行ってマルチメディアデータ符号化多重化情報を
    生成する符号化マルチメディア情報同期ステップとを含
    むことを特徴とするマルチメディアデータ符号化多重化
    方法。
  2. 【請求項２】 請求項１に記載のマルチメディアデータ
    符号化多重化方法において、 上記符号化マルチメディア情報バッファリングステップ
    では、上記一時蓄積用記憶手段をリングバッファとして
    上記一時蓄積するものであり、 上記符号化マルチメディア情報読み出しステップでは、
    上記一時蓄積用記憶手段をリングバッファとして上記読
    み出しを行い、上記読み出した符号化マルチメディア情
    報を削除するものであることを特徴とするマルチメディ
    アデータ符号化多重化方法。
  3. 【請求項３】 請求項１または２に記載のマルチメディ
    アデータ符号化多重化方法において、 上記符号化マルチメディア情報同期ステップでは、 上記ブロックレート情報に含まれる、上記再生時間Ｔ
    を、上記同期間隔時間情報とし、これを上記符号化マル
    チメディア情報読み出しステップに出力するものである
    ことを特徴とするマルチメディアデータ符号化多重化方
    法。
  4. 【請求項４】 請求項１ないし３のいずれかに記載のマ
    ルチメディアデータ符号化多重化方法において、 上記マルチメディアデータ符号化ステップでは、 上記ブロックレート情報として、上記符号化マルチメデ
    ィア情報の単位時間相当量を表す符号化マルチメディア
    情報単位時間量を生成するものであり、 上記符号化マルチメディア情報読み出しステップでは、
    上記符号化マルチメディア情報単位時間量に基づいて、
    上記読み出す量を決定するものであることを特徴とする
    マルチメディアデータ符号化多重化方法。
  5. 【請求項５】 デジタル化された映像、及びデジタル化
    された音声を含むデジタルマルチメディアデータが、符
    号化され、時分割多重化されたマルチメディアデータ符
    号化多重化情報を得るマルチメディアデータ符号化多重
    化方法において、 上記デジタル化された、デジタルマルチメディアデータ
    を符号化して、その再生時間がＴであり、その量がＶで
    ある符号化マルチメディア情報を生成するマルチメディ
    アデータ符号化ステップと、 設定された単位再生時間に対応する符号化マルチメディ
    ア情報の量を示す符号化マルチメディア情報単位量を用
    いて、上記マルチメディアデータ符号化ステップにおい
    て生成された符号化マルチメディア情報に対して、上記
    符号化マルチメディア情報単位量ごとに分割して一時蓄
    積用記憶手段に一時蓄積する符号化マルチメディア情報
    バッファリングステップと、 上記一時蓄積された符号化マルチメディア情報を読み出
    して、マルチメディアデータ符号化多重化情報を生成す
    る符号化マルチメディア情報同期ステップとを含むこと
    を特徴とするマルチメディアデータ符号化多重化方法。
  6. 【請求項６】 請求項５に記載のマルチメディアデータ
    符号化多重化方法において、 上記マルチメディアデータ符号化ステップは、 映像がデジタル化された、複数の静止画像情報からなる
    原映像情報を符号化処理し、再生時間がＴｖであり、量
    がＶｖである符号化映像情報を生成する映像符号化ステ
    ップと、 音声がデジタル化された原音声情報を符号化処理し、再
    生時間がＴａであり、量がＶａである符号化音声情報を
    生成する音声符号化ステップとを含むものであり、 上記マルチメディアバッファリングステップは、 上記再生時間Ｔｖに基づいて定められる再生時刻情報
    と、上記符号化マルチメディア単位量の上記符号化映像
    情報とを、上記一時蓄積用記憶手段上にすでに一時蓄積
    された符号化音声情報同士の間隙部位が存在すれば当該
    間隙部位に、上記間隙部位が存在しなければ直前に一時
    蓄積された符号化音声情報に後続し、符号化音声情報の
    上記単位量分に相当するだけ間隙をおいた部位に一時蓄
    積する映像バッファリングステップと、 上記再生時間Ｔａに基づいて定められる再生時刻情報
    と、上記符号化マルチメディア単位量の上記符号化音声
    情報とを、上記一時蓄積用記憶手段上にすでに一時蓄積
    された符号化映像情報同士の間隙部位が存在すれば当該
    間隙部位に、上記間隙部位が存在しなければ直前に一時
    蓄積された符号化映像情報に後続し、符号化映像情報の
    上記単位量分に相当するだけ間隙をおいた部位に一時蓄
    積する音声バッファリングステップとを含むものであ
    り、 上記符号化マルチメディア情報同期ステップでは、上記
    一時蓄積用記憶手段において、上記符号化映像情報、お
    よび上記符号化音声情報が間隙なく一時蓄積された部分
    を読み出すものであることを特徴とするマルチメディア
    データ符号化多重化方法。
  7. 【請求項７】 請求項５または６に記載のマルチメディ
    アデータ符号化多重化方法において、 上記符号化マルチメディア情報バッファリングステップ
    では、上記一時蓄積用記憶手段をリングバッファとして
    上記一時蓄積するものであり、 上記符号化マルチメディア情報同期ステップでは、上記
    一時蓄積用記憶手段をリングバッファとして上記読み出
    しを行い、上記読み出した符号化マルチメディアデータ
    を削除するものであることを特徴とするマルチメディア
    データ符号化多重化方法。
  8. 【請求項８】 請求項５ないし７のいずれかに記載のマ
    ルチメディアデータ符号化多重化方法において、 上記一時蓄積用記憶手段上で、ある再生時刻に再生すべ
    き符号化音声情報を蓄積した位置である音声蓄積位置
    と、当該再生時刻において再生すべき符号化映像情報を
    蓄積した映像蓄積位置との差を蓄積位置誤差として検出
    する蓄積位置誤差検出処理と、 上記誤差検出処理によって検出した蓄積位置誤差を補正
    する蓄積位置誤差補正処理とを、定められた時間間隔を
    おいて行う蓄積位置誤差補正ステップをさらに備えたこ
    とを特徴とするマルチメディアデータ符号化多重化方
    法。
  9. 【請求項９】 請求項８に記載のマルチメディアデータ
    符号化多重化方法において、 上記蓄積位置誤差補正ステップの上記蓄積位置誤差補正
    処理では、上記一時蓄積用記憶手段において、所定の符
    号化マルチメディア情報を蓄積することにより行うもの
    であることを特徴とするマルチメディアデータ符号化多
    重化方法。
  10. 【請求項１０】 請求項８に記載のマルチメディアデー
    タ符号化多重化方法において、 上記蓄積位置誤差補正ステップの上記蓄積位置誤差補正
    処理では、上記一時蓄積用記憶手段を一時的に拡大す
    る、追加蓄積位置を設定することにより行うものである
    ことを特徴とするマルチメディアデータ符号化多重化方
    法。
  11. 【請求項１１】 請求項１ないし１０のいずれかに記載
    のマルチメディアデータ符号化多重化方法において、 上記符号化マルチメディア情報バッファリングステップ
    において、一時蓄積した符号化マルチメディア情報の量
    が一定量を超えた場合に、上記一時蓄積した符号化マル
    チメディアデータ量に基づいて、ダミー情報挿入時間を
    算出し、上記符号化マルチメディア情報バッファリング
    ステップと、後述するダミー情報挿入ステップとに出力
    する途切れ防止ステップと、 上記ダミー情報挿入時間が入力された場合、上記ダミー
    情報挿入時間に相当する量の符号化マルチメディア情報
    を生成し、上記符号化マルチメディア情報バッファリン
    グステップにおいて一時蓄積されるように出力するダミ
    ー情報挿入ステップとをさらに備え、 上記符号化マルチメディア情報バッファリングステップ
    では、上記ダミー情報挿入時間が入力された場合、上記
    マルチメディアデータ符号化ステップにおいて生成され
    る上記符号化マルチメディア情報を、上記ダミー情報挿
    入時間に相当する量だけ、一時蓄積せずに廃棄するもの
    であることを特徴とするマルチメディアデータ符号化多
    重化方法。
  12. 【請求項１２】 請求項１ないし１１のいずれかに記載
    のマルチメディアデータ符号化多重化方法において、 上記符号化マルチメディア情報バッファリングステップ
    において、一時蓄積した符号化マルチメディア情報の量
    が一定量を超えた場合に、上記一時蓄積した符号化マル
    チメディアデータ量に基づいて、ダミー情報挿入時間を
    算出し、上記符号化マルチメディアデータ符号化ステッ
    プと、後述するダミー情報挿入ステップとに出力する途
    切れ防止ステップと、 上記ダミー情報挿入時間が入力された場合、上記ダミー
    情報挿入時間に相当する符号化マルチメディア情報を、
    上記符号化マルチメディアバッファリングステップにお
    いて一時蓄積されるように出力するダミー情報挿入ステ
    ップとをさらに備え、 上記マルチメディアデータ符号化ステップでは、上記ダ
    ミー情報挿入時間が入力された場合、当該ダミー情報挿
    入時間に相当する量のデジタルマルチメディアデータを
    符号化せずに廃棄するものであることを特徴とするマル
    チメディアデータ符号化多重化方法。
  13. 【請求項１３】 請求項１１に記載のマルチメディアデ
    ータ符号化多重化方法において、 上記マルチメディアデータ符号化ステップでは、上記デ
    ジタルマルチメディアデータに対して、単独で復号処理
    をすることができる独立符号化情報と、他の符号化マル
    チメディア情報を参照することにより復号処理をするこ
    とができる差分符号化情報とを生成する符号化処理を行
    い、上記独立符号化情報と、上記差分符号化情報とから
    なる上記符号化マルチメディア情報を生成するものであ
    り、 上記符号化マルチメディア情報バッファリングステップ
    では、上記ダミー情報挿入時間に相当する量の符号化マ
    ルチメディア情報を一時蓄積せずに廃棄した後、後続の
    上記差分符号化情報を、上記独立符号化情報に変換して
    一時蓄積するものであることを特徴とするマルチメディ
    アデータ符号化多重化方法。
  14. 【請求項１４】 請求項１２に記載のマルチメディアデ
    ータ符号化多重化方法において、 上記マルチメディアデータ符号化ステップでは、上記デ
    ジタルマルチメディアデータに対して、単独で復号処理
    をすることができる独立符号化情報と、他の符号化マル
    チメディア情報を参照することにより復号処理をするこ
    とができる差分符号化情報とを生成する符号化処理を行
    い、上記独立符号化情報と、上記差分符号化情報とから
    なる上記符号化マルチメディア情報を生成するものであ
    り、 上記途切れ防止ステップでは、上記一時蓄積量に基づい
    て決定されるダミー情報挿入時間を算出した後、上記マ
    ルチメディアデータ符号化ステップにおいて、符号化せ
    ずに廃棄されるデジタルマルチメディアデータに後続す
    る、上記差分符号化情報とされるべきデジタルマルチメ
    ディアデータの符号化処理に相当する時間である挿入修
    正時間を算出し、上記ダミー情報挿入時間に対して、上
    記挿入修正時間の加算処理による修正を行うものである
    ことを特徴とするマルチメディアデータ符号化多重化方
    法。
  15. 【請求項１５】 請求項１ないし１４のいずれかに記載
    のマルチメディアデータ符号化多重化方法において、 当該符号化多重化処理を実行する装置自体の性能を判定
    し、上記判定の結果に従って、上記符号化マルチメディ
    ア情報バッファリング手段の用いる一時蓄積用記憶手段
    の量を決定する、バッファ量決定ステップをさらに備え
    たことを特徴とするマルチメディアデータ符号化多重化
    方法。
  16. 【請求項１６】 デジタル化された映像、及びデジタル
    化された音声を含むデジタルマルチメディアデータが、
    符号化され、時分割多重化されたマルチメディアデータ
    符号化多重化情報を得るマルチメディアデータ符号化多
    重化装置において、 情報を記憶するものであり、情報の一時的な蓄積に用い
    られる一時蓄積用記憶手段と、 上記デジタル化された、デジタルマルチメディアデータ
    を符号化して、その再生時間がＴであり、その量がＶで
    ある符号化マルチメディア情報を生成し、上記再生時間
    Ｔ、および上記量Ｖに基づいてブロックレート情報を生
    成するマルチメディアデータ符号化手段と、 上記マルチメディアデータ符号化手段において生成され
    た上記符号化マルチメディア情報と、上記ブロックレー
    ト情報とを、上記一時蓄積用記憶手段に一時蓄積する符
    号化マルチメディア情報バッファリング手段と、 上記一時蓄積されたブロックレート情報を用いて取得さ
    れる、上記時分割多重化における時間間隔を示す同期間
    隔時間情報に対応する量の、上記一時蓄積された符号化
    マルチメディア情報を読み出す符号化マルチメディア情
    報読み出し手段と、 上記符号化マルチメディア読み出し手段において読み出
    された符号化マルチメディア情報に対して、上記ブロッ
    クレート情報に基づいて取得される再生時刻情報を付与
    し、多重化処理を行ってマルチメディアデータ符号化多
    重化情報を生成する符号化マルチメディア情報同期手段
    とを備えたことを特徴とするマルチメディアデータ符号
    化多重化装置。
  17. 【請求項１７】 デジタル化された映像、及びデジタル
    化された音声を含むデジタルマルチメディアデータが、
    符号化され、時分割多重化されたマルチメディアデータ
    符号化多重化情報を得るマルチメディアデータ符号化多
    重化装置において、 情報を記憶するものであり、情報の一時的な蓄積に用い
    られる一時蓄積用記憶手段と、 上記デジタル化された、デジタルマルチメディアデータ
    を符号化して、その再生時間がＴであり、その量がＶで
    ある符号化マルチメディア情報を生成するマルチメディ
    アデータ符号化手段と、 設定された単位再生時間に対応する符号化マルチメディ
    ア情報の量を示す符号化マルチメディア情報単位量を用
    いて、上記マルチメディアデータ符号化手段において生
    成された符号化マルチメディア情報に対して、上記符号
    化マルチメディア情報単位量ごとに分割して一時蓄積用
    記憶手段に一時蓄積する符号化マルチメディア情報バッ
    ファリング手段と、 上記一時蓄積された符号化マルチメディア情報を読み出
    して、マルチメディアデータ符号化多重化情報を生成す
    る符号化マルチメディア情報同期手段とを備えたことを
    特徴とするマルチメディアデータ符号化多重化装置。
  18. 【請求項１８】 デジタル化された映像、及びデジタル
    化された音声を含むデジタルマルチメディアデータが、
    符号化され、時分割多重化されたマルチメディアデータ
    符号化多重化情報を得るマルチメディアデータ符号化多
    重化プログラムを記録したプログラム記録媒体におい
    て、 上記デジタル化された、デジタルマルチメディアデータ
    を符号化して、その再生時間がＴであり、その量がＶで
    ある符号化マルチメディア情報を生成し、上記再生時間
    Ｔ、および上記量Ｖに基づいてブロックレート情報を生
    成するマルチメディアデータ符号化ステップと、 上記マルチメディアデータ符号化ステップにおいて生成
    された上記符号化マルチメディア情報と、上記ブロック
    レート情報とを、一時蓄積用記憶手段に一時蓄積する符
    号化マルチメディア情報バッファリングステップと、 上記一時蓄積されたブロックレート情報を用いて取得さ
    れる、上記時分割多重化における時間間隔を示す同期間
    隔時間情報に対応する量の、上記一時蓄積された符号化
    マルチメディア情報を読み出す符号化マルチメディア情
    報読み出しステップと、 上記符号化マルチメディア読み出しステップにおいて読
    み出された符号化マルチメディア情報に対して、上記ブ
    ロックレート情報に基づいて取得される再生時刻情報を
    付与し、多重化処理を行ってマルチメディアデータ符号
    化多重化情報を生成する符号化マルチメディア情報同期
    ステップとを含むマルチメディアデータ符号化多重化プ
    ログラムを記録したことを特徴とするマルチメディアデ
    ータ符号化多重化プログラム記録媒体。
  19. 【請求項１９】 デジタル化された映像、及びデジタル
    化された音声を含むデジタルマルチメディアデータが、
    符号化され、時分割多重化されたマルチメディアデータ
    符号化多重化情報を得るマルチメディアデータ符号化多
    重化プログラムを記録したプログラム記録媒体におい
    て、 上記デジタル化された、デジタルマルチメディアデータ
    を符号化して、その再生時間がＴであり、その量がＶで
    ある符号化マルチメディア情報を生成するマルチメディ
    アデータ符号化ステップと、 設定された単位再生時間に対応する符号化マルチメディ
    ア情報の量を示す符号化マルチメディア情報単位量を用
    いて、上記マルチメディアデータ符号化ステップにおい
    て生成された符号化マルチメディア情報に対して、上記
    符号化マルチメディア情報単位量ごとに分割して一時蓄
    積用記憶手段に一時蓄積する符号化マルチメディア情報
    バッファリングステップと、 上記一時蓄積された符号化マルチメディア情報を読み出
    して、マルチメディアデータ符号化多重化情報を生成す
    る符号化マルチメディア情報同期ステップとを含むマル
    チメディアデータ符号化多重化プログラムを記録したこ
    とを特徴とするマルチメディアデータ符号化多重化プロ
    グラム記録媒体。
JP9308682A 1996-11-11 1997-11-11 マルチメディアデータ符号化多重化方法、マルチメディアデータ符号化多重化装置、およびマルチメディアデータ符号化多重化プログラム記録媒体 Pending JPH1175171A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9308682A JPH1175171A (ja) 1996-11-11 1997-11-11 マルチメディアデータ符号化多重化方法、マルチメディアデータ符号化多重化装置、およびマルチメディアデータ符号化多重化プログラム記録媒体

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP8-298970 1996-11-11
JP29897096 1996-11-11
JP8-302582 1996-11-14
JP30258296 1996-11-14
JP9-162255 1997-06-19
JP16225597 1997-06-19
JP9308682A JPH1175171A (ja) 1996-11-11 1997-11-11 マルチメディアデータ符号化多重化方法、マルチメディアデータ符号化多重化装置、およびマルチメディアデータ符号化多重化プログラム記録媒体

Publications (1)

Publication Number Publication Date
JPH1175171A true JPH1175171A (ja) 1999-03-16

Family

ID=27473791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9308682A Pending JPH1175171A (ja) 1996-11-11 1997-11-11 マルチメディアデータ符号化多重化方法、マルチメディアデータ符号化多重化装置、およびマルチメディアデータ符号化多重化プログラム記録媒体

Country Status (1)

Country Link
JP (1) JPH1175171A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140984A (ja) * 2004-10-15 2006-06-01 Kddi Corp 特定メディアデータの破棄を制御する送信装置及び送信プログラム
JP2009232187A (ja) * 2008-03-24 2009-10-08 Nec Personal Products Co Ltd Ａｖ圧縮装置およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140984A (ja) * 2004-10-15 2006-06-01 Kddi Corp 特定メディアデータの破棄を制御する送信装置及び送信プログラム
JP2009232187A (ja) * 2008-03-24 2009-10-08 Nec Personal Products Co Ltd Ａｖ圧縮装置およびプログラム

Similar Documents

Publication Publication Date Title
KR100266196B1 (ko) 멀티미디어 데이터 부호화 다중화 방법 및 그 장치와, 멀티미디어 데이터 부호화 다중화 프로그램 기록 매체
JP3739609B2 (ja) マルチメディアの再生システムにおけるディジタルのビデオおよびオーディオの再生の適応型同期化のための方法および装置
JP4519082B2 (ja) 情報処理方法、動画サムネイル表示方法、復号化装置、および情報処理装置
JP2004040794A (ja) ディジタルデータレート変更および方向性再生変更の処理の方法およびシステム
US20060012709A1 (en) Method of generating video reproduction synchronizing signal, program for generating video reproduction synchronizing signal, timing control apparatus, method of synchronously reproducing video and audio, program for synchronously reproducing video and audio, and apparatus for synchronously reproducing video and audio
JPH08505024A (ja) ビデオおよびオーディオ信号処理システムにおける補助情報のための合理的入力バッファの回路配列
JP2006520986A (ja) ストリームバッファチャネル用のｃｐｉデータ
US8798162B2 (en) Encoding method, decoding method, encoder, and decoder
JP3802521B2 (ja) 符号化装置、符号化制御方法及び符号化制御プログラム
JP3438223B2 (ja) 多重化装置および多重化方法、並びに伝送装置および伝送方法
KR100490403B1 (ko) 오디오 스트림의 버퍼링 제어 방법 및 그 장치
KR100629093B1 (ko) 디코딩 장치 및 디코딩 방법
JPWO2004071085A1 (ja) コード変換方法及びその装置
US7061982B2 (en) Long-hour video/audio compression device and method thereof
JP2009004897A (ja) 動画像符号化装置
JPH1175171A (ja) マルチメディアデータ符号化多重化方法、マルチメディアデータ符号化多重化装置、およびマルチメディアデータ符号化多重化プログラム記録媒体
US20100274918A1 (en) Stream data multiplexing device and multiplexing method
JP2006066995A (ja) 画像再生装置及びその制御方法及びプログラム及び記憶媒体
JP4153817B2 (ja) データ符号化方法およびデータ符号化装置
JP2008177874A (ja) 記録装置、記録方法、プログラム、及び記憶媒体
JP2002218458A (ja) 映像再生装置
JPWO2017033764A1 (ja) 記録装置、および記録方法、並びにプログラム
US20090110364A1 (en) Reproduction apparatus and reproduction method
KR0129805B1 (ko) 다이제스트 기능을 갖는 디지탈 신호처리시스템
CN113490047A (zh) 一种Android音视频播放方法