JP3000949B2 - 音声・画像同期圧縮再生装置及びその方法 - Google Patents
音声・画像同期圧縮再生装置及びその方法Info
- Publication number
- JP3000949B2 JP3000949B2 JP9027140A JP2714097A JP3000949B2 JP 3000949 B2 JP3000949 B2 JP 3000949B2 JP 9027140 A JP9027140 A JP 9027140A JP 2714097 A JP2714097 A JP 2714097A JP 3000949 B2 JP3000949 B2 JP 3000949B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- audio
- compression
- information
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は音声・画像同期圧縮
再生装置及びその方法に関し、特に音声情報と画像情報
とをＣＰＵ（セントラルプロセッシングユニット）やＤ
ＳＰ（デジタルシグナルプロセッサ）等により同期をと
りつつリアルタイムに圧縮再生する音声・画像同期圧縮
再生装置及びその方法に関するものである。
再生装置及びその方法に関し、特に音声情報と画像情報
とをＣＰＵ（セントラルプロセッシングユニット）やＤ
ＳＰ（デジタルシグナルプロセッサ）等により同期をと
りつつリアルタイムに圧縮再生する音声・画像同期圧縮
再生装置及びその方法に関するものである。
【０００２】
【従来の技術】音声・画像をディジタル化して電話回線
等の通信媒体に送信する場合、そのデータ量は巨大なも
のとなるため通常は圧縮符号化して記録される。画像の
圧縮では画像の空間周波数が低周波に集中する性質を利
用して圧縮を行うＤＣＴ（離散コサイン変換）をベース
とした符号化方式が比較的多く使用されている。これは
ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅ
ｒｔ Ｇｒｏｕｐ）ビデオ，Ｈ．２６３等の国際標準で
ある符号化方式で採用されている。
等の通信媒体に送信する場合、そのデータ量は巨大なも
のとなるため通常は圧縮符号化して記録される。画像の
圧縮では画像の空間周波数が低周波に集中する性質を利
用して圧縮を行うＤＣＴ（離散コサイン変換）をベース
とした符号化方式が比較的多く使用されている。これは
ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅ
ｒｔ Ｇｒｏｕｐ）ビデオ，Ｈ．２６３等の国際標準で
ある符号化方式で採用されている。
【０００３】また、音声の圧縮では聴覚心理を利用した
人間の耳には聞き取れない情報を省略する知覚符号化方
式が比較的多く使用されている。これはＭＰＥＧオーデ
ィオ，Ｇ．７２３等の国際標準である符号化方式で採用
されている。
人間の耳には聞き取れない情報を省略する知覚符号化方
式が比較的多く使用されている。これはＭＰＥＧオーデ
ィオ，Ｇ．７２３等の国際標準である符号化方式で採用
されている。
【０００４】図１０にＭＰＥＧビデオに準拠した符号フ
ォーマットの階層図を示す。ＭＰＥＧビデオの符号は、
図１０に示すように、いくつかの階層構造となってい
る。一番上の階層がビデオ・シーケンスであり、複数の
ＧＯＰ(Group Of Picture)から構成される。ＧＯＰは複
数のピクチャから構成され、１つのピクチャが１枚の画
像を示している。
ォーマットの階層図を示す。ＭＰＥＧビデオの符号は、
図１０に示すように、いくつかの階層構造となってい
る。一番上の階層がビデオ・シーケンスであり、複数の
ＧＯＰ(Group Of Picture)から構成される。ＧＯＰは複
数のピクチャから構成され、１つのピクチャが１枚の画
像を示している。
【０００５】ピクチャにはフレーム内符号である１ピク
チャと、前方向のみのフレーム間符号であるＰピクチャ
と、前後の双方向のフレーム間符号であるＢピクチャの
３種類がある。ピクチャは任意の領域に分割された複数
のスライスから構成される。スライスは左から右へ、ま
たは上から下への順序で並んだ複数のマクロブロックか
ら構成される。
チャと、前方向のみのフレーム間符号であるＰピクチャ
と、前後の双方向のフレーム間符号であるＢピクチャの
３種類がある。ピクチャは任意の領域に分割された複数
のスライスから構成される。スライスは左から右へ、ま
たは上から下への順序で並んだ複数のマクロブロックか
ら構成される。
【０００６】マクロブロックは１６×１６ドットのブロ
ックを更に８×８ドットのブロックに分割した輝度成分
（Ｙ１，Ｙ２，Ｙ３，Ｙ４）と、輝度成分に一致する領
域の８×８ドットのブロックの色差成分（Ｃｂ，Ｃｒ）
との、６個のブロックから構成される。８×８ドットの
ブロックが符号化の最小単位となる。
ックを更に８×８ドットのブロックに分割した輝度成分
（Ｙ１，Ｙ２，Ｙ３，Ｙ４）と、輝度成分に一致する領
域の８×８ドットのブロックの色差成分（Ｃｂ，Ｃｒ）
との、６個のブロックから構成される。８×８ドットの
ブロックが符号化の最小単位となる。
【０００７】また、図１１にＭＰＥＧオーディオに準拠
した符号フォーマットの階層図を示す。ＭＰＥＧオーデ
ィオの符号は、図１１に示すように、最小符号化単位で
あるＡＡＵ(Audio Access Unit) で構成される。
した符号フォーマットの階層図を示す。ＭＰＥＧオーデ
ィオの符号は、図１１に示すように、最小符号化単位で
あるＡＡＵ(Audio Access Unit) で構成される。
【０００８】従来の音声・画像符号の圧縮について画面
を参照して説明する。図１２は音声・画像を同期して圧
縮して送信する音声・画像圧縮装置のブロック図であ
る。図１２では、ＣＰＵ２が装置制御手段４のプログラ
ムを実行して装置全体を制御している。ユーザからの指
示はキーボード３から入力されて、その実行状態はディ
スプレイ１に表示される。
を参照して説明する。図１２は音声・画像を同期して圧
縮して送信する音声・画像圧縮装置のブロック図であ
る。図１２では、ＣＰＵ２が装置制御手段４のプログラ
ムを実行して装置全体を制御している。ユーザからの指
示はキーボード３から入力されて、その実行状態はディ
スプレイ１に表示される。
【０００９】画像データは画像入力手段５によりカメラ
６を通して、また音声データは音声入力手段７によりマ
イク８を通して夫々入力される。音声データは音声圧縮
手段１０により圧縮される。画像データは画像圧縮手段
９により圧縮される。圧縮された音声符号と画像符号は
符号合成手段１１により１つの符号に合成されて、送信
手段１２によりモデム１３から送信される。
６を通して、また音声データは音声入力手段７によりマ
イク８を通して夫々入力される。音声データは音声圧縮
手段１０により圧縮される。画像データは画像圧縮手段
９により圧縮される。圧縮された音声符号と画像符号は
符号合成手段１１により１つの符号に合成されて、送信
手段１２によりモデム１３から送信される。
【００１０】また、図１３は音声・画像符号を受信して
同期して再生を行う音声・画像再生装置のブロック図で
ある。図１３では、ＣＰＵ２２が装置制御手段２４のプ
ログラムを実行して装置全体を制御している。ユーザか
らの指示はキーボード２３から入力されて、その実行状
態はディスプレイ２１に表示される。
同期して再生を行う音声・画像再生装置のブロック図で
ある。図１３では、ＣＰＵ２２が装置制御手段２４のプ
ログラムを実行して装置全体を制御している。ユーザか
らの指示はキーボード２３から入力されて、その実行状
態はディスプレイ２１に表示される。
【００１１】再生される音声符号と画像符号は受信手段
３２によりモデム３３から合成された符号が受信され
て、符号分離手段３１により夫々の符号に分離される。
音声符号は音声再生手段３０により伸張される。画像符
号は画像再生手段２９により再生される。画像データは
画像出力手段２５によりモニタ２６を通して、また音声
データは音声出力手段２７によりスピーカ２８を通して
夫々出力される。
３２によりモデム３３から合成された符号が受信され
て、符号分離手段３１により夫々の符号に分離される。
音声符号は音声再生手段３０により伸張される。画像符
号は画像再生手段２９により再生される。画像データは
画像出力手段２５によりモニタ２６を通して、また音声
データは音声出力手段２７によりスピーカ２８を通して
夫々出力される。
【００１２】また、このような通信を行う音声・画像の
圧縮／再生ではリアルタイムに処理する必要がある。し
かし、圧縮／再生の処理には多くの演算が必要なので、
ソフトウェアによる音声・画像の圧縮／再生にはリアル
タイムで処理できるように画像の処理フレーム数を減ら
している。このような処理にＣＰＵやＤＳＰ等の並列演
算命令を使用して１度に複数の演算を行えば高速に処理
できるようになっている。
圧縮／再生ではリアルタイムに処理する必要がある。し
かし、圧縮／再生の処理には多くの演算が必要なので、
ソフトウェアによる音声・画像の圧縮／再生にはリアル
タイムで処理できるように画像の処理フレーム数を減ら
している。このような処理にＣＰＵやＤＳＰ等の並列演
算命令を使用して１度に複数の演算を行えば高速に処理
できるようになっている。
【００１３】図１４に並列演算命令の例を示す。図１４
では、６４ビットのレジスタＲ０に格納されている４ワ
ードの値のａ３，ａ２，ａ１，ａ０と、レジスタＲ１に
格納されている４ワードの値のｂ３，ｂ２，ｂ１，ｂ０
とを加算した結果が、Ｒ０に格納されている。このよう
に１度に４ワードの加算を行っているので高速に処理で
きる。
では、６４ビットのレジスタＲ０に格納されている４ワ
ードの値のａ３，ａ２，ａ１，ａ０と、レジスタＲ１に
格納されている４ワードの値のｂ３，ｂ２，ｂ１，ｂ０
とを加算した結果が、Ｒ０に格納されている。このよう
に１度に４ワードの加算を行っているので高速に処理で
きる。
【００１４】音声・画像圧縮／再生はリアルタイムＯＳ
等の機能を使用して、音声処理と画像処理を一定時間毎
に切替えて実行すれば簡単にリアルタイムに処理でき
る。しかし、処理の切替え時には使用しているレジスタ
を保存する必要があるので、多ビットのレジスタを使う
並列演算命令を使用している処理を並列で実行すると、
多ビットのレジスタの切替えが頻繁に発生して高速に処
理できない。これを回避するために、適時に音声圧縮と
画像圧縮を切替えてどちらか一方のみを実行する処理を
追加する必要がある。
等の機能を使用して、音声処理と画像処理を一定時間毎
に切替えて実行すれば簡単にリアルタイムに処理でき
る。しかし、処理の切替え時には使用しているレジスタ
を保存する必要があるので、多ビットのレジスタを使う
並列演算命令を使用している処理を並列で実行すると、
多ビットのレジスタの切替えが頻繁に発生して高速に処
理できない。これを回避するために、適時に音声圧縮と
画像圧縮を切替えてどちらか一方のみを実行する処理を
追加する必要がある。
【００１５】音声と画像を同期しながら処理する従来例
として特開平７−６４７３０号公報があり、この例で
は、バッファメモリを常に一定以上のデータ蓄積状態に
保ち、常に一方の再生手段からデータ転送要求を行い、
データブロック単位で両方の再生手段へ転送している。
また、特開平７−７５０５９号公報の例では、音声と画
像の再生時間の差を調べて音声が遅れた場合は同じ画面
を表示して画像が遅れた場合は音声を補間している。
として特開平７−６４７３０号公報があり、この例で
は、バッファメモリを常に一定以上のデータ蓄積状態に
保ち、常に一方の再生手段からデータ転送要求を行い、
データブロック単位で両方の再生手段へ転送している。
また、特開平７−７５０５９号公報の例では、音声と画
像の再生時間の差を調べて音声が遅れた場合は同じ画面
を表示して画像が遅れた場合は音声を補間している。
【００１６】また、特開平７−１１０７５６号公報の例
では、１フレームの再生にかかる時間を調べて、次フレ
ームに表示すべき画像を設定して画像を処理して、その
画像に付随している音声を再生している。更にはまた、
特開平７−１８４１４３号公報の例では、処理周期の長
い方に合わせて一定周期毎に処理周期の長い処理の後に
処理周期の短い処理を複数回行っている。
では、１フレームの再生にかかる時間を調べて、次フレ
ームに表示すべき画像を設定して画像を処理して、その
画像に付随している音声を再生している。更にはまた、
特開平７−１８４１４３号公報の例では、処理周期の長
い方に合わせて一定周期毎に処理周期の長い処理の後に
処理周期の短い処理を複数回行っている。
【００１７】
【発明が解決しようとする課題】しかし、上述した従来
の音声・画像の圧縮／再生装置では、音声と画像の処理
を切替える間隔が大きい場合があるので、音声処理が間
に合わなくなる。また、音声と画像が並列で動作する場
合があるので、切替え時のオーバヘッドが大きくなる。
そのため音声処理が間に合わなくなり途切れるという問
題点がある。また、ＣＰＵやＤＳＰの性能や、通信回線
の速度により切替えるタイミングを調整する場合は、音
声・画像の処理も含めて改造する必要がある。そのため
プログラムの調整に時間がかかるという問題がある。
の音声・画像の圧縮／再生装置では、音声と画像の処理
を切替える間隔が大きい場合があるので、音声処理が間
に合わなくなる。また、音声と画像が並列で動作する場
合があるので、切替え時のオーバヘッドが大きくなる。
そのため音声処理が間に合わなくなり途切れるという問
題点がある。また、ＣＰＵやＤＳＰの性能や、通信回線
の速度により切替えるタイミングを調整する場合は、音
声・画像の処理も含めて改造する必要がある。そのため
プログラムの調整に時間がかかるという問題がある。
【００１８】本発明の目的は並列演算レジスタの切替え
時のオーバーヘッドを減らしながら音声処理が途切れな
いような間隔で切替えることができ、また、音声・画像
の圧縮／再生のプログラムを改造することなく切替える
タイミングを調整できる音声・画像同期圧縮再生装置及
びその方法を提供することである。
時のオーバーヘッドを減らしながら音声処理が途切れな
いような間隔で切替えることができ、また、音声・画像
の圧縮／再生のプログラムを改造することなく切替える
タイミングを調整できる音声・画像同期圧縮再生装置及
びその方法を提供することである。
【００１９】
【課題を解決するための手段】本発明によれば、音声情
報の圧縮処理をなす音声圧縮手段と、画像情報の圧縮処
理をなす画像圧縮手段と、これ等音声圧縮手段及び画像
圧縮手段の制御を行う制御手段とを含み、前記音声情報
と前記画像情報とを同期をとりつつ圧縮処理する音声・
画像同期圧縮装置であって、前記制御手段は、予め設定
された画像情報量を指定して前記画像圧縮手段へ圧縮指
示を生成する手段と、この圧縮指示に応答して前記画像
圧縮手段が前記画像情報量の圧縮処理を行う時間を計測
する手段と、この計測時間に基いて前記音声圧縮手段が
圧縮するに必要な音声情報量を算出する手段と、この算
出された音声情報量を指定して前記音声圧縮手段へ圧縮
指示を生成する手段と、この圧縮指示に応答して前記音
声圧縮手段が前記音声情報量の圧縮処理を行った後に、
継続して前記画像圧縮手段の画像圧縮処理を指示する手
段とを含むことを特徴とする音声・画像同期圧縮装置が
得られる。
報の圧縮処理をなす音声圧縮手段と、画像情報の圧縮処
理をなす画像圧縮手段と、これ等音声圧縮手段及び画像
圧縮手段の制御を行う制御手段とを含み、前記音声情報
と前記画像情報とを同期をとりつつ圧縮処理する音声・
画像同期圧縮装置であって、前記制御手段は、予め設定
された画像情報量を指定して前記画像圧縮手段へ圧縮指
示を生成する手段と、この圧縮指示に応答して前記画像
圧縮手段が前記画像情報量の圧縮処理を行う時間を計測
する手段と、この計測時間に基いて前記音声圧縮手段が
圧縮するに必要な音声情報量を算出する手段と、この算
出された音声情報量を指定して前記音声圧縮手段へ圧縮
指示を生成する手段と、この圧縮指示に応答して前記音
声圧縮手段が前記音声情報量の圧縮処理を行った後に、
継続して前記画像圧縮手段の画像圧縮処理を指示する手
段とを含むことを特徴とする音声・画像同期圧縮装置が
得られる。
【００２０】本発明によれば、音声情報の圧縮処理をな
す音声圧縮手段と、画像情報の圧縮処理をなす画像圧縮
手段と、これ等音声圧縮手段及び画像圧縮手段の制御を
行う制御手段と、これ等圧縮画像情報及び圧縮音声情報
を送信する送信手段とを含み、前記音声情報と前記画像
情報とを同期をとりつつ圧縮処理する音声・画像同期圧
縮装置であって、前記制御手段は、予め設定された画像
情報量を指定して前記画像圧縮手段へ圧縮指示を生成す
る手段と、この圧縮指示に応答して前記画像圧縮手段が
前記画像情報量の圧縮処理を行った後に、前記送信手段
による未送信の圧縮音声情報量が所定閾値より小なるか
どうかを判断して少ない場合に、前記圧縮音声情報量が
前記閾値以上となるような音声情報量を算出する手段
と、この算出された音声情報量を指定して前記音声圧縮
手段へ圧縮指示を生成する手段と、この圧縮指示に応答
して前記音声圧縮手段が前記音声情報量の圧縮処理を行
った後に、継続して前記画像圧縮手段の画像圧縮処理を
指示する手段とを含むことを特徴とする音声・画像同期
圧縮装置が得られる。
す音声圧縮手段と、画像情報の圧縮処理をなす画像圧縮
手段と、これ等音声圧縮手段及び画像圧縮手段の制御を
行う制御手段と、これ等圧縮画像情報及び圧縮音声情報
を送信する送信手段とを含み、前記音声情報と前記画像
情報とを同期をとりつつ圧縮処理する音声・画像同期圧
縮装置であって、前記制御手段は、予め設定された画像
情報量を指定して前記画像圧縮手段へ圧縮指示を生成す
る手段と、この圧縮指示に応答して前記画像圧縮手段が
前記画像情報量の圧縮処理を行った後に、前記送信手段
による未送信の圧縮音声情報量が所定閾値より小なるか
どうかを判断して少ない場合に、前記圧縮音声情報量が
前記閾値以上となるような音声情報量を算出する手段
と、この算出された音声情報量を指定して前記音声圧縮
手段へ圧縮指示を生成する手段と、この圧縮指示に応答
して前記音声圧縮手段が前記音声情報量の圧縮処理を行
った後に、継続して前記画像圧縮手段の画像圧縮処理を
指示する手段とを含むことを特徴とする音声・画像同期
圧縮装置が得られる。
【００２１】本発明によれば、圧縮音声情報の再生をな
す音声再生手段と、圧縮画像情報の再生をなす画像再生
手段と、これ等音声再生手段及び画像再生手段の制御を
行う制御手段と、これ等音声情報と画像情報とを同期を
とりつつ再生処理する音声・画像同期再生装置であっ
て、前記制御手段は、予め設定された圧縮画像情報量を
指定して前記画像再生手段へ再生指示を生成する手段
と、この再生指示に応答して前記画像再生手段が前記圧
縮画像情報量の再生処理を行う時間を計測する手段と、
この計測時間に基いて前記音声再生手段が再生するに必
要な圧縮音声情報量を算出する手段と、この算出された
圧縮音声情報量を指定して前記音声再生手段へ再生指示
を生成する手段と、この再生指示に応答して前記音声再
生手段が前記圧縮音声情報量の再生処理を行った後に、
継続して前記画像再生手段の圧縮画像再生処理を指示す
る手段とを含むことを特徴とする音声・画像同期再生装
置が得られる。
す音声再生手段と、圧縮画像情報の再生をなす画像再生
手段と、これ等音声再生手段及び画像再生手段の制御を
行う制御手段と、これ等音声情報と画像情報とを同期を
とりつつ再生処理する音声・画像同期再生装置であっ
て、前記制御手段は、予め設定された圧縮画像情報量を
指定して前記画像再生手段へ再生指示を生成する手段
と、この再生指示に応答して前記画像再生手段が前記圧
縮画像情報量の再生処理を行う時間を計測する手段と、
この計測時間に基いて前記音声再生手段が再生するに必
要な圧縮音声情報量を算出する手段と、この算出された
圧縮音声情報量を指定して前記音声再生手段へ再生指示
を生成する手段と、この再生指示に応答して前記音声再
生手段が前記圧縮音声情報量の再生処理を行った後に、
継続して前記画像再生手段の圧縮画像再生処理を指示す
る手段とを含むことを特徴とする音声・画像同期再生装
置が得られる。
【００２２】本発明によれば、圧縮画像及び圧縮音声情
報を受信する受信手段と、この受信された圧縮音声情報
の再生をなす音声再生手段と、受信された圧縮画像情報
の再生をなす画像再生手段と、これ等音声再生手段及び
画像再生手段の制御を行う制御手段とを含み、これ等音
声情報と画像情報とを同期をとりつつ再生処理する音声
・画像同期再生装置であって、前記制御手段は、予め設
定された圧縮画像情報量を指定して前記画像再生手段へ
再生指示を生成する手段と、この再生指示に応答して前
記画像再生手段が前記圧縮画像情報量の再生処理を行っ
た後に、前記受信手段により受信された未再生の圧縮音
声情報量が所定閾値より大なるかどうかを判断して大な
る場合に、前記圧縮音声情報量が前記閾値より小となる
ような圧縮音声報量を算出する手段と、この算出された
圧縮音声情報量を指定して前記音声再生手段へ再生指示
を生成する手段と、この再生指示に応答して前記音声再
生手段が前記圧縮音声情報量の再生処理を行った後に、
継続して前記画像再生手段の画像再生処理を指示する手
段とを含むことを特徴とする音声・画像同期再生装置が
得られる。
報を受信する受信手段と、この受信された圧縮音声情報
の再生をなす音声再生手段と、受信された圧縮画像情報
の再生をなす画像再生手段と、これ等音声再生手段及び
画像再生手段の制御を行う制御手段とを含み、これ等音
声情報と画像情報とを同期をとりつつ再生処理する音声
・画像同期再生装置であって、前記制御手段は、予め設
定された圧縮画像情報量を指定して前記画像再生手段へ
再生指示を生成する手段と、この再生指示に応答して前
記画像再生手段が前記圧縮画像情報量の再生処理を行っ
た後に、前記受信手段により受信された未再生の圧縮音
声情報量が所定閾値より大なるかどうかを判断して大な
る場合に、前記圧縮音声情報量が前記閾値より小となる
ような圧縮音声報量を算出する手段と、この算出された
圧縮音声情報量を指定して前記音声再生手段へ再生指示
を生成する手段と、この再生指示に応答して前記音声再
生手段が前記圧縮音声情報量の再生処理を行った後に、
継続して前記画像再生手段の画像再生処理を指示する手
段とを含むことを特徴とする音声・画像同期再生装置が
得られる。
【００２３】本発明によれば、音声情報と画像情報とを
同期をとりつつ圧縮処理する音声・画像同期圧縮方法で
あって、予め設定された画像情報量を指定して前記画像
情報の圧縮処理をなすステップと、この画像情報量の圧
縮処理の時間を計測するステップと、この計測時間に基
いて圧縮処理に必要な音声情報量を算出するステップ
と、この算出された音声情報量の音声情報の圧縮処理を
なすステップと、この音声情報の圧縮処理を行った後
に、継続して前記画像情報の圧縮処理を行うステップと
を含むことを特徴とする音声・画像同期圧縮方法が得ら
れる。
同期をとりつつ圧縮処理する音声・画像同期圧縮方法で
あって、予め設定された画像情報量を指定して前記画像
情報の圧縮処理をなすステップと、この画像情報量の圧
縮処理の時間を計測するステップと、この計測時間に基
いて圧縮処理に必要な音声情報量を算出するステップ
と、この算出された音声情報量の音声情報の圧縮処理を
なすステップと、この音声情報の圧縮処理を行った後
に、継続して前記画像情報の圧縮処理を行うステップと
を含むことを特徴とする音声・画像同期圧縮方法が得ら
れる。
【００２４】本発明によれば、音声情報と画像情報とを
同期をとりつつ圧縮処理して送信するようにした音声・
画像同期圧縮方法であって、予め設定された画像情報量
を指定して前記画像情報の圧縮処理をなすステップと、
前記画像情報量の圧縮処理を行った後に、未送信の圧縮
音声情報量が所定閾値より小なるかどうかを判断して少
ない場合に、前記圧縮音声情報量が前記閾値以上となる
ような音声情報量を算出するステップと、この音声情報
量の音声情報の圧縮処理を行った後に、継続して前記画
像圧縮処理を行うステップとを含むことを特徴とする音
声・画像同期圧縮方法が得られる。
同期をとりつつ圧縮処理して送信するようにした音声・
画像同期圧縮方法であって、予め設定された画像情報量
を指定して前記画像情報の圧縮処理をなすステップと、
前記画像情報量の圧縮処理を行った後に、未送信の圧縮
音声情報量が所定閾値より小なるかどうかを判断して少
ない場合に、前記圧縮音声情報量が前記閾値以上となる
ような音声情報量を算出するステップと、この音声情報
量の音声情報の圧縮処理を行った後に、継続して前記画
像圧縮処理を行うステップとを含むことを特徴とする音
声・画像同期圧縮方法が得られる。
【００２５】本発明によれば、圧縮音声情報と圧縮画像
情報とを同期をとりつつ再生処理する音声・画像同期再
生方法であって、予め設定された圧縮画像情報量を指定
して前記圧縮画像情報の再生処理をなすステップと、こ
の圧縮画像情報の再生処理の時間を計測するステップ
と、この計測時間に基いて再生処理に必要な圧縮音声情
報量を算出するステップと、この算出された圧縮音声情
報量の再生処理をなすステップと、この圧縮音声情報の
再生処理を行った後に、継続して前記圧縮画像の再生処
理を行うステップとを含むことを特徴とする音声・画像
同期再生方法が得られる。
情報とを同期をとりつつ再生処理する音声・画像同期再
生方法であって、予め設定された圧縮画像情報量を指定
して前記圧縮画像情報の再生処理をなすステップと、こ
の圧縮画像情報の再生処理の時間を計測するステップ
と、この計測時間に基いて再生処理に必要な圧縮音声情
報量を算出するステップと、この算出された圧縮音声情
報量の再生処理をなすステップと、この圧縮音声情報の
再生処理を行った後に、継続して前記圧縮画像の再生処
理を行うステップとを含むことを特徴とする音声・画像
同期再生方法が得られる。
【００２６】本発明によれば、受信圧縮音声情報及び受
信画像圧縮情報とを同期をとりつつ再生処理するように
した音声・画像同期再生方法であって、予め設定された
圧縮画像情報量を指定して前記圧縮画像情報の再生処理
をなすステップと、この記圧縮画像情報量の再生処理を
行った後に、受信された未再生の圧縮音声情報量が所定
閾値より大なるかどうかを判断して大なる場合に、前記
圧縮音声情報量が前記閾値より小となるように圧縮音声
報量を算出するステップと、この算出された圧縮音声情
報量の圧縮音声情報の再生処理をなすステップと、この
音声情報の再生処理を行った後に、継続して前記圧縮画
像情報の再生処理を行うステップとを含むことを特徴と
する音声・画像同期再生方法が得られる。
信画像圧縮情報とを同期をとりつつ再生処理するように
した音声・画像同期再生方法であって、予め設定された
圧縮画像情報量を指定して前記圧縮画像情報の再生処理
をなすステップと、この記圧縮画像情報量の再生処理を
行った後に、受信された未再生の圧縮音声情報量が所定
閾値より大なるかどうかを判断して大なる場合に、前記
圧縮音声情報量が前記閾値より小となるように圧縮音声
報量を算出するステップと、この算出された圧縮音声情
報量の圧縮音声情報の再生処理をなすステップと、この
音声情報の再生処理を行った後に、継続して前記圧縮画
像情報の再生処理を行うステップとを含むことを特徴と
する音声・画像同期再生方法が得られる。
【００２７】
【発明の実施の形態】本発明の発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００２８】図１は本発明の音声・画像圧縮装置の構成
図であり、図１２と同等部分は同一符号にて示す。図１
では、装置全体を制御する装置制御手段４と、プログラ
ムを動作させるＣＰＵ２と、ユーザからの指示を入力す
るキーボード３と、その実行状態を表示するディスプレ
イ１と、画像を入力するためのカメラ６及び画像入力手
段５と、音声を入力するためのマイク８及び音声入力手
段７と、符号を送信するためのモデム１３及び送信手段
１２と、音声符号と画像符号とを合成する符号合成手段
１１と、画像圧縮と音声圧縮の切替えを制御する圧縮制
御手段１４と、画像を圧縮する画像圧縮手段９と、音声
を圧縮する音声圧縮手段１０とから構成されている。
図であり、図１２と同等部分は同一符号にて示す。図１
では、装置全体を制御する装置制御手段４と、プログラ
ムを動作させるＣＰＵ２と、ユーザからの指示を入力す
るキーボード３と、その実行状態を表示するディスプレ
イ１と、画像を入力するためのカメラ６及び画像入力手
段５と、音声を入力するためのマイク８及び音声入力手
段７と、符号を送信するためのモデム１３及び送信手段
１２と、音声符号と画像符号とを合成する符号合成手段
１１と、画像圧縮と音声圧縮の切替えを制御する圧縮制
御手段１４と、画像を圧縮する画像圧縮手段９と、音声
を圧縮する音声圧縮手段１０とから構成されている。
【００２９】図１の音声・画像圧縮装置では、画像デー
タは画像入力手段５によりカメラ６を通して、また音声
データは音声入力手段７によりマイク８を通して夫々入
力される。音声・画像データは圧縮制御手段１４により
画像圧縮手段９と音声圧縮手段１０とを切替えて実行さ
せることにより圧縮される。圧縮された音声符号と画像
符号は符号合成手段１１により１つの符号に合成され
て、送信手段１２によりモデム１３から送信される。
タは画像入力手段５によりカメラ６を通して、また音声
データは音声入力手段７によりマイク８を通して夫々入
力される。音声・画像データは圧縮制御手段１４により
画像圧縮手段９と音声圧縮手段１０とを切替えて実行さ
せることにより圧縮される。圧縮された音声符号と画像
符号は符号合成手段１１により１つの符号に合成され
て、送信手段１２によりモデム１３から送信される。
【００３０】また、図２は本発明の音声・画像再生装置
の構成図である。図２では、装置全体を制御する装置制
御手段２４と、プログラムを動作させるＣＰＵ２２と、
ユーザからの指示を入力するキーボード２３と、その実
行状態を表示するディスプレイ２１と、画像を出力する
ためのモニタ２６及び画像出力手段２５と、音声を出力
するためのスピーカ２８及び音声出力手段２７と、符号
を受信するためのモデム３３及び受信手段３２と、音声
符号と画像符号に分離する符号分離手段３１と、画像再
生と音声再生の切替えを制御する再生制御手段３４と、
画像を再生する画像再生手段２９と、音声を再生する音
声再生手段３０とから構成されている。
の構成図である。図２では、装置全体を制御する装置制
御手段２４と、プログラムを動作させるＣＰＵ２２と、
ユーザからの指示を入力するキーボード２３と、その実
行状態を表示するディスプレイ２１と、画像を出力する
ためのモニタ２６及び画像出力手段２５と、音声を出力
するためのスピーカ２８及び音声出力手段２７と、符号
を受信するためのモデム３３及び受信手段３２と、音声
符号と画像符号に分離する符号分離手段３１と、画像再
生と音声再生の切替えを制御する再生制御手段３４と、
画像を再生する画像再生手段２９と、音声を再生する音
声再生手段３０とから構成されている。
【００３１】図２の音声・画像再生装置では、再生され
る音声符号と画像符号は受信手段３２によりモデム３３
から合成された符号が受信されて、符号分離手段３１に
より夫々の符号に分離される。音声・画像データは再生
制御手段３４により画像再生手段２９と音声再生手段３
０とを切替えて実行させることにより再生される。画像
データは画像出力手段２５によりモニタ２６を通して、
また音声データは音声出力手段２７によりスピーカ２８
を通して夫々出力される。
る音声符号と画像符号は受信手段３２によりモデム３３
から合成された符号が受信されて、符号分離手段３１に
より夫々の符号に分離される。音声・画像データは再生
制御手段３４により画像再生手段２９と音声再生手段３
０とを切替えて実行させることにより再生される。画像
データは画像出力手段２５によりモニタ２６を通して、
また音声データは音声出力手段２７によりスピーカ２８
を通して夫々出力される。
【００３２】次に本発明の実施の形態について、図面を
参照して説明する。図３は音声・画像圧縮のシーケンス
図である。図３では、圧縮制御手段１４がマクロブロッ
ク数、または符号量を指定して画像圧縮手段９を呼び出
す（８１）。この指定マクロブロック数や指定符号量は
予め設定された値であるものとし、この設定値は、音声
と画像とが同期しつつ音声圧縮が途切れないような値で
あり、システムにより定まるものであって、例えば、ラ
イン単位とすることができる。
参照して説明する。図３は音声・画像圧縮のシーケンス
図である。図３では、圧縮制御手段１４がマクロブロッ
ク数、または符号量を指定して画像圧縮手段９を呼び出
す（８１）。この指定マクロブロック数や指定符号量は
予め設定された値であるものとし、この設定値は、音声
と画像とが同期しつつ音声圧縮が途切れないような値で
あり、システムにより定まるものであって、例えば、ラ
イン単位とすることができる。
【００３３】画像圧縮手段９は画像圧縮を実行して（８
２）、この指定されたマクロブロック数、または符号量
を符号化すると圧縮制御手段１４を呼び出す（８３）。
圧縮制御手段１４は画像圧縮の時間を計測しており（９
０）、この時間から必要な音声符号の量を計算して音声
圧縮手段１０を呼び出すか、または、圧縮して送信され
ていない音声符号量が予め設定された閾値よりも少なか
ったら必要な音声符号の量を計算して音声圧縮手段１０
を呼び出す（８４）。
２）、この指定されたマクロブロック数、または符号量
を符号化すると圧縮制御手段１４を呼び出す（８３）。
圧縮制御手段１４は画像圧縮の時間を計測しており（９
０）、この時間から必要な音声符号の量を計算して音声
圧縮手段１０を呼び出すか、または、圧縮して送信され
ていない音声符号量が予め設定された閾値よりも少なか
ったら必要な音声符号の量を計算して音声圧縮手段１０
を呼び出す（８４）。
【００３４】このステップ８４における「または」の後
の音声符号量の計算の根拠について説明する。音声が既
に圧縮されてはいるが、送信手段１２の送信バッファ
（図示せず）内に未送信で残っている場合、この未送信
の量が予め定められた閾値よりも少ないと判断される
と、送信余力があることになるので、この閾値以上のあ
る値に、音声符号量が送信バッファへ蓄積されても良い
ことになる。そこで、この閾値以上のある値に音声符号
量がなるには、あとどの位の音声符号量を送信バッファ
へ蓄積できるかを算出するのである。この算出音声符号
量だけ音声圧縮手段１０に対して音声圧縮を行わせるよ
うに指示することになる（８４）。
の音声符号量の計算の根拠について説明する。音声が既
に圧縮されてはいるが、送信手段１２の送信バッファ
（図示せず）内に未送信で残っている場合、この未送信
の量が予め定められた閾値よりも少ないと判断される
と、送信余力があることになるので、この閾値以上のあ
る値に、音声符号量が送信バッファへ蓄積されても良い
ことになる。そこで、この閾値以上のある値に音声符号
量がなるには、あとどの位の音声符号量を送信バッファ
へ蓄積できるかを算出するのである。この算出音声符号
量だけ音声圧縮手段１０に対して音声圧縮を行わせるよ
うに指示することになる（８４）。
【００３５】音声圧縮手段１０は指定された符号量を符
号化すると圧縮制御手段１４を呼び出す（８５）。圧縮
制御手段１４は音声符号と画像符号を装置制御手段４に
渡してモデム１３から符号を送信する（８６）。次に、
圧縮制御手段１４はマクロブロック数、または符号量を
指定して画像圧縮手段９に制御を返すか、または、圧縮
して送信されていない音声符号量が閾値よりも多かった
らマクロブロック数、または符号量を指定して画像圧縮
手段９に制御を返す（８７）。画像圧縮手段９は画像圧
縮を継続して（８８）、指定されたマクロブロック数、
または符号量を符号化すると圧縮制御手段１４を呼び出
す（８９）。
号化すると圧縮制御手段１４を呼び出す（８５）。圧縮
制御手段１４は音声符号と画像符号を装置制御手段４に
渡してモデム１３から符号を送信する（８６）。次に、
圧縮制御手段１４はマクロブロック数、または符号量を
指定して画像圧縮手段９に制御を返すか、または、圧縮
して送信されていない音声符号量が閾値よりも多かった
らマクロブロック数、または符号量を指定して画像圧縮
手段９に制御を返す（８７）。画像圧縮手段９は画像圧
縮を継続して（８８）、指定されたマクロブロック数、
または符号量を符号化すると圧縮制御手段１４を呼び出
す（８９）。
【００３６】このようにある一定の画像領域を符号化す
る毎に音声圧縮を行うかどうかを調べて必要な音声圧縮
を行うので、音声圧縮が途切れることなく音声・画像圧
縮を高速に処理できる。
る毎に音声圧縮を行うかどうかを調べて必要な音声圧縮
を行うので、音声圧縮が途切れることなく音声・画像圧
縮を高速に処理できる。
【００３７】また、図４は音声・画像再生のシーケンス
図である。図４では再生制御手段３４がモデム３３から
符号を受信して音声符号と画像符号を装置制御手段２４
から受け取る（９１）。次に再生制御は予め設定されて
いるマクロブロック数、または符号量を指定して画像再
生手段２９を呼び出す（９２）。画像再生手段２９は画
像再生を実行して（９３）、指定されたマクロブロック
数、または符号量を復号化すると再生制御手段３４を呼
び出す（９４）。
図である。図４では再生制御手段３４がモデム３３から
符号を受信して音声符号と画像符号を装置制御手段２４
から受け取る（９１）。次に再生制御は予め設定されて
いるマクロブロック数、または符号量を指定して画像再
生手段２９を呼び出す（９２）。画像再生手段２９は画
像再生を実行して（９３）、指定されたマクロブロック
数、または符号量を復号化すると再生制御手段３４を呼
び出す（９４）。
【００３８】再生制御手段３４は画像再生の時間から必
要な音声符号の量を計算して音声再生を呼び出すか、ま
たは、受信されて再生していない音声符号量が閾値より
も多かったら必要な音声符号の量を計算して音声再生を
呼び出す（９５）。
要な音声符号の量を計算して音声再生を呼び出すか、ま
たは、受信されて再生していない音声符号量が閾値より
も多かったら必要な音声符号の量を計算して音声再生を
呼び出す（９５）。
【００３９】このステップ９５における「または」の後
の音声符号量の計算根拠について説明する。受信されて
受信手段３２内の受信バッファ（図示せず）に蓄積さ
れ、未だ再生されずに残っている場合、この残っている
音声符号量が予め定められている閾値よりも多ければ、
この閾値より小なる量に減少させる必要がある。そこ
で、この閾値以下のある値に減少させるには、あとどの
位の音声符号量をバッファから読出せば良いかを算出す
るのである。この算出音声符号量だけ音声再生手段３０
に対して音声再生を行わせるように指示することになる
（９５）。
の音声符号量の計算根拠について説明する。受信されて
受信手段３２内の受信バッファ（図示せず）に蓄積さ
れ、未だ再生されずに残っている場合、この残っている
音声符号量が予め定められている閾値よりも多ければ、
この閾値より小なる量に減少させる必要がある。そこ
で、この閾値以下のある値に減少させるには、あとどの
位の音声符号量をバッファから読出せば良いかを算出す
るのである。この算出音声符号量だけ音声再生手段３０
に対して音声再生を行わせるように指示することになる
（９５）。
【００４０】音声再生手段３０は指定された符号量を復
号すると、再生制御手段３４を呼び出す（９６）。再生
制御手段３４はマクロブロック数、または符号量を指定
して画像再生手段２９に制御を返すか、または、受信さ
れて再生していない音声符号量が閾値よりも少なかった
らマクロブロック数、または符号量を指定して画像再生
手段２９に制御を返す（９７）。画像再生手段２９は画
像再生を継続して（９８）、指定されたマクロブロック
数、または符号量を復号化すると再生制御手段３４を呼
び出す（９９）。
号すると、再生制御手段３４を呼び出す（９６）。再生
制御手段３４はマクロブロック数、または符号量を指定
して画像再生手段２９に制御を返すか、または、受信さ
れて再生していない音声符号量が閾値よりも少なかった
らマクロブロック数、または符号量を指定して画像再生
手段２９に制御を返す（９７）。画像再生手段２９は画
像再生を継続して（９８）、指定されたマクロブロック
数、または符号量を復号化すると再生制御手段３４を呼
び出す（９９）。
【００４１】このようにある一定の画像領域を復号化す
る毎に音声再生を行うかどうかを調べて必要な音声再生
を行うので、音声再生が途切れることなく音声・画像再
生を高速に処理できる。
る毎に音声再生を行うかどうかを調べて必要な音声再生
を行うので、音声再生が途切れることなく音声・画像再
生を高速に処理できる。
【００４２】次に本発明の実施例について、図面を参照
して説明する。
して説明する。
【００４３】図５〜９は音声・画像圧縮／再生のフロー
チャートである。実際には音声・画像圧縮と音声・画像
再生の処理は夫々分かれているが、説明の重複を省略す
るために、各図では１つにまとめて示している。
チャートである。実際には音声・画像圧縮と音声・画像
再生の処理は夫々分かれているが、説明の重複を省略す
るために、各図では１つにまとめて示している。
【００４４】図５の例では、コールバック関数と呼ばれ
るサブルーチンのアドレスを呼び出し側で渡して呼び出
されたサブルーチン内でそのアドレスを元にコールバッ
ク関数を呼ぶことにより、画像と音声の処理を切替えて
いる。
るサブルーチンのアドレスを呼び出し側で渡して呼び出
されたサブルーチン内でそのアドレスを元にコールバッ
ク関数を呼ぶことにより、画像と音声の処理を切替えて
いる。
【００４５】図５（Ａ）に示す如く、圧縮／再生制御手
段は音声圧縮／再生の呼び出しをコールバック関数とし
てコールバック関数のアドレスとマクロブロック数、ま
たは符号量を引数として画像圧縮／再生手段を呼び出す
（ステップ１０１）。次に送信／受信が終了したかどう
かを判断して（ステップ１０２）、そうでない場合はス
テップ１０１へ戻り、そうである場合は処理を終了す
る。
段は音声圧縮／再生の呼び出しをコールバック関数とし
てコールバック関数のアドレスとマクロブロック数、ま
たは符号量を引数として画像圧縮／再生手段を呼び出す
（ステップ１０１）。次に送信／受信が終了したかどう
かを判断して（ステップ１０２）、そうでない場合はス
テップ１０１へ戻り、そうである場合は処理を終了す
る。
【００４６】また、図５（Ｂ）に示す如く、画像圧縮／
再生手段は１マクロブロックを符号化／復号化して（ス
テップ１０３）、指定されたマクロブロック数、または
符号量を符号化／復号化したかどうかを判断して（ステ
ップ１０４）、そうでない場合はステップ１０７へ進
む。そうである場合はコールバック関数を呼び出して
（ステップ１０５）、指定されたマクロブロック数、ま
たは符号量を更新する（ステップ１０６）。次に１フレ
ームの圧縮／再生が終了したかどうかを判断して（ステ
ップ１０７）、そうでない場合はステップ１０３へ戻
り、そうである場合は呼び出し元に戻る。
再生手段は１マクロブロックを符号化／復号化して（ス
テップ１０３）、指定されたマクロブロック数、または
符号量を符号化／復号化したかどうかを判断して（ステ
ップ１０４）、そうでない場合はステップ１０７へ進
む。そうである場合はコールバック関数を呼び出して
（ステップ１０５）、指定されたマクロブロック数、ま
たは符号量を更新する（ステップ１０６）。次に１フレ
ームの圧縮／再生が終了したかどうかを判断して（ステ
ップ１０７）、そうでない場合はステップ１０３へ戻
り、そうである場合は呼び出し元に戻る。
【００４７】また、図６，７の例では、イベントと呼ば
れるリアルタイム等の並列処理での同期制御の信号が発
行されるまで処理を停止することにより、画像と音声の
処理を切替えている。
れるリアルタイム等の並列処理での同期制御の信号が発
行されるまで処理を停止することにより、画像と音声の
処理を切替えている。
【００４８】図６に示す如く、圧縮／再生制御手段はマ
クロブロック数、または符号量を引数として画像圧縮／
再生手段を呼び出して（ステップ１１１）、画像圧縮／
再生手段からのイベントを待つ（ステップ１１２）。
クロブロック数、または符号量を引数として画像圧縮／
再生手段を呼び出して（ステップ１１１）、画像圧縮／
再生手段からのイベントを待つ（ステップ１１２）。
【００４９】次に指定されたマクロブロック数、または
符号量の符号化／復号化終了のイベントであるかどうか
を判断して（ステップ１１３）、そうでない場合はステ
ップ１１６へ進む。そうである場合は音声圧縮／再生の
呼び出しを行い（ステップ１１４）、画像圧縮／再生の
継続のイベントを発行する（ステップ１１５）。
符号量の符号化／復号化終了のイベントであるかどうか
を判断して（ステップ１１３）、そうでない場合はステ
ップ１１６へ進む。そうである場合は音声圧縮／再生の
呼び出しを行い（ステップ１１４）、画像圧縮／再生の
継続のイベントを発行する（ステップ１１５）。
【００５０】次に１フレーム圧縮／再生終了のイベント
であるかどうかを判断して（ステップ１１６）、そうで
ない場合はステップ１１１へ戻る。そうである場合は送
信終了であるかどうかを判断して（ステップ１１７）、
そうでない場合はステップ１１１へ戻り、そうである場
合は処理を終了する。
であるかどうかを判断して（ステップ１１６）、そうで
ない場合はステップ１１１へ戻る。そうである場合は送
信終了であるかどうかを判断して（ステップ１１７）、
そうでない場合はステップ１１１へ戻り、そうである場
合は処理を終了する。
【００５１】また、図７に示す如く、画像圧縮／再生手
段は１マクロブロックを符号化／復号化して（ステップ
１１８）、指定されたマクロブロック数、または符号量
を符号化／復号化したかどうかを判断して（ステップ１
１９）、そうでない場合はステップ１２３へ進む。そう
である場合は指定されたマクロブロック数、または符号
量の符号化／復号化終了のイベントを発行して（ステッ
プ１２０）、画像圧縮／再生の継続のイベントを待って
（ステップ１２１）、指定されたマクロブロック数、ま
たは符号量を更新する（ステプ１２２）。
段は１マクロブロックを符号化／復号化して（ステップ
１１８）、指定されたマクロブロック数、または符号量
を符号化／復号化したかどうかを判断して（ステップ１
１９）、そうでない場合はステップ１２３へ進む。そう
である場合は指定されたマクロブロック数、または符号
量の符号化／復号化終了のイベントを発行して（ステッ
プ１２０）、画像圧縮／再生の継続のイベントを待って
（ステップ１２１）、指定されたマクロブロック数、ま
たは符号量を更新する（ステプ１２２）。
【００５２】次に１フレームの圧縮／再生が終了したか
どうかを判断して（ステップ１２３）、そうでない場合
はステップ１１８へ戻る。そうである場合は１フレーム
の圧縮／再生終了のイベントを発行して（ステップ１２
４）、処理を終了する。
どうかを判断して（ステップ１２３）、そうでない場合
はステップ１１８へ戻る。そうである場合は１フレーム
の圧縮／再生終了のイベントを発行して（ステップ１２
４）、処理を終了する。
【００５３】また、図８，９のフローチャートは図５〜
７のフローチャートで呼び出されるサブルーチンのフロ
ーチャートである。
７のフローチャートで呼び出されるサブルーチンのフロ
ーチャートである。
【００５４】図８に示す如く、音声圧縮／再生手段は１
ＡＡＵを符号化／復号化して（ステップ１３７）、指定
された符号量を符号化／復号化したかどうかを判断して
（ステップ１３８）、そうでない場合はステップ１３７
へ戻り、そうである場合は呼び出し元に戻る。
ＡＡＵを符号化／復号化して（ステップ１３７）、指定
された符号量を符号化／復号化したかどうかを判断して
（ステップ１３８）、そうでない場合はステップ１３７
へ戻り、そうである場合は呼び出し元に戻る。
【００５５】また、図９に示す如く、音声圧縮／再生の
呼び出し１は音声圧縮／再生の呼び出しの１つの例であ
る。音声圧縮／再生の呼び出し１は画像圧縮／再生にか
かった時間から必要な音声の符号量を計算して（ステッ
プ１３１）、符号量を引数にして音声圧縮／再生手段を
呼び出して（ステップ１３２）、画像圧縮／再生にかか
った時間が閾値よりも長い場合は引数とするマクロブロ
ック数、または符号量を減らして閾値よりも短い場合は
引数とするマクロブロック数、または符号量を増やして
（ステップ１３３）、呼び出し元に戻る。
呼び出し１は音声圧縮／再生の呼び出しの１つの例であ
る。音声圧縮／再生の呼び出し１は画像圧縮／再生にか
かった時間から必要な音声の符号量を計算して（ステッ
プ１３１）、符号量を引数にして音声圧縮／再生手段を
呼び出して（ステップ１３２）、画像圧縮／再生にかか
った時間が閾値よりも長い場合は引数とするマクロブロ
ック数、または符号量を減らして閾値よりも短い場合は
引数とするマクロブロック数、または符号量を増やして
（ステップ１３３）、呼び出し元に戻る。
【００５６】この例で計算される音声符号量は、画像圧
縮／再生にかかった時間が３０ｍｓとすると、３０ｍｓ
＋αの時間分の音声符号量を越える最小のＡＡＵ単位の
符号量となる。αの値はＣＰＵの性能や通信速度によっ
て決まる。
縮／再生にかかった時間が３０ｍｓとすると、３０ｍｓ
＋αの時間分の音声符号量を越える最小のＡＡＵ単位の
符号量となる。αの値はＣＰＵの性能や通信速度によっ
て決まる。
【００５７】また、閾時間やマクロブロック数、または
符号量の増減する量は音声圧縮／再生が途切れずに処理
できるように調整された値であり、ＣＰＵの性能や通信
速度によって決まる。
符号量の増減する量は音声圧縮／再生が途切れずに処理
できるように調整された値であり、ＣＰＵの性能や通信
速度によって決まる。
【００５８】また、図９（Ｂ）に示す如く、音声圧縮／
再生の呼び出し２はコールバックまたは音声圧縮／再生
の呼び出しのもう１つの例である。音声圧縮／再生の呼
び出し２は圧縮の場合は圧縮して送信されていない音声
の符号量が閾値よりも少ないかどうかを判断して、再生
の場合は受信されて再生していない音声の符号量が閾値
よりも多いかどうかを判断して（ステップ１３４）、符
号量を引数にして音声圧縮／再生手段を呼び出す（ステ
ップ１３５）。画像圧縮／再生にかかった時間が閾時間
よりも長い場合は引数とするマクロブロック数、または
符号量を減らして、閾時間よりも短い場合は引数とする
マクロブロック数、または符号量を増やして（ステップ
１３６）、呼び出し元に戻る。
再生の呼び出し２はコールバックまたは音声圧縮／再生
の呼び出しのもう１つの例である。音声圧縮／再生の呼
び出し２は圧縮の場合は圧縮して送信されていない音声
の符号量が閾値よりも少ないかどうかを判断して、再生
の場合は受信されて再生していない音声の符号量が閾値
よりも多いかどうかを判断して（ステップ１３４）、符
号量を引数にして音声圧縮／再生手段を呼び出す（ステ
ップ１３５）。画像圧縮／再生にかかった時間が閾時間
よりも長い場合は引数とするマクロブロック数、または
符号量を減らして、閾時間よりも短い場合は引数とする
マクロブロック数、または符号量を増やして（ステップ
１３６）、呼び出し元に戻る。
【００５９】この例で計算される音声符号量は閾値が３
０ｍｓ分の音声符号量とすると３０ｍｓ分の音声符号量
−残っている音声符号量＋αの音声符号量を越える最小
のＡＡＵ単位の符号量となる。αの値はＣＰＵの性能や
通信速度によって決まる。
０ｍｓ分の音声符号量とすると３０ｍｓ分の音声符号量
−残っている音声符号量＋αの音声符号量を越える最小
のＡＡＵ単位の符号量となる。αの値はＣＰＵの性能や
通信速度によって決まる。
【００６０】また、閾時間やマクロブロック数、または
符号量の増減する量は音声圧縮／再生が途切れずに処理
できるように調整された値であり、ＣＰＵの性能や通信
速度によって決まる。
符号量の増減する量は音声圧縮／再生が途切れずに処理
できるように調整された値であり、ＣＰＵの性能や通信
速度によって決まる。
【００６１】
【発明の効果】以上説明したように並列演算レジスタの
切替え時のオーバーヘッドを減らして処理するので、音
声・画像圧縮／再生を高速に処理できる。また、音声処
理が間に合うような間隔で切替えるので、音声処理が途
切れずに音声・画像圧縮／再生を処理できる。また、音
声圧縮／再生と画像圧縮／再生と切替えのモジュールを
分離しているので、ＣＰＵの性能や通信速度が変わって
も切替えるタイミングの調整が容易にできる。
切替え時のオーバーヘッドを減らして処理するので、音
声・画像圧縮／再生を高速に処理できる。また、音声処
理が間に合うような間隔で切替えるので、音声処理が途
切れずに音声・画像圧縮／再生を処理できる。また、音
声圧縮／再生と画像圧縮／再生と切替えのモジュールを
分離しているので、ＣＰＵの性能や通信速度が変わって
も切替えるタイミングの調整が容易にできる。
【図１】本発明の音声・画像圧縮装置の例を示すブロッ
ク図である。
ク図である。
【図２】本発明の音声・画像再生装置の例を示すブロッ
ク図である。
ク図である。
【図３】図１のブロックの動作を示すフローチャートで
ある。
ある。
【図４】図２のブロックの動作を示すフローチャートで
ある。
ある。
【図５】本発明の実施例の動作の詳細を示すブロック図
である。
である。
【図６】本発明の実施例の動作の詳細を示すブロック図
である。
である。
【図７】本発明の実施例の動作の詳細を示すブロック図
である。
である。
【図８】本発明の実施例の動作の詳細を示すブロック図
である。
である。
【図９】本発明の実施例の動作の詳細を示すブロック図
である。
である。
【図１０】ビデオシーケンスを示す図である。
【図１１】音声符号フォーマットの階層図である。
【図１２】従来の音声・画像圧縮装置のブロック図であ
る。
る。
【図１３】従来の音声・画像再生装置のブロック図であ
る。
る。
【図１４】並列演算の例を説明する図である。
１，２１ ディスプレイ ２，２２ ＣＰＵ ３，２３ キーボード ４，２４ 装置制御手段 ５ 画像入力手段 ６ カメラ ７ 音声入力手段 ８ マイク ９ 画像圧縮手段 １０ 音声圧縮手段 １１ 符号合成手段 １２ 送信手段 １３，３３ モデム １４ 圧縮制御手段 ２５ 画像出力手段 ２６ モニタ ２７ 音声出力手段 ２８ スピーカ ２９ 画像再生手段 ３０ 音声再生手段 ３１ 符号分離手段 ３２ 受信手段 ３４ 再生制御手段
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/91 - 5/956
Claims (8)
- 【請求項１】 音声情報の圧縮処理をなす音声圧縮手段
と、画像情報の圧縮処理をなす画像圧縮手段と、これ等
音声圧縮手段及び画像圧縮手段の制御を行う制御手段と
を含み、前記音声情報と前記画像情報とを同期をとりつ
つ圧縮処理する音声・画像同期圧縮装置であって、 前記制御手段は、 予め設定された画像情報量を指定して前記画像圧縮手段
へ圧縮指示を生成する手段と、 この圧縮指示に応答して前記画像圧縮手段が前記画像情
報量の圧縮処理を行う時間を計測する手段と、 この計測時間に基いて前記音声圧縮手段が圧縮するに必
要な音声情報量を算出する手段と、 この算出された音声情報量を指定して前記音声圧縮手段
へ圧縮指示を生成する手段と、 この圧縮指示に応答して前記音声圧縮手段が前記音声情
報量の圧縮処理を行った後に、継続して前記画像圧縮手
段の画像圧縮処理を指示する手段と、を含むことを特徴
とする音声・画像同期圧縮装置。 - 【請求項２】 音声情報の圧縮処理をなす音声圧縮手段
と、画像情報の圧縮処理をなす画像圧縮手段と、これ等
音声圧縮手段及び画像圧縮手段の制御を行う制御手段
と、これ等圧縮画像情報及び圧縮音声情報を送信する送
信手段とを含み、前記音声情報と前記画像情報とを同期
をとりつつ圧縮処理する音声・画像同期圧縮装置であっ
て、 前記制御手段は、 予め設定された画像情報量を指定して前記画像圧縮手段
へ圧縮指示を生成する手段と、 この圧縮指示に応答して前記画像圧縮手段が前記画像情
報量の圧縮処理を行った後に、前記送信手段による未送
信の圧縮音声情報量が所定閾値より小なるかどうかを判
断して少ない場合に、前記圧縮音声情報量が前記閾値以
上となるような音声情報量を算出する手段と、 この算出された音声情報量を指定して前記音声圧縮手段
へ圧縮指示を生成する手段と、 この圧縮指示に応答して前記音声圧縮手段が前記音声情
報量の圧縮処理を行った後に、継続して前記画像圧縮手
段の画像圧縮処理を指示する手段と、を含むことを特徴
とする音声・画像同期圧縮装置。 - 【請求項３】 圧縮音声情報の再生をなす音声再生手段
と、圧縮画像情報の再生をなす画像再生手段と、これ等
音声再生手段及び画像再生手段の制御を行う制御手段
と、これ等音声情報と画像情報とを同期をとりつつ再生
処理する音声・画像同期再生装置であって、 前記制御手段は、 予め設定された圧縮画像情報量を指定して前記画像再生
手段へ再生指示を生成する手段と、 この再生指示に応答して前記画像再生手段が前記圧縮画
像情報量の再生処理を行う時間を計測する手段と、 この計測時間に基いて前記音声再生手段が再生するに必
要な圧縮音声情報量を算出する手段と、 この算出された圧縮音声情報量を指定して前記音声再生
手段へ再生指示を生成する手段と、 この再生指示に応答して前記音声再生手段が前記圧縮音
声情報量の再生処理を行った後に、継続して前記画像再
生手段の圧縮画像再生処理を指示する手段と、を含むこ
とを特徴とする音声・画像同期再生装置。 - 【請求項４】 圧縮画像及び圧縮音声情報を受信する受
信手段と、この受信された圧縮音声情報の再生をなす音
声再生手段と、受信された圧縮画像情報の再生をなす画
像再生手段と、これ等音声再生手段及び画像再生手段の
制御を行う制御手段とを含み、これ等音声情報と画像情
報とを同期をとりつつ再生処理する音声・画像同期再生
装置であって、 前記制御手段は、 予め設定された圧縮画像情報量を指定して前記画像再生
手段へ再生指示を生成する手段と、 この再生指示に応答して前記画像再生手段が前記圧縮画
像情報量の再生処理を行った後に、前記受信手段により
受信された未再生の圧縮音声情報量が所定閾値より大な
るかどうかを判断して大なる場合に、前記圧縮音声情報
量が前記閾値より小となるような圧縮音声報量を算出す
る手段と、 この算出された圧縮音声情報量を指定して前記音声再生
手段へ再生指示を生成する手段と、 この再生指示に応答して前記音声再生手段が前記圧縮音
声情報量の再生処理を行った後に、継続して前記画像再
生手段の画像再生処理を指示する手段と、を含むことを
特徴とする音声・画像同期再生装置。 - 【請求項５】 音声情報と画像情報とを同期をとりつつ
圧縮処理する音声・画像同期圧縮方法であって、 予め設定された画像情報量を指定して前記画像情報の圧
縮処理をなすステップと、 この画像情報量の圧縮処理の時間を計測するステップ
と、 この計測時間に基いて圧縮処理に必要な音声情報量を算
出するステップと、 この算出された音声情報量の音声情報の圧縮処理をなす
ステップと、 この音声情報の圧縮処理を行った後に、継続して前記画
像情報の圧縮処理を行うステップと、を含むことを特徴
とする音声・画像同期圧縮方法。 - 【請求項６】 音声情報と画像情報とを同期をとりつつ
圧縮処理して送信するようにした音声・画像同期圧縮方
法であって、 予め設定された画像情報量を指定して前記画像情報の圧
縮処理をなすステップと、 前記画像情報量の圧縮処理を行った後に、未送信の圧縮
音声情報量が所定閾値より小なるかどうかを判断して少
ない場合に、前記圧縮音声情報量が前記閾値以上となる
ような音声情報量を算出するステップと、 この音声情報量の音声情報の圧縮処理を行った後に、継
続して前記画像圧縮処理を行うステップと、を含むこと
を特徴とする音声・画像同期圧縮方法。 - 【請求項７】 圧縮音声情報と圧縮画像情報とを同期を
とりつつ再生処理する音声・画像同期再生方法であっ
て、 予め設定された圧縮画像情報量を指定して前記圧縮画像
情報の再生処理をなすステップと、 この圧縮画像情報の再生処理の時間を計測するステップ
と、 この計測時間に基いて再生処理に必要な圧縮音声情報量
を算出するステップと、 この算出された圧縮音声情報量の再生処理をなすステッ
プと、 この圧縮音声情報の再生処理を行った後に、継続して前
記圧縮画像の再生処理を行うステップと、を含むことを
特徴とする音声・画像同期再生方法。 - 【請求項８】 受信圧縮音声情報及び受信画像圧縮情報
とを同期をとりつつ再生処理するようにした音声・画像
同期再生方法であって、 予め設定された圧縮画像情報量を指定して前記圧縮画像
情報の再生処理をなすステップと、 この記圧縮画像情報量の再生処理を行った後に、受信さ
れた未再生の圧縮音声情報量が所定閾値より大なるかど
うかを判断して大なる場合に、前記圧縮音声情報量が前
記閾値より小となるように圧縮音声報量を算出するステ
ップと、 この算出された圧縮音声情報量の圧縮音声情報の再生処
理をなすステップと、 この音声情報の再生処理を行った後に、継続して前記圧
縮画像情報の再生処理を行うステップと、を含むことを
特徴とする音声・画像同期再生方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9027140A JP3000949B2 (ja) | 1997-02-12 | 1997-02-12 | 音声・画像同期圧縮再生装置及びその方法 |
| EP98102256A EP0859512A3 (en) | 1997-02-12 | 1998-02-10 | Sound-picture synchronous compression and synchronous reproduction system |
| US09/022,540 US6104756A (en) | 1997-02-12 | 1998-02-12 | Sound-picture synchronous compression and synchronous reproduction system |
| US09/591,150 US6269119B1 (en) | 1997-02-12 | 2000-06-09 | Sound-picture synchronous compression and synchronous reproduction system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9027140A JP3000949B2 (ja) | 1997-02-12 | 1997-02-12 | 音声・画像同期圧縮再生装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10224740A JPH10224740A (ja) | 1998-08-21 |
| JP3000949B2 true JP3000949B2 (ja) | 2000-01-17 |
Family
ID=12212753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9027140A Expired - Fee Related JP3000949B2 (ja) | 1997-02-12 | 1997-02-12 | 音声・画像同期圧縮再生装置及びその方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US6104756A (ja) |
| EP (1) | EP0859512A3 (ja) |
| JP (1) | JP3000949B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3000949B2 (ja) * | 1997-02-12 | 2000-01-17 | 日本電気株式会社 | 音声・画像同期圧縮再生装置及びその方法 |
| JP4098420B2 (ja) * | 1998-11-04 | 2008-06-11 | 富士通株式会社 | 音響データ・動画データの同期再構築方法及び装置 |
| JP4407472B2 (ja) * | 2004-10-29 | 2010-02-03 | ソニー株式会社 | 符号化及び復号装置並びに符号化及び復号方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU668762B2 (en) * | 1992-10-07 | 1996-05-16 | Nec Personal Computers, Ltd | Synchronous compression and reconstruction system |
| US5481543A (en) * | 1993-03-16 | 1996-01-02 | Sony Corporation | Rational input buffer arrangements for auxiliary information in video and audio signal processing systems |
| JPH0764730A (ja) * | 1993-08-31 | 1995-03-10 | Victor Co Of Japan Ltd | 画像・音声データの転送方法 |
| JP3075034B2 (ja) * | 1993-09-02 | 2000-08-07 | 日本電気株式会社 | 画像・音声復号化装置 |
| US5467139A (en) * | 1993-09-30 | 1995-11-14 | Thomson Consumer Electronics, Inc. | Muting apparatus for a compressed audio/video signal receiver |
| JPH07110756A (ja) * | 1993-10-14 | 1995-04-25 | Matsushita Electric Ind Co Ltd | 動画音声同期制御装置 |
| JP3521461B2 (ja) * | 1993-12-24 | 2004-04-19 | カシオ計算機株式会社 | 複数の周期的なメディアデータの処理装置 |
| US5583652A (en) * | 1994-04-28 | 1996-12-10 | International Business Machines Corporation | Synchronized, variable-speed playback of digitally recorded audio and video |
| US5784572A (en) * | 1995-12-29 | 1998-07-21 | Lsi Logic Corporation | Method and apparatus for compressing video and voice signals according to different standards |
| JPH09205618A (ja) * | 1996-01-29 | 1997-08-05 | Mitsubishi Electric Corp | 動画像音声伸張再生装置および動画像音声同期制御器 |
| JP3000949B2 (ja) * | 1997-02-12 | 2000-01-17 | 日本電気株式会社 | 音声・画像同期圧縮再生装置及びその方法 |
-
1997
- 1997-02-12 JP JP9027140A patent/JP3000949B2/ja not_active Expired - Fee Related
-
1998
- 1998-02-10 EP EP98102256A patent/EP0859512A3/en not_active Ceased
- 1998-02-12 US US09/022,540 patent/US6104756A/en not_active Expired - Lifetime
-
2000
- 2000-06-09 US US09/591,150 patent/US6269119B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0859512A3 (en) | 2005-01-05 |
| US6269119B1 (en) | 2001-07-31 |
| EP0859512A2 (en) | 1998-08-19 |
| JPH10224740A (ja) | 1998-08-21 |
| US6104756A (en) | 2000-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11298890A (ja) | 画像データの圧縮又は伸張方法とその装置、並びに、それを用いた画像伝送システム及び監視システム | |
| JP2000137494A (ja) | 音響データ・動画データの同期再構築方法及び装置 | |
| KR100605935B1 (ko) | 동영상 촬영 방법 | |
| JPH10178639A (ja) | 画像コーデック部および画像データ符号化方法 | |
| JP2004173118A (ja) | 音声画像多重化データ生成装置と再生装置および動画像復号化装置 | |
| JP3000949B2 (ja) | 音声・画像同期圧縮再生装置及びその方法 | |
| JP3034173B2 (ja) | 画像信号処理装置 | |
| JP2002094384A (ja) | 長時間用画像・音声圧縮装置及びその方法 | |
| JP3193525B2 (ja) | 情報処理装置 | |
| JP2000078531A (ja) | オ―ディオデ―タ編集方法、編集システム | |
| JPH08102908A (ja) | 再生装置 | |
| JPH1169330A (ja) | 留守録機能を備えた画像通信装置 | |
| JP2001128165A (ja) | 映像信号切替え装置及びその映像信号切替え方式 | |
| JP3671842B2 (ja) | 符号圧縮化／データ変換装置及び符号圧縮化／データ変換方法 | |
| JP2998640B2 (ja) | 動画像再生装置 | |
| JP2885227B2 (ja) | 画像・音声同期処理装置 | |
| JP3807776B2 (ja) | 圧縮記録画像再生装置 | |
| JP3384910B2 (ja) | 撮像装置および画像再生装置 | |
| JP2002094996A (ja) | 受信装置 | |
| JP3166572B2 (ja) | 動画像音声圧縮装置 | |
| JP3295204B2 (ja) | 動画再生方法 | |
| JPH07170485A (ja) | 画像再生装置及び画像復号装置 | |
| JP2001189933A (ja) | 復号化バッファ制御装置 | |
| JPH10145760A (ja) | 画像通信装置 | |
| JP3265146B2 (ja) | ビデオサーバ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071112 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 12 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |