JPH0822065B2 - 画像及び音声情報の圧縮再生システム - Google Patents

画像及び音声情報の圧縮再生システム

Info

Publication number
JPH0822065B2
JPH0822065B2 JP4293716A JP29371692A JPH0822065B2 JP H0822065 B2 JPH0822065 B2 JP H0822065B2 JP 4293716 A JP4293716 A JP 4293716A JP 29371692 A JP29371692 A JP 29371692A JP H0822065 B2 JPH0822065 B2 JP H0822065B2
Authority
JP
Japan
Prior art keywords
block
image
frame
audio
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4293716A
Other languages
English (en)
Other versions
JPH06121276A (ja
Inventor
裕明 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP4293716A priority Critical patent/JPH0822065B2/ja
Priority to AU48830/93A priority patent/AU668762B2/en
Priority to CA002107727A priority patent/CA2107727C/en
Priority to EP93116167A priority patent/EP0591944B1/en
Priority to DE69327563T priority patent/DE69327563T2/de
Priority to US08/133,219 priority patent/US5508816A/en
Publication of JPH06121276A publication Critical patent/JPH06121276A/ja
Publication of JPH0822065B2 publication Critical patent/JPH0822065B2/ja
Priority to AU48106/96A priority patent/AU679872B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Color Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像及び音声情報の圧縮
再生システムに関し、特に、CD−ROMやハードディ
スク等の記録媒体に対して画像,音声情報を圧縮処理し
て記録する圧縮記録システムに関し、更に、圧縮処理し
て記録された上記記録媒体や通信回線からの画像,音声
情報を再生処理する再生システムに関するものである。
【0002】
【従来の技術】近年、CD−ROMやハードディスク等
の大容量記録媒体に、画像情報と音声情報とを予め記録
しておきデータベースを構築し、端末からユーザが必要
に応じて通信回線などを経由して当該データベースに対
してアクセスを行い、ユーザが要求する画像,音声情報
を検索できるようにした、オンライン情報検索サービス
が普及しつつある。
【0003】この場合、画像,音声情報は基本的にアナ
ログ情報であり、よって、これ等情報をディジタル変換
して記録媒体へ記録する必要がある。しかしながら、こ
れ等アナログ情報をディジタル変換すると、その情報量
は文字情報に比して極めて多量であるので、画像信号,
音声信号に対する各種のデータ圧縮技術が用いられ、よ
って、大量の情報を記録媒体に記録し、これを検索でき
る電子情報ファイルシステムが実用化されている。
【0004】この様なシステムの例としては、マルチメ
ディアコンピュータシステムがあり、ISO10918
−1(JPEG:Joint Photographi
cExpert Group)に準拠した画像符号化方
式に従って画像,音声信号の圧縮処理が行われる。この
圧縮処理方式では、画像の圧縮は、一般に1フレーム分
の画像を8×8ブロックに分割し、各ブロック単位に、
離散コサイン変換(DCT),量子化,エントロピー符
号化を夫々行ってなされる。また、圧縮画像の再生は、
8×8ブロックの各ブロック単位に、エントロピー復号
化,逆量子化,逆DCTを夫々行うことによりなされ
る。
【0005】この様なシステムでは、多量の画像や音声
等の情報を高速に編集して圧縮処理して記録媒体へ記録
できる装置が必要であり、また再生時には、音声情報を
対応する画像情報と組合わせて再生するために、再生タ
イミング(同期)をとる必要がある。特に、装置の性能
や画像の圧縮符号のサイズなどにより、画像の記録/再
生速度が音声の記録/再生速度より遅くなる場合があ
る。そのために画像と音声との再生時の同期がとれなく
なって不自然に見える。
【0006】この同期をとる従来例として、特開昭63
−168745号公報,特開昭63−266579号公
報,特開昭63−313384号公報に開示の技術があ
る。これ等従来の同期方式について簡単に説明すると以
下の通りである。大量の画像,音声などの情報をデータ
圧縮変換処理する過程で、データの種類,データ長,デ
ータ変換処理方式,同期させるべき他の情報等のデータ
属性をデータファイルとして作成し、これ等をデータコ
ントロールファイルとして記憶しておく。しかる後に、
このデータコントロールファイルに格納されたデータフ
ァイルを用いて、最終的な形態の記録媒体に記録された
データを再生しているのを想定した形の、いわゆる模擬
再生を行う。このときの音声信号の実時間再生,画像と
音声との組合わせ,再生タイミングの良否等を実際の目
や耳で確認する。
【0007】このとき、コントロールファイル内のデー
タファイルの内容を基に再生が行われるが、画像と音声
の同期がとれていなければ、模擬再生手順を修正しつつ
タイミング等が自由に設定し直される。こうして模擬再
生により、動作確認され、調整されて編集されたプログ
ラムファイルが作成されるようになっている。
【0008】
【発明が解決しようとする課題】この様な従来の画像,
音声圧縮再生システムにおける画像/音声の同期方式で
は、タイミング合せのためのデータファイルを作成する
必要があり、また、これ等データファイルの内容を基に
模擬再生を行いつつ動作確認を繰り返して、プログラム
ファイルを作成する必要があり、手間がかかるという欠
点を有している。
【0009】そこで、本発明はかかる従来技術の欠点を
解決すべくなされたものであって、その目的とするとこ
ろは、画像及び音声情報を圧縮処理するに際して、デー
タファイル等の作成を必要とすることなく自動的に画像
と音声との同期をとりつつ記録することが可能な圧縮シ
ステムを提供することにある。
【0010】本発明の他の目的は、圧縮処理して記録さ
れた記録媒体や通信回線からの画像,音声情報を再生す
るに際して、データファイル等の作成を必要とすること
なく、また模擬再生等の手間のかかる操作を必要とする
ことなく、自動的に画像と音声との同期をとりつつ再生
することが可能な再生システムを提供することにある。
【0011】
【課題を解決するための手段】本発明による圧縮システ
ムは、入力画像情報及び音声情報をフレーム毎に夫々圧
縮処理する圧縮システムであって、第1〜第n(nは2
以上の整数)のブロックに分割された1フレーム分の入
力画像情報を第1ブロックから第nのブロックまで順次
走査しつつ各ブロック単位に圧縮処理する画像圧縮処理
手段と、1フレーム分の入力音声情報を圧縮処理する音
声圧縮処理手段と、前記画像圧縮処理手段及び音声圧縮
処理手段の各圧縮処理中のフレーム番号同士を参照して
画像圧縮処理が音声圧縮処理に対して遅れているとき、
そのときのフレームにおける残余ブロックの画像圧縮処
理を中断せしめて次のフレームからのブロック単位の画
像圧縮処理を開始せしめるよう制御する手段とを含むこ
とを特徴とする。
【0012】本発明による他の圧縮システムは、入力画
像情報及び音声情報をフレーム毎に夫々圧縮処理する圧
縮システムであって、第1〜第nのブロックに分割され
た1フレーム分の入力画像情報の各ブロックを更に第1
〜第m(mは2以上の整数)の周波数帯域成分に分割
し、第1の周波数帯域成分の各ブロックを第1ブロック
から第nのブロックまで順次走査し、同様に第2以降の
周波数帯域成分の各ブロックについても同様な走査手順
で順次走査しつつ各ブロック単位に圧縮処理する画像圧
縮処理手段と、1フレーム分の入力音声情報を圧縮処理
する音声圧縮処理手段と、前記画像圧縮処理手段及び音
声圧縮処理手段の各圧縮処理中のフレーム番号同士を参
照して画像圧縮処理が音声圧縮処理に対して遅れている
とき、そのときのフレームにおける残余ブロックの画像
圧縮処理を中断せしめて次のフレームからのブロック単
位の画像圧縮処理を開始せしめるよう制御する手段とを
含むことを特徴とする。
【0013】本発明による別の圧縮システムは、入力画
像情報及び音声情報をフレーム毎に夫々圧縮処理する圧
縮システムであって、第1〜第nのブロックに分割され
た1フレーム分の入力画像情報の各ブロックを更に第1
〜第k(kは2以上の整数)の色成分に分割し、第1の
色成分の各ブロックを第1ブロックから第nのブロック
まで順次走査し、同様に第2以降の色成分の各ブロック
についても同様な走査手順で順次走査しつつ各ブロック
単位に圧縮処理する画像圧縮処理手段と、1フレーム分
の入力音声情報を圧縮処理する音声圧縮処理手段と、前
記画像圧縮処理手段及び音声圧縮処理手段の各圧縮処理
中のフレーム番号同士を参照して画像圧縮処理が音声圧
縮処理に対して遅れているとき、そのときのフレーム
おける残余ブロックの画像圧縮処理を中断せしめて次の
フレームからのブロック単位の画像圧縮処理を開始せし
めるよう制御する手段とを含むことを特徴とする。
【0014】本発明による再生システムは、フレーム毎
に夫々圧縮処理された入力画像情報及び音声情報を再生
する再生システムであって、第1〜第nのブロックに分
割された1フレーム分の入力画像情報を第1ブロックか
ら第nのブロックまで順次走査しつつ各ブロック単位に
再生処理する画像再生処理手段と、1フレーム分の入力
音声情報を再生処理する音声再生処理手段と、前記画像
再生処理手段及び音声再生処理手段の各再生処理中のフ
レーム番号同士を参照して画像再生処理が音声再生処理
に対して遅れているとき、そのときのフレームにおける
残余ブロックの画像再生処理を中断せしめて次のフレー
ムからのブロック単位の画像再生処理を開始せしめるよ
制御する手段とを含むことを特徴とする。
【0015】本発明による他の再生システムは、レーム
毎に夫々圧縮処理された入力画像情報及び音声情報を再
生する再生システムであって、第1〜第nのブロックに
分割された1フレーム分の入力画像情報の各ブロックを
更に第1〜第mの周波数帯域成分に分割し、第1の周波
数帯域成分の各ブロックを第1ブロックから第nのブロ
ックまで順次走査し、同様に第2以降の周波数帯域成分
の各ブロックについても同様な走査手順で順次走査しつ
つ各ブロック単位に再生処理する画像再生処理手段と、
1フレーム分の入力音声情報を再生処理する音声再生処
理手段と、前記画像再生処理手段及び音声再生処理手段
の各再生処理中のフレーム番号同士を参照して画像再生
処理が音声圧再生理に対して遅れているとき、そのとき
のフレームにおける残余ブロックの画像再生処理を中断
せしめて次のフレームからのブロック単位の画像再生処
理を開始せしめるよう制御する手段とを含むことを特徴
とする。
【0016】本発明による別の再生システムは、フレー
ム毎に夫々圧縮処理された入力画像情報及び音声情報を
再生する再生システムであって、第1〜第nのブロック
に分割された1フレーム分の入力画像情報の各ブロック
を更に第1〜第kの色成分に分割し、第1の色成分の各
ブロックを第1ブロックから第nのブロックまで順次走
査し、同様に第2以降の色成分の各ブロックについても
同様な走査手順で順次走査しつつ各ブロック単位に再生
処理する画像再生処理手段と、1フレーム分の入力音声
情報を再生処理する音声再生処理手段と、前記画像再生
処理手段及び音声再生処理手段の各再生処理中のフレー
ム番号同士を参照して画像再生処理が音声圧再生理に対
して遅れているとき、そのときのフレームにおける残余
ブロックの画像再生処理を中断せしめて次のフレームか
らのブロック単位の画像再生処理を開始せしめるよう
御する手段とを含むことを特徴とする。
【0017】
【作用】本発明による圧縮システムでは、音声の圧縮処
理に比し画像圧縮処理が遅れたことを、処理中のフレー
ム番号を参照し検出し、この検出に応答して、その時の
フレームの画像圧縮処理を中断する。そして、次の新た
なフレームから再び画像圧縮処理を行うようにするの
で、画像圧縮処理が高速化され、また音声圧縮処理との
同期が自動的に取れて記録媒体へ記録され、また通信回
線へ送信されことになる。
【0018】本発明による再生システムでは、記録媒体
や通信回線からの圧縮画像,音声を再生処理するとき
に、音声の再生処理に比し、画像の再生処理が遅れたこ
とを、処理中のフレーム番号を参照して検出し、この検
出に応答して、そのときのフレームの画像再生処理を中
断する。そして、次の新たなフレームから再び画像再生
処理を行うようにするので、画像再生処理が高速化さ
れ、また音声再生処理との同期が自動的にとれることに
なる。
【0019】
【実施例】以下、本発明の実施例について図面を参照し
つつ詳細に説明する。
【0020】図1は本発明の実施例の圧縮システムに適
用されるシステムブロック図であり、先述したISO1
0918−1(JPEG)に準拠したマルチメディアコ
ンピータシステムの画像符号化方式における画像,音声
圧縮システムのブロック図である。
【0021】図において、CPU1はROM2に格納さ
れたプログラムを実行して装置全体の制御を行う。RA
M3は圧縮処理中のデータを一時的に格納するメモリで
ある。キーボード4は画像,音声圧縮処理の指定を行う
ものであり、ハードディスク5はRAM3に格納されて
いる圧縮符号化された画像の符号と音声の符号を記録す
る。送信部6は圧縮符号化された画像の符号と音声の符
号を通信回線に送信する。
【0022】入力された画像信号はA/D変換器8でA
/D変換されて、Y/C分離器7で輝度信号と色信号と
に分離される。しかる後に、DCT器9で離散コサイン
変換されて、量子化器10で量子化され、符号化器11
で高能率圧縮符号化された後、RAM3に格納される。
入力された音声信号は音声符号化器12で圧縮符号化さ
れて、RAM3に格納される。
【0023】図2は本発明の実施例の再生システムに適
用されるシステムブロック図であり、先述したISO1
0918−1(JPEG)に準拠したマルチメディアコ
ンピュータシステムの画像符号化方式の画像,音声再生
装置のブロック図である。
【0024】図において、CPU20はROM21に格
納されたプログラムを実行して装置全体の制御を行う。
RAM22は再生処理中のデータを一時的に記憶する。
キーボード23は画像,音声再生装置の処理を行うもの
である。ハードディスク24は圧縮符号化された画像の
符号と音声の符号を記録しており、RAM22にその符
号を読込むことができる。受信部25は圧縮符号化され
た画像の符号と音声の符号を通信回線から受信する。
【0025】RAM22に読込まれた圧縮画像符号は復
号化器30で復号化されて、逆量子化器29で逆量子化
される。しかる後に、逆DCT器28で逆離散コサイン
変換されて、Y/C合成器26で輝度信号と色差信号が
合成され、D/A変換器27でD/A変換された後、画
像信号として出力される。RAM22に読込まれた圧縮
音声符号は音声復号化器31で復号化されて、音声信号
として出力される。
【0026】図3は画像と音声の圧縮処理を制御するフ
ローチャートである。図3のフローチャートに示すよう
に圧縮処理がスタートすると、キーボード4から送信フ
ラグのON/OFFと記録するフレーム(またはフィー
ルド)数とファイルなどを入力する(ステップ40)。
次に入力された映像信号をA/D変換器8でディジタル
変換して(ステップ41)、Y/C分離器7で輝度信号
と色差信号に分離して(ステップ42)、画像圧縮を行
って(ステップ43)、画像の圧縮符号をRAM3に格
納する(ステップ44)。
【0027】次に入力された音声信号を音声符号化器1
2で符号化して(ステップ45)、音声の圧縮符号をR
AM3に格納する(ステップ46)。次に送信フラグが
ONに指定されていかどうか判断して(ステップ4
7)、そうでない場合はステップ49へ進む。送信フラ
グがONである場合は、RAM3の画像と音声の符号を
送信部6により通信回線に送る(ステップ48)。次に
RAM3の画像と音声の符号をハードディスク5に記録
する(ステップ49)。そして最終フレーム(またはフ
ィールド)であるかどうか判断して(ステップ50)、
そうでない場合はステップ41へ戻り、最終フレームで
ある場合は処理を終了する。
【0028】図4は画像と音声の再生処理を制御するフ
ローチャートである。図4のフローチャートに示すよう
に再生装置がスタートすると、キーボード23から受信
フラグのON/OFFと再生するフレーム(またはフィ
ールド)数とファイル名とを入力する(ステップ6
0)。次に受信フラグがONであるかどうか判断して
(ステップ61)、そうである場合は受信部25より通
信回線から画像と音声の圧縮符号を受信してRAM22
に格納して(ステップ62)、RAM22に格納された
画像と音声の圧縮符号をハードディスク24に記録する
(ステップ63)。
【0029】受信フラグがONでない場合はハードディ
スク24から画像と音声の圧縮符号を読込んでRAM2
2に格納して(ステップ64)、ステップ65に進む。
次にRAM22に格納された音声の圧縮符号を音声復号
化器31で復号化して音声信号として出力する(ステッ
プ65)。そして画像の圧縮符号を再生して(ステップ
66)、Y/C合成器26で輝度信号と色差信号とを合
成し(ステップ67)、D/A変換器27で変換して映
像信号として出力する(ステップ68)。次に最終フレ
ーム(またはフィールド)かどうか判断して(ステップ
69)、そうでない場合はステップ61に戻り、最終フ
レームである場合は処理が終了する。
【0030】以上が、本発明の実施例が適用される圧縮
及び再生システムの構成及び動作の概略であるが、以下
に実施例の詳細動作について、場合を分けて説明する。
【0031】(1)画像圧縮・再生処理のブロック単位
の中断動作:図5〜図8は画像圧縮処理が音声圧縮再生
処理より遅れた場合に、画像圧縮再生処理をブロック単
位で中断することにより、音声と画像との同期を取る処
理の例を説明する図である。
【0032】図5は1フレーム分の画像を圧縮処理する
際の処理単位であるブロックについて説明するための図
である。図5では、1フレーム分の画像を48×48ド
ットとして示しているが、実際には、例えば600×4
00ドットとなっており、ここでは、簡単化のために4
8×48ドットとしている。この48×48ドットの画
像を、図の如く第0番目から第35番目までの計36個
のブロックに分割し(各ブロックは8×8ドットとな
る)、これ等ブロック単位に圧縮処理が行われることに
なる。
【0033】この場合の圧縮処理の順序はいわゆるジグ
ザク走査となっており、図5のブロック番号に従って昇
順に行われる。このとき、図6(A)に示すように同一
フレームの音声と画像とが並行して処理されるが、2フ
レーム目の30番目のブロックが処理された時点で、3
フレーム目の音声の処理が開始されたとすると、2フレ
ーム目の31番目のブロックを処理しないで、その2フ
レーム目はその時点で処理を中断し、次の3フレーム目
の0番目のブロックから処理を開始する。
【0034】このようにして作成された音声と画像の符
号は図6(B)に示すように、中断しなかった1フレー
ム目の画像の符号には0番目から35番目までのブロッ
クの符号(M0〜M35)が格納されて、中断した2フ
レーム目の画像の符号には0番目から30番目までのブ
ロックの符号(M0〜30)のみが格納される。
【0035】尚、図において、Aは音声の圧縮符号,S
OIはフレーム開始を示す符号,EOIはフレームの終
了を示す符号である。
【0036】図7にブロック単位で映像圧縮を中断する
処理のフローチャートを示す。圧縮時は図7のフローチ
ャートに示すように、画像圧縮が開始されると1フレー
ム目かどうか判断して(ステップ80)、そうである場
合にはステップ83へ進む。そうでない場合には現在処
理中の音声フレーム番号と画像フレーム番号とを比較し
て(ステップ81)、画像処理が音声処理より遅れてい
るかどうか判断する(ステップ82)。遅れている場合
には現在処理中のブロックの圧縮が終了した時点で、現
フレームの画像処理を終了する。そうでない場合にはブ
ロックから周波数成分をDCT器9で算出して(ステッ
プ83)、量子化器10で量子化して(ステップ8
4)、符号化器11で高能率圧縮符号化して(ステップ
85)、画像の圧縮符号をRAM3に格納する(ステッ
プ86)。次に最終ブロックかどうか判断して(ステッ
プ87)、そうでない場合にはステップ80に戻る。最
終ブロックである場合には画像の圧縮を終了する。
【0037】再生時は図8のフローチャートに示すよう
に、画像再生が開始されると1フレーム目かどうか判断
して(ステップ90)、そうである場合にはステップ9
3へ進む。そうでない場合には現在処理中の音声フレー
ム番号と画像フレーム番号とを比較して(ステップ9
1)、画像処理が音声処理より遅れているかどうか判断
する(ステップ92)。遅れている場合には現在の処理
中のブロックの再生が終了した時点で、現フレームの画
像再生処理を終了する。そうでない場合にはRAM22
に格納された画像の圧縮符号を取出して(ステップ9
3)、復号化器30で復号して(ステップ94)、逆量
子化器29で逆量子化して(ステップ95)、逆DCT
器28で画素の値を算出する(ステップ96)。次に最
終ブロックかどうか判断して(ステップ97)、そうで
ない場合にはステップ90に戻る。最終ブロックである
場合には画像の再生を終了する。
【0038】(2)画像圧縮・再生処理の周波数成分単
位の中断動作:図9〜図12は、画像圧縮再生処理が音
声圧縮再生処理よりも遅れた場合に、画像圧縮再生処理
を周波数成分毎のブロック単位で中断することにより、
音声と画像との同期をとる処理の例を説明する図であ
る。図9(A)は、図5に示した第0番〜第35番の各
ブロック(1つのブロック)について、水平周波数8×
垂直周波数8の周波数成分(64成分)の組を、更に4
つ(0〜3)の成分に分割して示したものである。
【0039】圧縮再生処理の順序としては、0番目の周
波数成分の0番目〜35番目のブロック,1番目の周波
数成分の0番目〜35番目のブロック,2番目の周波数
成分の0番目〜35番目のブロック,3番目の周波数成
分の0番目から35番目という様に処理される。
【0040】図9(B)は画像の圧縮と再生時の変換式
を示すものである。図において、Svu圧縮後のサンプル
値,syx圧縮前または再生後のサンプル値,μは水平空
間周波数,νは垂直空間周波数を夫々示している。
【0041】図10(A)に示すように同一フレームの
音声と画像とを並行して処理するが、2フレーム目の3
番目の周波数成分の30番目のブロックを処理した時点
で、3フレーム目の音声の処理が開始されたとすると、
2フレーム目の3番目の周波数成分の31番目のブロッ
クを処理しないで3フレーム目の0番目の周波数成分の
0番目のブロックから処理を開始する。
【0042】このようにして作成された音声と画像の符
号は、図10(B)に示すように、中断しなかった1フ
レーム目の画像の符号には0番目の周波数成分の0番目
から35番目までのブロックの符号(H000〜H03
5)と、1番目の周波数成分の0番目から35番目まで
のブロックの符号(H100〜H135)と、2番目の
周波数成分の0番目から35番目までのブロックの符号
(H200〜H235)と、3番目の周波数成分の0番
目から35番目までのブロックの符号(H300〜H3
35)とが格納される。そして中断した2フレーム目の
画像の符号には0番目〜2番目の各周波数成分の0番目
から35番目のまでのブロックの符号(H000〜H2
35)と、3番目の周波数成分の0番目から30番目ま
でのブロックの符号(H300〜H330)のみが格納
される。
【0043】図11に周波数成分単位で画像圧縮処理を
中断する処理のフローチャートを示す。圧縮時に図11
のフローチャートに示すように、画像圧縮が開始される
と1フレーム目かどうか判断して(ステップ100)、
そうである場合にはステップ103へ進む。そうでない
場合には現在処理中の音声フレーム番号と画像フレーム
番号とを比較して(ステップ101)、画像処理が音声
処理より遅れているかどうか判断して(ステップ10
2)、遅れている場合には現在の処理中の周波数成分の
ブロック単位の圧縮が終了した時点で、現フレームの画
像処理を終了する。そうでない場合にはブロックから現
在処理する周波数成分をDCT器9で算出して(ステッ
プ103)、量子化器10で量子化して(ステップ10
4)、符号化器11で高能率圧縮符号化して(ステップ
105)、画像の圧縮符号をRAM3に格納する(ステ
ップ106)。
【0044】次に最終ブロックかどうか判断して(ステ
ップ107)、そうでない場合にはステップ100へ戻
る。最終ブロックである場合にはブロックを先頭に戻し
て処理する周波数成分を変更して(ステップ108)、
最終周波数成分かどうかを判断して(ステップ10
9)、そうでない場合にはステップ100へもどり、最
終周波数成分である場合には画像の圧縮を終了する。
【0045】図12は画像再生処理のフローチャートで
ある。再生時は図12のフローチャートに示すように、
画像再生が開始されるとステップ123へ進む。そうで
ない場合には現在処理中の音声フレーム番号と画像フレ
ーム番号とを比較して(ステップ121)、画像処理が
音声処理より遅れているかどうか判断して(ステップ1
22)、遅れている場合には現在処理中の周波数成分の
ブロック単位の再生が終了した時点で、現フレームの画
像再生処理を終了する。そうでない場合にはRAM22
に格納された画像の圧縮符号を取出して(ステップ12
3)、復号化器30で復号して(ステップ124)、逆
量子化器29で逆量子化して(ステップ125)、逆D
CT器28で現在の周波数成分から画素の値を算出する
(ステップ126)。
【0046】次に最終ブロックかどうか判断して(ステ
ップ127)、そうでない場合にはステップ120へ戻
る。最終ブロックである場合にはブロックを先頭に戻し
て処理する周波数成分を変更して(ステップ128)、
最終周波数成分かどうかを判断して(ステップ12
9)、そうでない場合にはステップ120へ戻り、最終
周波数成分である場合には画像の再生を終了する。
【0047】(3)画像圧縮・再生処理の色成分単位の
中断動作:図13〜15は、画像フレーム圧縮再生処理
が音声圧縮再生処理より遅れた場合に、画像圧縮再生処
理を色成分毎のブロック単位で中断することにより、音
声と画像との同期を取る処理の例を説明する図である。
図13に示した例では、図5に示した画像の1ブロック
を、更に色成分のY成分とCb成分とCr成分との3つ
に分割して、図13に示した順序で0番目の色成分の0
番目から35番目までのブロック、1番目の色成分の0
番目から35番目までのブロック、2番目の色成分の0
番目から35番目間でのブロックをこの順に処理する。
【0048】図14(A)に示すように同一フレームの
音声と画像を並行して処理するが、2フレーム目の3番
目の色成分の30番目のブロックを処理した時点で、3
フレーム目の音声の処理が開始されたので、2フレーム
目の3番目の色成分の31番目のブロックを処理しない
で3フレーム目の0番目の色成分の0番目のブロックか
ら処理を開始する。
【0049】このようにして作成された音声と画像の符
号は図14(B)に示すように、中断しなかった1フレ
ーム目の画像の符号には0番目の色成分の0番目から3
5番目までのブロックの符号(C000〜C035)
と、1番目の色成分の0番目から35番目までのブロッ
クの符号(C100〜C135)と、2番目の色成分の
0番目から35番目までのブロックの符号(C200〜
C235)と、3番目の色成分の0番目から35番目ま
でのブロックの符号(C300〜C335)とが格納さ
れる。そして中断した2フレーム目の画像符号には、0
番目〜2番目の各色成分の0番目から2番目までのブロ
ックの符号(C000〜C235)と、3番目の色成分
の0番目から30番目までのブロックの符号(C300
〜C330)のみが格納される。
【0050】図15に色成分単位で画像圧縮処理を中断
する処理のフローチャートを示す。圧縮時は図15のフ
ローチャートに示すように、画像圧縮が開始されると1
フレーム目かどうか判断して(ステップ140)、そう
である場合にはステップ143へ進む。そうでない場合
には現在処理中の音声フレーム番号と画像フレーム番号
を比較して(ステップ141)、画像処理が音声処理よ
り遅れているかどうか判断して(ステップ142)、遅
れている場合には現在処理中の色成分のブロック単位の
圧縮が終了した時点で、現フレームの画像処理を終了す
る。そうでない場合にはブロックから現在処理する色成
分の周波数成分をDCT器9で算出して(ステップ14
3)、量子化器10で量子化して(ステップ144)、
符号化器11で高能率圧縮符号化して(ステップ14
5)、画像の圧縮符号をRAM3に格納する(ステップ
146)。
【0051】次に最終ブロックかどうか判断して(ステ
ップ147)、そうでない場合にはステップ140へ戻
る。最終ブロックである場合には、ブロックを先頭にも
どして処理する色成分を変更して(ステップ148)、
最終色成分かどうか判断して(ステップ149)、そう
でない場合にはステップ140へ戻り、最終色成分であ
る場合には画像の圧縮を終了する。
【0052】図16は画像再生処理のフローチャートで
ある。再生時は図16のフローチャートに示すように、
画像再生が開始されると1フレーム目かどうか判断して
(ステップ160)、そうである場合にはステップ16
3へ進む。そうでない場合には、現在処理中の音声フレ
ーム番号と画像フレーム番号とを比較して(ステップ1
61)、画像処理が音声処理より遅れているかどうか判
断して(ステップ162)、遅れていれば、現在処理中
の色成分のブロック単位の再生が終了した時点で、現フ
レームの画像再生処理を中断終了する。そうでない場合
は、RAM22に格納された画像の圧縮符号を取出し
(ステップ163)、復号化器30で復号化し(ステッ
プ164)、逆量子化器29で逆量子化し(ステップ1
65)、逆DCT器28で現在の色成分の画素値を算出
する。
【0053】次に最終ブロックかどうか判断して(ステ
ップ167)、そうでない場合はステップ160へ戻
る。最終ステップであれば、ブロックを先頭に戻して処
理する色成分を変更し(ステップ168)、最終色成分
かどうかを判断して(ステップ169)、そうでない場
合にはステップ160へ戻り、最終色成分である場合に
は、画像再生を終了する。
【0054】尚、本実施例の画像,音声再生処理におけ
る入力画像情報や入力音声情報(記録媒体からの読取り
情報や通信回線からの受信情報)には、本実施例の画
像,音声圧縮処理時の同期処理が施されていない情報を
用いるものとし、再生時に上述した同期処理が施される
ことになるのである。
【0055】
【発明の効果】以上述べた様に、本発明によれば、画
像,音声の圧縮処理時に、音声圧縮処理速度に合わせて
画像圧縮処理を中断することで、画像の圧縮処理が高速
化され、音声圧縮処理との同期が自動的にとれるという
効果がある。また、画像,音声の再生処理時にも、音声
再生処理速度に合せて画像再生処理を中断することで、
画像の再生処理が高速化され、音声再生処理との同期が
自動的にとれるという効果がある。
【0056】その結果、ある画像に対して適切な音声情
報が付加されて記録または再生されるので、画像に対し
て音声がずれて記録,再生されることがなくなり、両者
の同期をとるためのデータファイルの作成や煩雑な模擬
再生も必要なくなるという効果が生じる。
【図面の簡単な説明】
【図1】本発明の実施例に適用される画像,音声圧縮シ
ステムのブロック図である。
【図2】本発明の実施例に適用される画像,音声再生シ
ステムのブロック図である。
【図3】図1のブロックの動作フローである。
【図4】図2のブロックの動作フローである。
【図5】1フレーム分の画像を複数ブロックに分けた場
合の例を示す図である。
【図6】本発明の一実施例の動作を示すもので、(A)
は1フレーム分の画像をブロック単位で圧縮処理する場
合のタイムチャート、(B)はその圧縮後のデータフォ
ーマット図である。
【図7】図6の動作の圧縮処理を示すフローチャートで
ある。
【図8】図6の動作の再生処理を示すフローチャートで
ある。
【図9】(A)は画像の1ブロックを更に複数の周波数
成分に分けた場合の例を示す図、(B)は周波数成分毎
に画像を圧縮再生処理する場合の変換式の例を示す図で
ある。
【図10】本発明の他の実施例の動作を示すもので、
(A)は1フレーム分の画像を周波数成分毎に圧縮処理
する場合のタイムチャート、(B)はその圧縮後のデー
タフォーマット図である。
【図11】図10の動作の圧縮処理を示すフローチャー
トである。
【図12】図10の動作の再生処理を示すフローチャー
トである。
【図13】画像の1ブロックを更に複数の色成分に分け
た場合の例を示す図である。
【図14】本発明の別の実施例の動作を示すもので、
(A)は1フレーム分の画像を色成分毎に圧縮処理する
場合のタイムチャート、(B)はその圧縮後のデータフ
ォーマット図である。
【図15】図14の動作の圧縮処理を示すフローチャー
トである。
【図16】図14の動作の再生処理を示すフローチャー
トである。
【符号の説明】
1,20 CPU 2,21 ROM 3,22 RAM 4,23 キーボード 5,24 ハードディスク 6 送信部 7 Y/C分離器 8 A/D変換器 9 DCT器 10 量子化器 11 符号化器 12 音声符号化器 25 受信部 26 Y/C合成器 27 D/A変換器 28 逆DCT器 29 逆量子化器 30 復号化器 31 音声復号化器

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 入力画像情報及び音声情報をフレーム毎
    に夫々圧縮処理する圧縮システムであって、第1〜第n
    (nは2以上の整数)のブロックに分割された1フレー
    ム分の入力画像情報を第1ブロックから第nのブロック
    まで順次走査しつつ各ブロック単位に圧縮処理する画像
    圧縮処理手段と、1フレーム分の入力音声情報を圧縮処
    理する音声圧縮処理手段と、前記画像圧縮処理手段及び
    音声圧縮処理手段の各圧縮処理中のフレーム番号同士を
    参照して画像圧縮処理が音声圧縮処理に対して遅れてい
    るとき、そのときのフレームにおける残余ブロックの画
    像圧縮処理を中断せしめて次のフレームからのブロック
    単位の画像圧縮処理を開始せしめるよう制御する手段と
    を含むことを特徴とする圧縮システム。
  2. 【請求項2】 フレーム毎に夫々圧縮処理された入力画
    像情報及び音声情報を再生する再生システムであって、
    第1〜第nのブロックに分割された1フレーム分の入力
    画像情報を第1ブロックから第nのブロックまで順次走
    査しつつ各ブロック単位に再生処理する画像再生処理手
    段と、1フレーム分の入力音声情報を再生処理する音声
    再生処理手段と、前記画像再生処理手段及び音声再生処
    理手段の各再生処理中のフレーム番号同士を参照して画
    像再生処理が音声再生処理に対して遅れているとき、そ
    のときのフレームにおける残余ブロックの画像再生処理
    を中断せしめて次のフレームからのブロック単位の画像
    再生処理を開始せしめるよう制御する手段とを含むこと
    を特徴とする再生システム。
  3. 【請求項3】 入力画像情報及び音声情報をフレーム毎
    に夫々圧縮処理する圧縮システムであって、第1〜第n
    のブロックに分割された1フレーム分の入力画像情報の
    各ブロックを更に第1〜第m(mは2以上の整数)の周
    波数帯域成分に分割し、第1の周波数帯域成分の各ブロ
    ックを第1ブロックから第nのブロックまで順次走査
    し、同様に第2以降の周波数帯域成分の各ブロックにつ
    いても同様な走査手順で順次走査しつつ各ブロック単位
    に圧縮処理する画像圧縮処理手段と、1フレーム分の入
    力音声情報を圧縮処理する音声圧縮処理手段と、前記画
    像圧縮処理手段及び音声圧縮処理手段の各圧縮処理中の
    フレーム番号同士を参照して画像圧縮処理が音声圧縮処
    理に対して遅れているとき、そのときのフレームにおけ
    る残余ブロックの画像圧縮処理を中断せしめて次のフレ
    ームからのブロック 単位の画像圧縮処理を開始せしめる
    よう制御する手段とを含むことを特徴とする圧縮システ
    ム。
  4. 【請求項4】 フレーム毎に夫々圧縮処理された入力画
    像情報及び音声情報を再生する再生システムであって、
    第1〜第nのブロックに分割された1フレーム分の入力
    画像情報の各ブロックを更に第1〜第mの周波数帯域成
    分に分割し、第1の周波数帯域成分の各ブロックを第1
    ブロックから第nのブロックまで順次走査し、同様に第
    2以降の周波数帯域成分の各ブロックについても同様な
    走査手順で順次走査しつつ各ブロック単位に再生処理す
    る画像再生処理手段と、1フレーム分の入力音声情報を
    再生処理する音声再生処理手段と、前記画像再生処理手
    段及び音声再生処理手段の各再生処理中のフレーム番号
    同士を参照して画像再生処理が音声圧再生理に対して遅
    れているとき、そのときのフレームにおける残余ブロッ
    クの画像再生処理を中断せしめて次のフレームからのブ
    ロック単位の画像再生処理を開始せしめるよう制御する
    手段とを含むことを特徴とする再生システム。
  5. 【請求項5】 入力画像情報及び音声情報をフレーム毎
    に夫々圧縮処理する圧縮システムであって、第1〜第n
    のブロックに分割された1フレーム分の入力画像情報の
    各ブロックを更に第1〜第k(kは2以上の整数)の色
    成分に分割し、第1の色成分の各ブロックを第1ブロッ
    クから第nのブロックまで順次走査し、同様に第2以降
    の色成分の各ブロックについても同様な走査手順で順次
    走査しつつ各ブロック単位に圧縮処理する画像圧縮処理
    手段と、1フレーム分の入力音声情報を圧縮処理する音
    声圧縮処理手段と、前記画像圧縮処理手段及び音声圧縮
    処理手段の各圧縮処理中のフレーム番号同士を参照して
    画像圧縮処理が音声圧縮処理に対して遅れているとき、
    そのときのフレームにおける残余ブロックの画像圧縮処
    理を中断せしめて次のフレームからのブロック単位の画
    像圧縮処理を開始せしめるよう制御する手段とを含むこ
    とを特徴とする圧縮システム。
  6. 【請求項6】 フレーム毎に夫々圧縮処理された入力画
    像情報及び音声情報を再生する再生システムであって、
    第1〜第nのブロックに分割された1フレーム分の入力
    画像情報の各ブロックを更に第1〜第kの色成分に分割
    し、第1の色成分の各ブロックを第1ブロックから第n
    のブロックまで順次走査し、同様に第2以降の色成分の
    各ブロックについても同様な走査手順で順次走査しつつ
    各ブロック単位に再生処理する画像再生処理手段と、1
    フレーム分の入力音声情報を再生処理する音声再生処理
    手段と、前記画像再生処理手段及び音声再生処理手段の
    各再生処理中のフレーム番号同士を参照して画像再生処
    理が音声圧再生理に対して遅れているとき、そのときの
    フレームにおける残余ブロックの画像再生処理を中断せ
    しめて次のフレームからのブロック単位の画像再生処理
    を開始せしめるよう制御する手段とを含むことを特徴と
    する再生システム。
JP4293716A 1992-10-07 1992-10-07 画像及び音声情報の圧縮再生システム Expired - Fee Related JPH0822065B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP4293716A JPH0822065B2 (ja) 1992-10-07 1992-10-07 画像及び音声情報の圧縮再生システム
AU48830/93A AU668762B2 (en) 1992-10-07 1993-10-05 Synchronous compression and reconstruction system
CA002107727A CA2107727C (en) 1992-10-07 1993-10-05 Synchronous compression and reconstruction system
EP93116167A EP0591944B1 (en) 1992-10-07 1993-10-06 Synchronous compression system for video and audio data
DE69327563T DE69327563T2 (de) 1992-10-07 1993-10-06 Synchrones Kompressionssystem für Video- und Audiodaten
US08/133,219 US5508816A (en) 1992-10-07 1993-10-07 Synchronous compression and reconstruction system
AU48106/96A AU679872B2 (en) 1992-10-07 1996-03-15 Snychronous compression and reconstruction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4293716A JPH0822065B2 (ja) 1992-10-07 1992-10-07 画像及び音声情報の圧縮再生システム

Publications (2)

Publication Number Publication Date
JPH06121276A JPH06121276A (ja) 1994-04-28
JPH0822065B2 true JPH0822065B2 (ja) 1996-03-04

Family

ID=17798322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4293716A Expired - Fee Related JPH0822065B2 (ja) 1992-10-07 1992-10-07 画像及び音声情報の圧縮再生システム

Country Status (1)

Country Link
JP (1) JPH0822065B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3039624B2 (ja) * 1996-12-02 2000-05-08 日本電気株式会社 オーディオ・ビデオ同期再生装置
EP1193981A3 (en) * 1997-09-05 2002-05-15 Matsushita Electric Industrial Co., Ltd. Decoding method and recording medium carrying recorded decoding program
JP2000092348A (ja) 1998-09-10 2000-03-31 Mitsubishi Electric Corp フレームシンクロナイザ
JP4162454B2 (ja) 2002-09-10 2008-10-08 三洋電機株式会社 データ処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
安田浩編「マルチメディアの国際標準」(平3−6−30)丸善P.221−232

Also Published As

Publication number Publication date
JPH06121276A (ja) 1994-04-28

Similar Documents

Publication Publication Date Title
US5508816A (en) Synchronous compression and reconstruction system
US6339760B1 (en) Method and system for synchronization of decoded audio and video by adding dummy data to compressed audio data
KR100284613B1 (ko) 확장된 대화형 멀티미디어 정보의 생성 및 전송 방법
US6587505B1 (en) Image processing apparatus and method
EP1377071A1 (en) Image processing device, image processing method, image processing program, and recording medium
JPH09322165A (ja) 画像復号化装置とその方法、および、画像再生装置
JPH0822065B2 (ja) 画像及び音声情報の圧縮再生システム
JPH0837643A (ja) 量子化コントロール回路
JP2776401B2 (ja) 画像・音声の圧縮装置及び再生装置
JPH11243529A (ja) 記録媒体及び画像信号符号化装置
JP2864968B2 (ja) データ配列方法及び記録媒体
US6560373B1 (en) Apparatus and method of compressing still image at regular compression rate
JP3166572B2 (ja) 動画像音声圧縮装置
JPS62172884A (ja) 画像デ−タの直交変換符号化方法
JP3521436B2 (ja) 画像圧縮装置及び画像再生装置
JP2565096B2 (ja) 圧縮ビデオ・オーディオ信号伸張装置
JPH0787324A (ja) 動画・音声同期処理システム
JPH06302103A (ja) デジタル情報記録装置及びデジタル情報再生装置
JPH0775059A (ja) 画像・音声復号化装置
JP2985586B2 (ja) 記録再生装置
JP2000083214A (ja) 画像処理装置及び方法
JPH1093959A (ja) 動画像音声圧縮システム
JPH06334916A (ja) 画像・音声編集装置
JP2003061089A (ja) ビットストリーム変換器、これを用いたデータ送信システム及び通信端末装置
JPH01879A (ja) ベクトル量子化による画像データの圧縮装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080304

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090304

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090304

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100304

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100304

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110304

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110304

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120304

Year of fee payment: 16

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120304

Year of fee payment: 16

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120304

Year of fee payment: 16

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120304

Year of fee payment: 16

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees