JPH0832544A - 画像符号化および復号化装置 - Google Patents
画像符号化および復号化装置Info
- Publication number
- JPH0832544A JPH0832544A JP16196294A JP16196294A JPH0832544A JP H0832544 A JPH0832544 A JP H0832544A JP 16196294 A JP16196294 A JP 16196294A JP 16196294 A JP16196294 A JP 16196294A JP H0832544 A JPH0832544 A JP H0832544A
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- image
- signal
- encoding
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【目的】リップシンクの取れたオーディオ・ビジュアル
通信を可能にする。 【構成】画像符号化装置１は画像符号化回路１０で入力
された動画像信号に高能率符号化を施して得られた画像
信号を平滑化するバッファ回路１１と、入力された音声
信号を符号化する音声符号化回路１４と、伝送路フレー
ムを組み立て画像信号と音声信号とを多重して伝送路に
送出する多重化回路１２とを備え、遅延されたフレーム
先頭識別フラグが伝送路３００に送出される。画像復号
化装置２は伝送されてくる多重化された画像信号と音声
信号とを分離する多重分離回路２０と、遅延回路２４に
より遅延された音声信号を復号化する音声復号化回路２
５と、画像信号に復号化を施して且つフレーム先頭識別
フラグを検出する画像復号化回路２２とを備え、多重分
離回路２０のフレーム位置情報から動画像信号の符号化
および復号化遅延量を求める。
通信を可能にする。 【構成】画像符号化装置１は画像符号化回路１０で入力
された動画像信号に高能率符号化を施して得られた画像
信号を平滑化するバッファ回路１１と、入力された音声
信号を符号化する音声符号化回路１４と、伝送路フレー
ムを組み立て画像信号と音声信号とを多重して伝送路に
送出する多重化回路１２とを備え、遅延されたフレーム
先頭識別フラグが伝送路３００に送出される。画像復号
化装置２は伝送されてくる多重化された画像信号と音声
信号とを分離する多重分離回路２０と、遅延回路２４に
より遅延された音声信号を復号化する音声復号化回路２
５と、画像信号に復号化を施して且つフレーム先頭識別
フラグを検出する画像復号化回路２２とを備え、多重分
離回路２０のフレーム位置情報から動画像信号の符号化
および復号化遅延量を求める。
Description
【０００１】
【産業上の利用分野】本発明は画像符号化および復号化
装置に関し、特にテレビ会議等に用いられる画像符号化
および復号化装置に関する。
装置に関し、特にテレビ会議等に用いられる画像符号化
および復号化装置に関する。
【０００２】
【従来の技術】この種の従来の画像符号化および復号化
装置について図面を参照して説明する。
装置について図面を参照して説明する。
【０００３】図５は従来の画像符号化装置の一例を示す
ブロック図、図６は従来の画像復号化装置の一例を示す
ブロック図である。
ブロック図、図６は従来の画像復号化装置の一例を示す
ブロック図である。
【０００４】図５において、この従来の画像符号化装置
は、特開平４−２５７１８４号公報：「符号化装置」の
記載内容を示したもので、ディジタル画像データを受
け、該ディジタル画像データを符号化フレーム毎に高能
率符号化して符号化画像データとして出力する予測符号
化回路３４と、該符号化画像データを書き込みクロック
に基づいて一旦記憶し、所定の読み出し速度でバッファ
画像データとして読み出すバッファメモリ３５と、ディ
ジタル音声データを受け、該ディジタル音声データを遅
延させて、遅延音声データとして出力する遅延回路３８
と、前記バッファ画像データと前記遅延音声データとを
多重化して多重化信号として送出する多重化回路３９と
を有する符号化装置において、前記遅延回路３８は遅延
量可変遅延回路であり、前記書き込みクロックに基づい
て予め定められたＮ（Ｎは２以上の整数）符号化フレー
ム毎に前記バッファ画像データの遅延量を平均遅延量と
して求める遅延量算出回路３７と、該平均遅延量に基づ
きディジタル音声データの入力レベルに応じて前記遅延
回路３８の遅延量を変化させる遅延制御回路３７とを有
して構成している。ここでは、上記の遅延量制御回路３
７は、前記入力レベルに基づいて前記ディジタル音声デ
ータの有無を判定し、判定信号を送出する判定手段と、
該判定信号が音声無しを示している際、前記平均遅延量
に基づいて音声遅延量を示す遅延制御信号を生成する第
１の生成手段と、前記判定信号が音声有りを示している
際、遅延量保持を示す遅延保持信号を生成する第２の生
成手段とを有ており、前記遅延回路３８は前記遅延保持
信号を受けた際、その遅延量を保持する。
は、特開平４−２５７１８４号公報：「符号化装置」の
記載内容を示したもので、ディジタル画像データを受
け、該ディジタル画像データを符号化フレーム毎に高能
率符号化して符号化画像データとして出力する予測符号
化回路３４と、該符号化画像データを書き込みクロック
に基づいて一旦記憶し、所定の読み出し速度でバッファ
画像データとして読み出すバッファメモリ３５と、ディ
ジタル音声データを受け、該ディジタル音声データを遅
延させて、遅延音声データとして出力する遅延回路３８
と、前記バッファ画像データと前記遅延音声データとを
多重化して多重化信号として送出する多重化回路３９と
を有する符号化装置において、前記遅延回路３８は遅延
量可変遅延回路であり、前記書き込みクロックに基づい
て予め定められたＮ（Ｎは２以上の整数）符号化フレー
ム毎に前記バッファ画像データの遅延量を平均遅延量と
して求める遅延量算出回路３７と、該平均遅延量に基づ
きディジタル音声データの入力レベルに応じて前記遅延
回路３８の遅延量を変化させる遅延制御回路３７とを有
して構成している。ここでは、上記の遅延量制御回路３
７は、前記入力レベルに基づいて前記ディジタル音声デ
ータの有無を判定し、判定信号を送出する判定手段と、
該判定信号が音声無しを示している際、前記平均遅延量
に基づいて音声遅延量を示す遅延制御信号を生成する第
１の生成手段と、前記判定信号が音声有りを示している
際、遅延量保持を示す遅延保持信号を生成する第２の生
成手段とを有ており、前記遅延回路３８は前記遅延保持
信号を受けた際、その遅延量を保持する。
【０００５】図６において、この従来の画像復号化装置
は、特開平４−８２４３３号公報：「画像符号化装置」
の記載内容を示し、受信信号ａを入力してディジタル符
号化画像データｂとディジタル音声データｅとに分離す
る分離回路４２と、ディジタル符号化画像データｂを一
定速度で書き込んで一時記憶するバッファメモリ４３
と、ディジタル音声データｅを入力して遅延させる遅延
回路４４と、バッファメモリ４３から出力されるバッフ
ァメモリ出力データｃを高能率復号化してディジタル画
像データｄを出力する予測復号化回路４５と、バッファ
メモリ４３から復号化フレームに発生するバッファメモ
リ読み出しクロックｇを入力し前記ディジタル符号化画
像データの遅延量を算出して出力する遅延量算出回路４
６と、遅延量算出回路４６から前記ディジタル符号化画
像データの遅延量ｉを入力し、復号化フレームＮ（Ｎ≧
１の整数）回ごとの平均遅延量を求めこの平均遅延量か
ら遅延回路４４の遅延量を遅延制御信号ｊで制御する遅
延制御回路４７とを有して構成している。
は、特開平４−８２４３３号公報：「画像符号化装置」
の記載内容を示し、受信信号ａを入力してディジタル符
号化画像データｂとディジタル音声データｅとに分離す
る分離回路４２と、ディジタル符号化画像データｂを一
定速度で書き込んで一時記憶するバッファメモリ４３
と、ディジタル音声データｅを入力して遅延させる遅延
回路４４と、バッファメモリ４３から出力されるバッフ
ァメモリ出力データｃを高能率復号化してディジタル画
像データｄを出力する予測復号化回路４５と、バッファ
メモリ４３から復号化フレームに発生するバッファメモ
リ読み出しクロックｇを入力し前記ディジタル符号化画
像データの遅延量を算出して出力する遅延量算出回路４
６と、遅延量算出回路４６から前記ディジタル符号化画
像データの遅延量ｉを入力し、復号化フレームＮ（Ｎ≧
１の整数）回ごとの平均遅延量を求めこの平均遅延量か
ら遅延回路４４の遅延量を遅延制御信号ｊで制御する遅
延制御回路４７とを有して構成している。
【０００６】
【発明が解決しようとする課題】この従来の画像符号化
および復号化装置では、符号化装置と復号化装置の両方
で画像及び音声の遅延補正を行う構成となっているの
で、それぞれの装置に音声遅延回路，遅延算出回路及び
遅延制御回路が必要であるという問題点がある。
および復号化装置では、符号化装置と復号化装置の両方
で画像及び音声の遅延補正を行う構成となっているの
で、それぞれの装置に音声遅延回路，遅延算出回路及び
遅延制御回路が必要であるという問題点がある。
【０００７】また、この従来例では、画像信号を送信ま
たは受信するバッファの蓄積量と伝送速度の関係から可
変遅延時間を計算し、さらに固定的に存在する固定遅延
を加算した結果を元に遅延量を算出するもので、算出方
式が複雑でありハードウェアで実現する場合、回路規模
が大きくなるという問題点がある。
たは受信するバッファの蓄積量と伝送速度の関係から可
変遅延時間を計算し、さらに固定的に存在する固定遅延
を加算した結果を元に遅延量を算出するもので、算出方
式が複雑でありハードウェアで実現する場合、回路規模
が大きくなるという問題点がある。
【０００８】
【課題を解決するための手段】本発明の画像符号化装置
は、入力された動画像信号に高能率符号化を施して得ら
れた画像信号を平滑化するバッファを具備した符号化回
路と、入力された音声信号を符号化する音声符号化回路
と、伝送路フレームを組み立て前記画像信号と前記音声
信号とを多重して伝送路に送出する多重化回路とを備
え、符号化開始時点に前記多重化回路のフレーム位置を
サンプリングしてフレームの先頭である場合に前記動画
像信号にフレーム先頭識別フラグを挿入し、前記符号化
回路および前記多重化回路で遅延された前記フレーム先
頭識別フラグを前記伝送路に送出する。
は、入力された動画像信号に高能率符号化を施して得ら
れた画像信号を平滑化するバッファを具備した符号化回
路と、入力された音声信号を符号化する音声符号化回路
と、伝送路フレームを組み立て前記画像信号と前記音声
信号とを多重して伝送路に送出する多重化回路とを備
え、符号化開始時点に前記多重化回路のフレーム位置を
サンプリングしてフレームの先頭である場合に前記動画
像信号にフレーム先頭識別フラグを挿入し、前記符号化
回路および前記多重化回路で遅延された前記フレーム先
頭識別フラグを前記伝送路に送出する。
【０００９】本発明の画像復号化装置は、伝送路を介し
て伝送されてくるデータから伝送フレーム同期を確立し
多重された画像信号と音声信号とを分離する多重分離回
路と、遅延回路により遅延された前記音声信号を復号化
する音声復号化回路と、前記画像信号に復号化を施して
再生動画像信号を得るとともに請求項１記載の画像符号
化装置で挿入したフレーム先頭識別フラグを検出する画
像復号化回路とを備え、前記画像復号化回路が前記フレ
ーム先頭識別フラグを検出した時点で、前記多重分離回
路のフレーム位置情報より計算される時間から動画像信
号の符号化および復号化遅延量を求め、前記音声復号化
回路で復号された音声信号のレベルを検出し、予め定め
たしきい値より低い場合に無音と判定された時点で前記
遅延回路を制御し、前記動画像信号と前記音声信号との
遅延補正を行う。
て伝送されてくるデータから伝送フレーム同期を確立し
多重された画像信号と音声信号とを分離する多重分離回
路と、遅延回路により遅延された前記音声信号を復号化
する音声復号化回路と、前記画像信号に復号化を施して
再生動画像信号を得るとともに請求項１記載の画像符号
化装置で挿入したフレーム先頭識別フラグを検出する画
像復号化回路とを備え、前記画像復号化回路が前記フレ
ーム先頭識別フラグを検出した時点で、前記多重分離回
路のフレーム位置情報より計算される時間から動画像信
号の符号化および復号化遅延量を求め、前記音声復号化
回路で復号された音声信号のレベルを検出し、予め定め
たしきい値より低い場合に無音と判定された時点で前記
遅延回路を制御し、前記動画像信号と前記音声信号との
遅延補正を行う。
【００１０】本発明の画像符号化装置は、入力画像信号
を符号化し、画像符号化の開始を示すヘッダ部にフラグ
信号を付加して画像データを出力する画像符号化回路
と、この画像符号化回路からの符号化情報の量を平滑化
するバッファ回路と、入力音声信号の音声符号化を行い
音声データを出力する音声符号化回路と、前記画像デー
タと前記音声データとで伝送フレームを組み立て多重化
して伝送する多重化回路と、前記多重化回路からの伝送
フレーム番号を入力して伝送フレームの先頭を検出した
場合にフレーム先頭識別のフラグ信号を前記画像符号化
回路へ通知するフレーム先頭検出回路とを有している。
を符号化し、画像符号化の開始を示すヘッダ部にフラグ
信号を付加して画像データを出力する画像符号化回路
と、この画像符号化回路からの符号化情報の量を平滑化
するバッファ回路と、入力音声信号の音声符号化を行い
音声データを出力する音声符号化回路と、前記画像デー
タと前記音声データとで伝送フレームを組み立て多重化
して伝送する多重化回路と、前記多重化回路からの伝送
フレーム番号を入力して伝送フレームの先頭を検出した
場合にフレーム先頭識別のフラグ信号を前記画像符号化
回路へ通知するフレーム先頭検出回路とを有している。
【００１１】本発明の画像復号化装置は、伝送路を介し
て伝送されてくるデータから多重された画像データと音
声データとを分離する多重分離回路と、分離された画像
データを蓄え画像符号化の開始を示すヘッダが検出され
る毎に前記画像データを出力するバッファ回路と、前記
画像データを復号して再生画像を出力するとともにフレ
ーム先頭識別フラグを検出してフラグ検出通知を出力す
る画像復号化回路と、前記フラグ検出通知を受信したと
きに前記多重分離回路からのフレーム位置情報をサンプ
リングして遅延量を算出するとともに無音判定情報から
無音の場合の遅延量を算出する遅延量設定回路と、分離
された音声データを前記遅延量に従って遅延させる遅延
回路と、遅延後の音声データを復号化して再生音声を出
力すると共に予め定めたしきい値より低い再生音声を無
音と判定して前記無音判定情報を出力する音声復号化回
路とを有している。
て伝送されてくるデータから多重された画像データと音
声データとを分離する多重分離回路と、分離された画像
データを蓄え画像符号化の開始を示すヘッダが検出され
る毎に前記画像データを出力するバッファ回路と、前記
画像データを復号して再生画像を出力するとともにフレ
ーム先頭識別フラグを検出してフラグ検出通知を出力す
る画像復号化回路と、前記フラグ検出通知を受信したと
きに前記多重分離回路からのフレーム位置情報をサンプ
リングして遅延量を算出するとともに無音判定情報から
無音の場合の遅延量を算出する遅延量設定回路と、分離
された音声データを前記遅延量に従って遅延させる遅延
回路と、遅延後の音声データを復号化して再生音声を出
力すると共に予め定めたしきい値より低い再生音声を無
音と判定して前記無音判定情報を出力する音声復号化回
路とを有している。
【００１２】
【作用】一般に、画像符号化及び復号化で生じる遅延量
は、入力画像の動き、被写体の大きさやきめ細かさ等の
性質、伝送速度によりダイナミックに変化して一意に定
まらない。従って、固定で画像信号と音声信号の遅延補
正方式や、定期的に画像と音声の通信を中断して遅延を
測定する方式では、正確に補正できない欠点がある。
は、入力画像の動き、被写体の大きさやきめ細かさ等の
性質、伝送速度によりダイナミックに変化して一意に定
まらない。従って、固定で画像信号と音声信号の遅延補
正方式や、定期的に画像と音声の通信を中断して遅延を
測定する方式では、正確に補正できない欠点がある。
【００１３】本発明は、画像や音声を多重化して伝送す
るために不可欠であり、また送信および受信側で共通な
時間観測ができる多重化フレーム構造を利用して常時画
像と音声の遅延量を測定し、受信音声の遅延回路を制御
することにより、ダイナミックな遅延補正ができる。
るために不可欠であり、また送信および受信側で共通な
時間観測ができる多重化フレーム構造を利用して常時画
像と音声の遅延量を測定し、受信音声の遅延回路を制御
することにより、ダイナミックな遅延補正ができる。
【００１４】また、受信音声の無音検出を行い、無音時
に受信音声の遅延回路を制御することにより遅延補正時
の音声異常を避けることが可能である。
に受信音声の遅延回路を制御することにより遅延補正時
の音声異常を避けることが可能である。
【００１５】
【実施例】次に、本発明について図面を参照して説明す
る。
る。
【００１６】図１は本発明の一実施例を示すブロック図
である。
である。
【００１７】図１において、本実施例は画像符号化装置
１と画像復号化装置２とから成り、画像符号化装置１は
入力画像信号１００を符号化し、画像符号化の開始を示
すヘッダ部にフラグ信号１０３を付加して画像データ１
０２を出力する画像符号化回路１０と、この画像符号化
回路１０からの符号化情報の量を平滑化するバッファ回
路１１と、入力音声信号１０５を音声符号化を行い音声
データ１０６を出力する音声符号化回路１４と、画像デ
ータ１０２と音声データ１０６とで伝送フレームを組み
立て多重化して伝送する多重化回路１２と、多重化回路
１２からの伝送フレーム番号１０４を入力して伝送フレ
ームの先頭を検出した場合にフレーム先頭識別のフラグ
信号１０３を画像符号化回路１０へ通知するフレーム先
頭検出回路１３とを有し、画像符号化装置２は伝送路３
００を介して伝送されてくるデータから多重された画像
データ２００と音声データ２０７とを分離する多重分離
回路２０と、分離された画像データ２００を蓄え画像符
号化の開始を示すヘッダが検出される毎に画像データ２
０１を出力するバッファ回路２１と、画像データ２０１
を復号して再生画像２０３を出力するとともにフレーム
先頭識別フラグを検出してフラグ検出通知２０２を出力
する画像復号化回路２２と、フラグ検出通知２０２を受
信したときに多重分離回路２０からのフレーム位置情報
２０４をサンプリングして遅延量を算出するとともに無
音判定情報２０６から無音の場合の遅延量２０５を算出
する遅延量設定回路２３と、分離された音声データ２０
７を遅延量２０５に従って遅延させる遅延回路２４と、
遅延後の音声データ２０８を復号化して再生音声２０９
を出力すると共に予め定めたしきい値より低い再生音声
２０９を無音と判定して無音判定情報２０６を出力する
音声復号化回路２５とを有している。
１と画像復号化装置２とから成り、画像符号化装置１は
入力画像信号１００を符号化し、画像符号化の開始を示
すヘッダ部にフラグ信号１０３を付加して画像データ１
０２を出力する画像符号化回路１０と、この画像符号化
回路１０からの符号化情報の量を平滑化するバッファ回
路１１と、入力音声信号１０５を音声符号化を行い音声
データ１０６を出力する音声符号化回路１４と、画像デ
ータ１０２と音声データ１０６とで伝送フレームを組み
立て多重化して伝送する多重化回路１２と、多重化回路
１２からの伝送フレーム番号１０４を入力して伝送フレ
ームの先頭を検出した場合にフレーム先頭識別のフラグ
信号１０３を画像符号化回路１０へ通知するフレーム先
頭検出回路１３とを有し、画像符号化装置２は伝送路３
００を介して伝送されてくるデータから多重された画像
データ２００と音声データ２０７とを分離する多重分離
回路２０と、分離された画像データ２００を蓄え画像符
号化の開始を示すヘッダが検出される毎に画像データ２
０１を出力するバッファ回路２１と、画像データ２０１
を復号して再生画像２０３を出力するとともにフレーム
先頭識別フラグを検出してフラグ検出通知２０２を出力
する画像復号化回路２２と、フラグ検出通知２０２を受
信したときに多重分離回路２０からのフレーム位置情報
２０４をサンプリングして遅延量を算出するとともに無
音判定情報２０６から無音の場合の遅延量２０５を算出
する遅延量設定回路２３と、分離された音声データ２０
７を遅延量２０５に従って遅延させる遅延回路２４と、
遅延後の音声データ２０８を復号化して再生音声２０９
を出力すると共に予め定めたしきい値より低い再生音声
２０９を無音と判定して無音判定情報２０６を出力する
音声復号化回路２５とを有している。
【００１８】次に、本実施例の動作について説明する。
【００１９】画像符号化回路１０は、入力画像信号１０
０を入力し、画像符号化の開始を示すヘッダ部に後述す
るフレーム先頭検出回路１３からのフラグ信号１０３を
付加し、高能率符号化を施すものである。高能率符号化
は、例えばＩＴＵ−Ｔ勧告Ｈ．２６１で採用されている
動き補償フレーム間符号化、ＤＣＴ変換符号化、量子
化、可変長符号化を施し情報圧縮を行うものである。画
像符号化回路１０で得られた画像データ１０１は、発生
情報量を平滑化するためのバッファ回路１１に入力さ
れ、平滑後のデータ１０２を後述詳細に説明する多重化
回路１２に入力する。
０を入力し、画像符号化の開始を示すヘッダ部に後述す
るフレーム先頭検出回路１３からのフラグ信号１０３を
付加し、高能率符号化を施すものである。高能率符号化
は、例えばＩＴＵ−Ｔ勧告Ｈ．２６１で採用されている
動き補償フレーム間符号化、ＤＣＴ変換符号化、量子
化、可変長符号化を施し情報圧縮を行うものである。画
像符号化回路１０で得られた画像データ１０１は、発生
情報量を平滑化するためのバッファ回路１１に入力さ
れ、平滑後のデータ１０２を後述詳細に説明する多重化
回路１２に入力する。
【００２０】音声信号１０５を入力する音声符号化回路
１４は、音声符号化を行い音声データ１０６を多重化回
路１２に出力する。
１４は、音声符号化を行い音声データ１０６を多重化回
路１２に出力する。
【００２１】多重化回路１２は、伝送フレームを組み立
て画像データ１０２と音声データ１０６を多重化して伝
送する。フレーム先頭検出回路１３は、多重化回路１２
からの伝送フレーム番号１０４を入力し、伝送フレーム
の先頭を検出した場合、フレーム先頭識別フラグ１０３
を前述した画像符号化回路１０に通知する。画像符号化
回路１０は、フレーム先頭識別フラグ通知を受けた場合
のみ、前述したヘッダ部に挿入する。フレーム先頭識別
フラグは、画像符号化回路１０やバッファ回路１１およ
び多重化回路１２で遅延され、画像信号と共に伝送され
る。
て画像データ１０２と音声データ１０６を多重化して伝
送する。フレーム先頭検出回路１３は、多重化回路１２
からの伝送フレーム番号１０４を入力し、伝送フレーム
の先頭を検出した場合、フレーム先頭識別フラグ１０３
を前述した画像符号化回路１０に通知する。画像符号化
回路１０は、フレーム先頭識別フラグ通知を受けた場合
のみ、前述したヘッダ部に挿入する。フレーム先頭識別
フラグは、画像符号化回路１０やバッファ回路１１およ
び多重化回路１２で遅延され、画像信号と共に伝送され
る。
【００２２】一方、多重分離回路２０は、伝送路３００
から伝送されてくるデータから伝送フレーム同期を確立
し、多重された画像データ２００と音声データ２０７と
を分離する。バッファ回路２１は、分離された画像デー
タ２００を蓄え、画像符号化の開始を示すヘッダが検出
される毎に画像復号化回路２２に画像データ２０１を出
力する。画像復号化回路２２は、画像を復号して再生画
像２０３を出力するとともにヘッダに挿入されているフ
レーム先頭識別フラグを検出し、検出された場合に遅延
量設定回路２３にフラグ検出通知２０２を出力する。
から伝送されてくるデータから伝送フレーム同期を確立
し、多重された画像データ２００と音声データ２０７と
を分離する。バッファ回路２１は、分離された画像デー
タ２００を蓄え、画像符号化の開始を示すヘッダが検出
される毎に画像復号化回路２２に画像データ２０１を出
力する。画像復号化回路２２は、画像を復号して再生画
像２０３を出力するとともにヘッダに挿入されているフ
レーム先頭識別フラグを検出し、検出された場合に遅延
量設定回路２３にフラグ検出通知２０２を出力する。
【００２３】遅延量設定回路２３は、フラグ検出通知２
０２を受信した時に多重分離回路２０から通知されるフ
レーム位置情報２０４をサンプリングして遅延量を計算
するとともに音声復号化回路２５からの無音判定情報２
０６を入力し、無音の場合に計算した遅延量２０５を遅
延回路２４に出力する。遅延回路２４は、多重分離回路
２０で分離された音声データ２０７を遅延量２０５に従
って遅延させる回路であり、遅延後の音声データ２０８
を音声復号化回路２５に出力する。音声復号化回路２５
は、復号化を施して再生音声２０９を出力すると共に再
生音声２０９のレベルを観測して、予め定めたしきい値
より低い場合に無音と判定して無音判定情報２０６を出
力する。
０２を受信した時に多重分離回路２０から通知されるフ
レーム位置情報２０４をサンプリングして遅延量を計算
するとともに音声復号化回路２５からの無音判定情報２
０６を入力し、無音の場合に計算した遅延量２０５を遅
延回路２４に出力する。遅延回路２４は、多重分離回路
２０で分離された音声データ２０７を遅延量２０５に従
って遅延させる回路であり、遅延後の音声データ２０８
を音声復号化回路２５に出力する。音声復号化回路２５
は、復号化を施して再生音声２０９を出力すると共に再
生音声２０９のレベルを観測して、予め定めたしきい値
より低い場合に無音と判定して無音判定情報２０６を出
力する。
【００２４】図２は本実施例におけるフレームビット位
置を示す図、図３は本実施例における同期ワードとフレ
ーム／マルチフレームとを示す図、図４は本実施例にお
けるマルチフレーム番号の対応を示す図である。
置を示す図、図３は本実施例における同期ワードとフレ
ーム／マルチフレームとを示す図、図４は本実施例にお
けるマルチフレーム番号の対応を示す図である。
【００２５】次に、多重化回路１２および多重分離回路
２０に動作について図１，図２，図３及び図４を参照し
て詳細に説明する。
２０に動作について図１，図２，図３及び図４を参照し
て詳細に説明する。
【００２６】多重化回路１２は、例えば以下に詳細を述
べるＩＴＵ−Ｔ勧告Ｈ．２２１に採用されている８０オ
クテットを１フレームとし、１６フレームを１マルチフ
レームとする伝送フレームを組み立て、予め定められた
ビット位置に画像データと音声データ等を多重化して伝
送するものである。一方、多重分離回路２０は、前述し
たＩＴＵ−Ｔ勧告Ｈ．２２１フレーム同期を確立し、多
重された画像データと音声データ等を分離するものであ
る。
べるＩＴＵ−Ｔ勧告Ｈ．２２１に採用されている８０オ
クテットを１フレームとし、１６フレームを１マルチフ
レームとする伝送フレームを組み立て、予め定められた
ビット位置に画像データと音声データ等を多重化して伝
送するものである。一方、多重分離回路２０は、前述し
たＩＴＵ−Ｔ勧告Ｈ．２２１フレーム同期を確立し、多
重された画像データと音声データ等を分離するものであ
る。
【００２７】以下にＩＴＵ−Ｔ勧告Ｈ．２２１多重化方
式の詳細説明と本方式を用いた場合の画像と音声の自動
遅延補正動作の一例について説明する。
式の詳細説明と本方式を用いた場合の画像と音声の自動
遅延補正動作の一例について説明する。
【００２８】図２は、Ｈ．２２１のフレームビット位置
を示す図であり、第８ビット目の第１から８オクテット
にフレームビット（ＦＡＳ）が挿入され、８０オクテッ
トで１フレームを構成している。従って、１フレームの
時間は、１２５μｓｅｃ×８０＝１０ｍｓｅｃとなる。
を示す図であり、第８ビット目の第１から８オクテット
にフレームビット（ＦＡＳ）が挿入され、８０オクテッ
トで１フレームを構成している。従って、１フレームの
時間は、１２５μｓｅｃ×８０＝１０ｍｓｅｃとなる。
【００２９】図３は、Ｈ．２２１のフレームとマルチフ
レーム構成を示したものであり、１６フレーム（０Ｆ〜
１５Ｆ）で１マルチフレームを構成している。従って、
１マルチフレームの時間は、１０ｍｓｅｃ×１６＝１６
０ｍｓｅｃとなる。また、Ｎ１からＮ４はマルチフレー
ム番号を表し、１６マルチフレーム（０ＭＦ〜１５Ｍ
Ｆ）の識別が可能である。マルチフレーム番号の対応を
図４に示す。
レーム構成を示したものであり、１６フレーム（０Ｆ〜
１５Ｆ）で１マルチフレームを構成している。従って、
１マルチフレームの時間は、１０ｍｓｅｃ×１６＝１６
０ｍｓｅｃとなる。また、Ｎ１からＮ４はマルチフレー
ム番号を表し、１６マルチフレーム（０ＭＦ〜１５Ｍ
Ｆ）の識別が可能である。マルチフレーム番号の対応を
図４に示す。
【００３０】以上のフレーム構成により、１０ｍｓｅｃ
ステップで最大２５６０ｍｓｅｃの時間観測が可能とな
る。
ステップで最大２５６０ｍｓｅｃの時間観測が可能とな
る。
【００３１】本実施例の画像符号化装置１の多重化回路
１２は、０から１５のマルチフレーム番号（ＭＦ）と０
から１５フレーム番号（Ｆ）をフレーム先頭検出回路１
３に出力し、０ＭＦかつ０Ｆで時刻０とするフラグ１０
３が画像符号化回路１０に入力され、各処理後に画像復
号化装置２に伝送される。
１２は、０から１５のマルチフレーム番号（ＭＦ）と０
から１５フレーム番号（Ｆ）をフレーム先頭検出回路１
３に出力し、０ＭＦかつ０Ｆで時刻０とするフラグ１０
３が画像符号化回路１０に入力され、各処理後に画像復
号化装置２に伝送される。
【００３２】一方、本実施例の画像復号化装置２の遅延
量設定回路２３に画像符号化装置１で挿入した時刻０フ
ラグが通知された時点で多重分離回路２０のマルチフレ
ーム番号（ＭＦ）とフレーム番号（Ｆ）を読み取ること
により、式（１）で画像の遅延時間Ｄ（ＭＦ，Ｆ）を計
算することができる。
量設定回路２３に画像符号化装置１で挿入した時刻０フ
ラグが通知された時点で多重分離回路２０のマルチフレ
ーム番号（ＭＦ）とフレーム番号（Ｆ）を読み取ること
により、式（１）で画像の遅延時間Ｄ（ＭＦ，Ｆ）を計
算することができる。
【００３３】 Ｄ（ＭＦ，Ｆ）＝１６０ｍｓｅｃｘＭＦ＋１０ｍｓｅｃｘＦ （１） 例えば、ＭＦ＝３、Ｆ＝１２の場合、遅延時間Ｄ（３，
１２）は Ｄ（３，１２）＝１６０ｍｓｅｃｘ３＋１０ｍｓｅｃｘ
１２＝６００ｍｓｅｃ となる。
１２）は Ｄ（３，１２）＝１６０ｍｓｅｃｘ３＋１０ｍｓｅｃｘ
１２＝６００ｍｓｅｃ となる。
【００３４】遅延量設定回路２３は、遅延時間Ｄ（Ｍ
Ｆ，Ｍ）が得られた時に無音であることを確認して、遅
延回路２４に遅延時間を設定する。無音状態が確認でき
るまでは、遅延時間設定を遅らせ、設定前に次の遅延時
間が得られた場合には新しい遅延量を設定する動作であ
る。
Ｆ，Ｍ）が得られた時に無音であることを確認して、遅
延回路２４に遅延時間を設定する。無音状態が確認でき
るまでは、遅延時間設定を遅らせ、設定前に次の遅延時
間が得られた場合には新しい遅延量を設定する動作であ
る。
【００３５】
【発明の効果】以上説明したように本発明は、画像符号
化装置が入力された動画像信号に高能率符号化を施して
得られた画像信号を平滑化するバッファを具備した符号
化回路と、入力された音声信号を符号化する音声符号化
回路と、伝送路フレームを組み立て画像信号と音声信号
とを多重して伝送路に送出する多重化回路とを備え、符
号化回路および多重化回路で遅延されたフレーム先頭識
別フラグを伝送器に送出し、画像復号化装置が伝送路を
介して伝送されてくるデータから伝送フレーム同期を確
立し多重された画像信号および音声信号を分離する多重
分離回路と、遅延回路により遅延された音声信号を復号
化する音声復号化回路と、画像信号に復号化を施して再
生動画像信号を得るとともに画像符号化装置で挿入した
フレーム先頭識別フラグを検出する画像復号化回路とを
備え、画像復号化回路がフレーム先頭識別フラグを検出
した時点で、多重分離回路のフレーム位置情報より計算
される時間から動画像信号の符号化および復号化遅延量
を求めることにより、入力画像の動き、被写体の大きさ
やきめ細かさ等の性質、伝送速度によりダイナミックに
変化する画像符号化及び復号化で生じる遅延量を画像お
よび音声を中断せずに求め、画像と音声の遅延を自動的
に補正することが可能となり、常にリップシンクの取れ
た画像通信が得られる効果がある。
化装置が入力された動画像信号に高能率符号化を施して
得られた画像信号を平滑化するバッファを具備した符号
化回路と、入力された音声信号を符号化する音声符号化
回路と、伝送路フレームを組み立て画像信号と音声信号
とを多重して伝送路に送出する多重化回路とを備え、符
号化回路および多重化回路で遅延されたフレーム先頭識
別フラグを伝送器に送出し、画像復号化装置が伝送路を
介して伝送されてくるデータから伝送フレーム同期を確
立し多重された画像信号および音声信号を分離する多重
分離回路と、遅延回路により遅延された音声信号を復号
化する音声復号化回路と、画像信号に復号化を施して再
生動画像信号を得るとともに画像符号化装置で挿入した
フレーム先頭識別フラグを検出する画像復号化回路とを
備え、画像復号化回路がフレーム先頭識別フラグを検出
した時点で、多重分離回路のフレーム位置情報より計算
される時間から動画像信号の符号化および復号化遅延量
を求めることにより、入力画像の動き、被写体の大きさ
やきめ細かさ等の性質、伝送速度によりダイナミックに
変化する画像符号化及び復号化で生じる遅延量を画像お
よび音声を中断せずに求め、画像と音声の遅延を自動的
に補正することが可能となり、常にリップシンクの取れ
た画像通信が得られる効果がある。
【００３６】また、受信音声の無音検出を行い、無音時
に受信音声遅延回路を制御することにより遅延補正時の
音声異常を避けることができる効果がある。
に受信音声遅延回路を制御することにより遅延補正時の
音声異常を避けることができる効果がある。
【図１】本発明の一実施例を示すブロック図である。
【図２】本実施例におけるフレームビット位置を示す図
である。
である。
【図３】本実施例における同期ワードとフレーム／マル
チフレームとを示す図である。
チフレームとを示す図である。
【図４】本実施例におけるマルチフレーム番号の対応を
示す図である。
示す図である。
【図５】従来の画像符号化装置の一例を示すブロック図
である。
である。
【図６】従来の画像復号化装置の一例を示すブロック図
である。
である。
１ 画像符号化装置 ２ 画像復号化装置 １０ 画像符号化回路 １１ バッファ回路 １２ 多重化回路 １３ フレーム先頭検出回路 １４ 音声符号化回路 ２０ 多重分離回路 ２１ バッファ回路 ２２ 画像復号化回路 ２３ 遅延量設定回路 ２４ 遅延回路 ２５ 音声復号化回路
Claims (5)
- 【請求項１】 入力された動画像信号に高能率符号化を
施して得られた画像信号を平滑化するバッファを具備し
た符号化回路と、入力された音声信号を符号化する音声
符号化回路と、伝送路フレームを組み立て前記画像信号
と前記音声信号とを多重して伝送路に送出する多重化回
路とを備え、符号化開始時点に前記多重化回路のフレー
ム位置をサンプリングしてフレームの先頭である場合に
前記動画像信号にフレーム先頭識別フラグを挿入し、前
記符号化回路および前記多重化回路で遅延された前記フ
レーム先頭識別フラグを前記伝送路に送出することを特
徴とする画像符号化装置。 - 【請求項２】 伝送路を介して伝送されてくるデータか
ら伝送フレーム同期を確立し多重された画像信号と音声
信号とを分離する多重分離回路と、遅延回路により遅延
された前記音声信号を復号化する音声復号化回路と、前
記画像信号に復号化を施して再生動画像信号を得るとと
もに請求項１記載の画像符号化装置で挿入したフレーム
先頭識別フラグを検出する画像復号化回路とを備え、前
記画像復号化回路が前記フレーム先頭識別フラグを検出
した時点で、前記多重分離回路のフレーム位置情報より
計算される時間から動画像信号の符号化および復号化遅
延量を求めることを特徴とする画像復号化装置。 - 【請求項３】 前記音声復号化回路で復号された音声信
号のレベルを検出し、予め定めたしきい値より低い場合
に無音と判定された時点で前記遅延回路を制御し、前記
動画像信号と前記音声信号との遅延補正を行うことを特
徴とする請求項２記載の画像復号化装置。 - 【請求項４】 入力画像信号を符号化し、画像符号化の
開始を示すヘッダ部にフラグ信号を付加して画像データ
を出力する画像符号化回路と、この画像符号化回路から
の符号化情報の量を平滑化するバッファ回路と、入力音
声信号の音声符号化を行い音声データを出力する音声符
号化回路と、前記画像データと前記音声データとで伝送
フレームを組み立て多重化して伝送する多重化回路と、
前記多重化回路からの伝送フレーム番号を入力して伝送
フレームの先頭を検出した場合にフレーム先頭識別のフ
ラグ信号を前記画像符号化回路へ通知するフレーム先頭
検出回路とを有することを特徴とする画像符号化装置。 - 【請求項５】 伝送路を介して伝送されてくるデータか
ら多重化された画像データと音声データとを分離する多
重分離回路と、分離された画像データを蓄え画像符号化
の開始を示すヘッダが検出される毎に前記画像データを
出力するバッファ回路と、前記画像データを復号して再
生画像を出力するとともにフレーム先頭識別フラグを検
出してフラグ検出通知を出力する画像復号化回路と、前
記フラグ検出通知を受信したときに前記多重分離回路か
らのフレーム位置情報をサンプリングして遅延量を算出
するとともに無音判定情報から無音の場合の遅延量を算
出する遅延量設定回路と、分離された音声データを前記
遅延量に従って遅延させる遅延回路と、遅延後の音声デ
ータを復号化して再生音声を出力すると共に予め定めた
しきい値より低い再生音声を無音と判定して前記無音判
定情報を出力する音声復号化回路とを有することを特徴
とする画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16196294A JP2648095B2 (ja) | 1994-07-14 | 1994-07-14 | 画像符号化および復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16196294A JP2648095B2 (ja) | 1994-07-14 | 1994-07-14 | 画像符号化および復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0832544A true JPH0832544A (ja) | 1996-02-02 |
| JP2648095B2 JP2648095B2 (ja) | 1997-08-27 |
Family
ID=15745386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16196294A Expired - Fee Related JP2648095B2 (ja) | 1994-07-14 | 1994-07-14 | 画像符号化および復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2648095B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007088539A (ja) * | 2005-09-20 | 2007-04-05 | Mitsubishi Electric Corp | ビデオストリーム供給システム、ビデオストリーム供給装置、及びビデオストリーム受信装置 |
| JP2007097080A (ja) * | 2005-09-30 | 2007-04-12 | Aiphone Co Ltd | インターホン装置 |
| US8451375B2 (en) | 2005-04-28 | 2013-05-28 | Panasonic Corporation | Lip-sync correcting device and lip-sync correcting method |
-
1994
- 1994-07-14 JP JP16196294A patent/JP2648095B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8451375B2 (en) | 2005-04-28 | 2013-05-28 | Panasonic Corporation | Lip-sync correcting device and lip-sync correcting method |
| US8687118B2 (en) | 2005-04-28 | 2014-04-01 | Panasonic Corporation | Repeater being utilized between a source and sink device for lip-syncing in an HDMI system |
| US8891013B2 (en) | 2005-04-28 | 2014-11-18 | Panasonic Corporation | Repeater being utilized between a source and sink device for Lip-syncing in an HDMI system |
| JP2007088539A (ja) * | 2005-09-20 | 2007-04-05 | Mitsubishi Electric Corp | ビデオストリーム供給システム、ビデオストリーム供給装置、及びビデオストリーム受信装置 |
| JP2007097080A (ja) * | 2005-09-30 | 2007-04-12 | Aiphone Co Ltd | インターホン装置 |
| JP4669366B2 (ja) * | 2005-09-30 | 2011-04-13 | アイホン株式会社 | インターホン装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2648095B2 (ja) | 1997-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3002348B2 (ja) | 画像通信システム | |
| JP2771369B2 (ja) | 音声符号化復号化装置 | |
| US5751694A (en) | Methods and apparatus for synchronizing temporally related data streams | |
| JP2697642B2 (ja) | Ａｔｍ音声符号化装置 | |
| US6441841B1 (en) | Picture combining technique in multipoint control unit | |
| US7522665B2 (en) | Mobile terminal with camera | |
| JP3500667B2 (ja) | テレビ会議システムおよび同期方法 | |
| JP2648095B2 (ja) | 画像符号化および復号化装置 | |
| JPH0993553A (ja) | 画像通信装置および画像通信方法 | |
| US8228999B2 (en) | Method and apparatus for reproduction of image frame in image receiving system | |
| JP2580955B2 (ja) | データ多重化装置及び分離装置 | |
| JPH1169330A (ja) | 留守録機能を備えた画像通信装置 | |
| US20040208481A1 (en) | Apparatus and method for image processing, and image processing system using the same and program | |
| JP3177825B2 (ja) | メディア符号化装置 | |
| JP3132636B2 (ja) | 音声データ変換装置 | |
| KR20010043203A (ko) | 가변 길이 프레임 송신 장치 및 가변 길이 프레임 송신 방법 | |
| JPH10174065A (ja) | 画像音声多重化データ編集方法およびその装置 | |
| JPH10271482A (ja) | 符号化映像の同期再生制御方法およびシステム | |
| JPS6390953A (ja) | マルチメデイア通信装置 | |
| JPH08191434A (ja) | 動画／音声符号化データ多重化方法及び動画／音声符号化データ多重化装置 | |
| JP2002252644A (ja) | 音声パケット通信装置及び音声パケット通信方法 | |
| JPH02246432A (ja) | 映像・音声多重化方式 | |
| JP2523995B2 (ja) | 映像・音声多重伝送システム | |
| JP3910480B2 (ja) | 音声パケット通信装置 | |
| JPH10336602A (ja) | 画像音声符号化データ多重化方法とその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19970401 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |