JPH09172608A - 画像音声符号化装置および画像音声記録再生装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像と音声の一括符号化が可能であると共に
回路規模が小さくリップシンク回路が不要な画像音声符
号化装置および画像音声記録再生装置を提供することを
目的とする。 【解決手段】 画像Ａ／Ｄコンバータ１４と、音声Ａ／
Ｄコンバータ１５と、デジタル音声データを一時記憶す
るラインメモリ１６と、デジタル画像データとデジタル
音声データを記憶するフレームメモリ１８と、デジタル
画像データとデジタル音声データを圧縮処理する符号化
回路１９と、デジタル画像データをフレームメモリ１８
の画像表示領域相当領域に書き込ませ、デジタル音声デ
ータをフレームメモリ１８の画像非表示領域相当領域に
書き込ませるように経路を切り替える経路切替スイッチ
１７とを有することにより、画像データと音声データを
一括して圧縮符号化することが可能な画像音声符号化装
置が得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像と音声を符
号化する画像音声符号化装置、動画像と音声を記録する
画像音声記録装置、記録した動画像と音声を再生する画
像音声再生装置および動画像と音声を通信する画像音声
通信装置に関する。

【０００２】

【従来の技術】近年、画像および音声のデジタル符号化
技術が発達し、これを通信分野に応用したテレビ会議シ
ステムや、蓄積メディアとしたＣＤ−ＲＯＭ、ＣＤＶ等
の普及は今後も拡大していくと考えられる。

【０００３】従来、画像音声通信装置としては、図８に
示すものが知られている。図８において、画像Ａ／Ｄコ
ンバータ１は入力端子Ｔ１から入力されるアナログ画像
信号をデジタル画像データに変換し、送信フレームメモ
リ２は画像Ａ／Ｄコンバータ１から出力されるデジタル
画像データを記憶し、画像符号化回路３は送信フレーム
メモリ２から出力されるデジタル画像データを圧縮し符
号化する。音声Ａ／Ｄコンバータ４は入力端子Ｔ２から
入力されるアナログ音声信号をデジタル音声データに変
換し、音声符号化回路５は音声Ａ／Ｄコンバータ４から
出力されるデジタル音声データを符号化する。多重分離
回路６は、画像符号化回路３と音声符号化回路５から出
力される画像と音声の符号データを多重化して相手側装
置へ送信し、また、相手側装置から受信した符号データ
を画像と音声の符号データに分離する。回線回路７は多
重分離回路６と通信回線とを接続する。画像復号化回路
８は多重分離回路６からの画像符号データをデジタル画
像データに復号化し、受信フレームメモリ９は画像復号
化回路８から出力されるデジタル画像データを記憶し、
画像Ｄ／Ａコンバータ１０は受信フレームメモリ９から
出力されるデジタル画像データをアナログ画像信号に変
換して出力端子Ｔ３から出力する。音声復号化回路１１
は多重分離回路６からの音声符号データをデジタル音声
データに復号化し、音声Ｄ／Ａコンバータ１２は音声復
号化回路１１からのデジタル音声データをアナログ音声
信号に変換して出力端子Ｔ４から出力する。制御回路１
３は画像符号化回路３、音声符号化回路５、画像復号化
回路８、音声復合化回路１１、多重分離回路６および回
線回路７を制御する。

【０００４】以上のように構成された画像音声通信装置
について、その動作を説明する。まず送信動作について
説明する。送信フレームメモリ２に記憶された１フレー
ム分のデジタル画像データは画像符号化回路３によって
圧縮符号化される。画像圧縮の方式としては、ＩＴＵ−
Ｔ（国際電気通信連合電気通信標準化部門）勧告Ｈ．２
６１やＭＰＥＧ（Moving Picture Experts Group）など
が代表的である。圧縮のアルゴリズムは、画像データの
冗長性を利用したもので、ＤＣＴ（Discrete Cosine Tr
ansform）変換によって周波数成分への変換を行い、量
子化して符号化する。こうして画像符号データは多重分
離回路６に出力される。一方、音声データの圧縮方式と
しては、ＩＴＵ−Ｔ勧告Ｇ．７１１、Ｇ．７２２、Ｇ．
７２８などがある。音声データの圧縮アルゴリズムはＡ
ＤＰＣＭ(Adaptive DifferentialPulse Code Modulatio
n）を利用したものである。音声符号データも同様に多
重分離回路６に出力され、ＩＴＵ−Ｔ勧告Ｈ．２２１な
どの多重化方式に従って画像符号データと音声符号デー
タが多重化され、回線回路７を通じて相手側画像音声通
信装置へ送信される。

【０００５】次に、受信動作について説明する。受信に
おいては送信の逆の動作手順を取ることになり、多重分
離回路６から分離された画像符号データは画像復号化回
路８によって逆量子化、逆ＤＣＴ変換を行ってデジタル
画像データに復号化し、受信フレームメモリ９に書き込
まれ、画像Ｄ／Ａコンバータ１０からモニタなどに表示
される。一方、音声符号データも音声復号化回路１１に
よって逆ＡＤＰＣＭ変換され、音声Ｄ／Ａコンバータ１
２からスピーカなどに出力される。

【０００６】以上のようにして画像音声通信装置は画像
と音声による通信を行うことができる。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来の画像音声通信装置では、次に述べるような問題点を
有していた。まず、従来装置では、画像の符号化および
復号化の回路と音声の符号化および復号化の回路とが別
々になっている。これは、画像と音声の周波数帯域や情
報量の違い等、信号の特徴に違いがあることにより別々
の符号化方式が開発されたためである。しかし、このた
めに回路規模が大きくなり、装置のコストが高くなると
いう問題点を有していた。

【０００８】また、画像音声通信においては、画像の符
号化・復号化処理にかかる時間と、音声の符号化・符号
化処理にかかる時間が違う（画像の情報量が音声の情報
量に比べて遙かに大きいために画像の符号化・復号化処
理時間の方が長い）ため、表示された画像の動きと音声
出力のタイミングがずれて違和感が発生する。このため
にこの対策として音声データを遅延させて画像との同期
を行う回路、いわゆるリップシンク回路が必要であると
いう問題点を有していた。

【０００９】この画像音声通信装置においては、画像と
音声の一括符号化が可能で、回路規模が小さく、リップ
シンク回路が不要であることが要求されている。

【００１０】本発明は、画像と音声の一括符号化が可能
であると共に回路規模が小さくリップシンク回路が不要
な画像音声符号化装置、画像と音声の一括符号化が可能
でかつ回路規模が小さくリップシンク回路が不要である
と共に画像と音声の符号データを一括して記録できる画
像音声符号化装置および画像音声記録装置、並びに一括
して記録した画像と音声の符号データの再生が可能な画
像音声再生装置および画像と音声の一括符号化・復号化
が可能であると共に回路規模が小さくリップシンク回路
が不要である画像音声通信装置を提供することを目的と
する。

【００１１】

【課題を解決するための手段】この課題を解決するため
に本発明は、アナログ画像信号をデジタル画像データに
変換する画像Ａ／Ｄコンバータと、アナログ音声信号を
デジタル音声データに変換する音声Ａ／Ｄコンバータ
と、音声Ａ／Ｄコンバータから出力されるデジタル音声
データを一時的に記憶するラインメモリと、画像Ａ／Ｄ
コンバータから出力されるデジタル画像データおよびラ
インメモリから出力されるデジタル音声データを記憶す
るフレームメモリと、フレームメモリから出力されるデ
ジタル画像データおよびデジタル音声データを圧縮処理
する符号化回路と、画像Ａ／Ｄコンバータから出力され
るデジタル画像データをフレームメモリの画像表示領域
に相当する領域に書き込ませ、ラインメモリから出力さ
れるデジタル音声データをフレームメモリの画像非表示
領域に相当する領域に書き込ませるように経路を切り替
える経路切替スイッチとを有するように構成した。

【００１２】これにより、画像と音声の一括符号化が可
能であると共に回路規模が小さくリップシンク回路が不
要な画像音声符号化装置が得られる。

【００１３】

【発明の実施の形態】本発明の請求項１に記載の発明
は、アナログ画像信号をデジタル画像データに変換する
画像Ａ／Ｄコンバータと、アナログ音声信号をデジタル
音声データに変換する音声Ａ／Ｄコンバータと、音声Ａ
／Ｄコンバータから出力されるデジタル音声データを一
時的に記憶するラインメモリと、画像Ａ／Ｄコンバータ
から出力されるデジタル画像データおよびラインメモリ
から出力されるデジタル音声データを記憶するフレーム
メモリと、フレームメモリから出力されるデジタル画像
データおよびデジタル音声データを圧縮処理する符号化
回路と、画像Ａ／Ｄコンバータから出力されるデジタル
画像データをフレームメモリの画像表示領域に相当する
領域に書き込ませ、ラインメモリから出力されるデジタ
ル音声データをフレームメモリの画像非表示領域に相当
する領域に書き込ませるように経路を切り替える経路切
替スイッチとを有することとしたものであり、画像と音
声のデジタルデータが一括して圧縮符号化されるという
作用を有する。

【００１４】請求項２に記載の発明は、請求項１に記載
の発明において、音声Ａ／Ｄコンバータとラインメモリ
との間に配置され、音声Ａ／Ｄコンバータから出力され
るデジタル音声データとその直前のデジタル音声データ
との差分であるデジタル差分データをラインメモリに出
力する減算器を設けることとしたものであり、画像と音
声のデジタルデータが一括して圧縮符号化されるという
上記作用を有すると共に、音声データ量が減少するとい
う作用を有する。

【００１５】請求項３に記載の発明は、アナログ画像信
号をデジタル画像データに変換する画像Ａ／Ｄコンバー
タと、アナログ音声信号をデジタル音声データに変換す
る音声Ａ／Ｄコンバータと、音声Ａ／Ｄコンバータから
出力されるデジタル音声データを一時的に記憶するライ
ンメモリと、画像Ａ／Ｄコンバータから出力されるデジ
タル画像データおよびラインメモリから出力されるデジ
タル音声データを記憶するフレームメモリと、フレーム
メモリから出力されるデジタル画像データおよびデジタ
ル音声データを圧縮処理する符号化回路と、画像Ａ／Ｄ
コンバータから出力されるデジタル画像データをフレー
ムメモリの画像表示領域に相当する領域に書き込ませ、
ラインメモリから出力されるデジタル音声データをフレ
ームメモリの画像非表示領域に相当する領域に書き込ま
せるように経路を切り替える経路切替スイッチと、符号
化回路から出力される画像符号データおよび音声符号デ
ータを一括して記録する記録装置とを有することとした
ものであり、画像と音声のデジタルデータが一括して圧
縮符号化されるという上記作用を有すると共に、符号デ
ータが記録されるという作用を有する。

【００１６】請求項４に記載の発明は、一括して画像符
号データおよび音声符号データを記録する記録媒体と、
記録媒体から出力される画像符号データおよび音声符号
データをデジタル画像データおよびデジタル音声データ
に復号化する復号化回路と、復号化回路から出力される
デジタル画像データおよびデジタル音声データを画像表
示領域に相当する領域および画像非表示領域に相当する
領域に書き込むフレームメモリと、フレームメモリから
出力されるデジタル画像データをアナログ画像信号に変
換する画像Ｄ／Ａコンバータと、フレームメモリから出
力されるデジタル音声データを一時的に記憶するライン
メモリと、ラインメモリから出力されるデジタル音声デ
ータをアナログ音声信号に変換する音声Ｄ／Ａコンバー
タと、フレームメモリからデジタル画像データが出力さ
れるときに画像Ｄ／Ａコンバータに接続し、フレームメ
モリからデジタル音声データが出力されるときにライン
メモリに接続するように経路を切り替える経路切替スイ
ッチとを有することとしたものであり、記録媒体に一括
して記録された画像と音声の符号データが復号化される
という作用を有する。

【００１７】請求項５に記載の発明は、送信部と、受信
部と、画像と音声の符号データを通信回線を通じて送受
信する回線回路とを有する画像音声通信装置であって、
送信部は、アナログ画像信号をデジタル画像データに変
換する画像Ａ／Ｄコンバータと、アナログ音声信号をデ
ジタル音声データに変換する音声Ａ／Ｄコンバータと、
音声Ａ／Ｄコンバータから出力されるデジタル音声デー
タを一時的に記憶する送信ラインメモリと、画像Ａ／Ｄ
コンバータから出力されるデジタル画像データおよびラ
インメモリから出力されるデジタル音声データを記憶す
る送信フレームメモリと、送信フレームメモリから出力
されるデジタル画像データおよびデジタル音声データを
圧縮処理する符号化回路と、画像Ａ／Ｄコンバータから
出力されるデジタル画像データを送信フレームメモリの
画像表示領域に相当する領域に書き込ませ、送信ライン
メモリから出力されるデジタル音声データを送信フレー
ムメモリの画像非表示領域に相当する領域に書き込ませ
るように経路を切り替える送信側経路切替スイッチとを
有し、回線回路は符号化回路から出力される画像と音声
の符号データを通信回線へ送信すると共に通信回線から
受信した画像と音声の符号データを受信部に出力する。

【００１８】受信部は、回線回路から出力される画像と
音声の符号データをデジタル画像データおよびデジタル
音声データに復号化する復号化回路と、復号化回路から
出力されるデジタル画像データおよびデジタル音声デー
タを画像表示領域に相当する領域および画像非表示領域
に相当する領域に書き込む受信フレームメモリと、受信
フレームメモリから出力されるデジタル画像データをア
ナログ画像信号に変換する画像Ｄ／Ａコンバータと、受
信フレームメモリから出力されるデジタル音声データを
一時的に記憶する受信ラインメモリと、受信ラインメモ
リから出力されるデジタル音声データをアナログ音声信
号に変換する音声Ｄ／Ａコンバータと、受信フレームメ
モリからデジタル画像データが出力されるときに画像Ｄ
／Ａコンバータに接続し、受信フレームメモリからデジ
タル音声データが出力されるときに受信ラインメモリに
接続するように経路を切り替える受信側経路切替スイッ
チとを有することとしたものであり、画像と音声のデジ
タルデータが、一括して圧縮符号化されると共に、一括
して伸長復号化されるという作用を有する。

【００１９】以下、本発明の実施の形態について、図１
〜図７を用いて説明する。 （実施の形態１）図１は本発明の一実施の形態による画
像音声符号化装置を示すブロック図である。図１におい
て、画像Ａ／Ｄコンバータ１４は入力端子Ｔ１から入力
されたアナログ画像信号をデジタル画像データに変換
し、音声Ａ／Ｄコンバータ１５は入力端子Ｔ２から入力
されたアナログ音声信号をデジタル音声データに変換
し、ラインメモリ１６は音声Ａ／Ｄコンバータ１５から
出力されるデジタル音声データを一時的に記憶する。経
路切替スイッチ１７は、後述のフレームメモリ１８と画
像Ａ／Ｄコンバータ１４又はラインメモリ１６とを接続
する。つまり、経路切替スイッチ１７は、フレームメモ
リ１８に対するデジタル画像データとデジタル音声デー
タの書込みタイミングを決める。フレームメモリ１８
は、画像Ａ／Ｄコンバータ１４から出力されるデジタル
画像データおよびラインメモリ１６から出力されるデジ
タル音声データを記憶する。符号化回路１９は、フレー
ムメモリ１８から出力されるデジタル画像データおよび
デジタル音声データを圧縮処理する。

【００２０】以上のように構成された画像音声符号化装
置について、その動作を説明する。画像Ａ／Ｄコンバー
タ１４からのデジタル画像データをフレームメモリ１８
に書き込む方法として、Ｈ．２６１勧告で使用するＣＩ
Ｆ（Common IntermediateFormat)を例として説明す
る。ＣＩＦは３５２画素×２８８ライン（垂直ブランキ
ング期間を含むライン数）、１画素１６ビットの構成で
１フレーム３０Ｈｚの画像データを記憶する形式であ
る。この場合、画像の有効領域のみを対象としているの
で、サンプリングクロックは５２．１μｓ（水平方向の
有効表示時間）当たり３５２画素のサンプリングとな
り、６．７５ＭＨｚとなる。音声Ａ／Ｄコンバータ１５
からのデジタル音声データをフレームメモリ１８に書き
込む方法として、Ｇ．７１１を例に説明する。電話など
における音声信号の帯域は３．５ｋＨｚ程度であること
から、８ｋＨｚでサンプリングを行っている。また、１
サンプル当たり８ビットであるので、音声データは８ｋ
Ｈｚ×８ビット＝６４ｋｂｐｓのデータ量となる。この
音声データをフレームメモリ１８に書き込む場合、１フ
レーム３０Ｈｚなので、８ｋＨｚ／３０Ｈｚ＝２６７サ
ンプルのデータを書き込むことになる。また、１サンプ
ル当たり８ビットなので、音声データはフレームメモリ
１８の中では２６７×８／１６＝１３３．５画素つまり
１３４画素分の領域を占めることになる。これは１走査
線の画素量３５２の半分にも満たない僅かな領域であ
る。なお、画像通信においては、画像の変化量、符号化
時の量子化値、通信速度などによって１フレームが１５
Ｈｚになったり、またＣＩＦの縦横それぞれ半分の画素
構成のＱＣＩＦを使用する場合などがある。この場合、
画像符号化の状況に応じて、音声データの占める領域を
走査線１本分または走査線２本分などのように変化させ
る必要がある。

【００２１】次に、フレームメモリ１８への書込み動作
について、図２を用いて説明する。図２はフレームメモ
リ１８におけるデータの記憶状態を示す記憶データ図で
ある。図２において、Ｖは１フレーム画像データを示
し、Ａは１フレーム画像データＶに対応する音声デー
タ、Ｓ１は１フレーム画像データＶが記憶されるフレー
ムメモリ１８の領域（画像データ記憶領域）、Ｓ２は１
フレーム画像データＶに対応する音声データＡが記憶さ
れるフレームメモリ１８の領域（音声データ記憶領域）
を示す。画像の有効表示期間では経路切替スイッチ１７
は、画像Ａ／Ｄコンバータ１４とフレームメモリ１８と
を接続し、画像Ａ／Ｄコンバータ１４からのデジタル画
像データは経路切替スイッチ１７を通じてフレームメモ
リ１８に順次書き込まれていく。一方、音声Ａ／Ｄコン
バータ１５からのデジタル音声データはラインメモリ１
６へ書き込まれていく。フレームメモリ１８へのデジタ
ル画像データの１フレーム分の書込みが終了すると、画
像データは垂直ブランキング期間に入り、画像データの
書込みは行われなくなるので、このとき経路切替スイッ
チ１７による接続をラインメモリ１６側に切り替えて、
フレームメモリ１８の最後の走査線に相当する領域など
画像に大きな影響を与えない部分にラインメモリ１６か
らのデジタル音声データを書き込む（図２参照）。ライ
ンメモリ１６からフレームメモリ１８への書込みは、画
像データのブランキング期間が終了するまでに行なえば
よい。

【００２２】上記のようにフレームメモリ１８に書き込
まれた画像データおよび音声データを符号化回路１９に
よって符号化を行うが、この場合、画像データに対する
音声データの割合が非常に小さいので、符号化は画像圧
縮のアルゴリズムで行うのが有効である。ただし、画像
と音声のデータが混在するブロックについては画像の冗
長性が失われているので、他の画像ブロックと同様の圧
縮では音声の復号化ができなくなる可能性が大きい。よ
って、画像と音声の混在するブロックについては、デー
タがほぼ１００％復元できるように、量子化値などのパ
ラメータを設定しておく。なお、この操作によって従来
の画像データのみでの符号化と比較して圧縮率が低下す
ることになるが、上述したように音声データが占める領
域は走査線１〜２本分という僅かな量であるので、圧縮
率低下に対する影響は小さい。

【００２３】以上のように本実施の形態１によれば、フ
レームメモリ１８においては音声データを画像データの
垂直ブランキング期間内に相当する領域に書き込むよう
にしたので、画像データと音声データを一括して圧縮符
号化することができる。従って、従来は必要であった音
声符号化回路５、多重分離回路６を不要なものとするこ
とができるので、回路規模を小さくすることができる。
さらに、画像データと音声データを一括処理することが
できるので、リップシンク回路も不要となり、一層の小
規模化を図ることができる。

【００２４】（実施の形態２）図３は本発明の第２の実
施の形態による画像音声符号化装置を示すブロック図で
ある。図３において、画像Ａ／Ｄコンバータ１４、音声
Ａ／Ｄコンバータ１５、ラインメモリ１６、経路切替ス
イッチ１７、フレームメモリ１８、符号化回路１９は図
１と同様のものなので、説明は省略する。減算器２０
は、音声Ａ／Ｄコンバータ１５とラインメモリ１６との
間に配置され、音声Ａ／Ｄコンバータ１５から出力され
るデジタル音声データと、タイミング的にその一つ前の
デジタル音声データ（以下、「直前デジタル音声デー
タ」という）との差分であるデジタル差分データをライ
ンメモリ１６に出力する。

【００２５】以上のように構成された画像音声符号化装
置について、その動作を図４（ａ）、（ｂ）を用いて説
明する。図４（ａ）は音声信号のサンプリングタイミン
グを示す音声サンプリング図、図４（ｂ）はサンプリン
グしたデジタル音声データとその直前デジタル音声デー
タとの差分であるデジタル差分データを示す差分データ
図である。デジタル差分データは上述したように減算器
２０から出力される。音声Ａ／Ｄコンバータ１５によっ
てサンプリングされたデジタル音声データは順次減算器
２０に入力されるが、減算器２０は或る時点で入力され
たデジタル音声データとその直前デジタル音声データと
の差分を計算し、デジタル差分データとして出力する。
すなわち、図４（ａ）、（ｂ）において、時間Ｔｎにお
ける音声レベルと時間Ｔｎ＋１における音声レベルとの
差分Δｎを順次計算し、ラインメモリ１６へ出力してい
く。このように差分をとる処理によって、音声データの
変化量が元々の音声信号よりも少なくなる。よって、符
号化回路１９によって符号化を行なうときに圧縮効率を
向上させることができる。

【００２６】以上のように本実施の形態２によれば、減
算器２０でデジタル音声データとその直前デジタル音声
データとの差分をとるようにしたので、音声データの変
化量を元々の音声信号よりも少なくすることができ、符
号化回路１９によって符号化を行なうときの圧縮効率を
向上させることができる。

【００２７】（実施の形態３）図５は、本発明の第３の
実施の形態による画像音声記録装置を示すブロック図で
ある。図５において、画像Ａ／Ｄコンバータ１４、音声
Ａ／Ｄコンバータ１５、ラインメモリ１６、経路切替ス
イッチ１７、フレームメモリ１８、符号化回路１９は図
１と同様のものなので、説明は省略する。記録装置２１
は符号化回路１９から出力された画像と音声の符号デー
タを一括して記録する。記録媒体２２は記録装置２１に
応じた磁気ディスク、光ディスクなどである。制御回路
２３は経路切替スイッチ１７、フレームメモリ１８、符
号化回路１９、記録装置２１を制御する。

【００２８】以上のように構成された画像音声記録装置
について、その動作を説明する。本装置においては符号
化回路１９までの動作は第１の実施の形態と同様である
ので、それ以降の動作について説明する。符号化回路１
９から出力される画像と音声の符号データは記録装置２
１に一括して入力され、記録装置２１内の記録媒体２２
に格納保存される。

【００２９】なお、本実施の形態３では、第２の実施の
形態における減算器２０を構成要素としなかったが、第
２の実施の形態と同様に音声Ａ／Ｄコンバータ１５とラ
インメモリ１６との間に減算器２０を配置するようにし
てもよい。

【００３０】以上のように本実施の形態３によれば、画
像と音声の符号化データを外部記録装置としての記録装
置２１に一括して記録することができるので、画像と音
声によるデータベースを構築することができる。

【００３１】（実施の形態４）図６は本発明の第４の実
施の形態による画像音声再生装置を示すブロック図であ
る。図６において、再生装置２４は記録媒体２２に一括
して記録されている画像符号データおよび音声符号デー
タを出力し、復号化回路２５は再生装置２４からの画像
と音声の符号データを復号化してデジタル画像データと
デジタル音声データを出力し、フレームメモリ２６は復
号化回路２５からのデジタル画像データおよびデジタル
音声データを記憶し、経路切替スイッチ２７はフレーム
メモリ２６と後述の画像Ｄ／Ａコンバータ２８又はライ
ンメモリ２９とを接続する。画像Ｄ／Ａコンバータ２８
はデジタル画像データをアナログ画像信号に変換し、ラ
インメモリ２９はフレームメモリ２６からのデジタル音
声データを一時記憶し、音声Ｄ／Ａコンバータ３０はラ
インメモリ２９からのデジタル音声データをアナログ音
声信号に変換して出力する。制御回路３１は、再生装置
２４、復号化回路２５、フレームメモリ２６、経路切替
スイッチ２７を制御する。

【００３２】以上のように構成された画像音声再生装置
について、その動作を説明する。本実施の形態４におけ
る動作は、第１および第３の実施の形態における動作の
逆の手順をとるものである。すなわち、記録媒体２２に
記録された画像と音声の符号データは第１の実施の形態
で示した手順に従って符号化されたものであり、これを
再生装置２４で読み取り、復号化回路２５で復号化する
と、フレームメモリ２６には、第１の実施の形態で説明
した図２に示すように、デジタル画像データとデジタル
音声データとが混在した状態で書き込まれる。画像デー
タを表示するには、画像の有効表示期間に経路切替スイ
ッチ２７による接続を画像Ｄ／Ａコンバータ２８側に切
り替えて、フレームメモリ２６の画像表示領域に相当す
る領域に格納されているデジタル画像データを読み出
し、アナログ画像信号に変換して出力端子Ｔ３から出力
する。デジタル音声データは、フレームメモリ２６の画
像非表示領域に相当する領域に格納されており、画像の
ブランキング期間の或る１走査線期間又は２走査線期間
に経路切替スイッチ２７による接続をラインメモリ２９
へ切り替えることにより、ラインメモリ２９へ一時書き
込まれる。ラインメモリ２９に一時書き込まれたデジタ
ル音声データは一定のクロック（第１の実施の形態では
８ｋＨｚ）で読み出され、音声Ｄ／Ａコンバータ３０で
アナログ音声信号に変換され、出力端子Ｔ４から出力さ
れる。

【００３３】なお、本実施の形態４では、第２の実施の
形態における減算器２０に相当するもの、すなわち加算
器を構成要素としなかったが、ラインメモリ２９と音声
Ｄ／Ａコンバータ３０との間に加算器を配置するように
してもよい。この加算器はデジタル差分データを順次加
算して、元のデジタル音声データを得るものである。

【００３４】以上のように本実施の形態４によれば、記
録媒体２２に一括して記録された画像と音声の符号デー
タを復号化し、デジタルからアナログに変換するように
したので、一括して記録された画像と音声の符号データ
をアナログ画像とアナログ音声の信号に再生することが
でき、構築されたデータベースを利用することができ
る。

【００３５】（実施の形態５）図７は本発明の第５の実
施の形態による画像音声通信装置を示すブロック図であ
る。図７において、画像Ａ／Ｄコンバータ１４、音声Ａ
／Ｄコンバータ１５、送信ラインメモリ１６、送信側経
路切替スイッチ１７、送信フレームメモリ１８、符号化
回路１９、復号化回路２５、受信フレームメモリ２６、
受信側経路切替スイッチ２７、画像Ｄ／Ａコンバータ２
８、受信ラインメモリ２９、音声Ｄ／Ａコンバータ３０
は図１、図５、図６と同様のものなので、説明は省略す
る。ただし、ラインメモリ１６、２９、経路切替スイッ
チ１７、２７およびフレームメモリ１８、２６について
は、送信側のものは送信又は送信側の文字を付し、受信
側のものは受信又は受信側の文字を付している。また、
回線回路３２は画像と音声の符号データを通信回線を通
じて送受信し、制御回路３３は経路切替スイッチ１７、
２７、フレームメモリ１８、２６、符号化回路１９、復
号化回路２５、回線回路３２を制御する。上記画像Ａ／
Ｄコンバータ１４、音声Ａ／Ｄコンバータ１５、送信ラ
インメモリ１６、送信側経路切替スイッチ１７、送信フ
レームメモリ１８および符号化回路１９は図５の画像音
声記録装置と同様の構成であり、送信部を構成する。ま
た、上記復号化回路２５、受信フレームメモリ２６、受
信側経路切替スイッチ２７、画像Ｄ／Ａコンバータ２
８、受信ラインメモリ２９および音声Ｄ／Ａコンバータ
３０は図６の画像音声再生装置と同様の構成であり、受
信部を構成する。

【００３６】以上のように構成された画像音声通信装置
について、その動作を説明する。送信部の動作は図５の
画像音声記録装置と同様であり、入力端子Ｔ１、Ｔ２を
介して入力したアナログ画像信号およびアナログ音声信
号をデジタル画像データおよびデジタル音声データに変
換し、符号化回路１９によって圧縮符号化し、画像と音
声の符号データを回線回路３２を通じて、通信回線に接
続した相手側画像音声通信装置に送信する。また、受信
部の動作は図６の画像音声再生装置と同様であり、回線
回路３２によって相手側画像音声通信装置から受信した
画像と音声の符号データを復号化回路２５で復号化し、
デジタル画像データおよびデジタル音声データを得る。
これらのデジタルデータは画像Ｄ／Ａコンバータ２８、
音声Ｄ／Ａコンバータ３０で音声Ｄ／Ａコンバータアナ
ログ画像信号およびアナログ音声信号に変換され、出力
端子Ｔ３、Ｔ４から出力される。

【００３７】なお、本実施の形態５では、第２の実施の
形態における減算器２０および減算器２０に相当するも
の即ち加算器を構成要素としなかったが、音声Ａ／Ｄコ
ンバータ１５と送信ラインメモリ１６との間に減算器
を、受信ラインメモリ２９と音声Ｄ／Ａコンバータ３０
との間に加算器を配置するようにしてもよい。

【００３８】以上のように本実施の形態５によれば、画
像データと音声データを一括して圧縮符号化し、通信回
線を介して相手側画像音声通信装置に送信することがで
きると共に、通信回線を介して相手側画像音声通信装置
から受信した画像と音声の符号化データを一括して伸長
復号化することができるので、従来は必要であった音声
符号化回路、音声復号化回路、多重分離回路を不要なも
のとして回路規模を小さくすることができる。また、リ
ップシンク回路も不要となり、一層の小規模化を図るこ
とができる。すなわち、従来の画像音声通信装置におい
ては、画像と音声の符号化、復号化回路が別々であった
ため、音声の画像の出力タイミングがずれて違和感が生
じるという問題があり、その対策として音声データを遅
延させて画像と音声との同期を取るためのリップシンク
回路が必要であった。しかし、本実施の形態では符号化
回路１９、復号化回路２５はひとつであり、同時に入力
された画像と音声のデータは一括して符号化処理され、
復号化処理においても画像と音声のデータが一括して復
号化されるので、画像と音声との出力タイミングがずれ
ることは無い。このため従来は必要であったリンプシン
ク回路は不要となる。

【００３９】

【発明の効果】以上のように本発明の画像音声符号化装
置によれば、画像データと音声データを一括して圧縮符
号化することができるので、従来は必要であった音声符
号化回路、多重分離回路、リップシンク回路を不要なも
のとすることができ、回路規模を小さくすることができ
るという有利な効果が得られる。また、デジタル音声デ
ータとその直前デジタル音声データとの差分をとること
により、音声データの変化量を元々の音声信号よりも少
なくすることができるので、圧縮効率を向上させること
ができるという有利な効果が得られる。

【００４０】また、本発明の画像音声記録装置によれ
ば、画像と音声の符号化データを外部記録装置に一括し
て記録することができるので、画像と音声によるデータ
ベースを構築することができるという有利な効果が得ら
れる。

【００４１】さらに、本発明の画像音声再生装置によれ
ば、一括して記録された画像と音声の符号データをアナ
ログ画像とアナログ音声の信号に再生することができる
ので、構築されたデータベースを利用することができる
という有利な効果が得られる。

【００４２】さらに、本発明の画像音声通信装置によれ
ば、画像データと音声データを一括して圧縮符号化し、
通信回線を介して相手側画像音声通信装置に送信するこ
とができると共に、通信回線を介して相手側画像音声通
信装置から受信した画像と音声の符号化データを一括し
て伸長復号化することができるので、従来は必要であっ
た音声符号化回路、音声復号化回路、多重分離回路、リ
ップシンク回路を不要なものとして回路規模を小さくす
ることができるという有利な効果が得られる。

【図面の簡単な説明】

【図１】本発明の一実施の形態による画像音声符号化装
置を示すブロック図

【図２】フレームメモリにおけるデータの記憶状態を示
す記憶データ図

【図３】本発明の第２の実施の形態による画像音声符号
化装置を示すブロック図

【図４】（ａ）音声信号のサンプリングタイミングを示
す音声サンプリング図 （ｂ）デジタル差分データを示す差分データ図

【図５】本発明の第３の実施の形態による画像音声記録
装置を示すブロック図

【図６】本発明の第４の実施の形態による画像音声再生
装置を示すブロック図

【図７】本発明の第５の実施の形態による画像音声通信
装置を示すブロック図

【図８】従来の画像音声通信装置を示すブロック図

【符号の説明】

１４ 画像Ａ／Ｄコンバータ １５ 音声Ａ／Ｄコンバータ １６ ラインメモリ（送信ラインメモリ） １７ 経路切替スイッチ（送信側経路切替スイッチ） １８ フレームメモリ（送信フレームメモリ） １９ 符号化回路 ２０ 減算器 ２１ 記録装置 ２２ 記録媒体 ２３ 制御回路 ２４ 再生装置 ２５ 復号化回路 ２６ フレームメモリ（受信フレームメモリ） ２７ 経路切替スイッチ（受信側経路切替スイッチ） ２８ 画像Ｄ／Ａコンバータ ２９ ラインメモリ（受信ラインメモリ） ３０ 音声Ｄ／Ａコンバータ ３１、３３ 制御回路 ３２ 回線回路 Ｓ１ 画像データ記憶領域 Ｓ２ 音声データ記憶領域 Ｔ１、Ｔ２ 入力端子 Ｔ３、Ｔ４ 出力端子

Claims (5)

【特許請求の範囲】
1. 【請求項１】アナログ画像信号をデジタル画像データに
   変換する画像Ａ／Ｄコンバータと、アナログ音声信号を
   デジタル音声データに変換する音声Ａ／Ｄコンバータ
   と、前記音声Ａ／Ｄコンバータから出力される前記デジ
   タル音声データを一時的に記憶するラインメモリと、前
   記画像Ａ／Ｄコンバータから出力される前記デジタル画
   像データおよび前記ラインメモリから出力される前記デ
   ジタル音声データを記憶するフレームメモリと、前記フ
   レームメモリから出力される前記デジタル画像データお
   よび前記デジタル音声データを圧縮処理する符号化回路
   と、前記画像Ａ／Ｄコンバータから出力される前記デジ
   タル画像データを前記フレームメモリの画像表示領域に
   相当する領域に書き込ませ、前記ラインメモリから出力
   される前記デジタル音声データを前記フレームメモリの
   画像非表示領域に相当する領域に書き込ませるように経
   路を切り替える経路切替スイッチとを有する画像音声符
   号化装置。
2. 【請求項２】前記音声Ａ／Ｄコンバータと前記ラインメ
   モリとの間に配置され、前記音声Ａ／Ｄコンバータから
   出力される前記デジタル音声データと前記音声Ａ／Ｄコ
   ンバータから出力された前記デジタル音声データの直前
   のデジタル音声データとの差分であるデジタル差分デー
   タを前記ラインメモリに出力する減算器を設けた請求項
   １記載の画像音声符号化装置。
3. 【請求項３】アナログ画像信号をデジタル画像データに
   変換する画像Ａ／Ｄコンバータと、アナログ音声信号を
   デジタル音声データに変換する音声Ａ／Ｄコンバータ
   と、前記音声Ａ／Ｄコンバータから出力される前記デジ
   タル音声データを一時的に記憶するラインメモリと、前
   記画像Ａ／Ｄコンバータから出力される前記デジタル画
   像データおよび前記ラインメモリから出力される前記デ
   ジタル音声データを記憶するフレームメモリと、前記フ
   レームメモリから出力される前記デジタル画像データお
   よび前記デジタル音声データを圧縮処理する符号化回路
   と、前記画像Ａ／Ｄコンバータから出力される前記デジ
   タル画像データを前記フレームメモリの画像表示領域に
   相当する領域に書き込ませ、前記ラインメモリから出力
   される前記デジタル音声データを前記フレームメモリの
   画像非表示領域に相当する領域に書き込ませるように経
   路を切り替える経路切替スイッチと、前記符号化回路か
   ら出力される画像符号データおよび音声符号データを一
   括して記録する記録装置とを有する画像音声記録再生装
   置。
4. 【請求項４】一括して画像符号データおよび音声符号デ
   ータを記録する記録媒体と、前記記録媒体から出力され
   る画像符号データおよび音声符号データをデジタル画像
   データおよびデジタル音声データに復号化する復号化回
   路と、前記復号化回路から出力される前記デジタル画像
   データおよび前記デジタル音声データを画像表示領域に
   相当する領域および画像非表示領域に相当する領域に書
   き込むフレームメモリと、前記フレームメモリから出力
   される前記デジタル画像データをアナログ画像信号に変
   換する画像Ｄ／Ａコンバータと、前記フレームメモリか
   ら出力される前記デジタル音声データを一時的に記憶す
   るラインメモリと、前記ラインメモリから出力される前
   記デジタル音声データをアナログ音声信号に変換する音
   声Ｄ／Ａコンバータと、前記フレームメモリから前記デ
   ジタル画像データが出力されるときに前記画像Ｄ／Ａコ
   ンバータに接続し、前記フレームメモリから前記デジタ
   ル音声データが出力されるときに前記ラインメモリに接
   続するように経路を切り替える経路切替スイッチとを有
   する画像音声記録再生装置。
5. 【請求項５】送信部と、受信部と、画像と音声の符号デ
   ータを通信回線を通じて送受信する回線回路とを有する
   画像音声通信装置であって、前記送信部は、アナログ画
   像信号をデジタル画像データに変換する画像Ａ／Ｄコン
   バータと、アナログ音声信号をデジタル音声データに変
   換する音声Ａ／Ｄコンバータと、前記音声Ａ／Ｄコンバ
   ータから出力される前記デジタル音声データを一時的に
   記憶する送信ラインメモリと、前記画像Ａ／Ｄコンバー
   タから出力される前記デジタル画像データおよび前記ラ
   インメモリから出力される前記デジタル音声データを記
   憶する送信フレームメモリと、前記送信フレームメモリ
   から出力される前記デジタル画像データおよび前記デジ
   タル音声データを圧縮処理する符号化回路と、前記画像
   Ａ／Ｄコンバータから出力される前記デジタル画像デー
   タを前記送信フレームメモリの画像表示領域に相当する
   領域に書き込ませ、前記送信ラインメモリから出力され
   る前記デジタル音声データを前記送信フレームメモリの
   画像非表示領域に相当する領域に書き込ませるように経
   路を切り替える送信側経路切替スイッチとを有し、前記
   回線回路は前記符号化回路から出力される画像と音声の
   符号データを通信回線へ送信すると共に通信回線から受
   信した画像と音声の符号データを前記受信部に出力し、
   前記受信部は、前記回線回路から出力される画像と音声
   の符号データをデジタル画像データおよびデジタル音声
   データに復号化する復号化回路と、前記復号化回路から
   出力される前記デジタル画像データおよび前記デジタル
   音声データを画像表示領域に相当する領域および画像非
   表示領域に相当する領域に書き込む受信フレームメモリ
   と、前記受信フレームメモリから出力される前記デジタ
   ル画像データをアナログ画像信号に変換する画像Ｄ／Ａ
   コンバータと、前記受信フレームメモリから出力される
   前記デジタル音声データを一時的に記憶する受信ライン
   メモリと、前記受信ラインメモリから出力される前記デ
   ジタル音声データをアナログ音声信号に変換する音声Ｄ
   ／Ａコンバータと、前記受信フレームメモリから前記デ
   ジタル画像データが出力されるときに前記画像Ｄ／Ａコ
   ンバータに接続し、前記受信フレームメモリから前記デ
   ジタル音声データが出力されるときに前記受信ラインメ
   モリに接続するように経路を切り替える受信側経路切替
   スイッチとを有する画像音声通信装置。