JP3592289B2

JP3592289B2 - Image storage method and stored image reproduction method

Info

Publication number: JP3592289B2
Application number: JP2001352704A
Authority: JP
Inventors: 正弘辰巳; 慶一日比; 恒明岩野; 博隆中野; 修中村
Original assignee: Nippon Telegraph and Telephone Corp; Sharp Corp
Current assignee: Nippon Telegraph and Telephone Corp; Sharp Corp
Priority date: 2001-11-19
Filing date: 2001-11-19
Publication date: 2004-11-24
Anticipated expiration: 2019-11-24
Also published as: JP2002204431A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像蓄積方法及び蓄積画像再生方法に関し、より詳細には、ＴＶ電話等に代表される映像情報の通信を行う端末から送出される、特に、ＩＴＵ（国際電気通信連合）−Ｔ勧告に準拠した画像や音声及び各種データが多重化されたデータを蓄積し、任意の端末から蓄積データの再生を行うことが可能な画像通信システムに関する。
【０００２】
【従来の技術】
近年、従来からある電話やＦＡＸ（ファクシミリ）等の対話型の通信サービスに加えて、音声情報を網のセンターに記憶して、それを随時再生することができる蓄積型のサービスが提供されている。また、ＩＳＤＮ（ＩｎｔｅｇｒａｔｅｄＳｅｒｖｉｃｅｓＤｉｇｉｔａｌＮｅｔｗｏｒｋ：サービス総合ディジタル網）に代表されるディジタル通信網の整備により、例えば、テレビ電話に代表される画像通信サービスを利用することが可能となってきている。このような背景の中で、画像を使用した蓄積型のサービスに対する要求が高まり、一部実用化されつつある。
【０００３】
従来の蓄積画像再生装置について記載した公知文献としては、例えば、特開昭６２−１８８５７９号公報がある。この公報のものは、動画像情報データベースからの動画像情報の伝送にパケット通信網を用い、該パケット通信網による伝送遅延のバラツキを吸収し、ユーザが受信しやすい映像信号への変換を行うための動画像情報蓄積変換装置を設け、ユーザは希望する時刻にその蓄積動画像情報を取り出すものである。
【０００４】
また、特開平３−１３２１２８号公報のものは、利用者が端末から入力した静止画・動画からなる画像情報と音声情報とをメッセージとしてセンタに蓄積するとともに、利用者からの要求に対応したメッセージを入力した通りに端末上で再現できるようにしたものである。
さらに、特開平４−７９６５５号公報のものは、映像や音声文字情報の入出力機能を備えた情報収集利用者端末から情報収集のための条件を登録する手段と、登録された情報に基づき、映像や音声文字情報の入出力機能を備えた情報収集利用者端末に発呼が行われ、情報が自動的に受信され、収集した情報が収集依頼者の意図に基づき蓄積されるものである。
【０００５】
図１１は、従来の多重化データ送受信部の構成図で、図中、９１は蓄積データ抽出部、９２はパケット生成部、９３はパケット分解部、９４は回線データ生成部、９５は多重化データ送受信部の受信部、９６は多重化データ送受信部の送信部である。
蓄積データ抽出部９１は、システム制御部からの指示に従って受信した回線多重化データから蓄積する多重化データの抽出を行う。パケット生成部９２は、システム制御部からの指示に従って受信した蓄積多重化データからパケットを生成する。パケット分解部９３は、記憶装置から出力されるパケットから再生する多重化データを抽出する。回線データ生成部９４は、システム制御部からの指示に従ってパケット分解部から出力される多重化データから回線多重化データの生成を行う。
【０００６】
図１２（ａ），（ｂ）は、従来のデータ多重フォーマットを示す図で、現在テレビ電話等で用いられているデータの多重化形式を示す図である。国際標準として採用されており、この多重化方式を用いることにより、テレビ電話等の相互接続性が確保される。図１２において、１０１，１０２はそれぞれ音声データ、画像データに割り当てられる領域、１０３はフレーム同期用ビット、１０４は端末間の能力・コマンド通信用ビット、１０５は通信回線へのデータ送出順序である。各データの多重化条件は能力・コマンド通信用ビット１０４を使用して端末−ホスト間でいつでも変更することが可能である。
【０００７】
図１３は、従来の蓄積時のパケットのフォーマットを示す図で、図中、１１１は蓄積を行うときの伝送レートや各データの多重化レート及び各データの符号化方式等の情報が含まれるヘッダ情報、１１２はパケットで構成されるサブマルチフレームの数、１１３は図１２に示すフォーマットで多重化された多重化データである。
【０００８】
蓄積時には、網から送出される回線多重化データは、蓄積データ抽出部９１で受信され、該蓄積データ抽出部９１は蓄積する多重化データの抽出を行い、パケット生成部９２に出力する。該パケット生成部９２では、通信時のデータの多重化レートや符号化方式等をヘッダ情報とし、図１３に示すフォーマットに従ってパケットを生成し、パケットデータとして記憶装置に出力する。
【０００９】
再生時には、記憶装置から出力されるパケットデータは、パケット分解部９３で受信される。該パケット分解部９３は、パケットのヘッダ情報をシステム制御部に通知する。該システム制御部は、回線データ生成部９４に対して図１２に示すＢＡＳ１０４を使用して蓄積時の通信端末の動作モードと再生時の通信端末の動作モードの整合を図るように指示する。回線データ生成部９４で動作モードの整合が完了したら、パケット分解部９３では、パケットの分解を行い、再生する多重化データを回線データ生成部９４に出力する。該回線データ生成部９４では、図１２に示すＦＡＳ１０３とＢＡＳ１０４の書き換えを行って回線多重化データを生成し、通信網に送出する。
【００１０】
【発明が解決しようとする課題】
従来の方式では、国際標準として採用されているデータの多重化形式の状態で蓄積を行っているため、蓄積した画像を通信端末で再生を行う場合、通常、ＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ：誤り訂正）フレーム同期を確立してから画像の表示を行うため、画像がすぐに表示できない。また、初期画像がフレーム内符号化されたものとは限らないため初期画像が汚くなる。さらに、蓄積時の端末のバッファ状態が違うため、バッファのアンダーフローやオーバーフロー等が生じ、うまく画像が再生できない等の諸問題が生じる。
【００１１】
また、蓄積画像は、蓄積時の端末バッファ状態により符号化量の制御がおこなわれているが、従来の方式では、再生時と蓄積時の端末のバッファ状態が必ずしも同一とは限らないため、バッファのオーバーフローやアンダーフロー等の問題が生じる。さらに、従来の画像再生装置では、蓄積時の端末と再生時の端末の対応可能な回線レートが同じ場合にしか蓄積画像の再生が行えないという問題があった。例えば、ＩＳＤＮの基本インタフェースを使用した回線レートＢのみ対応の端末で蓄積した画像を、回線レート２Ｂのみに対応した端末で再生を行う場合などに問題があった。
【００１２】
本発明は、このような実情に鑑みてなされたもので、従来の方式のように音声や画像等の多重化された状態で蓄積を行わず、それぞれのデータを分離し、特に画像に対してはデータ処理を行ってビデオフレーム単位で蓄積を行い、再生時に生じる諸問題を解決するための画像処理が可能となるデータフォーマットで蓄積すること。また、蓄積画像の再生時に生じる「画像がすぐに表示できない」という問題を解決すること。また、情報量の監視を行ってフィルビットの挿入を制御し、再生端末においてバッファのオーバーフローやアンダーフロー等の発生を防止すること。さらに、伝送速度整合を行うことにより、蓄積時と再生時の端末の対応可能な回線レートが違う場合でも再生が行えるようにした画像蓄積方法及び蓄積画像再生方法を提供することを目的としている。
【００１３】
【課題を解決するための手段】
本発明は、上記目的を達成するために、（１）符号化された動画像データ及び符号化された音声データを多重化した多重化データを入力するステップと、該入力した多重化データを、符号化された動画像データと符号化された音声データとに分離するステップと、該分離された動画像データから、ビデオフレームを単位として符号化されたビデオフレームデータを抽出するステップと、該抽出されたビデオフレームデータ及び前記分離された音声データを、パケットのビデオフレームデータ及び音声データとしてパケットを生成するステップと、該生成したパケットを蓄積するステップとにより画像を蓄積すること、或いは、（２）ビデオフレームを単位として符号化されたビデオフレームデータ及び符号化された音声データが所定の蓄積フォーマットに従って蓄積されたパケットから、符号化されたビデオフレームデータ及び符号化された音声データを分離するステップと、該分離されたビデオフレームデータからなる符号化された動画像データと前記分離された音声データとを、再生時の端末で対応可能な多重化フォーマットに従って多重化し、多重化データを生成するステップと、該多重化データを出力するステップとにより蓄積画像を再生することを特徴としたものである。
【００１４】
【発明の実施の形態】
本発明の画像蓄積方法では、画像や音声等の多重化された入力信号をデータ分離手段において各種データに分離し、画像においては、誤り訂正手段でＦＥＣの誤り訂正を行い、さらに、ビデオフレーム抽出手段でビデオフレームの抽出を行う。そして、パケット生成手段で画像や音声等のデータに蓄積時の多重化レートや符号化方式等の蓄積時の情報を付加してパケットを生成し、蓄積手段において蓄積を行う。そのため、画像の再生時には、諸問題を解決するための処理を容易に行うことが可能となる。
【００１５】
また、本発明の蓄積画像再生方法は、パケットに付加された情報をもとにパケットを分解し、画像においては、再生を行う相手端末のＦＥＣの同期をフィルフレームを必要に応じて送信することにより制御が可能となるため、ＦＥＣの同期が確立してから蓄積画像の送出を行うことにより、蓄積画像の再生をスムーズに早く行うことが可能となる。また、蓄積画像の再生時に、画像の符号化器と同様に情報量の制御を行うことにより、蓄積画像の再生を行う端末のバッファのオーバーフローやアンダーフロー等の発生を防止することが可能となる。さらに、蓄積時の端末と再生時の端末の対応可能な回線レートが違う場合においても、伝送速度整合を行うことにより蓄積画像の再生が可能となる。
【００１６】
（実施例）
実施例について、図面を参照して以下に説明する。
図１は、本発明による画像蓄積方法及び蓄積画像再生方法が適用された画像蓄積装置及び蓄積画像再生装置の一実施例を説明するための構成図で、図中、１は通信端末、２は通信ホスト、３はＩＳＤＮ等の通信網、４は画像入力用のカメラ、５は画像出力用のモニタ、６は音声入出力用のハンドセット、７は端末のシステム制御部、８は画像の符号化／復号化部、９は音声の符号化／復号化部、１０は符号化画像データと符号化音声データと制御情報を多重化して回線に送出する多重化データ送受信部、１１はホストのシステム制御部、１２は多重化データから制御情報を分離多重化するホストの多重化データ送受信部、１３は記憶するデータの記録装置である。
【００１７】
通信端末１側のカメラ４から入力された動画像は、画像符号化部８でフレーム間予測符号化される。符号化された符号化画像データは、ハンドセット６から入力され、音声符号化部９で符号化された符号化音声データと制御情報等と共に多重化データ送信部１０で多重化され、通信網３を通じてホスト２に伝送される。通信ホスト２側では、通信端末１から送られてきた多重化データを多重化データ受信部１２で受信する。該多重化データ受信部１２では、受信した画像・音声等が多重化されたデータから蓄積パケットデータを生成し、記憶装置１３に転出する。該記憶装置１３では、適当な形のファイルとして、すなわち、画像データに対してはビデオフレーム単位で蓄積する。
【００１８】
記憶されたデータは、ユーザまたはホストからの指示により記憶装置１３から読み出され、ホストの多重化データ送信部１２に送られる。ホストの送信部１２では、システム制御部１１の指示により、蓄積時にそのまま記憶された制御情報を新たな制御情報に書き換え、通信網３を通じて通信端末１に伝送される。該通信端末１では、ホストから送られてきた制御情報を書き換えた多重化データを多重化データ受信部１０で受信する。該多重化データ受信部１０では制御情報と画像データと音声データ等を分離し、制御情報はシステム制御部７に送られる。
【００１９】
また、多重化データ受信部１０で受信された符号化画像データは画像復号化部８に送られ、システム制御部７からの指示に従って、動画像の復号・再生が行われ、再生画像がモニタ５に表示される。分離された音声データは、音声復号化部９で復号・再生され、ハンドセット６から出力される。なお、記憶再生動作時でも回線による通信は常に双方向で行われており、制御情報は回線接続状態では画像データ等の有無に関わらず通信が可能である。
【００２０】
図２は、図１における多重化データ送受信部の受信部の構成図で、図中、１４は受信部、２１は回線データ分離部、２２はＦＥＣの誤り訂正部、２３はビデオフレーム抽出部、２４はパケット生成部である。
回線データ分離部２１は、網から受信される多重化データの分離を行う。ＦＥＣの誤り訂正部２２は、回線データ分離部で分離された画像データのＦＥＣの誤り訂正を行う。ビデオフレーム抽出部２３は、誤り訂正が行われた画像データからビデオフレームの抽出を行う。パケット生成部２４は、画像や音声等のデータからパケットを生成する。
【００２１】
図３（ａ）〜（ｃ）は、図２の受信部のモジュール間の画像データを表した図で、図３（ａ）は、図２中の信号ａに相当し、ＦＥＣの同期を確立するための同期信号とＦＥＣの誤り訂正を行うためのパリティビットや符号化データ量の調整を行うためのフィルビットおよび情報ビットで構成されている。図３（ｂ）は、図２中の信号ｂに相当し、ＦＥＣの誤り訂正が行われ、フィルビット等の余計なデータが取り除かれたものである。図３（ｃ）は、図２中の信号ｃに相当し、ＰＳＣ（フレーム開始符号）ごとに抽出されたビデオフレームである。
【００２２】
図４は、蓄積を行うときのパケット構成図である。
４１は蓄積時の多重化レート、符号化方式及び符号化能力等の情報が明記されたヘッダ情報、４２は画像のデータ長、４３は音声のデータ長、４４は画像のビデオフレーム数、４５は画像のビデオフレームのデータ長とビデオフレームデータ、４６は音声データである。
【００２３】
次に、本発明による蓄積画像再生装置の動作について説明する。
蓄積時には、回線データ分離部２１で、通信網から受信された多重化データを画像や音声等に分離し、画像データはＦＥＣの誤り訂正部２２、音声データはパケット生成部２４に出力する。ＦＥＣの誤り訂正部２２では、図３（ａ）に示す信号の状態の画像データを受信し、ＦＥＣの誤の訂正等を行って図３（ｂ）に示す信号の状態の画像データをビデオフレーム抽出部２３に出力する。該ビデオフレーム抽出部２３では、受信したデータからＰＳＣを探索し、図３（ｃ）に示す信号の状態のデータをパケット生成部２４に出力する。該パケット生成部２４では受信した画像や音声等のデータを図４のパケットフォーマットに従ってパケットを生成し、ヘッダ情報には、多重化レート、符号化方式及び符号化能力等の再生時に必要となる情報を明記し、記憶装置１３に対して出力する。
【００２４】
図５は、図１における多重化データ送受信部の送信部の構成図で、図中、１５は送信部、５１はパケット分解部、５２はフィルビット挿入部、５３はＦＥＣフレーム生成部、５４は回線データ多重化部である。パケット分解部５１は、受信したパケットを画像や音声等のデータに分解する。フィルビット挿入部５２は、パケット分解部から出力される画像データにフィルビットの挿入を行う。ＦＥＣフレーム生成部５３は、フィルビット挿入部から出力される画像データからＦＥＣフレームの生成を行う。回線データ多重化部５４は、ＦＥＣフレーム生成部から出力される画像データとパケット分解部から出力される音声データ等から回線多重化データを生成する。
【００２５】
図６（ａ）〜（ｃ）は、図５の送信部１５のモジュール間の画像データを表した図で、図６（ａ）は図５中の信号ｄに相当し、ビデオフレームデータである。図６（ｂ）は図５中の信号ｅに相当し、フィルビットが挿入されたものである。図６（ｃ）は図５中の信号ｆに相当し、ＦＥＣの同期信号と伝送誤り訂正するためのパリティビット等が付加されたＦＥＣフレームである。
【００２６】
次に、図５に示す送信部の動作について説明する。
再生時には、パケット分解部５１で、記憶装置１３から出力されたパケットを受信する。パケットを受信したパケット分解部５１は、ヘッダ情報を抽出し、システム制御部１１に通知する。該システム制御部１１は、回線データ多重化部５４に対して、図１２に示すＢＡＳ１０４を使用して蓄積時の通信端末の動作モードと再生時の通信端末の動作モードとの整合をとるように指示する。回線データ多重化部５４で動作モードの整合が完了したら、パケット分解部５１では、パケットの分解を行い、画像データをフィルビット挿入部５２に出力し、音声データ等を回線データ多重化部５４に出力する。
【００２７】
フィルビット挿入部５２では、蓄積画像を再生する前に通信端末においてＦＥＣの同期が確立するようにフィルビットを挿入し、ＦＥＣフレーム生成部５３に出力する。該ＦＥＣフレーム生成部５３では、ＦＥＣフレームを生成して回線データ多重化部５４に出力する。回線データ多重化部５４では、画像や音声等のデータを図１２の多重化フォーマットに従って多重化して、回線多重化データを生成し、通信網に送出する。
【００２８】
このように、本発明は、蓄積型の画像通信システムにおいて、再生時に生じる諸問題を解決するために有効なデータ蓄積フォーマットを構築するとともに、蓄積画像をスムーズに速く再生する。すなわち、回線データ分離部２１は、画像や音声等が多重化された入力信号から各種データの分離を行う。誤り訂正部２２は、前記回線データ分離部２１から出力される画像データのＦＥＣの誤り訂正を行う。ビテオフレーム抽出部２３は、前記誤り訂正部２２から出力されるデータからビデオフレームの抽出を行う。パケット生成部２４は、前記ビデオフレーム抽出部２３から出力されるデータと、前記回線データ分離部２１から出力される音声データとからパケットを生成する。記憶装置１３は前記パケット生成部２４から出力されるパケットを蓄積する。これにより、ビデオフレーム単位でデータを蓄積する。
【００２９】
また、パケット分解部５１は、ヘッダ情報を付加して画像や音声等で構成されたパケットを蓄積した記憶装置１３から出力されるパケットの分解を行う。フィルビット挿入部５２は、前記パケット分解部５１から出力される画像データにフィルビットの挿入を行う。ＦＥＣフレーム生成部５３は、前記フィルビット挿入部５２から出力される画像データからＦＥＣフレームを生成する。回線データ多重化部５４は、前記ＦＥＣフレーム生成部５３から出力される画像データと前記パケット分解部５１から出力される音声等のデータから回線多重化データを生成する。これにより、蓄積画像の再生を行う通信端末のＦＥＣの同期を制御する。
【００３０】
図７は、図１における多重化データ送受信部の送信部の他の構成図で、図中、１６は送信部、７１はパケット分解部、７２はフィルビット挿入部、７３はＦＥＣフレーム生成部、７４は回線データ多重化部、７５は情報量監視部である。
パケット分解部７１は、受信したパケットを画像や音声等のデータに分解する。フィルビット挿入部７２は、受信した画像データにフィルビットを挿入する。ＦＥＣフレーム生成部７３は、受信した画像データからＦＥＣフレームを生成する。回線データ多重化部７４は、回線多重化データを生成する。情報量監視部７５は、情報量の監視を行い、必要に応じてフィルビットの挿入を制御する。
【００３１】
図８（ａ）〜（ｃ）は、図７の受信部のモジュール間の画像データを表した図で、図８（ａ）は図７中の信号ｇに相当し、ビデオフレームデータである。図８（ｂ）は図７中の信号ｈに相当し、フィルビットが挿入されたものである。図８（ｃ）は図７中の信号ｉに相当し、ＦＥＣの同期信号と伝送誤りを訂正するためのパリティビット等が付加されたＦＥＣフレームである。
【００３２】
次に、図７に示す送信部の動作について説明する。
再生時には、パケット分解部７１で、記憶装置１３から出力されたパケットを受信する。パケットを受信したパケット分解部７１は、ヘッダ情報を抽出し、システム制御部１１に通知する。該システム制御部１１は、回線データ多重化部７４に対して、図１２に示すＢＡＳ１０４を使用して蓄積時の通信端末の動作モードと再生時の通信端末の動作モードとの整合をとるように指示する。回線データ多重化部７４で動作モードの整合が完了したら、パケット分解部７１ではパケットの分解を行い、画像データをフィルビット挿入部７２と情報量監視部７５に出力し、音声データ等を回線データ多重化部７４に出力する。
【００３３】
前記フィルビット挿入部７２では、情報量監視部の制御に従ってフィルビットを挿入し、ＦＥＣフレーム生成部７３に出力する。該ＦＥＣフレーム生成部７３では、ＦＥＣフレームを生成して回線データ多重化部７４に出力する。該回線データ多重化部７４では、画像や音声等のデータを図１２に示す多重化フォーマットに従って多重化して回線多重化データを生成し、通信網に送出する。
【００３４】
このように、本発明は、蓄積型の画像通信システムにおいて、再生端末でのバッファオーバーフローやバッファアンダーフロー等の発生を防止するものである。すなわち、バッファ分解部７１は、ヘッダ情報を付加して画像や音声等で構成されたパケットを蓄積した蓄積部から出力されるパケットの分解を行う。フィルビット挿入部７２は、前記パケット分解部７１から出力される画像データにフィルビットの挿入を行う。情報量監視部７５は、前記パケット分解部７１から出力される画像データの情報量を監視し、前記フィルビット挿入部７２の制御を行う。ＦＥＣフレーム生成部７３は、前記フィルビット挿入部７２から出力される画像データからＦＥＣフレームを生成する。回線データ多重化部７４は、前記ＦＥＣフレーム生成部７３から出力される画像データと前記パケット分解部７１から出力される音声等のデータから回線多重化データを生成する。これにより、再生時に蓄積画像の情報量を制御する。
【００３５】
図９は、図１の多重化データ送受信部の送信部の更に他の構成図で、図中、７６は伝送速度整合部で、その他、図７と同じ作用をする部分は同一の符号を付してある。
伝送速度整合部７６は、受信した画像データの出力を制御して伝送速度の整合を図る。例えば、蓄積画像が１秒間に１０枚のビデオフレームが蓄積したものならば、再生時の伝送速度に係わらず、１秒間の１０枚のビデオフレームの出力を行う。
【００３６】
図１０（ａ）〜（ｄ）は、図９の送信部のモジュール間の画像データを表した図で、図１０（ａ）は、図９中の信号ｊに相当し、ビデオフレームデータである。図１０（ｂ）は、図９中の信号ｋに相当し、出力が制御されたビデオフレームデータである。図１０（ｃ）は、図９中の信号ｍに相当し、フィルビット挿入されたものである。図１０（ｄ）は、図９中の信号ｎに相当し、ＦＥＣの同期信号と伝送誤りを訂正するためのパリティビット等が付加されたＦＥＣフレームである。
【００３７】
次に、図９に示す送信部の動作について説明する。
再生時には、パケット分解部７１で、記憶装置１３から出力されたパケットを受信する。パケットを受信したパケット分解部７１は、ヘッダ情報を抽出し、システム制御部１１に通知する。該システム制御部１１は、回線データ多重化部７４に対して、図１２に示すＢＡＳ１０４を使用して蓄積時の通信端末の動作モードと再生時の通信端末の動作モードとの整合をとるように指示する。もし、回線データ多重化部７４で動作モードの整合が蓄積時の端末に比べて再生時の端末の方が回線レートが多いことにより行えないとき、最も近い動作モードで接続を行う。接続が完了したら、パケット分解部７１ではパケットの分解を行い、画像データを伝送速度整合部７６に出力する。該伝送速度整合部７６は、受信したデータの出力を制御してフィルビット挿入部７２と情報量監視部７５に出力する。
【００３８】
フィルビット挿入部７２では、情報量監視部７５の制御に従ってフィルビットを挿入し、ＦＥＣフレーム生成部７３に出力する。該ＦＥＣフレーム生成部７３では、ＦＥＣフレームを生成して回線データ多重化部７４に出力する。回線データ多重化部７４では、画像や音声等のデータを図１２に示す多重化フォーマットに従って多重化して回線多重化データを生成し、通信網に送出する。
【００３９】
このように、本発明は、蓄積型の画像通信システムにおいて、蓄積時と再生時の端末の伝送レートが違う場合でも蓄積画像の再生が行える。すなわち、パケット分解部７１は、ヘッダ情報を付加して画像や音声等で構成されたパケットの分解を行う。伝送速度整合部７６は、前記パケット分解部７１から出力される画像データの伝送速度の整合を行う。フィルビット挿入部７２はフィルビットの挿入を行う。情報量監視部７５は情報量を監視し、前記フィルビット挿入部７２の制御を行う。ＦＥＣフレーム生成部７３は、前記フィルビット挿入部７２から出力される画像データからＦＥＣフレームを生成する。回線データ多重化部７４は、前記ＦＥＣフレーム生成部７３から出力される画像データと前記パケット分解部７１から出力される音声等のデータから回線多重化データを生成する。これにより、蓄積時と再生時の端末の伝送レートが違う場合でも蓄積画像の再生が行える。
【００４０】
【発明の効果】
以上の説明から明らかなように、本発明によると、以下のような効果がある。
画像の蓄積をビデオフレーム単位で行っているため、蓄積画像の再生時に従来の装置において発生していた諸問題を解決するために必要な処理を容易に行うことが可能となる。また、蓄積画像の再生を行う場合に、前もってフィルビットで構成されたフィルフレームを送出し、通信端末のＦＥＣの同期が確立してから蓄積画像を送出するため、蓄積画像の再生がスムーズに早く行えるようになる。
【図面の簡単な説明】
【図１】本発明による画像蓄積方法及び蓄積画像再生方法が適用された画像蓄積装置及び蓄積画像再生装置の一実施例を説明するための構成図である。
【図２】図１における多重化データ送受信部の受信部の構成図である。
【図３】図２の受信部におけるモジュール間の画像データの構成図である。
【図４】本発明における蓄積時のパケットフォーマットを示した図である。
【図５】図１における多重化データ送受信部の送信部の構成図である。
【図６】図５の送信部におけるモジュール間の画像データの構成図である。
【図７】図１における多重化データ送受信部の送信部の他の構成図である。
【図８】図７の送信部におけるモジュール間の画像データの構成図である。
【図９】図１における多重化データ送受信部の送信部の更に他の構成図である。
【図１０】図９の送信部におけるモジュール間の画像データの構成図である。
【図１１】従来の多重化データ送受信部の構成図である。
【図１２】従来のデータ多重化フォーマットを示した図である。
【図１３】従来の蓄積時のパケットフォーマットの示した図である。
【符号の説明】
１…通信端末、２…通信ホスト、３…ＩＳＤＮ等の通信網、４…画像入力用のカメラ、５…画像出力用のモニタ、６…音声入出力用のハンドセット、７…端末のシステム制御部、８…画像の符号化／復号化部、９…音声の符号化／復号化部、１０…端末の多重化データ送受信部、１１…ホストのシステム制御部、１２…ホストの多重化データ送受信部、１３…記憶装置、１４…受信部、１５…送信部、１６…送信部、２１…回線データ分離部、２２…ＦＥＣの誤り訂正部、２３…ビデオフレーム抽出部、２４…パケット生成部、５１…パケット分解部、５２…フィルビット挿入部、５３…ＦＥＣフレーム生成部、５４…回線データ多重化部、７１…パケット分解部、７２…フィルビット挿入部、７３…ＦＥＣフレーム生成部、７４…回線データ多重化部、７５…情報量監視部、７６…伝送速度整合部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image storage method and a stored image reproduction method, and more specifically, is transmitted from a terminal that performs communication of video information typified by a TV phone or the like, in particular, an ITU (International Telecommunication Union) -T Recommendation BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image communication system capable of storing data multiplexed with an image, a sound, and various data compliant with the standard and reproducing the stored data from an arbitrary terminal.
[0002]
[Prior art]
In recent years, in addition to conventional interactive communication services such as telephone and FAX (facsimile), storage-type services have been provided in which voice information can be stored in a center of a network and reproduced at any time. . In addition, with the development of a digital communication network represented by ISDN (Integrated Services Digital Network), it has become possible to use an image communication service represented by, for example, a videophone. Against this background, demands for storage-type services using images have increased, and some of them have been put into practical use.
[0003]
As a known document describing a conventional stored image reproducing apparatus, there is, for example, JP-A-62-188579. This publication uses a packet communication network for transmitting moving image information from a moving image information database, and reduces the variation in transmission delay caused by the packet communication network.absorptionIn addition, a moving picture information storage / conversion device for converting the video signal into a video signal which is easy for the user to receive is provided, and the user takes out the stored moving picture information at a desired time.
[0004]
Japanese Patent Application Laid-Open No. 3-132128 discloses a still image input by a user from a terminal.VideoThe image information and the voice information are stored in the center as a message, and the message corresponding to the request from the user can be reproduced on the terminal as input.
Further, Japanese Patent Application Laid-Open No. 4-79655 discloses means for registering conditions for information collection from an information collection user terminal having an input / output function of video and audio character information, and a means for registering information based on the registered information. A call is made to an information collection user terminal having an input / output function of video and audio text information, the information is automatically received, and the collected information is stored based on the intention of the collection requester.
[0005]
FIG. 11 is a block diagram of a conventional multiplexed data transmission / reception unit. In the figure, 91 is a stored data extraction unit, 92 is a packet generation unit, 93 is a packet decomposition unit, 94 is a line data generation unit, and 95 is multiplexed data. A receiving unit 96 of the transmitting / receiving unit is a transmitting unit of the multiplexed data transmitting / receiving unit.
The stored data extracting section 91 extracts multiplexed data to be stored from the received line multiplexed data in accordance with an instruction from the system control section. The packet generation unit 92 generates a packet from the stored multiplexed data received according to an instruction from the system control unit. The packet decomposing unit 93 extracts multiplexed data to be reproduced from packets output from the storage device. The line data generation unit 94 generates line multiplexed data from the multiplexed data output from the packet decomposing unit according to an instruction from the system control unit.
[0006]
FIGS. 12A and 12B are diagrams showing a conventional data multiplexing format, and are diagrams showing data multiplexing formats currently used in videophones and the like. It has been adopted as an international standard, and by using this multiplexing method, interconnectivity for videophones and the like is ensured. In FIG. 12, reference numerals 101 and 102 denote areas assigned to audio data and image data, reference numeral 103 denotes a frame synchronization bit, reference numeral 104 denotes a capability / command communication bit between terminals, and reference numeral 105 denotes a data transmission order to a communication line. The multiplexing condition of each data can be changed at any time between the terminal and the host using the capability / command communication bit 104.
[0007]
FIG. 13 is a diagram showing a conventional packet format at the time of accumulation. In the figure, reference numeral 111 denotes a header including information such as a transmission rate at the time of accumulation, a multiplexing rate of each data, and an encoding method of each data. Information, 112 is the number of sub-multiframes composed of packets, and 113 is multiplexed data multiplexed in the format shown in FIG.
[0008]
At the time of accumulation, the line multiplexed data transmitted from the network is received by the accumulated data extraction unit 91, which extracts the accumulated multiplexed data and outputs it to the packet generation unit 92. The packet generation unit 92 generates a packet in accordance with the format shown in FIG. 13 using the multiplexing rate and coding method of data at the time of communication as header information, and outputs the packet to the storage device as packet data.
[0009]
At the time of reproduction, the packet data output from the storage device is received by the packet decomposing unit 93. The packet disassembly unit 93 notifies header information of the packet to the system control unit. The system control unit instructs the line data generation unit 94 to match the operation mode of the communication terminal at the time of accumulation with the operation mode of the communication terminal at the time of reproduction using the BAS 104 shown in FIG. When the operation mode matching is completed by the line data generating unit 94, the packet decomposing unit 93 decomposes the packet and outputs the multiplexed data to be reproduced to the line data generating unit 94. The line data generation unit 94 generates line multiplexed data by rewriting the FAS 103 and the BAS 104 shown in FIG. 12, and sends the multiplexed data to the communication network.
[0010]
[Problems to be solved by the invention]
In the conventional method, data is stored in a multiplexed state of data adopted as an international standard. Therefore, when the stored image is reproduced by a communication terminal, normally, FEC (Forward Error Correction) is used. Since the image is displayed after the frame synchronization is established, the image cannot be displayed immediately. In addition, since the initial image is not always the one encoded in the frame, the initial image becomes dirty. Furthermore, since the buffer state of the terminal at the time of accumulation is different, an underflow or overflow of the buffer occurs, which causes various problems such as an inability to properly reproduce an image.
[0011]
In addition, the coding amount of the stored image is controlled by the terminal buffer state at the time of accumulation. However, in the conventional method, the buffer state of the terminal at the time of reproduction and the terminal at the time of accumulation are not always the same. This causes problems such as overflow and underflow. Further, in the conventional image reproducing apparatus, there is a problem that the stored image can be reproduced only when the compatible line rate of the terminal at the time of accumulation and the terminal at the time of reproduction is the same. For example, there is a problem in a case where an image stored in a terminal that supports only the line rate B using the ISDN basic interface is reproduced by a terminal that supports only the line rate 2B.
[0012]
The present invention has been made in view of such a situation, and separates respective data without performing accumulation in a multiplexed state of voices and images as in the conventional method, and separates the respective data, particularly for images. Is to perform data processing and store in video frame units, and store in a data format that enables image processing to solve various problems that occur during playback. Another object of the present invention is to solve the problem that an image cannot be displayed immediately when a stored image is reproduced. It is also desirable to control the insertion of fill bits by monitoring the amount of information to prevent the occurrence of buffer overflow or underflow in the playback terminal. It is still another object of the present invention to provide an image storage method and a stored image reproduction method in which reproduction can be performed even when the line rates that can be handled by a terminal during storage and reproduction are different by performing transmission speed matching.
[0013]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides (1)EncodedMoving image data andEncodedInputting multiplexed data obtained by multiplexing audio data; and inputting the multiplexed data,EncodedMoving image dataEncodedSeparation into audio data, and from the separated moving image data, a video frame unit.EncodedExtracting video frame data; generating a packet as the video frame data and audio data of the packet using the extracted video frame data and the separated audio data; and storing the generated packet. Or (2) video frames as a unit.EncodedVideo frame data andEncodedFrom a packet in which audio data is stored according to a predetermined storage format,EncodedVideo frame data andEncodedSeparating audio data, and comprising the separated video frame data.EncodedMultiplexing the moving image data and the separated audio data in accordance with a multiplexing format that can be supported by the terminal at the time of reproduction, generating multiplexed data, and outputting the multiplexed data. It is characterized by reproduction.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
According to the image storage method of the present invention, a multiplexed input signal such as an image and a sound is separated into various types of data by a data separation unit, and an FEC error correction is performed on the image by an error correction unit. Means for extracting video frames. Then, a packet is generated by adding information at the time of storage, such as a multiplexing rate at the time of storage and an encoding method, to data such as an image and a sound by the packet generating means, and the storage means performs storage. Therefore, at the time of reproducing an image, it is possible to easily perform processing for solving various problems.
[0015]
In the stored image reproducing method of the present invention, the packet is decomposed based on the information added to the packet, and in the image, the FEC synchronization of the partner terminal to be reproduced is transmitted as necessary with the fill frame. Therefore, by transmitting the stored image after the FEC synchronization is established, it is possible to smoothly and quickly reproduce the stored image. In addition, by controlling the amount of information at the time of reproducing the stored image in the same way as the image encoder, it is possible to prevent overflow or underflow of the buffer of the terminal that reproduces the stored image. . Further, even when the line rate that can be supported by the terminal at the time of storage and the terminal at the time of reproduction are different, the reproduction of the stored image can be performed by matching the transmission speed.
[0016]
(Example)
Embodiments will be described below with reference to the drawings.
FIG. 1 is a block diagram for explaining an embodiment of an image storage device and a stored image reproduction device to which an image storage method and a stored image reproduction method according to the present invention are applied. A communication host, 3 is a communication network such as ISDN, 4 is a camera for image input, 5 is a monitor for image output, 6 is a handset for voice input / output, 7 is a system control unit of a terminal, and 8 is image encoding. 9 is a voice encoding / decoding section, 10 is a multiplexed data transmitting / receiving section for multiplexing coded image data, coded voice data, and control information and sending it out to a line, and 11 is a host system control. The unit 12 is a multiplexed data transmission / reception unit of the host for separating and multiplexing control information from the multiplexed data, and 13 is a storage device for storing data.
[0017]
The moving image input from the camera 4 of the communication terminal 1 is subjected to inter-frame predictive encoding by the image encoding unit 8. The coded image data is input from the handset 6 and multiplexed together with the coded voice data coded by the voice coding unit 9 and the control information in the multiplexed data transmitting unit 10, and is multiplexed through the communication network 3. It is transmitted to the host 2. In the communication host 2 side, the multiplexed data sent from the communication terminal 1 is received by the multiplexed data receiving unit 12. The multiplexed data receiving unit 12 generates accumulated packet data from the multiplexed data of the received image and voice, and transfers the data to the storage device 13. The storage device 13 accumulates a file in an appropriate form, that is, for image data in video frame units.
[0018]
The stored data is read from the storage device 13 according to an instruction from the user or the host, and is sent to the multiplexed data transmission unit 12 of the host. The transmission section 12 of the host rewrites the control information stored as it is at the time of accumulation into new control information and transmits the new control information to the communication terminal 1 through the communication network 3 in accordance with an instruction from the system control section 11. In the communication terminal 1, the multiplexed data receiving unit 10 receives the multiplexed data in which the control information sent from the host is rewritten. The multiplexed data receiving unit 10 separates control information, image data, audio data, and the like, and sends the control information to the system control unit 7.
[0019]
The coded image data received by the multiplexed data receiving unit 10 is sent to the image decoding unit 8, and the moving image is decoded and reproduced in accordance with an instruction from the system control unit 7. Will be displayed. The separated audio data is decoded and reproduced by the audio decoding unit 9 and output from the handset 6. It should be noted that communication through the line is always performed in both directions even during the storage / reproduction operation, and control information can be communicated in the line connection state regardless of the presence or absence of image data or the like.
[0020]
FIG. 2 is a configuration diagram of a reception unit of the multiplexed data transmission / reception unit in FIG. 1, in which 14 is a reception unit, 21 is a line data separation unit, 22 is an FEC error correction unit, 23 is a video frame extraction unit, 24 is a packet generator.
The line data separator 21 separates multiplexed data received from the network. The FEC error correction unit 22 corrects the FEC error of the image data separated by the line data separation unit. The video frame extraction unit 23 extracts a video frame from the error-corrected image data. The packet generation unit 24 generates a packet from data such as images and sounds.
[0021]
3A to 3C are diagrams showing image data between modules of the receiving unit in FIG. 2. FIG. 3A corresponds to the signal a in FIG. 2 and establishes FEC synchronization. And a parity bit for performing FEC error correction, a fill bit for adjusting the amount of encoded data, and an information bit. FIG. 3B corresponds to the signal b in FIG. 2 and is obtained by performing FEC error correction and removing unnecessary data such as fill bits. FIG. 3C is a video frame corresponding to the signal c in FIG. 2 and extracted for each PSC (frame start code).
[0022]
FIG. 4 is a diagram illustrating a packet configuration when accumulation is performed.
Reference numeral 41 denotes header information in which information such as a multiplexing rate at the time of accumulation, an encoding method and an encoding capability is specified, 42 is the data length of an image, 43 is the data length of audio, 44 is the number of video frames of the image, and 45 is the number of video frames of the image. The data length of the video frame of the image and the video frame data, and 46 is audio data.
[0023]
Next, the operation of the stored image reproducing apparatus according to the present invention will be described.
At the time of accumulation, the multiplexed data received from the communication network is separated into an image and a sound by the line data separating unit 21, and the image data is output to the FEC error correcting unit 22 and the sound data is output to the packet generating unit 24. The FEC error correction unit 22 receives the image data in the signal state shown in FIG. 3A, corrects the FEC error, and converts the image data in the signal state shown in FIG. Output to the extraction unit 23. The video frame extraction unit 23 searches for a PSC from the received data, and outputs data in a signal state shown in FIG. The packet generation unit 24 generates a packet from the received data such as image and audio data in accordance with the packet format shown in FIG. 4, and includes, as header information, information necessary for reproduction such as a multiplexing rate, an encoding method and an encoding capability. Is output to the storage device 13.
[0024]
FIG. 5 is a configuration diagram of a transmission unit of the multiplexed data transmission / reception unit in FIG. 1. In FIG. 5, 15 is a transmission unit, 51 is a packet decomposer, 52 is a fill bit insertion unit, 53 is an FEC frame generation unit, and 54 is It is a line data multiplexing unit. The packet decomposing unit 51 decomposes the received packet into data such as images and sounds. The fill bit insertion unit 52 inserts a fill bit into image data output from the packet decomposition unit. The FEC frame generation unit 53 generates an FEC frame from the image data output from the fill bit insertion unit. The line data multiplexing unit 54 generates line multiplexed data from image data output from the FEC frame generation unit, audio data output from the packet decomposition unit, and the like.
[0025]
6A to 6C are diagrams showing image data between modules of the transmitting unit 15 in FIG. 5, and FIG. 6A corresponds to the signal d in FIG. 5 and is video frame data. . FIG. 6B corresponds to the signal e in FIG. 5, in which a fill bit is inserted. FIG. 6C corresponds to the signal f in FIG. 5 and is an FEC frame to which an FEC synchronization signal and a parity bit for correcting a transmission error are added.
[0026]
Next, the operation of the transmitting unit shown in FIG. 5 will be described.
At the time of reproduction, the packet output from the storage device 13 is received by the packet decomposing unit 51. The packet disassembly unit 51 that has received the packet extracts the header information and notifies the system control unit 11 of the extracted header information. The system control unit 11 uses the BAS 104 shown in FIG. 12 to make the line data multiplexing unit 54 match the operation mode of the communication terminal during accumulation with the operation mode of the communication terminal during reproduction. Instruct. When the operation mode matching is completed by the line data multiplexing unit 54, the packet decomposing unit 51 decomposes the packet, outputs the image data to the fill bit insertion unit 52, and outputs the audio data and the like to the line data multiplexing unit 54. Output.
[0027]
The fill bit insertion unit 52 inserts a fill bit so that FEC synchronization is established in the communication terminal before reproducing the stored image, and outputs the FEC frame to the FEC frame generation unit 53. The FEC frame generation section 53 generates an FEC frame and outputs it to the line data multiplexing section 54. The line data multiplexing unit 54 multiplexes data such as images and sounds in accordance with the multiplexing format shown in FIG. 12, generates line multiplexed data, and sends it out to the communication network.
[0028]
As described above, the present invention constructs an effective data storage format for solving various problems that occur during reproduction in a storage type image communication system, and reproduces stored images smoothly and quickly. That is, the line data separation unit 21 separates various data from an input signal in which images and sounds are multiplexed. The error correction unit 22 corrects the FEC error of the image data output from the line data separation unit 21. The video frame extraction unit 23 extracts a video frame from the data output from the error correction unit 22. The packet generator 24 generates a packet from the data output from the video frame extractor 23 and the audio data output from the line data separator 21. The storage device 13 stores packets output from the packet generator 24. As a result, data is stored in video frame units.
[0029]
The packet decomposing unit 51 decomposes a packet output from the storage device 13 in which a packet composed of an image, a sound, or the like is stored with header information added. The fill bit insertion unit 52 inserts a fill bit into the image data output from the packet decomposing unit 51. The FEC frame generation unit 53 generates an FEC frame from the image data output from the fill bit insertion unit 52. The line data multiplexing unit 54 generates line multiplexed data from the image data output from the FEC frame generating unit 53 and the data such as audio output from the packet decomposing unit 51. Thereby, the synchronization of the FEC of the communication terminal that reproduces the stored image is controlled.
[0030]
FIG. 7 is another configuration diagram of the transmission unit of the multiplexed data transmission / reception unit in FIG. 1. In FIG. 7, 16 is a transmission unit, 71 is a packet decomposition unit, 72 is a fill bit insertion unit, 73 is an FEC frame generation unit, 74 is a line data multiplexing unit, and 75 is an information amount monitoring unit.
The packet decomposing unit 71 decomposes the received packet into data such as images and sounds. The fill bit insertion unit 72 inserts a fill bit into the received image data. The FEC frame generator 73 generates an FEC frame from the received image data. The line data multiplexing section 74 generates line multiplexed data. The information amount monitoring unit 75 monitors the amount of information, and controls the insertion of fill bits as needed.
[0031]
8A to 8C are diagrams showing image data between modules of the receiving unit in FIG. 7, and FIG. 8A corresponds to a signal g in FIG. 7 and is video frame data. FIG. 8B corresponds to the signal h in FIG. 7, in which a fill bit is inserted. FIG. 8C corresponds to the signal i in FIG. 7, and is a synchronizing signal of FEC and a paris for correcting a transmission error.TeThis is an FEC frame to which a bit and the like are added.
[0032]
Next, the operation of the transmission unit shown in FIG. 7 will be described.
At the time of reproduction, the packet output from the storage device 13 is received by the packet decomposing unit 71. The packet decomposing unit 71 that has received the packet extracts the header information and notifies the system control unit 11 of the extracted header information. The system control unit 11 causes the line data multiplexing unit 74 to match the operation mode of the communication terminal at the time of accumulation with the operation mode of the communication terminal at the time of reproduction using the BAS 104 shown in FIG. Instruct. When the operation mode matching is completed by the line data multiplexing unit 74, the packet decomposing unit 71 decomposes the packet, outputs the image data to the fill bit insertion unit 72 and the information amount monitoring unit 75, and outputs the audio data and the like to the line data. Output to multiplexing section 74.
[0033]
The fill bit insertion unit 72 inserts a fill bit under the control of the information amount monitoring unit and outputs the fill bit to the FEC frame generation unit 73. The FEC frame generation unit 73 generates an FEC frame and outputs it to the line data multiplexing unit 74. The line data multiplexing unit 74 multiplexes data such as images and sounds according to the multiplexing format shown in FIG. 12 to generate line multiplexed data, and sends it out to the communication network.
[0034]
As described above, the present invention prevents the occurrence of a buffer overflow, a buffer underflow, or the like in a playback terminal in a storage-type image communication system. That is, the buffer decomposing unit 71 decomposes the packet output from the storage unit that stores the packet composed of the image, the audio, and the like by adding the header information. The fill bit insertion unit 72 inserts a fill bit into the image data output from the packet decomposing unit 71. The information amount monitoring unit 75 monitors the information amount of the image data output from the packet decomposing unit 71 and controls the fill bit insertion unit 72. The FEC frame generation unit 73 generates an FEC frame from the image data output from the fill bit insertion unit 72. The line data multiplexing unit 74 generates line multiplexed data from the image data output from the FEC frame generating unit 73 and data such as audio output from the packet decomposing unit 71. Thereby, the information amount of the stored image is controlled at the time of reproduction.
[0035]
FIG. 9 is a block diagram showing still another configuration of the transmitting section of the multiplexed data transmitting / receiving section shown in FIG. 1. In FIG. 9, reference numeral 76 denotes a transmission rate matching section, and other portions having the same functions as those in FIG. I have.
The transmission speed matching unit 76 controls the output of the received image data to match the transmission speed. For example, if the stored image is one in which ten video frames are stored in one second, ten video frames in one second are output regardless of the transmission speed at the time of reproduction.
[0036]
FIGS. 10A to 10D are diagrams showing image data between modules of the transmission unit in FIG. 9, and FIG. 10A corresponds to a signal j in FIG. 9 and is video frame data. . FIG. 10B shows video frame data corresponding to the signal k in FIG. 9 and whose output is controlled. FIG. 10C corresponds to the signal m in FIG. 9 and has a fill bit inserted. FIG. 10D corresponds to the signal n in FIG. 9 and is an FEC frame to which a FEC synchronization signal and a parity bit for correcting a transmission error are added.
[0037]
Next, the operation of the transmitting unit shown in FIG. 9 will be described.
At the time of reproduction, the packet output from the storage device 13 is received by the packet decomposing unit 71. The packet decomposing unit 71 that has received the packet extracts the header information and notifies the system control unit 11 of the extracted header information. The system control unit 11 causes the line data multiplexing unit 74 to match the operation mode of the communication terminal at the time of accumulation with the operation mode of the communication terminal at the time of reproduction using the BAS 104 shown in FIG. Instruct. If the operation mode cannot be matched by the line data multiplexing unit 74 due to the higher line rate of the terminal at the time of reproduction as compared with the terminal at the time of accumulation, the connection is performed in the closest operation mode. When the connection is completed, the packet decomposing unit 71 decomposes the packet and outputs the image data to the transmission speed matching unit 76. The transmission rate matching unit 76 controls the output of the received data and outputs it to the fill bit insertion unit 72 and the information amount monitoring unit 75.
[0038]
The fill bit insertion unit 72 inserts a fill bit under the control of the information amount monitoring unit 75 and outputs it to the FEC frame generation unit 73. The FEC frame generation unit 73 generates an FEC frame and outputs it to the line data multiplexing unit 74. The line data multiplexing unit 74 multiplexes data such as images and sounds according to the multiplexing format shown in FIG. 12 to generate line multiplexed data, and sends out the multiplexed data to the communication network.
[0039]
As described above, according to the present invention, in the storage type image communication system, the stored image can be reproduced even when the transmission rate of the terminal at the time of storage is different from that at the time of reproduction. That is, the packet decomposing unit 71 decomposes a packet composed of an image, a sound, and the like by adding header information. The transmission speed matching unit 76 matches the transmission speed of the image data output from the packet decomposing unit 71. The fill bit insertion section 72 inserts a fill bit. The information amount monitoring unit 75 monitors the information amount and controls the fill bit insertion unit 72. The FEC frame generation unit 73 generates an FEC frame from the image data output from the fill bit insertion unit 72. The line data multiplexing unit 74 generates line multiplexed data from the image data output from the FEC frame generating unit 73 and data such as audio output from the packet decomposing unit 71. As a result, the stored image can be reproduced even when the transmission rate of the terminal at the time of storage is different from that at the time of reproduction.
[0040]
【The invention's effect】
As is apparent from the above description, the present invention has the following effects..
PictureSince the image is stored in units of video frames, it is possible to easily perform the processing required to solve various problems that have occurred in the conventional apparatus when reproducing the stored image. In addition, when playing back stored images, a stored fill image composed of fill bits is transmitted in advance, and stored images are transmitted after FEC synchronization of the communication terminal is established. Be able to do.
[Brief description of the drawings]
FIG. 1 is a configuration diagram for explaining an embodiment of an image storage device and a stored image reproduction device to which an image storage method and a stored image reproduction method according to the present invention are applied.
FIG. 2 is a configuration diagram of a receiving unit of the multiplexed data transmitting / receiving unit in FIG.
FIG. 3 is a configuration diagram of image data between modules in the receiving unit of FIG. 2;
FIG. 4 is a diagram showing a packet format at the time of accumulation according to the present invention.
FIG. 5 is a configuration diagram of a transmission unit of the multiplexed data transmission / reception unit in FIG. 1;
FIG. 6 is a configuration diagram of image data between modules in the transmission unit of FIG. 5;
FIG. 7 is another configuration diagram of the transmission unit of the multiplexed data transmission / reception unit in FIG. 1;
8 is a configuration diagram of image data between modules in the transmission unit of FIG. 7;
FIG. 9 is a diagram showing still another configuration of the transmission unit of the multiplexed data transmission / reception unit in FIG. 1;
FIG. 10 is a configuration diagram of image data between modules in the transmission unit of FIG. 9;
FIG. 11 is a configuration diagram of a conventional multiplexed data transmission / reception unit.
FIG. 12 is a diagram showing a conventional data multiplexing format.
FIG. 13 is a diagram showing a conventional packet format at the time of accumulation.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Communication terminal, 2 ... Communication host, 3 ... Communication network, such as ISDN, 4 ... Camera for image input, 5 ... Monitor for image output, 6 ... Handset for voice input / output, 7 ... System control part of terminal , 8: Image encoding / decoding unit, 9: Audio encoding / decoding unit, 10: Multiplexed data transmission / reception unit of terminal, 11: Host system control unit, 12: Multiplexed data transmission / reception unit of host , 13 storage device, 14 reception unit, 15 transmission unit, 16 transmission unit, 21 line data separation unit, 22 FEC error correction unit, 23 video frame extraction unit, 24 packet generation unit, 51 ... Packet decomposing unit, 52 ... Fill bit insertion unit, 53 ... FEC frame generation unit, 54 ... Line data multiplexing unit, 71 ... Packet decomposition unit, 72 ... Fill bit insertion unit, 73 ... FEC frame generation unit, 74 ... Line Day Multiplexing unit, 75 ... information amount monitoring unit, 76 ... transmission rate matching section.

Claims

Inputting the multiplexed data obtained by multiplexing the encoded video data and encoded audio data has been,
Separating the input multiplexed data into encoded moving image data and encoded audio data;
Extracting video frame data encoded in units of video frames from the separated moving image data;
Generating a packet using the extracted video frame data and the separated audio data as video frame data and audio data of the packet;
Storing the generated packet;
An image storage method comprising:

From the video frame data and coded audio data that is coded in units of video frames are accumulated in accordance with a predetermined storage format packet, separating the encoded video frame data and encoded audio data When,
Multiplexing the encoded moving image data composed of the separated video frame data and the separated audio data according to a multiplexing format that can be supported by a terminal at the time of reproduction, and generating multiplexed data;
Outputting the multiplexed data;
A method for reproducing a stored image, comprising: